Wielokryterialna ocena użyteczności systemów e-learningowych · Sáowa kluczowe: e-learning, u...

WIELOKRYTERIALNA OCENA U YTECZNO CI SYSTEMÓW

E-LEARNINGOWYCH

WIRGINIA DORYŃ, KAROL KORCZAK

Streszczenie

Artyku prezentuje charakterystyk ró nych metod oceny u yteczno ci systemów

e-learningowych. Przedstawia równie propozycj nowego wska nika oceny u ytecz-

no ci oraz wyniki badania pilota owego, którego celem by o zastosowanie

zaproponowanego wska nika do porównania wybranych rozwi za z punktu widzenia

nauczyciela prowadz cego kurs.

S owa kluczowe: e-learning, u yteczno , Moodle, ATutor, Dokeos

1. Wprowadzenie

Kolejne uczelnie wy sze w Polsce do czaj do swojej oferty dydaktycznej nauczanie na odle-

g o (distance learning). Co ciekawe, systemy zdalnego nauczania bywaj równie z powodzeniem

wykorzystywane przez nauczycieli akademickich podczas zaj w ramach studiów tradycyjnych.

Ró norodno inicjatyw tego typu znajduje tak e swoje odzwierciedlenie w literaturze fachowej,

w której po wi ca si coraz wi cej uwagi temu zagadnieniu (zob. np. [3], [6], [9], [14]). Pomimo wielu

zalet nauczania na odleg o , nie wszystkim uczelniom udaje si realizowa studia za po rednic-

twem Internetu. Jednym z czynników, który mo e zach ci do studiowania na odleg o jest

odpowiedni system. W tym przypadku dokonanie wyboru nie jest atwe, tym bardziej, e wi kszo

najbardziej popularnych systemów zdalnego nauczania oferuje bardzo zbli one funkcjonalno ci.

Zdaniem autorów innym, istotnym kryterium porównawczym takich systemów mo e by u ytecz-

no (usability).

2. Metody badania u yteczno ci systemów e-learningowych

Przedmiotem zainteresowania autorów jest u yteczno systemów e-learningowych. Nale y

zwróci uwag , i systemy zarz dzania nauczaniem (LMS – Learning Management Systems), do

których zalicza si systemy e-learningowe, wyró niaj nast puj ce cechy [8, 75–76]:

przyj ta platforma jest najcz ciej produktem gotowym – oznacza to, e nie jest tworzona

z my l o konkretnym projekcie i jego odbiorcach;

ich zadaniem jest zaspokojenie ró norodnych potrzeb zwi zanych z nauczaniem, uczeniem

si czy wspó prac (collaborative styles);

zwykle pozwalaj na wysoki stopie personalizacji (kastomizacji) na poziomie administra-

tora, prowadz cego oraz ucznia, co silnie rzutuje na ca o ciow ocen funkcjonalno ci

systemu;

Wirginia Dory , Karol Korczak

Wielokryterialna ocena u yteczno ci systemów e-learningowych

30

ko cowi u ytkownicy systemu LMS (prowadz cy i uczniowie) nie maj z regu y wp ywu

na zmian systemu – st d przy jego wyborze wa na jest nie tylko efektywno kosztowa,

ale równie satysfakcja u ytkowników;

aby zapewni mo liwo ponownego wykorzystania w prosty sposób materia u e-kursu

oraz adaptowalno kursu umo liwiaj c prowadz cemu dokonywanie odpowiednich

zmian, LMS powinien wype nia istniej ce standardy – to równie wp ywa na funkcjonal-

no platformy e-learningowej;

na ca kowit funkcjonalno LMS sk adaj si trzy elementy: platforma, formalna zawar-

to kursu oraz tre wygenerowana przez u ytkowników.

Ewaluacja platformy e-learningowej wed ug Ardito i in. [2, 276] obejmuje p aszczyzn u ytecz-

no ci oraz p aszczyzn dydaktyki. Pierwsza z nich to: dost pne funkcjonalno ci, uk ad wizualny

aplikacji i elementów tre ci, sposoby interakcji, nawigacja oraz zadowolenie u ytkowników z ko-

rzystania z systemu. Na wymiar dydaktyczny sk adaj si : rozplanowanie tre ci nauczania, dost pne

metody nauczania, pedagogiczna u yteczno zamieszczonych tre ci, poziom ich szczegó owo ci

i aktualno ci, a tak e poprawno ci i cis o ci.

Do ewaluacji funkcjonalno ci aplikacji sieciowych wykorzystywane s najcz ciej oceny u yt-

kowników oraz oceny ekspertów. W obydwu przypadkach wykorzystywana jest przynajmniej jedna

z dwóch technik: ocena heurystyczna oraz (lub) ocena scenariuszowa [8]. Stosuj c pierwsz z nich,

bada si zgodno funkcjonalno ci z okre lonymi z góry zasadami (wzorami). Druga technika

polega na wykonaniu zada na stronie (pozwalaj cych osi gn jakie cele b d wykona typowe

akcje).

W literaturze przedmiotu w zasadzie pomija si aspekt oceny ró nych LMS w kontek cie

wyboru jednego z nich. Prace, w których dokonano porównania u yteczno ci ró nych systemów

(np. [8, 79–82]), nie udzielaj jednoznacznej odpowiedzi na pytanie, który z nich nale a oby uzna

za lepszy pod wzgl dem u yteczno ci. T luk w istniej cych badaniach mo e zape ni skonstruo-

wanie pojedynczego skumulowanego wska nika.

31

Przegl d wybranych bada dotycz cych u yteczno ci systemów e-learningowych przedsta-

wiono w tabeli 1.

Tabela 1. Przegl d wybranych bada empirycznych

Autorzy Przedmiot analizy Techniki i narz dzia badawcze Podmiot badania

J. Vargo, J.C. Nesbit,

K. Belfer, A.

Archambault (2003)

8 obiektów ucz cych1 10-sk adnikowy LORI (Learning

Object Review Instrument). Ka dy

sk adnik oceniany w skali od 0 do 4

– (gdzie 4 oznacza perfekcyjny po-

ziom);

Convergence Participation Model –

sk adaj cy si z dwóch cykli: asyn-

chronicznej oceny oraz

synchronicznej, moderowanej dys-

kusji;

ankieta e-mailowa;

sesja czatu

12 osób z do wiad-

czeniem w

technologii edukacyj-

nej, szkolnictwie

wy szym lub szkole-

niach dla firm

L. Triacca, D.

Bolchini, L. Botturi,

A. Inversini (2004)

Kurs e-learningowy MiLE (Milano-Lugano Evaluation

method) – narz dzie cz ce metod

scenariuszow z heurystyk

u ytkownicy, eks-

perci, 21 osób na

dzie przez 6 mie-

si cy

A. Rentróia-Bonito,

A. Martins, T. Guer-

reiro, J. Jorge (2008)

Kurs e-learningowy badanie opinii respondentów (6-

punktowa skala Likerta) dotycz -

cych trudno ci wykonywania

okre lonych zada w systemie oraz

przydatno ci wykonywanych zada

do nauki, analiza logów systemo-

wych,

monitorowanie zaliczenia przed-

miotu;

ankieta zamieszczona w Internecie

(online)

95 studentów infor-

matyki

wykorzystuj cych

kurs w nauczaniu

mieszanym (blended

learning)

C. Ardito, M.

Costabile, M. De

Marsico, R.

Lanzilotti, S.

Levialdi, T. Roselli,

V. Rossano (2006)

Kurs e-learningowy obserwacja, wywiad dotycz cy na-

potkanych trudno ci, organizacji

materia u dydaktycznego, form ko-

munikacji

10 studentów

J. Melton (2006) wybrane modu y

kursu e-learningo-

wego

obserwacja, technika g o nego my-

lenia, ankieta oceniaj ca stopie

trudno ci wykonywanych zada

4 studentów

ród o: opracowanie w asne.

1 Learning Object – pakiet informacji wielokrotnego u ytku, stanowi cegie k w budowie zawarto ci szkolenia e-learnin-

gowego; definicja za: www.hrk.pl/pl/home/slowniki/slownik_e-learning/learning_object.aspx, (26.07.2014).

Studies & Proceedings of Polish Association for Knowledge ManagementNr 71, 2014



32

3. Propozycja nowego wska nika

Analizuj c metody i wyniki bada wymienionych w poprzednim punkcie, autorzy postanowili

zaproponowa w asny, skumulowany wska nik oceny u yteczno ci i porówna na jego podstawie

trzy wybrane systemy e-learningowe. Do oceny wybrano trzy systemy typu open source, a miano-

wicie: Moodle, ATutor oraz Dokeos. Systemy te s w du ym stopniu zbli one pod wzgl dem

podstawowej technicznej funkcjonalno ci wykorzystywanej przez nauczyciela akademickiego. Zde-

cydowanie ró ni je natomiast popularno , co ilustruj m.in. statystyki zapyta kierowanych do

wyszukiwarki Google (zob. Rysunek 1). Warto ci na rysunku 1 oznaczaj liczb wyszukiwa kon-

kretnego has a w odniesieniu do cznej liczby wyszukiwa w Google w tym samym czasie. Dane

s znormalizowane i przedstawione na skali od 0 do 100 (nie s to bezwzgl dne liczby wyszukiwa ).

Ka dy punkt na wykresie zosta podzielony przez najwy sz warto i pomno ony przez 100.

W przypadku zbyt ma ej ilo ci danych warto wynosi 0.

Rysunek 1. Zainteresowanie wybranymi systemami LMS wed ug statystyk wyszukiwarki Google

(przerywan lini oznaczono prognoz na 2015 rok)

ród o: www.google.com/insights/search/?hl=pl#q=moodle%2Cdokeos%2CATutor&cmpt=q,

(21.07.2014).

Z rysunku 1 wynika, e najch tniej wyszukiwanym systemem zdalnego nauczania spo ród sys-

temów branych pod uwag w artykule jest Moodle. Zdecydowanie wyprzedza on w tym zestawieniu

system Dokeos. Z kolei zbyt ma a ilo danych w odniesieniu do systemu ATutor we wszystkich

analizowanych okresach sk ania do przypuszcze , e jest on najmniej popularny spo ród nich. Na

taki stan rzeczy wp ywa mo e wiele czynników, do których zdaniem autorów zalicza si równie

u yteczno porównywanych systemów.

Podstaw opracowania wska nika jest definicja u yteczno ci Jakoba Nielsena, jednego z naj-

cz ciej cytowanych specjalistów w tej dziedzinie (zob. np. [5], [11], [12], [13]). Jego zdaniem na

u yteczno systemu sk ada si pi obszarów, które zosta y zaprezentowane w tabeli 2.

33

Tabela 2. Kryteria oceny obszarów u yteczno ci

Obszar Kryterium oceny

Learnability (Zapoznanie) Jak atwo u ytkownicy wykonuj podstawowe zadania podczas pierw-

szego kontaktu z systemem?

Efficiency (Sprawno ) Jak szybko u ytkownik wykonuje zadania po zapoznaniu si z syste-

mem?

Memorability (Zapami tywanie) Jak szybko u ytkownik mo e odzyska sprawno w pos ugiwaniu si

systemem po okresie, w którym z niego nie korzysta ?

Errors I (B dy I) Czy w podczas pracy z systemem pojawiaj si b dy?

Errors II (B dy II) Czy informacje o b dach s w a ciwie przekazywane?

Satisfaction (Satysfakcja) Czy u ytkownicy lubi korzysta z systemu?

ród o: opracowanie na podstawie [12].

Ka dy z obszarów, zgodnie z kryteriami zaprezentowanymi w powy szej tabeli, otrzymuje

ocen punktow w skali od 1 do 5. Wyj tkiem jest obszar „b dy”, w którym przedmiotem zainte-

resowania jest nie tylko liczba b dów, ale tak e sposób informowania o nich. Punkty przydzielone

zostaj na podstawie wyników oceny systemów przez grup ekspertów. Ponadto ocena ka dego

z obszarów przemno ona zostaje przez wag , któr obliczono jako redni ze wskaza ekspertów

(równie w skali od 1 do 5) dotycz cych priorytetowych obszarów w pracy z systemem. Skumulo-

wany wska nik u yteczno ci U dla badania w asnego autorów przyjmuje posta :P

p

N

n

ppn wlU1 1

, ,

gdzie:

– p = 1, … , P – numer obszaru,

– n = 1, … , N – numer specjalisty uczestnicz cego w badaniu,

– ln,p – liczba punktów przydzielona przez n-tego specjalist dla p-tego obszaru,

– wp – waga p-tego obszaru.

Wska nik ten nale y oblicza oddzielnie dla ka dego z porównywanych systemów.

4. Wyniki badania w asnego

Przeprowadzone przez autorów badanie mia o charakter pilota owy. Do udzia u w badaniu

i wype nienia anonimowej ankiety zaproszono 12 ekspertów – nauczycieli akademickich. Zadaniem

ekspertów by a ocena trzech systemów e-learningowych (Moodle, ATutor oraz Dokeos) w 6 obsza-

rach (tabela 2) przy u yciu pi ciostopniowej skali Likerta. Podstaw oceny by o wykonanie

podstawowych zada w systemie, takich jak stworzenie oraz uzupe nienie przyk adow tre ci no-

wego kursu oraz do czenie do kursu nowego studenta czy grupy studentów. Co wa ne, w badaniu

eksperci wyst pili w roli nowych u ytkowników systemów. Wszelkie zadania wykonywali oni po

zalogowaniu si do specjalnie w tym celu przygotowanych, aktualnych wersji systemów. Uzyskane

wyniki zaprezentowano w kolejnych tabelach.




34

Tabela 3. Ocena systemów w obszarze Zapoznanie

System

Jak atwo jest Panu/Pani wykona podstawowe zadania podczas pierwszego kontaktu

z systemem?

Bardzo atwo –

system jest zde-

cydowanie

intuicyjny

atwo – system

jest intuicyjny

Ani atwo, ani

trudno

Trudno – system

nie jest intuicyjny

Bardzo trudno –

system zdecydo-

wanie nie jest

intuicyjny

Moodle 1 6 2 3 0

Dokeos 2 4 6 0 0

ATutor 2 2 3 4 1


W obszarze Zapoznanie przewa a y odpowiedzi stwierdzaj ce wzgl dn atwo b d brak

trudno ci w wykonywaniu okre lonych zada podczas pierwszego kontaktu. System Moodle w do-

minuj cej opinii ekspertów okaza si systemem atwym (6 odpowiedzi), a jedna z odpowiedzi

okre li a system jako zdecydowanie intuicyjny. Jednocze nie aden z ekspertów nie uzna tego sys-

temu za bardzo trudny, natomiast 3 z ekspertów oceni o wykonanie zada w tym systemie jako

trudne. Zdaniem dwóch ekspertów wykonanie podstawowych zada podczas pierwszego kontaktu

z systemem nie by o ani atwe, ani trudne.

Systemy Dokeos i ATutor zdaniem 2 respondentów by y systemami zdecydowanie intuicyj-

nymi podczas pierwszej obs ugi. W przypadku systemu Dokeos nikt nie oceni wykonania

podstawowych zada podczas pierwszego kontaktu z tym systemem jako trudne b d bardzo trudne,

a 6 ekspertów by o zdania, e wykonanie zada by o „Ani atwe, ani trudne”.

Je li chodzi o system ATutor, dla 5 respondentów jego obs uga okaza a si w pierwszym kon-

takcie trudna (suma odpowiedzi „Trudno – system nie jest intuicyjny” i „Bardzo trudno – system

zdecydowanie nie jest intuicyjny”), zdaniem dwóch ekspertów – atwa, a zdaniem trzech – ani atwa,

ani trudna.

Tabela 4. Ocena systemów w obszarze Sprawno

System

Jak szybko wykonuje Pan/Pani podstawowe zadania po zapoznaniu si z systemem?

Zdecydowanie

szybciej ni za

pierwszym razem

Szybciej ni za

pierwszym razemBez zmian

D u ej ni za

pierwszym razem

Zdecydowanie

d u ej ni za

pierwszym razem

Moodle 4 7 1 0 0

Dokeos 0 10 2 0 0

ATutor 2 5 4 1 0


35

Odpowiadaj c na drugie pytanie (tabela 4), eksperci oceniali atwo wykonywania podstawo-

wych zada po zapoznaniu si z systemem. Ocena poprawy komfortu pracy w tym obszarze by a

wyra nie wy sza w przypadku systemów Moodle i Dokeos – zdecydowana wi kszo ekspertów

wskaza a na zwi kszenie szybko ci wykonywania zada (suma odpowiedzi „Zdecydowanie szyb-

ciej ni za pierwszym razem” oraz „Szybciej ni za pierwszym razem”). Z kolei w przypadku

systemu ATutor 7 respondentów wskaza o na popraw szybko ci, jeden ekspert wykonywa zadania

d u ej ni przy pierwszym kontakcie, a 4 osoby wskaza y na brak zmiany szybko ci obs ugi sys-

temu.

Tabela 5. Ocena systemów w obszarze Zapami tywanie

System

Jak szybko zapami tuje Pan/Pani: miejsca, w których s wybrane narz dzia oraz sposób rea-

lizacji podstawowych zada ?

Bardzo szybko,

przy pierwszym

kontakcie

Szybko, po

pierwszych kilku

logowaniach

Ani szybko, ani

wolno

D ugo, potrzebowa-

em/am wi cej czasu

Bardzo d ugo,

wymaga to bar-

dzo du o czasu

Moodle 2 6 4 0 0

Dokeos 2 6 4 0 0

ATutor 1 5 6 0 0


Lepiej na tle poprzednich odpowiedzi wypada ocena obszaru Zapami tywanie (tabela 5).

W ocenach ekspertów dominowa a odpowied wskazuj ca na szybkie zapami tywanie umiejsco-

wienia potrzebnych narz dzi. Dwa systemy (Moodle oraz Dokeos) uzyska y identyczne odpowiedzi

– po dwie najwy sze oceny, 6 ocen wskazuj cych na zapami tanie umiejscowienia potrzebnych

narz dzi i funkcji po kilku logowaniach przy czterech odpowiedziach „Ani szybko, ani wolno”.

Nieco ni sze, ale zbli one noty uzyska ATutor – jedn ocen najwy sz , na odpowied

„Szybko, po pierwszych kilku logowaniach” wskaza o w przypadku tego systemu pi ciu responden-

tów, natomiast 6 nie odczu o w omawianym obszarze oceny poprawy ani pogorszenia.

Tabela 6. Ocena systemów w obszarze B dy I

System

Czy w podczas pracy z systemem pojawiaj si b dy?

Bardzo cz sto Cz sto Rzadko Bardzo rzadko B dy nie

wyst powa y

Moodle 0 0 1 2 9

Dokeos 0 0 1 1 10

ATutor 0 1 2 2 7





36

Tabela 7. Ocena systemów w obszarze B dy II

System

Czy informacje o b dach s w a ciwie przekazywane?

Zdecydowanie

tak Raczej tak Raczej nie

Zdecydowanie

nie

B dy nie wyst -

powa y

Moodle 0 2 1 0 9

Dokeos 0 1 1 0 10

ATutor 0 1 3 1 7


W obszarze B dy I (tabela 6) eksperci uznali, e podczas pracy z systemami, b dy wyst po-

wa y rzadko, bardzo rzadko b d w ogóle. Jedynym wyj tkiem by a opinia dotycz ca systemu

ATutor, wskazuj ca na cz ste wyst powanie b dów. Podobnie, zbli one odpowiedzi cechowa y

obszar B dy II (tabela 7) – dla wszystkich analizowanych systemów dominowa a odpowied , e

b dy nie wyst powa y. Je li b dy wyst pi y, oceny ekspertów w zasadzie dzieli y si pomi dzy

odpowiedzi „raczej tak” i „raczej nie”, z wyj tkiem ponownie systemu ATutor, w przypadku któ-

rego jeden z ekspertów uzna , e informacje o b dach s przekazywane w zdecydowanie

niew a ciwy sposób.

Tabela 8. Ocena systemów w obszarze Satysfakcja

System

Czy praca z systemem jest dla Pana/Pani przyjemna?

Zdecydowanie

tak Raczej tak

Trudno powie-

dzieRaczej nie

Zdecydowanie

nie

Moodle 1 5 5 1 0

Dokeos 1 5 5 1 0

ATutor 0 5 1 6 0


Je li chodzi o satysfakcj , eksperci najwy ej ocenili prac w systemach Moodle i Dokeos, które

6 ankietowanych oceni o pozytywnie wobec 5 g osów niezdecydowanych i jednego wskazuj cego

na raczej nieprzyjemn prac z tymi systemami (tabela 8). Zdecydowanie gorzej na tym tle wypad

ATutor (5 ocen pozytywnych i jedna neutralna wobec 6 raczej niekorzystnych).

Oceny ekspertów wed ug obszarów badawczych pokazuj raczej krytyczne nastawienie do u y-

teczno ci badanych systemów – sporadycznie przyznawane by a nota najwy sza. Nale y

jednocze nie zauwa y , e równie rzadko eksperci przyznawali najni sze oceny, co jest najprawdo-

podobniej zwi zane ze spotykan w tego rodzaju badaniach tendencj stosowania ocen

u rednionych i ignorowania skrajnych.

Ankietowani mieli ponadto mo liwo przekazania swoich spostrze e na temat szczególnie

istotnych zalet b d wad systemów. Systemy Moodle oraz Dokeos zosta y wyró nione przez 4 eks-

pertów przede wszystkim za liczb dost pnych funkcji, a tak e przyjazny u ytkownikom interfejs

graficzny. System ATutor zdaniem tylko jednego ankietowanego wyró nia si intuicyjnym inter-

fejsem. Jednocze nie system Moodle zosta uznany przez 2 ekspertów za nieudany pod wzgl dem

37

wygl du, a tak e nieintuicyjny (2 odpowiedzi) oraz s abo komunikuj cy o b dach (1 odpowied ).

W przypadku systemu ATutor wszystkie 4 odpowiedzi dotycz ce wad koncentrowa y si wokó

nieintuicyjnego interfejsu. Co ciekawe, system Dokeos jako jedyny w opinii badanych ekspertów

nie wyró nia si szczególnie istotnymi wadami.

Ostatnim etapem badania by o porównanie systemów na podstawie zaproponowanego przez

autorów skumulowanego wska nika u yteczno ci (tabela 9).

Tabela 9. Skumulowany wska nik u yteczno ci – porównanie systemów

Obszar

Moodle Dokeos ATutor Max.

ocena2

(pkt.)

Waga Pkt.

Proc.

oceny

max.

Pkt.

Proc.

oceny

max.

Pkt.

Proc.

oceny

max.

Zapoznanie 7,32 68% 7,86 73% 6,43 60% 10,71 0,18

Sprawno 14,31 85% 12,9 77% 12,35 73% 16,84 0,28

Zapami tywanie 9,15 77% 9,15 77% 8,56 72% 11,94 0,20

B dy I 3,67 82% 3,97 88% 3,3 73% 4,5 0,075

B dy II 3,97 88% 4,12 92% 3,37 75% 4,5 0,075

Satysfakcja 8,14 70% 8,14 70% 6,78 58% 11,63 0,19

Skumulowany

wska nik u ytecz-

no ci (U)

46,56 77% 46,14 77% 40,79 68% 60,12 1


Z przedstawionych danych wynika, e najwy szy skumulowany wska nik u yteczno ci uzy-

ska y systemy Moodle – 46,56 pkt. (co daje 77% oceny maksymalnej) oraz Dokeos – 46,14 proc.

(co daje tak e 77% oceny maksymalnej). System ATutor uzyska 40,79 pkt., tj. 68% oceny maksy-

malnej, co daje mu najs abszy wynik w tym zestawieniu.

Liczby te znajduj odzwierciedlenie w ocenach poszczególnych obszarów tych systemów. Daje

si zauwa y prawid owo , i we wszystkich przypadkach najni sze noty uzyskiwa system ATu-

tor. System Dokeos uzyska pierwsze miejsce w rankingu systemów w obszarach Zapoznanie, B dy

I oraz B dy II. System Moodle uzyska najlepsz not w obszarze Sprawno . Z kolei w obszarach

Zapami tywanie oraz Satysfakcja oba te systemy zaj y ex aequo pierwsze miejsce.

Zbli one skumulowane oceny systemów Moodle i Dokeos zach caj do bardziej szczegó owej

analizy. Warto zwróci uwag , e ró nice ocen w poszczególnych obszarach porównywanych sys-

temów waha y si od 4 punktów procentowych (lepsza ocena obszaru B dy II systemu Dokeos),

przez 5 pkt. proc. (lepsza ocena obszaru Zapoznanie systemu Dokeos) oraz 6 pkt. proc. (lepsza ocena

obszaru B dy I systemu Dokeos), a po 8 pkt. proc. (wyra nie lepsza ocena obszaru Sprawno

systemu Moodle).

Na poziom wska nika U wp yn y równie wagi przypisane poszczególnym obszarom (zob.

tabela 9, ostatnia kolumna.). Za najbardziej istotny obszar w pracy z systemem zdalnego nauczania

eksperci uznali Sprawno (waga 0,28), a w dalszej kolejno ci – Zapami tywanie (0,20), Satysfakcja

(0,19) oraz Zapoznanie (0,18). Za najmniej istotne uznano obszary dotycz ce b dów ( czna waga

2 Uzyskana przy za o eniu, e wszyscy eksperci bior cy udzia w badaniu przydziel poszczególnym obszarom maksymaln

liczb punktów (tj. 5).




38

obu obszarów wynios a 0,15). Tak wi c o nieznacznie wy szym poziomie wska nika U dla systemu

Moodle zdecydowa a wyra nie lepsza ocena tego systemu w obszarze Sprawno , któremu eksperci

nadali najwy sz wag .

Z pewno ci cieszy fakt, e u yteczno systemu Dokeos zosta a równie wysoko oceniona

przez badanych ekspertów i e mo e on stanowi pod tym wzgl dem alternatyw dla systemu

Moodle. Konkurencja mo e w tym przypadku wp yn pozytywnie na rozwój systemów e-learnin-

gowych i przyczyni si do wzrostu ich popularno ci.

5. Podsumowanie

W artykule dokonano porównania wybranych systemów e-learningowych pod wzgl dem ich

u yteczno ci z punktu widzenia nauczyciela akademickiego. Do oceny pos u y zaproponowany

przez autorów, skumulowany wska nik u yteczno ci U. Z przeprowadzonego badania wynika, e

dwa z badanych systemów, tj. Moodle oraz Dokeos, cechuje bardzo podobny, wysoki poziom u y-

teczno ci, podczas gdy trzeci system, ATutor, ust puje im nieco pod tym wzgl dem. Podczas

interpretacji wska nika nale y zwraca szczególn uwag na oceny cz stkowe poszczególnych ob-

szarów, które pozwalaj wychwyci istotne ró nice pomi dzy porównywanymi systemami. Na tej

podstawie mo na s dzi , i przy zbli onym poziomie funkcjonalno ci technicznej badanych syste-

mów e-learningowych ich u yteczno wp ywa tak e na ich popularno .

W ród zalet zaproponowanego wska nika autorzy podkre laj jego syntetyczny charakter, przy

jednoczesnej mo liwo ci rozszerzenia go o kolejne sk adowe – kategorie oceny. Jest równie wra -

liwy na wagi przypisywane przez respondentów poszczególnym obszarom analizy.

Zaproponowany wska nik nie uwzgl dnia jednak poziomu znajomo ci systemów w ród uczest-

ników badania, co mo e w pewnym stopniu zniekszta caj co wp ywa na uzyskiwane wyniki (zob.

np. [1] i literatura tam cytowana). W zwi zku z tym przy dokonywaniu w przysz o ci kolejnych

analiz porównawczych nale y rozszerzy prób badawcz a tak e uwzgl dni zró nicowan struk-

tur respondentów.

Autorzy wyra aj jednocze nie przekonanie, i przysz e badania powinny koncentrowa si

tak e na opiniach uczniów (studentów), bowiem to ich do wiadczenia w pracy z systemami e-lear-

ningowymi w bardzo du ym stopniu przes dzaj o sukcesie b d pora ce nauczania na odleg o .

Bibliografia

[1] Ardito C. i in., Usablility of e-learning tools, Proceedings of AVI'04 International Conference

on Advanced Visual Interfaces Gallipoli, [Online]. Dost pne: http://tesi.fa-

bio.web.cs.unibo.it/twiki/pub/Tesi/DocumentiRitenutiUtili/p80-ardito.pdf (10.05.2012).

[2] Ardito C. i in., An approach to usability evaluation of e-learning applications, „Universal Ac-

cess in the Information Society” 2006, t. 4, nr 3.

[3] Brzózka P., Moodle dla nauczycieli i trenerów, Helion, Gliwice 2011.

[4] Chmielarz W., Ocena u yteczno ci internetowych witryn sklepów komputerowych, „Studia

i Materia y Polskiego Stowarzyszenia Zarz dzania Wiedz ” 2008, nr 13.

[5] Downey S. i in., The relationship between national culture and the usability of an E-learning

system, „Human Resource Development International” 2005, t. 8, nr 1.

[6] Hyla M., Przewodnik po e-learningu. Szkolenia, Wolters Kluwer, Kraków 2009.

[7] LMS Usability Working Group, LMS Usability Evaluation Report, [Online]. Dost pne:

39

www.nl.edu/lmstaskforce/updates.cfm (15.03.2011).

[8] Martin L. i in., Usability in e-Learning Platforms: heuristics comparison between Moodle,

Sakai and dotLRN, [Online]. Dost pne: www.itakora.com/papers/Usability%20in%20eLear-

ning%20Platforms%20heuristics%20comparison.pdf (5.11.2013)

[9] Matalewska M., Zrobek J., E-learning – mo liwo pozyskiwania i doskonalenia kompe-

tencji pracowniczych, „Zeszyty Naukowe Uniwersytetu Szczeci skiego” 2012, nr 88.

[10] Melton J., The LMS moodle: A usability evaluation, „Languages Issues” 2006, nr 11/12 (1).

[11] Nielsen J., Interactive User Interface Design [Online]. Dost pne: www.useit.com/papers/ite-

rative_design/ (21.04.2012).

[12] Nielsen J., Introduction to Usability [Online]. Dost pne: www.useit.com/alert-

box/20030825.html (22.01.2012).

[13] Nielsen J., Projektowanie funkcjonalnych serwisów internetowych, Helion, Gliwice 2003.

[14] Pleba ska M., E-learning. Tajniki edukacji na odleg o , C.H. Beck, Warszawa 2011.

[15] Rentróia-Bonito A. i in., Evaluating learning-support systems usability: an empirical ap-

proach [Online]. Dost pne: http://elconf06.dei.uc.pt/pdfs/paper29.pdf (23.07.2010).

[16] Triacca L. i in., MiLE: Systematic Usability Evaluation for E- learning Web Applications,

[w:] L. Cantoni, C. McLoughlin (red.), Proceedings of World Conference on Educational Mul-

timedia, Hypermedia and Telecommunications [Online]. Dost pne:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.96.5918&rep=rep1&type=pdf

(12.04.2012).

[17] Vargo J. i in., Learning object evaluation: Computer mediated collaboration and inter-

rater reliability, „International Journal of Computers and Applications” 2003, t. 25, nr 3.

[18] Windham L., Dusza nowego konsumenta: postawy, zachowania i preferencje e-klientów,

Wyd. Cedewu, Warszawa 2001.




40

MULTICRITERIAL EVALUATION OF E-LEARNING SYSTEMS USABILITY

Summary

The article presents the characteristics of various methods of testing usability of

e-learning systems, the proposal of new indicator and the results of own pilot study

involving the comparison of systems: Moodle, Dokeos and ATutor. The study focuses

on evaluation of e-learning systems usability from the perspective of person teaching

the course.

Keywords: e-learning, usability, moodle, atutor, dokeos

Wirginia Dory

Katedra Funkcjonowania Gospodarki

Wydzia Ekonomiczno-Socjologiczny

Uniwersytet ódzki

ul. POW 3/5, 90-255 ód

e-mail: [email protected]

Karol Korczak

Katedra Informatyki Ekonomicznej

Wydzia Ekonomiczno-Socjologiczny

Uniwersytet ódzki

ul. POW 3/5, 90-255 ód

e-mail: [email protected]

Wielokryterialna ocena użyteczności systemów e-learningowych · Sáowa kluczowe: e-learning, u...

Documents

Transcript of Wielokryterialna ocena użyteczności systemów e-learningowych · Sáowa kluczowe: e-learning, u...