"Ewaluacja w nadzorze pedagogicznym. Odpowiedzialność".

EWALUACJA W NADZORZE PEDAGOGICZNYM

ODPOWIEDZIALNO

EWALUACJA W NADZORZE PEDAGOGICZNYM

ODPOWIEDZIALNOpod redakcj Grzegorza Mazurkiewicza

WYDAWNICTWO UNIWERSYTETUJAGIELLOSKIEGO

Program wzmocnienia efektywnoci systemu nadzoru pedagogicznego i oceny jakoci pracy szkoy, etap II w ramach III Priorytetu Programu Operacyjnego Kapita Ludzki, Dziaanie 3.1 wspfi nansowanego z Europejskiego Funduszu Spoecznego

Publikacja wspfi nansowana ze rodkw Unii Europejskiej w ramach Europejskiego Funduszu Spoecznego

SEKRETARZ REDAKCJI Hanna Cielak

PROJEKT OKADKI Mateusz Koek

Copyright by Orodek Rozwoju EdukacjiWydanie I, Krakw 2010, 2011 (dodruk)All rights reserved

Ksika, ani aden jej fragment, nie moe by przedrukowywana bez pisemnej zgody Wydawcy. W sprawie zezwole na przedruk naley zwraca si do Wydawnictwa Uniwersytetu Jagielloskiego.

ISBN 978-83-233-2948-0

Strona internetowa projektu: www.npseo.pl

www.wuj.pl

Wydawnictwo Uniwersytetu JagielloskiegoRedakcja: ul. Michaowskiego 9/2, 31-126 Krakwtel. 12 631-18-80, tel./fax 12 631-18-83Dystrybucja: tel. 12 631-01-97, tel./fax 12 631-01-98tel. kom. 506-006-674, e-mail: [email protected]: Bank PEKAO SA, 80 1240 4722 1111 0000 4856 3325

WPROWADZENIE ................................................... 7

CZ I. SYSTEM EWALUACJI OWIATY: ZAOENIA

Grzegorz Mazurkiewicz Joanna Berdzik

SYSTEM EWALUACJI OWIATY: MODEL I PROCEDURA EWALUACJI ZEWNTRZNEJ .......... 13

Agnieszka Borek METODY I NARZDZIA W EWALUACJI ZEWNTRZNEJ ......................................................... 25

Bartomiej Walczak ANALIZA DANYCH JAKOCIOWYCH I ILOCIOWYCH ....................................................... 37

Tomasz Kasprzak EWALUACJA DLA ROZWOJU. RAPORT JAKO DIALOG ........................................................... 59

Lucian Ciolan W TROSCE O WYSOK JAKO RAPORTU Z EWALUACJI KILKA UNIWERSALNYCH PRAWD ..................................................................... 71

CZ II. SYSTEM EWALUACJI OWIATY: PRAKTYCZNE RADY

Ewa Drozd, Laura Piotrowska

ROLA ZAWODOWA WIZYTATORA DO SPRAW EWALUACJI ............................................................... 81

John M. Fischer JAK NAUCZY SI PODEJMOWA DECYZJE, WYKORZYSTUJC WYNIKI RAPORTU Z EWALUACJI? .......................................................... 87

SPIS TRECISPIS TRECI

6 Spis treci

Agnieszka Arkusiska, Indira Lachowicz

EWALUACJA ZEWNTRZNA JAK SI DO NIEJ DOBRZE PRZYGOTOWA? ...................................... 109

Martin Whittle JAK PRZETRWA INSPEKCJ? WSKAZWKI... 117

CZ III. SYSTEM EWALUACJI OWIATY: GOSY UCZESTNIKW

Jolanta Maryniuk O EWALUACJI, RY I ODPOWIEDZIALNOCI ..... 125

Anna Gocowska REFLEKSJE WIZYTATORA DO SPRAW EWALUACJI ............................................................... 129

Dorota Majchrzyk, Ewa Fortunka, Beata Nizioek, Joanna Wojcieszyska, Urszula Wojsaw--Kozowska

DOBRE RADY OD WIZYTATORW DLA WIZYTATORW (DO SPRAW EWALUACJI) .... 133

Krzysztof Anklewicz Z PAMITNIKA MODEGO EWALUATORA ............. 137

Boena Jolanta Lenkiewicz-Broda EWALUACJA PIERWSZE DOWIADCZENIA... ........ 141

Jolanta Jaworek OBALANIE MITW CZYLI NIE TAKI DIABE STRASZNY, JAK GO MALUJ ................................... 143

ZACZNIK: Przykadowa struktura badania wymaga wobec szk podstawowych, gim-nazjw, szk ponadgimnazjalnych, szk arty-stycznych, placwek ksztacenia ustawicznego, placwek ksztacenia praktycznego oraz orodkw doksztacania i doskonalenia zawodowego (stan aktualny na marzec 2010 r.) ..................................... 147

O AUTORACH ........................................................... 167

WPROWADZENIEWPROWADZENIE

Publikacja, ktr maj Pastwo przed sob, to rezultat wsppracy wie-lu osb zaangaowanych w projekt pod tytuem Program Wzmocnienia Efektywnoci Systemu Nadzoru Pedagogicznego i Oceny Jakoci Pracy Szkoy Etap II. W ramach Programu Operacyjnego Kapita Ludzki na lata 20072013, w priorytecie wysoka jako systemu owiaty zaplanowa-no dziaanie Modernizacja Systemu Nadzoru Pedagogicznego. Jego celem jest stworzenie systemu nadzoru, ktry w autentyczny sposb wesprze szkoy (i inne placwki owiatowe) w rozwoju, a dziki dostarczaniu informacji o ca-ym systemie owiatowym uatwi prowadzenie polityki edukacyjnej w Polsce. W rozporzdzeniu Ministra Edukacji Narodowej z 2009 roku przedstawiono kluczowe zagadnienia i decyzje zwizane z wprowadzaniem w ycie nowego modelu nadzoru pedagogicznego. Jedn z najwaniejszych zmian jest rozdzie-lenie trzech funkcji nadzoru pedagogicznego: 1) kontroli przestrzegania pra-wa, 2) wspomagania pracy szk i placwek oraz nauczycieli w zakresie ich dziaalnoci, a take 3) ewaluacji pracy szk i placwek. I to wanie ewaluacja jest przedmiotem rozwaa zamieszczonych w niniejszym tomie.

Prezentujemy drugi z trzech tomw publikacji, ktry zawiera seri prac traktujcych o praktycznych aspektach ewaluacji. Stanowi on rozwinicie te-oretycznych opracowa przedstawionych w tomie pierwszym. Pod wzgldem merytorycznym tom skada si z trzech czci: w pierwszej znajduj si roz-dziay omawiajce poszczeglne aspekty procesu ewaluacji szk, w drugiej rozdziay zawierajce praktyczne rady dla wizytatorw do spraw ewaluacji oraz dla dyrektorw ewaluowanych szk, w trzeciej refl eksje z pierwszych praktycznych dowiadcze zebranych przez ewaluatorw uczestniczcych w pilotaowej aplikacji prezentowanej tu procedury.

Cz pierwsz otwiera rozdzia Grzegorza Mazurkiewicza i Joanny Berdzik, w ktrym autorzy rozwijaj przedstawione w tomie pierwszym gw-ne zaoenia Systemu Ewaluacji Owiaty, omawiajc zaoenia, cele, rezultaty

8 Wprowadzenie

i efekty procedury ewaluacyjnej. Agnieszka Borek szczegowo omawia zasa-dy konstrukcji narzdzi diagnostycznych przygotowanych przez zesp eks-pertw na potrzeby ewaluacji. W rozdziale autorstwa Bartomieja Walczaka czytelnik znajdzie zwize i napisane w bardzo przystpny sposb przedsta-wienie podstawowych metod jakociowego i ilociowego opracowania danych zbieranych w trakcie ewaluacji. Tomasz Kasprzak wyjania zasady formuowa-nia raportu, ktry jest dokumentem powstajcym w wyniku ewaluacji. Jest za-razem narzdziem umoliwiajcym szkole wykorzystanie wynikw ewaluacji i poprzez to dalsz prac nad wasnym rozwojem oraz doskonaleniem jakoci. Sposb napisania raportu i organizacja pracy z jego wykorzystaniem maj klu-czowe znaczenie dla poytkw pyncych z obecnej reformy systemu nadzoru pedagogicznego. Prezentacj Tomasza Kasprzaka uzupenia rozdzia Luciana Ciolana zawierajcy oglne zasady pisania raportw. Rozwaania autora pro-wadzone z perspektywy innych ni polski systemw owiatowych pozwalaj na umieszczenie poprzedniej prezentacji w szerszym kontekcie i wzbogacenie wasnej refl eksji nad tym istotnym elementem procesu ewaluacji.

Pocztkowy rozdzia czci drugiej, zawierajcej praktyczne wskazwki dla osb zaangaowanych w proces ewaluacji, autorstwa Ewy Drozd i Laury Piotrowskiej, przedstawia wymagania roli zawodowej wizytatora do spraw ewaluacji. Podstawowe jej elementy wynikaj z rozporzdzenia Ministra Edukacji Narodowej w sprawie nadzoru pedagogicznego, jednake ich spe-nienie pociga za sob konieczno wiadomego i aktywnego stosunku do nich osoby podejmujcej t rol. Zoono jej wymaga obejmujcych zarwno wiedz z wielu dyscyplin akademickich (midzy innymi z zakresu ewaluacji, psychologii, pedagogiki, zarzdzania, statystyki, informatyki i in-nych), umiejtnoci (interpersonalne, organizacyjne, analityczne, formuo-wania tekstw pisanych), jak te wysokie standardy etyczne powoduje, e dla waciwego jej penienia nie wydaje si wystarczajce potraktowanie jej w sposb pozwalajcy spenia wikszo rl zawodowych. John M. Fischer przedstawia procedur wykorzystania wynikw ewaluacji dla rozpoczcia procesu doskonalenia pracy szkoy rozoon na pi kolejnych krokw. Jej opis nie tylko podaje oglne wskazwki dotyczce podejmowania decyzji istotnych dla rozwoju szkoy jako organizacji uczcej si, lecz rwnie zawiera wiele propozycji konkretnych dziaa do wykorzystania w praktyce. Podobne zagadnienia podejmuj Agnieszka Arkusiska i Indira Lachowicz, ktrych artyku jest adresowany przede wszystkim do dyrektorw szk przygotowu-jcych si do ewaluacji. Zawiera on zwize instrukcje dotyczce zada dyrek-

Wprowadzenie 9

tora na kolejnych etapach tego procesu z uwzgldnieniem jego zewntrznego i wewntrznego wymiaru. Autorki przywouj procedur przedstawion przez Johna M. Fischera, umieszczajc j w szerszym kontekcie caoci ewaluacji. Angielskie dowiadczenia z perspektywy dyrektora szkoy przedstawia Martin Whittle. Chocia niektre szczegy przedstawione w jego artykule odnosz si bezporednio do warunkw angielskich i nie maj swoich odpowiednikw w rzeczywistoci polskiej, wikszo rad i wskazwek mona z powodzeniem wykorzysta.

Ostatni cz tomu stanowi zbir wypowiedzi wizytatorw i dyrektora szkoy, ktrzy uczestniczyli w pilotaowej ewaluacji. Utrzymane w zrnico-wanej stylistyce poruszaj rozmaite problemy, jakie pojawiaj si w praktyce ewaluacyjnej. Szczeglnie cenne wydaj si fragmenty dotyczce osobistych przey, take emocjonalnych, ktre nieuchronnie pojawiaj si w tego typu pracy i mog stanowi istotne utrudnienie. Warto si zapozna z tymi wy-powiedziami, by na ich podstawie przemyle wasne sposoby radzenia sobie z tego rodzaju problemami.

W zaczniku znajdziecie Pastwo schemat badania poziomu speniania wymaga. Naley pamita, e to model dynamiczny, udoskonalany dosy czsto (przynajmniej w pierwszym roku obowizywania rozporzdzenia). Dlatego tre w zaczniku naley traktowa nie jako wzorzec, ale przykad, ktry by aktualny w marcu roku 2010.

Mamy nadziej, e niniejszy tom pozwoli czytelnikom dobrze si przygoto-wa do prowadzenia ewaluacji, a w jej trakcie bdzie stanowi rdo potrzeb-nych informacji.

Grzegorz Mazurkiewicz i Joanna BerdzikKoordynatorzy programu

CZ I. SYSTEM EWALUACJI OWIATY: ZAOENIA

GRZEGORZ MAZURKIEWICZ, JOANNA BERDZIK

SYSTEM EWALUACJI OWIATY: MODEL I PROCEDURA EWALUACJI ZEWNTRZNEJ

Naszym gwnym celem jest dobro uczcych si.

Punktem wyjcia koncepcji nowego nadzoru pedagogicznego jest zaoe-nie, e pastwo formuuje jasne, oglnie znane i akceptowane wymagania wo-bec szk i placwek. Ustalone na poziomie oglnym wymagania pozwalaj szkole na wytyczenie kierunkw dziaania, jednoczenie umoliwiajc zespo-om szkolnym prowadzenie swojej dziaalnoci zgodnie z lokalnymi potrze-bami i moliwociami. Wymagania te wyznaczaj podany stan w systemie owiaty, pokazujc jednoczenie przydatne kierunki rozwoju.

PODSTAWOWE ZAOENIA

1. Wane jest, aby pamita, e wymagania pastwa wobec szk i plac-wek nie obejmuj wszystkich moliwych zagadnie zwizanych z ustawowymi i innymi obowizkami szk wobec uczniw i rodzicw. Wymagania pastwa wobec szk wskazuj zadania strategiczne i priorytetowe, wybrane w taki sposb, aby pomagay organizowa prac szkoy dla rozwizywania najwa-niejszych problemw cywilizacyjnych. Analizujc wymagania pastwa wobec szkoy, nie naley wic poszukiwa caociowego obrazu szkoy, ale raczej wi-dzie kluczowe aspekty jej dziaalnoci. W obszarze zarzdzanie, na przykad, nie znajduje si zgodny z teori model zarzdzania, ale kilka najwaniejszych z perspektywy wspczesnej edukacji zagadnie, zwizanych ze specyfi k pra-cy osb kierujcych innymi w szkoach.

Bardzo istotne jest zrozumienie, e proponowane wymagania wobec szk i placwek to nie zestaw przekona na temat tego, jak one powinny funkcjo-nowa, ale raczej cele, do ktrych realizacji powinny dy instytucje eduka-

14 Grzegorz Mazurkiewicz, Joanna Berdzik

cyjne, aby umoliwi sukces kademu uczcemu si i wesprze kraj oraz spo-eczestwo w realizacji zada umoliwiajcych Polsce zajcie miejsca w grupie pastw zaliczanych do czowki gospodarczej, politycznej i kulturowej (patrz na przykad: Raport o kapitale intelektualnym lub Raport Polska 2030).

2. Wymagania dotycz czterech obszarw dziaania szk i placwek (ob-szar: efekty obejmujcy wszystko, co zostaje uznane za wartociowy i po-dany rezultat pracy szkoy, obszar: procesy obejmujcy procesy prowadzce do pojawienia si podanych efektw, obszar: rodowisko obejmujcy istot-ne aspekty wsppracy z lokalnym, regionalnym i globalnym rodowiskiem szkoy, oraz obszar: zarzdzanie obejmujcy dziaania zarzdcze wpywajce na trzy wczeniejsze obszary). Dogbne zrozumienie wymaga i ich miejsca w pracy szkoy jest podstawowym warunkiem sukcesu nowego modelu nadzo-ru pedagogicznego, systemu edukacyjnego i samych szk.

3. Jedn z bardzo istotnych innowacji nowego nadzoru pedagogicznego jest jego elastyczno. Dlatego wanie wymagania mog by (i bd) zmie-niane w zalenoci od zmiany priorytetw prowadzonej przez pastwo polity-ki owiatowej. Wymagania podlegaj cigemu osdowi i dyskusji (czciowo podczas ewaluacji procesu badania jakoci pracy placwki), ktre prowadz do koniecznych modyfi kacji.

Rozwj spoeczny, rozwj technologii, zmiany na rynku pracy, podejcie do ekologii, konieczno budowania relacji midzykulturowych, zmiany w systemach wartoci, inne spojrzenie na koncepcje rwnoci czy wolnoci to tylko niektre z czynnikw determinujcych sposb mylenia o edukacji i charakter podejmowanych w szkoach dziaa. Wanie z powodu gwa-townych zmian cywilizacyjnych i warunkw funkcjonowania szkoy, a co za tym idzie: pojawiajcych si nowych oczekiwa wobec placwek edukacyj-nych i ich absolwentw elastyczne powinno by rwnie stanowisko tych, ktrzy decyduj o priorytetach polityki owiatowej (czyli te o wymaga-niach). Zmiany, w zalenoci od potrzeb i ustale, mog by wprowadzane na kadym poziomie nowego modelu nadzoru pedagogicznego (na przykad na poziomie wymaga lub narzdzi). Przebudowywanie systemu na zasa-dzie patchworku lub ukadanki powinno uatwi konsultacje i negocjacje dotyczce zmiany w polityce owiatowej pastwa bez koniecznoci zmiany caego systemu.

4. Szkoy i placwki powinny dziaa w celu spenienia wymaga, ale zgod-nie ze swoimi moliwociami i uwarunkowaniami. To pracownicy tych insty-tucji powinni dobiera metody i sposoby dziaania tak, aby umoliwiay one

15System Ewaluacji Owiaty: model i procedura ewaluacji zewntrznej

osignicie stanu opisywanego przez wymagania, ale rwnie uwzgldniay specyfi k szkoy lub placwki.

5. Proces zewntrznej ewaluacji, sucy okreleniu, w jakim stopniu dana szkoa lub placwka spenia wymagania, bdzie prowadzony przez zespo-y wizytatorw do spraw ewaluacji zgodnie z ustalonym harmonogramem. Ewaluacja moe mie charakter caociowy (badajc wszystkie wymagania) lub czciowy (problemowy badajc wymagania zwizane z okrelonym za-gadnieniem).

6. W wyniku ewaluacji zewntrznej powstaje raport z badania zawierajcy informacje na temat funkcjonowania szkoy lub placwki oraz wnioski ko-cowe w odniesieniu do wymaga. W razie ustalenia w trakcie ewaluacji ze-wntrznej niskiego poziomu speniania wymaga dyrektor/placwka ponosi konsekwencje zgodnie z przepisami prawa.

7. Raport zawierajcy informacje na temat wynikw bada i poziomu spe-niania wymaga bdzie ujty w struktur adekwatn do dokumentu prezen-tujcego wymagania (cztery obszary i kolejne wymagania). Zespoy szkolne bd zobowizane do analizy raportu oraz zaplanowania i podjcia odpowied-nich dziaa sucych poprawie jakoci pracy placwki.

8. Dyrektor szkoy i nauczyciele bd brali udzia w procesie ewaluacji ze-wntrznej. Partycypacja pracownikw placwki w procesie ewaluacji zosta-nie zapewniona na rne sposoby. Przede wszystkim wizytatorzy do spraw ewaluacji maj obowizek brania pod uwag ewaluacji wewntrznej podczas prowadzenia ewaluacji zewntrznej, co oznacza konieczno porwnywania wasnych wnioskw z istniejcymi wnioskami z przeprowadzonej ewaluacji wewntrznej placwki. Dyrektor i nauczyciele bd ponadto zna zarwno procedury badania, jak i wykorzystywane narzdzia. Na zakoczenie ewaluacji odbdzie si spotkanie wizytatorw z zespoem pracownikw placwki w celu przedstawienia, omwienia oraz analizy wynikw ewaluacji. Zapewniona zo-stanie rwnie moliwo wypowiedzenia si na temat przebiegu badania. Odbdzie si to przez wypenienie ankiety online.

Kade badanie rzeczywistoci wie si z pytaniem o adekwatno uzyskane-go na podstawie bada obrazu do rzeczywistoci prawdziwej. W wypadku bada edukacyjnych, bada szkoy, dylemat ten jest szczeglnie widoczny. Decyzje zwizane z tym, co badamy, zadane pytania, zastosowane narzdzia, wybr respondentw i czasu badania, wreszcie analiza, a zwaszcza inter-pretacja wynikw otwieraj moliwoci pojawienia si wtpliwoci zwiza-


nych z subiektywizmem, brakiem metodologicznej precyzji lub defi cytem profesjonalizmu. Najwaniejsz wic umiejtnoci wan dla przydatnoci ewaluacji zewntrznej jest umiejtno zachcenia tych, ktrych wyniki ba-da dotycz (gwnie dyrektorw i nauczycieli), do refl eksji nad tym, co z ta-kich bada wynika. Podstawowym czynnikiem, ktry zadecyduje o sukcesie tej inicjatywy (wprowadzania procesu ewaluacji w system nadzoru), bdzie zdolno przekonania osb pracujcych w szkoach, e badanie poziomu speniania wymaga pastwa ma suy szkole w nieustannej prbie popra-wiania jakoci wasnej pracy, e ma sens i przyniesie przydatne informacje, e jest bezpieczne i szkole nie zaszkodzi.

Wrd kluczowych poj tak istotnych dla nowej koncepcji nadzoru znaj-duj si pojcia znane i powszechnie akceptowane: priorytety polityki owia-towej, profesjonalizm pracownikw nadzoru, szk i placwek, autonomia dyrektorw i nauczycieli w podejmowaniu decyzji, systemowo dziaa, elastyczno rozwiza, moliwo porwnywania danych. Chodzi o to, aby uczyni z nich podstawowe narzdzia to zwikszy szanse na przydatne szkoom dziaania w zakresie nadzoru pedagogicznego.

CELE I ZASADY EWALUACJI ZEWNTRZNEJ

Podstawowymi celami ewaluacji szk i placwek prowadzonej zgodnie z nowo projektowanym modelem sprawowania nadzoru pedagogicznego s:

a) rozwj placwek, czyli umoliwienie zespoom szkolnym i w placw-kach (dyrektorom wraz z nauczycielami) efektywnej pracy nad popra-wianiem jakoci szkoy i placwki przez dostarczanie informacji na te-mat tej jakoci. Wiarygodne i porwnywalne dane, zdefi niowane mocne strony i problemy szkoy oraz ich wsplna analiza powinny uatwia po-dejmowanie decyzji dotyczcych dziaa szk i placwek (w tym te tych sucych spenieniu wymaga);

b) rozwj systemu owiatowego, czyli pokazywanie kierunkw rozwoju oraz umoliwianie monitorowania tego rozwoju przez dostarczenie na-rzdzi i informacji o poziomie speniania przez szkoy i placwki wyma-ga pastwa. Szansa na opracowanie przez MEN rzetelnej informacji o stanie owiaty;


c) rozwj sposobw zarzdzania systemem owiatowym, dziki budowa-niu bazy danych dotyczcych tego systemu umoliwiajcej prowadzenie bada porwnawczych i analiz, a przez to umoliwienie prowadzenia polityki owiatowej (na poziomie centralnym i lokalnym), podejmowa-nia decyzji i tworzenia strategii rozwojowych. Moliwo popularyzo-wania dobrych praktyk.

Dla sprawnoci funkcjonowania systemu, oprcz przedstawionych powy-ej celw, niezmiernie istotne bd te wartoci decydujce o charakterze i kli-macie sprawowanego nadzoru:

a) proces ewaluacji jest w peni demokratyczny, co przejawia si w pra-wie do uczestniczenia w nim wszystkich osb zainteresowanych na kadym jego etapie. Wizytatorzy do spraw ewaluacji s zobowizani do uzgadniania wszelkich poczyna z dyrekcj, pracownikami, rodzicami i uczniami. Pracownicy szkoy maj prawo do wyraania opinii na te-maty zwizane z ewaluacj ich pracy (analizowane przez wizytatorw). Odpowiednie elementy procedury ewaluacji zapewniaj takie moliwo-ci. Tylko autentyczne uczestnictwo i zaangaowanie wszystkich zainte-resowanych umoliwi przeprowadzenie przydatnej ewaluacji;

b) proces ewaluacji jest transparentny, co przejawia si w jawnoci procedur, kryteriw ewaluacji, narzdzi oraz wynikw i wnioskw z ewaluacji;

c) proces ewaluacji jest elastyczny, co oznacza, e bierze si pod uwag rnorodno placwek, co umoliwia reagowanie na zmiany konteks-tu funkcjonowania. W system jest wpisany nieustanny dialog midzy wszystkimi uczestnikami procesu, dotyczcy zarwno metod ewalua-cji, jak i sposobu jej przeprowadzenia. Wnioski wynikajce z refl eksji z uczestnikami procesu bd suy modyfi kowaniu modelu nadzoru (w tym samych wymaga, jak rwnie metod i narzdzi);

d) wszyscy wizytatorzy do spraw ewaluacji bd wykazywa pene zaanga-owanie. Dziaania podejmowane dla ewaluacji placwki s dziaania-mi zespoowymi majcymi na celu podniesienie jakoci i zapewnienie wszystkim uczcym si jak najlepszego wsparcia w procesie uczenia si. Proces ewaluacji powinien w jak najmniejszym stopniu zachca do tworzenia nieprawdziwych sytuacji (na przykad tworzenia niepotrzeb-nych dokumentw) oraz zaburza rytm pracy szkoy (na przykad przez dugie przygotowania).


Dla sprawnego funkcjonowania systemu konieczne jest wzmacnianie roli spoecznoci profesjonalistw, nauczycieli i dyrektorw oraz innych fachow-cw wsppracujcych ze szkoami. W wikszoci krajw Unii Europejskiej odgrnie wspiera si proces budowania autonomii szkolnictwa na poziomie lokalnym i pojedynczych szk. Budowa modelu wymaga oraz procedur sprawdzania poziomu ich speniania jest prb zwikszenia profesjonalnej autonomii dyrektorw i nauczycieli, a nie biurokratycznym ograniczeniem ich moliwoci dziaania. Wyranie zdefi niowane wymagania, zaproszenie do dyskusji nad konieczn ich modyfi kacj (w okrelonym przedziale czasowym) oraz dostarczenie pomocnych narzdzi do ewaluacji wasnych dziaa wraz nauczeniem procedur analizy i interpretacji wynikw tej ewaluacji powinno wzmocni rady pedagogiczne i podnie jako ich pracy.

CO PODLEGA ZEWNTRZNEJ EWALUACJI?1

Proces ewaluacji polega na sprawdzeniu, w jakim stopniu placwkom uda-je si speni wymagania zdefi niowane w czterech obszarach, takich jak: efekty (co osigaj uczniowie i nauczyciele), procesy (jak skuteczne, efektywne, an-gaujce s procesy zachodzce w szkole, jak wspiera si uczcych si), rodo-wisko (jaka jest rola wsppracy ze rodowiskiem w procesie uczenia si), za-rzdzanie (jak wyglda przywdztwo i strategiczne zarzdzanie, zapewnianie jakoci ewaluacja i poprawa, zasoby).

Nazwa obszary jest oczywicie umowna. Jako rwnoznacznych mona uy okrele: zakresy dziaa, zaoone funkcje szkoy i inne. Od pewnego czasu przyjo si jednak mwi o obszarach dziaania szkoy. Istotn zmia-n jest inne nazewnictwo obszarw, zamiast poprzednich, tradycyjnych poj: nauczanie, wychowanie i opieka, zarzdzanie. W nowym nadzorze pedago-gicznym nie rozdziela si nauczania od wychowania. Nie ma potrzeby uzasad-niania, e nauczanie i wychowanie to nierozerwalnie poczony proces, nazy-wany take procesem edukacji, ktry prof. Zbigniew Kwieciski okrela jako:

og czynnoci prowadzenia drugiego czowieka i jego wasnej aktywnoci w osiganiu penych i swoistych dla moliwoci, jak te og wpyww i funkcji ustanawiajcych i regulujcych osobowo czowieka i jego zachowanie, w relacji do innych ludzi i wo-bec wiata2.

1 Fragment powsta przy wsppracy S. Wlazo.2 Z. Kwieciski, Socjopatologia edukacji, Olecko 1995, s. 14.


Pierwszym obszarem s efekty prowadzonej w szkole edukacji. To wyzwa-nie oglnoeuropejskie patrze na edukacj przez jej rezultaty. Jednym z naj-czciej analizowanych efektw edukacji s wyniki zewntrznych egzaminw, do powszechnie upubliczniane.

Odrnienie efektw od procesw nie jest atwe. Gdyby zapyta, czy wsppraca szkoy z rodzicami jest efektem czy procesem, to odpowied bdzie trudna. Efekty s bowiem wynikiem procesw i trudno je od siebie oddzieli. Dlatego wymagania dotyczce efektw zawieraj w sobie widoczne procesy prowadzce do ich osignicia.

Do atwo wyodrbni obszar zwizany ze wspdziaaniem szkoy ze ro-dowiskiem, w tym oczywicie z rodzicami. W tym obszarze zaakcentowano nie tylko to, z jakich zasobw rodowiska moe korzysta szkoa, ale take co wydaje si niezmiernie wane propagowanie przez szko wartoci edukacji.

Zarzdzanie jest odrbnym obszarem, cho zawsze dotyczy kogo lub cze-go. W rzeczywistoci jest ono wtopione w trzy poprzednie obszary. Jego wy-odrbnienie po dugich i burzliwych dyskusjach w zespole ekspertw zo-stao uznane za potrzebne ze wzgldu na kierownicz funkcj dyrektora szkoy.

PROCEDURA BADANIA PLACWKI (PRZEBIEG PROCESU EWALUACJI ZEWNTRZNEJ)

Proces ewaluacji zewntrznej przebiega w trzech etapach:

1) przygotowawczym, polegajcym na poznawaniu przez wizytatorw do spraw ewaluacji specyfi ki szkoy, analizie dokumentacji i planowaniu dalszych dziaa;

2) badaniu w szkole, czyli zbieraniu przez wizytatorw danych przez prze-prowadzenie bada ankietowych, wywiadw i obserwacji;

3) podsumowujcym, polegajcym na opracowaniu zebranych danych, analizie i przygotowaniu prezentacji danych, skonstruowaniu wnioskw oraz konsultacji z dyrektorem placwki i rad pedagogiczn.

Na etapie przygotowawczym ustala si harmonogram badania, w miar moliwoci dostosowujc go do planu zaj odbywajcych si w szkole i pla-cwce. Wizytator do spraw ewaluacji informuje dyrektora o sposobie prowa-dzenia badania, zaprasza do korzystania z platformy internetowej (zaproszenie wie si z udostpnieniem dyrektorowi narzdzi, ktre zostan wykorzystane podczas ewaluacji), ustala zasady wyboru reprezentantw rodzicw i uczniw


oraz inne wane szczegy prowadzonego badania. O prowadzeniu bada-nia uprzedza si uczniw, rodzicw, nauczycieli i inne zaangaowane osoby, przesya ewentualne instrukcje, a take zaprasza partnerw szkoy do wzicia udziau w ewaluacji.

Na tym etapie dyrektor przesya wizytatorom materiay niezbdne do po-znania koncepcji pracy szkoy oraz wnioski z ewaluacji wewntrznej. Dyrektor szkoy, znajc obowizujce wymagania, decyduje, jakiego rodzaju dokumen-tacja najlepiej pokae charakter szkoy i jako pracy. Naley pamita, e szkoa przesya dokumenty posiadane, a nie tworzy ich na potrzeby badania.

Zesp wizytatorw do spraw ewaluacji, analizujc dokumenty opraco-wuje plan badania, ewentualnie precyzuje pytania do dyrektora lub arkusze obserwacji. Moe rwnie analizowa inne dostpne dokumenty szkolne (na przykad stron internetow, materiay informacyjne). Analiza materiaw powinna suy zebraniu wstpnych informacji o szkole i miejscowoci oraz opracowaniu pyta dajcych szans na pogbienie wiedzy na temat szkoy. Wane, aby pamita, i dokumenty zbiera si i analizuje w celu poszukiwania przydatnych informacji (i wspierania wypowiedzi dyrektora podczas wywia-du), a nie sprawdzaniu czy szkoa posiada konkretne dokumenty.

Etap pierwszy trwa dwa dni (w rozumieniu 16 godzin pracy mona je rozoy na inn liczb dni).

Etap drugi to badanie na terenie szkoy. Zgodnie z obowizujc procedu-r i uzgodnionym harmonogramem zbieranie danych trwa od trzech do piciu dni. Proponuje si, aby nie byy to dni nastpujce po sobie. Badanie w szkole nie powinno trwa duej ni dwa tygodnie. Metody i narzdzia mog by zmieniane w zalenoci od potrzeb.

Pierwszego dnia badania odbywa si spotkanie informacyjne z nauczyciela-mi, przedstawicielami administracji szkolnej i uczniw dla przedstawienia ce-lw i przebiegu badania. Konieczne jest, aby to spotkanie odbyo si przed pro-wadzeniem bada z tymi grupami. Przeprowadza si pierwsz cz wywiadu z dyrektorem (obszary: rodowisko i efekty). W uzasadnionych przypadkach, i za obupln zgod, wywiad z dyrektorem mona zacz przeprowadza ju na etapie przygotowawczym. Przeprowadza si ankiety z nauczycielami (Szkoa, w ktrej pracuj) oraz z wszystkimi uczniami klas o rok niszych od najstar-szych (ankieta Moja szkoa lub inna placwka). W gimnazjach i szkoach ponadgimnazjalnych s to uczniowie klas drugich, w szkoach podstawowych klas pitych, w innych placwkach, poza przedszkolami (w ktrych ankieto-wanie si nie odbdzie), odpowiednio roczniki rodkowe (jeli to moliwe).


Badanie ankietowe przeprowadza si w szkolnych pracowniach komputero-wych dysponujcych czem internetowym. W razie braku moliwoci tech-nicznych przeprowadza si ankiet papierow (i wprowadza odpowiednie mo-dyfi kacje podczas planowania badania). Uczniom uczestniczcym w badaniu pierwszego dnia rozdaje si papierowe ankiety dla rodzicw (organizujc te sposb ich zebrania).

W miar moliwoci odbywa si spotkanie podsumowujce zespou ba-dawczego, powicone uporzdkowywaniu zebranych danych i spostrzee, wprowadzaniu ewentualnych modyfi kacji w procedurze ewaluacji.

Drugiego dnia przeprowadza si drug cz wywiadu z dyrektorem (ob-szar: procesy), odbywa si obserwacja lekcji klas trzecich i czwartych w szko-ach podstawowych, pierwszych w gimnazjach i szkoach ponadgimnazjalnych oraz obserwacja szkoy (na zewntrz, przed i po lekcjach, podczas przerw, podczas zaj pozalekcyjnych). Na zakoczenie lekcji w pracowni kompute-rowej przeprowadza si ankiet dla najstarszych uczniw/rocznikw szkole (Mj dzie).

W godzinach popoudniowych drugiego dnia przeprowadza si dwa wy-wiady: 1) z przedstawicielami rodzicw i 2) z przedstawicielami partnerw zewntrznych szkoy (na przykad pracownikom wydziau edukacji, orodka pomocy spoecznej, organizacji pozarzdowych). Skad grupy moe zosta za-sugerowany przez dyrektora, ostateczn decyzj podejmuje jednak wizytator; goci na spotkanie zaprasza dyrektor.

Odbywa si spotkanie podsumowujce zespou badawczego, powicone uporzdkowywaniu zebranych danych i spostrzee, wprowadzaniu ewentu-alnych modyfi kacji w procedurze ewaluacji. Nastpuje przygotowanie pierw-szych zbiorczych (roboczych) wynikw ankiet uczniw i nauczycieli.

Trzeciego dnia przeprowadza si trzeci cz wywiadu z dyrektorem (ob-szar: zarzdzanie), w ktrym w razie potrzeby wezm udzia inni pracownicy szkoy. Przeprowadza si wywiad grupowy z pracownikami innymi ni nauczy-ciele.

Podczas wywiadu z dyrektorem oczekuje si ilustrowania odpowiedzi przez wykorzystanie materiaw istniejcych w szkole/placwce. Chodzi o to, aby wykaza praktyczn przydatno opracowywanych w szkole (wysanych uprzednio do wizytatora do spraw ewaluacji) dokumentw, a nie tylko poka-za fakt ich istnienia.

Przeprowadza si rwnie wywiad grupowy z nauczycielami (konieczne jest, aby wywiad odby si po badaniach ankietowych) oraz wywiad grupo-


wy z przedstawicielami uczniw wybranymi zgodnie z ustalon procedur. Wywiady powinny, w pewnym stopniu, mie charakter rozmowy interpretuj-cej i wyjaniajcej wyniki ankiet.

Odbywa si spotkanie zespou badawczego. W badaniach na terenie szkoy i placwki uczestniczy zesp wizytatorw

do spraw ewaluacji. Badania w szkole obejmuj przeprowadzenie:

wywiadu z dyrektorem oraz badania dokumentacji, ankiety ze wszystkimi nauczycielami, ankiety dotyczcej opinii uczniw o szkole/placwce z uczniami o rok

modszymi od najstarszych (Moja szkoa), ankiety dotyczcej dnia w szkole/placwce z uczniami najstarszymi

(Mj dzie), ankiety wrd rodzicw, wywiadu grupowego z przedstawicielami rodzicw, obserwacji lekcji wszystkich klas o dwa lata modszych od najstarszych, obserwacji szkoy i boiska podczas przerw, przed i po zajciach oraz

najbliszego otoczenia, w razie moliwoci obserwacji zaj pozalekcyjnych, wywiadu grupowego z nauczycielami, wywiadu grupowego z lokalnymi partnerami szkoy oraz wadzami sa-

morzdowymi, wywiadu grupowego z przedstawicielami uczniw, wywiadu grupowego z innymi pracownikami placwki.

Etap podsumowujcy obejmuje opracowanie, analiz i interpretacj wy-nikw, przygotowanie raportu oraz konsultacje z dyrektorem i prezentacj przed rad pedagogiczn. Spotkanie z rad to ostatnie dziaanie w ramach procesu ewaluacji. Podczas pracy nad raportem wizytatorzy powinni uwzgld-nia wnioski z ewaluacji wewntrznej, wyniki innych placwek oraz kontekst placwki badanej. Raport powinien zawiera: komentarz do kadego wyma-gania, poziom speniania wymagania oraz wnioski z badania. Wstpna wer-sja raportu zostanie przedstawiona dyrektorowi i radzie pedagogicznej w celu przedyskutowania wynikw ewaluacji. Wizytatorzy ostateczn wersj raportu przygotowuj dopiero po wysuchaniu opinii dyrektora i rady. Podsumowanie ewaluacji to rwnie praca rady pedagogicznej i refl eksja nad wynikami bada-nia, ktre powinny prowadzi do podjcia okrelonych dziaa.

Po spotkaniu dyrektor i nauczyciele bd proszeni rwnie o udzielenie informacji zwrotnej na temat procesu ewaluacji zewntrznej (w formie od-


powiedzi na pytania anonimowej ankiety online). Po otrzymaniu ostatecznej wersji raportu dyrektor szkoy moe si od niego odwoa, wskazujc zapisy, z ktrymi si nie zgadza.

Etap trzeci, podsumowujcy, trwa do 14 dni (w rozumieniu 40 godzin roz-oonych na nie wicej ni 14 dni roboczych). Analiza i planowanie dziaa w szkole na podstawie raportu mog trwa nawet kilka tygodni.

W JAKI SPOSB BDZIE SI PODEJMOWA DECYZJE?

Wizytatorzy do spraw ewaluacji dysponuj zebranymi danymi, wynika-mi i wnioskami z ewaluacji wewntrznej, informacjami na temat szkoy oraz wynikami ewaluacji innych, podobnych placwek. Dziki temu bd mogli podejmowa uzasadnione decyzje na temat poziomu speniania wymaga. Te decyzje bd wynika z analizy danych otrzymanych w sposb bezporedni i poprzez ewaluacj wewntrzn. Zakadamy, e bd to dane wiarygodne, od-powiednie (bd dotyczy tego czego powinny), zebrane z rnych rde oraz wolne od uprzedze.

Ponadto pierwsza wersja raportu bdzie konsultowana z rad pedagogicz-n (konsultacja ma polega na prezentacji i dyskusji na temat wynikw ewalu-acji uatwiajcej ostateczne ustalenie poziomu wymaga).

REZULTATY I PRODUKTY EWALUACJI

Po ewaluacji szkoa otrzyma informacj zwrotn w postaci raportu skada-jcego si z komentarzy do kadego wymagania, wraz z okreleniem poziomu ich speniania. Ponadto raport bdzie zawiera wnioski podkrelajce moc-ne strony szkoy lub placwki i pokazujce obszary, na ktre naley zwrci szczegln uwag.

Poszczeglne elementy raportu to: opis procesu zbierania danych, charak-terystyka szkoy (metryczka), opis sytuacji szkoy, komentarz dla kadego wy-magania, poziom spenienia wymagania, wnioski.

Raport bdzie stanowi podstaw analiz pracy szkoy i budowania planw dziaa.

Taki raport otrzymaj rwnie kurator i wadze samorzdowe. Raport zo-stanie udostpniony w internecie.


PODSUMOWANIE

Nowy model sprawowania nadzoru pedagogicznego zakada cig wsp-prac midzy wizytatorem a placwk podczas przeprowadzania ewaluacji zewntrznej, a take sprawny przekaz informacji, wykorzystanie potencjau placwki (na przykad przez angaowanie pracownikw w proces zbierania informacji) i rwno wszystkich zaangaowanych stron.

Wspierane bd postawy pozytywne wobec procesu i osb biorcych w nim udzia, promowany szacunek i obiektywno. Bardzo wana bdzie sprawna komunikacja (w tym dyskrecja w wypadku informacji wraliwych) oraz informacja zwrotna o procesie ewaluacji, o wymaganiach, wskanikach i wykorzystywanych pytaniach.

Naszym gwnym celem jest dobro uczcych si.

AGNIESZKA BOREK

METODY I NARZDZIA W EWALUACJI ZEWNTRZNEJ

Stworzony na potrzeby ewaluacji zewntrznej system jest i bdzie stale ewaluowany.

WSTP

Niniejszy tekst przedstawia opis koncepcji ewaluacji zewntrznej szk i placwek. Przedstawiam w nim w duym skrcie proces jej tworze-nia z perspektywy zespou ekspertw zaangaowanych w jej przygotowanie i wdroenie. Tekst zawiera take przykady konkretnych rozwiza, ktre zo-stay przyjte w metodologii oraz opisy procedur ewaluacji zewntrznej, kt-re s rozszerzeniem informacji na ten temat z rozdziau System Ewaluacji Owiaty: model i procedura zewntrznej ewaluacji jakoci pracy szkoy (lub placwki).

* * *

Tworzenie metodologii ewaluacji zewntrznej szk i placwek skadao si z kilku krokw.

KROK PIERWSZY OKRELENIE CELW I PRZEDMIOTU EWALUACJI

Nie mona stworzy dobrej metodologii badania i dobrych narzdzi ba-dawczych, zanim nie okreli si celu ewaluacji. Cel ewaluacji zewntrznej, prowadzonej w ramach nowego nadzoru pedagogicznego, jest do oczywisty i wynika z rozporzdzenia Ministra Edukacji Narodowej z dnia 7 padziernika 2009 roku. Ewaluacja zewntrzna ma dostarczy informacji na temat funkcjo-nowania szkoy/placwki w wymienionych w rozporzdzeniu obszarach:

26 Agnieszka Borek

efekty dziaalnoci dydaktycznej, wychowawczej i opiekuczej oraz in-nej dziaalnoci statutowej szkoy lub placwki;

procesy zachodzce w szkole lub placwce; funkcjonowanie szkoy lub placwki w rodowisku lokalnym, w szcze-

glnoci w zakresie wsppracy z rodzicami uczniw; zarzdzanie szko lub placwk.

KROK DRUGI SFORMUOWANIE PYTA KLUCZOWYCH

Pytania kluczowe wynikaj wprost z treci rozporzdzenia, w myl ktrego ewaluacja zewntrzna obejmuje:

zbieranie i analizowanie informacji w czterech obszarach: efekty, proce-sy, rodowisko, zarzdzanie;

ustalanie poziomu speniania przez szko lub placwk wymaga, o ktrych mowa w rozporzdzeniu.

W zwizku z tym sformuowalimy gwne pytania kluczowe:

jak funkcjonuje szkoa/placwka w obszarach, wymienionych w rozpo-rzdzeniu?

w jakim stopniu (na jakim poziomie) szkoa/placwka spenia wymaga-nia opisane w rozporzdzeniu?

Pytania te uszczegowilimy w odniesieniu do kadego wymagania. Przykadowo zostay sformuowane nastpujce pytania kluczowe:

W obszarze procesy dla wymagania wobec szk procesy edukacyj-ne s efektem wspdziaania nauczycieli: Jakie dziaania w zakresie planowania, organizacji, realizacji i dosko-

nalenia procesw edukacyjnych prowadz razem nauczyciele? Jak czsto s prowadzone wsplne dziaania w tym zakresie? Jaka cz nauczycieli i pracownikw merytorycznych jest w nie za-

angaowana? W obszarze rodowisko dla wymagania wobec przedszkoli rodzice

s partnerami przedszkola: Jaki wpyw na dziaania przedszkola maj rodzice? Jakie formy wspierania rodzicw w wychowaniu prowadzi przed-

szkole?

Metody i narzdzia w ewaluacji zewntrznej 27

Jaki jest poziom i zakres zaangaowania rodzicw we wspprac z przedszkolem?

W obszarze efekty dla wymagania wobec poradni psychologiczno--pedagogicznych, placwek doskonalenia nauczycieli i bibliotek pe-dagogicznych osoby korzystajce z oferty placwki s zadowolone z dziaalnoci placwki: Jaki jest poziom znajomoci i akceptacji zasad wsppracy placwki

z klientami? W jaki sposb prowadzi si i wykorzystuje analizy satysfakcji klien-

tw z usug placwki? W jaki sposb prowadzi si i wykorzystuje diagnozy potrzeb klien-

tw placwki? W obszarze zarzdzanie dla wymagania wobec placwek doskonale-

nia nauczycieli funkcjonuje wsppraca w zespoach: W jaki sposb nauczyciele (konsultanci, specjalici, doradcy) wsp-

pracuj z sob? Jaki jest poziom zaangaowania pracownikw placwki we wsp-

prac? W jaki sposb nauczyciele (konsultanci, specjalici, doradcy) anali-

zuj efekty oraz doskonal metody i formy wsppracy w placwce?

KROK TRZECI SFORMUOWANIE KRYTERIW EWALUACJI

Opracowanie metodologii ewaluacji i narzdzi badawczych zazwyczaj jest wyzwaniem. Nie inaczej byo w przypadku projektowania ewaluacji zewntrz-nej. Praca nad metodami zacza si od pogbionej analizy wymaga dla po-szczeglnych typw placwek i charakterystyk tych wymaga. S one punktem odniesienia w opisywaniu i wartociowaniu dziaa prowadzonych przez szkoy/ placwki i to one powinny by rdem kryteriw ewaluacji. Najprociej rzecz ujmujc, wartociowe z punktu widzenia ewaluacji zewntrznej s te dziaania, ktre s zgodne z wymaganiami scharakteryzowanymi w rozporzdzeniu na dwch poziomach: D i B. Zatem jako gwne kryterium ewaluacji mona by przyj zgodno dziaa szkoy/placwki z wymaganiami pastwa. Tak sfor-muowane kryterium ewaluacji jest jednak mao uyteczne dla badaczy z uwagi na wysoki poziom oglnoci. Dlatego kolejnym krokiem w opracowaniu kon-cepcji ewaluacji bya operacjonalizacja tego kryterium, czyli przeoenie go na jzyk obserwacji. Kluczowe stao si udzielenie odpowiedzi na pytania:

28 Agnieszka Borek

Po czym poznamy, e szkoa/placwka spenia wymaganie na okrelo-nym poziomie?

Przykadowo, w obszarze rodowisko dla wymagania promowana jest warto edukacji zadalimy sobie pytanie:

Na podstawie jakich faktw/zdarze, opinii moemy z duym prawdo-podobiestwem wnioskowa, e szkoa lub placwka prowadzi dziaa-nia zgodne z wymaganiem?

Odpowied na to pytanie doprowadzia nas do stworzenia kryteriw ewa-luacji wymagania w odniesieniu do poziomu D i do poziomu B:

Szkoa lub placwka prowadzi dziaania zgodne z wymaganiem pa-stwa na poziomie D (Szkoa lub placwka prezentuje i upowszechnia informacje o ofercie edukacyjnej oraz podejmowanych dziaaniach i osigniciach. Szkoa lub placwka informuje rodowisko o celowo-ci i skutecznoci podejmowanych przez ni dziaa), jeli s spenione nastpujce kryteria: szkoa lub placwka prowadzi dziaania informacyjne dotyczce

oferty edukacyjnej, dziaa szkoy i jej osigni; szkoa lub placwka uzasadnia prowadzone przez ni dziaania pod

wzgldem ich celowoci i skutecznoci. Szkoa lub placwka prowadzi dziaania zgodne z wymaganiem pastwa

na poziomie B (Szkoa lub placwka promuje w rodowisku potrzeb uczenia si. Szkoa lub placwka jest pozytywnie postrzegana w rodo-wisku), jeli s spenione nastpujce kryteria: szkoa lub placwka prowadzi dziaania w lokalnej spoecznoci pro-

mujce warto uczenia si przez cae ycie; rodzice i przedstawiciele lokalnego rodowiska postrzegaj szko

lub placwk jako dbajc o jako ksztacenia; rodzice i przedstawiciele lokalnego rodowiska postrzegaj szko

lub placwk jako dbajc o relacje z lokalnym rodowiskiem.

Ta cieka postpowania zostaa zastosowana dla czterech typw placwek wymienionych w zaczniku do rozporzdzenia, w odniesieniu do kadego opisanego wymagania.

Liczba kryteriw ewaluacji dla poszczeglnych wymaga jest rna i wyni-ka z treci charakterystyk wymagania na poziomie D i na poziomie B.


Rycina 1. cieka doboru kryteriw ewaluacjirdo: opracowanie wasne

KROK CZWARTY DOBR RDE I METOD

Po sformuowaniu kryteriw dla kadego wymagania na dwch poziomach charakterystyk, zadalimy kolejne pytania:

skd pozyskiwa informacje na temat poszczeglnych kryteriw? kto ma wiedz na ten temat? w jaki sposb pozyskiwa potrzebne informacje?

Kryterium do charakterystykina poziomie D

Kryterium do charakterystykina poziomie D

Kryterium do charakterystykina poziomie B

Kryterium do charakterystykina poziomie B

Po czym poznamy, e szkoa/placwka spenia wymaganiena okrelonym poziomie?

Analiza charakterystykiwymagania na poziomie D

Analiza charakterystykiwymagania na poziomie B

Wymaganie

30 Agnieszka Borek

W poszukiwaniu odpowiedzi przyjlimy nastpujce zasady:

1) Informacja musi by pozyskiwana od rnych grup tworzcych spo-eczno szkoy lub placwki oraz jej otoczenie, po to by: uwzgldnia rne punkty widzenia i z nich budowa opis szkoy/

placwki trudno sobie wyobrazi ewaluacj szkoy bez uwzgldnia-nia opinii i dowiadcze uczniw, rodzicw, nauczycieli, dyrektora;

lepiej pozna i zrozumie funkcjonowanie szkoy/placwki w bada-nym obszarze.

2) Informacja musi by pozyskiwana z wykorzystaniem rnych metod zbierania danych, po to by: wykorzystywa zalety poszczeglnych metod, na przykad moli-

wo zachowania anonimowoci w badaniach ankietowych; niwelowa ich ograniczenia, na przykad w wywiadach uzyskiwa

dodatkowe pogbione informacje, ktrych nie mona zebra po-przez badania ankietowe.

W konsekwencji dane do analizy s zbierane poprzez badania ankietowe, wywiady, obserwacje, analiz danych zastanych.

W tabeli 1 przedstawiam rda danych i sposoby ich pozyskiwania dla szk i przedszkoli.

Przy doborze rde i metod badawczych przyjlimy, e:

dane do analizy kadego kryterium musz by pozyskiwane przynaj-mniej z dwch rde, by mogy si uzupenia i weryfi kowa, na przy-kad dla kryterium Uczniowie chtnie uczestnicz w zajciach orga-nizowanych przez szko (obszar: efekty, wymaganie: uczniowie s aktywni) dane s zbierane poprzez: badanie ankietowe uczniw, obser-wacj zaj, badanie ankietowe rodzicw;

dane zastane mog by pozyskiwane tylko z dokumentw, ktre szkoa lub placwka tworzy w zwizku ze sw dziaalnoci aden dokument nie powinien by tworzony tylko na potrzeby ewaluacji zewntrznej. Analiza dokumentw nie moe te polega na weryfi kacji poprawnoci dokumentacji. Celem analizy dokumentw w ewaluacji zewntrznej jest uzyskanie odpowiedzi na pytania badawcze, na przykad: Jaka prob-lematyka wsppracy midzy pracownikami szkoy (nauczycielami) znalaza si w programach szkole (jeeli byy takie szkolenia i s takie


dokumenty)?, Czy w programie wychowawczym przedszkola s ele-menty wiadczce o wsppracy przedszkola z lokalnym rodowiskiem, ktre su rozwojowi dzieci?.

Tabela 1. rda i metody pozyskiwania danych w ewaluacji zewntrznej

rdo informacji Metoda badania

Typ placwki

Szkoy podstawowe, gimnazjalne,

ponadgimnazjalnePrzedszkola

Dyrektor Wywiad indywidualny X X

Nauczyciele/ pracownicy merytoryczni

Wywiad grupowy X X

Badanie ankietowe X X

Pracownicy niemerytoryczni Badanie ankietowe X X

UczniowieWywiad grupowy X

Badania ankietowe X

RodziceWywiad grupowy X X

Badanie ankietowe X X

Przedstawiciele lokalnej spoecznoci

Wywiad grupowy X X

Obserwacja zaj i placwki X X

Analiza danych zastanych X X

rdo: opracowanie wasne

Ostatecznie dla kadego wymagania stworzylimy tak zwane drzewko badawcze, na ktre skadaj si charakterystyki wymagania, kryteria, rda i metody badawcze oraz pytania zawarte w narzdziach badawczych (w ankie-tach, wywiadach, dyspozycjach do analizy dokumentw i obserwacji).

32 Agnieszka Borek

Ucz

niow

iena

byw

aj

wia

dom

oci

i um

iej

tno

cizg

odne

z po

dsta

w

prog

ram

owC

hara

kter

ysty

ka n

a po

ziom

ie D

:U

czni

owie

nab

ywaj

w

iado

mo

ci i

umie

jtn

oci

okre

lon

e w

pod

staw

ie p

rogr

amow

ej.

W s

zkol

elu

b pl

acw

ce d

iagn

ozuj

e si

i a

naliz

uje

osi

gni

cia

uczn

iw,

uw

zgl

dnia

jc

ich

mo

liwo

ci r

ozw

ojow

e

Char

akte

ryst

yka

na p

ozio

mie

B:

W s

zkol

e lu

b pl

acw

ce f

orm

uuj

e si

i w

dra

a w

nios

ki z

ana

lizy

osi

gni

uc

zni

w, d

ostr

zega

ne s

m

oliw

oci

uzy

skiw

ania

prz

ez u

czni

w le

pszy

chw

ynik

w w

nau

ce.

Wdr

oon

e w

nios

ki p

rzyc

zyni

aj

si

do p

opra

wy

wyn

ikw

w n

auce

ucz

niw

Ucz

niow

ie n

abyw

aj

wia

dom

oci

i um

iej

tno

ci

W s

zkol

ean

aliz

uje

si

osi

gni

cia

uczn

iw

Anal

iza

osi

gni

sz

koln

ych

uwzg

ldn

iam

oliw

oci

rozw

ojow

euc

zni

w

W s

zkol

elu

b pl

acw

cefo

rmu

uje

si

wni

oski

z a

naliz

yos

ign

i

ucz

cych

si

W s

zkol

elu

b pl

acw

cew

dra

a si

w

nios

kiz

anal

izy

osi

gni

uc

zcy

ch s

i

W s

zkol

e lu

b pl

acw

cedo

strz

ega

si

mo

liwo

ciuz

yska

nia

leps

zych

wyn

ikw

prze

z uc

zni

w

Wdr

aan

iew

nios

kw

przy

czyn

ia s

i d

ow

zros

tu e

fekt

wks

zta

ceni

a

Bada

nie

anki

etow

ena

uczy

ciel

iW

ywia

d gr

upow

yz

nauc

zyci

elam

iAn

aliz

a do

kum

ent

w

Wyw

iad

z dy

rekt

orem

W

ywia

d gr

upow

yz

nauc

zyci

elam

iAn

aliz

a do

kum

ent

w

Wyw

iad

z dy

rekt

orem

W

ywia

d gr

upow

yz

nauc

zyci

elam

i

Anki

eta

dla

uczn

iw

szk

po

nadp

odst

awow

ych

Mj

dzi

e

Anki

eta

dla

uczn

iw

szk

po

nadp

odst

awow

ych

Moj

a sz

koa

Wyw

iad

z dy

rekt

orem

W

ywia

d gr

upow

yz

nauc

zyci

elam

i

Bada

nie

anki

etow

ero

dzic

wW

ywia

d gr

upow

yz

rodz

icam

iW

ywia

d gr

upow

yz

uczn

iam

iAn

kiet

a dl

a na

uczy

ciel

i

Wyw

iad

z dy

rekt

orem

Anki

eta

dla

nauc

zyci

eli

Ryci

na 2

. Prz

yka

dow

e dr

zew

ko b

adaw

cze

rd

o: o

prac

owan

ie w

asne


KROK PITY PILOTA NARZDZI

Wszystkie narzdzia badawcze zostay poddane pilotaowi prowadzonemu w 32 szkoach i placwkach. Pilota przeprowadzili wizytatorzy do spraw ewa-luacji, ktrzy wzili udzia w pierwszym programie szkoleniowym z ewaluacji zewntrznej dla wizytatorw oraz dyrektorw szk i placwek. Pilota umo-liwi weryfi kacj:

adekwatnoci pyta w odniesieniu do wymaga; zrozumiaoci pyta dla respondentw; zasadnoci korzystania z poszczeglnych rde informacji; kompletnoci gromadzonych informacji.

Po pilotau cz pyta zostaa przeformuowana, cz pyta pominito lub zastpiono je innymi pytaniami.

ASYSTENT EWALUACJI SEO

Wszystkie narzdzia badawcze zamieszczono na platformie internetowej Systemu Ewaluacji Owiaty (http://www.platforma.npseo.pl). Poza narzdzia-mi badawczymi system daje uytkownikom:

dostp do bazy danych wszystkich szk i placwek owiatowych w Polsce; moliwo zapisu kadej ewaluacji na rnych etapach; moliwo pracy nad kilkoma ewaluacjami jednoczenie zespou wizy-

tatorw do spraw ewaluacji; moliwo prowadzania bada online, w tym co najwaniejsze z punk-

tu widzenia sprawnoci realizacji bada ankietowych. Uczniowie, na-uczyciele, rodzice mog samodzielnie wypenia ankiety, odwiedzajc wskazan przez wizytatorw stron internetow. System uniemoliwia kilkukrotne wypenienie ankiety przez t sam osob bez wiedzy wizy-tatora prowadzcego ewaluacj;

atwo wprowadzania wynikw; szybki dostp do wynikw z bada, dziki czemu wizytatorzy mog na

bieco je weryfi kowa, na przykad pytajc nauczycieli lub dyrektora szkoy podczas wywiadw o to, jak mona tumaczy wyniki bada an-kietowych przeprowadzonych wrd nauczycieli, uczniw lub rodzicw;

34 Agnieszka Borek

dostp do danych z poprzednich ewaluacji oraz wynikw ewaluacji w innych szkoach i placwkach;

automatycznie generowane statystyki; automatyczn prezentacj wynikw (w systemie i na stronie internetowej); dostp online z kadego miejsca na wiecie, gdzie jest cze internetowe.

Z platformy mog korzysta wizytatorzy do spraw ewaluacji oraz dyrek-torzy szk i placwek, w ktrych ma by prowadzona ewaluacja zewntrzna. Obecnie dostp ten uzyskuj po otrzymaniu od wizytatorw zaproszenia do zapoznania si z narzdziami badawczymi. Planuje si, i po zakoczeniu prac nad narzdziami badawczymi dla wszystkich typw placwek wszystkie na-rzdzia zostan udostpnione dyrektorom szk i placwek.

Rycina 3. Strona platformy Systemu Ewaluacji Owiaty, na ktrej znajduj si narz-dzia do ewaluacji zewntrznejrdo: http://www.platforma.npseo.pl/home/login

Pytania narzdziowe zamieszczone na platformie SEO s podzielone na obligatoryjne, ktre system automatycznie generuje do ewaluacji danego typu placwki w wybranych przez wizytatorw obszarach, oraz na pytania fakulta-tywne, ktre wizytatorzy mog wybra, kierujc si swoj wczeniejsz wiedz na temat szkoy lub placwki. Dziki temu rozwizaniu dane gromadzone w sy-stemie, z jednej strony, s porwnywalne, gdy te same pytania wykorzystuje si


do ewaluacji wszystkich placwek danego typu. Z drugiej strony, umoliwiaj dostosowanie metod i narzdzi badawczych do konkretnej szkoy/placwki oraz zebranie dodatkowych danych, istotnych dla opisania jej specyfi ki.

Po wybraniu zestawu narzdzi badawczych wizytatorzy informuj dyrekto-ra szkoy o tym, jakie pytania bd wykorzystane przez nich w ewaluacji. Suy do tego opcja Zapro dyrektora, dostpna na platformie SEO.

Rycina 4. Strona platformy Systemu Ewaluacji Owiaty, na ktrej znajduj si narz-dzia do ewaluacji zewntrznejrdo: http://www.platforma.npseo.pl

Dziki temu jest zapewniona jawno narzdzi badawczych dyrektor ma peny dostp do wszystkich pyta, ktre zostan wykorzystane w ewaluacji zewntrznej jego placwki. System umoliwia te dyrektorowi szkoy wprowa-dzenie wynikw ewaluacji wewntrznej, o ile dysponuje on takimi wynikami i bdzie chcia je przedstawi wizytatorom poprzez platform SEO.

36 Agnieszka Borek

KOLEJNE KROKI EWALUACJA SYSTEMU

Stworzony na potrzeby ewaluacji zewntrznej system jest i bdzie stale ewaluowany. Wszystkie narzdzia badawcze s i bd poddawane weryfi ka-cji, co oznacza, e bd si zmienia. Informacje na temat potrzebnych zmian bd pozyskiwane od wizytatorw do spraw ewaluacji oraz poprzez ankie-ty poewaluacyjne, dostpne na platformie SEO od dyrektorw ewaluowa-nych szk i placwek oraz od nauczycieli i pracownikw merytorycznych. Pierwszym celem tych dziaa nie jest zmiana dla samej zmiany, ale stae do-skonalenie systemu i narzdzi.

* * *

Koncepcja ewaluacji zewntrznej realizuje wszystkie gwne wartoci no-wego nadzoru pedagogicznego:

demokratyczno, ktra jest realizowana poprzez: uwzgldnianie w badaniu rnych opinii i punktw widzenia (pra-

cownikw szk i placwek, uczniw, rodzicw, klientw, przedsta-wicieli lokalnego rodowiska),

uwzgldnianie wynikw ewaluacji wewntrznej, uwzgldnianie rnych perspektyw przy tworzeniu metodologii

i narzdzi badawczych (perspektywa interdyscyplinarnego zespou ekspertw, perspektywa wizytatorw do spraw ewaluacji, perspekty-wa dyrektora i pracownikw ewaluowanych placwek);

transparentno, ktra jest realizowana poprzez: jawno procedur, metod i narzdzi badawczych, jawno wynikw ewaluacji, monitorowanie i ewaluowanie pracy wizytatorw do spraw ewaluacji.

Jednym z wikszych zagroe dla nowego systemu nadzoru pedagogiczne-go jest wyalienowanie procesu ewaluacji zewntrznej z tych wartoci. Bez nich metodologia i narzdzia badawcze zostan zfetyszyzowane. Ewaluacja natomiast zostanie sprowadzona do biurokratycznego rytuau i nie doprowadzi do oczeki-wanych rezultatw, a dyskusja z metodologi, czy wrcz jej kwestionowanie (Ze pytanie? Po co o to pyta?) zdominuje dyskusj o nowym nadzorze. Metodologia i narzdzia badawcze s oczywicie wane i nie naley deprecjonowa ich zna-czenia. Jednak waniejsze od nich jest mylenie o jakoci i rozwoju szk i pla-cwek oraz o wartociach lecych u podstaw nowego nadzoru pedagogicznego.

BARTOMIEJ WALCZAK

ANALIZA DANYCH JAKOCIOWYCH I ILOCIOWYCH

Jak doj do prawdy? Najwaniejsze s tu dowiad-czenie, wyczucie i przestrzeganie prostych zalece metodologicznych. Nie ulegajmy pokusie przeliczania odpowiedzi na procenty nie zawsze dominujcy gos

to gos prawdziwy.

ANALIZA DANYCH

Powiedzie, e analiza i interpretacja danych to integralna cz kadego projektu badawczego, to zdecydowanie za mao. Analiza jest ukoronowaniem kadego badania, miejscem, gdzie nasze umiejtnoci poznawania rzeczywi-stoci (czyli oglnie rozumiana metodologia) cz si z teori naukow czy wiedz na temat tego, jak dana instytucja powinna funkcjonowa. Innymi sowy, jest to najwaniejszy (z wanych) elementw projektu badawczego czy ewaluacyjnego i kady dobrze przygotowany projekt jest zaplanowany tak, aby umoliwi rzeteln, wszechstronn (i najlepiej jak najszybsz) analiz.

Skoro ju znamy wag tematu, przyjrzyjmy si temu, co kryje si pod gr-nolotn fraz analiza danych. Kady z nas praktycznie bez przerwy inter-pretuje jakie dane. Robimy to na og w sposb niemetodyczny, niesystema-tyczny i podatny na subiektywne odczucia. Rzecz polega na tym, e naley to robi w sposb (raczej) metodyczny, systematyczny (w zalenoci od sytuacji) i najczciej jak najbardziej subiektywny (ale wiadomie subiektywny).

TRIANGULACJA

Jeli wanie zagocili w Pastwa mylach ludzie w odblaskowych kamizel-kach, rysujcy znaki na chodnikach i ustawiajcy skomplikowane urzdzenia pomiarowe, to waciwe skojarzenie. Triangulacja to pojcie ze sownika geo-detw, zaadaptowane do metodologii przez Normana Denzina, ktry wyrni midzy innymi:

38 Bartomiej Walczak

1) triangulacj badacza zaangaowanie w projekcie kilku badaczy/ewaluatorw/ob-serwatorw;

2) triangulacj danych wykorzystanie informacji pochodzcych z rnych rde;3) triangulacj metodologiczn wykorzystanie kilku metod dla badania pojedyn-

czego zjawiska1.

W ewaluacji staramy si zastosowa te trzy rodzaje triangulacji. Badanie jest prowadzone przez zesp (co najmniej dwch) ewaluatorw

w ten sposb zostaje zagwarantowana triangulacja badacza. Kady z czon-kw zespou badawczego ma inn wraliwo, inne dowiadczenia i inn wie-dz poczenie ich perspektyw daje kompleksow i bardziej rzeteln wiedz o badanej instytucji.

Po przeprowadzeniu ewaluacji otrzymuj Pastwo gigantyczny zbir da-nych. Czciowo bd to atwe i szybkie w obrbce nawet jeli na pierwszy rzut oka tak si nie wydaje dane ilociowe, pochodzce gwnie z bada an-kietowych. Ankieta jest jednak lepym narzdziem dostarczy nam informa-cji tylko wtedy, kiedy potrafi my o nie precyzyjnie zapyta. W sytuacji, kiedy nasze pytanie jest le postawione, nieadekwatne do sytuacji, dotyczy marginal-nych kwestii, uzyskamy standardow odpowied: zdecydowanie tak, raczej tak, raczej nie albo zdecydowanie nie Dlatego czymy metody ilocio-we z jakociowymi, mwic bardziej formalnie: wykorzystujemy triangulacj metodologiczn.

Triangulacja danych polega na dobraniu rnych rde informacji dy-rektora, nauczycieli/pracownikw, uczniw/wychowankw czy podopiecz-nych, ewentualnie ich rodzicw, reprezentantw rodowiska. Warto, aby zwrcili Pastwo uwag na to, e odpowiedzi na kade z pyta szukamy przy-najmniej u dwch takich informatorw, najlepiej reprezentujcych (potencjal-nie) sprzeczne interesy na przykad rodzice dyrektor, nauczyciel ucz-niowie. Tak wic pytania naley czyta jak jedno zoone, gdzie pojedyncze pytania su weryfi kacji pozostaych.

Jak doj do prawdy? Najwaniejsze s tu dowiadczenie, wyczucie i prze-strzeganie prostych zalece metodologicznych. Nie ulegajmy pokusie przeli-czania odpowiedzi na procenty nie zawsze dominujcy gos to gos praw-dziwy.

1 Za: K. Konecki, Studia z metodologii bada jakociowych. Teoria ugruntowana, Wydawni-ctwo Naukowe PWN, Warszawa 2000, s. 86.

Analiza danych jakociowych i ilociowych 39

ANALIZA POJEDYNCZEGO WYWIADU

Analiza pojedynczej wypowiedzi jest do prosta i intuicyjna. Wszystkie pytania s uoone w logice wymaga, wic opracowanie wymaga wycznie podsumowania wypowiedzi informatora dotyczcych danej kwestii.

W scenariuszach wywiadw mamy kilka rodzajw pyta zamknitych. Takie pytania s bardzo atwe w interpretacji i umoliwiaj szybk ocen. Zawsze naley pamita jednak o porwnaniu odpowiedzi na pytania za-mknite z wypowiedziami innych informatorw (triangulacja danych) oraz informacjami znajdujcymi si w odpowiedziach na pytania otwarte (triangu-lacja metodologiczna). Przyjrzyjmy si przykadowi:

Wywiad z dyrektorem

Pierwsza sytuacjaPytanie: Czy wprowadzone zmiany przyczyniy si do wzrostu efektw ksztacenia? (Prosz o wybranie

jednej odpowiedzi.)Wybrane odpowiedzi z kafeterii: 2) Raczej tak.Pytanie: Co konkretnie o tym wiadczy?Odpowied, pytanie otwarte: Osignlimy istotny przyrost EWD.

Druga sytuacjaPytanie: Czy wprowadzone zmiany przyczyniy si do wzrostu efektw ksztacenia? (Prosz o wybranie

jednej odpowiedzi.)Wybrane odpowiedzi z kafeterii: 2) Raczej tak.Pytanie: Co konkretnie o tym wiadczy?Odpowied, pytanie otwarte: Uczniowie lepiej si ucz.

Przykad 1. Pytanie: W ktrej sytuacji wypowied wydaje si bardziej wiarygodna?rdo: opracowanie wasne

Opracowujc pojedynczy wywiad, na przykad z dyrektorem, musimy roz-way kilka pyta:

1) zgodno wypowiedzi: czy odpowiedzi na pytania dotyczce jednej kwestii s z sob zgodne?

2) adekwatno wypowiedzi: czy przedstawiane uzasadnienie i przykady faktycznie odnosz si do treci pytania?

3) wiarygodno wypowiedzi: czy przedstawiane uzasadnienie i przykady s wiarygodne? Czy faktycznie uzasadniaj lub ilustruj odpowied na pytanie zamknite?


4) autentyczno wypowiedzi: czy ta wypowied informatora nie rni si czym od innych? Ile czasu potrzebowa badany, eby rozpocz udzielanie odpowiedzi?

duej ni zazwyczaj trudne pytanie lub informator przygoto-wywa si do wywiadu, ale nie przepracowa wszystkich pyta. Jeli dugie interway bd si powtarza, mamy do czynienia wanie z ktr z tych dwch sytuacji (naley te wzi pod uwa-g zmczenie badanego dugim wywiadem);

krcej ni zazwyczaj trafi limy na kwesti dobrze przemylan, a zatem albo wan dla badanego, albo przygotowan na uytek ewaluacji;

Czy jzyk wypowiedzi jest taki sam jak przy innych odpowiedziach? Czy badany siga po gadkie frazesy, czy mwi naturalnym jzy-kiem? Jaki jest jego/jej zwyky sposb wysawiania si, widoczny na przykad w rozmowie poprzedzajcej wywiad?

Opracowanie wywiadu polega na uwanej lekturze transkrypcji/odsuchaniu nagrania i notowaniu wnioskw przy uyciu modelu analizy takiego jak powyej. Pomocna bdzie dobra znajomo badanej instytucji.

Zadanie 1.1. Przeanalizujmy indywidualnie fragment transkrypcji wywia-du z dyrektorem, zaznaczajc i opisujc fragmenty. Przy zwykej pracy w SEO nie bdziemy prowadzi takiej analizy wzdu pojedynczej narracji, tylko przeglda dane z rnych rde przyporzdkowane do poszczeglnych kry-teriw, ale jest to dobre wiczenie z krytycznego czytania transkrypcji. Ponadto w ramach pojedynczego kryterium pytania te ukadaj si w takie cigi. Dla uatwienia zamiecilimy opisy kryteriw.

Charakterystyka wymagania na poziomie D: W szkole lub placwce s wdraane wnioski z ana-lizy wynikw sprawdzianw i egzaminw.Kryterium: Wnioski z analizy s wdraane.Pytanie: Czy po analizie egzaminw zostay podjte jakie dziaania dla podniesienia jakoci pracy?Wybrana odpowied z kafeterii: 1) Tak, indywidualna praca z uczniami (zajcia wyrwnawcze, orga-

nizacja zaj pozaszkolnych).Pytanie: W jaki sposb wnioski z analizy osigni szkolnych uczniw s wykorzystywane w praktyce? Odpowied, pytanie otwarte: Pracujemy z uczniami, ktrzy mog mie problemy z egzaminami.

Nauczyciele prowadz zajcia wyrwnawcze, a dla szczeglnie zdolnych organizujemy kka w tej chwili szczeglnie jestem zadowolona z kka fizycznego, dwch olimpijczykw. Mamy te klub pikarski i zajcia ruchowe dla modszych.


Charakterystyka wymagania na poziomie B: Do analizy wynikw sprawdzianw i egzaminw wykorzystuje si rnorodne metody analityczne.Kryterium: Jakie metody analityczne s wykorzystywane?Pytanie: W jaki sposb s analizowane wyniki egzaminw?Odpowied, pytanie otwarte: patrzymy na radzie pedagogicznej na niektrych uczniw, wychowawcy

na swoje klasy

Charakterystyka wymagania na poziomie B: Wdraane w szkole lub placwce wnioski z analizy wynikw sprawdzianu i egzaminw przyczyniaj si do wzrostu efektw ksztacenia.Kryterium: Wdraane wnioski przyczyniaj si do wzrostu efektw ksztacenia.Pytanie: Czy wdraane wnioski z analizy wynikw egzaminw przyczyniaj si do wzrostu efektw

ksztacenia? (Prekategoryzowane)Wybrana odpowied z kafeterii: 2) Tak, wydaje si, e tak, ale nie ma regularnych analiz.

122D Charakterystyka wymagania na poziomie D: W szkole diagnozuje si i analizuje osigni-cia szkolne uczniw, uwzgldniajc ich moliwoci rozwojowe.1221 Kryterium: W szkole stosowany jest wielopoziomowy system analizy ocen.Pytanie: Czy osignicia szkolne uczniw s analizowane? (Prosz zaznaczy dowoln liczb odpo-

wiedzi.)Wybrane odpowiedzi z kafeterii:1) Tak, w odniesieniu do wybranych uczniw.2) Tak, do wszystkich uczniw pojedynczo. 3) Tak, w odniesieniu do zespow klasowych jako caoci.

1222 Kryterium: analiza osigni szkolnych jest osadzona w kontekcie moliwoci rozwojo-wych uczniwPytanie: Czy analiza osigni uczniw uwzgldnia ich moliwoci rozwojowe?Wybrana odpowied z kafeterii: Raczej tak.Pytanie: Prosz o opis, jak jest to realizowane.Odpowied, pytanie otwarte: Nauczyciel zna swoich uczniw, niektrzy maj orzeczenia poradni.

123B Charakterystyka wymagania na poziomie B: W szkole lub placwce formuuje si i wdraa wnioski z analizy osigni uczcych si; s dostrzegane moliwoci uzyskiwania przez ucz-cych si lepszych wynikw w nauce, a formuowane i wdraane wnioski przyczyniaj si do poprawy tych wynikw.1231 Kryterium: Na skutek formuowania i wdraania wnioskw nastpuje wzrost efektw ksztaceniaPytanie: Czy dziaania te byy poddawane ewaluacji (systematycznej ocenie opartej na zdefiniowa-

nych kryteriach)? (prosz o wybranie jednej odpowiedzi.) Wybrana odpowied z kafeterii: 2) Tak, wewntrzna (oceny dokonaa osoba prowadzca zajcia lub

w przypadku zmiany systemowej pracownik placwki, na przykad sam dyrektor).Pytanie: Czego dotyczyy wprowadzone zmiany? (Prosz o wybranie jednej odpowiedzi.)Wybrana odpowied z kafeterii: 2) Dotyczyy jednostek (konkretny nauczyciel wdraa zmian w swo-

im sposobie pracy).Pytanie: Czy wdroenia przyczyniy si do wzrostu efektw ksztacenia? (Prosz o wybranie jednej

odpowiedzi.) Wybrana odpowied z kafeterii: 2) Raczej tak.Pytanie: Co konkretnie o tym wiadczy?Odpowied, pytanie otwarte: Mamy szeciu nowych olimpijczykw.

Zadanie 1.1rdo: opracowanie wasne


ANALIZA KILKU WYWIADW LUB WYWIADU GRUPOWEGO

W tej czci skupimy si na technice prowadzenia analizy. Bardzo czsto mamy do czynienia z sytuacj, w ktrej musimy poczy dane z kilku wywia-dw pogbionych albo wychwyci interesujce nas kwestie porozrzucane po rnych miejscach w wywiadzie grupowym. Aby uporzdkowa materia, opi-sujemy go zwykle za pomoc krtkich oznacze zwanych kodami. Generalnie chodzi o to, eby zgromadzi to, co jest nam potrzebne i to od razu w formie gotowej do opracowania raportu.

Do osignicia tego celu przydadz si: kolorowe kredki lub komputer z za-instalowanym programem do analizy jakociowej2.

Przyjrzyjmy si przykadowi 2.1.

2 W tym artykule nie zajmujemy si wykorzystaniem oprogramowania do pracy z materiaem jakociowym, przede wszystkim z uwagi na sposb pracy z danymi na platformie SEO. Zaintere-sowanym polecam darmowy program WEFT QDA lub ktry z patnych programw, na przykad ATLAS-ti, Ethnograph.

Placwka: przedszkole, obszar: procesy, charakterystyka wymagania: podejmuje si dziaania wycho-wawcze majce na celu eliminowanie zagroe oraz wzmacnianie podanych zachowa.

Kryterium: w przedszkolu stosuje si pozytywne wzmocnienia podanych zachowa.Rodzice (fokus) Pytanie: W jaki sposb wzmacnia si podane zachowania dzieci?R1: Podane znaczy jakie?Ewaluator: To znaczy zgodne z normami.R1: No to chyba panie nie pozwalaj im rozrabia.R3: Cay czas kto musi na dzieci uwaa.R2: No czasem wa im na gow.R1: Raczej nie.Ewaluator: To znaczy stosuj przede wszystkim zakazy, tak?R1: Chyba tak, jak niby inaczej?R3: Panie w salach, wona na korytarzu pilnuje porzdku.R5: W salach pisze, e dobry przedszkolak si nie bije.Ewaluator: A jakie jeszcze maj w przedszkolu sposoby, eby uczy dzieciaki waciwego zachowania?R4: U mnie na dniach zapoznawczych rozdawali takie ksieczki o misiach jak misie si adnie

zachowuj, a jeden rozrabia jak pijany zajc (miech). To chyba miao ich nauczy zachowania.R2: Moja creczka kochaa te misie, prawie na pami si nauczya.

Przykad 2.1rdo: opracowanie wasne


Fragment FGI pokazuje pewne rozproszenie opinii. Sprbujmy je teraz uporzdkowa opracowany materia moe wyglda jak w ramce poniej.

Oznaczenia: Eliminacja niepodanych zachowaWzmacnianie podanych postaw

Rodzice (fokus) Pytanie: W jaki sposb wzmacnia si podane zachowania dzieci?R1: Podane znaczy jakie?Ewaluator: To znaczy zgodne z normami.R1: No to chyba panie nie pozwalaj im rozrabia.R3: Cay czas kto musi na dzieci uwaa.R2: No czasem wa im na gow.R1: Raczej nie.Ewaluator: To znaczy stosuj przede wszystkim zakazy, tak?R1: Chyba tak, jak niby inaczej?R3: Panie w salach, wona na korytarzu pilnuje porzdku.R5: W salach pisze, e dobry przedszkolak si nie bije.Ewaluator: A jakie jeszcze maj w przedszkolu sposoby, eby uczy dzieciaki waciwego zachowania?R4: U mnie na dniach zapoznawczych rozdawali takie ksieczki o misiach jak misie si adnie zachowuj, a jeden rozrabia jak pijany zajc (miech). To chyba miao ich nauczy zachowania.R2: Moja creczka kochaa te misie, prawie na pami si nauczya.


Przyjmijmy, e system zakazw, kontrola nad zachowaniem czy to spra-wowana przez nauczycielki, czy przez personel pomocniczy to eliminacja za-chowa niepodanych, ktre naley wyrni od wzmacniania zachowa po-danych (zgodnie z treci kryterium) tu podawanych jako wzory w postaci kodeksu przedszkolaka czy bajki. Uzyskujemy list cytowa dla dwch kodw.

Eliminacja zachowa niepodanych: nie pozwalaj im rozrabia [R1], kto musi na dzieci uwaa [R3], [stosuj zakazy?] chyba tak, jak niby inaczej [R1], panie w salach, wona na korytarzu pilnuje porzdku [R3].

Wzmacnianie zachowa podanych: w salach pisze, e dobry przedszkolak si nie bije [R4], takie ksieczki o misiach [R5].



Pytania:

Jakie wnioski mona wycign na temat systemu wzmocnie poda-nych zachowa?

Co mona powiedzie o rodzicach biorcych udzia w fokusie?

W transkrypcji wywiadu gosy wskazujce na negatywne wzmocnienia liczebnie wyranie dominoway (cztery wypowiedzi), jednak po uporzdko-waniu widzimy, e gosy praktycznie si rwnowa R1 i R3 wskazuj na eliminacj niepodanych zachowa, za R4 i R5 na to, co okrelilimy jako wzmacnianie zachowa podanych. Zatem ta sama liczba badanych wska-zuje zarwno na jedn, jak i na drug stron. Pamitajmy jednak, e kryte-rium ilociowe nie jest rozstrzygajce kluczowe jest to, e w opinii rodzicw wystpuje zarwno eliminacja zachowa niepodanych, jak i wzmacnianie podanych a zatem wachlarz dziaa wychowawczych zawiera podany model. Interesuje nas wiedza zawarta w wypowiedziach badanych, a zgodnie z ni kryterium jest spenione.

Wida od razu, e sam proces kodowania wie si z pierwsz (ale kluczo-w) interpretacj danych, ktr potem stosunkowo trudno jest odwrci.

To by bardzo prosty przykad, ale w tego typu projekcie ewaluacyjnym nie powinny pojawi si o wiele bardziej skomplikowane. Warto pamita o wy-notowywaniu/skopiowaniu cytatw i oznaczaniu ich kodami informatorw (nigdy penymi personaliami!) do ewentualnego wykorzystania w raporcie.

Zadanie 2.1. Poczymy tutaj kilka rde danych. Zadanie polega na za-kodowaniu wypowiedzi z wywiadw grupowych i krytycznym porwnaniu ich z innymi danymi. Naley zakodowa wypowiedzi tak, aby mona je byo porwna.

Przedszkole, procesy, charakterystyka wymagania na poziomie B: Oferta odpowiada potrzebom dzieciKryterium: oferta przedszkola jest zgodna z potrzebami edukacyjnymi dzieci Dyrektor (wywiad) Pytanie: Jakie s trzy najwaniejsze potrzeby edukacyjne wychowankw?Odpowied: S opisane w podstawie programowej i zale od wieku najwaniejsze to chyba budo-

wanie wartoci, rozwj kompetencji spoecznych, estetyka, czyli plastyka, teatr i muzyka. Nauczyciele (fokus)Pytanie: Jakie s najwaniejsze potrzeby edukacyjne wychowankw?N1: Zaley od wieku, modszych czy starszych?Ewaluator: Prosz sprbowa okreli je oglnie.N1: Wpajanie wartoci, norm, musz si nauczy, co jest dobre, a co ze.


N2: Dla mnie wane jest rozwijanie kompetencji spoecznych.N1: I umiejtnoci interpersonalnych, porozumienia si z innymi, dorosymi i dziemi.N3: Tak, funkcjonowanie w grupie.N5: Starszych ju troch patriotyzmu uczymy, o historii.N2: Oni te musz si rozwija tak oglnie rysunek, muzyka.N4: Mae formy teatralne.Rodzice (fokus) Pytanie: Jakie s trzy najwaniejsze potrzeby edukacyjne Pana/Pani dziecka?R1: Chc, eby si dobrze uczyo.R3: eby potem posza do szkoy i na studia, eby na rodzicw moga zarabia. (miech.)R2: Taki oglny rozwj, nie wiem, co wybierze kiedy.R1: Rysunek, muzyka.R5: Wane, eby uczyli si literek wczenie, teraz dzieci tak szybko do szkoy id, a tam nikt nie ma

czasu nad nimi lcze.Ewaluator: Czyli widz Pastwo potrzeb ksztacenia w kierunku muzycznym, plastycznym i nauk

czytania?R1: Chyba tak, ja nie wiem, jak to jest z czytaniem, bo moje dziecko jest w najmodszej grupie. Ale

piosenki piewaj i rysuj.R2: Tak, duo rysuj tam.

Zadanie 3.1rdo: opracowanie wasne

ANALIZA ROZKADW CZSTOCI

Czas na analiz statystyczn. Zajmiemy si wycznie statystyk opiso-w i zanim poczuj Pastwo SWUM (Syndrom Wrodzonego Upoledzenia Matematycznego3), bdcy naturaln reakcj fi zjologiczn na sowo staty-styka, wyjanijmy, e jest to sprawa nietrudna. Na pewno nie trudniejsza ni test na jednorodno wariancji Barletta-Boxa, ktrego prost elegancj mog Pastwo podziwia poniej4.

2 21 1

1 1

1( ' ) log ( 1) ( ) ( 1) log ( )'

k k

i ii i

M w g w S X w S Xw g = =

=

Wikszo danych ilociowych dostpnych w tym projekcie bdzie prezen-towana w postaci tabelarycznej. Tabela jest z wielu powodw jedn z najlep-szych form prezentacji danych. Znajd w niej Pastwo nastpujce informacje:

3 Por. historia Earla Babbiego o Matematycznym Marvinie rozdzia Statystyka w naukach spoecznych, w jego Badaniach spoecznych w praktyce, Wydawnictwo Naukowe PWN, Warszawa 2003, s. 479480.

4 Za: A. Malarska, Statystyczna analiza danych wspomagana programem SPSS. Maria Nawoj-czyk, Przewodnik po statystyce dla socjologw, SPSS Polska, Krakw 2002.


opisy wartoci, czstoci, udzia, udzia wanych odpowiedzi.

Wyglda to tak: wyobramy sobie, e grupa uczniw odpowiedziaa na pierwsze pytanie w ankiecie Moja szkoa.

4. Czy masz poczucie, e zajcia w szkole s dostosowane do Twoich moliwoci (moesz wybra jedn odpowied) nie, wcale tak, rzadko tak, od czasu do czasu tak, czsto lub do czsto

Widoczne pod treci pytania opcje, ktre zaznacza badany, nazywamy wartociami (lub z angielska: itemami). Tabela z rozkadem odpowiedzi na to pytanie mogaby wyglda tak:

Tabela 1. Hipotetyczny rozkad odpowiedzi na pytania z ankiety Moja szkoa

Wartoci Czsto UdziaUdzia wanych

odpowiedzi

nie, wcale 15 11,90 12,40

tak, rzadko 33 26,19 27,27

tak, od czasu do czasu 27 21,43 22,31

tak, czsto lub do czsto 46 36,51 38,01

Braki odpowiedzi 5 3,97 = 100

cznie 126 = 100


Ilu uczniw wypenio ankiet? Ilu odmwio odpowiedzi na to pytanie? Jak odpowied badani wybierali najczciej? Jaka odpowied pojawiaa si najrzadziej?

Jakie s najwaniejsze informacje? Pierwsza kolumna pokazuje, ilu ucz-niw wzio udzia w badaniu, ilu wybrao konkretne odpowiedzi (a ilu odm-wio udzielenia odpowiedzi na to pytanie). Kolejna kolumna zawiera udziay


(procenty5) dla caej prby, cznie z brakami danych. Ostatnia kolumna to ju procenty wycignite z wanych gosw (czyli z pominiciem brakw danych).

Jak wida, odmw byo do niewiele (niespena 4% ogu odpowiedzi). Jeli brakw danych jest wicej, to jest to istotna informacja: albo byo co nie tak z procedur badania, albo pytanie byo zbyt trudne, albo dotknlimy jakiej kontrowersyjnej kwestii. Tak czy inaczej, warto si temu przyjrze dokadnie.

W tabeli atwo zobaczymy, gdzie znajduje si dominanta (czyli najcz-ciej wystpujca warto). W naszym przykadzie przypada ona na odpowied tak, czsto lub do czsto, a zatem na jedn ze skrajnych wartoci. To do wana informacja respondenci najczciej wybieraj odpowiedzi neutralne. Dominanta przypadajca na wartoci skrajne wskazuje na pewne zradykali-zowanie pogldw: albo co jest generalnie nie tak, albo w zgodnej opinii badanych w porzdku.

Przy mniejszym zrnicowaniu opinii o wiele wicej dowiemy si, patrzc na to, jak grupoway si odpowiedzi. Procedur tak nazywamy przeksztace-niami rozkadw czstoci. Przyjrzyjmy si jej na innym rozkadzie.

Przykadowy rozkad odpowiedzi prezentuje tabela 2.

Tabela 2. Hipotetyczny rozkad odpowiedzi

Czsto Udzia Udzia wanych odpowiedzi

zdecydowanie nie 13 13,13 14,44

raczej nie 28 28,28 31,11

raczej tak 31 31,31 34,44

zdecydowanie tak 18 18,18 20,00

Braki odpowiedzi 9 8,91

cznie 101


5 Warto pamita, e mimo i wyciganie procentw z prb mniejszych ni n = 100 jest, deli-katnie mwic, nieporzdne, system bdzie automatycznie generowa udziay.

Na braki danych warto zwrci szczegln uwag gdy: w pojedynczych pytaniach jest ich wyranie wicej ni w innych, s one czsto wybieran wartoci.

Taka sytuacja moe oznacza: bdy w realizacji badania, zbyt trudne/le dopasowane pytanie, kontrowersje.


W tym przykadzie dominuj wartoci blisze rodka kontinuum respon-denci byli jakby mniej zdecydowani w swoich opiniach. Dominanta nie jest bardzo wyrana, wybijajc si jedynie 3,33 punktu procentowego6 ponad sub-dominant7 (jeli popatrzymy na wane odpowiedzi). Jednak kiedy zsumuje-my odpowiedzi zdecydowanie nie i raczej nie z jednej strony, a odpowiedzi zdecydowanie tak i raczej tak z drugiej, obraz stanie si jasny. Okazuje si, e dla ponad 54% uczniw (biorc pod uwag wane odpowiedzi) reguy zachowania s jasne.

CHARAKTERYSTYKI ROZKADW

Najczciej spotykane rozkady odpowiedzi ukadaj si w do charaktery-styczne typy. Przyjrzymy si im po to, aby mc szybciej wnioskowa. Wykresy charakteryzuje si zwykle na dwch wymiarach:

1. Skono: tutaj uwzgldniamy symetryczno bd niesymetryczno rozkadu. Jeli w rozkadzie wiksze liczebnoci skupiaj si w zakresie mniejszych wartoci zmiennej, mwimy o wykresie skonym dodatnio. Jeli jest na odwrt skonym ujemne8. Innymi sowy wykres skony dodatnio jest przechylony w lewo, skony ujemnie w prawo.

2. Kurtoza: pozwala na porwnania wykresw pod wzgldem stromoci lub paskoci, czyli skupienia lub rozproszenia wypowiedzi dookoa tej samej wartoci. Jeli jeden wykres jest bardziej stromy ni drugi, mwimy o nim, e jest leptokurtyczny. Jeli jest bardziej paski platykurtyczny.

Poniej znajduje si tabela z danymi pokazujcymi rne rozkady liczeb-noci, ilustrujce te najbardziej charakterystyczne typy.

6 Procenty a punkty procentowe: jeli udzia odpowiedzi A wynosi 30% (powiedzmy przy n = 200), a udzia odpowiedzi B 35%, nie mog powiedzie, e udzia odpowiedzi B jest o 5% wikszy, gdy oznaczaoby to rnic w liczbach bezwzgldnych rwn 5% z 60 (60 = 30% z 200), czyli 3. A faktyczna rnica pomidzy A i B wynosi 10.

7 Czyli drug w kolejnoci najczciej wystpujc warto w zbiorze danych.8 Pojcia te mog si wyda nielogiczne, ale opieraj si one na mierze skonoci: jeli przy-

biera ona wartoci nisze od zera, mamy rozkad skony ujemnie, jeli wysze skony dodatnio, jeli rwne zero wykres jest symetryczny.

Przeksztacenia rozkadw przydaj si szczeglnie wtedy, kiedy nie mamy wyranej dominanty albo respondenci unikaj wartoci skrajnych.


Tabela 3. Hipotetyczne rozkady liczebnoci

Liczba punktw

Dwum

ian

sym

etry

czny

Lept

okur

tycz

ny

Plat

ykur

tycz

ny

Pros

tok

tny

Dwum

odal

ny

U-k

szta

tny

Sko

ny

doda

tnio

Sko

ny

ujem

ny

J-ks

zta

tny

1 2 2 2 13 8 24 3 3 13

2 10 9 12 13 19 14 6 21 13

3 15 13 15 13 18 8 10 26 13

4 25 30 23 13 7 6 16 19 13

5 25 30 23 13 7 6 19 16 13

6 15 13 15 13 18 8 26 10 13

7 10 9 12 13 19 14 21 6 13

8 2 2 2 13 8 24 3 3 13

Suma 104 104 104 104 104 104 104 104 104

Wykres 1. Dwumian symetrycznyrdo: opracowanie wasne

Wykres 2. Rozkad leptokurtycznyrdo: opracowanie wasne

Wykres 3. Rozkad platykurtycznyrdo: opracowanie wasne


Wykres 4. Rozkad prostoktnyrdo: opracowanie wasne

Wykres 5. Rozkad dwumodalnyrdo: opracowanie wasne

Wykres 6. Rozkad U-ksztatnyrdo: opracowanie wasne

Wykres 7. Rozkad J-ksztatnyrdo: opracowanie wasne

Wykres 8. Rozkad skony ujemnierdo: opracowanie wasne

Wykres 9. Rozkad skony dodatniordo: opracowanie wasne


Co oznaczaj poszczeglne typy wykresw?

1. Wykres symetryczny ma due znaczenie w statystyce, a dla nas ozna-cza, e dominuj wartoci przecitne, nie ma silnie zarysowanych eks-tremw. Rzecz jasna wszystko zaley od charakterystyki zmiennej: wy-obramy sobie, e na kracach kontinuum znajduj si wartoci zgoa nieekstremalne na przykad z lewej W szkole czuj si cigle zagroo-ny, potem w prawo Umiarkowanie zagroony/a, Umiarkowanie bez-piecznie i na kocu Zdecydowanie bezpiecznie. Rozkad normalny oznacza, e niewielu uczniw czuje si w szkole zdecydowanie bezpiecz-nie, a to przecie nie jest stan podany.

2. Lepto- i platykurtyczno pozwala na atwe porwnanie wykresw o podobnej symetrii. Im bardziej stromy (leptokurtyczny) wykres, tym wicej wskaza skupia si na rodku, przy (zazwyczaj neutralnych) war-tociach. Im bardziej paski (platykurtyczny), tym bardziej rozproszone s odpowiedzi, a zatem respondenci nie s zgodni w ocenach.

3. Rozkad prostoktny wystpuje przy rwnomiernym rozproszeniu od-powiedzi kada z wartoci zostaa wybrana przez tak sam liczb ba-danych, w populacji nie wystpuje adna wyrana tendencja. Z punktu widzenia analizy kryterium taki rozkad jest niestety bezuyteczny nie przybliy nas do rozstrzygnicia; odpowiedzi naley szuka w innych rdach.

4. Rozkad dwumodalny z kolei oznacza, e wypowiedzi badanych skupi-y si w dwch miejscach (zwanych modami inaczej dominantami). Moe to wskazywa na podzia w grupie, moe nie tak radykalny jak przy wykresie U-ksztatnym, ale jednak bardzo wyrany. Wyobramy sobie pytanie o poczucie zagroenia wykres dwumodalny, taki jak na rysunku, nie wskazuje na sytuacj ekstremaln, ale nietrudno zauway, e cz uczniw czuje si raczej niezagroona, podczas gdy rwnolicz-na grupa ma poczucie pewnego zagroenia.

5. Rozkad U-ksztatny przypomina liter u. Oznacza, e wiele wskaza kumuluje si przy skrajnych wartociach zmiennej. Gdybymy podsta-wili tutaj przywoywane ju pytanie o poczucie bezpieczestwa, istnie-j powody do niepokoju najliczniejsze frakcje wskazuj na skrajne opinie, co wyranie wiadczy o mocnym podziale (a by moe o nawet o animozjach pomidzy tymi dwiema grupami).

6. Rozkad J-ksztatny oznacza osignicie skrajnej skonoci domi-nanta przypada na ktr (w naszym przykadzie najnisz) z wartoci zmiennej.


ANALIZA TENDENCJI CENTRALNYCH I ROZPROSZENIA

Zanim przejdziemy do omawiania kwestii analizy tendencji i poziomw pomiaru, przypomnijmy sobie kluczowe tutaj pojcie zmiennej.

Co to jest zmienna? Mwic ogldnie, to co, co przybiera rne warto-ci. Mona popatrze na to z innej strony: logicznie pogrupowane wartoci (zwane te atrybutami zmiennej) tworz zmienn. I tak mczyzna i kobieta tworz zmienn pe, wartoci kelner, nauczyciel i robotnik zmienn za-wd i tak dalej.

Dane, ktre gromadzimy w badaniach, rni si, jeli chodzi o tak zwa-ny poziom pomiaru. Chodzi generalnie o to, e zjawiska moemy mierzy z rn dokadnoci (a tak naprawd o to, e na rnych poziomach pomiaru moemy prowadzi rone rodzaje analiz). W metodologii wyrniamy cztery poziomy:

nominalny, porzdkowy, interwaowy, ilorazowy.

W praktyce jednak (i w naszym badaniu) wykorzystujemy wycznie trzy typy pomiaru: nominalny, porzdkowy i ilorazowy. Przyjrzyjmy si im dokad-niej, a szczeglnie temu, co z tego podziau wynika dla analizy danych.

Poziom nominalny. Jest to taki typ zmiennych, gdzie wartoci s rozczne, ale nie s uporzdkowane w aden sposb. Najbardziej oczywistym przyka-dem jest pe dwie wartoci tej zmiennej s rozczne i nie tworz adnego logicznego ukadu.

Takie zmienne nominalne jak pe, ktre przybieraj tylko dwie wartoci, nazywamy zmiennymi dychotomicznymi.

Bardziej zoonym przykadem zmiennej nominalnej moe by kolor oczu. Niestety dowody osobiste ju od jakiego czasu nie porzdkuj tej kwestii (niebieskie, nie ma), trzeba wic si opiera na opinii osb trzecich lub spoj-rzeniu w lustro. Nie mona (chyba) mie kilku kolorw oczu jednoczenie, a z drugiej strony rnica pomidzy osobami o oczach niebieskich, zielonych i brzowych nie ukada si w aden logiczny cig.

Nieco inaczej jest w wypadku zmiennych porzdkowych. Tworz one pe-wien logiczny ukad, cho nie ma staych odlegoci pomidzy wartociami. Przykadem moe by na przykad wyksztacenie: podstawowe, rednie, wy-


sze. Wiemy, e osoba z wyszym wyksztaceniem jest lepiej wyedukowana ni absolwent szkoy zawodowej, ale nie moemy powiedzie, e jest, dwa razy lepiej wyksztacona.

Najsilniejszym typem pomiaru jest skala ilorazowa. Mamy tutaj do czynie-nia z atrybutami uporzdkowanymi, w staych odlegociach, zmieniajcymi si w sposb dyskretny (czyli o niewielk warto). Przykad? Wzrost (mierzo-ny centymetrach), wiek (w latach), masa ciaa, liczba osb na sali, czas dojazdu pocigiem na szkolenie i tak dalej.

Zanim wyjanimy, po co nam te podziay, przyjrzyjmy si tytuowemu za-gadnieniu z tego podrozdziau: tendencjom centralnym i miarom rozproszenia.

Tendencja centralna to po prostu najczstsza/dominujca/rodkowa war-to w zbiorze. Jest to najprostszy (i bardzo podatny na bdy interpretacyjne) sposb oceny charakterystyki rozkadu lub porwnania dwch rozkadw. Jedn z najatwiejszych tendencji dominant omwilimy przy okazji analizowania tabel. Dominanta to najczciej wystpujca warto w zbiorze na histogramie atwo rozpozna ja po najwyszym supku. Na wykresie 10 (bdcym ilustracj do tabeli 2) wida wyran dominant przypadajca na warto raczej tak.

Udz

ia (

%)

wa

nych

odp

owie

dzi

Zdecydowanie nie Raczej nie Raczej tak Zdecydowanie tak

Wykres 10. Hipotetyczny rozkad odpowiedzirdo: opracowanie wasne

Niewtpliw zalet dominanty jest to, e mona j oblicza (czy po prostu dostrzega) dla wszystkich typw pomiaru, cznie z nominalnym.


Kolejny rodzaj tendencji centralnej mona oblicza ju tylko dla pomiaru ilorazowego (i interwaowego, ktrego nie omawialimy) tak przynajmniej wykazuje wikszo konserwatywnych statystykw. Wiksi liberaowie do-puszczaj stosowanie jej do pomiaru porzdkowego.

T miar tendencji centralnych jest mediana9.

Mediana = N + 12

Mediana dzieli zbir danych dokadnie na p: poowa obserwacji znajduje si poniej mediany, druga poowa powyej. Ma sporo zalet: nie jest wraliwa na skrajne pomiary, mona j oblicza przy otwartych skrajnych przedziaach (65 lat i wicej).

Obliczanie wymaga uporzdkowania zbioru danych na przykad od naj-mniejszej wartoci do najwikszej. Wyobramy sobie, e w tabeli 4 znajduj si wyniki pomiaru masy ciaa czonkw druyny pikarskiej w penych kilogra-mach, uporzdkowane od najlejszego do najciszego zawodnika. Na rodku jest zawodnik o numerze 6. Piciu pikarzy jest lejszych, piciu ciszych. Mediana wynosi 71 kg.

Tabela 4. Waga zawodnikw, dane hipotetyczne

Numer 1 2 3 4 5 6 7 8 9 10 11

Waga (kg) 54 55 55 60 62 71 71 72 85 86 88


Domy trenera (grubego trenera). Nie moemy teraz wyznaczy rodko-wej obserwacji, gdy liczba waonych osb jest parzysta.

Tabela 5. Waga zawodnikw, dane hipotetyczne

Numer 1 2 3 4 5 6 7 8 9 10 11 12

Waga (kg) 54 55 55 60 62 71 71 72 85 86 88 110


9 W procedurze uwzgldniamy obliczanie mediany dla zmiennych niecigych (bo niemal wycznie takie zmienne gromadzimy). W wypadku zmiennych cigych dla uzyskania dokadne-go wskazania stosuje si interpolacj liniow.

"Ewaluacja w nadzorze pedagogicznym. Odpowiedzialność".

Documents

Transcript of "Ewaluacja w nadzorze pedagogicznym. Odpowiedzialność".