Slajd 1

Edukacyjna Warto Dodana jako metoda ewaluacji pracy szkMaciej Jakubowski

Wydzia Nauk EkonomicznychUniwersytet Warszawskiemail: mjakubowski@uw.edu.pl

wrzesie 2008Prezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Program prezentacjiJak moemy liczy EWD?

Precyzja i zmienno jednorocznych wskanikw EWD

EWD gimnazjum szacowane dla 3 rocznikw

Ewaluacja nauczania metod EWDPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ I. METODY EWDPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Metody szacowania EWD dla gimnazjumEWD jako rnica midzy rednimi wynikami uczniw na egzaminach (lub staninami wynikw)

EWD jako rednia reszt z rwnania regresji na danych indywidualnych uczniw

EWD jako efekt stay w regresji

EWD jako efekt losowy w regresji

EWD jako efekt losowy z losowym nachyleniem wynikw sprawdzianu

EWD z wielokrotnym pomiarem umiejtnoci uczniwMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiEWD jako rnica rednichObliczamy redni wynik uczniw danego gimnazjum ze sprawdzianuObliczamy redni wynik uczniw na egzaminie gimnazjalnymPrzewidujemy za pomoc regresji na poziomie rednich dla szk wynik egzaminu gimnazjalnego

EWD j-tego gimnazjum to rnica midzy rzeczywistym i przewidywanym rednim wynikiem

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ EWD jako rnica rednich c.d.metoda ta operuje rednimi na poziomie szk, a nie danymi indywidualnymi, ale i tak musimy sign do danych indywidualnych

metoda ta niepotrzebnie traci dostpne informacjenie pozwala oceni precyzji EWDjeli korzystamy ze stanin a nie wynikw punktowych to precyzja i rzetelno jest bardzo niskaMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ EWD jako rednia resztszacujemy rwnanie regresji dla caej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (pe i dysleksja), to bd losowy

EWD to rednia rnic midzy wynikiem uzyskanym a przewidywanym dla kadego ucznia

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ EWD jako rednia resztPowtrkaJak liczy? Jakie rnice?Jakie problemy?Precyzja i zmiennoEWD dla 3 rocznikw

Przykadowy rozrzut wynikw uczniw wzgldem krzywej regresji dla caej populacji. Zielone strzaki oznaczaj reszty z rwnania regresji, ktrych rednia rwna jest EWD. Im wyej (niej) ucze ley nad (pod) krzyw, tym dokona wikszego (mniejszego) postpu w gimnazjum w porwnaniu z uczniami o podobnym wyniku na sprawdzianie. Jeli wikszo uczniw ley ponad (poniej) krzywej, to oznacza to, e dane gimnazjum ponadprzecitnie (poniej przecitnej) przyczynio si do wzrostu wiedzy swoich uczniw w trakcie nauki w gimnazjum. Wielko tego wzrostu mierzy EWD.8EWD jako rednia resztto jest metoda przyjta dla EWD jednorocznikowegopozwala oszacowa przedziay ufnoci EWD, a wic daje podstaw do statystycznie uprawnionych porwna midzy szkoamimetoda ta otwiera te drog do analiz wewntrzszkolnych lub dla dowolnych grup uczniwEWD mona dowolnie liczy majc jedynie tabele predykcji wynikw egzaminu gimnazjalnego

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/

EWD jako efekt stay lub losowyszacujemy podobne rwnanie regresji dla caej Polski, jednak w rwnaniu uwzgldniono efekt uj dla kadego gimnazjum

Efekt uj mona interpretowa jako przesunicie w pionie krzywej regresji dla caej szkoy

Oszacowany efekt to EWD gimnazjum W metodzie z efektami losowymi zakadamy, e efekty maj rozkad zbliony do normalnegomao wiarygodne oceny EWD s przy tym cigane do przecitnej, czyli do zera

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiEWD jako efekt stayPowtrkaJak liczy? Jakie rnice?Jakie problemy?Precyzja i zmiennoEWD dla 3 rocznikw

W modelu z efektem staym zakadamy, e ksztat zalenoci midzy wynikami sprawdzianu i egzaminu gimnazjalnego jest w kadej szkole taki sam. Efekt stay odpowiada przesuniciu krzywej regresji dla danej szkoy ponad lub poniej krzywej oszacowanej dla caej populacji. Metoda ta dla polskich danych jest niemal identyczna z metod redniej z reszt regresji. Obie metody mona interpretowa jako przesunicie krzywej o redni przyrost wiedzy uczniw w danym gimnazjum wzgldem przecitnego wzrostu wiedzy w caej Polsce.12

Wykres ten pokazuje zaleno midzy zrnicowaniem EWD a liczb uczniw zdajcych egzamin gimnazjalny w danej szkole i roku. Dla mniejszych szk efekty stae daj bardzo zrnicowane oceny EWD (kwadraty po lewej stronie wykresu). Metoda efektw losowych ciga EWD szk do przecitnej, czyli zera (kropki le bliej osi zero). ciganie do przecitnej jest tym silniejsze im mniejsza jest szkoa i im dalej od przecitnej ley EWD szkoy, a wic tym silniejsze im mniej pewni jestemy wiarygodnoci naszej oceny. Wida, e dla szk z 30-50 zdajcymi rnica midzy efektem staym i losowym jest ju niewielka, szczeglnie dla szk o EWD bliskim przecitnej. Dla szk wikszych skrajne EWD s rzadsze i rnica midzy dwoma modelami jest znikoma.13EWD jako efekt stay lub losowys to poprawne metody liczenia EWD ze statystycznego punktu widzenia

jednak mniej przejrzyste

std jednoroczne EWD bdzie dalej liczone metod rednich z reszt regresji, ale ju 3 rocznikowe metod efektw staych lub losowych

metoda efektw losowych dominuje obecnie na wiecieprzy wielu prbach daje oceny EWD najblisze prawdziwymMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ EWD z losowym nachyleniem wynikw sprawdzianuw tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwajcy ca krzyw regresji w zalenoci od EWD szkoy, ale i nachylenie wynikw sprawdzianu moe by w kadej szkole inne

w ten sposb nachylenie wynikw sprawdzianu moe si w kadej szkole rni, przy czym przy jego ocenie korzystamy z wiedzy o caej populacjipozwala to oszacowa EWD szkoy osobno dla uczniw sabszych i dla uczniw z lepszymi wynikami ze sprawdzianu

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacji

Model z losowym nachyleniem dopuszcza zrnicowanie nachylenia wynikw sprawdzianu midzy szkoami. Bardziej strome nachylenie oznacza wysz efektywno pracy z uczniami o wyszym wyniku na sprawdzianie. Bardziej paska linia oznacza relatywnie wysz efektywno pracy z uczniami sabszymi. Na rysunku przecicie krzywych z pionowymi liniami pokazuje jakie 4 przykadowe gimnazja maj EWD dla uczniw z ok. 10 i ok. 35 punktami ze sprawdzianu. Przykadowo, gimnazja oznaczone liniami t i zielon maj podobn (blisk przecitnej dla kraju) efektywno pracy z uczniami sabszymi, jednak znacznie rni si w efektywnoci pracy z uczniami o wyszym wyniku na wejciu: szkoa ta ma w tym przypadku znacznie wysz EWD (ponadprzecitn w skali kraju) ni szkoa zielona (poniej przecitnej dla kraju).16Na ile EWD oszacowane rnymi modelami si rni?Korelacje midzy EWD dla 2006 rokucz humanistycznacz matematyczno-przyrodniczaRegresja na rednich dla szkReszty z regresji na uczniachEfekt losowyRegresja na rednich dla szkReszty z regresji na uczniachEfekt losowyReszty z regresji na uczniach0,990,97Efekt losowy0,981,000,970,99Losowe nachylenie (1 kwintyl)0,560,650,660,520,620,63Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPodsumowanie: modele EWDwybr modelu ma niewielkie praktyczne konsekwencjeoprcz EWD z losowym nachyleniem

Co poza wyborem modelu EWD?oszacowanie modeli dla kadego rokukwestia bdu pomiarukwestia zrwnania wynikw egzaminwniepotrzebne w przypadku modeli dla jednego rokuwskazane w przypadku modeli dla danych z kilku latkwestia efektu egzaminatorarozwizana przez wyczenie podejrzanych pytaMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ II. PRECYZJA i zmiennoPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Precyzja i zmiennoModele EWD powinny jak najdokadniej wskazywa prawdziw, ukryt warto odpowiadajc temu co chcemy zmierzy jako EWDModel EWD jest tym lepszy, im bliszy jest precyzyjnego okrelenia przyrostu wiedzy uczniw w kadym z gimnazjwPrecyzj mona ocenia ze wzgldu na kilka kryteriwJedne z nich dotycz dokadnoci oceny EWD w danym rokuInne dotycz stabilnoci EWD midzy latamiWaga kryterium zaley od kontekstu uycia EWDMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Statystyki dla punktowego EWD2006 rokRegresja na rednich dla szkReszty z regresji na uczniachEfekt losowyEWD: cz humanistycznarednia0.040.040.00odchylenie standardowe2.172.181.92min-10.74-11.27-8.34max9.099.017.65EWD: cz matematyczno-przyrodniczarednia0.040.110.00odchylenie standardowe2.562.512.14min-9.12-9.18-7.79max16.9217.1414.59Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiOdchylenie standardowe, a wic zrnicowanie jednorocznej EWD liczonej jako rednia reszt z regresji na uczniach jest wiksze ni zrnicowanie EWD liczonej jako efekt losowy. Metoda redniej z reszt regresji daje take bardziej skrajne oceny ni efekty losowe (min i max).21Statystyki dla szerokoci przedziaw ufnoci2006 rokReszty z regresji na uczniachEfekt losowyEWD: cz humanistycznarednia2.602.25odchylenie standardowe0.810.53min1.271.31max5.063.43EWD: cz matematyczno-przyrodniczarednia2.952.60odchylenie standardowe0.880.60min1.601.51max6.293.94Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiMetoda redniej z reszt regresji daje szersze przedziay ufnoci ni metoda z efektami losowymi, a wic jest pod tym wzgldem mniej precyzyjna. Przedziay ufnoci w metodzie z efektami losowymi maj maksymalnie niecae 4 punkty szerokoci, a przecitnie maj od 2.25 do 2.6 punktw szerokoci. S wic stosunkowo precyzyjne. Podobne statystyki dla pozostaych metod s znacznie wiksze. Podane tu wartoci dotycz losowej prby szk, ale mona je uoglni na ca populacj.22Korelacja midzy EWD dla rnych lat oszacowanych t sam metodEWD z lat 2005 i 2006Regresja na rednich dla szkReszty z regresji na uczniachEfekt losowycz humanistyczna0,350,390,40cz matematyczno-przyrodnicza0,500,520,53Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Wszystkie metody daj oceny EWD podobnie skorelowane midzy latami (model z losowym nachyleniem jest silniej skorelowany, ale to wynika z duej liczby bardzo skrajnych ocen). Korelacje na poziomie 0.4-0.5 mona uzna za sabe, niewtpliwie jednak zaleno midzy latami istnieje. Trudno oczekiwa, e EWD midzy latami byo silniej skorelowane jeli wiemy, e w wikszoci gimnazjw zmieniaj si nauczyciele kolejnych rocznikw, zmienia si te zapewne oglna efektywno nauczania wielu szk. Podobny poziom korelacji EWD midzy latami wystpuje te w innych krajach, takich jak Anglia lub Sowenia.23Procent gimnazjw z pozytywnym lub negatywnym EWD w obydwu latach

EWD z lat 2005 i 2006Regresja na rednich dla szkReszty z regresji na uczniachEfekt losowycz humanistyczna62%64%64%cz matematyczno-przyrodnicza68%68%68%Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ 2/3 gimnazjw utrzymuje pozytywn bd negatywn ocen EWD midzy latami. Wszystkie metody daj EWD podobnie stabilne pod tym wzgldem.24

Zaleno midzy EWD z 2005 i 2007 roku dla szk jednego z OKE. Istnieje spora liczba szk, ktrych skrajne oceny utrzymuj si midzy latami. Szkoy te wymagaj zainteresowania. Gimnazja o stabilnym, wysoce pozytywnym EWD (szkoy w prawym grnym rogu) powinny suy jako rdo informacji o tym, co sprzyja tak wysokiej jakoci nauczania. Szkoy o wysoce ujemnym EWD w kolejnych latach wymagaj natychmiastowej pomocy.25III. EWD dla 3 rocznikwPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ EWD dla 3 rocznikwEWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniw) jest dobrym narzdziem do analizy efektw nauczania z t grup uczniwPrecyzja i stabilno takich wskanikw pozostawiaj jednak wiele do yczeniaJeli chcemy oceni prac szkoy w jak najbardziej precyzyjny i stabilny sposb, to powinnimy podsumowa informacj z kilku lat, dajc jeden wskanik EWD na cay okreswskanik szacowany dla kilku rocznikw bdzie si rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy wiksz liczb obserwacjiMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacji

Kropki oznaczajce EWD jednoroczne rozrzucone s wok kwadratw oznaczajcych ocen EWD na podstawie penej informacji dla 3 rocznikw. Wida, e o ile roczne EWD s czsto dalekie od siebie, to EWD dla 3 rocznikw jest bardziej precyzyjne, przyjmujc warto midzy jednorocznymi wskanikami.28Dlaczego 3 roczniki?3 lata wydaj si dobrym okresem dla dokonania podsumowania dziaalnoci szkoydla 3 rocznikw skad nauczycielski i organizacja pracy nie zmieniaj si tak bardzokraje z wikszym dowiadczeniem przyjmuj taki okres jako podstaw oceny szk (np. Holandia)docelowo wskanik taki bdzie szacowany co roku, dla ostatnich 3 rocznikwokrelony bdzie te trend efektywnoci nauczania szkoydopiero ocena trendu pozwoli okreli kierunek rozwoju szkoy ale to dopiero za kilka lat

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Ile gimnazjw posiada dane z 3 lat?Szkoy z oszacowanym EWD w kadym rokuLiczba szkLiczba uczniwEWD w kadym roku 59561 393 833EWD w kadym roku i z co najmniej 10 uczniami cznie przez 3 lata58731 393 271EWD w kadym roku i z co najmniej 30 uczniami cznie przez 3 lata56911 389 786EWD w kadym roku i z co najmniej 50 uczniami cznie przez 3 lata54401 379 701Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiOgraniczajc si do szk z co najmniej 30 uczniami zdajcymi egzamin w cigu 3 lat zwikszamy precyzj oszacowa EWD. Co prawda w ten sposb wykluczamy z oceny ponad 200 szk, to jednak s to szkoy niewielkie i liczba uczniw objtych ocen EWD maleje tylko nieznacznie.30Precyzja modeli jednorocznych a precyzja EWD dla 3 rocznikwszeroko przedziaw ufnoci*Efekt losowyEWD: cz humanistycznarednie w pojedynczych latachod 2.54 do 2.87rednia 3 roczniki1.65EWD: cz matematyczno-przyrodniczarednie w pojedynczych latachod 2.33 do 2.82rednia 3 roczniki1.82* prba 170 losowo wybranych gimnazjwMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrzejcie od modelu jednorocznego do 3 rocznikowego pozwala zmniejszy przecitn szeroko przedziau ufnoci od ponad 20 do blisko 50%. Jest to szczeglnie widoczne w modelu EWD jako redniej reszt z regresji, gdzie jednoroczne przedziay ufnoci liczone na niewielkich prbach s bardzo szerokie. Dla danych z 3 lat przecitna szeroko przedziau ufnoci spada poniej 2 punktw co oznacza, e w wielu przypadkach wskanik ten pozwoli na uprawnione statystycznie porwnania przyrostu wiedzy uczniw w rnych gimnazjach.31IV. EWD jako narzdzie EwaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Ewaluacja czego?Na poziomie kraju lub regionu:polityki edukacyjnejpolityki samorzdwprogramw nauczania

Na poziomie szkoy lub gminy:postpw grup uczniwpracy szkpracy nauczycielilokalnej programw edukacyjnychmetod nauczaniaMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiW jaki sposb?Na poziomie kraju lub regionu, gdzie dostpna jest dua liczba obserwacji, mona wykorzysta model regresji EWD z uwzgldnieniem interesujcych nas zmiennychNa poziomie gminy czy jednej lub kilku gimnazjw mona wykorzysta oszacowania modeli EWD dla kraju i porwnywa rednie reszty midzy grupami Jeli mamy wyniki kilkuset uczniw to take moemy stosowa modele regresji EWD

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Analiza dla szk lub gminyAnaliza reszt uczniwporwnanie midzy szkoamiporwnanie midzy klasamitesty na rnice rednichtesty na rnice w zrnicowaniu postpw uczniwwyjanianie poszczeglnych przypadkw - praca z nauczycielami

Przykady autorstwa dr Ewy Stoek (www.ewd.edu.pl)Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiProblem: wynik niej redni wdraamy program naprawczy

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ 36Rozporzdzenie o nadzorze pedagogicznym z 23.04.2004 (ju nie obowizuje) formuuje standardy oceny jakoci pracy szk i placwek, wrd nich w obszarze Ksztacenie, Efekty ksztacenia znajdujemy zapis 10. rednia liczba punktw uzyskanych przez uczniw na sprawdzianie lub egzaminach jest porwnywalna ze redni liczb punktw uzyskanych przez uczniw szk w wojewdztwie lub j przewysza. Do dzi zdarza si wizytatorom zaleca wprowadzenie programu naprawczego tylko dlatego, e wynik na egzaminie by niszy od redniego. Czy tej szkole jest potrzebny program naprawczy? Fakty: wykres obrazuje wyniki 22 uczniw, zatem w najniszym staninie jest 2 uczniw, ktrzy maj obnione wymagania egzaminacyjne. Wynik szkoy bez tych dwch uczniw plasuje si w staninie wyej rednim. Czy nadal wizytator sugerowaby wdroenie programu naprawczego?

EWD GH = 1,21

uczniowie o obnionych wymaganiach edukacyjnychMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacji37Jakiego rodzaju analiza jest potrzebna tej szkole? Czego chcielibymy si o szkole dowiedzie?

Dlaczego klasa B uzyskaa nieznacznie lepsze wyniki?Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiKlasa B zdecydowanie lepiej poradzia sobie z rozprawk oraz z interpretowaniem poezji.Jaki wpyw na to miay metody pracy nauczyciela?

Przykad II.3Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/

stanin wyej rednistanin wyej redni

40Dua miejska szkoa, 220 uczniw. Wyniki wyej redniego, z ponadprzecitn efektywnoci w zakresie przedmiotw humanistycznych i matematyczno-przyrodniczych. Problem: jak udao si to osign?Due zrnicowanie wynikw na wejciu w szkole. Problem: rna efektywno pracy z uczniami o rnym potencjale

Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacji

zrnicowanie EWD w klasachMetody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacji43W szkole s dwie szkoy klasy A-E uzyskujce porwnywalne ponadprzecitne wyniki oraz klasy F-H uzyskujce porwnywaln, niej przecitn efektywno.Czy klasy s takie same?Ewaluacja na poziomie krajuZastosowanie modeli EWD do danych z caej populacji uczniw

Pierwszy problem: czy efektywno szk zaley od wydatkw w przeliczeniu na ucznia?

Drugi problem: czy wielko klas wpywa na przyrost wiedzy uczniw?Metody EWD

Precyzja i zmienno

EWD dla 3 rocznikw

EWD jakonarzdzieewaluacjiZmienna zalena: czny wynik egzaminu gimnazjalnegoSprawdzian1.256***1.253***rednie wydatki na ucznia w trakcie nauki w gimnazjum-0.067***-0.066***Szkoa niepubliczna2.569***2.934***liczba uczniw w szkole-0.173**Rozstp wiartkowy wynikw sprawdzianu w gimnazjum-0.045***liczba uczniw w gminie0.259***dochody na mieszkaca gminy1.555***Wydatki na ucznia w trakcie nauki w szkole podstawowej-0.337***Procent dzieci 3-5 letnich, ktre korzystay z przedszkoli0.008***Oznaczenie typu miejscowociTakLiczba uczniw13240761322255Liczba gimnazjw62116211Prezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Zmienna zalena: czny wynik egzaminu gimnazjalnegoScentrowany wynik sprawdzianu (0 = 10 percentyl oryginalnych wynikw)1.240***(0.010)1.213***(0.010)rednie wydatki na ucznia w trakcie nauki w gimnazjum-0.055**(0.024)-0.105***(0.024)rednie wydatki * sprawdzian-0.001(0.002)-0.002*(0.002)Logarytm naturalny liczby uczniw w szkole0.279***(0.022)Logarytm naturalny liczby uczniw w gminie-0.172***(0.055)Logarytm naturalny dochodw na mieszkaca gminy1.648***(0.221)Rozstp wiartkowy wynikw sprawdzianu wrd uczniw gimnazjum-0.128***(0.006)redni wynik sprawdzianu wrd uczniw gimnazjum0.180***(0.006)Log restricted-likelihood-4993013-4991958Liczba uczniw13240761324076Prezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/ Regresja liniowaRegresja z efektami staymiPrzecitna liczba uczniw w klasie0.051***-0.006Wynik sprawdzianu1.198***1.240***Mediana wynikwsprawdzianu 0.322***0.291***Rozstp wiartkowy wynikw sprawdzianu -0.061***-0.053***R20.640.63R2 within0.63R2 between0.75Liczba gimnazjw5280Liczba uczniw13390221339022Regresja z efektami staymiZmiana mniejsza ni 25%Zmiana mniejsza ni 25% i rednie klasy od 15 do 30 uczniwPrzecitna liczba uczniw w klasie-0.016-0.019Sprawdzian1.244***1.242***Mediana wynikwsprawdzianu 0.324***0.325***Rozstp wiartkowy wynikw sprawdzianu-0.059***-0.060***R20.630.63R2 within0.630.63R2 between0.770.77Liczba gimnazjw38943882Liczba uczniw11401631128522 PodsumowanieWybr modelu EWD ma niewielkie praktyczne znaczeniepozostaj jednak kwestie wpywu bdu pomiaru, zrwnywania wynikw itp.EWD trzeba liczy z danych indywidualnych i podawa jako przedzia ufnociEWD 3 rocznikowe jest duo precyzyjniejsze i bdzie stanowi podstaw oceny pracy szkoyCzy model EWD powinien w wikszym stopniu uwzgldnia rodowisko nauczania? Badania trwaj

49PodsumowanieEWD moe by wykorzystywane jako narzdzie ewaluacji

Ewaluacja metodami EWD moe by prowadzona dla jednej lub kilku szk. Jest wtedy mniej precyzyjna, ale mona (trzeba) j poczy ze znajomoci lokalnego kontekstu

EWD powinno suy do ewaluacji polityki owiatowejto potne narzdzie, opierajce si na obiektywnym pomiarze umiejtnoci uczniw i olbrzymiej liczbie danychjego stosowanie wymaga jednak znajomoci metod statystycznych i wiadomoci ich ogranicze

Dzikuj za uwag!

WWW.EWD.EDU.PL

www.wne.uw.edu.pl/mjakubowskiemail: mjakubowski@uw.edu.plPrezentacja przedstawiona na III Kongresie Zarzdzania Owiat, OSKKO, www.oskko.edu.pl/kongres/