2011 Międzynarodowe badanie

kompetencji osób dorosłych

PIAAC

Michał Sitek

Anna Maliszewska

Mateusz Żółtak

Warszawa, 16 czerwca 2011 r.

Plan prezentacji

1. Pomiar kompetencji w badaniach osiągnięć

2. Doświadczenia międzynarodowe

3. Pułapki samooceny

4. Prezentacja badania PIAAC

5. Narzędzia w badaniu PIAAC

o Narzędzia oceny bezpośredniej PIAAC

o Narzędzia oceny niebezpośredniej PIAAC

6. Potencjał analityczny PIAAC

7. Sposób pomiaru

8. Realizacja badania

9. Podsumowanie

Pomiar kompetencji w badaniach osiągnięć

Kompetencje - połączenie wiedzy, umiejętności i postaw odpowiednich

do sytuacji (zalecenie Parlamentu Europejskiego i Rady w sprawie

kompetencji kluczowych w uczeniu się przez całe życie)

Posiadanie kompetencji oznacza zdolność (łącznego) wykorzystania

wiedzy, umiejętności i postaw w konkretnym kontekście, odpowiednio do

oczekiwań i standardów.

W kontekście rynku pracy:

co jest ważne, dla właściwego wykonywania danego zawodu?

W kontekście edukacji:

co jest potrzebne do funkcjonowania w dorosłym życiu?

Doświadczenia międzynarodowe

Najważniejsze międzynarodowe badania osiągnięć (z wyróżnieniem badań,

w których uczestniczyła lub będzie uczestniczyć Polska)

Specyfika i ograniczenia badań osiągnięć

- ograniczone cele (określenie parametrów dla populacji, a nie pojedynczych osób)

-wąski zakres mierzonych kompetencji

- badania prowadzone w dużej skali – (np. PISA 2009 objęła 280 tys. osób)

Dobre praktyki:

zalety standaryzacji sytuacji testowej

precyzyjna definicja mierzonego konstruktu (dziedziny testu)

starannie wypracowane zadania testowe - przemyślana zawartość testu

wykorzystanie technik statystycznych (np. IRT, matrix sampling) zwiększających

rzetelności pomiaru

coraz powszechniejsze wykorzystanie nowych technologii

powszechny dostęp do zbiorów danych i dokumentacji technicznej

Logika budowy testu: konstrukcja testu z użyciem teorii odpowiedzi na

pozycje testu (IRT)

Pułapki samooceny

W badaniach osiągnięć zwykle

odróżnia się samooecenę

i przekonania badanych od ich

kompetencji.

Przykład: skala poczucia własnej skuteczności (self-efficacy)

w badaniu PISA 2003

AUS

AUT

BEL

BRA

CANCHE

CZE

DEU

DNK

ESP

FIN

FRAGBR

GRC

HKG

HUN

IDN

IRL

ISL

ITA

JPN

KOR

LIE

LUX

LVA

MAC

MEX

NLD

NOR

NZL

POL

PRTRUS

SVK

SWE

THA

TUN

TUR URY

USA

YUG

35

040

045

050

055

0

wyn

ik p

om

iaru

um

ieję

tności m

ate

maty

cznych

-.5 0 .5

indeks poczucia własnej skuteczności

Prezentacja badania PIAAC

1. Populacja badana:

osoby w wieku 16-65

2. Minimalna wielkość efektywnej próby dla wszystkich państw:

5 tys. wywiadów

efektywna próba dla Polski: 9 132 wywiady, w tym

5 tys. osób w wieku 19-26

3. Termin realizacji badania głównego:

sierpień 2011 r. – marzec 2012 r.

wyniki badania – pierwsza połowa 2013 r.

Narzędzia w badaniu PIAAC

Narzędzia PIAAC

Ocena umiejętności matematycznych

Ocena rozumienia

tekstu

Ocena składowych umiejętności

czytania Kwestionariusz

osobowy

Ocena umiejętności wykorzystywanych w

pracy

Ocena umiejętności rozwiązywania problemów w

środowisku nowych technologii

Ocena umiejętności matematycznych

Umiejętności matematyczne:

umiejętności używania, stosowania, interpretowania

oraz wymieniania informacji i koncepcji

matematycznych.

Zawiera

obszar

kognitywny,

behawioralny

oraz kontekst

społeczny

Aspekty modelu oceny umiejętności matematycznych PIAAC: Medium, format i typ teksu:

tekst w formie elektronicznej lub drukowanej; tabele, wykresy, schematy, wzory,

formuły, obrazki, mapy

Kontekst dom i rodzina; zdrowie i bezpieczeństwo; sprawy obywatelskie i konsumenckie,

praca, czas wolny oraz edukacja i szkolenia

Operacje kognitywne: dostęp i identyfikacja informacji w tekście

integrowanie i interpretowanie

ewaluacja i refleksja

komunikacja

Ocena rozumienia tekstu

Rozumienie tekstu:

zdolność zrozumienia i używania informacji

zawartych w rozmaitych przekazach pisemnych, w

sposób umożliwiający osiągnięcie wyznaczonych

celów oraz rozwijanie wiedzy i potencjału.

Zawiera obszar

kognitywny,

behawioralny oraz

kontekst społeczny

– celowość

czynności

Aspekty modelu rozumienia tekstu w PIAAC Medium, format i typ teksu:

tekst w formie elektronicznej lub drukowanej; ciągły lub nie (tabele,

wykresy, schematy); instrukcje, narracje, argumentacje

Kontekst dom i rodzina; zdrowie i bezpieczeństwo; sprawy obywatelskie i

konsumenckie, praca, czas wolny oraz edukacja i szkolenia

Operacje kognitywne: dostęp i identyfikacja informacji w tekście

integrowanie i interpretowanie

ewaluacja i refleksja

komunikacja

Ocena składowych umiejętności czytania

Składowe umiejętności czytania:

podstawowe umiejętności umożliwiające czytanie, takie jak

rozpoznawanie słów, umiejętność dekodowania ich znaczenia,

znajomość słownictwa oraz biegłość w posługiwaniu się językiem.

Inne badania nie wprowadzają rozróżnienia pomiędzy osobami,

które nie opanowały podstawowych składowych umiejętności

czytania, a osobami, które opanowały technikę czytania, ale nie

posiadają zdolności rozumienia czytanego tekstu.

Składowe będą oceniane nie tylko poprzez poprawność

odpowiedzi, ale też przez czas ich udzielenia.

Ocena umiejętności rozwiązywania problemów w

środowisku nowych technologii

Nie jest to pomiar „znajomości obsługi komputera”, a raczej pomiar

umiejętności poznawczych, niezbędnych w dobie społeczeństwa

informacyjnego, gdzie najważniejsza staje się umiejętność zdefiniowania jakie

informacje są nam potrzebne, ich krytyczna ocena oraz ich wykorzystanie do

rozwiązywania problemów.

Szczególnie istotne będzie:

pozyskiwanie i ocena informacji

komunikowanie (przekazanie) informacji

przetwarzanie informacji w celu wykonania praktycznych

zadań

Wszystko w środowisku nowych technologii.

Ocena umiejętności wykorzystywanych w pracy

Umiejętność uczenia się: umiejętności ponoszenia wiedzy,

aktualizowania informacji i pomagania innym uczyć się

Umiejętności fizyczne: siła, wytrzymałość, zręczność

Umiejętności kognitywne: czytanie ze zrozumieniem, pisanie,

liczenie, rozwiązywanie problemów

Umiejętności interpersonalne: wpływanie na innych, interakcje ze

współpracownikami, interakcje z klientem

Job Requirements Approach (wymagania miejsca pracy) - moduł ma na celu zbadanie

rodzajów i poziomu umiejętności wykorzystywanych w miejscu pracy, które obejmują

rozumienie tekstu oraz umiejętności matematyczne, umiejętności związane z

technologiami informacyjnymi, a także umiejętności komunikacji, prezentacji oraz

pracy w zespole.

Kwestionariusz osobowy

Główne obszary (zmienne) kwestionariusza:

Poziom wykształcenia i edukacja pozaformalna,

Status na rynku pracy,

Zarobki,

Stan zdrowia,

Zaangażowanie społeczne i polityczne

Wykorzystanie umiejętności kognitywnych i niekognitywnych w życiu

codziennym i w pracy

Przykładowe obszary analiz

1. Identyfikacja mechanizmów zdobywania i utraty umiejętności – w tym

również analiza zmiany profili kwalifikacji w różnych grupach wieku.

2. Analiza dystrybucji i poziomu umiejętności w społeczeństwie – w tym

umiejętności kognitywnych z uwzględnieniem grup wykluczonych i analizy

składowych umiejętności czytania.

3. Umiejętności jako determinanty sytuacji osób młodych na rynku pracy –

analiza ich przejścia z edukacji do zatrudnienia w odniesieniu do

deklarowanych i posiadanych poziomów kompetencji kognitywnych i

niekognitywnych.

Przykładowe obszary analiz – cd.

4. Zgodność/rozdźwięk pomiędzy posiadaniem umiejętności, a

wykorzystywaniem ich w pracy.

5. Wykorzystanie umiejętności w pracy – w tym wskazanie luk wykształcenia

i kwalifikacji oraz identyfikacja barier podnoszenia kwalifikacji.

6. Umiejętności pracy z komputerem w dobie społeczeństwa informacyjnego –

w tym nie tylko częstotliwość korzystania z komputera, ale i zdolność

jednostek do przetwarzania i komunikowania informacji w środowiskach

nowych technologii.

7. Ścieżki edukacyjne oraz kształcenia zależności od polityk państwa i

instytucjonalnych uwarunkowań – porównanie międzynarodowe.

8. ITP…

Sposób pomiaru

Zalety

o Kilka rodzajów pomiaru

o Rozróżnienie umiejętności,

samooceny, motywacji

o Różnorodność dobrze

przygotowanych skal

o Możliwość porównań

międzynarodowych

o Łączliwość z wcześniejszymi

badaniami międzynarodowymi

Wady

o Złożoność metodologii

o Czas trwania wywiadu

o Brak badania pracodawców

o Pomiar umiejętności

miękkich nie tak dokładny, jak

twardych

Realizacja badania

Narzędzie

Dane

Wnioski Czy uprawnione?

Błędy

pomiaru

Próba

Błędy

pokrycia

Reprezentatywność

Trafność

Rzetelność

Jakiej są jakości?

Współczynnik

realizacji i zastępstwa

Założenia

Wnioski

Realizacja

Realizacja badania

Narzędzie

Wnioski

Błędy

pomiaru

Próba

Błędy

pokrycia

Dane o Kontrola współczynnika realizacji badania

(liczba wywiadów zrealizowanych / liczebność próby)

o W PIAAC w Polsce wynagrodzenie wykonawcy

zależne od współczynnika realizacji

o Konsorcjum CBOS+OBOP zadeklarowały osiągnięcie 68%

o Zastępowanie a powiększanie próby

o Zastępowanie – zaburza losowość próby

o Powiększanie próby – nie zaburza losowości próby

o W PIAAC zastępowanie zabronione we wszystkich krajach

Realizacja badania

Narzędzie

Wnioski

Błędy

pomiaru

Próba

Błędy

pokrycia

Dane

o Kontrola pracy ankieterów

o Nagrania dźwiękowe wywiadów

o Kontakt z respondentem

o Wewnętrzna lub zewnętrzna

o Odsetek kontroli

o W PIAAC

o Kontrola zewnętrzna

o 20% zrealizowanych wywiadów – kontakt osobisty

o 3-4 nagrania wywiadów każdego z ankieterów

Podsumowanie

PIAAC jest przełomowym badaniem kompetencji osób dorosłych, w którym

uczestniczą 23 kraje OECD.

W badaniu weźmie udział reprezentatywna grupa osób w wieku 16-65 lat.

Pierwsze wyniki dostępne będą w 2013 roku.

Ocena umiejętności prowadzona jest zarówno za pomocą narzędzi oceny

bezpośredniej jaki i oceny deklaratywnej.

Dostarczy szerokiego materiału badawczego pozwalającego na wyczerpujące analizy

zjawisk w obszarze kapitału ludzkiego.

Wspomoże projektowanie efektywnych i skierowanych do grup najbardziej

potrzebujących polityki z zakresu edukacji, rynku pracy oraz pomocy społecznej.

Dziękuję za uwagę.