Ewaluacja efektywności, ROI ze szkoleń językowych Karol ... · Ewaluacja efektywności, ROI ze...

Ewaluacja efektywności,

ROI ze szkoleń językowych

Karol Granoszewski Regional Director CEE, CIS, Greece and Turkey

ETS Global

Confidential and Proprietary. Copyright © 2010 by Educational Testing Service. All rights reserved. ETS, the ETS logo, LISTENING. LEARNING. LEADING., Criterion, Focus on Standards, GRE, Keeping Learning on Track, SLEP, TOEFL and TOEIC are registered trademarks of Educational Testing Service (ETS) in the United States and other countries. EXADEP, Examen de Admisión a Estudios de Posgrado, iCritical Thinking, ProofWriter, Propell, Secondary Level English Proficiency, SIR II, Test de français international, TFI, The Praxis Series, TOEFL IBT and TOEIC Bridge are trademarks of ETS. All other trademarks are property of their respective owners.15550

ETS & ETS Global

• Największa, niezależna organizacja testująca na świecie, obecność w 180 krajach

• Ponad 50 milionów ocen każdego roku

• Twórca popularnych i rzetelnych systemów oceny takich jak:

• TOEIC®,

• TOEFL®,

• SAT®

• GRE®

• Bezsprzeczny lider w ocenie kompetencji językowych


ETS Global – czym się (nie) zajmujemy?

• Nie prowadzimy szkoleń językowych - obiektywizm

informacji

• Dostawca rozwiązań z zakresu audytu językowego dla

klientów korporacyjnych

– 10 lat doświadczenia na polskim rynku w branży HR

– Rzetelne i wiarygodne wyniki testów od 1947 roku


Wybrani klienci w Polsce

... i wiele innych firm, które wykorzystują

narzędzia audytu językowego ETS do

skutecznego, zewnętrznego i

obiektywnego zarządzania edukacją

językową swoich organizacji.

• Accenture

• Agora SA

• Akzo Nobel Car Refinishes Polska

• Alcatel – Lucent

• ArcelorMittal SSC Europe

• ArjoHuntleigh Polska

• Astellas Pharma

• Avanssur (grupa AXA)

• Bayer

• BGŻ

• BLStream

• British American Tobacco

• BZ WBK S.A. Bank i Dom Maklerski

• CAT LC

• Cersanit (Rovese)

• Coca-Cola

• Continental Automotive

• Daikin Airconditioning

• DeLaval & DeLaval Operations

• Deutsche Bank

• DZ Bank

• Elektrobudowa S.A.

• Electrum Białystok

• Elektrociepłownia Rybnik SA

• FM Logistic

• Ford Polska

• France Telecom (TP S.A.)

• Grupa Żywiec

• Hewitt Associates

• Hochland Polska

• HP

• Imperial Tobacco Polska

• International Paper Kraków

• Kuehne+Nagel

• Kulczyk Tradex

• Lafarge

• LEK S.A. i Lek Polska Sp. z o.o.

• Leroy Merlin

• LG Electronics

• Lorenz Bahlsen Snack-World

• Michelin

• NEMAK Polska

• Novartis Poland

• Nutricia

• Philip Morris Polska Distribution Sp. z o.o.

• Pliva Kraków SA

• PPG Polifarb-Cieszyn SA

• PSE

• Pulse Polska

• PZ Cussons

• PZL Świdnik SA

• Rel Pol

• Renault

• Rockwell Automation

• Sandvik Polska

• Sanitec Koło

• Schenker Polska

• Servicepoint

• Siemens

• Sofrecom

• T-Mobile

• Toyota Motor Poland

• Transsystem

• Unilever

• Vattenfall Heat Poland

• Warbud

Confidential and Proprietary. Copyright © 2010 Educational Testing Service. All rights reserved.

ZACZNIJMY MÓWIĆ TYM SAMYM

JĘZYKIEM – O JĘZYKACH

4/21/2015


REKRUTACJA – sami jesteśmy sobie winni…

4/21/2015


REKRUTACJA – sami jesteśmy sobie winni…

4/21/2015

7


W odpowiedzi na Państwa ofertę przesyłam…

Angielski: • Średnio-zaawansowany (szczyt dyplomacji)

• Komunikatywny

• Dobry

• Uczę się

• Wystarczający

• Dyskretna znajomość (świetnie milczy w 12 językach)

• Fluentywny

• Gastronomiczny (…`hello, one beer please`…)

8

Confidential and Proprietary. Copyright © 2010 Educational Testing Service. All rights reserved.

MOŻNA INACZEJ

4/21/2015 9


• Zalecenia Rady Europy dotyczące nauki i oceny

znajomości języków obcych

• Dokument opracowany w 2001 roku

• Poziomy Rady Europy:

A1 A2 B1 B2 C1 C2

• 6 poziomów zaawansowania:

A1 najniższy, C2 najwyższy

• Nazewnictwo: CEF = CEFR = CEFRL

Poziomy CEF = poziomy Rady Europy


Pozio

m s

am

od

zie

lno

ści

B1

Osoba posługująca się językiem na tym poziomie rozumie znaczenie głównych

wątków przekazu zawartego w jasnych, standardowych wypowiedziach, które

dotyczą znanych jej spraw i zdarzeń typowych dla pacy, szkoły, czasu wolnego

itd. Potrafi radzić sobie w większości sytuacji komunikacyjnych, które mogą się

zdarzyć w czasie podróży w regionie, gdzie mówi się danym językiem. Potrafi

tworzyć proste, spójne wypowiedzi ustne lub pisemne na tematy, które są jej

znane bądź ją interesują. Potrafi opisywać doświadczenia, zdarzenia, nadzieje,

marzenia i zamierzenia, krótko uzasadniając bądź wyjaśniając swoje opinie

i plany.

B2

Osoba posługująca się językiem na tym poziomie rozumie znaczenie głównych

wątków przekazu zawartego w złożonych tekstach na tematy konkretne

i abstrakcyjne, łącznie z rozumieniem dyskusji na tematy techniczne z zakresu

jej specjalności. Potrafi porozumiewać się na tyle płynnie i spontanicznie, by

prowadzić normalną rozmowę z rodzimym użytkownikiem języka, nie

powodując przy tym napięcia u którejkolwiek ze stron. Potrafi – w szerokim

zakresie tematów – formułować przejrzyste i szczegółowe wypowiedzi ustne

i pisemne, a także wyjaśniać swoje stanowisko w sprawach będących

przedmiotem dyskusji, rozważając wady i zalety różnych rozwiązań.

Oswajanie CEF


Sugerowane rozwiązania

Wymagana znajomość języka angielskiego:

• Poziom B2 wg CEF – poziom ‘swobodnego

przetrwania’ w środowisku pracy, poziom

niezależności

• Precyzyjne określenie wymagań i rezygnacja

z enigmatycznych określeń typu ‘komunikatywny’,

‘biegły’ czy ‘dobry’

• Dopasowanie wymagań do stanowiska pracy


Autentyczne ogłoszenia o pracę

2015-04-

21


Realna ocena

osiągniętych efektów

vs.

zainwestowane

środki (ROI)


Określenie kryteriów sukcesu projektu

• Skąd wiemy, że szkolenie odniosło oczekiwany skutek?

– Ankiety satysfakcji?

– Raporty frekwencji?

– Wewnętrzne testy tworzone

przez dostawcę szkoleń?

• Jak mierzymy postępy w nauce? Jakich narzędzi

używamy?


Systemowe podejście do szkoleń

• Rewizja dotychczasowych zasad uczestnictwa

w szkoleniach – jeśli mamy odwagę przyznać,

że możemy/musimy coś poprawić

• Określenie roli szkoleń językowych w organizacji

– Benefit, dodatek do wynagrodzenia?

– Inwestycja w rozwój*?

* Według badań komisarza Unii Europejskiej ds. języków – ponad 11 % firm

europejskich straciło kontrakty międzynarodowe z powodu braku kompetencji

językowych pracowników.


Określenie zasad uczestnictwa

• Kogo szkolimy?

• Dlaczego?

• Cel językowy?

• Kiedy?

• Do kiedy?

• Gdzie?

• Jak?

• Za ile?


SZKOLIMY

• Łatwo jest sponsorować szkolenia językowe

• Zarządzanie nimi stanowi

wyzwanie dla HR-u:

- Konieczność podejmowania

niepopularnych decyzji

dotyczących szkoleń

- Egzekwowanie ustalonych

zasad uczestnictwa w szkoleniach


…przecież mamy szkołę językową

• Jasny podział ról – Szkoły są ekspertami w nauczaniu

– Testy tworzone przez szkołę oraz lektorów zmieniają się razem z ich zmianą

– Testowaniem powinna zajmować się zewnętrzna organizacja tak jak np. audytem finansowym

• Brak konfliktu interesów – Dzięki zewnętrznemu audytowi proces szkoleniowy oceniany

jest niezależnie, obiektywnie i rzetelnie

– Profesjonalne szkoły językowe same nalegają na wprowadzenie audytu – zwiększa to ich wiarygodność w oczach zleceniodawcy


KOSZT NIEWIEDZY

• Brak audytu kosztuje więcej! – Brak wiedzy o motywacji i postępach uczących się jest o wiele

bardziej kosztowny niż przeprowadzenie audytu raz w roku


AUDYT JĘZYKOWY

• Narzędzia audytu – międzynarodowe

egzaminy językowe ETS, stworzone w

oparciu o badania psychometryczne

• Obiektywna ocena poziomu zaawansowania

• Rzetelne, niepodważalne wyniki

• Weryfikacja aktualnego poziomu

kompetencji

• Motywowanie, wyznaczanie dalszych

celów w nauce


Precyzyjne określenie grupy docelowej

• Czy szkolimy wszystkich, bo tak wypada?

• Szkolimy tych, którzy naprawdę chcą coś osiągnąć

- audyt początkowy weryfikuje motywację uczestników

• Dokładne określenie celu szkolenia (po co szkolić?)


Oczekiwania a rzeczywistość

• Należy pamiętać, że

dynamika nauki języka

jest zmienna

• ETS Global wyznacza

wiarygodne, obiektywne

i realne cele roczne


Realne i osiągalne targety


Komunikacja

Najważniejsze:

„Chcemy w ciebie inwestować

i widzieć postępy!”

Pomożemy ci wznieść się

wyżej


Analiza wyników – miernik efektywności

Punktacja całkowita 2010-2013

2010 2011 2012 2013 Jan 235 470 510 600

Anna 645 805 895 940

Tomasz 325 460 405 560

Aneta 350 415 505 520

Jacek 460 490 510 580

Rafał 550 675 615 670

Robert 590 710 745 710

Sławomir 430 495 590 520

Jakub 595 595 645 685

Dorota 255 250 135 345

Arkadiusz 155 365 275 205

Henryka 490 520 495 515

Marcin 795 835 830 790

Piotr 375 420 425 335


Case study # 1

• Ogólnopolski bank z oddziałami w całym kraju

• Brak możliwości zaangażowania jednego dostawcy

szkoleń

• Pracodawca pozwala pracownikom wybrać dostawcę

w ramach określonego budżetu

• Warunek uczestnictwa: TOEIC 340+ punktów

• Efekt:

– Nie uczymy od alfabetu, wysoka frekwencja

– Firma nie angażuje się w organizację szkoleń

– Efekty mierzone są jednym narzędziem dla wszystkich

uczestników


Case study # 2

• Pracownicy (60 osób) na zajęciach 1-2-1 w godzinach

pracy (dom maklerski)

• Frekwencja: 40%

• Po wprowadzeniu zewnętrznych testów przed i po:

– 16 osób chętnych kontynuować szkolenia na nowych zasadach

– Oszczędność firmy: 75% budżetu na „języki”


Stanowisko TOEIC

® CEF Opis

menedżer, lider

projektu, starszy

księgowy, lekarz

945 C1 może reprezentować firmę, prowadzić negocjacje, oceniać informacje i podejmować

na tej podstawie decyzje, podpisywać kontrakty z partnerami, dla których angielski

jest językiem ojczystym

kierownik zespołu,

koordynator, księgowy,

pracownik działu

obsługi klienta

850 B2+ może reprezentować firmę podczas spotkań, przeprowadzać prezentacje, zawierać

standardowe umowy, swobodnie poruszać się w środowisku anglojęzycznym

członek zespołu projektowego 785 B2 może aktywnie uczestniczyć w spotkaniach prowadzonych w całości w języku

angielskim, potrafi wygłaszać krótkie przemówienia

asystent, recepcjonistka 650 B1+ może uczestniczyć w spotkaniach w języku angielskim jako wsparcie prelegenta,

potrafi sporządzać notatki

hostessa, kelner, barmanka 550 B1 potrafi w ograniczonym stopniu funkcjonować w środowisku anglojęzycznym, jest

zdolna/y do udzielania prostych informacji osobiście, telefonicznie lub e-mailem

CZEGO WYMAGAĆ?


Co otrzymujemy?

• Dojrzałe podejście kursantów do zajęć

• Zmotywowaną grupę uczestników

• Narzędzie do kontroli kosztów

• Ułatwienie podejmowania trudnych decyzji

• Nagrodę w postaci międzynarodowego certyfikatu


Przykładowe obliczenie ROI w szkoleniach językowych

• Wartością uzyskanych korzyści może być np.:

– Zwiększenie sprzedaży w firmie (jeśli szkolimy sprzedawców)

– Redukcja kosztów związanych z tłumaczeniami

– Zwiększenie zasięgu firmy na nowych rynkach

– Realizacja postępów/celów założonych dla danego szkolenia

32

ROI = Wartość uzyskanych korzyści

X 100% Wartość inwestycji


Przykładowe podejście ROI do szkoleń językowych

Szkolenie językowe dla działu sprzedaży

Cele szkolenia:

– Zwiększenie sprzedaży na rynkach Europy Wschodniej

o … € dzięki wyższym kompetencjom pracowników

– Osiągnięcie poziomu B2 przez pracowników działu

Aktualny poziom pracowników: B1+ (650 pkt. TOEIC)

Oczekiwany poziom pracowników: B2 (800 pkt. TOEIC)

Czas na osiągnięcie poziomu B2: 180h nauki

Termin zakończenia szkoleń: 18 m-cy od daty startu

33


Test of English for International

CommunicationTM

Egzamin w wersji online lub

papierowej

sprawdzany komputerowo,

szybkie raportowanie

wyników – 48h do 10 dni,

eliminacja błędu ludzkiego

podczas sprawdzania


Score Report – Zestawienie Wyników


Certyfikat TOEIC® w 5-ciu kolorach, zależnie od wyniku, satysfakcja z otrzymanego dyplomu


KIEDY AUDYTOWAĆ?

1. JEDNORAZOWO

• W procesie REKRUTACJI

(SHORTLISTING)

• OBIEKTYWNA weryfikacja kompetencji

2. CYKLICZNIE – RAZ DO ROKU

• Dla utrzymania MOTYWACJI uczących się

• Dla rozliczania ZWROTU Z INWESTYCJI

w szkolenia językowe


Zalety zastosowania audytu

• Dzięki regularnemu testowaniu

słuchaczy, szkolenie nie trwa w

nieskończoność

• Stawiając ambitne i możliwe do

zrealizowania cele, można

precyzyjnie określić czas potrzebny

na ich realizację

Określenie ram czasowych dla szkoleń językowych


Zalety zastosowania audytu

Wyniki testu wskazują potencjalne źródła problemów i pozwalają na szybką reakcję, np.

– zmiana firmy szkolącej

– modyfikacja programu nauczania

– zmiana lektora

– wstrzymanie szkolenia dla osób, które z niego nie korzystają

Oszczędność czasu i środków przeznaczanych

na szkolenia


Przykładowe wprowadzenie audytu językowego

4. Rejestracja kandydatów na

sesje testowe

5. Przeprowadzenie testów

dla wszystkich objętych

audytem

6. Ogłoszenie wyników

działowi szkoleń/HR

7. Przekazanie wyników i

targetów uczestnikom

testów

8. Certyfikaty (na życzenie)

9. Rozpoczęcie skutecznej

nauki

4/21/2015

43

1. Dialog z działem

szkoleń/HR

– Analiza potrzeb

– Zmiana zasad

uczestnictwa w

szkoleniach

2. Komunikacja do

pracowników

– Wewnętrzny marketing

nowego rozwiązania

3. Organizacja sesji

testowych w dogodnych

lokalizacjach


JAK OGRANICZYĆ KOSZTY SZKOLEŃ,

JEDNOCZEŚNIE ZWIĘKSZAJĄC ICH

EFEKTYWNOŚĆ?

• Wykorzystać powyższe informacje

• Ustalić poziom języka angielskiego adekwatny dla danego

stanowiska

• Cyklicznie diagnozować szkolonych pracowników (co rok)

• Rozliczać ich z postępów - wykluczać ze szkoleń osoby,

którym nie zależy na nauce

• Zakończyć szkolenie pracownika w momencie uzyskania

przez niego wyniku satysfakcjonującego pracodawcę

• Zaoszczędzone w ten sposób środki alokować na potrzeby

weryfikacji kompetencji w procesach rekrutacji


Kontakt

ETS Global BV Sp. z o.o., oddział w Polsce

ul. Barska 28/30

02-315 Warszawa

tel.: 22 890 00 17

e-mail: [email protected]

www.etsglobal.org

mailto:[email protected]



http://www.pl.etsglobal.org/

Ewaluacja efektywności, ROI ze szkoleń językowych Karol ... · Ewaluacja efektywności, ROI ze...

Documents

Transcript of Ewaluacja efektywności, ROI ze szkoleń językowych Karol ... · Ewaluacja efektywności, ROI ze...