CAPI @ SMG/KRC

Jan M. Kujawski

IV Ogólnopolski Kongres Badaczy Rynku i Opinii, 17 października 2003, 11.15-11.45,

Hotel Marriott, Warszawa

CAPI @ SMG/KRC

• Przede wszystkim jakość.

• Przewagi CAPI

• Unikalne możliwości stwarzane przez CAPI

• Logistyka badań CAPI

• Narzędzia kontroli pracy ankieterów

• Ankieterzy i respondenci wobec CAPI

• Wyzwania organizacyjne

• Bilans wdrażania CAPI

• Czy CAPI się opłaca?

• SMG/KRC gromadzi doświadczenia w realizacji badań CATI od roku 1996 i badań CAPI od w roku 1997

• Z początkiem roku 2003 ruszył w SMG planowany od dawna program gruntownej modernizacji technik gromadzenia danych w terenowych badaniach ilościowych wykorzystujący CAPI.

• W marcu uzyskał pełną sprawność nowy system składający się z – 200 notebooków, – oprogramowania do realizacji wywiadów,– systemu informatycznego MRM do

zarządzania projektami (terminarz, rozdzielanie prób, przydzielanie sprzętu i ankieterów do realizowanych projektów), oraz

– dedykowanej siatki specjalnie wyszkolonych ankieterów.

CAPI @ SMG/KRC

• Głównej przesłanki do podjęcia tej kosztownej inwestycji dostarczyli nam nasi Klienci. – Kwestia szeroko rozumianej jakości (obok

ceny, rzecz jasna) stanowi kluczowe kryterium wyboru agencji badawczej

– Klienci lubią to podkreślać– Co więcej, w miarę dojrzewania polskiego

rynku badawczego coraz częściej nie tylko mówią o znaczeniu jakości, ale też tę jakość kontrolują i egzekwują.

• Jak zatem podnosić jakość danych uzyskiwanych w badaniach rynku? – Obowiązuje tu uniwersalna dla biznesu

zasada: trzeba skupić się na usprawnianiu procesów i na kontroli ich przebiegu.

Przede wszystkim jakość

• PAPI – drukowany kwestionariusz, z którego ankieter odczytuje respondentowi pytania i w którym zapisuje uzyskane odpowiedzi. Ankieter musi śledzić instrukcje, reguły przejść, zasady rotacji pytań lub kafeterii itp.

• CAPI – czy zstosowanie w trakcie wywiadu wspomagania komputerowego coś istotnego zmienia? Zdecydowanie tak! – Po pierwsze, kontrola zakresów w pytaniach

zamkniętych– Po drugie, automatyczna realizcja reguł

przejść– Po trzecie, możliwość stosowania

automatycznej rotacji i randomizacji pytań w obrębie bloku lub itemów w obrębie pytania

– Po czwarte, ‘text substitution’ – wstawianie w treść pytań informacji uzyskanych wcześniej w trakcie wywiadu

Przewagi CAPI wobec PAPI

• CAPI stwarza całkiem nowe możliwości niedostępne dotąd dla klasycznych badań kwestionariuszowych.

• Jakość materiałów wspomagających– W badaniach face-to-face – karty ze skalami

odpowiedzi, fotografie produktów, logotypy, winiety czasopism, wybrane klatki z reklam TV, itp.; poziom komplikacji i zaawansowania materiałów drukowanych ma jednak swoje bardzo odczuwalne granice.

– CAPI do prezentacji materiałów wspomagających wnosi całkowicie nowy wymiar – możliwość operowania dźwiękiem i ruchomym obrazem w cyfrowej jakości. Nie trzeba więc już w badanich reklam TV ograniczać się do prezentacji wybranych klatek filmu; można zamiast tego pokazać po prostu cały spot! Korzystamy z tych możliwości coraz pełniej m.in. przy realizacji trackingowych badań kampanii reklamowych (Advanced Tracking Program™);

Unikalne możliwości CAPI

• Badania dotyczące preferencji konsumentów i procesów decyzyjnych.

– Marki w dowolnej kategorii opisać można za pomocą zestawu atrybutów (cech), które konsumenci biorą pod uwagę porównując oferty i dokonując wyboru.

– Zazwyczej atrybutów charakteryzujących porównywalne produkty jest bardzo dużo, a każdy z atrybutów (np. kolor) przyjmować może wiele wartości.

– Porównanie ze sobą wszystkich możliwych kombinacji atrybutów (cech) i ich wartości jest zazwyczaj niewykonalne.

– Aby uporać się z tym problemem stosuje się podejście zwane Conjoint Measurement, dzięki któremu na podstawie porównania kilkunastu – kilkudziesięciu par wygenerowanych przez komputer ‘ofert’, udaje się odtworzyć wkład poszczególnych cech i ich wartości w tworzenie ogólnej atrakcyjności dowolnej, nawet nie istniejącej jeszcze oferty.

Unikalne możliwości CAPI

• Badania dotyczące preferencji konsumentów i procesów decyzyjnych. – Za realizacją tego pozornie prostego

schemtu stoi jednak skomplikowana, kilkuetapowa, interaktywna procedura (np. ACA – Adaptive Conjoint Measurement lub CBC – Choice Based Conjoint) , w trakcie której najpierw dla każdego respondenta ustala się zestaw atrybutów najsilniej różnicujących atrakcyjność ‘ofert’, a następnie ‘w locie’ tworzy się ‘oferty na miarę’, których atrakcyjność respondent porównuje pomiędzy sobą.

– W efekcie Zleceniodawca badania uzyskuje bardzo precyzyjną wiedzę pozwalającą na wprowadzenie do swoich produktów takich modyfikacji, które najsilniej wpłyną na podniesienie ich konkurencyjności na rynku przy jednoczesnym ograniczeniu nakładów.

Unikalne możliwości CAPI

• Realizacja projektów w CAPI– zamiast przygotowania kwestionariusza do druku

przygotowuje się komputerowy skrypt ankiety CAPI.

– Skoro kwestionariusz CAPI nie przybiera formy materialnej, to odpada też konieczność doręczenia przesyłek koordynatorom i/lub ankieterom.

– Codzienny spływ danych z terenu pozwala na bieżąco śledzić postępy przy wszystkich realizowanych projektach.

– Zrealizowane wywiady CAPI nie muszą być ręcznie wprowadzane do komputera, gdyż mają postać elektroniczną, a wprowadzanie danych odbyło się w trakcie trwania wywiadów.

– Dzięki komputerowemu wspomaganiu zgromadzone informacje są spójne i logiczne, a wszelkie wątpliwości rozstrzygnięte zostały przez ankietera w trakcie wywiadu.

– W efekcie rezygnacji z druku, transportu i wprowadzania danych udaje się skrócić czas realizacji badań, wyeliminować część kosztów a jednocześnie usprawnić cały proces i podnieść jakość finalnego produktu jakim są dane.

CAPI a logistyka badań

• Jakość danych nie zależy jedynie od sposobu konstrukcji kwestionariusza czy obranej techniki gromadzenia danych

• Sprawą kluczową pozostaje – poza dobrą wolą informatorów, czyli respondentów – rzetelność i uczciwość tych, którzy informacje gromadzą, czyli ankieterów

• W badaniach CAPI stosować można te same techniki kontroli pracy ankieterów, co w klasycznych badaniach sondażowych: – kontrolę terenową (osobistą, telefoniczną,

pocztową) – techniki nieterenowe takie jak kontrola

spójności zbioru danych, śledzenie powtarzających się wzorów wypełnienia kwiestionariuszy pochodzących od jednego ankietera itp.

Narzędzia kontroli w CAPI

• Do wymienionego już arsenału technik kontrolnych w CAPI dodać jeszcze można precyzyjny pomiar:– Godziny rozpoczęcia każdego wywiadu– Czasu trwania każdego wywiadu– Czasu trwania wybranych modułów a

nawet pytań w obrębie kwestionariusza– Czasu ekspozycji materiałów

wspomagających wyświetlanych / odtwarzanych na komputerze CAPI, itp.

• Wszystko to sprawia, że oszustwa – zarówno te najcięższe, polegające na fałszowaniu całych wywiadów, jak i te lżejsze, polegające na prowadzeniu wywiadów ‘po łebkach’, w nadmiernym pośpiechu, z pominięciem istotnych fragmentów kwestionariusza – stają się praktycznie nie do ukrycia.

Narzędzia kontroli w CAPI

• Czy CAPI zmieniło coś w sposobie funkcjonowania naszej sieci ankieterskiej? – Ankieterzy wyselekcjonowani do badań CAPI

stanowią grupę elitarną, obdarzoną ogromnym zaufaniem ale też i odpowiedzialnością.

– Do przywilejów tej grupy należy gwarancja ciągłości pracy, pozwalająca traktować zawód ankietera jako podstawowe źródło utrzymania.

– Istnienie tej wąskiej grupy stanowi dla wszystkich ankieterów dowód na to, że w zawodzie tym jest miejsce na doskonalenie się, zdobywanie nowych umiejętności i rozwijanie własnej kariery.

– Postępująca profesjonalizacja roli ankietera silnie motywuje całą sieć ankieterską SMG/KRC.

Ankieterzy wobec CAPI

• Pozytywny odbiór techniki CAPI • Wyższe wskaźniki realizacji (response

rate), szczególnie w grupach ‘trudnych’ – respondenci wielkomiejscy, – młodzi mężczyźni, – Respondenci o wysokim statusie

społecznym / majątkowym– Uczestnicy badań B-2-B

• Ankieterzy CAPI pozytywnie odróżniają się od ‘zwykłych’ ankieterów, akwizytorów, itp.

• Wiele wskazuje na to, że odpowiedzi, których udzielają respondeci w trakcie wywiadów CAPI są bardziej szczere i mniej skrępowane.

• W uzasadnionych sytuacjach uciec się można do postawienia przed respondentem zadania samodzielnego zaznaczenia odpowiedzi na pytania, które są zbyt drażliwe lub krępujące.

Respondenci wobec CAPI

• Po pierwsze HR: przegląd, selekcja i rekrutacja kandydatów na ankieterów CAPI

• Pierwsze sito: test kompetencji i wiedzy z zakresu prowadzenia badań ankietowych oraz umiejętności posługiwania się komputerem.

• Drugie sito: intensywne szkolenie zakończone egzaminem obejmujące takie tematy jak– Specyfika badań CAPI– Obsługa oprogramowania CAPI– Sposób pobierania prac do wykonania oraz

odsyłania prac wykonanych– Obsługa kalendarza zadań do wykonania

• Spotkania rekrutacyjne oraz szkoleniowe odbyły się we wszystkich wiekszych ośrodkach koordynatorskich

Wyzwania organizacyjne

• Po drugie, HR• Po stronie centrali stworzono odrębny

dział do obsługi badań wspomaganych elektronicznie (CAPI & CATI).

• Do zadań jego pracowników należy:– Przekładanie kwestionariuszy na postać

skryptów CAPI/CATI oraz testowanie przygotowanych narzędzi

– Rozdzielenie zadań do wykonania pomiędzy ankieterów

– Zarządzanie siecią ankieterów CAPI i CATI– Udzielanie wsparcia ankieterom CAPI

(telefoniczny hotline w systemie dwuzmianowym, 7 dni w tygodniu)

– Podstawowy serwis sprzętu i oprogramowania

Wyzwania organizacyjne

• Po trzecie, IT• Do zarządzania realizacją badań

terenowych ze szczególnym uwzględnieniem specyfiki CAPI stworzyliśmy wyspecjalizowany system IT

• Podstawowe założenia systemu– sieć CAPI dysponuje skończonymi zasobami

(sprzęt i wyszkoleni ankieterzy), – ze względu na koszt komputerów CAPI,

oprogramowania, inwestycji poniesionych na szkolenia, itp., dążymy do optymalnego wykorzystania zasobów CAPI

– znaczna część badań CAPI to projekty ad hoc realizowane na losowych próbach imiennych

– od początku zakładaliśmy, że w tym samym czasie sieć CAPI może realizować kilka równoległych projektów.

Wyzwania organizacyjne

• Badania CAPI stały się trwałym i ważnym elementem oferty SMG/KRC. Liczba wywiadów realizowanych tą metoda wzrosła od początku roku z ok. 3.000 do ok. 14.000 wywiadów w połowie roku.

• W roku 2003 łączna liczba wywiadów CAPI oraz CATI przewyższy w SMG/KRC liczbę klasycznych wywiadów PAPI

• Zasoby CAPI są ciągle rozbudowywane by zaspokoić rosnący popyt ze strony naszych klientów.

Dotyczczasowy bilans CAPI

0

2000

4000

6000

8000

10000

12000

14000

16000Styczeń

Luty

Marzec

Kwiecień Maj

Czerwiec

Lipiec

• Dotychczasowe doświadczenia pozwalają ocenić przydatność tej techniki w różnych typach badań. Najlepszą rekomendacją niech będzie lista najczęściej powtarzających się rodzajów projektów realizowanych w CAPI.– CAPIBUS – przeciętnie cztery 1000-

osobowe fale badania w ciągu miesiąca. – ATP™ (Advanced Tracking Programme)

oraz inne badania o charakterze ciągłym (trackingi, monitoringi)

– Badania typu BPTO / Conjoint – Copy testy– Testy produktów– U&A i badania segmentacyjne– Badania satysfakcji klientów

Dotyczczasowy bilans CAPI

• Oszczędności– eliminacja druku ankiet, – zastępienie ich fizycznego transportu

przesyłem dokumentów elektronicznych poprzez internet

– pominięciem występującej w badaniach wprowadzania danych

• Dodatkowe koszty CAPI – inwestycje w sprzęt – oprogramowanie CAPI– podniesienie kwalifikacji i dodatkowe

szkolenia sieci ankieterskiej– koszty wymiany informacji poprzez

internet (połączenia dial-up, dzierżawa łącz stałych itp.)

Czy CAPI się opłaca?

• Proste porównanie oszczędności i kosztów prowadzi do stwierdzenia, że badania CAPI są nieco droższe niż klasyczne badania PAPI.

• Ocena taka byłaby jednak niepełna, gdyby nie uwzględnić w niej dodatkowych wartości dostarczanych przez CAPI, takich jak – wyższa jakość danych, – lepsza kontrola rzetelności pracy

ankieterów, – uporzadkowanie procesów prowadzące do

skrócenia czasu realizacji badań czy wreszcie, last but not least,

– możliwość realizowania zamysłów badawczych niemożliwych do zrealizowania klasycznymi technikami.

Czy CAPI się opłaca?

Dziękuję za uwagę!

Jan M. Kujawski

IV Ogólnopolski Kongres Badaczy Rynku i Opinii, 17 października 2003, 11.15-11.45,

Hotel Marriott, Warszawa