Jak badać korzystanie ze zbiorów cyfrowych:

kilka propozycji

Marcin Wilkowski Ta prezentacja będzie dostępna na wilkowski.org

Badanie korzystania ze zbiorów jest potrzebne instytucjom GLAM:

• element ewaluacji własnej działalności

• argumenty dla instytucji finansujących

• poprawianie własnych usług

• budowanie propozycji edukacyjnych (w celu lepszego wykorzystywania zbiorów)

Dlaczego nie ewaluacja?

• ewaluacja to badanie o szerokim zakresie:

- efektywność - w perspektywie wydanych funduszy czy wysiłku organizacyjnego;

- efektywność – w perspektywie realizacji potrzeb użytkowników;

- wpływ działań instytucji - na rozwój edukacji, nauki, świadomości itp.;

“How are digital libraries transforming research,

education, learning and living?”

T. Saracevic, Evaluation of digital libraries: An overview, Library Trends,

Vol. 49, No. 3, p. 368

The Balanced Value Impact Model (BVI Model) - Simon Tanner

• Badanie wartości i znaczenia zbiorów cyfrowych

• Impact = „the measurable outcomes arising from the existence of a digital resource that demonstrate a change in the life or life opportunities of the community for which the resource is intended.”

• http://www.kdcs.kcl.ac.uk/innovation/impact.html

• http://ninateka.pl/film/kultura-2-0-2012-simon-tanner (wykład w ramach festiwalu Kultura 2.0)

use & reuse

• Use: jakie materiały są czytane/wyświetlane, w jakich kontekstach (kiedy, jak długo, ile razy itp); czego potrzebują nasi użytkownicy a co dostają?

• Reuse: ponowne wykorzystanie, republikacja, wykorzystanie w badaniach, komentowanie, obecność w mediach itp. - w zależności od charakteru zbiorów.

użycie zbiorów ≠

efektywność serwisu

Nie badamy użyteczności (usability) ani dostępności (accessibility)

Uwaga #1

Liczy się nie tylko wykorzystanie: digitalizacja to także działanie na

rzecz ochrony zbiorów.

Uwaga #2

Mierzenie efektywności użycia zbiorów nie może opierać się wyłącznie na

oglądalności/popularności

Zob.: Mierzenie efektywności działań instytucji kultury w internecie

http://historiaimedia.org/2012/10/18/mierzenie-efektywnosc-dzialan-instytucji-kultury-w-internecie/

Uwaga #3

Problemy metodologiczne z mierzeniem use i reuse: mamy do

dyspozycji dużo danych, łatwo możemy gromadzić kolejne, łatwo

popełnić błąd jeśli korzysta się z nich bezkrytycznie / bez przygotowania.

Fakt: mamy ~300 tys. odsłon w 2014

Dane pochodzą z systemu Google Analytics

Na stronę naszej biblioteki cyfrowej weszło w 2013 roku ponad 300 tys.

użytkowników

Nasze zbiory cyfrowe zostały wykorzystane ponad 300 tys. razy.

300 tys. Polaków czytało publikacje udostępnione na naszej stronie.

Uwaga #4

Mity: 1) badanie nie wymaga naszego

aktywnego uczestnictwa;

2) dane rozwiążą nasze problemy.

(wg. Daniel T. Larose, Odkrywanie wiedzy z danych. Wprowadzenie do eksploracji danych, Warszawa 2013.)

use & reuse

• Wykorzystanie (use): w ramach naszego serwisu, repozytorium, biblioteki cyfrowej;

• Ponowne wykorzystanie (reuse): poza naszym serwisem, repozytorium, biblioteką cyfrową itp.

use & reuse

• Use: jakie materiały są czytane/wyświetlane, w jakich kontekstach (kiedy, jak długo, ile razy itp); czego potrzebują nasi użytkownicy a co dostają?

• Reuse: ponowne wykorzystanie, republikacja, wykorzystanie w badaniach, komentowanie, obecność w mediach itp. - w zależności od charakteru zbiorów.

#use

1. Odsłony i użytkownicy (GA)

• Odsłony = łączna liczba odsłon stron. Wliczane są tu powtórne wizyty na poszczególnych stronach.

• Użytkownicy = mający co najmniej jedną sesję w wybranym zakresie dat. Obejmuje zarówno nowych, jak i powracających użytkowników*

• Sesja = okres, w którym użytkownik aktywnie korzysta z Twojej witryny, aplikacji itp.

* GA musi obliczać dane unikalnych/aktywnych użytkowników dla każdego zakresu dat, który możesz wybrać w raporcie. Dla przykładu, jeden użytkownik może odwiedzić witrynę 31 sierpnia i 1 września – w takim przypadku GA policzy go jako jednego unikalnego użytkownika w zakresie tych dwóch dni. Jeśli zmienisz zakres dat w swoich raportach z 1 sierpnia – 31 sierpnia na 1 sierpnia – 1 września, GA nie może dodać tej wartości do liczby unikalnych użytkowników, ponieważ nie jest ona zwykłą sumą danych z tabel. (Źródło: Google Analytics)

2. Zaangażowanie (GA)

3. Raporty danych demograficznych i zainteresowań (GA)

• problem etyczny: prywatność

• Google wykorzystuje te same dane, którymi targetuje reklamy

• Z nie ze wszystkimi użytkownikami są powiązane dane demograficzne, dlatego te raporty opisują tylko pewną grupę i mogą nie być reprezentatywne dla ogólnej struktury użytkowników witryny (Źródło: Google Analytics)

• dane nie mówią nam o tym, jak wykorzystywane są nasze zbiory.

lubi książki ≠

przeczytał naszą książkę

4. Zawartość witryny (GA)

• dostajemy informacje o najczęściej wyświetlanych stronach

• czy wiemy, co jest najczęściej wykorzystywane?

• Uwaga: Popularność to nie wszystko - użytkownicy mogą wyświetlać określone strony przez pomyłkę, nie znamy ich intencji.

• Ile odsłon generujemy sami? (filtry)

5. Wyświetlenia @dLibra

Wyświetlenia @dLibra

Liczba dostępów do treści, ale kilka dostępów ramach jednej sesji użytkownika jest zliczanych jako 1. Wykluczane są też z tego zliczania roboty wyszukiwarek. (Źródło: Marcin Werla, PCSS)

6. Wyszukiwanie w witrynie (GA)

7. Linki do pobieranych plików (GA)

• Zdarzenia to interakcje użytkowników z treścią, które można śledzić niezależnie od strony internetowej lub wczytania ekranu. Śledzonymi zdarzeniami mogą być np. pobrania, kliknięcia reklam mobilnych, gadżety, elementy Flash, osadzone elementy AJAX oraz odtworzenia filmów.

https://support.google.com/analytics/answer/1033068?hl=pl

8. Ankieta online

zalety:

• dotarcie bezpośrednio do użytkowników;

• możliwość zadania konkretnych pytań o użycie;

• dostępność respondentów;

• proste bezpłatne narzędzia (formularz Google Drive)

8. Ankieta online

wady: • trudna konstrukcja, rozumienie pytań, pytania

sugerujące; • motywacja użytkowników (czy wypełniają tylko Ci,

którzy chcą ponarzekać?), przerywanie udziału w badaniu, brak zainteresowania;

• autocenzura, prywatność (pytania o email czy imię i nazwisko);

• czy badamy opinie czy fakty? • dobór uczestników: można korzystać z naszych zbiorów

poza naszym serwisem.

8. Ankieta online

Co warto zrobić?

• podać konkretny cel badania;

• wskazać konkretny termin zakończenia;

• poinformować o tym, jak wykorzystywane będą dane;

• gratyfikacja dla uczestników (ebook z wyborem materiałów, książki dla wylosowanych użytkowników)?

• ponawianie badania.

9. A może pytanie przez Facebooka?

zalety:

• bezpośredniość;

• możliwość interakcji;

wady:

• badanie organiczone do użytkowników FB;

• autocenzura.

10. Analiza zasięgu postów na FB

Zasięg postów (link, grafika itp.):

• Całkowita liczba wyświetleń postu

• Użytkownicy aktywnie korzystający

• Konsumenci postów

• Wyświetlenia postu przez osoby, które polubiły Twoją stronę

• Osoby, które lubią Twoją stronę i podjęły działania wobec Twojego postu

• Wyświetlenie na FB ≠ wyświetlenie na stronie

Czy lajki maja znaczenie?

#reuse

1. Szukanie obrazem (Google)

2. Przypisy (Google Scholar)

3. Wikipedia (hasła)

• Narzędzie wyszukiwania linków zewnętrznych w hasłach Wikipedii:

http://en.wikipedia.org/wiki/Special:LinkSearch

• Informacje dostępne też w formie zestawów danych http://dumps.wikimedia.org/plwiki/20141102

4. Wikimedia Commons

• Repozytorium z materiałami wizualnymi dla projektów Wikimedia (w tym Wikipedii)

• TYLKO wolne licencje lub domena publiczna

• http://commons.wikimedia.org/w/index.php?search=

• Informacje dostępne też w formie zestawów danych http://dumps.wikimedia.org/commonswiki/20141105/

Dziękuję

marcin@wilkowski.org Ta prezentacja będzie dostępna na wilkowski.org