Prezentacja pakietu oprogramowania DInGO !oraz jego przyszłych perspektyw rozwoju!dLibra, dMuseion, dLab, dArceo!

Tomasz Parkoła Poznańskie Centrum Supercomputerowo-Sieciowe

Dział Bibliotek Cyfrowych i Platform Wiedzy

Wprowadzenie!

• obejmuje  planowanie,  kontrolowanie,  monitorowanie  oraz  wykonywanie  czynności  związanych  z  ucyfrowieniem  obiektów,  np.  książki,  mapy,  nagrania  

Proces  digitalizacji  

• to  działanie  którego  celem  jest  to,  by  cyfrowa  kopia  obiektu  była  zrozumiała  i  możliwa  do  odczytu  przez  docelowych  użytkowników  dziś,  jutro,  za  rok,  dziesięć  lat,  itd.  

Długoterminowe  przechowywanie  

• umożliwia  użytkownikom  dotarcie  do  cyfrowych  reprezentacji  obiektów  przez  Internet  

Udostępnianie  online  

• obejmuje  wszelkie  działania  dotyczące  modyfikacji  obiektów  w  postaci  cyfrowej,  w  tym  udoskonalania,  dostosowywania  do  potrzeb  instytucji  czy  użytkownika  końcowego,  np.  OCR,  korekta  geometryczna  

Przetwarzanie  dokumentów  

Definicje!

Proces digitalizacji!

konserwacja,  ucyfrowienie,  standaryzacja      

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

Pakiet oprogramowania DInGO!

DInGO  

system  do  budowy  bibliotek  i  

repozytoriów  cyfrowych  

system  do  budowy  muzeów  cyfrowych  

system  do  zarządzania  procesem  digitalizacji  

system  do  długoterminowego  przechowywania  danych  źródłowych  

Digitize and Go!!

Proces digitalizacji!

konserwacja,  ucyfrowienie,  standaryzacja      

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

DInGO: proces digitalizacji!

obiekty  planowane  

pliki  prezentacyjne  

pliki  do  archiwizacji  

konserwacja,  ucyfrowienie,  standaryzacja      

udostępnianie  

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

DInGO: proces digitalizacji!

obiekty  planowane  

pliki  prezentacyjne  

pliki  do  archiwizacji  

konserwacja,  ucyfrowienie,  standaryzacja      

udostępnianie  

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

DInGO: dLibra!

Informacje podstawowe!

•  Rozwijany  od  1999  roku  •  Pierwsze  polskiej  produkcji  

oprogramowanie  dla  bibliotek  i  repozytoriów  cyfrowych  

•  Kluczowy  element  w    stymulowaniu  rozwoju  polskich  bibliotek  cyfrowych  

•  Obecnie  około  100  wdrożeń  •  Ponad  2  miliony  obiektów  

udostępnianych  w  całej  Polsce  

10  

1  

1  21  

1  

5  

2  

3  

1  

4  

3  

1  

1  

1  

1  

1  

2  

1  

1  

1  

1  

1  

1  

1  

2  

1  

1  

1  

1  

1  

1  

1  

DInGO: dMuseion!

Informacje podstawowe!

•  Rozwijany  od  2009  roku  we  współpracy  z  Muzeum  Narodowym  w  Warszawie  

•  Dedykowany  dla  specyficznych  uwarunkowań  w  muzeach  cyfrowych    –  Bogate  wizualnie  obiekty  (obrazy,  rzeźby,  monety)  

–  Zbiory  oraz  wystawy  muzealne  –  Terminologia  specyficzna  dla  muzeów  

•  Możliwa  automatyzacja  wprowadzania  danych  z  różnych  systemów  inwentaryzacji  zabytków  (np.  MONA)  

DInGO: proces digitalizacji!

obiekty  planowane  

pliki  prezentacyjne  

pliki  do  archiwizacji  

konserwacja,  ucyfrowienie,  standaryzacja      

udostępnianie  

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

DInGO: dArceo!

Informacje podstawowe!

Rozwijany  od  2011  roku  na  podstawie  wyników  prac  w  projekcie  SYNAT  

Dedykowany  do  długoterminowego  przechowywania  różnych  formatów  danych  w  tym  grafik,  materiałów  tekstowych  i  audiowizualnych  

Zgodny  z  uznanym  i  światowym  standardem  OAIS  

Wykorzystywany  w  praktyce  w  polskich  instytucjach  kultury  i  nauki  (np.  RCIN,  BGPŚ,  KK)  

Wspierający  różne  magazyny  danych  w  tym  usługę  PLATON  U4  

                     

SIP   AIP  Analiza  SIP  Przygotowanie  i  składowanie  

AIP  

Magazyn  danych    

(dyski,  taśmy,  PLATO

N  U4)  

DIP  

DIP  

AIP  Przygotowanie  i  przesłanie  DIP    (np.  konwersja,  zaawansowane  

dostarczanie  danych)  

dArceo  

Migracja  danych   AIP  AIP  

DInGO: dArceo i model OAIS!

DInGO: dArceo!

• Identyfikacja  zagrożeń  w  odniesieniu  do  bazy  UDFR  (GDFR+PRONOM)  • Weryfikacja  danych  poprzez  okresowy  odczyt  danych    • Zapewnienie  wiarygodności  poprzez  weryfikację  sum  kontrolnych  • Generowanie  raportów  i  podsumowań  

• Przetwarzanie  danych  zgodnie  z  założeniami  modelu  OAIS  (migracja  formatów)  • Rozszerzalny  mechanizm  usług  migracji  i  konwertowania  danych  • Planowanie  migracji/konwersji  danych  

• Macierze  dyskowe,  taśmy,  zewnętrzne  usługi,  np.  chmurowe  -­‐  PLATON  U4  • Wbudowane  mechanizmy  replikacji  danych  • Zapis  pakietu  archiwalnego  zgodnie  ze  standardami  METS  oraz  PREMIS  

• Identyfikacja  formatów  plików  danych  zgodnie  z  bazą  formatów  PRONOM  • Ekstrakcja  metadanych  technicznych  w  zgodzie  ze  standardami  TextMD,  AES57,  MIX  

Analiza  danych   Składowanie  danych  

Monitorowanie,  kontrolowanie  

danych  

Przetwarzanie  danych  

Kluczowe możliwości/funkcje systemu!

DInGO: proces digitalizacji!

obiekty  planowane  

pliki  prezentacyjne  

pliki  do  archiwizacji  

konserwacja,  ucyfrowienie,  standaryzacja      

udostępnianie  

przygotowanie  obiektu  

cyfrowego  

selekcja  obiektów  do  digitalizacji  

archiwizacja  

udostępnienie  obiektu  on-­‐line  

DInGO: dLab!

Kluczowe funkcje systemu!

•  Procesy  przetwarzania  •  Parametryzacja  •  Przydzielanie  czynności  •  Zbieranie  statystyk  

Zarządzanie  procesem  digitalizacji  

• Raporty/podsumowania  •  Punkty  weryfikacji  prac  

Kontrolowanie  i  monitorowanie  digitalizacji  

•  Integracja  narzędzi  •  Komunikacja  z  innymi  systemami  

Automatyzacja  digitalizacji  

DInGO: dLab!

Podstawowe informacje!

•  Zadanie: podstawowy element w systemie, powizany z digitalizacją danego obiektu, np. książki, obrazu, rzeźby, monety!

•  Czynność: składowa zadania, reprezentująca działanie do wykonania w ramach procesu digitalizacji danego obiektu!

Przygotowanie  obiektu  

Przygotowanie  plików  

wzorcowych/master  

Obróbka  graficzna  i  weryfikacja  

Przygotowanie  wersji  

prezentacyjnej  (np.  PDF)  

Zatwierdzenie  

Wprowadzenie    PDF  do  BC/MC  

Archiwizacja  plików  master  

Zadanie  

DInGO: dLab!

Zadanie, czynności i użytkownicy !

Przygotowanie  obiektu  

Przygotowanie  plików  

wzorcowych/master  

Obróbka  graficzna  i  weryfikacja  

Przygotowanie  wersji  

prezentacyjnej  (np.  PDF)  

Zatwierdzenie  

Wprowadzenie  PDF  do  BC/MC  

Archiwizacja  plików  master  

Redaktor   Skanujący   Automat    Nadzorca  

Zadanie  

Podsumowanie!

Wzorcowe wykorzystanie pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!

digitalizacja  obiektów  

udostępnianie  obiektów  cyfrowych  długoterminowa  archiwizacja  

archiwizacja   publikowanie    on-­‐line  

dLab  

dArceo   dLibra  lub  dMuseion  

Podsumowanie!

Doświadczenia, ekspertyza i współpraca międzynarodowa!

Centrum  Kompetencji  IMPACT  w  zakresie  digitalizacji  -­‐  PCSS  jednym  z  członków  założycieli  -­‐  40  partnerów,  m.in.  BL,  KB,  BnF,  BNE,  

BUWr,  …    -­‐  Narzędzie  i  zasoby  przydatne  w  digitalizacji  

-­‐  Przetwarzanie  obrazu  i  tekstu,  OCR,  …  -­‐  Wymiana  wiedzy,  najlepsze  praktyki  -­‐  Projekt  Succeed  (hjp://succeed-­‐project.eu)  

Open  Preservamon  Foundamon  -­‐  PCSS  członkiem  technicznym  (prace  nad  FITS  

oraz  dArceo)  -­‐  Technologie  i  rozwiązania  dotyczące  

długoterminowego  przechowyania  danych  -­‐  Wymiana  wiedzy,  najlepsze  praktyki  -­‐  Projekt  SCAPE  (hjp://scape-­‐project.eu)  

Podsumowanie!

• Od  5.0.0  do  5.7.2  (lata  2011-­‐2014)  • Nowe  funkcje  w  ramach  wersji  5  • Narzedzie  do  monitorowania  pracy  serwera  • Formularz  kontaktu  dot.  konkretnej  publikacji,  prośba  o  dostęp  do  publikacji  

• Captcha  przy  pobieraniu  plików  ZIP  • Optymalizacje  Aplikacji  Redaktora,  serwera  (indeksowanie,  wolny  start)  i  Aplikacji  Czytelnika  

• Aplet  do  przeglądania  plików  JPG  z  nanoszeniem  znaków  wodnych  • Masowe  ładowanie  publikacji  planowanych  • Publikacje  linkujące  (link  zamiast  treści)  • Integracja  z  systemem  dLab  

• Ponad  100  usprawnień/udoskonaleń  systemu  dLibra  

Historia  zmian  w  oprogramowaniu  

dLibra  5  

Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!

Podsumowanie!

• Nowy  szablon  wyglądu  • Mechanizm  przeglądania  publikacji  DjVu  w  formie  obrazów  –  bez  koniecznosci  instalacji  wtyczki  w  przegladarce  WWW  

• Nowy  mechanizm  wyszukiwania  • Oparty  na  silniku  SOLR  • Fasety  (nawigacja  fasetowa)  • Podpowiadanie,  wyszukiwanie  wielowyrazowe,  etc.  

• Inne  usprawnienia  i  zmiany  (opcjonalnie)  • Typy  atrybutów  (daty,  html)  • Integracja  z  systemem  monitorowania  zachowań  I  ruchu  użytkowników  

• Zmiana  nazewnictwa  na  bardziej  uniwersalny,  np.  obiekt  zamiast  publikacja    

I  kwartał  2015:  

 dLibra  6  

Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!

Podsumowanie!

• Wieloformatowość  obiektów  –  możliwość  podłączenia  do  jednej  publikacji  wielu  formatów  (np.  JPG,  PDF,  DjVU)  

• Dedykowane  funkcje  w  kontekście  repozytoriów  obiektów  cyfrowych  • Mechanizmy  udostępniania  specyficzne  dla  bibliografii  naukowych,  np.  wsparcie  dla  CrossRef,  POLindex,  PBN  

•  Integracja  z  otwartym  systemem  bazy  wiedzy  o  działalności  naukowej  instytucji  

• Rozbudowa  istniejącego  wsparcia  indeksowania  przez  wyszukiwarki  naukowe  

• Udostępnienie  systemu  dLibra  na  licencji  Open  Source  • Rozwój  wspierany  przez  społeczność  użytkowników    

II  i  III  kwartał  2015:    

dLibra  6.x  

Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!

Poznańskie Centrum Superkomputerowo - Sieciowe!

ul. Noskowskiego 12/14, 61-704 Poznań, tel : (+48 61) 858-20-00, fax: (+48 61) 852-59-54,

e-mail: office@man.poznan.pl, http://www.pcss.pl

afiliowane przy Instytucie Chemii Bioorganicznej PAN,!