Prezentacja pakietu oprogramowania DInGO !oraz jego przyszłych perspektyw rozwoju!dLibra, dMuseion, dLab, dArceo!
Tomasz Parkoła Poznańskie Centrum Supercomputerowo-Sieciowe
Dział Bibliotek Cyfrowych i Platform Wiedzy
Wprowadzenie!
• obejmuje planowanie, kontrolowanie, monitorowanie oraz wykonywanie czynności związanych z ucyfrowieniem obiektów, np. książki, mapy, nagrania
Proces digitalizacji
• to działanie którego celem jest to, by cyfrowa kopia obiektu była zrozumiała i możliwa do odczytu przez docelowych użytkowników dziś, jutro, za rok, dziesięć lat, itd.
Długoterminowe przechowywanie
• umożliwia użytkownikom dotarcie do cyfrowych reprezentacji obiektów przez Internet
Udostępnianie online
• obejmuje wszelkie działania dotyczące modyfikacji obiektów w postaci cyfrowej, w tym udoskonalania, dostosowywania do potrzeb instytucji czy użytkownika końcowego, np. OCR, korekta geometryczna
Przetwarzanie dokumentów
Definicje!
Proces digitalizacji!
konserwacja, ucyfrowienie, standaryzacja
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
Pakiet oprogramowania DInGO!
DInGO
system do budowy bibliotek i
repozytoriów cyfrowych
system do budowy muzeów cyfrowych
system do zarządzania procesem digitalizacji
system do długoterminowego przechowywania danych źródłowych
Digitize and Go!!
Proces digitalizacji!
konserwacja, ucyfrowienie, standaryzacja
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
DInGO: proces digitalizacji!
obiekty planowane
pliki prezentacyjne
pliki do archiwizacji
konserwacja, ucyfrowienie, standaryzacja
udostępnianie
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
DInGO: proces digitalizacji!
obiekty planowane
pliki prezentacyjne
pliki do archiwizacji
konserwacja, ucyfrowienie, standaryzacja
udostępnianie
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
DInGO: dLibra!
Informacje podstawowe!
• Rozwijany od 1999 roku • Pierwsze polskiej produkcji
oprogramowanie dla bibliotek i repozytoriów cyfrowych
• Kluczowy element w stymulowaniu rozwoju polskich bibliotek cyfrowych
• Obecnie około 100 wdrożeń • Ponad 2 miliony obiektów
udostępnianych w całej Polsce
10
1
1 21
1
5
2
3
1
4
3
1
1
1
1
1
2
1
1
1
1
1
1
1
2
1
1
1
1
1
1
1
DInGO: dMuseion!
Informacje podstawowe!
• Rozwijany od 2009 roku we współpracy z Muzeum Narodowym w Warszawie
• Dedykowany dla specyficznych uwarunkowań w muzeach cyfrowych – Bogate wizualnie obiekty (obrazy, rzeźby, monety)
– Zbiory oraz wystawy muzealne – Terminologia specyficzna dla muzeów
• Możliwa automatyzacja wprowadzania danych z różnych systemów inwentaryzacji zabytków (np. MONA)
DInGO: proces digitalizacji!
obiekty planowane
pliki prezentacyjne
pliki do archiwizacji
konserwacja, ucyfrowienie, standaryzacja
udostępnianie
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
DInGO: dArceo!
Informacje podstawowe!
Rozwijany od 2011 roku na podstawie wyników prac w projekcie SYNAT
Dedykowany do długoterminowego przechowywania różnych formatów danych w tym grafik, materiałów tekstowych i audiowizualnych
Zgodny z uznanym i światowym standardem OAIS
Wykorzystywany w praktyce w polskich instytucjach kultury i nauki (np. RCIN, BGPŚ, KK)
Wspierający różne magazyny danych w tym usługę PLATON U4
SIP AIP Analiza SIP Przygotowanie i składowanie
AIP
Magazyn danych
(dyski, taśmy, PLATO
N U4)
DIP
DIP
AIP Przygotowanie i przesłanie DIP (np. konwersja, zaawansowane
dostarczanie danych)
dArceo
Migracja danych AIP AIP
DInGO: dArceo i model OAIS!
DInGO: dArceo!
• Identyfikacja zagrożeń w odniesieniu do bazy UDFR (GDFR+PRONOM) • Weryfikacja danych poprzez okresowy odczyt danych • Zapewnienie wiarygodności poprzez weryfikację sum kontrolnych • Generowanie raportów i podsumowań
• Przetwarzanie danych zgodnie z założeniami modelu OAIS (migracja formatów) • Rozszerzalny mechanizm usług migracji i konwertowania danych • Planowanie migracji/konwersji danych
• Macierze dyskowe, taśmy, zewnętrzne usługi, np. chmurowe -‐ PLATON U4 • Wbudowane mechanizmy replikacji danych • Zapis pakietu archiwalnego zgodnie ze standardami METS oraz PREMIS
• Identyfikacja formatów plików danych zgodnie z bazą formatów PRONOM • Ekstrakcja metadanych technicznych w zgodzie ze standardami TextMD, AES57, MIX
Analiza danych Składowanie danych
Monitorowanie, kontrolowanie
danych
Przetwarzanie danych
Kluczowe możliwości/funkcje systemu!
DInGO: proces digitalizacji!
obiekty planowane
pliki prezentacyjne
pliki do archiwizacji
konserwacja, ucyfrowienie, standaryzacja
udostępnianie
przygotowanie obiektu
cyfrowego
selekcja obiektów do digitalizacji
archiwizacja
udostępnienie obiektu on-‐line
DInGO: dLab!
Kluczowe funkcje systemu!
• Procesy przetwarzania • Parametryzacja • Przydzielanie czynności • Zbieranie statystyk
Zarządzanie procesem digitalizacji
• Raporty/podsumowania • Punkty weryfikacji prac
Kontrolowanie i monitorowanie digitalizacji
• Integracja narzędzi • Komunikacja z innymi systemami
Automatyzacja digitalizacji
DInGO: dLab!
Podstawowe informacje!
• Zadanie: podstawowy element w systemie, powizany z digitalizacją danego obiektu, np. książki, obrazu, rzeźby, monety!
• Czynność: składowa zadania, reprezentująca działanie do wykonania w ramach procesu digitalizacji danego obiektu!
Przygotowanie obiektu
Przygotowanie plików
wzorcowych/master
Obróbka graficzna i weryfikacja
Przygotowanie wersji
prezentacyjnej (np. PDF)
Zatwierdzenie
Wprowadzenie PDF do BC/MC
Archiwizacja plików master
Zadanie
DInGO: dLab!
Zadanie, czynności i użytkownicy !
Przygotowanie obiektu
Przygotowanie plików
wzorcowych/master
Obróbka graficzna i weryfikacja
Przygotowanie wersji
prezentacyjnej (np. PDF)
Zatwierdzenie
Wprowadzenie PDF do BC/MC
Archiwizacja plików master
Redaktor Skanujący Automat Nadzorca
Zadanie
Podsumowanie!
Wzorcowe wykorzystanie pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
digitalizacja obiektów
udostępnianie obiektów cyfrowych długoterminowa archiwizacja
archiwizacja publikowanie on-‐line
dLab
dArceo dLibra lub dMuseion
Podsumowanie!
Doświadczenia, ekspertyza i współpraca międzynarodowa!
Centrum Kompetencji IMPACT w zakresie digitalizacji -‐ PCSS jednym z członków założycieli -‐ 40 partnerów, m.in. BL, KB, BnF, BNE,
BUWr, … -‐ Narzędzie i zasoby przydatne w digitalizacji
-‐ Przetwarzanie obrazu i tekstu, OCR, … -‐ Wymiana wiedzy, najlepsze praktyki -‐ Projekt Succeed (hjp://succeed-‐project.eu)
Open Preservamon Foundamon -‐ PCSS członkiem technicznym (prace nad FITS
oraz dArceo) -‐ Technologie i rozwiązania dotyczące
długoterminowego przechowyania danych -‐ Wymiana wiedzy, najlepsze praktyki -‐ Projekt SCAPE (hjp://scape-‐project.eu)
Podsumowanie!
• Od 5.0.0 do 5.7.2 (lata 2011-‐2014) • Nowe funkcje w ramach wersji 5 • Narzedzie do monitorowania pracy serwera • Formularz kontaktu dot. konkretnej publikacji, prośba o dostęp do publikacji
• Captcha przy pobieraniu plików ZIP • Optymalizacje Aplikacji Redaktora, serwera (indeksowanie, wolny start) i Aplikacji Czytelnika
• Aplet do przeglądania plików JPG z nanoszeniem znaków wodnych • Masowe ładowanie publikacji planowanych • Publikacje linkujące (link zamiast treści) • Integracja z systemem dLab
• Ponad 100 usprawnień/udoskonaleń systemu dLibra
Historia zmian w oprogramowaniu
dLibra 5
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
Podsumowanie!
• Nowy szablon wyglądu • Mechanizm przeglądania publikacji DjVu w formie obrazów – bez koniecznosci instalacji wtyczki w przegladarce WWW
• Nowy mechanizm wyszukiwania • Oparty na silniku SOLR • Fasety (nawigacja fasetowa) • Podpowiadanie, wyszukiwanie wielowyrazowe, etc.
• Inne usprawnienia i zmiany (opcjonalnie) • Typy atrybutów (daty, html) • Integracja z systemem monitorowania zachowań I ruchu użytkowników
• Zmiana nazewnictwa na bardziej uniwersalny, np. obiekt zamiast publikacja
I kwartał 2015:
dLibra 6
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
Podsumowanie!
• Wieloformatowość obiektów – możliwość podłączenia do jednej publikacji wielu formatów (np. JPG, PDF, DjVU)
• Dedykowane funkcje w kontekście repozytoriów obiektów cyfrowych • Mechanizmy udostępniania specyficzne dla bibliografii naukowych, np. wsparcie dla CrossRef, POLindex, PBN
• Integracja z otwartym systemem bazy wiedzy o działalności naukowej instytucji
• Rozbudowa istniejącego wsparcia indeksowania przez wyszukiwarki naukowe
• Udostępnienie systemu dLibra na licencji Open Source • Rozwój wspierany przez społeczność użytkowników
II i III kwartał 2015:
dLibra 6.x
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
Poznańskie Centrum Superkomputerowo - Sieciowe!
ul. Noskowskiego 12/14, 61-704 Poznań, tel : (+48 61) 858-20-00, fax: (+48 61) 852-59-54,
e-mail: [email protected], http://www.pcss.pl
afiliowane przy Instytucie Chemii Bioorganicznej PAN,!
Top Related