11-10-2014

Problem otwartych danych w Polsce na przykładzie OpenPoland.net

Jan Herbst, Robert Olejnik

Co się stanie jak się wszyscy dowiedzą?

Agenda

 Otwarte dane – wstęp  Otwartość danych w Polsce   Problemy i zagadnienia otwartych danych   Zapotrzebowanie na otwarte dane – dla kogo?   Problemy technologiczne otwartych danych  Obecny stan faktycznie otwartych danych   Problemy z jakością otwartych danymi  OpenPoland.net

1

O czym będzie ta prezentacja?

Jan Herbst Stocznia

Kim jesteśmy?

Robert Olejnik TEONITE

Ciekawość, odwaga zadawania pytań + Umiejętności analityczne + Technologia

„Robienie” otwartych danych

3

Otwartość po polsku

  Nowelizacja ustawy o dostępie do informacji publicznej;   Ciągła dyskusja o re-use;

  próba rozróżnienia między "dostępem" a "ponownym wykorzystaniem" (publikacja, przetworzenie)   „poza zakresem pojęcia informacji publicznej znajdują się wewnętrzne dokumenty kontrolno-

analityczne oraz opinie prawne sporządzane przez komórkę wewnętrzną organu państwowego”

  Powstaje CRIP;   Ze strony MAiC (29 gru 2011): „Wniosków do składania będzie mniej, gdyż znaczna część

zasobów dostępna będzie na stronie BIP lub w nowo powstałym repozytorium zasobów informacyjnych o szczególnym znaczeniu dla innowacyjności…”

  Wzrost zainteresowania, wiele inicjatyw niepublicznych 4

Co się dzieje?

5

Problemy otwartych danych

  teoretycznie powinno być pięknie: Dyrektywa 2003/98/WE, jej implementacje w polskich warunkach (ust. o dost. do inf. Publ, re-use)  nie ma prawdziwych problemów z prawem, są problemy z jego interpretacją  ustawa o dostępie do informacji – gdzie kończy się re-use, „cel społeczny”, „ważny interes państwa”; uznaniowość w udostępnianiu danych:  Argumenty: po co? nie jesteśmy dysponentem, nie ma komu tego zrobić, dane wrażliwe, dane osobowe;

6

Problemy okołoprawne

Problemy otwartych danych

  ustawa o statystyce publicznej – GUS ma mniejsze możliwości upubliczniania danych niż każda inna jednostka administracji;   ustawa o bazach danych – status publicznych baz danych i kwestia praw autorskich oraz licencji;   ustawa o ochronie danych osobowych   ustawy szczegółowe – np. prawo geodezyjne, które narzuca ograniczenia w udostępnianiu danych geo;

7

Problemy okołoprawne

Praktyka działań administracji

Co się stanie jak się wszyscy dowiedzą? Dlaczego dane nie są publiczne:   obawa przed odkryciem błędów   obawa przed kontrolą   obawa przed złamaniem prawa   dodatkowa praca

  Interesy   "ostrożność" (czyli - na wszelki wypadek nie)   niekompetencja - „wydobycie danych wymaga pieniędzy bo tak zaprojektowaliśmy system”

8

Dlaczego nie możemy udostępnić Wam danych?

* 2 światy: IT i działań społecznych * utrzymaniem serwisów - model biznesowy

Deficyt współpracy - Idea a Biznes

9

A jednak się kręci!

  Mimo tych różnych problemów, coraz więcej udaje zrobić, czego my jesteśmy najlepszym przykładem   Zmiany po stronie rządowej (reuse, crip)   Smart City (Poznań, Gdańsk, Warszawa)   Nowe inicjatywy społeczne:

  Hackatony: BiHapi, KodujDlaPolski   MojaPolis.pl   NaszaKasa.org.pl

10

Droga do upublicznienia danych

  System Rozwoju Gospodarczego Regionów   Monitor Rozwoju   Monitorowanie Strategii Miasta Gdynia eRegion Alert.Powodz.ngo.pl

MojaPolis.pl MamZdanie.org.pl

11

Historia OpenPoland.net

Zapotrzebowanie na dane

 Analitycy  Socjologowie  Konsultanci biznesowi  Firmy ratingowe  Samorządy  Organizacje tworzące strategie

  Strategia miasta składa się przykładowo z 300 wskaźników złożonych   Każdy z nich to przykładowo 10 wskaźników cząstkowych (np. GUS, Transport)   Każdy wskaźnik to setki tysięcy rekordów danych

13

Jestem specjalistą?

Duuuża ilość danych

 GUS – ponad 134 milionów rekordów  Ministerstwa Finansów – prognozy finansowe, sprawozdania finansowe  Okręgowe Komisje Egzaminacyjne – wyniki egzaminów  Urzędów/Izby Skarbowej – tak, dane z POLTAX

12

Posiadamy dane publiczne z:

Skala problemu

 Problem prawny  Skrypty SQL uruchamiane w każdym z US z osobna (każde woj. posiada ich kilkadziesiąt)  Rezultat:  ok 150 płyt CD  Na każdym CD kilkaset plików XLS  Każdy plik w innym formacie

KILKA miesięcy pracy aby zaimportować dane

15

POLTAX

Skala problemu

 Przykładowy wskaźnik: „Nowożeńcy”, wymiary:   płeć   grupy wiekowe (ok 5)   stanu cywilnego   miejsca zamieszkania przed ślubem teryt   lata (2002-2013)

Rezultat: 162 624 - 134 miliony rekordów – ok. 1500 wskaźników

16

GUS

Otwartość po polsku

 Brak interoperacyjności i synchronizacji działań administracji  Skandaliczny poziom kompetencji przy tworzeniu założeń, wytwarzaniu i wdrażaniu systemów Państwowych  Brak jakichkolwiek interfejsów integracji API systemów informatycznych Państwa  Szokujący jest stan obecnych systemów informatycznych

17

Stan technologiczny

aktualność, kompletność, integralność danych

Prawdziwy problem otwartych danych

18

19

Wiedza, Technologia, Algorytmy, Narzędzia i Infrastruktura pozwalająca na aktualizację oraz dbanie o

sensowność i spójność danych

OpenPoland.net

20

Zapotrzebowanie na dane

14

Zwykły obywatel?

Za „mojej” kadencji spadło bezrobocie…

Czy mój kandydat na prezydenta miasta mówi prawdę?

Proszę oto dane

 Upublicznione dane GUS  W drodze Ministerstwo Finansów  Status: beta - ostateczny kształt OP/API powinien być efektem pracy społeczności skupionej wokół OP i spełniając jej oczekiwania i potrzeby

21

Naprawdę? Nie spodziewałem się tego.

Robert Olejnik +48 791 91 91 11 robert@teonite.com www.teonite.com

Dziękujemy za uwagę ;-)

Jan Herbst +48 502 086 412 Jan.herbst@stocznia.org.pl www.Stocznia.org.pl