Internet wszechrzeczy. W kierunku Big Data

19
Internet wszechrzeczy W KIERUNKU REALLY BIG DATA

description

Prezentacja z konferencji Internet w świecie cyfrowym 2013. (Wersja skrócona). Jak to jest z danymi a informacjami? Czemu dużo danych to problem? Gdzie tu jest jeszcze informatyka?

Transcript of Internet wszechrzeczy. W kierunku Big Data

Page 1: Internet wszechrzeczy. W kierunku Big Data

Internet wszechrzeczyW KIERUNKU REALLY BIG DATA

Page 2: Internet wszechrzeczy. W kierunku Big Data

Kwestie fundamentalneKtóre z poniższych rozumieć jako treści:

• Dane

• Informacje

• Wiedza

Page 3: Internet wszechrzeczy. W kierunku Big Data

Czym jest Sieć?

Internet of things

Internet of everything

Do obejrzenia:

http://www.youtube.com/

watch?v=higj9P_SZEM

Page 4: Internet wszechrzeczy. W kierunku Big Data

Treści w Internecie

Czasy wykładnicze:

Liczba SMSów wysłanych dziennie przekracza populację ziemską – dwadzieścia lat temu nie było SMSów

31 miliardów zapytań do Google co miesiąc (2,7 miliarda w 2006) – trzynaście lat temu nie było Google

Przez Twitter przebiega 50 milionów postów dziennie (to około 600 na sekundę) – pięć lat temu nie było Twittera

Szacuje się, że w tym roku zostanie wygenerowane ok. 4 eksabajtów (1018) unikalnych informacji.

Jest to tyle, ile przez ostatnie 5000 lat

Consumer + producer = prosumer(Uczestnik jest odbiorcą ORAZ autorem treści)

Za: Fisch K. Did You Know 3.0 (Officially updated for 2012) HD Youtube video

Page 5: Internet wszechrzeczy. W kierunku Big Data

Treści w Internecie

Czasy wykładnicze:

Liczba SMSów wysłanych dziennie przekracza populację ziemską – dwadzieścia lat temu nie było SMSów

31 miliardów zapytań do Google co miesiąc (2,7 miliarda w 2006) – trzynaście lat temu nie było Google

Przez Twitter przebiega 50 milionów postów dziennie (to około 600 na sekundę) – pięć lat temu nie było Twittera

Szacuje się, że w tym roku zostanie wygenerowane ok. 4 eksabajtów (1018) unikalnych informacji.

Jest to tyle, ile przez ostatnie 5000 lat

Consumer + producer = prosumer(Uczestnik jest odbiorcą ORAZ autorem treści)

Za: Fisch K. Did You Know 3.0 (Officially updated for 2012) HD Youtube video

Page 6: Internet wszechrzeczy. W kierunku Big Data

Ludzie i ilość danych

Page 7: Internet wszechrzeczy. W kierunku Big Data

Ekonomia uwagi

„W świecie informacyjnym bogactwo informacji oznacza ubóstwo czego innego: niedostatek czegoś co ta informacja pożera. Odpowiedź na pytanie co zabiera informacja, jest raczej oczywista: zabiera uwagę odbiorców. Dlatego bogactwo informacji skutkuje niedostatkiem uwagi i potrzebą efektywnego dzielenia tej uwagi między mogącymi ją pochłonąć wieloma źródłami informacji.”

Herbert Simon (1978)

Page 8: Internet wszechrzeczy. W kierunku Big Data

Wymuszony ruch„Życie w erze informacyjnej jest jak picie wody z węża strażackiego” (J. Porter)

Otrzymujemy ogromne dawki informacji Otrzymujemy informacje ciągle i nieustannie Podejmujemy ogromną ilość decyzji

Zbyt wiele informacjiZbyt wiele produktów PARALIŻ DECYZYJNY

PORTER J.: Sieci Społecznościowe. Projektowanie. Helion, Gliwice 2010

Page 9: Internet wszechrzeczy. W kierunku Big Data

Ludzkie zachowanie a Internet◦ Równanie Lewina

◦ Zachowanie to funkcja osobowości oraz otoczenia

Człowiek, który wystawia komentarz na Allegro, wpływa na zachowanie innych

W jakim stopniu pogoda dyktuje Ci, jak się ubrać, a w jakim – działania, zachowania innych, a także Twoja chęć wpływu na ich reakcje i działania?

Jesteśmy pod dużo głębszym wpływem ludzi, których znamy i grup, do których należymy, niż nam się wydaje

Będąc częścią Sieci jesteśmy częścią samoorganizującego systemu

Wniosek: trendy zachowań, działania w Sieci można badać niczym prądy morskie

Page 10: Internet wszechrzeczy. W kierunku Big Data

Sieć socjalna„Zwłaszcza młodzież jest absolutnie sieciowa. We wszystkich przejawach życia”. (J. Morbitzer)

STOCKER Rob Green David G and Newth David (2001), Consensus and cohesion in simulated social networks. Journal of Artificial Societies and Social Simulations, Volume 4 Issue 4. (http://jasss.soc.surrey.ac.uk/4/4/5.html)

Struktura sieciowa

- Porządek chaotyczny- Brak autorytetów

Struktura hierarchiczna

- Jasny porządek- Autorytety „odgórne”

Struktura z superwęzłami (z większym autorytetem)

Page 11: Internet wszechrzeczy. W kierunku Big Data

Sieci społecznościoweW sumie znane od początków społeczeństwa!

Znajomi

Znajomi znajomych

Poznani w sieci

Poznani poza siecią

Autorytety „odgórne”? Raczej „superwęzły”

Page 12: Internet wszechrzeczy. W kierunku Big Data

Web 3.0 czyli pomoc informatykiInformatyka tworzy narzędzia:

Wielokierunkowej transmisji informacji

Translacji danych i informacji

Filtrowania treści

Tworzenia metainformacji (informacji o informacji)

Wyszukiwania i metawyszukiwania

Pojęcie „bogatej sieci” (Rich Web)

- koncentrującej się na bazach wiedzy

Za: metafluence.com

Page 13: Internet wszechrzeczy. W kierunku Big Data

Przemysł i ilość danych

Page 14: Internet wszechrzeczy. W kierunku Big Data

Istota problemuBiznes/przemysł stoi przed podobnym problemem co pojedynczy odbiorca sieci:

Otrzymuje ogromne ilości danych

Duża ilość danych nie oznacza dużej ilości informacji

Duża ilość informacji nie oznacza większej wiedzy

Organizacja

Sensory

Dane z transakcji

Badania (np. ankiety)

Dane z procesów

Page 15: Internet wszechrzeczy. W kierunku Big Data

Kłopoty z danymiDane:◦ Strukturalne◦ Niestrukturalne

Volume (ilość)

Variety (różnorodność)

Veracity (wiarygodność)

Velocity (terminowość)

Page 16: Internet wszechrzeczy. W kierunku Big Data

Kłopoty z danymiDane:◦ Strukturalne◦ Niestrukturalne

Volume (ilość)

Variety (różnorodność)

Veracity (wiarygodność)

Velocity (terminowość)

Przykład danych strukturalnych:

Imię: __________Nazwisko: ____________

Proszę ocenić jakość pracy dziekanatu (w skali 1-10):

_____________

Proszę ocenić jakość przeprowadzonych zajęć

(b.słaba, słaba, dobra, b. dobra, nie mam zdania):

_____________

Maszyna przetwarzająca WIE, jakiego formatu danych się spodziewać

Maszyna przetwarzająca wie, jaki kontekst będą miały otrzymane dane

Łatwo z danych uzyskujemy informacje

Przykład danych niestrukturalnych:

Imię: __________Nazwisko: ____________

Jak oceniają Państwo dziekanat Uczelni?______________________________________________________________________

Co zmienilibyście Państwo w zajęciach?

_____________________________________________________________________

Maszyna przetwarzająca NIE wie, jakiego formatu danych się spodziewać

Maszyna przetwarzająca nie będzie potrafiła prostymi sposobami przetworzyć

danych na informacje

Page 17: Internet wszechrzeczy. W kierunku Big Data

Ogólne ujęcie systemów Big Data

Eksport

Strumieniew czasie

rzeczywistym

Dane niestrukturalne

Bazy danych ustruktury- zowanych

Duże bazy danych

Przetwarzanie wsadowe

PrzetwarzanieAnalityka

Źródło: McDougall R.: Architecting Virtualised Infrastructure for Big Data, Strata Conference 2012

Page 18: Internet wszechrzeczy. W kierunku Big Data

Infrastruktury przechowywania danych

Zmniejszenie złożoności

Uproszczenie działania i

utrzymania

Umożliwienie elastycznego, szybkiego dostarczania usług

Reakcja na spodziewane oraz nagłe potrzeby biznesu

Page 19: Internet wszechrzeczy. W kierunku Big Data

Dziękuję[email protected]

HTTP://MRDEAN.WORDPRESS.COM

HTTP://TWITTER.COM/MROSTANSKI

HTTP://FACEBOOK.COM/MACIEJ.ROSTANSKI