BYŁ: HiVe

JEST: Szuku-Szuku.pl

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

• Co planowałem zrobić...

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

• Co planowałem zrobić...

• Co zostało zrobione...

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

• Co planowałem zrobić...

• Co zostało zrobione...

• Zmiany niektórych założeń...

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

• Co planowałem zrobić...

• Co zostało zrobione...

• Zmiany niektórych założeń...

• Szczegóły...

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

• Co planowałem zrobić...

• Co zostało zrobione...

• Zmiany niektórych założeń...

• Szczegóły...

• Plany na przyszłość...

Szuku-Szuku - Co to jest?

• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych

Szuku-Szuku - Co to jest?

• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych

• Nieoficjalnie:Wyszukiwarka pomagająca znaleźć informacje o naszych znajomych, kontaktach w pracy

Szuku-Szuku - Co miało być?

• Wersja private beta

Szuku-Szuku - Co miało być?

• Wersja private beta

• Interfejs użytkownika

Szuku-Szuku - Co zrobiłem?

• Wersja private beta

Szuku-Szuku - Co zrobiłem?

• Wersja private beta

• Interfejs użytkownika

Szuku-Szuku - Co zrobiłem?

• Wersja private beta

• Interfejs użytkownika

• Algorytmy klastrujące wyniki

Szuku-Szuku - Co zrobiłem?

• Wersja private beta

• Interfejs użytkownika

• Algorytmy klastrujące wyniki

• Zaawansowany crawler

Szuku-Szuku - XI.2007

Szuku-Szuku - III.2008

Szuku-Szuku - IV.2008

Szuku-Szuku - Private Beta

Szuku-Szuku - Interfejs

Szuku-Szuku - Interfejs

Szuku-Szuku - Interfejs

Szuku-Szuku - Interfejs

Szuku-Szuku - Interfejs

Szuku-Szuku - Private Beta

Szuku-Szuku - Zmiany

• Zaskakująco dobre możliwości klastrowania wyników

Szuku-Szuku - Zmiany

• Zaskakująco dobre możliwości klastrowania wyników

• Dobudowanie modułu crawlera

Szuku-Szuku - Zmiany

• Zaskakująco dobre możliwości klastrowania wyników

• Dobudowanie modułu crawlera

• Tworzenie własnej bazy danych na podstawie materiałów dostępnych w sieci

Szuku-Szuku - Infrastruktura

• Do crawlowania / przetwarzania danych potrzeba dużo mocy

Szuku-Szuku - Infrastruktura

• Do crawlowania / przetwarzania danych potrzeba dużo mocy

• Wirtualne serwery

Szuku-Szuku - Infrastruktura

• Do crawlowania / przetwarzania danych potrzeba dużo mocy

• Wirtualne serwery

• Amazon Web Services

Szuku-Szuku - Infrastruktura

• Do crawlowania / przetwarzania danych potrzeba dużo mocy

• Wirtualne serwery

• Amazon Web Services

• Linux Ubuntu Server Edition

Szuku-Szuku - Crawler

0

2250

4500

6750

9000

08:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 00:00 02:00 04:00 06:00 08:00 10:00 12:00

Crawl szkół z portalu nasza-klasa.pl

Pobranych stron na godzinę

Teraz:•Anonimowa sieć TOR•Sterowanie przez:•telnet•bazę danych

•Cachowanie wyników

W przyszłości:•Rozproszony•Dużo szybszy

Szuku-Szuku - Węzeł

Agenty

Silnik wyszukiwarki

Serwer HTTP

Przeglądarka

Zdarzenia

Web Crawler

Agenty Zewnętrzne

Szuku-Szuku - Plany

• Dokumentacja i stworzenie “właściwej pracy magisterskiej”

Szuku-Szuku - Plany

• Dokumentacja i stworzenie “właściwej pracy magisterskiej”

• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów

Szuku-Szuku - Plany

• Dokumentacja i stworzenie “właściwej pracy magisterskiej”

• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów

• Szukamy chętnych do pracy nad systemem :)

Dziękuję :)

Zapraszam do wypróbowania:

mklujszo@gmail.com

http://slideshare.net/mickek