HiVe Prezentacja Na Seminarium 2008.05

BYŁ: HiVe

JEST: Szuku-Szuku.pl

Szuku-Szuku.pl

• Szuku-Szuku co to jest?

Szuku-Szuku.pl


• Co planowałem zrobić...

Szuku-Szuku.pl



• Co zostało zrobione...

Szuku-Szuku.pl




• Zmiany niektórych założeń...

Szuku-Szuku.pl





• Szczegóły...

Szuku-Szuku.pl





• Szczegóły...

• Plany na przyszłość...

Szuku-Szuku - Co to jest?

• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych

Szuku-Szuku - Co to jest?

• Oficjalnie:Projekt i wykonanie systemu do rozproszonego wyszukiwania na przykładzie danych osobowych

• Nieoficjalnie:Wyszukiwarka pomagająca znaleźć informacje o naszych znajomych, kontaktach w pracy

Szuku-Szuku - Co miało być?

• Wersja private beta

Szuku-Szuku - Co miało być?


• Interfejs użytkownika

Szuku-Szuku - Co zrobiłem?





• Algorytmy klastrujące wyniki




• Algorytmy klastrujące wyniki

• Zaawansowany crawler

Szuku-Szuku - XI.2007

Szuku-Szuku - III.2008

Szuku-Szuku - IV.2008

Szuku-Szuku - Private Beta

Szuku-Szuku - Interfejs

Szuku-Szuku - Private Beta

Szuku-Szuku - Zmiany

• Zaskakująco dobre możliwości klastrowania wyników



• Dobudowanie modułu crawlera



• Dobudowanie modułu crawlera

• Tworzenie własnej bazy danych na podstawie materiałów dostępnych w sieci

Szuku-Szuku - Infrastruktura

• Do crawlowania / przetwarzania danych potrzeba dużo mocy



• Wirtualne serwery




• Amazon Web Services




• Amazon Web Services

• Linux Ubuntu Server Edition

Szuku-Szuku - Crawler

0

2250

4500

6750

9000

08:00 10:00 12:00 14:00 16:00 18:00 20:00 22:00 00:00 02:00 04:00 06:00 08:00 10:00 12:00

Crawl szkół z portalu nasza-klasa.pl

Pobranych stron na godzinę

Teraz:•Anonimowa sieć TOR•Sterowanie przez:•telnet•bazę danych

•Cachowanie wyników

W przyszłości:•Rozproszony•Dużo szybszy

Szuku-Szuku - Węzeł

Agenty

Silnik wyszukiwarki

Serwer HTTP

Przeglądarka

Zdarzenia

Web Crawler

Agenty Zewnętrzne

Szuku-Szuku - Plany

• Dokumentacja i stworzenie “właściwej pracy magisterskiej”

Szuku-Szuku - Plany


• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów

Szuku-Szuku - Plany


• Uruchomienie działającej “komercyjnej” wyszukiwarki na podstawie konceptów i algorytmów

• Szukamy chętnych do pracy nad systemem :)

Dziękuję :)

Zapraszam do wypróbowania:

[email protected]

http://slideshare.net/mickek

mailto:[email protected]






HiVe Prezentacja Na Seminarium 2008.05

Technology

Transcript of HiVe Prezentacja Na Seminarium 2008.05