Eksploracja danych w internetowych systemach rekomendujących

�

Eksploracja danych w internetowych

systemach rekomenduj�cych

Przemysław KAZIENKOInstytut Informatyki Stosowanej

Politechnika Wrocł[email protected]

Przemysław Kazienko: Eksploracja danych w internetowych serwisach rekomenduj�cych. 17.01.2005 2

Dlaczego internetowe systemy rekomendacyjne?

Kanały internetowe (serwisy, witryny) dla wielu firm s�głównym a dla bardzo wielu wa�nym obszarem działalno�ci

Systemy internetowe a w szczególno�ci sklepy powinny by� coraz bardziej adaptowane do potrzeb konkretnego u�ytkownika - personalizacja

jak najlepsza prezentacja oferty handlowej

atrakcyjno�� i zadowolenie klienta

dynamizm zawarto�ci (zabezpieczenie przed znu�eniem)

Jedno z rozwi�za�: systemy rekomenduj�ce


Przykład rekomendacji

Osoby które kupowały "XML na powa�nie" cz�sto kupowały te�:


Reklama jako rekomendacja

Advertiser’s web site

Publisher’s page

Baner


�rodowisko

U�ytkownik serwisu internetowego

Obiekt rekomendowany (strona, produkt)

Poł�czenie u�ytkownik - obiektoceny (ratings)

zachowania (sesje, �cie�ki nawigacyjne) u�ytkowników

koszyki (dodane do koszyka)

zamówienia

zakupy

Poł�czenie strona internetowa - obiekt (je�eli nie jest on stron�), np. pomi�dzy stron� a produktem w sklepie


Oceny

�


Oceny


��

� ��

� ��

��

�

��

� ��

� ��

��

� ��

��

� ��

��

� ��

��

��

�

��

��

��

��

Poł�cznie strona - obiekt (produkt)


Rekomendowane obiekty

Systemy rekomenduj�ce proponuj� u�ytkownikowi:

inne elementy serwisu (strony, działy), rekomendacja odsyłaczy hipertekstowych, (nextstep recommendation, hyperlink recommendation)

produkty w sklepach internetowych

reklamy (Google AdSense, AdROSA)

inne obiekty charakterystyczne dla systemu, np. kursy nauczania, artykuły prasowe, itd.


Podpowiadanie odsyłaczy


Sposób rekomendacji 1/2

1. Zwykłe wyszukiwanie (raw retrieval), bez rekomendacji

2. R�czna selekcja (manually selected) dokonana przez jakie� osoby (ekspert, zapaleniec), „ulubione linki”, „zobacz tak�e” „inne zwi�zane”

3. Globalne podsumowania statystyczne (statisticalsummaries) np. opinii lub zakupów, „the best buy”, „thebest rated”

4. Korelacja atrybutów u�ytkownik-obiekt (attribute-based) preferencje u�ytkownika pasuj�ce do obiektów, np. interesuj� mnie: „słowniki” w j�zyku „angielskim”


Sposób rekomendacji 2/2

4. Korelacja obiektów (item-to-item correlation) -podobie�stwo mi�dzy obiektami, np. razem kupowane, razem ogl�dane, podobnie oceniane, strony podobne tre�ciowo

web content miningweb usage miningweb structure miningassociation rules

5. Korelacja u�ytkowników (user-to-user correlation) czyli filtrowanie kolaboratywne (collaborative filtering)

najbli�szy s�siad (nearest neighbour)najbli�sze s�siedztwo (nearest neighbourhood)potrzebny ł�cznik pomi�dzy u�ytkownikami

�


Problemy systemów kolaboratywnych

Nowe obiekty (strony, produkty) - nie maj� poł�czenia z innymi u�ytkownikami (s�siadami)

Nowi u�ytkownicy - nie maj� poł�czenia z obiektami. Cold start problem

Rzadko��danych - du�o obiektów i du�o u�ytkowników

Zmienno�� obiektów i zainteresowa� u�ytkowników

Pozyskiwanie poł�cze�

r�czne, niech�� do oceniania

automatyczne, np. sesje HTTP


Stopie� personalizacji

Niespersonalizowana, ka�dy to samo na ka�dej stronie

Ulotna (ephemeral), zale�na od miejsca, tj. inna na ka�dej stronie, ale wspólna dla wszystkich

korelacja obiektów

Bezustanna, ci�gła (persistent) na danej stronie inna dla ka�dego u�ytkownika a nawet inna dla ka�dego u�ytkownika na ka�dej stronie

korelacja atrybutów

korelacja obiektów poł�czona z ci�głym monitorowaniem preferencji u�ytkownika (korelacja atrybutów i obiektów razem)

korelacja u�ytkowników


Ta sama strona, inna

osoba


Ta sama osoba,

inna strona


Ta sama osoba i strona, inny czas


Inne elementy rekomendacjiZmienno��rekomendacji w czasie, ka�dy to samo na ka�dej stronie

inna rekomendacja przy kolejnym wej�ciu na dan�stron� w czasie tej samej sesji

inna rekomendacja w ró�nych sesjach u�ytkownika

Identyfikacja u�ytkowników

Zmienno��obiektów (stron, produktów)

Starzenie si� danych, np. wnioskowanie ze starych zakupów

Integracja z innymi �ródłami danych (wyszukiwarki, katalogi), np. bazy danych o produktach z tre�ci�tekstow� stron

�


��

��

�� !

� ��

Integracja bazy danych o produktach z tre�ci� stron


Eksploracja danychAnaliza zwi�zków, powi�za�

reguły zwi�zkówwzorce sekwencjipodobne sekwencje czasowe

Grupowanie, segmentacjahierarchiczne - płaskierozdzielne - zachodz�ce grupy

Klasyfikacja, predykcjadrzewa decyzyjneregresja liniowa i nieliniowasieci neuronowesieci Bayesawnioskowanie pami�ciowe (najbli�szy s�siad/kilku s�siadów)


d1 →→→→ d2 [support, confidence]

��

�� !��

�� "#

d1 →→→→ d2 [12%, 70%]

Reguły zwi�zków dla WWW


Zwykle potwierdzaj� tylko istniej�ce odsyłacze

Mo�e istnie� mało reguł

Efekt: czasami słabe rekomendacje (krótkie listy rekomendacji)

Bezpo�rednie reguły zwi�zków


Minimalne poparcie

��

��

100

1 000

10 000

100 000

1 000 000

0.0% 0.2% 0.4% 0.6% 0.8% 1.0%Min. supportN

umbe

r of

dir

ect r

ules

min. con=0.1%min. con=2%

Dane z polskiego sklepu internetowego handluj�cego komputerami


Reguły bezpo�rednie i po�rednie

��

��

��

� � �� "��

� ��

� ��

��

��

�� "�#��

� � �� "��

� � ��

��

��

��

� ��

� � �� "��

�


Cz�stkowe reguły po�rednie(partial indirect association rule)

d1 →→→→P# d2 , d3 [icon,minsup,mincon]

d1→→→→d3[sup,con] and d3→→→→d2[sup,con]

$ !�� %�� &��' ��!� ��(� ��)� �* ��

&��' �* ��)# ��)! ��% �� ' ��' ��

�� ' ��' �� &�� "

d1→→→→d3[15%,55%] and d3→→→→d2[9%,70%]Przemysław Kazienko: Eksploracja danych w internetowych serwisach rekomenduj�cych. 17.01.2005 26

Cz�stkowe reguły po�rednie

Cz�stkowe reguły po�rednie ł�cz� dwie składowe: dwie reguły bezpo�rednie

cz�stkowa reguła po�rednia jest z ka�dej strony dostrony produktowej poprzez dowoln� inn�

Obie bezpo�rednie reguły składowe mog� by�uzale�nione od czasu i obie przekraczaj� min.con.i min.sup.

stare sesje maj� mniejszy wpływ

con°(di→→→→°dPj,dk) = cont(di→→→→dk) * cont(dk→→→→dP

j)


Liczba cz�stkowych regułpo�rednich

100 000

1 000 000

10 000 000

100 000 000

0.00%

0.03%

0.06%

0.09%

0.12%

Min. support

No.

of p

artia

l in

dire

ct

rule

s

con=0.1%con=0.5%con=1%con=2%


Liczba stron przechodnich

con=1%547

400

250252

838 20 110

200

400

600

0.00% 0.03% 0.06% 0.09% 0.12%Min. support

No.

of t

rans

itive

pa

ges

card

(Tij)

Max Tij

Average Tij

Tij - zbiór stron przechodnich z di to dPj


Kompletne reguły po�rednie (complete indirect association rules)

��

��

��

� � ��

��


Bezpo�renie i po�rednie

d1,d69d2,d46d1,d2,d43d2,d4,d5,d68d2,d4,d5,d65d1,d42

d1,d310d4,d5,d67d1,d34d1,d2,d41PagesIdPagesIdPagesIdPagesId

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

Direct confidences Indirect confidences

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

�


Kompletne reguły po�rednie

Ł�cz� wszystkie reguły cz�stkowe pomi�dzy par�stron

Konieczna jest normalizacja pewno�ci (confidence) dla zapewnienia przedziału [0;1]

Próg dla pewno�ci do odfiltrowania zbyt „słabych”reguł iconmin


Kompletne reguły po�rednie

0%

20%

40%

60%

80%

0% 20%

40%

60%

80%

100

Per

cent

age

of a

ll po

ssib

le ru

les

conmin 0%

20%

40%

60%

80%

0.00

%

0.04

%

0.08

%

0.12

%

0.16

%

0.20

%

Per

cent

age

of a

ll po

ssib

le ru

les

supmin


Normalizacja kompletnej pewno�ci

Global: u=max(card(Tij));Tij - zbiór stron przechodnich z di do dj

Global: u=card (D); D - zbiór wszystkich stron

Global: u=100,000

Local: u=card(Tij) - �rednia arytm z regułcz stkowych

con#(di #dj)=

( )( )

u

dddconijTcard

k kjP

iP

� =→

1

## ,


PrógP

erce

ntag

eof

allp

ossi

ble

com

plet

ein

dire

ctru

les

iconmin

0.10%

1.00%

10.00%

100.00%

0.0%

0.5%

1.0%

1.5%

2.0%

2.5%

3.0%

3.5%

4.0%

4.5%

without thresholds

with thresholds (supmin=0.008%, conmin=2%)


Reguły po�rednie w rekomendacji

!��

��"��

� ��## ��

��

$�"��

� ��## ��

��

$%� � �&�

' ��

(�� )�

*��

'� �+ � �

,��

*��

'� �+ � �

- � ��*�� '� �+ � �

. �� /��

��

��

�� !��

"��

#�$�� %��

��&��$�� %��'��

0� ��*�� (�)��

*��


Reguły zło�oneReguły zło�one ł�cz� bezpo�rednie i po�rednie

Rozszerzaj� listy rankingowe (w stosunku do list bazuj�cych wył�cznie na regułach bezpo�redn.)

2526 (12%)22672600.10

2818 (19%)13720710.05

2 (0.05%)775 (18%)23862940.02

9 (0.2%)502 (12%)32572690.01complexdirectcomplexdirectcomplexdirect

No. of pages with 1 to 5 rules

No. of pages with 1 to 3 rules

No. of pages with only 1 rule

Minsup[%]

con*(di→*dPj) = �·con(di→dP

j) + (1-�)�con#(di→#dPj)

� - parameter of direct rules importance

Tota

l 4,2

42 p

ages

�


Rozszerzenia rankingów

0%

20%

40%

60%

80%

100%

0.00% 0.04% 0.08% 0.12% 0.16% 0.20%Min. support

Per

cent

age

of a

ll pa

ges

With no rulesLess than 2 rulesLess than 3 rulesLess than 4 rulesLess than 6 rules

12 �3 ��3��

)� �/� ��


Liczba reguł

con=1%

10 000

100 000

1 000 000

10 000 000

0.00% 0.03% 0.06% 0.09% 0.12%Min. support

No.

of r

ules

DirectIndirectComplex

ca. 20 times more


Wzmocnienia lub osłabienia regułbezpo�rednich przez po�rednie

perc

enta

geof

rule

s

0%

15%

30%

45%

60%

75%

90%

0.0%

0.2%

0.4%

0.6%

0.8%

1.0%

1.2%

1.4%

1.6%

1.8%

2.0%

2.2%

2.4%

2.6%

no changes

strenghtened

weakened`

iconminPrzemysław Kazienko: Eksploracja danych w internetowych serwisach rekomenduj�cych. 17.01.2005 40

Rankingi bezpo�rednie kontra zło�one - współczynnik Kendala

www.pwr.wroc.pl, conmin=1%, supmin=0.1%, indirconmin=0.01%, alfa=0.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1

1

2

3

5

10Li

czba

poz

ycji

Współczynnik podobie4stwamedianaodchylenie standardowe�rednia


Wzorce sekwencji - popularne �cie�ki nawigacyjne


�cie�ki nawigacyjne


Strony poprzedzaj�ce rezygnacj�z serwisu w danym miejscu


GrupowanieSłu�y do zmniejszenia liczby obiektów do porównania i dotyczy np.

sesji u�ytkowników - grupy sesji to „wzorce u�ytkowania” (web usage mining)

tre�ci tekstowej stron - grupy stron podobnych tematycznie (web content mining)

Maj�c np. 20 grup szybko (online) mo�na odnale��grup� najbli�sz� u�ytkownikowi - nearestneighbourhood


Koncepcja podpowiadania odsyłaczy

Web usage miningWeb content mining Integracja

ONLINE

OFFLINE

Utworzeniewektorów terminów,Grupowanie

Najbli�sza tematyka Najbli�sza grupa sesji

Integracja wektorówRanking stron

Utworzeniewektorów sesji.Grupowanie

wektor centroidu

Przegl�darka

Serwer WWW.Wektor aktual.sesji

wektor centroiduwektor sesji Podpowiedzi (URL-e)

Odp. HTTP��danie HTTP

Wydzielenie terminów zestron serwisu

Przestrzenie tematyczne- centroidy tematów

Identyfikacja sesji(logi)

Wzorce u�ycia - grupy,centroidy grup sesji


Web (ad) content mining


Web content clusters- conceptual spaces

��

��

��

��

��

��

��

��

��

��

��

��

��

��)��+��,��

-�� ,��

��


Conceptual spaces - vectors

(��

5�� 6��

(��

5�� 6��

��"��% �&�� ...��

�� /0��0��0��/0�...0�� /0��/0��0��/0�...0�� /.�0�/0��/0��/0�...0�/ �� 0��0��0��/.10..0��

�� /0��/0��/0��0�...0�� 0��/0��/0��/.20..0�� 0��/0��/.�0�/.30..0��

'� �� &�� 0�0�...��

�� /0�/.40��0�...0�/

�� /0�/.�0��0�...0�/

�� /0�/.�0�/0�...0�� /0��/0��/0�...0�/

�� /0��/0�/.�0��/0�...0�/ �� 0��0��0��/.10..0��

�� 0��0�/.�0..0��


Conceptual spaces - centroids

(�� 5�� 6��

(�� 5�� 6��

��"�� # �� ...��

�� /0��0��0��/0�...0�� /0��/0��0��/0�...0�� /.�0�/0��/0��/0�...0�/ �� 0��0��0��/.10..0��

�� /0��/0��/0��0�...0�� 0��/0��/0��/.20..0�� 0��/0�/.�0��/.30..0��

�� ...�� /0��/.50��0��/0�...0��

�� ...�� /.50��/0��/0��/.10...0��

�� ...�� /0�/.�0��0�...0�/

�� ...�� /0��/.�0��/0�...0/.1

�6�

�6�


Web (ad) usage mining

��

�� !��"�#��$��$

7 �� 8��& ��

*��

��"��

��"��

$ ��

0�� 8��

(��

��

$ �� 8��

*�� 8��

�6�

(��

��

��)��+��-��


Usage patterns - vectors

0�� 5�� 6��

0�� 5�� 6��

( �� ...��

��0��/0��/0��/0�...0�/��/0��0��/0��/0�...0�/

��/0��0��0��/0�...0��/0��/0��0��/0�...0��

��/0��/0��/0��0�...0��0��/0��/0��/0�...0��

�� ...�� /0��/.50��0��/0�...0��

�� ...�� /.50��/0��/0��/.50...0��

�� ...�� 0��/0��/0�...0/.7

�� ...�� /0��/.�0��/0�...0/.1

�6�

�6�

7 � � �� 2 �9�� ( �& ��

��


Monitorowanie aktywn.u�ytkown. - page session vector

Niezerowe warto�ci odpowiadaj� odwiedzonym stronomPo wy�wietleniu strony zmniejszenie warto�ci ekspotencjalnie


Przyporz�dkowanie u�ytkownika

(��

� 2� ��5� � � �� 6

�� 2 �9��

*��( �& ��

�� 2 �9��

�� 5�2 �� 6

*�� 9��

��

��

�� 2 �9��

�� 5�2 �� 6

*�� 9��

��

��

: :

�� 2 �9��

*��( �& ��

; ;

(��

� 2� ��5� � � �� 6

�� 2 �9��

*��( �& ��

�� 2 �9��

�� 5�2 �� 6

*�� 9��

��

��

�� 2 �9��

�� 5�2 �� 6

*�� 9��

��

��

: :

�� 2 �9��

*��( �& ��

; ;


Przyporz�dkowanie tre�ci- the closest conceptual space

)�� "��

* � �� +�� "�� ,

�� ...�� /0��/0��0��/0��...0�� /.�0��0��0��/.40...0�� /0��/0��/0��0��...0�� 0��/0��/0��/.10...0�

�� < ��!��=8��8��=8��=>?8>>8=>:�

�2 �� 2 �9��

��

�� +�� % ��,

)�� "��

* � �� +�� "�� ,

�� ...�� /0��/0��0��/0��...0�� /.�0��0��0��/.40...0�� /0��/0��/0��0��...0�� 0��/0��/0��/.10...0�

�� ...��0��/0��/0�..0/.7

�2 �� 9��

��


Przyporz�dkowanie u�ytkowania- the closest usage pattern

-��

* � �� ...�� /0��/0��0��/0��...0�� /.�0��0��0��/.40...0�� /0��/0��/0��0��...0�� 0��/0��/0��/.10...0�

�� < ��!��=8��8��=8��=>?8>>8=>:�

�2 ��

��

�� +�� % ��,

-��

* � �� ...�� /0��/0��0��/0��...0�� /.�0��0��0��/.40...0�� /0��/0��/0��0��...0�� 0��/0��/0��/.10...0�

�� ...��0��/0��/0�..0/.7�2 ��

��


Inne wektory

Jedna przestrze� wektorowa

Najbli�sza grupa tematyczna (advertiser’s portal content) - najbardziej odpowiednia tre��

Najbli�szy wzorzec klikowalno�ci - reklamy najbardziej prawdopodobne do klikni�cia

Wy�wietlone reklamy - zabezpieczenie przed znu�eniem

Reklamy ju� klikni�te nie wy�wietlane

Polityki reklamowe (liczba ekspozycji na klienta, priorytety, itd..)


Spersonalizowana integracja wektorów

��

'��

��

7 �� 8��& ��

��

(��

��

*�� %

7 � � ��

*��

(��

*��

. �� 8�� ! ��

��

��

��"��

*��

@ � � ��


Integracja wektorów

rank = (cta+cv+β) ⊗ (1–as) ⊗ uea ⊗ (1–v) ⊗ p

The rankvector

The closestadvertiser conceptual

space vector

The closest ad visiting pattern

Exposedadvertisements

Number ofexposition per

user monitoring

Adv alreadyvisited by the

user

Priorityvector


Ranking, Filtering

��Przemysław Kazienko: Eksploracja danych w internetowych serwisach rekomenduj�cych. 17.01.2005 60

Warsztaty na ISDA, Wrocław 2005

��


1. Kazienko P., Kołodziejski P.: WindOwls - Adaptive System for theIntegration of Recommendation Methods in E-commerce. 2005, to appear.

2. Kazienko P.: IDARM - Mining of Indirect Association Rules. New Trends inIntelligent Information Processing and Web Mining IIS 2005, June 13-16, 2005, Advances in Soft Computing, Springer Verlag 2005, pp. .

3. Kazienko P., Matrejek M.: Adjustment of Indirect Association Rules for theWeb. SOFSEM 2005, Slovak Republic, 2005, Springer LNCS 3381, pp. 211-220.

4. Kazienko P.: Product Recommendation in E-Commerce Using Direct andIndirect Confidence for Historical User Sessions. DS'04. 7th InternationalConference on Discovery Science, Padova, Italy, 2004, Springer Verlag, LNAI 3245, pp. 255-269

5. Kazienko P.: Multi-agent Web Recommendation Method Based on IndirectAssociation Rules. KES 2004, 8th International Conference on Knowledge-Based Intelligent Information & Engineering Systems, Wellington, New Zealand, September 20-25, 2004, Part II, LNAI 3214, Springer Verlag, 1157-1164.

Bibliografia 1/2


6. Kazienko P., Adamski M.: Personalized Web Advertising Method. AdaptiveHypermedia 2004, August 24-26, 2004, Eindhoven, The Netherlands, LNCS3137, Springer Verlag, pp. 146-155.

7. Kazienko P., Matrejek M.: Parameters for Mining Indirect Associations inthe Web Environment. MiSSI, Vol. II. 2004, pp. 201-211.

8. Kazienko P., Kiewra M.: Integration of Relational Databases and Web SiteContent for Product and Page Recommendation. 8th InternationalDatabase Engineering & Applications Symposium. IDEAS 2004 Coimbra, Portugal, IEEE Computer Society, pp. 111-116

9. Kazienko P., Kiewra M.: ROSA - Multi-agent System for Web ServicesPersonalization. First Atlantic Web Intelligence Conference Proceedings, Madrid, Spain, May 5-6, 2003, LNAI 2663, Springer Verlag, 2003, 297-306

10. Kazienko P., Kiewra M.: Personalized Recommendation of Web Pages. Chapter 10 in: Nguyen T. (ed.) Intelligent Technologies for InconsistentKnowledge Processing. Advanced Knowledge International, Adelaide, South Australia, 2004, pp. 163-183.

11. Kazienko P., Kiewra M.: Link Recommendation Method Based on Web Content and Usage Mining. New Trends in Intelligent InformationProcessing and Web Mining IIS 2003, Zakopane, June 2-5, 2003, Advancesin Soft Computing, Springer Verlag 2003, pp. 529-534.

Bibliografia 2/2


Dzi.kuj. za uwag.!

Jest czas na pytania?

Eksploracja danych w internetowych systemach rekomendujących

Documents

Transcript of Eksploracja danych w internetowych systemach rekomendujących