1 Dane oraz ich preprocessingŹródło danych Na czym polega preprocessing Różne rodzaje reprezentacji dokumentów Róże sposoby doboru słów do słownika

2 Dane oraz ich preprocessingcomp.graphics comp.os.ms-windows.misc comp.sys.ibm.pc.hardware comp.sys.mac.hardware comp.windows.x rec.autos rec.motorcycles rec.sport.baseball rec.sport.hockey sci.crypt sci.electronics sci.med sci.space misc.forsale talk.politics.misc talk.politics.guns talk.politics.mideast talk.religion.misc alt.atheism soc.religion.christian

3 Dane oraz ich preprocessingPodział tekstu na wyrazy Odrzucenie „stop words” „Stemming” – algorytm Portera Podliczenie poszczególnych rdzeni

4 Dane oraz ich preprocessingReprezentacja binarna Reprezentacja Term Frequency Reprezentacja TF-IDF TF-IDF(D,w)=TN(w)/|D| * log(N/DN(w))

5 Dane oraz ich preprocessingCzęstotliwościowa CTF-IDF Mieszana