Author/Editor | Vilar, Polona; Dimec, Jure | |
Title | Krnjenje kot osnova nekaterih nekonvencionalnih metod poizvedovanja | |
Type | članek | |
Source | Knjižnica | |
Vol. and No. | Letnik 44, št. 4 | |
Publication year | 2000 | |
Volume | str. 7-31 | |
Language | slo | |
Abstract | The article presents various techniques of stemming, arguing they are the most important phase of preparing the text for including it into full-text databases, especially those using non-Boolean search models. Stemming is a process of text processing using stemming algorithms, the purpose of which is automated selection of indexing terms used for content description. The article presents statistic approach to stemming, morphological and semantical aspects of stemming, and several stemming algorithms. The authors also speak about evaluation criteria and linguistic dependence of such algorithms. At the end they give more detailed descriptions of some stemming algorithms developed for English, Slovene, French, Japanese and Arabic languages. | |
Summary | V prispevku so predstavljeni postopki krnjenja in utemeljeni kot najpomembnejša faza priprave besedila za vključevanje v zbirke polnih dokumentov, še posebno take, ki uporabljajo ne-Boolove iskalne modele. Krnjenje je postopek obdelave besedil z algoritmi za krnjenje, s katerim avtomatsko določamo indeksne izraze, primerne za opisovanje vsebine dokumentov. Predstavljen je statistični pristop h krnjenju, morfološki in semantični vidiki krnjenja ter različne vrste algoritmov za krnjenje. Avtorja govorita tudi o kriterijih za evalvacijo algoritmov in njihovi jezikovni odvisnosti. Na koncu podrobneje predstavita nekatere algoritme, ki so bili razviti za posamezne jezike: angleščino, slovenščino, francoščino, japonščino in arabščino. |