hrvatski

Morfološka normalizacija tekstova na hrvatskome za dubinsku analizu i pretraživanje informacija

Riječi u tekstu pojavljuju se u različitim morfološkim varijantama, odnosno flektivnim i derivacijskim oblicima. Morfološka varijacija ima negativan utjecaj na djelotvornost sustava za pretraživanje informacija i dubinsku analizu teksta, naročito kod morfološki složenih jezika kao što je hrvatski. Negativne utjecaje morfološke varijacije moguće je ukloniti primjenom postupaka morfološke normalizacije, odnosno sažimanjem različitih morfoloških varijanti jedne ili više riječi na jedan reprezentativni oblik. U okviru ovog izlaganja bit će opisan postupak za flektivnu i flektivno-derivacijsku normalizaciju tekstova na hrvatskome jeziku temeljen na morfološkom leksikonu. Kako bi se zaobišao problem ograničenosti opsega leksikona te visoke cijene njegove izgradnje, razvijen je postupak za automatsku akviziciju flektivnoga leksikona iz neoznačenog korpusa. Akvizicija i normalizacija temelje se na računalnom generativno-redukcijskome modelu morfologije hrvatskoga jezika kojim je obuhvaćena fleksija i sufiksalna tvorba imenica, glagola i pridjeva. Provedeno je iscrpno eksperimentalno vrednovanje kojim je utvrđeno da postupak doseže visoku intrinzičnu kakvoću normalizacije, na flektivnoj razini usporedivu s onom ručno sastavljenog leksikona. Opisani pristup usredotočen je na hrvatski jezik, ali je primjenjiv i na druge, morfološki slične jezike.

Morfološka normalizacija; računalna obrada morfologije; obrada prirodnog jezika; hrvatski jezik; pretraživanje informacija; dubinska analiza teksta

Predavanje je održano 24.03.2011.