Sõnadest mõtteni: andmekaeve ja sisuanalüüs

Struktureerimata mitmekeelse digitaalse sisu kasv on loonud uusi võimalusi. Iga päev luuakse juurde uut digisisu nagu näiteks liendiarvustused ja muu sotsiaalne interaktsioon sotsiaalmeedia platvormidel, klienditoe vestlused ja igasugune muu kirjalik kommunikatsioon. See tohutu andmemass sisaldab hindamatuid teadmisi eri huvigruppide meelestatuse, toodete ja teenuste toimimise ning muutuvate turundustrendide kohta. Selle väärtuse ammutamine võib olla aga ajamahukas andmete mahu, struktuuri puudumise ja keelelise mitmekesisuse tõttu.

Andmekesksed teenused

Andmekaevega seotud teenuste eesmärk on korrastatud ja süsteemsete andmekogude loomine, mille põhjal saab teha sisuanalüüsi, arendada oma tooteid ja teenuseid ning teha äriliselt olulisi järeldusi.  

1. Andmekogu meelestatuse- ja kavatsuste analüüs

Teenuse eesmärgiks on struktureerimata tekstide, nagu näiteks tooteülevaadete, veebipostituste, foorumikommentaaride ja kliendikirjade, automaatse analüüsi võimaldamine. Aitame kindlaks teha mitte ainult teksti teematika, vaid ka selles peituva meelestatuse ja kavatsuse. 

Tekstides tuvastatakse ja sildistatakse meelestatus, emotsioonid ja kavatsused.

• Meelestatus: kas hoiak on positiivne, negatiivne või neutraalne?
• Emotsioonid: kas teksti tonaalsus annab edasi rõõmu, viha, rahulolu, pettumust, põnevust vms?
• Kavatsus: kas teksti autori eesmärk on sooritada ost, esitada küsimus, esitada kaebus, kiita teenust vms?

Et võimalikult täpselt andmekogust leitavat meelestatust tabada ja sildistada, eemaldatakse tekstidest ka ebaselge sisu, mida sageli automaatikaga teha ei saa ja appi tuleb võtta keeleeksperdid.

Kokkuvõte. Võtame musta korrastamata ühe või mitmekeelse tekstikogu ja teeme sellest korrastatud ja sildistatud andmekogu, mida saab kasutada nt ärianalüüsis, tootearenduse sisendina, AI-mudelite treenimiseks või AI-mudelile antud ülesande valideerimiseks. 

2. Sisu klassifitseerimine ja kategoriseerimine

Teenuse osaks on tekstide kategoriseerimine ja taksonoomia süsteemi loomine, mis aitab andmeid paremini analüüsida, leida andmetest omavahelisi seoseid ja leitud tähendustest paremini aru saada. Taksonoomia ja klassifikaatorite süsteemi loomine aitab korrastada ja liigitada andmekogus sisalduvaid andmeid. Andmed sildistatakse ja sorteeritakse määratletud taksonoomia või kategooriate alusel. 

Klassifikaatorite abil saab eri tüüpi andmeid sorteerida, kategoriseerida ja kirjeldada ning see teeb andmete tõlgendamise, analüüsimise ja kasutamise lihtsamaks. Struktureerimata sisu korrastamisega saavad organisatsioonid oma teabe- ja andmevara edaspidi lihtsamini hallata, vajalikku infot nendest leida ja sisuanalüüsi teha. Lisaks saab struktureeritud andmeid kasutada ka keelemudelite treenimisel.

Soovi korral töötame välja tööriista teatud tüüpi kitsamate andmete kategoriseerimiseks, et leida andmetest asjakohane sisu teksti meelestatuse või kavatsuste alusel.

3. Terminoloogia andmebaasi loomine (tekstikaeve)

Terminoloogia tekstidest eraldamine on poolautomaatne protsess, mille käigus analüüsitakse valdkonnaspetsiifilisi tekste (keelekorpust), et tuvastada ja eraldada sellest valdkonnaspetsiifilised terminid ja fraasid. See on üks tekstikaeve peamisi vorme, mida kasutatakse eelkõige struktureeritud sõnastike ja terminoloogia andmebaaside (terminibaaside) loomiseks. Need on kriitilise tähtsusega keelelise ja stiililise järjepidevuse tagamiseks loodavates tekstides ja/või tõlgetes. 

Terminibaasi loomine on sageli tavapärane osa tõlkimise protsessis. Tõlkimise ajal või enne tõlkimist otsitakse välja kõik tõlgitavas tekstis või seotud tekstides esinevad valdkonnaspetiifiilised terminid lähte- ja sihtkeeles. Terminikaeveks saab kasutada spetsiaalseid tööriistu, mis otsivad tekstidest mustreid sõnade esinemise järje sageduse ja koosesinemise analüüsi kombinatsiooni, et tuvastada tekstidest potentsiaalsed terminid. Koostöös valdkonnaekspertide ja keeleekspertidega saab valideerida heakskiidetud terminoloogia andmebaasi.Seda terminikogu saab edaspidi kasutada tekstide loomisel ja tõlkimisel, et tagada terminoloogiline ühtsus läbivalt tekstist teksti.

4. Keelekorpuse koostamine SKMi jaoks

Iga AI-põhise süsteemi kasutegur sõltub süsteemi treenimiseks kasutatud andmete kvaliteedist ja mahust. Valmistame ette andmekogud, mis on sobilikud masinõppeks ja keelemudelite treenimiseks.

Andmete kogumine

• Kogume ja koostame ühe- või mitmekeelsed andmekogud kirjalike tekstide, heli puhul suuliste tekstide või pildimaterjali puhul piltide põhjal; sageli koostatakse need andmekogud konkreetsete demograafiliste näitajate alusel või andmete valdkonna eripärade järgi. 

Andmetele metaandmete ja siltide lisamine

• Andmekogudele lisatakse metaandmed, mis võimaldab tekstides leiduvat sisu identifitseerida ja analüüsida. Näiteks kirjalike tekstide puhul võib metaandmete loomine tähendada tekstides isikute ja organisatsioonide tuvastamist ja ka nende meelestatuse ja kavatsuste määramist. 

Andmete kontrollimine ja valideerimine

• Koostatud ja sildistatud keelekorpus kontrollitakse üle, et veenduda andmete täpsuses ja sobilikkuses täitmaks keelekorpuse kasutuseesmärki. AI-süsteemi tasub treenida korrektsete andmetega ja seda aitab teha hästi ettevalmistatud keelekorpus.

Iga organisatsioon, kellel on plaan oma protsesse, teenuseid ja tooteid SKMi abil parendada, võib vajada abi andmekogude koostamisega. Tuleme siinkohal teile appi. 

Meie andmemeeskond keskendub mitmekeelsete ja korrastatud andmete ettevalmistamisele, et aidata teil oma andmetest rohkem kätte saada ja neid paremini tõlgendada. Kvaliteetsed andmed on mis tahes AI-mudeli jaoks väärtuslik kütus. Meie keeleeksperdid oskavad läbi närida mitmekeelsest ja segasest inimkeelest, mis on praegu veel kitsaskoht AI-de treenimisel ja ajakulukas töö andmeanalüütikutele.