AI tränas i att tolka argument
Vi argumenterar dagligen – på nätet, i politiken och runt middagsbordet. Men hur kan datorer lära sig att känna igen och analysera argument? I en ny avhandling från Göteborgs universitet undersöks hur argumentation kan beskrivas, tolkas och märkas upp i text. Resultaten bidrar till utvecklingen av AI-verktyg som kan analysera argument automatiskt.
Att argumentera är en central del av det mänskliga samspelet. Vi använder argument för att övertyga, förklara, ifrågasätta och resonera – oavsett om det sker i en politisk debatt, i en skoluppsats, en diskussion på sociala medier eller på puben med vänner. Samtidigt är argumentation ofta mångtydig: två personer kan läsa samma text men uppfatta argumentationen på olika sätt.
I sin avhandling har doktoranden Anna Lindahl undersökt hur argumentation kan beskrivas och märkas upp i text. Forskningen är ett bidrag till det växande fältet argumentation mining.
– Argumentation mining kan till exempel användas för att analysera samhällsdebatter, upptäcka brister i resonemang eller för att automatiskt bedöma studentuppsatser. En förutsättning är dock att det finns annoterade textmängder – alltså texter som människor har märkt upp och klassificerat för att visa var argument börjar och slutar och vilken funktion de har, säger Anna Lindahl.
Första svenska datamängderna
Hittills har det saknats sådana datamängder på svenska, något som Lindahls avhandling nu bidrar med. Hon har undersökt flera olika annoteringsmetoder med varierande komplexitet och stor variation på såväl genrer som annoteringar.
För att mäta kvalitet brukar forskare använda graden av ”enighet” mellan annoterare (IAA, inter-annotator agreement). Kort sagt: Om många gör samma tolkning, anses resultatet vara tillförlitligt.
Avhandlingens resultat visar att personerna som märkte upp argumentationen hade lättast att enas när de markerade attityder i korta texter medan enigheten inte var lika stor kring mer komplexa argumentationsscheman.
– Det intressanta är att oenighet inte alltid betyder att någon har gjort fel. Ofta visar den snarare att texten faktiskt kan förstås på mer än ett sätt. Därför behöver vi komplettera de traditionella måtten på överensstämmelse med mer nyanserade sätt att utvärdera kvaliteten, förklarar Lindahl.
Avhandlingen visar också att stora språkmodeller (så kallade LLM:er) kan annotera argumentation på ett liknande sätt som människor – och att de rent av överensstämde mer med varandra än vad människor gör sinsemellan.
– Det öppnar både för förbättringar i hur vi bygger och utvärderar dataset och för en djupare förståelse av hur mänsklig och maskinell analys av argumentation kan kombineras. Att kunna analysera argumentation i stor skala kan bidra till bättre utbildningsverktyg och mer transparenta samhällsdebatter, genom att synliggöra vilka resonemang som ofta återkommer, säger Anna Lindahl.
Avhandlingen Argumentation and agreement: annotating Swedish corpora for argumentation mining försvaras vid en disputation den 7 oktober, klockan 13:15 i Näckrossalen J330, Renströmsgatan 6 i Göteborg.
Den finns tillgänglig digitalt: http://hdl.handle.net/2077/87769
Kontakt:
Anna Lindahl, tel: 070-607 9446, e-post: anna.lindahl@svenska.gu.se