Chattbotar vet när du kommer att skratta

En forskargrupp vid Göteborgs universitet har upptäckt att skratt kan vara en nyckel till att dialogsystem – se förklaring nedan – ska kunna förstå någons avsikt.

Saker som länge varit en utmaning för språkteknologer som arbetar med dialogsystem är sådant som retoriska frågor, alltså att man ställer en fråga utan att egentligen vilja ha svar på den. Och det är här skratten kommer in.

– Våra studier har lagt grunden för att kunna integrera skratt i talade dialogsystem, säger Vladislav Maraev, Göteborgs universitet, som nyss har lagt fram en avhandling i ämnet.

Avhandlingen visar att artificiella neurala nätverk, som det här handlar om, effektivt kan förutsäga skratt från utskrifter av dialoger.

Bättre än människor

– Dessutom gav vi samma uppgift till människor och det visade sig att neurala nätverk var betydligt bättre på det än otränade människor, säger Vladislav Maraev.

Det tyder på att människor inte har en uppfattning om varför de skrattar vid vissa tillfällen – trots att deras skratt följer regelbundna mönster.

Skratt hänger ihop med ögonrörelser

För ett dialogsystem med en avatar, alltså en bild som representerar en användare, är det viktigt att lära sig hur skrattet är kopplat till andra beteenden. Det är viktigt för att kunna lägga in skratt på rätt ställe med hjälp av artificiell intelligens.

Forskarna har därför undersökt hur skrattet förhåller sig till ögonrörelsemönster när människor interagerar med varandra.

– Vi visar att skrattets funktion är relaterat till olika ögonrörelsemönster, i synnerhet att ögonen kan avslöja början och slutet på skrattet, säger Vladislav Maraev.

Olika typer av skratt, olika rörelser

Ett annat fynd är att olika typer av skratt följs av olika ögonrörelsemönster. Det gäller både personen som skrattar och den som personen interagerar med.

Framtidens konversationsagenter bör inte hantera alla skratt på samma sätt, är slutsatsen.

– De måste vara känsliga för en exakt koordination mellan skratt och blick, som är helt beroende av vilken typ av skratt det handlar om, säger Vladislav Maraev.

Bildliga uttryck är knepiga – men skratt kan hjälpa

Avhandlingen studerar också hur ett skratt påverkar tolkningen av en användares avsikter. Som vid retoriska frågor, som ytligt ser ut som en fråga men där avsikten inte är att ställa en fråga och ett svar därför inte behövs.

För språkteknologiska tillämpningar, det vill säga datorprogram som används för att analysera och producera naturligt språk, har det länge varit en utmaning att förstå bildliga betydelser. Men forskarna i Göteborg upptäckte att skratt är användbara vad gäller just det.

– Det var fascinerande att se att skratt hjälper till att klargöra betydelsen när systemet skulle förstå användarens avsikt. Detta gällde såväl bokstavliga som bildliga tolkningar av yttranden. Vi visade att skratt på helt egen hand kan avslöja den kommunikativa avsikten, säger Vladislav Maraev.

Skratt kan betyda ”nej”

Genom att dra paralleller mellan skratt och det som i språkvetenskapliga sammanhang kallas för grounding – det vill säga signaler som visar att alla i ett samtal är med på tåget, genom att till exempel uttala ett ”mhm” – tittade forskarna bland annat på skratt som användes som nekande svar på frågor.

– Detta bidrag till forskningen är ett exempel på hur skratt kan användas inom dialogsystem och visar potentialen för att utvidga forskningen till andra typer av skratt, som när det används som positiv återkoppling på ett skämt.

Avhandling:

Who is laughing now? Laughter-infused dialogue systems, Vladislav Maraev, Göteborgs universitet.

Kontakt:

Vladislav Maraev
vladislav.maraev@gu.se