AI som lär sig språk självständigt utvecklar det på liknande sätt som människor – och förbättrar sig genom att lära av tidigare generationer. Det visar en studie som utforskat språkliga mekanismer bakom AI-baserade språkmodeller.
AI-baserade modeller som ChatGPT blir allt bättre på att efterlikna mänskligt språk och de används ofta som verktyg för att producera text. Men modellerna kan också hjälpa oss att bättre förstå hur språk utvecklas.
I en studie testade forskare vid Chalmers och Göteborgs universitet en kombination av metoder för att få AI att härma mänsklig språkutveckling: förstärkelseinlärning, som kopplas till belöning, och inlärning genom att AI-modeller fick lära av varandra över generationer.
– Vi upptäckte att AI-modellerna nådde fram till något som är uppbyggt på samma sätt som mänskligt språk, och att språkinlärningen fungerade på ett liknande sätt som den mänskliga. Därmed ger studien viktig kunskap om hur AI-modeller fungerar, men också större förståelse för hur mänskligt språk utvecklas, säger forskaren Emil Carlsson i ett pressmeddelande från Chalmers och Göteborgs universitet.
Behov av kommunikation
Studien bygger på en kognitionsvetenskaplig teori som utgår från att språk formas av behovet att kunna kommunicera effektivt. Detta kräver en balans: språket måste vara informativt men också tillräckligt enkelt att lära. Ju mer information som behöver förmedlas, desto mer nyanserat blir språket. Ett exempel är att språk i kalla klimat ofta har flera ord för snö och is.
För att testa teorin lät forskarna AI-agenter, olika AI-modeller, spela ett kommunikationsspel där de såg en färg och en lista med symboler utan betydelse. När agenterna interagerade med varandra började symbolerna kopplas till vissa färger – och ett språk utvecklades.
– Att vi använde oss av färger beror på att det finns så otroligt mycket data om hur färgspektrumet benämns i olika språk, inklusive data från isolerade språk som aldrig utsatts för andra språk. Kategorisering av färger varierar mellan språk både när det gäller antal ord och vilken del av färgspektrumet som orden beskriver, säger Emil Carlsson.
Belöning gav resultat
I försöken skulle en AI-agent kommunicera en färg via någon av symbolerna på listan. Den andra agenten skulle gissa vilken färg som avsågs. Ju närmare de kom en gemensam benämning av färgnyansen, desto större belöning fick de.
I nästa steg skapades nya “generationer” AI-agenter, samtidigt som de gamla agenterna avvecklades. De nya agenterna fick se dialogen och det språk som den tidigare generationen hade lyckats utveckla. Därefter fick de spela samma kommunikationsspel med varandra.
– Idén var att låta AI-agenterna först lära sig ett språk från tidigare generationer och sedan vidareutveckla det genom att kommunicera med varandra. Precis som två små barn som lär sig av att lyssna på när mamma och pappa pratar, och sedan fortsätter att bredda och utveckla sina egna språk, säger Emil Carlsson.
Kombination av problemlösning
Resultatet blev ett system för att benämna färger som var likt mänskliga färgspråk – trots att AI-agenterna aldrig hade kommit i kontakt med sådana.
– Det intressanta var att det var just kombinationen av problemlösningen i spelet, tillsammans med att AI-agenterna lärde från tidigare generationer, som ledde till effektiva språk som liknar mänskligt språk. När AI-agenterna enbart kommunicerade med varandra för att lösa spelet blev språken för komplexa.
– Vi provade också att låta AI-agenterna enbart lära sig av tidigare generationer, utan att behöva hantera problemlösningsaspekten i spelet, och då blev språken alldeles för enkla, säger Emil Carlsson.
Kunskap om hur språk utvecklas
Enligt Emil Carlsson tyder resultaten på att vår förmåga att kommunicera – och lära oss av varandra – är avgörande för hur språk utvecklas över tid.
– När vi bara får lära oss något av en annan person, utan att kanske förstå nyttan med det, minskar vår benägenhet att utveckla kunskaperna. Men när vi faktiskt måste använda det vi lärt oss för att lösa problem och komma framåt, det är då det kan skapas strukturerade och effektiva språk, säger han.
Kan styra utvecklingen av AI
Han hoppas att resultaten ska bidra med nya insikter och idéer inom språkforskning, men också forskning inom AI och datavetenskap.
– Detta är kunskap som kan hjälpa oss att bättre förstå vilka mekanismer som ligger bakom mänskligt språk, men också förstå hur stora AI-baserade språkmodeller fungerar. Det kan bana väg för att kunna styra utvecklingen av AI på bästa sätt, säger Emil Carlsson.
Vetenskaplig artikel:
Cultural evolution via iterated learning and communication explains efficient color naming systems, Journal of Language Evolution.
