Hej klasskompisar och andra som har hittat hit! Innan jag sätter igång vill jag börja med att tacka tidigare postare för fina och intressanta inlägg. I skrivande stund befinner jag mig i Stockholm – här har jag spenderat höstterminen hos AI Sweden. I veckan kommer jag skriva några inlägg om min praktikperiod och dela med mig av lite tankar och funderingar som har dykt upp under vägen. Men innan jag närmar mig det förefaller sig en liten introduktion till AI Sweden nödvändig. Så vi börjar med det!
AI Sweden är Sveriges nationella centrum för tillämpad artificiell intelligens och stöds av svenska staten samt näringsliv och offentlig sektor över hela Sverige. Deras raison d’etre är att accelerera användningen av AI för att stärka Sveriges välfärd och konkurrenskraft. Utvecklingen och tillämpningen av AI aktualiserar en mängd olika frågeställningar och AI Sweden består på förekommen anledning av flera olika team som jobbar inom olika fält. Jag gör min praktik hos det så kallade NLU-teamet. NLU står för Natural Language Understanding och är en typ av datavetenskap med syfte att lära maskiner hur man tolkar och förstår språk som matas in av människor. Mer specifikt innebär det att lära maskiner vad text (eller tal) betyder, inklusive språkattribut som sentiment, semantik, kontextuella nyanser och avsikter. NLP, Natural Language Processing är en central del inom detta fält som ämnar att ge datorer en form av förståelse och kontext till det mänskliga språket. Framför allt handlar det om hur man kan programmera datorer för att bearbeta och analysera stora mängder språkdata. Röstassistenter, sökmotorer, översättningstjänster eller funktioner som stavkorrigering är exempel på NLP-uppgifter.
Med hjälp av dessa tekniker utvecklar NLU-teamet, tillsammans med partners, den första storskaliga generativa språkmodellen för det svenska språket, GPT-SW3. Språkmodeller är generativa AI-modeller som utifrån ett inledande stycke kan fortsätta generera text i liknande stil. Lite mer i detalj kan man säga att det är en statistisk modell som lär sig en sannolikhetsfördelning över språket genom att tränas på stora mängder data. Enkelt förklarat lär sig alltså generativa språkmodeller språk genom att läsa text. AI Swedens språkmodell är den svenska motsvarigheten till OPEN-AI’s betydligt större variant, GPT-3. AI Sweden syftar till att träna en lika stor modell som OPEN AI’s. För att ge er ett hum om GPT-3’s förmågor så är den här artikeln, som The Guardian publicerade för cirka två år sedan, skriven med hjälp av GPT-3 och redigerad av en redaktör. NLU-teamet hos AI Sweden undersöker i sin tur möjligheten att använda en storskalig svensk generativ språkmodell för att skapa en lösning för olika typer texthanteringuppgifter. Det kan vara uppgifter som att sammanfatta, kategorisera eller generera text. Tillsammans med behovsägare från både privat och offentlig sektor testas nu modellen för att utvärdera möjliga användningsområden.
Första tiden på praktiken spenderade jag med att läsa och skapa mig en uppfattning om vad AI, och framför allt språkmodeller egentligen är. Under läsningens gång fastnade jag särskilt vid hur man valde att beskriva AI-systemen. Dessa tillskrivs nämligen ofta attribut som normalt används för att beskriva mänskliga förmågor som att förstå, lära sig eller att vara kreativ. Gång på gång betonas likheter mellan människor och AI-system, medan skillnader ofta slätas ut. Inom AI-forskningen pågår också debatter om huruvida nuvarande och framtida AI-system kan, eller kommer kunna, besitta mentala förmågor utöver intelligens. Inom området språkmodeller går frågeställningen alltså att översätta ungefär till huruvida dessa modeller faktiskt förstår språk, eller om det bara är statistik som låter språkmodeller bete sig som om de förstår. För att vi ska kunna närma oss ett tillfredsställande svar behöver vi därför klargöra vad vi menar med förståelse.
Ett slutgiltigt svar kommer omöjligt rymmas inom ramen för detta blogginlägg men en intressant definition av just förståelse, som jag till viss del kan hålla med om och som vissa AI-forskare använder sig av, är den som står att finna i Wittgensteins senare verk “Filosofiska undersökningar”.
En central tankegång, som hör hemma i Wittgensteins senare filosofi, var att mening uppstår i bruk, och att mening inte är en inneboende egenskap given ett ord. Språket är inte en neutral avbildning av vår verklighet eller en projektion av världens logiska form. Wittgenstein menar att ord, meningar och språket som helhet används för flera ändamål, och att ändamål, mening och funktion är i konstant rörelse. Språket får således olika innebörder och funktioner i olika kontexter. Förståelsen av ett språk är, enligt Wittgenstein, att förstå den kontext i vilken det hör hemma. Här går det att skymta en viss samstämmighet mellan Wittgensteins teori och sättet på vilket språkmodeller “förstår” språk. Precis som Wittgenstein beskriver utgör kontext en för språkmodellerna betydande, om än inte avgörande roll. En språkmodell kan inte utläsa mening ur ett ord, utan förlitar sig på att ett ords betydelse korrelerar med statistik över ordanvändning härledd från sin textdata – ord får på detta sätt sin mening i en konkret kontext. Alltså: “mening uppstår i bruk”, precis som Wittgenstein påstår.
Mot denna bakgrund, om jag förstår den rätt, menar man nödvändigtvis inte att språkmodeller förstår språk i samma grad som vi människor gör, samtidigt som man heller inte menar att de inte förstår språk på samma sätt. Genom att vända sig till språkfilosofin tillåts vi utforska på vilket sätt och i vilken utsträckning modellerna förstår språk, vilket också kanske är den enda rimliga frågeställningen? Eftersom det egentligen alltid handlar om i vilken utsträckning, snarare än huruvida, någon eller någonting “förstår” ett språk.
På vilket sätt språkmodeller förstår språk låter sig inte besvaras i detta inlägg, och inte vad det innebär att förstå ett språk heller för den delen. Men att utforska gränslandet mellan språkfilosofi och AI är ändå otroligt spännande. Ska man av allt detta försöka dra någon slags slutsats är den kanske att det verkar vara svårt att beskriva hur AI-system fungerar med andra ord än förstå och lära sig. Kanske behövs helt nya ord och termer för att kunna skilja på människor och maskiner, hjärnor och datorer?
/Saga
