Fredag 10. januar holdt språkteknologigruppen (LTG) ved UiO et seminar om store språkmodeller (LLMer). Andrey Kutzov og David Samuel startet seminaret med foredrag om grunnleggende konsepter innen dyp læring og transformerteknologi, og forklarte hvordan disse modellene benyttes i pre-trening for å oppnå tilsynelatende menneskelignende samtaleevner.
Egil Rønningstad holdt deretter en praktisk workshop, assistert av David og Andrey, der 50 virtuelle maskiner ble satt opp på den norske AI-skyen (NAIC), med store språkmodeller for norsk med åpen kildekode (NORA.LLM-modellfamilien) ved bruk av Python. Dette oppsettet gjorde det mulig for alle studentene å logge på NAIC og komme i gang med modellene på bare noen få minutter.
Studentene fikk en solid forståelse av grunnprinsippene for moderne generative språkmodeller og praktisk erfaring med å laste inn, bruke og evaluere LLMer på NAIC, heller enn å henvende seg til black-box APIer som ChatGPT.
Denne workshopen viser fordelene ved det samordnede arbeidet i NORA-konsortiet, der NAIC bidrar med datakraft og LTG deler sin ekspertise. Alt dette ble samlet på den velorganiserte vinterskolen i Tromsø, arrangert av SFI Visual Intelligence / maskinlæringsgruppen som en del av NORA Norwegian AI Research School.
En stor tatt til alle involverte, og spesielt til Visual Intelligence, for enda en fantastisk NLDL-konferanse og vinterskole!