Wat is een foundation model? Een begrijpelijke uitleg voor professionals

De term die iedereen gebruikt maar weinigen echt begrijpen

Toen OpenAI eind 2022 ChatGPT lanceerde, veranderde de wereld van de ene op de andere dag. Plotseling had iedereen het over AI. Maar achter de chatbot die de hele wereld in zijn greep hield, zit iets fundamentelers: een foundation model. En als je een professional bent die beslissingen neemt over AI in je organisatie, is begrijpen wat een foundation model is belangrijker dan weten hoe je de perfecte prompt schrijft.

De term "foundation model" werd in 2021 bedacht door onderzoekers van Stanford University. Ze hadden een naam nodig voor een nieuwe klasse AI-systemen die niet netjes in bestaande categorieën paste. Dit waren niet de smalle, taakgerichte AI-systemen die bedrijven al jaren gebruikten om spam te filteren of producten aan te bevelen. Dit was iets heel anders.

Wat een foundation model anders maakt

Een foundation model is een groot AI-systeem dat getraind is op enorme hoeveelheden data en aangepast kan worden voor een breed scala aan taken. Zie het als het verschil tussen een specialist en een generalist. Traditionele AI-modellen waren specialisten: getraind op een specifieke dataset om een specifiek ding te doen. Een spamfilter kijkt naar e-mails. Een aanbevelingsengine kijkt naar aankoopgeschiedenis. Elk doet zijn werk goed, maar vraag het iets anders te doen en het faalt volledig.

Foundation models zijn generalisten. GPT-4, Claude, Gemini, Llama, deze systemen zijn getraind op enorme datasets met boeken, websites, code-repositories, wetenschappelijke artikelen en nog veel meer. Het resultaat is een model dat een breed begrip heeft ontwikkeld van taal, redenering en kennis. Je kunt het vragen een juridisch memo te schrijven, kwantumfysica uit te leggen, een document te vertalen of een spreadsheet te analyseren. Het kan al deze taken aan omdat het patronen heeft geleerd over al deze domeinen heen.

Het woord "foundation" is bewust gekozen. Deze modellen dienen als fundament waarop specifieke toepassingen worden gebouwd. ChatGPT is een applicatie gebouwd bovenop het GPT-4 foundation model. GitHub Copilot gebruikt dezelfde onderliggende technologie maar past het specifiek toe op code. Microsoft 365 Copilot gebruikt het voor kantoorproductiviteit. Een fundament, veel gebouwen.

Hoe foundation models daadwerkelijk leren

Het trainingsproces achter een foundation model is conceptueel eenvoudig, ook al is de techniek enorm complex. Het model leest tekst en leert te voorspellen wat er daarna komt. Bij de zin "De hoofdstad van Frankrijk is" leert het model dat "Parijs" het meest waarschijnlijke volgende woord is. Doe dit miljarden keren over terabytes aan tekst, en er gebeurt iets opmerkelijks: het model ontwikkelt wat lijkt op begrip.