OpenAI pakt hallucinaties aan, maar gokt zonder jouw data

AI werkt niet op basis van waarheid, maar op waarschijnlijkheid. Het voorspelt simpelweg wat het meest logische volgende woord is, gebaseerd op miljoenen patronen uit eerder verzamelde data. Klinkt slim, en dat is het ook, maar het betekent ook dat het antwoord dat je krijgt niet per se juist is. OpenAI deelde een interessant paper over hallucinerende AI. Oftewel: AI die overtuigend antwoord geeft, maar er compleet naast zit.

Wat zijn AI-hallucinaties?

De openingszin van het stuk vat de definitie goed samen: “Language models are known to produce overconfident, plausible falsehoods, which diminish their utility. This error mode is known as hallucination.” Met andere woorden: taalmodellen zeggen dingen die klinken als de waarheid, maar het gewoon niet zijn. En ze zeggen het nog met overtuiging ook.

Dat komt doordat AI geen besef heeft van ‘waar’ of ‘onwaar’. Geen geweten, geen intuïtie en geen innerlijke stem die zegt: “Hier weet ik te weinig van.” Het model is puur gebouwd om het meest waarschijnlijke antwoord te geven, of dat nou klopt of niet.

Waarom AI zo vaak mis zit

De reden achter die hallucinaties ligt diep in de manier waarop AI getraind wordt. Tijdens de pre-training leert het model vooral op basis van herhaling. Maar zeldzame feiten komen vaak maar één keer voor in de trainingsdata. Het herkennen en correct herhalen daarvan is simpelweg moeilijker.

Vervolgens, tijdens de fine-tuning, leren modellen vooral te bluffen. Ze worden beloond voor antwoorden die goed klinken, zelfs als ze fout zijn. Eerlijk zeggen “ik weet het niet” levert minder punten op dan een overtuigend gokje.

Benchmarks versterken dit gedrag nog verder. Veel tests geven alleen punten voor juiste antwoorden, en straffen zowel fouten als het overslaan van een vraag. Het gevolg is dat AI leert dat bluffen loont.

Search grounding als pleister op de wond

Om dit tegen te gaan zetten partijen als OpenAI steeds vaker in op search grounding. Het model zoekt dan aanvullende informatie op uit externe bronnen, zoals het internet, zodra het twijfelt over het antwoord. Slim, maar nog niet waterdicht.

Een ander begrip dat OpenAI introduceert is de singleton rate: het percentage feiten dat maar één keer voorkomt in de trainingsdata. Juist die zeldzame feiten zijn het meest gevoelig voor hallucinatie.

De echte oplossing? De juiste data aanleveren

OpenAI stelt als oplossing een nieuwe aanpak voor: behavioral calibration. Daarbij mag het model alleen antwoorden geven als het een bepaald zekerheidsniveau bereikt, bijvoorbeeld 75 procent. In alle andere gevallen moet het gewoon eerlijk zeggen: “Ik weet het niet.”

Klinkt goed in theorie. Maar in de praktijk betekent dit dat je nóg vaker een model hebt dat je geen antwoord geeft. Want waar moet die zekerheid vandaan komen als jouw specifieke bedrijfsdata niet in het model zit? Daarom is het voeden van AI met de juiste data en context cruciaal.

Voed je AI met de juiste context

Bij NXTLI werken we dagelijks met AI-tools en zien we het verschil zodra we modellen koppelen aan de juiste databronnen. Denk aan marketingstrategie, data vanuit social media, campagnes, website en interne kennis.

Zodra je AI voedt met de juiste context, stijgt de relevantie en betrouwbaarheid van de output direct. Want hoe beter je AI voedt, hoe kleiner de kans op hallucinaties, en hoe groter de kans op output waar je echt iets aan hebt.

Maak iedere week een sprong vooruit in je marketing AI transformatie

Elke vrijdag brengen wij je de meest actuele inzichten, nieuws en praktijkvoorbeelden over de impact van AI in de marketingwereld. Of je nu je marketing efficiency wilt verbeteren, klantbetrokkenheid wilt verhogen, je marketingstrategie wilt aanscherpen of je bedrijf digitaal wilt transformeren. ‘Marketing AI Friday’ is jouw wekelijkse gids.

Meld je gratis aan voor Marketing AI Friday.