Waarom lopen de antwoorden van ChatGPT zo sterk uiteen per run?

Je plakt dezelfde prompt in ChatGPT, drukt drie keer op Enter in nieuwe chats, en de antwoorden verschillen aanzienlijk van elkaar. Soms verandert de structuur. Soms draait de aanbeveling volledig om. Soms is de ene run voorzichtig en de volgende juist gedurfd. Die variatie bij herhaalde pogingen is geen verbeelding, en het is niet altijd “willekeur” in de informele zin van het woord.

Wat “hoge herhalingsvariantie” in de praktijk betekent

Een hoge herhalingsvariantie betekent dat kleine of geen veranderingen in de invoer leiden tot een grote spreiding in de uitvoer: verschillende beweringen, verschillende prioriteiten, verschillende stappen of verschillende opmaak. Dit kan zich uiten in een andere woordkeuze, maar de meer problematische variant is beslissingsvariantie, waarbij het model verschillende keuzes maakt over wat belangrijk is.

Bij het oplossen van problemen helpt het om twee soorten variatie van elkaar te onderscheiden: cosmetische variatie (toon, formulering, volgorde) en functionele variatie (feiten, beperkingen, ja/nee-beslissingen). Functionele variatie is de variatie die de betrouwbaarheid ondermijnt.

Een snelle manier om de herhalingsspreiding te meten

Voordat je probeert een prompt te “repareren”, moet je de spreiding kwantificeren, zodat je weet of je te maken hebt met ruis of met een herhaalbare storingsmodus.

• Voer precies dezelfde opdracht vijf keer uit in afzonderlijke nieuwe chats.
• Beoordeel elke output aan de hand van dezelfde beoordelingscriteria: juistheid, volledigheid en naleving van de voorwaarden.
• Geef elke fout een label (niet-nageleefde voorwaarde, verzonnen feiten, verkeerde aannames, afwijking van het formaat).

Dit is dezelfde werkwijze die wordt gebruikt bij het controleren van prompts voor verschillende tools, maar dan toegepast binnen één assistent. Als je al tests uitvoert voor meerdere assistenten, dan is de workflow in testopdrachten voor ChatGPT, Gemini en Perplexity kan netjes worden toegepast om controles binnen ChatGPT opnieuw uit te voeren.

Wat is de oorzaak van de grote variatie in herhalingsresultaten bij ChatGPT?

Variatie bij herhalingen is het gevolg van een combinatie van steekproefgedrag, verborgen context, verschillen in het ophalen van informatie en vrijheidsgraden in de prompt. Het belangrijkste is dat deze factoren elkaar versterken: een kleine bron van variabiliteit kan groot worden zodra deze in wisselwerking staat met een vage prompt en een veranderend contextvenster.

1) Instellingen voor steekproeven en “tie-breaks” bij kansberekeningen”

Op het moment van genereren kiest het model het volgende token uit een waarschijnlijkheidsverdeling. Als er meerdere vervolgingen aannemelijk zijn, kunnen kleine veranderingen in de interne steekproefname ervoor zorgen dat het antwoord al vroeg een andere richting inslaat, wat vervolgens een kettingreactie veroorzaakt die leidt tot een andere structuur en inhoud.

Zelfs als de temperatuur voor jou als gebruiker niet zichtbaar is, maakt het systeem nog steeds gebruik van een vorm van stochastische decodering. Als je prompt meerdere redelijke interpretaties toelaat, heeft het model meer “ruimte” om verschillende wegen te kiezen.

2) Vrijheidsgraden van de prompt (de meest voorkomende oorzaak)

De grootste variatie ontstaat door prompts waarin belangrijke beslissingen niet worden gespecificeerd. Als je de doelgroep, de reikwijdte en de succescriteria niet vastlegt, moet ChatGPT deze zelf bedenken. Bij verschillende doorlopen kunnen er verschillende aannames worden gemaakt.

Veelvoorkomende vrijheidsgraden die de variantie vergroten:

• Onduidelijke doelgroep: Of je een beginner of een expert bent, bepaalt hoe voorzichtig en gedetailleerd het antwoord is.
• Onduidelijk doel: uitleggen, overtuigen, vergelijken, problemen oplossen of een beslissing nemen.
• Onbeperkt toepassingsgebied: “Vertel me alles” leidt tot een andere keuze van wat er moet worden opgenomen.
• Ontbrekende beperkingen: aantal woorden, opmaak, toegestane bronnen, tijdsbestek.
• Impliciete afwegingen: kosten versus snelheid versus risico versus nauwkeurigheid, zonder dat er een voorkeur is aangegeven.

Als je belangrijkste vraag is “waarom de antwoorden van ChatGPT per run verschillen”, begin dan met het beperken van deze vrijheidsgraden voordat je de hele prompt herschrijft.

3) Verborgen context uit het gesprek of de status van het account

Het gedrag van ChatGPT kan veranderen op basis van wat het zich binnen de huidige chat “herinnert”. Zelfs in een nieuwe chat kunnen instellingen op accountniveau en de UI-modus de uitvoer beïnvloeden. Dat leidt vaak tot een veelvoorkomende valkuil: je denkt dat je dezelfde test opnieuw uitvoert, terwijl de omgeving is veranderd.

Dingen die vaak van elkaar verschillen zonder dat dit meteen opvalt:

• Of je nu in een langdurig gesprek zit of in een nieuw gesprek (effecten van het contextvenster).
• Of “Browsen”, ‘Zoeken’ of ‘Hulpmiddelen’ in die sessie zijn ingeschakeld.
• Taal- en regio-instellingen die invloed hebben op voorbeelden, voorschriften of standaardinstellingen.
• Kleine verschillen in systeeminstructies waar je geen invloed op hebt (modelupdates, veiligheidsaanpassingen).

Als je reproduceerbare tests nodig hebt, behandel herhalingen dan als kwaliteitscontrole: een nieuwe chat per herhaling, dezelfde prompt plakken, dezelfde modusvlaggen, hetzelfde tijdvenster. Het Cross-Assistant-protocol in deze handleiding voor het testen van prompts blijft relevant, zelfs als je maar één tool gebruikt.

4) Retrieval-effecten wanneer de tool externe informatie ophaalt

Als ChatGPT gebruikmaakt van browsen of het ophalen van informatie, wordt het antwoord deels bepaald door welke documenten worden opgehaald en gerangschikt. Als de opgehaalde verzameling verandert, kan het model zich op andere details baseren en tot een andere conclusie komen.

Variatie in de zoekresultaten kan op “willekeur” lijken, maar is vaak te wijten aan “andere bronnen deze keer”. Dit is vooral duidelijk wanneer je om recente informatie, statistieken of specifieke aanbevelingen vraagt.

Voor een neutrale basisdefinitie van wat “generatieve AI” inhoudt (handig wanneer teams van mening verschillen over wat onder ‘ophalen’ en wat onder ‘genereren’ valt), is Wikipedia een praktische bron: Generatieve kunstmatige intelligentie.

5) Veiligheids- en beleidsgrenzen die op verschillende manieren in werking treden

Sommige prompts bevinden zich op het snijvlak van beleidsgrenzen: medisch, juridisch of gereguleerd advies, persoonsgegevens, of alles wat lijkt op “instructies om schade aan te richten”. In die zone kan het model bij verschillende runs verschillende niveaus van voorzichtigheid hanteren, vooral als je prompt onduidelijk is over de bedoeling.

Twee verloopvarianten kunnen uiteenlopen doordat de ene de route “algemene informatie” volgt, terwijl de andere de route “geen details” kiest. Als dat het geval is, kun je de variatie vaak verminderen door een veilige intentie en een toegestaan toepassingsgebied aan te geven, zoals “algemeen educatief overzicht, geen persoonlijk advies”.”

Hoe je afwijkingen snel kunt vaststellen (een praktische checklist)

Het oplossen van afwijkingen wordt eenvoudiger zodra je de storingsmodus hebt geïdentificeerd. Gebruik deze checklist om giswerk te voorkomen.

Stap 1: Ga na of het verschil louter cosmetisch of functioneel is

• Cosmetica: dezelfde beweringen en stappen, maar met een andere formulering en volgorde.
• Functioneel: verschillende feiten, verschillende aanbevelingen, over het hoofd geziene beperkingen, verzonnen details.

Als het om een cosmetisch probleem gaat, hoeft u wellicht niets te “repareren”. Als het om een functioneel probleem gaat, ga dan verder met stap 2.

Stap 2: Geef de dominante faalwijze aan

• Afwijking van de aanname: het model verandert van doelgroep, sector of context.
• Afwijking van het waarnemingsgebied: het model breidt zich uit naar aanverwante onderwerpen waar je niet om hebt gevraagd.
• Afwijking van de beperking: houdt geen rekening met vereisten inzake indeling, lengte of “moet bevatten”-vereisten.
• Verandering in het vertrouwen: De ene aanpak is voorzichtig, de andere is daadkrachtig.
• Afwijking bij het ophalen: Verschillende bronvermeldingen of verwijzingen leiden tot verschillende antwoorden.

Stap 3: Voer de berekening opnieuw uit met een gecontroleerd raamwerk

Zorg dat je kernbeweging soepel verloopt, en voeg vervolgens een korte ondersteuning toe die voor stabiliteit zorgt:

• Functie: “Je bent technisch redacteur” of “Je bent QA-analist.”
• Doelgroep: “Schrijf voor een productmanager met basiskennis van machine learning.”
• Weergavevorm: genummerde stappen, tabel of vaste secties.
• Aannames: noem 2 tot en met 4 aannames en voeg geen nieuwe toe.
• Uitsluitingen: geef aan wat niet aan bod mag komen.

Als je dit doet, geef je geen “te veel aanwijzingen”. Je neemt juist de onduidelijkheid weg die ervoor zorgt dat de spreiding bij herhalingen toeneemt.

Hoe de variantie in herhalingen te verminderen zonder dat de antwoorden er slechter op worden

Veel teams proberen variatie tegen te gaan door het model in een star sjabloon te persen, waardoor het zijn nut verliest. Een beter doel is stabiele beslissingen met een flexibele formulering.

Gebruik een “antwoord-eerst”-beperkingsblok

Geef eerst een kort stukje tekst waarin wordt gedefinieerd wat als een juist antwoord geldt, en laat het model vervolgens verder uitwerken. Als je een herbruikbare sjabloon voor die aanpak zoekt, kijk dan op hoe schrijf je een ‘answer-first’-blok voor AI-offertes. Hetzelfde principe geldt voor prompts: een duidelijke, citeerbare kern zorgt ervoor dat er minder geïmproviseerd wordt.

Vraag of onzekerheid wordt uitgesproken, en niet verborgen blijft

Variatie is vaak het gevolg van onzekere aspecten van de taak. Je kunt de resultaten stabieler maken door het model te laten onderscheiden wat bekend is en wat een schatting is.

• “Maak een lijst van zaken waar je zeker van bent, en zet die tegenover zaken die op aannames berusten.”
• “Als er meerdere geldige benaderingen zijn, leg dan twee opties voor en geef aan wanneer elke optie van toepassing is.”
• “Verzin geen cijfers; als ze ontbreken, zeg dan ‘gegevens niet verstrekt’.”

Voeg een eenvoudige zelfcontrole toe

Een eenvoudige instructie als “Controleer voordat je het definitief maakt of je aan alle voorwaarden hebt voldaan” beperkt afwijkingen in de opmaak. Dit zal hallucinaties niet volledig uitsluiten, maar het vermindert wel vermijdbare fouten bij herhaalde uitvoeringen.

Gebruik deterministische nabewerking voor de opmaak

Als je veel waarde hecht aan een vaste uitvoerindeling (JSON, CSV, een tabel met vaste kolommen), kun je overwegen om het opstellen van de inhoud los te koppelen van de opmaak. Vraag ChatGPT om de inhoud en vraag het vervolgens in een tweede stap om deze om te zetten naar het gewenste formaat.

Dit vermindert de variantie, omdat het “creatieve” deel en het “compliance”-deel binnen één generatie niet met elkaar concurreren.

Een korte beslissingstabel om je resultaten te interpreteren

Deze tabel is bedoeld om je te helpen bepalen wat je moet aanpassen op basis van wat je in herhalingen waarneemt.

Wat moet je vervolgens doen als je betrouwbaarheid nodig hebt bij veel verschillende prompts?

Als je een probleem met één prompt oplost, kun je dit meestal verhelpen door strengere voorwaarden te hanteren en de logbestanden van de herhaling netjes bij te houden. Als je tientallen prompts moet oplossen, heb je een herhaalbare testcyclus nodig en een manier om de opgedane kennis om te zetten in een systeem op basis van inhoud en autoriteit, waardoor het ophalen van informatie voorspelbaarder wordt.

Als u hulp nodig hebt bij het opzetten van zo’n gestructureerde workflow – prompt-sets, herhalingen van kwaliteitscontroles en content die voor AI-systemen gemakkelijker te vinden en te citeren is – kan Authora u ondersteunen met een beheerd programma voor organische groei dat is ontworpen om zowel in zoekresultaten als bij AI-assistenten beter zichtbaar te zijn.