Je plakt dezelfde prompt in ChatGPT, drukt drie keer op Enter in nieuwe chats, en de antwoorden verschillen aanzienlijk van elkaar. Soms verandert de structuur. Soms draait de aanbeveling volledig om. Soms is de ene run voorzichtig en de volgende juist gedurfd. Die variatie bij herhaalde pogingen is geen verbeelding, en het is niet altijd \u201cwillekeur\u201d in de informele zin van het woord.<\/p>\n
Een hoge herhalingsvariantie betekent dat kleine of geen veranderingen in de invoer leiden tot een grote spreiding in de uitvoer: verschillende beweringen, verschillende prioriteiten, verschillende stappen of verschillende opmaak. Dit kan zich uiten in een andere woordkeuze, maar de meer problematische variant is beslissingsvariantie, waarbij het model verschillende keuzes maakt over wat belangrijk is.<\/p>\n
Bij het oplossen van problemen helpt het om twee soorten variatie van elkaar te onderscheiden: cosmetische variatie (toon, formulering, volgorde) en functionele variatie (feiten, beperkingen, ja\/nee-beslissingen). Functionele variatie is de variatie die de betrouwbaarheid ondermijnt.<\/p>\n
Voordat je probeert een prompt te \u201crepareren\u201d, moet je de spreiding kwantificeren, zodat je weet of je te maken hebt met ruis of met een herhaalbare storingsmodus.<\/p>\n
Dit is dezelfde werkwijze die wordt gebruikt bij het controleren van prompts voor verschillende tools, maar dan toegepast binnen \u00e9\u00e9n assistent. Als je al tests uitvoert voor meerdere assistenten, dan is de workflow in testopdrachten voor ChatGPT, Gemini en Perplexity<\/a> kan netjes worden toegepast om controles binnen ChatGPT opnieuw uit te voeren.<\/p>\n Variatie bij herhalingen is het gevolg van een combinatie van steekproefgedrag, verborgen context, verschillen in het ophalen van informatie en vrijheidsgraden in de prompt. Het belangrijkste is dat deze factoren elkaar versterken: een kleine bron van variabiliteit kan groot worden zodra deze in wisselwerking staat met een vage prompt en een veranderend contextvenster.<\/p>\n\t\tWat is de oorzaak van de grote variatie in herhalingsresultaten bij ChatGPT?<\/h2>\n