Waarom veranderen AI-antwoorden in de loop van de tijd?

Je voert op een maandag dezelfde zoekopdracht uit, plakt deze twee weken later opnieuw, en het antwoord lijkt wel uit een ander systeem te komen. Het verschil kan klein zijn (andere opsommingstekens, andere voorbeelden) of groot (andere conclusies, andere bronnen, andere toon). Als je bezig bent met kwaliteitscontrole, beleidsbeoordeling, validatie van de kennisbank of audits van merkzichtbaarheid, is deze “afwijking van week tot week” geen curiositeit – het is een reproduceerbaarheidsprobleem.

Hoe “drift” eruitziet in de praktijk bij het gebruik van AI

AI-antwoorden veranderen zelden om slechts één reden. Afwijkingen zijn meestal het gevolg van verschillende factoren: modelupdates, wijzigingen in de gegevensverwerking, veiligheidsfilters en willekeur bij het genereren van antwoorden.

Het helpt om de symptomen nauwkeurig te beschrijven voordat je op zoek gaat naar de oorzaken. Verschillende symptomen wijzen op verschillende oplossingen.

• Verandering in de inhoud: feiten, voorbeelden of aanbevolen stappen veranderen.
• Formaatverschuiving: kopteksten, tabellen, JSON-velden of lengtebeperkingen worden niet langer nageleefd.
• Bronverschuiving: dezelfde vraag krijgt verwijzingen van verschillende domeinen of helemaal geen.
• Stance drift: de assistent wordt voorzichtiger, zelfverzekerder of komt tot een andere conclusie.
• Entiteitsverschuiving: merknamen, productkenmerken of definities door elkaar worden gehaald.

Zodra je het type afwijking een naam hebt gegeven, kun je vaststellen of het gaat om “een wijziging in het model”, “een wijziging in de website” of “een wijziging in je testomstandigheden”.”

Waarom AI-antwoorden in de loop van de tijd afwijken

De meeste mensen gaan ervan uit dat de formulering van de prompt de belangrijkste factor is. Die is weliswaar van belang, maar blijkt in herhaalde tests zelden de grootste factor te zijn. De grotere factoren liggen buiten de prompt: de modelversie, de retrieval-laag, de omgeving en de instellingen voor de steekproef.

1) Het model zelf wordt bijgewerkt (onopvallend en regelmatig)

Veel AI-producten worden voortdurend verbeterd. Een “modelupdate” kan een nieuw basismodel, een nieuwe afstemming, nieuwe systeemprompts, nieuwe veiligheidsregels of een nieuwe manier om je verzoek te routeren betekenen.

Ook al ziet de gebruikersinterface er nog hetzelfde uit, kan je prompt door een andere interne stack worden verwerkt dan vorige maand. Dat kan invloed hebben op de stijl, het weigeringsgedrag, de diepgang van de redenering en wat het model als “toegestaan” beschouwt.”

• Sommige updates brengen wijzigingen met zich mee in hoeverre de beperkingen strikt worden nageleefd (opmaak, toon, lengte).
• Sommige updates brengen wijzigingen met zich mee standaardgedrag bij onzekerheid (meer voorzichtigheid, minder details).
• Sommige updates brengen wijzigingen met zich mee waar de assistent prioriteit aan geeft (bronvermeldingen versus synthese, beknoptheid versus volledigheid).

2) Willekeurigheid maakt deel uit van de manier waarop tekstgeneratie werkt

Zelfs bij dezelfde prompt geven veel systemen niet één enkel deterministisch “juist” antwoord. Ze kiezen willekeurig uit een verdeling van waarschijnlijke volgende tokens.

Kleine verschillen in het begin van een reactie stapelen zich op. Een andere eerste zin kan leiden tot een andere opbouw, wat weer leidt tot andere voorbeelden, en dat op zijn beurt weer tot andere conclusies.

Als je drift controleert, beschouw één run dan als een incidentele waarneming. Voer gecontroleerde herhalingen uit en meet de spreiding, net zoals je bij elk stochastisch systeem zou doen.

3) De zoekresultaten veranderen naarmate het internet en de index veranderen

Wanneer een assistent gebruikmaakt van het ophalen van live-webgegevens, test je niet alleen het taalmodel. Je test een volledige pijplijn: het herschrijven van zoekopdrachten, het selecteren van documenten, het rangschikken, het extraheren en het opmaken van bronvermeldingen.

Die lagen verschuiven omdat het web verandert. Pagina’s worden bijgewerkt, verwijderd, achter een betaalmuur geplaatst, omgeleid of naar beneden verdrongen door nieuwe concurrenten.

• Actualiteit van de index: Wat de assistent kan “zien”, hangt af van wat de onderliggende index recentelijk heeft geïndexeerd.
• Veranderingen in de ranglijst: Een kleine wijziging in het algoritme kan ervoor zorgen dat er andere bronnen worden geselecteerd.
• Selectie van fragmenten: zelfs als dezelfde pagina wordt opgehaald, kan er een andere passage worden geëxtraheerd.

Als je werkt met SearchGPT-achtige ervaringen, is de zoekindex van groot belang. Een praktisch gevolg hiervan is dat een website in het ene ecosysteem zichtbaar kan zijn en in het andere in feite onzichtbaar, wat zich uit in ‘source drift’ en ontbrekende verwijzingen. De werkwijze van het testen van prompts in verschillende tools, inclusief het vastleggen van verschillen in zoekresultaten, wordt behandeld in hoe je prompts kunt testen in ChatGPT, Gemini en Perplexity.

4) Veiligheid, naleving en beleidsrichtlijnen zijn aan verandering onderhevig

Afwijzingen en antwoorden als “Daar kan ik je niet mee helpen” kunnen veranderen, zelfs als de prompt hetzelfde blijft. Dat betekent niet altijd dat het model “slechter is geworden”. Het kan betekenen dat de interpretatie van de regels is veranderd, of dat de tool strenger is geworden in grensgevallen.

Beleidsverschuivingen komen vaak voor op gebieden als de gezondheidszorg, het recht, de financiële sector, cyberbeveiliging en gevoelige persoonsgegevens. Dit kan zich uiten in:

• Meer disclaimers en minder concrete stappen
• Meer verzoeken om verduidelijking
• Meer conservatieve aanbevelingen

Als je merkt dat het deze kant op gaat, is de oplossing zelden “de prompt herschrijven”. De oplossing is om de reikwijdte te beperken, het beoogde gebruik te specificeren en riskante dubbelzinnigheden weg te nemen, zodat de assistent veilig kan antwoorden zonder het verzoek te weigeren.

5) De context van je sessie beïnvloedt het antwoord, ook al denk je van niet

Veel chattools gebruiken de gespreksgeschiedenis als onderdeel van de invoer. Als je in een bestaande thread test, voer je niet dezelfde prompt uit. Je voert dan “prompt + verborgen context” uit.”

De context kan bestaan uit eerdere berichten, de status van de tool, aangepaste instructies, geheugenfuncties of zelfs de door jou geselecteerde taal en regio. Dit kan van invloed zijn op de aannames van de assistent, de voorbeelden die hij kiest en de risico’s die hij signaleert.

• Nieuwe chat versus lopende chat
• Ingelogd versus uitgelogd
• Regio- en taalinstellingen
• Schakelen tussen de modi ‘Bladeren’ en ‘Bronnen’

6) Aanpassingen aan de interface van het model (koppelingen, zoekmodi, bronvermeldingen)

Zelfs als het basismodel grotendeels hetzelfde blijft, werken productteams de “wrapper” voortdurend bij. Die wrapper kan bijvoorbeeld bestaan uit verschillende navigatiemodi, opmaakopties voor bronvermeldingen, koppelingen naar interne documenten of aangepaste verwerkingsroutes voor bepaalde soorten prompts.

Daarom kunnen twee ervaringen waarbij telkens “ChatGPT” of “Gemini” wordt vermeld, verschillend uitpakken, afhankelijk van de modus die je hebt gebruikt. In de praktijk is dit een van de redenen waarom merk- en citatie-audits een stabiel protocol en een duidelijk overzicht van modusvlaggen vereisen.

Hoe stel je vast wat de oorzaak van de afwijking was?

Bij diagnose gaat het erom de juiste variabelen te registreren, niet om elke variabele te verzamelen. Je wilt het aantal plausibele verklaringen terugbrengen totdat er nog maar één overblijft.

Gebruik een eenvoudige triagetabel voor drift

Deze tabel is bedoeld om je zonder giswerk naar de juiste volgende controle te leiden.

Voer gecontroleerde herhalingen uit en registreer de spreiding

Een praktisch uitgangspunt is drie metingen, elk in een nieuwe sessie, binnen hetzelfde uur. Als de spreiding groot is, meet je willekeur of onduidelijkheid, en niet “een stabiel vermogen”.”

Voor teams die behoefte hebben aan een herhaalbare QA-workflow, is de aanpak met rubrieken en logboeken van testopdrachten voor ChatGPT, Gemini en Perplexity is een goede operationele norm: het dwingt je om invoer, systeemgedrag en uitvoer van elkaar te scheiden.

Metadata bijhouden waarmee wijzigingen verklaarbaar worden

Hiervoor heb je geen ingewikkeld programma nodig. Een spreadsheet is voldoende, zolang daarin maar de velden zijn opgenomen die de afwijking verklaren.

• Datum-/tijdvenster
• Functie en modus (bladeren/bronnen aan of uit)
• Regio/taal
• Nieuwe chat of bestaande chat
• Prompt-ID en exacte tekst
• Publicaties en citaties
• Score (nauwkeurigheid, volledigheid, naleving van de opmaakvoorschriften)

Hoe je afwijkingen kunt beperken als je reproduceerbare resultaten nodig hebt

Je kunt het hele ecosysteem niet stilzetten, maar je kunt je tests wel zo stabiel maken dat verschillen interpreteerbaar zijn. Het doel is niet “voor altijd identieke tekst”. Het doel is “stabiele evaluatie en controleerbaarheid”.”

Maak de opdracht minder dubbelzinnig, niet langer

Dubbelzinnigheid leidt tot variatie. Een strak afgebakende reikwijdte beperkt variatie.

• Geef de doelgroep en de context aan (functie, branche, beperkingen).
• Bepaal wat buiten het toepassingsgebied valt (“X valt hier niet onder”)
• Een bepaalde opmaak van de uitvoer vereisen (opsommingstekens, tabel, vaste kopteksten)
• Vraag expliciet naar aannames (“Geef de aannames in 3 punten weer”)

Standaardiseer je omgeving

Gebruik nieuwe chats voor basistests. Zorg ervoor dat de vlaggen voor regio, taal en modus binnen een cyclus consistent blijven. Vermijd het door elkaar gebruiken van tests waarbij gebruikers zijn ingelogd en tests waarbij ze zijn uitgelogd, tenzij dat verschil juist het doel is.

Maak een onderscheid tussen “evaluatieopdrachten” en “productieopdrachten”

De aanwijzingen die voor metingen worden gebruikt, moeten stabiel en saai zijn. De aanwijzingen die voor het dagelijkse werk worden gebruikt, mogen veranderen.

Als je die twee door elkaar haalt, kun je niet meer vaststellen of de resultaten zijn veranderd doordat de tool is veranderd of doordat je team zijn manier van vragen stellen heeft aangepast.

Gebruik gezaghebbende referentiepunten voor definities

Wanneer teams ruzie maken over de vraag of een antwoord is “veranderd”, komen meningsverschillen vaak voort uit uiteenlopende definities van dezelfde term. Een neutraal uitgangspunt kan dat voorkomen.

Als je bijvoorbeeld een uniforme definitie van generatieve AI nodig hebt voor al je auditdocumenten, dan is het overzicht op Wikipedia een veelgebruikte bron: Generatieve kunstmatige intelligentie.

Wat ‘drift’ betekent voor merkzichtbaarheid en audittrajecten

Als je het gebruikt voor merkmonitoring – of assistenten je nu noemen, naar je verwijzen of je correct beschrijven – dan is afwijking geen ruis. Het maakt deel uit van het systeem dat je meet.

Daarom zijn er voor zichtbaarheidswerk maatstaven nodig die bestand zijn tegen wekelijkse schommelingen in de output. Het meetkader in vertrouwenssignalen die de kans op citatie door AI vergroten kan je helpen je te concentreren op wat stabiel blijft: vindbaarheid, bronvermelding en citeerbare passages.

Als u op zoek bent naar een eenvoudige, herhaalbare manier om afwijkingen bij te houden, prompts te testen en de bevindingen te koppelen aan een publicatie- en intern linkplan, dan kan Authora u helpen bij het opzetten van een gestructureerde workflow die reproduceerbare AI-audits op de lange termijn ondersteunt.