Je voert op een maandag dezelfde zoekopdracht uit, plakt deze twee weken later opnieuw, en het antwoord lijkt wel uit een ander systeem te komen. Het verschil kan klein zijn (andere opsommingstekens, andere voorbeelden) of groot (andere conclusies, andere bronnen, andere toon). Als je bezig bent met kwaliteitscontrole, beleidsbeoordeling, validatie van de kennisbank of audits van merkzichtbaarheid, is deze \u201cafwijking van week tot week\u201d geen curiositeit \u2013 het is een reproduceerbaarheidsprobleem.<\/p>\n
AI-antwoorden veranderen zelden om slechts \u00e9\u00e9n reden. Afwijkingen zijn meestal het gevolg van verschillende factoren: modelupdates, wijzigingen in de gegevensverwerking, veiligheidsfilters en willekeur bij het genereren van antwoorden.<\/p>\n
Het helpt om de symptomen nauwkeurig te beschrijven voordat je op zoek gaat naar de oorzaken. Verschillende symptomen wijzen op verschillende oplossingen.<\/p>\n
Zodra je het type afwijking een naam hebt gegeven, kun je vaststellen of het gaat om \u201ceen wijziging in het model\u201d, \u201ceen wijziging in de website\u201d of \u201ceen wijziging in je testomstandigheden\u201d.\u201d<\/p>\n
De meeste mensen gaan ervan uit dat de formulering van de prompt de belangrijkste factor is. Die is weliswaar van belang, maar blijkt in herhaalde tests zelden de grootste factor te zijn. De grotere factoren liggen buiten de prompt: de modelversie, de retrieval-laag, de omgeving en de instellingen voor de steekproef.<\/p>\n\t\t