Twee teams kunnen dezelfde prompt invoeren en zweren dat ze \u201cverschillende modellen\u201d hebben gekregen. Vaak hebben ze gewoon een andere accountstatus. De inlogstatus bepaalt wat de assistent over je weet, wat hij onthoudt, welke tools hij beschikbaar stelt en soms ook wat hij bereid is te laten zien.<\/p>\n
Het is niet verkeerd om testopdrachten uit te voeren terwijl je bent ingelogd. Het is een afweging tussen realisme (je gebruikers zijn vaak ingelogd) en controle (je wilt herhaalbare vergelijkingen tussen cycli).<\/p>\n
De accountstatus bestaat uit een reeks variabelen. Sommige zijn voor de hand liggend, zoals de chatgeschiedenis; andere zijn subtieler, zoals feature flags en regionale standaardinstellingen.<\/p>\n
Dankzij vergelijkbaarheid kun je volgende maand met een strak gezicht zeggen: \u201cPrompt B is beter dan Prompt A\u201d. Wanneer de toestand van de account afwijkt, meet je uiteindelijk alles behalve de prompt.<\/p>\n
Zelfs als je een \u201cnieuwe chat\u201d start, is de omgeving zelden leeg. Een omgeving waarin je bent ingelogd, kan voorkeuren en achtergrondinstellingen bevatten die je vanuit de gebruikersinterface niet volledig kunt zien.<\/p>\n
De juiste aanpak hangt af van wat je probeert te achterhalen. Behandel de inlogstatus net zoals je het apparaattype in webanalyse zou behandelen: het be\u00efnvloedt het resultaat, dus je beslist zelf of je het normaliseert of segmenteert.<\/p>\n\t\t