Kunskapskartan
utvärdering
9 begrepp ur kartan.
Det som gör era övriga system pålitliga är att en enda kontroll räcker, och just den egenskapen faller bort här. Deterministiskt och generativt Samma fråga kan ge ett annat svar, och det är så systemet fungerar. Varför svaret varierar Kvaliteten sjunker gradvis långt innan något tak nås. Varför långa samtal blir sämre En ändring i en instruktion är en ändring i systemet, men den ser inte ut som en. Utvärdera en prompt Kvaliteten sitter i söksteget, som är den del ingen demonstrerar. RAG Underlaget, användningen och modellen rör sig, så en lösning blir sämre utan att någon gjort fel. Utvärdering i drift En lyckad körning är ett utfall ur en fördelning, så det som ska jämföras är spridningen. Mät i band, inte i körningar Utan en namngiven ägare mäter fallsamlingen att systemet gör som det brukar. Fallsamlingens ägare En hårdare instruktion och en tyngre arkitektur kan båda mäta sämre än det de ersatte. När mer blir sämre
Inget träffar det filtret. Prova ett annat område eller hör av er, så pekar vi rätt.