Hallucinationer og bias i AI – forstå fejlene og kontrollér svarene

Når en sprogmodel tager fejl, bliver det ofte samlet under ordet “hallucination”. Det er praktisk, men ikke altid præcist. En model kan opfinde en kilde, bruge gammel viden, misforstå et dokument eller gengive skævheder fra data og kontekst. De fejl kræver ikke helt den samme løsning.

Hallucination: når modellen udfylder hullet

En hallucination er den klassiske situation, hvor modellen leverer noget, der lyder plausibelt, men ikke har et faktisk grundlag. Det kan være en bogtitel, en paragraf, et citat eller en begivenhed, der aldrig har eksisteret. Problemet bliver større, fordi sproget ofte er lige så sikkert som ved et korrekt svar.

Mekanismen er ikke mystisk. En sprogmodel danner tekst ved at beregne sandsynlige fortsættelser ud fra mønstre og den kontekst, den får. Der sidder ikke automatisk en faktatjekker, som standser hver sætning og spørger, om verden nu også er sådan. Når et navn, et tal eller en kilde passer sprogligt ind, kan modellen skrive det, selv om belægget mangler.

I en arbejdsgang er “ubegrundet påstand” derfor et mere brugbart ord end “hallucination”. Det flytter fokus fra, hvad modellen “oplever”, til det, man kan kontrollere: findes kilden, understøtter den påstanden, og er forbeholdene kommet med? En søge- eller dokumentfunktion kan reducere nogle af fejlene, men den garanterer ikke korrekthed. Modellen kan citere det forkerte sted, blande to dokumenter sammen, overse en undtagelse eller skrive mere, end kilden bærer.

Forældet viden er en anden fejl

Forældet viden er noget andet. Hvis spørgsmålet handler om en regel, en pris, en modelversion eller en nyhed, kan et svar være korrekt for to år siden og forkert i dag. Her er løsningen ikke en bedre prompt, men en aktuel kilde.

Kontrollen ser derfor anderledes ud: sæt en “gyldig pr.”-dato på svaret, brug den gældende originalkilde, og kontrollér dokumentversionen. Et ældre officielt dokument kan være fuldstændig autentisk og stadig være et forkert grundlag for dagens beslutning.

Bias handler om mønstre og konsekvenser

Bias er heller ikke bare en “fejl i svaret”. Modeller lærer mønstre fra store datamængder og kan videreføre skæv repræsentation eller reagere forskelligt på måder, der ikke er rimelige. Derfor skal man være ekstra forsigtig, når output bruges til vurdering af mennesker, prioritering eller beslutninger med konsekvenser.

Skævheden kommer sjældent fra modellen alene. Et historisk datasæt kan afspejle tidligere forskelsbehandling. En prompt kan indeholde en skjult antagelse. En bedømmer kan acceptere output mere ukritisk, når det bekræfter en forventning. Og en pæn gennemsnitsnøjagtighed kan skjule store forskelle mellem relevante undergrupper.

BBQ-benchmarken viser, hvordan sprogmodeller i underbestemte spørgsmål kan læne sig mod sociale stereotyper. Den er udviklet til en amerikansk-engelsk sammenhæng og kan ikke kopieres som dansk facit – hvilket i sig selv er pointen: bias skal testes i den sprog-, kultur- og anvendelseskontekst, den skal bruges i. At skifte ét navn i en prompt er en hurtig sondering, ikke en fairness-vurdering. Begynd i stedet med at beskrive den skade, I vil opdage: dårligere service, forskellig tone, forkert prioritering, udeladelse eller systematisk fejl.

Kontroller efter typen af påstand

Min praktiske tommelfingerregel er at spørge, hvilken type påstand man står med. Er det noget, der kan slås op i en original kilde? Så gør det. Er det en vurdering? Så skal kriterierne være synlige. Er det en aktuel oplysning? Brug en opdateret kilde. I praksis er det fem trin:

1. Del outputtet op. Markér alt, der kan være sandt eller falsk: navne, datoer, tal, årsager, citater, regler og sammenligninger. En lang sætning kan rumme fire påstande, og én korrekt del må ikke skjule en forkert.
2. Giv hver påstand et risikoniveau. En idé til en overskrift kræver ikke samme dokumentation som en påstand om en borgers rettigheder. Vurdér den endelige anvendelse, ikke prompten.
3. Vælg kilden før søgningen. Gældende retsakt og myndighedsvejledning til en regel, original artikel til et forskningsresultat, årsrapport eller register til et virksomhedstal. En chatbot-citation er en vejviser, ikke dokumentationen.
4. Åbn originalen. Kontrollér titel, afsender, dato og gyldighed, og find det konkrete afsnit, der bærer påstanden. Kan du ikke pege på stedet, er påstanden ikke verificeret.
5. Registrér resultatet. Understøttet, delvist understøttet, modstridt eller uafklaret – med URL, version og dato. Er autoritative kilder uenige, skal forskellen fremgå.

Kontrollér også, om kilden siger mindre end svaret. “Kan være forbundet med” må ikke blive til “fører til”. Et studie i én population må ikke blive til en universel sandhed. En myndighedsanbefaling må ikke omtales som et lovkrav. Kildekontrol handler lige så meget om rækkevidde som om eksistens.

Et konstrueret eksempel: en medarbejder beder et værktøj om at resumere et nyt regelsæt. Outputtet siger, at reglerne gælder alle virksomheder fra 1. januar, at én bestemt myndighed fører tilsyn, og at manglende efterlevelse altid giver en fast bøde. Delt op i fire påstande og holdt op mod retsakten og myndighedens egen side viser det sig, at datoen afhænger af anvendelsen, at flere myndigheder kan have roller, og at sanktionen er en maksimumsramme med betingelser. Fejlen bliver ikke fundet ved at stille det samme spørgsmål igen. Den bliver fundet ved at gøre påstandene mindre.

Jo større konsekvens, desto stærkere kontrol

Og hvis resultatet har stor konsekvens, så skal kontrollen være tilsvarende stærk. Det gælder også, når værktøjet skal rulles ud til flere. Et leverandørbenchmark fortæller ikke, hvordan jeres dokumenter, jeres sprog og jeres fejlkonsekvenser ser ud.

Lav derfor en lille, risikostyret prøve før udrulning: virkelighedsnære opgaver uden unødige persondata, et godkendt facit fra originale kilder, og mål særskilt for faktuelle fejl, manglende oplysninger, forkerte kilder, forældet viden, skævhed og variation mellem gentagelser. Del resultaterne på opgavetyper og relevante undergrupper – et gennemsnit kan skjule, at netop én vigtig type fejler. Og fastlæg tærsklerne, før resultatet ses. Ellers bliver det let at acceptere den fejlrate, værktøjet tilfældigvis leverer.

En stopregel skal have både en udløser og et næste skridt. “Brug sund fornuft” fordeler ikke ansvar. “Ved manglende primærkilde må teksten ikke publiceres; den fagansvarlige afgør, om påstanden fjernes eller undersøges” kan bruges i praksis. Og den, der har skrevet prompten, kan ikke automatisk godkende sin egen kildekontrol, når konsekvensen er stor.

Et AI-output bliver ikke pålideligt af at lyde sikkert eller have fodnoter. Pålideligheden kommer fra en synlig kæde: påstand, risikoniveau, originalkilde, kontrolresultat, ansvarlig person og stopregel. Den kæde gør også bias og forældet viden lettere at få øje på, fordi fejlene ikke længere kan gemme sig i flydende tekst.

Selve instruktionen kan hjælpe kontrollen på vej – se, hvordan en prompt bliver til en arbejdsbeskrivelse med kildekrav. Er materialet billeder, lyd eller video, gælder metoden til at vurdere oprindelse i stedet. Og grænsen mellem forarbejde og ansvar står i Hvad AI ikke kan. Skal kontrollen bruges på en konkret undersøgelse, er fremgangsmåden beskrevet i guiden til research med AI. Flere tekster om de spørgsmål er samlet under temaet AI, data og ansvar, og skal grundlaget på plads fra begyndelsen, er grundkurset Kom godt i gang med AI det korte forløb.

Kilder og videre læsning

• NIST: Generative AI Profile til AI Risk Management Framework, herunder confabulation, harmful bias, automation bias og informationsintegritet.
• Lin, Hilton og Evans: TruthfulQA – originalt benchmarkstudie af modellers sandfærdighed.
• Parrish m.fl.: BBQ – originalt benchmarkstudie af social bias i question answering.
• Bouyamourn: Why LLMs Hallucinate, and How to Get Evidential Closure.