Når AI tager fejl: Sådan skelner du mellem hallucinationer, bias og forældet viden

En AI skriver et overbevisende svar om en ny regel. Den nævner en myndighed, et årstal og et dokument med en titel, der lyder helt rigtig. Linket virker bare ikke.

I et andet svar bruger modellen en sats, som faktisk stod på myndighedens side – sidste år.

I et tredje svar er alle fakta korrekte, men rådene passer kun til en stor virksomhed og overser små organisationers virkelighed.

De tre svar er problematiske på hver sin måde. Hvis vi kalder dem alle “hallucinationer”, bliver kontrollen uklar.

Hallucination: Når modellen udfylder et hul med noget sandsynligt

NIST bruger ordet confabulation om generativ AI, der fremsætter fejlagtigt eller falsk indhold med et sikkert udtryk. Det kan være en opdigtet påstand, en ikke-eksisterende kilde, en forkert sammenkobling af to personer eller en forklaring, der modsiger sig selv.

Det er ikke en bevidst løgn. En sprogmodel har ikke et indre forhold til sandheden, som et menneske har. Den producerer et sandsynligt output ud fra sin kontekst og sine mønstre. Derfor kan en titel, en paragraf eller et citat se rigtigt ud, selv om det aldrig har eksisteret.

Hallucinationer opstår især let, når opgaven kræver en præcis detalje, som ikke findes i materialet, eller når modellen presses til at svare i stedet for at måtte sige “det ved jeg ikke”.

Den relevante kontrol er at finde den påståede original: dokumentet, datasættet, afgørelsen, lovteksten eller den person, der citeres.

Forældet viden: Rigtigt dengang, forkert nu

En pris, en sats, en minister, en produktfunktion eller en tidsplan kan ændre sig. Her kan svaret være baseret på reel, men gammel information.

Det er ikke nødvendigvis hallucination. Fejlen ligger i aktualiteten.

Spørg derfor altid:

• Hvilken dato gælder oplysningen for?
• Hvornår blev siden eller dokumentet sidst opdateret?
• Er der en nyere version eller en ikrafttrædelsesdato?
• Beskriver kilden en vedtaget regel, et forslag eller en plan?

Et levende link er ikke nok. En gammel myndighedsside kan stadig være tilgængelig, og en søgemaskine kan vise en udløbet sats højt i resultatet.

Når aktualitet betyder noget, skal datoen være en del af opgaven: “Kontrollér den gældende sats pr. 1. september 2026 i den ansvarlige myndigheds aktuelle materiale.”

Bias: Når skævheden er systematisk

Bias er ikke bare et enkelt forkert svar. Det er en systematisk skævhed, der kan komme fra flere steder:

• træningsdata, hvor nogle grupper eller perspektiver fylder mere end andre
• måden opgaven er formuleret på
• de kilder, systemet får adgang til
• kategorier og succeskriterier, som organisationen selv har valgt
• den måde output bruges i en virkelig beslutning

Et system kan være faktuelt korrekt og stadig skævt. En model, der foreslår kandidater til en lederstilling, kan bruge et snævert billede af, hvordan ledelseserfaring ser ud. Et undervisningsværktøj kan skrive eksempler, der altid tager udgangspunkt i samme familieform, kultur eller økonomi.

Kontrollen er derfor ikke kun at faktatjekke. Den er også at sammenligne på tværs: Hvem bliver repræsenteret? Hvem mangler? Ændrer svaret sig urimeligt, når et navn, køn eller postnummer skifter? Er de valgte kategorier relevante og lovlige?

Manglende kontekst: Et korrekt svar på den forkerte opgave

En fjerde fejltype bliver ofte overset. Modellen kan levere et korrekt og velskrevet svar, som ikke passer til situationen, fordi den mangler kontekst.

“Lav en returpolitik” kan give en generisk tekst, der ikke tager højde for virksomhedens varer, salgskanaler og gældende vilkår. “Lav feedback til denne elev” kan overse niveau, læringsmål og tidligere undervisning.

Fejlen er hverken opdigtet fakta eller træningsbias. Det er en dårlig opgavebeskrivelse eller et mangelfuldt datagrundlag.

Løsningen er at gøre kontekst og grænser synlige og bede modellen stille spørgsmål, når noget afgørende mangler.

Kildepynt: Når citater ser bedre ud end dokumentationen er

Et AI-svar kan indeholde fem links og stadig være dårligt dokumenteret.

Se efter tre ting:

Dækker kilden påstanden?

En kilde om AI generelt understøtter ikke nødvendigvis en konkret påstand om danske virksomheder. Åbn kilden og find det afsnit, der faktisk bærer sætningen.

Er det originalkilden?

En blog, der gengiver en myndighed, kan være lettere at læse. Men hvis ordlyd, dato eller undtagelser betyder noget, skal du videre til myndighedens eget dokument. Ved forskning bør du finde selve studiet, ikke kun pressemeddelelsen om det.

Er kilden uafhængig?

Fem artikler, der alle refererer samme leverandørundersøgelse, er én datakilde. Det gør ikke undersøgelsen værdiløs, men det skal være synligt.

Bed gerne AI om at citere. Men bed den også om at knytte hver vigtig påstand til en bestemt kilde og markere, når dokumentationen er indirekte eller usikker.

En påstand-til-kilde-metode

Til vigtige svar kan kontrollen gøres i seks trin.

1. Del teksten i kontrollerbare påstande

“AI forbedrer produktiviteten” er for bredt. Hvilken opgave, hvilken gruppe, hvilket mål og hvilken periode handler det om?

2. Marker konsekvensen

En forkert filmanbefaling og en forkert momssats kræver ikke samme kontrol. Jo større konsekvens, desto højere dokumentationskrav.

3. Find originalkilden

Gå til lovteksten, myndighedens vejledning, det originale studie, leverandørens officielle produktdokumentation eller den primære dataudgiver.

4. Find det præcise belæg

Læs afsnittet omkring oplysningen. Overskrift og søgeresumé er ikke nok. Kontrollér definition, dato, population og undtagelser.

5. Skriv konklusionen med den rigtige styrke

“Viser”, “tyder på” og “er foreneligt med” betyder ikke det samme. En lille undersøgelse i én jobfunktion kan ikke bevise en universel effekt.

6. Gem tidspunkt og version

Ved regler, priser og produktfunktioner bør læseren kunne se, hvornår kontrollen blev foretaget. Det gør senere opdatering mulig.

Bed modellen om at gøre usikkerhed nyttig

En vag ansvarsfraskrivelse som “AI kan tage fejl” hjælper ikke meget. Bed i stedet om adfærd, du kan kontrollere:

Brug kun de vedlagte kilder til faktuelle påstande. Sæt en kilde efter hver vigtig påstand. Hvis kilderne ikke dækker spørgsmålet, skriv præcist hvad der mangler. Opfind ikke titler, citater, tal eller links. Adskil dokumenterede fakta fra din vurdering.

Det fjerner ikke fejl. Men det gør dem lettere at finde.

Bed også modellen citere det relevante tekststykke eller angive afsnit og side, når dokumentet er langt. Kontrollér derefter citatet i originalen. Et korrekt citat kan stadig blive brugt til en for stærk konklusion.

Når opgaven gentages: Byg en testprøve

Hvis AI skal løse samme type opgave hver uge, er manuel mavefornemmelse ikke nok. Lav et lille, fast testsæt.

For en supportfunktion kan det indeholde:

• fem almindelige henvendelser
• to sager med manglende oplysninger
• to sager, der ligner hinanden, men kræver forskellig behandling
• en sag, hvor systemet skal stoppe og sende videre
• en sag med en bevidst misvisende instruktion i materialet

Definér på forhånd, hvad der tæller som korrekt. Mål ikke kun, om teksten lyder god, men om kategori, fakta, henvisning og stopbeslutning er rigtige.

Kør testsættet igen, når model, prompt, datakilde eller værktøj ændres. En forbedring i generel sprogkvalitet kan godt ledsages af en forringelse i netop jeres opgave.

Hvem må godkende hvad?

AI bør ikke være eneste kontrollør af sit eget svar. En model kan hjælpe med at finde mulige konflikter eller manglende kilder, men den deler mange af de samme svagheder som den model, der skrev første udkast.

Placér faglig kontrol hos den person, der forstår konsekvensen:

• Juridiske påstande hos en person med relevant juridisk ansvar.
• Behandling og sundhed hos kvalificeret sundhedsfaglig kontrol.
• Elevfeedback hos underviseren.
• Priser og vilkår hos den, der ejer de aktuelle data.
• Offentlig kommunikation hos den redaktionelle ansvarlige.

Den vigtigste kompetence er ikke at mistænke alt. Det er at vide, hvilken type fejl der er mulig, og hvilken kontrol der passer til den.

En hallucination kræver en originalkilde. Forældet viden kræver en dato og en nyere version. Bias kræver sammenligning og blik for repræsentation. Manglende kontekst kræver en bedre opgavebeskrivelse.

Når fejlene får navn, bliver AI hverken mere troværdig eller mindre nyttig. Den bliver lettere at bruge med den rigtige skepsis.

Kilder og videre læsning

• NIST: Generative AI Profile – officiel beskrivelse af blandt andet confabulation, bias og risikostyring.
• NIST: EU–U.S. Terminology and Taxonomy for Artificial Intelligence – fælles terminologi, herunder definition af confabulation/hallucination.
• Anthropic: Reduce hallucinations – leverandørens anbefalinger om usikkerhed, direkte belæg og kildekontrol.
• Anthropic: Define success criteria and build evaluations – om målbare kriterier og test af gentagne opgaver.