AI i hverdagen
Kapitel 3
Hvordan kan en maskine skrive?
Henvisninger til værktøjer, hvor du selv kan se attention i arbejde.
Sidst kontrolleret
Værktøjerne
Frit tilgængelige værktøjer, hvor du kan se, hvilke ord en sprogmodel knytter sammen, og hvordan tekst bliver hakket i tokens.
Transformer Explainer Georgia Tech, Polo Club of Data Science
Du skriver en sætning og ser en lille sprogmodel (GPT-2) arbejde sig frem til næste ord, herunder hvilke ord attention knytter sammen. Modellen kører i din egen browser. På engelsk.
- Kræver login?
- Nej
poloclub.github.io/transformer-explainer
Kontrolleret
LLM Visualization Brendan Bycroft
En animeret 3D-gennemgang af, hvad der sker inde i en sprogmodel, trin for trin, med attention som ét af trinene. Du kan ikke skrive din egen sætning ind. På engelsk.
- Kræver login?
- Nej
bbycroft.net/llm
Kontrolleret
Sådan gør du
Værktøjerne bygger på små, ældre modeller, der er trænet på engelsk. De viser princippet, men de forstår ikke dansk, og de ligner ikke det, en stor tjeneste gør i dag. Skriv derfor bogens eksempel på engelsk:
The suitcase could not get through the door because it was too wide.
Find ordet “it”, og se, hvilke af de andre ord modellen lægger vægt på. Skift så ét ord:
The suitcase could not get through the door because it was too narrow.
Forvent ikke et rent billede. En lille model har mange attention-hoveder, og hvert af dem kigger efter noget forskelligt. Pointen er at se, at ordene bliver vægtet mod hinanden, og at vægtene flytter sig, når ét ord skifter.
Eksemplet fra bogen
Hvis ingen af værktøjerne virker den dag, du læser det her, er eksemplet det samme på papir:
Kufferten kunne ikke komme gennem døren, fordi den var for bred.
Hvad henviser “den” til? Kufferten. Det ved du med det samme, fordi du ved noget om kufferter og døre. Skift ét ord:
Kufferten kunne ikke komme gennem døren, fordi den var for smal.
Nu er “den” døren. Kun tillægsordet er ændret. Attention er den mekanisme, der lader en sprogmodel veje ordene i en sætning mod hinanden, så “den” kan knyttes til det rigtige ord.
Se et dansk ord blive hakket op
En sprogmodel læser ikke ord, men tokens. Skriv ejendomsvurdering ind i et tokenizer-værktøj, og se, at det ikke bliver til én token. Det bliver hakket i flere stumper, som ikke nødvendigvis følger orddelene. Prøv bagefter et engelsk ord af samme længde.
Tiktokenizer
Du skriver en tekst og ser med farver, hvordan den bliver hakket i tokens, og hvor mange der går til.
- Kræver login?
- Nej
tiktokenizer.vercel.app
Kontrolleret
Bogens tommelfingerregel er, at en token på engelsk svarer til cirka tre fjerdedele af et ord. Tallet afhænger af den enkelte models tokenizer, og på dansk går der flere tokens til det samme.
Sidst kontrolleret · tommelfingerreglen om tokens
Holder noget ikke?
Har du fundet et dødt link, en regel, der er ændret, eller en kilde, der ikke siger det, jeg skriver? Så skriv det her. Jeg læser det selv og retter siden, hvis du har ret.
Ændringslog seneste 19. september 2026
Rettelse: bogen eller siden tog fejl. Opdatering: noget har ændret sig siden.
- Siden oprettet.