LLM'er og tokens: hvordan en maskine skriver tekst

Lad os kigge under motorhjelmen på tidens hovedpersoner — store sprogmodeller.

LLM: Hvad hvert bogstav står for

Large Language Model. «Language» — det har lært af tekst: bøger, artikler, hjemmesider, kode (bogstaveligt talt en stor del af internettet). «Large» — hundredvis af milliarder af vægte fra den sidste lektion. ChatGPT, Claude, Gemini, DeepSeek er alle LLM'er fra forskellige virksomheder, bygget på det samme princip (den samme transformer fra 2017).

Det ene trick: Gæt den næste bid

Alt hvad en LLM gør, er at forudsige det næste token. Du skriver: «Hovedstaden i Frankrig er ». Modellen gennemgår sit ordforråd og scorer de mulige fortsættelser: «Paris» — 99%, «Lyon» — 0,3%, «banan» — 0,0001%. Den vælger en sandsynlig, tilføjer den til teksten — og forudsiger den næste bid. Igen og igen, ord for ord, og et helt svar bliver født.

Svaret er elegant: for at forudsige det næste ord godt i enhver tekst, menneskeheden har skrevet, måtte modellen lære grammatik, fakta, ræsonnementer, stilarter og kodens struktur. At forudsige et ord viste sig at være en opgave med «forståelse» af sprog gemt indeni. Det er den store opdagelse i LLM-æraen — og den store kilde til diskussioner om, hvorvidt en model virkelig «forstår» noget.

Tokens: Valutaen i LLM-verdenen

De bidder en model arbejder med, kaldes tokens. Et token er ikke altid et ord: et kort ord er ét token, et langt bliver skåret i stykker, et tegnsætningstegn er et token for sig. I gennemsnit er 1 token ≈ 3–4 tegn — men den regel gælder kun for engelsk. Værd at vide: på andre sprog, især dem der ikke bruger det latinske alfabet, er tokens «dyrere» — ofte kun 1–2 tegn hver. Så den samme tekst, betydning for betydning, bruger mærkbart flere tokens uden for engelsk og rammer grænser og kontekstvinduet hurtigere. Praktisk råd: hvis du arbejder på et andet sprog og tæller omkostninger eller volumen, så giv dig selv plads.

Tokens er ikke en abstraktion — de viser sig i praksis:

• Kontekstvinduet — hvor mange tokens modellen kan huske på én gang: dit spørgsmål, dens svar, de filer du har uploadet. Hvad der ikke passer ind, «glemmer» modellen. Det er derfor lange samtaler mister begyndelsen.
• Pris — når du forbinder en model til din egen software (det kaldes en API), betaler du per token. At bygge en bot eller en automatisering betyder at tælle tokens.
• Planbegrænsninger — «beskeder per time»-begrænsningerne på gratis planer stammer også fra token-økonomien.

Hvor «stor» er stor?

Få en fornemmelse af omfanget. Træningssættet for en flagskibs-LLM løber op i billioner af tokens: en person, der læser en bog om dagen, ville skulle bruge hundredtusinder af år på at komme igennem så meget. Det er derfor modellen «kender» fysik, madopskrifter og syntaksen for tyve programmeringssprog: den har statistisk tygget sig igennem hele menneskehedens skrevne erfaring. Og det er også derfor, det værste fra internettet er derinde — virksomheder lægger en enorm indsats i at filtrere data og finpudse adfærden (den forstærkende læring fra menneskelige vurderinger fra den sidste lektion).

Generering, ikke søgning

En afgørende konsekvens: en LLM slår ikke svaret op i en database — den genererer det ved at forudsige en sandsynlig fortsættelse. Det er derfor, den kan skrive en sonet om din kat, som aldrig har eksisteret nogen steder på internettet (kreativitet!). Og det er ligeledes derfor, den selvsikkert kan skrive noget falsk, hvis usandheden «lyder sandsynlig» (det er det, hele den næste lektion handler om).

Under motorhjelmen (valgfrit): To interessante fakta

Hvad der følger, er et valgfrit dyk ned i detaljerne. Det vil ikke ændre noget i praksis: spring til «Gør dette nu», hvis du vil. Men fakta er interessante — to nye ord, to ideer.

Emergens. Den mest mystiske egenskab ved store modeller: når de vokser, opstår der evner, som ingen har trænet dem i. Modellen blev trænet til at forudsige tekst — og pludselig kan den oversætte, løse logiske gåder, skrive kode, forklare vittigheder. Disse «ud af det blå»-evner kaldes emergente. Hvor effekten stopper, diskuterer forskere stadig — og det er det store åbne spørgsmål de næste par år: alle tre ingredienser (data, kraft, arkitektur) bliver ved med at vokse.

Temperatur. Spørg en model det samme spørgsmål to gange, og svarene vil være forskellige. Det er ikke en fejl: når den vælger det næste token, tager modellen ikke altid det mest sandsynlige — den har lov til at «tage en lille risiko» (indstillingen kaldes bogstaveligt talt temperatur). Et strejf af tilfældighed holder teksten levende i stedet for robotagtigt identisk. Praktisk råd: hvis du ikke kan lide et svar, er det nogle gange nok bare at generere igen. Og «Hovedstaden i Frankrig er Paris» forbliver klippefast: en sandsynlighed på 99% opvejer enhver tilfældighed.

Gør dette nu

Kør denne prompt lige her, tryk derefter på Kør en anden gang uden at ændre et ord:

Continue this sentence five different ways:
The morning started with…

Du vil med egne øjne se den probabilistiske natur af generering: én model, én identisk anmodning — og forskellige sandsynlige fortsættelser.