LLM's en tokens: hoe een machine tekst schrijft

Tijd om onder de motorkap te kijken bij de hoofdrolspelers van dit tijdperk — large language models.

LLM: wat elke letter betekent

Large Language Model. „Language” — het heeft geleerd van tekst: boeken, artikelen, websites, code (letterlijk een groot deel van het internet). „Large” — honderden miljarden aan gewichten van de vorige les. ChatGPT, Claude, Gemini, DeepSeek zijn allemaal LLM’s van verschillende bedrijven, gebouwd op hetzelfde principe (diezelfde transformer uit 2017).

De truc: het volgende stukje raden

Alles wat een LLM doet, is het volgende token voorspellen. Je schrijft: „De hoofdstad van Frankrijk is ”. Het model doorloopt zijn vocabulaire en scoort de mogelijke vervolgen: „Parijs” — 99%, „Lyon” — 0,3%, „banaan” — 0,0001%. Het kiest een waarschijnlijke, voegt die toe aan de tekst — en voorspelt het volgende stukje. Keer op keer, woord voor woord, en zo ontstaat een heel antwoord.

Het antwoord is elegant: om het volgende woord goed te voorspellen in elke tekst die de mensheid heeft geschreven, moest het model grammatica, feiten, redeneringen, stijlen en de structuur van code leren. Het voorspellen van een woord bleek een taak te zijn met „begrip” van taal erin verborgen. Dat is de grote ontdekking van het LLM-tijdperk — en de grote bron van discussies over de vraag of een model echt iets „begrijpt”.

Tokens: de valuta van de LLM-wereld

De stukjes waarmee een model werkt, worden tokens genoemd. Een token is niet altijd een woord: een kort woord is één token, een lang woord wordt in stukjes gehakt, een leesteken is een eigen token. Gemiddeld is 1 token ≈ 3–4 tekens — maar die regel geldt alleen voor het Engels. Goed om te weten: in andere talen, vooral die geen Latijns alfabet gebruiken, zijn tokens „duurder” — vaak slechts 1–2 tekens per stuk.

Dus dezelfde tekst, qua betekenis, verbruikt merkbaar meer tokens buiten het Engels en bereikt sneller limieten en het contextvenster. Praktische tip: als je in een andere taal werkt en kosten of volume telt, houd dan rekening met extra ruimte.

Tokens zijn geen abstractie — je ziet ze terug in de praktijk:

• Het contextvenster — hoeveel tokens het model tegelijkertijd in zijn geheugen heeft: je vraag, de antwoorden, de bestanden die je hebt geüpload. Wat er niet in past, „vergeet” het model. Daarom verliezen lange gesprekken het begin.
• Prijs — wanneer je een model in je eigen software integreert (dat heet een API), betaal je per token. Een bot of automatisering bouwen betekent tokens tellen.
• Planlimieten — de limieten van „berichten per uur” op gratis abonnementen komen ook voort uit de token-economie.

Hoe „groot” is groot?

Krijg een idee van de schaal. De trainingsset van een top-LLM bedraagt biljoenen tokens: iemand die elke dag een boek leest, zou honderdduizenden jaren nodig hebben om dat allemaal door te nemen. Daarom „kent” het model natuurkunde, kookrecepten en de syntaxis van twintig programmeertalen: het heeft statistisch gezien de geschreven ervaring van de hele mensheid verwerkt. En daarom zit het ergste van het internet er ook in — bedrijven steken enorme moeite in het filteren van de data en het verfijnen van het gedrag (dat reinforcement learning op basis van menselijke beoordelingen van de vorige les).

Genereren, niet zoeken

Een belangrijk gevolg: een LLM zoekt het antwoord niet op in een database — het genereert het door een waarschijnlijk vervolg te voorspellen. Daarom kan het een sonnet schrijven over je kat, die nergens op het internet heeft bestaan (creativiteit!). En daarom kan het net zo goed vol vertrouwen iets vals schrijven, als de onwaarheid „waarschijnlijk klinkt” (daar gaat de hele volgende les over).

Onder de motorkap (optioneel): twee leuke feiten

Wat volgt is een optionele diepe duik. Het verandert niets in de praktijk: sla over naar „Doe dit nu” als je wilt. Maar de feiten zijn leuk — twee nieuwe woorden, twee ideeën.

Emergentie. De meest mysterieuze eigenschap van grote modellen: naarmate ze groeien, verschijnen er vaardigheden die niemand erin heeft getraind. Het model is getraind om tekst te voorspellen — en plotseling kan het vertalen, logische puzzels oplossen, code schrijven, grappen uitleggen. Deze „uit het niets” vaardigheden worden emergent genoemd. Waar het effect stopt, daar discussiëren wetenschappers nog over — en dat is de grote open vraag van de komende jaren: alle drie de ingrediënten (data, rekenkracht, architectuur) blijven groeien.

Temperatuur. Stel een model twee keer dezelfde vraag en de antwoorden zullen verschillen. Dat is geen fout: bij het kiezen van het volgende token neemt het model niet altijd het meest waarschijnlijke — het mag „een klein risico nemen” (de instelling heet letterlijk temperatuur). Een snufje willekeur houdt tekst levendig in plaats van robotachtig identiek. Praktische tip: als je een antwoord niet bevalt, is opnieuw genereren soms al genoeg. En „De hoofdstad van Frankrijk is Parijs” blijft rotsvast: een waarschijnlijkheid van 99% weegt zwaarder dan elke willekeur.

Doe dit nu

Voer deze prompt hier uit, druk dan een tweede keer op Uitvoeren zonder een woord te veranderen:

Continue this sentence five different ways:
The morning started with…

Je zult de probabilistische aard van generatie met eigen ogen zien: één model, één identiek verzoek — en verschillende waarschijnlijke vervolgen.