LLMs und Tokens: Wie eine Maschine Text schreibt

Zeit, einen Blick unter die Haube der Hauptakteure dieser Ära zu werfen – große Sprachmodelle.

LLM: Was die Buchstaben bedeuten

Large Language Model. „Sprache“ – es hat aus Texten gelernt: Büchern, Artikeln, Websites, Code (buchstäblich einem großen Teil des Internets). „Groß“ – Hunderte Milliarden von Gewichten aus der letzten Lektion. ChatGPT, Claude, Gemini, DeepSeek sind alles LLMs von verschiedenen Unternehmen, die auf demselben Prinzip basieren (diesem Transformer von 2017).

Der Trick: den nächsten Baustein erraten

Alles, was ein LLM tut, ist, den nächsten token vorherzusagen. Du schreibst: „Die Hauptstadt Frankreichs ist “. Das Modell durchsucht sein Vokabular und bewertet die möglichen Fortsetzungen: „Paris“ – 99 %, „Lyon“ – 0,3 %, „Banane“ – 0,0001 %. Es wählt eine wahrscheinliche aus, fügt sie dem Text hinzu – und sagt den nächsten Baustein voraus. Immer wieder, Wort für Wort, und eine ganze Antwort entsteht.

Die Antwort ist elegant: Um das nächste Wort in jedem von Menschen geschriebenen Text gut vorherzusagen, musste das Modell Grammatik, Fakten, Argumentationsketten, Stile und die Struktur von Code lernen. Das Vorhersagen eines Wortes entpuppte sich als eine Aufgabe, in der das „Verständnis“ von Sprache verborgen ist. Das ist die große Entdeckung der LLM-Ära – und die große Quelle von Debatten darüber, ob ein Modell wirklich etwas „versteht“.

Tokens: Die Währung der LLM-Welt

Die Textbausteine, mit denen ein Modell arbeitet, werden tokens genannt. Ein token ist nicht immer ein Wort: Ein kurzes Wort ist ein token, ein langes wird in Stücke geschnitten, ein Satzzeichen ist ein eigener token. Im Durchschnitt entspricht 1 token ≈ 3–4 Zeichen – aber diese Regel gilt nur für Englisch. Gut zu wissen: In anderen Sprachen, besonders solchen, die nicht das lateinische Alphabet verwenden, sind tokens „teurer“ – oft nur 1–2 Zeichen pro token.

Der gleiche Text verbraucht also, sinngemäß, außerhalb des Englischen spürbar mehr tokens und stößt schneller an Grenzen und das Kontextfenster. Praktischer Tipp: Wenn du in einer anderen Sprache arbeitest und Kosten oder Volumen zählst, plane mehr ein.

Tokens sind keine Abstraktion – sie zeigen sich in der Praxis:

• Das Kontextfenster – wie viele tokens das Modell gleichzeitig „im Kopf“ behält: deine Frage, seine Antworten, die von dir hochgeladenen Dateien. Was nicht passt, „vergisst“ das Modell. Deshalb verlieren lange Unterhaltungen ihren Anfang.
• Preis – wenn du ein Modell in deine eigene Software integrierst (das nennt man eine API), zahlst du pro token. Einen Bot oder eine Automatisierung zu bauen, bedeutet tokens zu zählen.
• Plan-Limits – die „Nachrichten pro Stunde“-Begrenzungen bei kostenlosen Plänen ergeben sich ebenfalls aus der token-Ökonomie.

Wie „groß“ ist groß?

Bekomm ein Gefühl für die Größenordnung. Der Trainingsdatensatz eines führenden LLM umfasst Billionen von tokens: Eine Person, die ein Buch pro Tag liest, bräuchte Hunderttausende von Jahren, um das alles durchzuarbeiten. Deshalb „kennt“ das Modell Physik, Kochrezepte und die Syntax von zwanzig Programmiersprachen: Es hat die schriftliche Erfahrung der gesamten Menschheit statistisch durchgekaut.

Und deshalb ist auch das Schlimmste des Internets dabei – Unternehmen stecken enorme Anstrengungen in die Filterung der Daten und die Verfeinerung des Verhaltens (das Reinforcement Learning aus menschlichen Bewertungen aus der letzten Lektion).

Generierung, nicht Suche

Eine wichtige Konsequenz: Ein LLM sucht die Antwort nicht in einer Datenbank – es generiert sie, indem es eine wahrscheinliche Fortsetzung vorhersagt. Deshalb kann es ein Sonett über deine Katze schreiben, die nie irgendwo im Internet existiert hat (Kreativität!). Und ebenso deshalb kann es selbstbewusst etwas Falsches schreiben, wenn die Falschinformation „wahrscheinlich klingt“ (darum geht es in der nächsten Lektion).

Unter der Haube (optional): zwei interessante Fakten

Was folgt, ist ein optionaler Deep-Dive. Es wird in der Praxis nichts ändern: überspring zu „Mach das jetzt“, wenn du möchtest. Aber die Fakten sind interessant – zwei neue Wörter, zwei Ideen.

Emergenz. Die geheimnisvollste Eigenschaft großer Modelle: Wenn sie wachsen, tauchen Fähigkeiten auf, die niemand in sie hineintrainiert hat. Das Modell wurde darauf trainiert, Text vorherzusagen – und plötzlich kann es übersetzen, Logikrätsel lösen, Code schreiben, Witze erklären. Diese „aus dem Nichts“ auftauchenden Fähigkeiten nennt man emergent. Wo dieser Effekt aufhört, darüber streiten sich Wissenschaftler noch – und das ist die große offene Frage der nächsten Jahre: Alle drei Zutaten (Daten, Rechenleistung, Architektur) wachsen weiter.

Temperatur. Frag ein Modell zweimal dasselbe und die Antworten werden sich unterscheiden. Das ist kein Fehler: Bei der Wahl des nächsten tokens nimmt das Modell nicht immer den wahrscheinlichsten – es darf „ein kleines Risiko eingehen“ (die Einstellung heißt wörtlich Temperatur). Eine Prise Zufälligkeit hält den Text lebendig, anstatt ihn robotisch identisch zu machen. Praktischer Tipp: Wenn dir eine Antwort nicht gefällt, reicht es manchmal schon, sie neu zu generieren. Und „Die Hauptstadt Frankreichs ist Paris“ bleibt felsenfest: Eine 99%ige Wahrscheinlichkeit überwiegt jede Zufälligkeit.

Mach das jetzt

Führ diesen prompt direkt hier aus, dann drück ein zweites Mal auf Run, ohne ein Wort zu ändern:

Setze diesen Satz auf fünf verschiedene Arten fort:
Der Morgen begann mit…

Du wirst die probabilistische Natur der Generierung mit eigenen Augen sehen: ein Modell, eine identische Anfrage – und verschiedene wahrscheinliche Fortsetzungen.