LLM i tokeny: jak maszyna pisze tekst

Czas zajrzeć pod maskę głównych bohaterów tej ery — dużych modeli językowych.

LLM: co oznacza każda litera

Large Language Model. „Language” — uczył się z tekstu: książek, artykułów, stron internetowych, kodu (dosłownie z dużej części internetu). „Large” — setki miliardów wag z ostatniej lekcji. ChatGPT, Claude, Gemini, DeepSeek to LLM-y różnych firm, zbudowane na tej samej zasadzie (ten sam transformer z 2017 roku).

Jedna sztuczka: zgadnij kolejny fragment

Wszystko, co robi LLM, to przewidywanie kolejnego tokena. Piszesz: „Stolicą Francji jest ”. Model przegląda swoje słownictwo i ocenia możliwe kontynuacje: „Paryż” — 99%, „Lyon” — 0,3%, „banan” — 0,0001%. Wybiera prawdopodobną, dodaje ją do tekstu — i przewiduje kolejny fragment. W kółko, słowo po słowie, i tak rodzi się cała odpowiedź.

Odpowiedź jest elegancka: żeby dobrze przewidzieć kolejne słowo w jakimkolwiek tekście napisanym przez ludzi, model musiał nauczyć się gramatyki, faktów, ciągów rozumowania, stylów i struktury kodu. Przewidywanie słowa okazało się zadaniem, w którym ukryte jest „rozumienie” języka. To wielkie odkrycie ery LLM-ów — i główne źródło sporów o to, czy model naprawdę cokolwiek „rozumie”.

Tokeny: waluta świata LLM-ów

Fragmenty, na których pracuje model, nazywane są tokenami. Token nie zawsze jest słowem: krótkie słowo to jeden token, długie jest dzielone na części, znak interpunkcyjny to osobny token. Średnio 1 token ≈ 3–4 znaki — ale ta zasada dotyczy tylko angielskiego. Warto wiedzieć: w innych językach, zwłaszcza tych, które nie używają alfabetu łacińskiego, tokeny są „droższe” — często to tylko 1–2 znaki każdy.

Więc ten sam tekst, o tym samym znaczeniu, zużywa zauważalnie więcej tokenów poza angielskim i szybciej osiąga limity oraz okno kontekstowe. Praktyczna wskazówka: jeśli pracujesz w innym języku i liczysz koszty lub objętość, zostaw sobie zapas.

Tokeny to nie abstrakcja — pojawiają się w praktyce:

• Okno kontekstowe — ile tokenów model trzyma w głowie naraz: twoje pytanie, jego odpowiedzi, pliki, które przesłałeś. Cokolwiek się nie zmieści, model „zapomina”. Dlatego długie rozmowy tracą początek.
• Cena — kiedy podłączasz model do własnego oprogramowania (to nazywa się API), płacisz za token. Budowanie bota lub automatyzacji oznacza liczenie tokenów.
• Limity planów — limity „wiadomości na godzinę” w darmowych planach również wynikają z ekonomii tokenów.

Jak „duże” jest duże?

Poczuj skalę. Zbiór treningowy flagowego LLM-a to biliony tokenów: osoba czytająca jedną książkę dziennie potrzebowałaby setek tysięcy lat, żeby to wszystko przeczytać. Dlatego model „zna” fizykę, przepisy kulinarne i składnię dwudziestu języków programowania: statystycznie przeżuł pisane doświadczenia całej ludzkości. I dlatego najgorsze z internetu też tam jest — firmy wkładają ogromny wysiłek w filtrowanie danych i dopracowywanie zachowania (to uczenie wzmacniające z ocen ludzkich z ostatniej lekcji).

Generowanie, nie wyszukiwanie

Kluczowa konsekwencja: LLM nie szuka odpowiedzi w bazie danych — generuje ją, przewidując prawdopodobną kontynuację. Dlatego może napisać sonet o twoim kocie, który nigdy nie istniał w internecie (kreatywność!). I tak samo dlatego może z pewnością napisać coś fałszywego, jeśli fałsz „brzmi prawdopodobnie” (o tym jest cała następna lekcja).

Pod maską (opcjonalnie): dwa ciekawe fakty

Poniżej opcjonalne, głębsze spojrzenie. Nie zmieni nic w praktyce: jeśli chcesz, przejdź do „Zrób to teraz”. Ale fakty są ciekawe — dwa nowe słowa, dwie idee.

Emergencja. Najbardziej tajemnicza właściwość dużych modeli: w miarę ich wzrostu pojawiają się zdolności, których nikt w nich nie trenował. Model był szkolony do przewidywania tekstu — a nagle potrafi tłumaczyć, rozwiązywać zagadki logiczne, pisać kod, wyjaśniać dowcipy. Te zdolności „znikąd” nazywane są emergentnymi. Gdzie ten efekt się zatrzymuje, naukowcy wciąż się spierają — i to jest wielkie otwarte pytanie na najbliższe lata: wszystkie trzy składniki (dane, moc, architektura) wciąż rosną.

Temperatura. Zadaj modelowi to samo pytanie dwa razy, a odpowiedzi będą się różnić. To nie jest błąd: wybierając kolejny token, model nie zawsze bierze ten najbardziej prawdopodobny — wolno mu „podjąć małe ryzyko” (ustawienie dosłownie nazywa się temperatura). Szczypta losowości sprawia, że tekst jest żywy, zamiast robotycznie identyczny. Praktyczna wskazówka: jeśli nie podoba ci się odpowiedź, czasem wystarczy po prostu wygenerować ją ponownie. A „Stolicą Francji jest Paryż” pozostaje niewzruszone: 99% prawdopodobieństwa przeważa nad jakąkolwiek losowością.

Zrób to teraz

Uruchom ten prompt tutaj, a potem naciśnij „Run” drugi raz, nie zmieniając ani słowa:

Continue this sentence five different ways:
The morning started with…

Na własne oczy zobaczysz probabilistyczną naturę generowania: jeden model, jedno identyczne zapytanie — i różne prawdopodobne kontynuacje.