LLMs and tokens: how a machine writes text

Пришло время открыть капот у главных героев эпохи — больших языковых моделей.

LLM: что значит каждая буква

Large Language Model — большая языковая модель. «Языковая» — училась на текстах: книгах, статьях, сайтах, коде (буквально на значительной части интернета). «Большая» — сотни миллиардов весов из прошлого урока. ChatGPT, Claude, Gemini, DeepSeek — всё это LLM разных компаний, устроенные по одному принципу (тому самому трансформеру 2017 года).

Единственный фокус: угадай следующий кусочек

Всё, что делает LLM, — предсказывает следующий токен. Ты пишешь: «Столица Франции — ». Модель перебирает свой словарь и оценивает вероятности продолжения: «Париж» — 99%, «Лион» — 0,3%, «банан» — 0,0001%. Выбирает вероятное, добавляет к тексту — и предсказывает следующий кусочек. Снова и снова, слово за словом — так рождается целый ответ.

Стоп. Если модель просто «угадывает следующее слово» — как она пишет связные эссе и рабочий код? Подумай, прежде чем читать дальше.

Ответ красив: чтобы хорошо предсказывать следующее слово в любом тексте человечества, модели пришлось выучить грамматику, факты, логику рассуждений, стили и структуру кода. Предсказание слова оказалось задачей, внутри которой спрятано «понимание» языка. Это главное открытие эпохи LLM — и главный источник споров о том, «понимает» ли модель по-настоящему.

Токены: валюта мира LLM

Кусочки, которыми оперирует модель, называются токенами. Токен — не всегда слово: короткое слово — один токен, длинное режется на части, знак препинания — отдельный токен. В среднем 1 токен ≈ 3–4 символа.

Токены — не абстракция, а практика, с которой ты столкнёшься:

• Контекстное окно — сколько токенов модель «держит в голове» разом: твой вопрос, её ответы, загруженные файлы. Что не влезло — модель «забывает». Вот почему длинные диалоги теряют начало разговора.
• Цена — API нейросетей тарифицируется за токены. Строишь бота или автоматизацию (у нас есть курсы) — считаешь токены.
• Лимиты тарифов — «сообщений в час» на бесплатных тарифах тоже растут из экономики токенов.

Насколько «большая» — большая?

Прочувствуй масштаб. Обучающая выборка флагманских LLM — триллионы токенов: если бы человек читал по книге в день, на этот объём ушли бы сотни тысяч лет. Именно поэтому модель «знает» и физику, и рецепты плова, и синтаксис двадцати языков программирования: она статистически прожевала опыт всего пишущего человечества. И поэтому же в ней есть всё худшее из интернета тоже — компании тратят огромные усилия на фильтрацию данных и дошлифовку поведения (то самое обучение с подкреплением на человеческих оценках из прошлого урока).

Эмерджентность: способности, которых никто не заказывал

Самое загадочное свойство больших моделей: при росте масштаба у них появляются способности, которым их не учили специально. Модель тренировали предсказывать текст — а она внезапно умеет переводить, решать задачки на логику, писать код, объяснять шутки. Эти «внезапные» умения называют эмерджентными. Учёные до сих пор спорят, где предел этого эффекта, — и это главная интрига ближайших лет: все три ингредиента (данные, мощность, архитектура) продолжают расти.

Почему на один вопрос — разные ответы

Задай модели один вопрос дважды — ответы будут разными. Это не сбой: при выборе следующего токена модель не всегда берёт самый вероятный — ей разрешают немного «рисковать» (настройка называется температурой). Чуть-чуть случайности делает тексты живыми, а не роботизированно-одинаковыми. Практический вывод: не понравился ответ — иногда достаточно просто перегенерировать. А «Столица Франции — Париж» останется стабильным: там вероятность 99% перевешивает любую случайность.

Генерация, не поиск

Критически важное следствие: LLM не ищет ответ в базе данных — она генерирует его, предсказывая вероятное продолжение. Поэтому она может написать сонет о твоём коте, которого никогда не существовало в интернете (творчество!). И поэтому же может уверенно написать неправду, если неправда «звучит вероятно» (об этом — весь следующий урок).

Сделай сейчас

Открой любую нейросеть и попроси: «Продолжи фразу пятью разными способами: Утро началось с того, что…». Ты своими глазами увидишь вероятностную природу генерации: одна модель — пять разных вероятных продолжений.