Что такое токены в нейросетях простыми словами — и почему по-русски дороже

Коротко: токен — это кусок текста, которым оперирует нейросеть. Не буква и не слово: частое короткое слово обычно занимает один токен, длинное и редкое режется на несколько. В английском один токен — это примерно четыре символа, в русском около двух. Отсюда практический вывод: одна и та же мысль на русском стоит примерно вдвое больше токенов, а значит дороже и медленнее. Ниже — как это увидеть своими глазами, чем входящие токены отличаются от исходящих и почему длинный диалог дорожает сам по себе.

Проще один раз увидеть

Возьмём фразу и разрежем её так, как это делает модель. Вертикальная черта — граница токена.

Кот спит на подоконнике.
→ Кот| спит| на| подо|конник|е|.
7 токенов

Видно правило. Частое короткое слово — «кот», «спит», «на» — это один токен. Длинное и редкое режется на части: «подо|конник|е». Знак препинания живёт отдельным токеном. Пробел обычно приклеивается к следующему слову.

Теперь та же мысль по-английски:

The cat sleeps on the windowsill.
→ The| cat| sleeps| on| the| windows|ill|.
8 токенов — но символов в полтора раза больше

Токенов почти столько же, а текста заметно больше. Это и есть разница в «плотности»: английский упакован эффективнее, потому что модели учились преимущественно на нём и словарь токенов затачивали под него.

Практическое правило

В английском 1 токен ≈ 4 символа, в русском ≈ 2 символа. Считаете бюджет или прикидываете, влезет ли документ, — закладывайте на русский двойной запас.

Это касается не только денег. От числа токенов зависит и то, поместится ли ваш текст в окно модели, и как быстро придёт ответ.

Токены считаются дважды: на входе и на выходе

Разговор с моделью — это две порции токенов, и считают их отдельно.

• Входящие — всё, что вы отправили: сам вопрос, вставленный текст, файл, картинка, история переписки.
• Исходящие — всё, что модель написала в ответ.

Разница не в терминах, а в деньгах: исходящие стоят в разы дороже. У Gemini 2.5 Flash-Lite на 30 июля 2026 года вход — $0,10 за миллион токенов, выход — $0,40. Вчетверо.

Посчитаем. Вопрос на 100 слов по-русски — около 300 токенов на вход, это $0,00003. Ответ на 500 слов — около 1500 токенов на выход, это $0,0006. Ответ дороже вопроса в двадцать раз, хотя писали вы его сами, а модель управилась за секунды.

Отсюда правило, которое экономит больше всего: укорачивать надо ответ, а не вопрос. Строчка «ответь одним абзацем» срезает счёт заметнее, чем сокращение вопроса вдвое. А «распиши подробно, со всеми примерами» — самая дорогая фраза, которую можно написать модели.

Почему длинный диалог дорожает с каждым сообщением

Модель не помнит предыдущие реплики. Чтобы она понимала, о чём речь, вся переписка отправляется заново — каждый раз, с нуля. Десятое сообщение тянет за собой девять предыдущих, и все они снова считаются входящими.

1-е сообщение: 300 токенов на вход.
5-е сообщение: 300 своих + 1 800 истории = 2 100.
10-е сообщение: 300 своих + 4 500 истории = 4 800.

Вы пишете одинаково короткие реплики, а вход растёт сам. Поэтому длинный разговор «обо всём» стоит дороже нового чата с тем же вопросом. И поэтому же модель со временем начинает терять начало беседы: старое перестаёт помещаться.

Контекстное окно: куда всё это складывается

Всё, чем модель располагает прямо сейчас, лежит на одном «столе» — это и называется контекстным окном. На нём одновременно системная инструкция, вся история диалога, загруженные файлы и место под ответ, который она пишет.

Размер стола меряют в токенах. К середине 2026 года у топовых моделей — около миллиона токенов: столько заявлено у Claude Sonnet 4.6 (в бете), у Gemini и у GPT-5.4. Ещё пару лет назад стандартом были 128 тысяч, то есть в восемь раз меньше.

Миллион токенов — это примерно 2500 страниц английского текста или около 1250 страниц русского. И это на всё вместе: историю, файлы и ответ.

Честная оговорка, которой нет в рекламе: заявленное окно и рабочее — не одно и то же. Модель формально принимает миллион токенов, но качество проседает заметно раньше: в середине огромного текста она путается и хуже находит нужное. Чем ближе к пределу, тем меньше доверия ответу.

Что делать с этим на практике

• Ограничивайте длину ответа явно. «Три предложения», «списком из пяти пунктов» — это прямая экономия.
• Новая задача — новый чат. И дешевле, и точнее: старый контекст перестаёт мешать.
• Не грузите файл целиком, если нужен кусок. Вырежьте нужное — модель ответит точнее, а не только дешевле.
• Длинные технические промпты пробуйте по-английски. Экономия токенов идёт бонусом к тому, что английскую формулировку модель понимает точнее.

Где увидеть свои токены

Если вы обращаетесь к модели через API, в ответе есть блок usageMetadata: там сама модель сообщает, сколько токенов ушло на вход и сколько на выход, с разбивкой по типам данных. Это самый честный способ проверить любые расчёты — включая наши.