LLMs e tokens: como uma máquina escreve texto

É hora de mergulhar nos protagonistas desta era — os modelos de linguagem grandes.

LLM: o que cada letra significa

Large Language Model. "Language" — ele aprendeu com textos: livros, artigos, sites, código (literalmente uma grande fatia da internet). "Large" — centenas de bilhões de parâmetros da última lição. ChatGPT, Claude, Gemini, DeepSeek são todos LLMs de empresas diferentes, construídos sobre o mesmo princípio (aquele mesmo transformer de 2017).

O único truque: prever o próximo trecho

Tudo o que um LLM faz é prever o próximo token. Você escreve: "A capital da França é ". O modelo percorre seu vocabulário e pontua as possíveis continuações: "Paris" — 99%, "Lyon" — 0,3%, "banana" — 0,0001%. Ele escolhe uma provável, adiciona ao texto — e prevê o próximo trecho. Repetidamente, palavra por palavra, e uma resposta completa nasce.

A resposta é elegante: para prever bem a próxima palavra em qualquer texto que a humanidade já escreveu, o modelo teve que aprender gramática, fatos, cadeias de raciocínio, estilos e a estrutura do código. Prever uma palavra revelou ser uma tarefa com "compreensão" da linguagem escondida dentro dela. Essa é a grande descoberta da era dos LLMs — e a grande fonte de argumentos sobre se um modelo realmente "entende" alguma coisa.

Tokens: a moeda do mundo dos LLMs

Os trechos com os quais um modelo trabalha são chamados de tokens. Um token nem sempre é uma palavra: uma palavra curta é um token, uma longa é cortada em pedaços, um sinal de pontuação é um token por si só. Em média, 1 token ≈ 3–4 caracteres — mas essa regra só vale para o inglês. Vale saber: em outras línguas, especialmente as que não usam o alfabeto latino, os tokens são "mais caros" — muitas vezes apenas 1-2 caracteres cada.

Assim, o mesmo texto, em termos de significado, consome visivelmente mais tokens fora do inglês e atinge os limites e a janela de contexto mais cedo. Dica prática: se você estiver trabalhando em outra língua e contando custo ou volume, deixe uma margem.

Tokens não são uma abstração — eles aparecem na prática:

• A janela de contexto — quantos tokens o modelo consegue "manter na cabeça" de uma vez: sua pergunta, as respostas dele, os arquivos que você enviou. O que não cabe, o modelo "esquece". É por isso que conversas longas perdem o começo.
• Preço — quando você conecta um modelo ao seu próprio software (isso é chamado de API), você paga por token. Construir um bot ou uma automação significa contar tokens.
• Limites do plano — os limites de "mensagens por hora" em planos gratuitos também surgem da economia de tokens.

Quão "grande" é grande?

Tenha uma ideia da escala. O conjunto de treinamento de um LLM de ponta chega a trilhões de tokens: uma pessoa lendo um livro por dia precisaria de centenas de milhares de anos para ler tudo isso. É por isso que o modelo "conhece" física, receitas de culinária e a sintaxe de vinte linguagens de programação: ele mastigou estatisticamente a experiência escrita de toda a humanidade. E por que o pior da internet também está lá — as empresas dedicam um esforço enorme para filtrar os dados e polir o comportamento (aquele aprendizado por reforço a partir de avaliações humanas da última lição).

Geração, não busca

Uma consequência importante: um LLM não busca a resposta em um banco de dados — ele a gera prevendo uma continuação provável. É por isso que ele pode escrever um soneto sobre seu gato, que nunca existiu em lugar nenhum na internet (criatividade!). E igualmente por que ele pode escrever algo falso com confiança, se a falsidade "parece provável" (é sobre isso que trata a próxima lição).

Por dentro (opcional): dois fatos interessantes

O que segue é um aprofundamento opcional. Não vai mudar nada na prática: pule para "Faça isso agora" se preferir. Mas os fatos são interessantes — duas palavras novas, duas ideias.

Emergência. A propriedade mais misteriosa dos grandes modelos: à medida que crescem, surgem habilidades que ninguém as treinou para ter. O modelo foi treinado para prever texto — e de repente ele pode traduzir, resolver quebra-cabeças de lógica, escrever código, explicar piadas. Essas habilidades "do nada" são chamadas de emergentes. Onde o efeito para, os cientistas ainda discutem — e essa é a grande questão em aberto para os próximos anos: todos os três ingredientes (dados, poder, arquitetura) continuam crescendo.

Temperatura. Pergunte a um modelo a mesma coisa duas vezes e as respostas serão diferentes. Isso não é um defeito: ao escolher o próximo token, o modelo nem sempre pega o mais provável — ele tem permissão para "correr um pequeno risco" (a configuração é literalmente chamada de temperatura). Uma pitada de aleatoriedade mantém o texto vivo em vez de roboticamente idêntico. Dica prática: se você não gostar de uma resposta, às vezes basta regenerar. E "A capital da França é Paris" permanece inabalável: uma probabilidade de 99% supera qualquer aleatoriedade.

Faça isso agora

Execute este prompt aqui mesmo, depois pressione Executar uma segunda vez sem mudar uma palavra:

Continue this sentence five different ways:
The morning started with…

Você verá a natureza probabilística da geração com seus próprios olhos: um modelo, uma solicitação idêntica — e diferentes continuações prováveis.