Como o ChatGPT foi treinado (e o Claude e o Gemini)

Você faz uma pergunta ao ChatGPT e, em dois segundos, ele responde como se tivesse lido uma biblioteca inteira. Em certo sentido, leu mesmo. Mas como o ChatGPT foi treinado, de onde saíram esses textos e quanto custou?

Este artigo responde às três perguntas, do texto bruto da internet até o chatbot, e vale também para o Claude e o Gemini. No fim, você vai saber como impedir que as suas conversas virem material de treino.

Resumo rápido: a resposta em 30 segundos. As três IAs aprenderam a prever a próxima palavra lendo trilhões de pedaços de texto da internet, de livros e de dados comprados. Depois, pessoas deram exemplos e notas para elas aprenderem a conversar. Por último, vem o treino de raciocínio. Só o uso dos chips para treinar as IAs mais avançadas custou de dezenas a centenas de milhões de dólares, e a conta completa é bem maior.

Índice

• Como o ChatGPT foi treinado, em uma frase
• Etapa 1: o pré-treinamento, ler quase tudo
• Etapa 2: ensinar a conversar (ajuste fino e RLHF)
• Etapa 3: aprender a raciocinar
• Dados de treinamento da IA: de onde vem tudo isso
• Como o Claude e o Gemini foram treinados: o que muda
• Quanto custa treinar uma IA
• O que isso muda para você
• Perguntas frequentes

Como o ChatGPT foi treinado, em uma frase

O ChatGPT foi treinado para adivinhar a próxima palavra de um texto, trilhões de vezes, até ficar muito bom nisso. Depois, pessoas o ensinaram a usar essa habilidade numa conversa. Tudo o que ele parece "saber" é efeito colateral desse jogo de adivinhação, jogado numa escala que nenhum ser humano alcança.

A própria OpenAI usa um exemplo simples na página em que explica o processo: completar a frase "em vez de virar à esquerda, ela virou ___". No começo, o modelo chuta ao acaso. Depois de ver milhões de frases, passa a acertar "à direita".

Esse modelo é um LLM (large language model, modelo de linguagem grande): o teclado do celular que sugere a próxima palavra, só que depois de ler uma fração enorme de tudo o que já foi escrito.

Etapa 1: o pré-treinamento, ler quase tudo

O pré-treinamento é a fase em que o modelo lê uma montanha de texto e ajusta seus números internos para prever melhor a próxima palavra. É a etapa mais longa e cara. No fim, o modelo escreve bem e sabe muito, mas ainda não conversa nem segue pedidos.

O texto entra picado em tokens (pedaços de palavra): "treinamento" pode virar "treina" + "mento", como peças de Lego. O tamanho de um treino é medido nessas peças. A Meta informou que o Llama 3, sua própria IA, foi pré-treinado com mais de 15 trilhões de tokens, sete vezes o volume do Llama 2.

O que o modelo aprende fica em parâmetros (números internos que se ajustam a cada erro). O GPT-3, de 2020, tinha 175 bilhões deles. Imagine uma mesa de som gigante: cada erro de previsão gira um pouco bilhões de botões, até o som ficar certo.

Etapa 2: ensinar a conversar (ajuste fino e RLHF)

Depois do pré-treinamento, pessoas ensinam o modelo a agir como assistente. Primeiro, escrevem conversas de exemplo para ele imitar. Depois, comparam respostas da máquina e dizem qual é a melhor. Essa segunda parte se chama RLHF, e foi ela que transformou um autocompletar num chatbot que atende pedidos.

O ajuste fino (fine-tuning) é a primeira parte. No lançamento do ChatGPT, em 2022, a OpenAI contou que seus treinadores escreveram conversas fazendo os dois papéis, usuário e assistente, para o modelo imitar.

O que é RLHF

RLHF (reinforcement learning from human feedback, aprendizado por reforço com retorno humano) funciona assim: o modelo dá duas ou mais respostas para o mesmo pedido, e uma pessoa ordena da melhor para a pior. Com milhares dessas escolhas, a empresa treina um segundo modelo, o "juiz", que imita o gosto humano e dá nota a milhões de respostas.

O modelo principal aprende a buscar notas altas, como um cachorro que faz o truque pelo petisco. No estudo que levou o método ao GPT-3, avaliadores preferiram um modelo de 1,3 bilhão de parâmetros treinado assim ao GPT-3 original, cem vezes maior.

Quem são as pessoas que treinam a IA

Por trás do RLHF há um exército de anotadores (pessoas pagas para escrever e avaliar respostas). Uma reportagem do The Verge mostrou que eles ganhavam de US$ 10 a US$ 25 por hora nos Estados Unidos, e de US$ 1 a US$ 3 no Quênia.

Etapa 3: aprender a raciocinar

A etapa mais nova treina o modelo a "pensar antes de responder". A OpenAI contou que o o1, seu modelo de 2024, foi treinado com aprendizado por reforço em grande escala para escrever um raciocínio interno, como o rascunho que o aluno faz antes da resposta final. Ele resolve problemas com resposta conferível, como contas e código, e ganha recompensa quando acerta.

Dados de treinamento da IA: de onde vem tudo isso

Os dados vêm de páginas públicas da internet, de livros, de acordos pagos com outras empresas e de textos criados pela própria IA. A OpenAI cita ainda o que usuários, treinadores e pesquisadores fornecem, o que inclui conversas com o ChatGPT, se você não desligar essa opção.

A internet pública e os robôs que coletam páginas

A OpenAI diz que usa só o que está aberto na internet e que filtra discurso de ódio, conteúdo adulto, spam e sites que juntam dados pessoais. O dono de um site pode bloquear o robô coletor da empresa, o GPTBot, com um arquivo de regras chamado robots.txt, uma espécie de placa de "não entre".

Livros, e o acordo de US$ 1,5 bilhão da Anthropic

Livro é texto bom e revisado; o problema é como foi obtido. A Anthropic, dona do Claude, fechou um acordo de US$ 1,5 bilhão com autores, aprovado por uma juíza em julho de 2026.

A decisão que aprovou o acordo estima cerca de US$ 3.000 por obra para os donos dos direitos, numa lista de 482.460 livros. A empresa também precisa destruir os arquivos baixados das bibliotecas piratas Library Genesis e Pirate Library Mirror.

O tribunal entendeu que treinar IA com livros comprados é permitido; o que pesou foi a pirataria. OpenAI e Meta enfrentam processos parecidos, segundo a Ars Technica e a Wired.

Dados comprados e dados sintéticos

Quando a internet aberta não basta, as empresas compram. Em fevereiro de 2024, o Google anunciou acesso à API de dados do Reddit (a porta por onde um sistema puxa dados de outro) para, entre outras coisas, treinar seus modelos. O valor não foi divulgado oficialmente.

A outra saída é o dado sintético (texto criado por uma IA para treinar outra), que a OpenAI diz usar cada vez mais. É o professor que escreve exercícios novos quando os do livro acabam.

As suas conversas entram?

Nas contas pessoais dos três serviços, as conversas podem entrar no treino, e nos três dá para desligar. Planos empresariais e o acesso para programadores ficam de fora por padrão (conferido em 19/10/2026):

Na Anthropic, quem aceita tem as conversas guardadas por até cinco anos; quem recusa fica nos 30 dias normais. No Google, parte das conversas é lida por revisores humanos e fica guardada por até três anos, mesmo depois de você apagar o histórico.

Como o Claude e o Gemini foram treinados: o que muda

O Claude e o Gemini passam pelas mesmas etapas do ChatGPT: pré-treinamento, ajuste fino e reforço. A Anthropic troca parte do retorno humano por princípios escritos; o Google treinou o Gemini com texto, imagem, áudio e vídeo juntos desde o início.

A técnica da Anthropic se chama Constitutional AI (IA constitucional), com princípios inspirados em fontes como a Declaração Universal dos Direitos Humanos. O Claude critica e reescreve as próprias respostas com base neles, e outra IA escolhe a melhor resposta no lugar do avaliador humano. É um aluno corrigindo a redação com o manual de estilo aberto.

Já o Google projetou o Gemini para ser multimodal desde a origem, enquanto muitos modelos aprendem texto primeiro e ganham "olhos" depois. A primeira versão foi treinada em chips do próprio Google, as TPUs.

Quanto custa treinar uma IA

Só a computação do treino do GPT-4 custou cerca de US$ 78 milhões, e a do Gemini Ultra, cerca de US$ 191 milhões, segundo o AI Index, da Universidade Stanford. O custo completo, com pesquisa, salários e dados, é bem maior, e as empresas não divulgam os números dos modelos atuais.

Na tabela, "rodada final" é o treino definitivo, sem os testes que vieram antes. A DeepSeek é uma empresa chinesa.

O que fica fora da conta

O caso DeepSeek mostra a armadilha. Os US$ 5,6 milhões do relatório técnico supõem aluguel de US$ 2 por hora de chip e deixam de fora a pesquisa e os testes anteriores. É como dar o preço de um carro contando só a linha de montagem, sem a fábrica e os protótipos.

O instituto Epoch AI calculou que o custo da rodada final cresce cerca de 2,4 vezes por ano desde 2016. Os chips levam de 47% a 67% do custo, a equipe de 29% a 49% e a energia de 2% a 6%.

Fora das tabelas ficam os anotadores, os dados licenciados e os acordos na Justiça. Só o acordo da Anthropic, de US$ 1,5 bilhão, vale quase 20 vezes a computação do GPT-4. E a energia pesa até para os vizinhos, como mostramos no artigo sobre data centers de IA e a conta de luz.

O que isso muda para você

Desligue o uso das suas conversas no treino se elas tiverem algo sensível, e não cole documentos pessoais no chat. O resto depende do seu perfil:

Quer saber como um modelo copia outro? Leia sobre a destilação de IA ou veja mais na seção de inteligência artificial.

Perguntas frequentes

Como a IA é treinada, de forma simples?

Primeiro, ela lê trilhões de pedaços de texto e aprende a prever a próxima palavra. Depois, pessoas mostram como responder bem e dão nota às respostas. Por fim, ela pratica problemas com resposta certa para aprender a raciocinar.

O que é RLHF?

É o aprendizado por reforço com retorno humano. Pessoas comparam respostas da IA e escolhem a melhor; um modelo "juiz" aprende esse gosto e treina a IA principal em escala. Foi o método usado no ChatGPT.

Quanto custa treinar uma IA como o ChatGPT?

A computação do GPT-4 custou cerca de US$ 78 milhões, segundo Stanford. Com pesquisa, salários e dados, o total é bem maior, e a OpenAI não divulga o custo dos modelos atuais.

Como impedir que minhas conversas treinem a IA?

Os três serviços têm um botão para isso nas configurações; a tabela acima mostra onde fica cada um. Planos empresariais já vêm desligados.

---

Por trás de cada resposta de dois segundos há trilhões de palavras, milhares de pessoas e centenas de milhões de dólares. O próximo passo é seu: confira hoje as suas configurações de privacidade.