Por que a IA erra ao criar questões e como resolver em 3 etapas

Quem já tentou usar inteligência artificial para gerar questões de concurso, prova ou estudo jurídico conhece bem a frustração: o enunciado parece correto à primeira vista, mas a alternativa errada também está tecnicamente certa, o gabarito justifica mal ou, pior, a questão apenas repete o que foi dado como contexto, sem exigir nenhum esforço cognitivo real. A IA não está sendo preguiçosa. Ela está fazendo exatamente o que foi pedida: gerar texto que *pareça* uma questão. O problema é que parecer uma questão e ser uma questão são coisas completamente diferentes.

O erro começa na forma como a maioria das pessoas instrui o modelo. Quando peço "crie 10 questões sobre responsabilidade civil" sem mais contexto, é o equivalente a contratar um professor e dizer apenas "dê uma aula". O modelo não sabe o nível do aluno, o estilo da banca, o objetivo pedagógico nem quais conceitos devem ser testados com mais profundidade. Diante de tanta abertura, ele faz o que todo sistema estatístico faz diante da incerteza: regride à média. E a média das questões jurídicas geradas por IA é genérica, superficial e repleta de distratores inconsistentes, aquelas alternativas erradas que não enganam ninguém que estudou minimamente o tema.

Existe ainda um problema técnico mais profundo: gerar boas alternativas incorretas exige raciocínio contrafactual. A IA precisa entender o conceito correto com precisão suficiente para construir uma alternativa que seja plausível, mas errada, e isso requer pelo menos duas operações mentais distintas: compreender o conteúdo e deliberadamente distorcê-lo de forma calibrada. Quando peço tudo isso em um único prompt, o modelo tende a colapsar as etapas e produzir um resultado mediano. Foi exatamente esse problema que me levou a criar o Francisco, o agente de estudos do PromptJus especializado em preparação para concursos jurídicos.

A solução que desenvolvi no Francisco está em separar o que a IA não consegue fazer bem junto. O fluxo funciona em 3 etapas: primeiro, o Francisco analisa e mapeia o conteúdo, identificando os conceitos centrais, as pegadinhas clássicas da banca e os pontos de maior incidência. Depois, com esse mapa em mãos, ele gera apenas os enunciados, sem as alternativas, focando em cenários concretos e situações problema reais. Por fim, com o enunciado já fixado, o Francisco constrói as alternativas separadamente, sendo explicitamente instruído sobre qual é a correta e por que cada distrator deve parecer razoável sem sê-lo. Cada etapa tem um objetivo claro, e a qualidade de cada uma alimenta a próxima.

O resultado não é apenas melhor, é estruturalmente diferente de tudo que vi sendo gerado com IA até hoje. As questões passam a testar raciocínio de verdade, os distratores se tornam pedagogicamente úteis e o gabarito comentado ganha coerência interna. O Francisco não é uma máquina de produzir conteúdo em massa. Ele é uma parceira de raciocínio desenhada para pensar junto com quem estuda, etapa por etapa, com intenção. E é exatamente isso que separa um agente de IA bem construído de um prompt qualquer jogado num chat.

Uma das coisas que mais me surpreendeu ao desenvolver o Francisco foi perceber que o maior ganho não estava na quantidade de questões geradas, mas na qualidade do feedback que ele consegue dar depois que o aluno responde. Quando a pipeline está bem estruturada, o agente sabe exatamente por que cada distrator foi construído daquela forma, o que torna a explicação do gabarito muito mais precisa e didática do que qualquer correção genérica. O aluno não só descobre que errou: ele entende exatamente onde o raciocínio falhou, e isso faz toda a diferença na retenção do conteúdo.

Outro ponto que aprendi na prática é que esse fluxo de 3 etapas funciona para qualquer área do direito, mas performa melhor quando o Francisco recebe contexto específico sobre a banca. Questões do CESPE têm uma lógica completamente diferente das da FCC ou do VUNESP. O estilo de escrita, o nível de literalidade com a legislação, a frequência de questões de jurisprudência: tudo isso muda o que é um bom distrator. Quando instruo o Francisco com esse perfil de banca, as questões geradas ficam tão próximas do estilo original que alunos que testaram acharam que eram questões reais de provas anteriores. Esse é o nível de calibração que só é possível quando o processo é desenhado com intenção.

Hoje o Francisco já faz parte do dia a dia de centenas de advogados e estudantes dentro do PromptJus, e continuo evoluindo a pipeline com base no que os usuários me reportam. A próxima versão vai incorporar um modelo de conhecimento do aluno, onde o agente acompanha o histórico de acertos e erros para priorizar os temas com maior lacuna de aprendizado. A ideia é simples: não faz sentido gerar mais questões sobre o que o aluno já domina. O Francisco precisa saber onde dói, e é lá que ele vai bater mais forte. Porque no final, o objetivo nunca foi gerar questões. Foi formar advogados que pensam melhor.