Por que um banco de jurisprudências é a única forma de evitar que a IA minta para você

Os números assustam quem trabalha sério com IA jurídica. Um estudo do Stanford RegLab e do Institute for Human-Centered AI testou mais de 200 mil consultas jurídicas em modelos como GPT-4, PaLM 2 e Llama 2 e encontrou taxas de alucinação entre 69% e 88% em respostas a perguntas jurídicas específicas. Isso significa que, em até 9 de cada 10 consultas, o modelo pode simplesmente inventar a resposta com total convicção. O estudo completo está disponível em: https://arxiv.org/abs/2401.01301

O problema piora quando o assunto é jurisprudência de instâncias inferiores, exatamente onde a maioria dos advogados brasileiros atua no dia a dia. Quanto mais complexa a consulta jurídica, como medir a relação de precedência entre dois casos, mais provável é que o modelo produza uma alucinação. Para perguntas sobre a decisão central de um caso, os modelos alucinam ao menos 75% do tempo. Não é um bug. É uma característica estrutural de como esses sistemas funcionam.

O que me preocupa ainda mais é o que os pesquisadores chamaram de "viés contrafactual": os LLMs frequentemente falham em corrigir premissas jurídicas incorretas do usuário. Na prática, se eu formulo uma pergunta partindo de uma premissa errada sobre um julgado, o modelo tende a confirmar o erro e construir uma resposta elaborada em cima dele. É ardiloso exatamente porque parece correto.

O problema já chegou ao ponto de virar epidemia nos tribunais americanos. Antes da primavera de 2025, eram cerca de dois casos por semana de advogados sancionados por citações falsas geradas por IA. Em meados de 2025, esse número passou para dois ou três casos por dia. No Brasil ainda não temos um rastreamento sistemático como esse, mas seria ingênuo acreditar que estamos imunes. A diferença é que aqui os advogados estão começando a usar IA agora, exatamente quando as ferramentas parecem mais confiáveis do que nunca. Esse é o momento mais perigoso. O levantamento está em: https://cronkitenews.azpbs.org/2025/10/28/lawyers-ai-hallucinations-chatgpt/

O que mais me preocupa não é o advogado que usa IA e sabe dos riscos. É o que usa e acha que está protegido. Pesquisadores que acompanham casos de citações inexistentes geradas por IA identificaram mais de 600 ocorrências nos Estados Unidos, e projetam aumento porque a inovação em IA está superando a capacidade de educação dos advogados sobre os riscos. Construí o Enzo exatamente para esse cenário: não como uma ferramenta que substitui a verificação do advogado, mas como uma que parte de fontes reais e auditáveis, reduzindo drasticamente a chance de uma citação fantasma chegar até uma petição. Mais detalhes em: https://calmatters.org/economy/technology/2025/09/chatgpt-lawyer-fine-ai-regulation/

Mesmo as ferramentas jurídicas especializadas, que usam RAG (recuperação com base em documentos reais), não estão imunes. O Lexis+ AI e o Ask Practical Law AI produziram informações incorretas em mais de 17% das consultas, enquanto o Westlaw AI-Assisted Research alucionou em mais de 34% das vezes, segundo outro estudo de Stanford. Se as maiores plataformas jurídicas do mundo ainda erram nessa proporção, imagina o que acontece com quem usa um chatbot genérico sem nenhuma base de dados jurídica por trás. O estudo está em: https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries

Foi por isso que construí o Enzo com um banco real de acórdãos raspados diretamente dos tribunais brasileiros, TJAC, TJAL, TJSP, STJ, TRF1 e Datajud, em vez de depender da memória do modelo. Não é uma escolha técnica opcional. É a única forma eticamente responsável de oferecer pesquisa jurisprudencial com IA para advogados que vão usar esse resultado em petições reais, com clientes reais, em processos reais.

A boa notícia é que a ciência já tem uma resposta clara para esse problema: o RAG, sigla para Retrieval-Augmented Generation, que é exatamente a arquitetura que uso no Enzo. Em vez de depender da memória do modelo, o sistema busca documentos reais antes de responder. Pesquisas mostram que a implementação de RAG reduz significativamente as alucinações e melhora a generalização do modelo em domínios específicos, como o direito. O estudo completo está em: https://arxiv.org/abs/2404.08189

Mas o RAG sozinho também não resolve tudo, e aprendi isso da forma difícil. Mesmo com RAG, as limitações nos componentes de recuperação e geração ainda contribuem para a produção de alucinações. O que faz a diferença é a qualidade do banco que está por trás: se os acórdãos foram mal raspados, mal indexados ou mal filtrados, o modelo vai recuperar lixo e gerar lixo com aparência de autoridade. Por isso o Enzo tem uma camada de limpeza e validação dos dados antes de qualquer consulta semântica. O estudo sobre os limites do RAG está em: https://www.mdpi.com/2227-7390/13/5/856

No fim, o banco de jurisprudências não é uma feature do Enzo. É a razão de ele existir. Sem uma base real de acórdãos como âncora, qualquer agente jurídico é apenas um gerador de texto convincente, e texto convincente em petição é exatamente o que pode destruir a credibilidade de um advogado diante de um juiz. Provedores de IA jurídica chegaram a prometer citações "livres de alucinação" com base em RAG, mas avaliações independentes mostraram que as afirmações eram exageradas. Prefiro prometer menos e entregar mais: o Enzo cita o que existe, indica a fonte, e quando não encontra, diz que não encontrou.