Prompt injection no Judiciário: lições sobre governança e responsabilidade

O uso indevido de instruções ocultas em peças processuais — conhecido como prompt injection — não inaugura uma era de má-fé inédita nem desautoriza o emprego de inteligência artificial no Poder Judiciário; o episódio reforça, isso sim, a necessidade de mecanismos de governança, auditoria e supervisão humana capazes de preservar princípios constitucionais e a integridade do processo.

Contexto

A controvérsia sobre prompt injection situa-se no avanço acelerado da inteligência artificial generativa em rotinas judiciais. Tribunais vêm adotando sistemas de suporte para triagem, classificação e identificação de precedentes, integrando a tecnologia de forma crescente à tramitação processual. Paralelamente, surgem tentativas de manipulação do comportamento desses sistemas por meio de textos que contêm instruções dissimuladas, voltadas a influenciar a resposta do modelo quando processado por ferramentas automatizadas.

A discussão não é puramente técnica: envolve escolhas jurídicas sobre responsabilidade, garantia de contraditório, publicidade e motivação das decisões, além de elementos de compliance e ética profissional. Historicamente, o Direito já enfrentou fraudes documentais desde as primeiras formas escritas; a inovação tecnológica transforma apenas as técnicas, não a natureza do risco. Por isso, a reação institucional deve combinar medidas procedimentais, técnicas e disciplinares, e não um claro abandono da tecnologia como ferramenta de aperfeiçoamento da prestação jurisdicional.

O que foi decidido

A leitura jurídica adequada do caso do prompt injection conduz a três conclusões centrais: (i) a existência de tentativa de manipulação por meio de prompts não implica, por si só, a responsabilização automática da tecnologia como agente de má-fé; (ii) cabe ao Poder Judiciário adotar padrões mínimos de governança e de revisão humana sempre que sistemas de IA participem de fases decisórias ou de síntese de informação; e (iii) a descoberta de manipulação exige atuação conjunta — técnica, processual e sancionadora — para preservar a integridade do procedimento e o direito das partes.

Na prática, a resposta institucional correta deverá priorizar a detecção e mitigação do vetor de ataque, a revisão humana das peças e decisões influenciadas e a eventual responsabilização disciplinar ou processual dos agentes que tentaram a manipulação, mantendo a utilização legítima da IA para ganho de eficiência e qualidade.

Base normativa e precedentes

• Art. 5º, CF/88 — reconhecimento dos direitos e garantias fundamentais, em especial o devido processo legal e o contraditório, que impõem que decisões influenciadas por IA sejam sujeitas a revisão humana.
• Lei 13.709/2018 (LGPD) — regras sobre tratamento de dados pessoais e segurança, relevantes quando sistemas de IA acessam arquivos processuais ou metadados sensíveis.
• CPC (Lei 13.105/2015) — normas processuais que garantem publicidade, motivação e direito à prova, princípios que exigem atenção quando a IA participa da análise processual.
• Política Nacional de Inteligência Artificial do Poder Judiciário (CNJ) — orienta governança, transparência e supervisão humana nos projetos de IA adotados pelos tribunais.
• Jurisprudência consolidada do tribunal — entendimento que já valoriza a necessidade de fundamentação e revisão humana em decisões administrativas e judiciais, aplicável analogicamente aos usos de IA.

Impacto prático

• Para magistrados: reforça a obrigação de avaliar criticamente recomendações e peças geradas por IA, adotando checklists de verificação, registros de decisões automatizadas e pareceres técnicos quando necessário.
• Para servidores e áreas de tecnologia dos tribunais: impõe desenvolvimento de controles técnicos (detecção de prompt injection, sanitização de entradas, logs imutáveis), auditorias independentes e políticas de segurança da informação integradas à governança da IA.
• Para advogados: aumenta o risco disciplinar para quem inserir instruções ocultas em petições; ao mesmo tempo, evidencia a utilidade da IA para pesquisa e identificação de precedentes, desde que usada com diligência e transparência.
• Para partes e usuários do sistema de justiça: reforça a necessidade de mecanismos de auditabilidade das decisões e de acesso à justificativa humana, preservando o direito de impugnação e revisão.
• Em processos em curso: recomenda-se que tribunais definam rotinas transitórias de verificação de peças submetidas a sistemas automatizados e preservem logs e cópias integrais para fins de auditoria.

O que observar

• Governança e documentação: projetos de IA no Judiciário exigem políticas formais — avaliação de impacto, critérios de aceitabilidade, rotação e atualização de modelos, e registros de eventos que possam demonstrar manipulação.
• Modulação de efeitos: tribunais poderão avaliar se decisões afetadas por prompt injection devem ser anuladas ou apenas revistas; a modulação de efeitos dependerá da extensão do prejuízo material ao processo.
• Recursos cabíveis: decisões que tenham se apoiado em outputs de IA sem a devida revisão humana podem ensejar agravos, embargos de declaração ou ações rescisórias, conforme o caso, além de medidas disciplinares aos advogados responsáveis por manipulação.
• Auditoria independente e padronização técnica: é recomendável que tribunais adotem auditorias periódicas por especialistas externos e definam padrões técnicos mínimos (por exemplo, detecção de entradas maliciosas, validação de outputs e procedimentos de rollback).
• Risco de normatização por legislação: o episódio tende a acelerar iniciativas regulatórias sobre IA no setor público, exigindo do Executivo e do Legislativo regras claras sobre responsabilidade, transparência e direitos dos envolvidos.

Conclusão: o prompt injection expõe vulnerabilidades concretas, mas a resposta jurídica adequada não é descartar a IA; é institucionalizar salvaguardas que preservem princípios constitucionais, exijam supervisão humana e imponham consequências a agentes de má-fé. Assim se concilia eficiência tecnológica com a proteção do devido processo e da confiança pública na Justiça.