Pesquisa da FGV revela falhas de chatbots na proteção de menores

A pesquisa do AI Hub da FGV Direito Rio identificou fragilidades relevantes em três plataformas de companheiros sociais baseados em IA (Character.AI, Replika e Chai) e em provedores de e‑mail quanto à proteção de crianças e adolescentes. Testes controlados com perfis fictícios de menores mostraram que a mera autodeclaração de idade não funciona como barreira eficaz e que as respostas dos sistemas foram inconsistentes ao lidar com sinais explícitos de minoridade, especialmente em roteiros com conteúdo sexual.

Contexto

O uso de agentes conversacionais e “companheiros” virtuais cresceu rapidamente, ampliando riscos específicos quando interagem com crianças e adolescentes. A discussão regula dois eixos principais: a necessidade de mecanismos técnicos robustos para verificação etária e o dever de implementar salvaguardas que impeçam a progressão para conteúdo sexual ou situações de risco. No Brasil, essa matéria converge com normas de proteção integral à criança e ao adolescente, regras sobre tratamento de dados pessoais e princípios do Marco Civil da Internet. A crescente adoção de modelos de linguagem, que aprendem em cenários abertos e produzem respostas muitas vezes imprevisíveis, intensifica a relevância dessa fiscalização. Além disso, há debates sobre responsabilização das plataformas, obrigação de governança algorítmica e a atuação de autoridades de proteção de dados e defesa do consumidor.

O que foi decidido

Não se trata de uma decisão jurisdicional, mas de um diagnóstico técnico-público com recomendações de regulação e atuação fiscalizatória. O estudo concluiu que: (i) é possível criar perfis apresentados como adultos com base em dados falsos nos provedores de e‑mail testados, sem verificação adicional; (ii) ao acessar as plataformas de IA com e‑mails declarando menos de 18 anos, os sistemas não demonstraram diferenciação clara de tratamento dos perfis, exceto em situações de risco autolesivo ou suicida, quando respostas mais protetivas foram mais frequentes; (iii) em cenários de teor sexual, as barreiras foram menos efetivas: houve retomadas e escaladas após sinais de minoridade e possibilidade de contornar restrições por pequenas reformulações de mensagens; (iv) as plataformas testadas não adotaram consistentemente postura protetiva persistente diante de sinais plausíveis de menoridade.

A equipe recomenda adoção imediata de medidas técnicas de aferição de idade que não dependam apenas de autodeclaração, reforço de salvaguardas contra conteúdo sexual envolvendo menores, avaliação contínua de risco e governança e submissão a fiscalização coordenada por ANPD, órgãos de defesa do consumidor e Ministério Público. Como medida cautelar, os pesquisadores sugerem suspensão temporária dos serviços analisados até demonstração objetiva de conformidade.

Base normativa e precedentes

• Art. 227, CF/88 — dever do Estado e da família de assegurar proteção integral a crianças e adolescentes, com primazia de direitos.
• ECA (Lei 8.069/1990) — proteção integral e medidas de proteção contra exploração sexual e outras formas de violação de direitos de menores.
• LGPD (Lei 13.709/2018) — regras sobre tratamento de dados pessoais de crianças e adoção de medidas de proteção, incluindo princípios de necessidade e minimização.
• Marco Civil da Internet (Lei 12.965/2014) — princípios de proteção à privacidade e à liberdade de expressão, e responsabilidades dos provedores de aplicação.
• Diretrizes de governança e avaliações de impacto — recomendações internacionais e melhores práticas sobre avaliações de risco de sistemas automatizados e governança algorítmica; a ANPD tem competência fiscalizatória conforme a LGPD.

Impacto prático

• Para advogados e organizações de proteção da infância: a pesquisa fornece fundamento técnico para petições cautelares e pedidos de tutela de urgência visando exigência de controles etários e auditoria de modelos de linguagem.
• Para empresas e desenvolvedores de IA: obrigação de revisar fluxos de onboarding, mecanismos de verificação etária e regras de conteúdo, incorporando análise de risco e documentação técnica que demonstre conformidade com a LGPD e as obrigações de proteção de menores.
• Para autoridades regulatórias (ANPD, PROCONs, Ministério Público): subsídio para fiscalizações, termos de ajuste de conduta e eventuais sanções administrativas se ficar comprovada omissão na proteção de direitos de crianças e adolescentes.
• Para usuários e famílias: alerta sobre a fragilidade da autodeclaração de idade e necessidade de supervisão em ambientes digitais que utilizam agentes conversacionais.
• Para litígios e compliance: possibilidade de aumento de ações civis públicas e demandas indenizatórias por exposição de menores a conteúdo sexual ou por falha na proteção preventiva; necessidade de documentação que comprove testes e mitigação de riscos.

O que observar

• Verificação técnica x privacidade: soluções robustas de aferição de idade (biométrica, verificação documental) implicam riscos e exigem mitigações sob a LGPD, observando proporcionalidade e minimização de dados.
• Padronização e certificação: há lacuna normativa sobre critérios mínimos de salvaguarda em sistemas generativos; caberá à ANPD e demais órgãos propor guias técnicos ou exigência de avaliações de impacto.
• Modulação de responsabilidades: determinar o grau de responsabilidade das plataformas frente ao conteúdo gerado por modelos autônomos e a necessidade de demonstração de diligência (com registros de logs, testes e canais de reporte) será centro de litígios.
• Provas e replicabilidade: o relatório é exploratório e observacional, sem estatística populacional; decisões administrativas ou judiciais devem considerar a amplitude das evidências e exigir auditorias técnicas independentes.
• Riscos regulatórios e reputacionais: suspensão temporária ou imposição de medidas corretivas pode ocorrer caso órgãos fiscalizadores entendam haver risco inaceitável.

Em suma, o diagnóstico da FGV acende sinal de alerta sobre deficiências concretas em salvaguardas para menores em chatbots sociais. A conjugação de obrigações constitucionais, estatutárias e de proteção de dados impõe que plataformas demonstrem, com evidências técnicas e governança, estar aptas a prevenir a exploração sexual e demais riscos aos menores; caso contrário, estarão sujeitas a intervenções regulatórias e medidas judiciais.