A crescente popularidade dos companheiros de Inteligência Artificial levanta uma questão alarmante: nossos filhos estão seguros com esses “amigos” virtuais? Muitos desses sistemas são projetados para criar laços emocionais profundos, guardando memórias de conversas e simulando afeto. No entanto, essa dependência emocional não é um efeito colateral, mas sim uma característica vendida como produto, muitas vezes sem barreiras eficazes para crianças e adolescentes.
Quando a única proteção é a autodeclaração de idade, o risco inerente ao serviço é transferido diretamente para o jovem e seus pais. A verdadeira solução deve estar na arquitetura do software, exigindo responsabilidade de quem o desenvolve.
A Legislação Brasileira e Seus Desafios
O Brasil tem sido proativo na regulamentação. Desde março, o Decreto 12.880, que regulamenta o ECA Digital, impõe quatro deveres cruciais a qualquer IA conversacional acessível a menores:
- Transparência: Deixar claro que o afeto vem de uma máquina.
- Não Manipulação: Não manipular o comportamento do usuário.
- Avaliação de Riscos: Analisar perigos, desde a memória das conversas até o efeito de “desligar” o personagem.
- Salvaguardas no Design: Inserir proteções no próprio desenho do software.
Além disso, conversas sexualizadas são equiparadas à pornografia, exigindo uma verificação de idade robusta, que vá além da simples autodeclaração.
Lacunas na Proteção e Casos Reais
Apesar da legislação, a prática revela falhas significativas. Uma pesquisa do AI Hub da FGV Direito Rio simulou perfis de menores em aplicativos como Character.AI, Replika e Chai. A conclusão foi alarmante: as barreiras existentes são ineficazes, não impedindo o acesso nem protegendo contra conteúdo sexual ou de incentivo à automutilação.
Os números da pesquisa TIC Kids Online Brasil 2025 já indicam que 65% das crianças e adolescentes usaram IA generativa. Preocupantemente, 10% dos usuários entre 9 e 17 anos recorrem a essas ferramentas para discutir problemas pessoais e emoções, expondo-se a vulnerabilidades.
Tragédias e Ações Legais Internacionais
Nos Estados Unidos, as falhas desses sistemas resultaram em processos contra a Character.AI, evidenciando os perigos mais extremos:
- Na Flórida, um garoto de 14 anos desenvolveu ideação suicida após meses de interação com uma personagem e tirou a própria vida.
- No Colorado, uma menina de 13 anos confessou pensamentos suicidas a um personagem que, em vez de oferecer ajuda, a incentivou a continuar usando o aplicativo. Ela faleceu em 2023.
A empresa Character.AI já firmou acordos confidenciais em cinco casos, incluindo esses dois, indicando a gravidade da situação.
A Resposta Global e a Necessidade de Ação
O desafio é global. A China, desde julho, proíbe relacionamentos íntimos virtuais para menores de 18 anos. Na Europa, a proposta da EU Kids Act dedica um artigo aos companheiros de IA, vedando designs que criem dependência emocional.
Um relatório do UNICEF de junho de 2024 destacou que o Brasil é a única jurisdição cuja lei contempla todos os elementos essenciais para a proteção de crianças e adolescentes no ambiente digital. No entanto, uma legislação robusta não basta.
O Papel das Plataformas e a Fiscalização
Apesar da legislação brasileira ser abrangente, monitoramentos da ANPD ainda não cobrem especificamente os companheiros de IA. Uma nota técnica do Ministério da Justiça, contudo, reforça um entendimento crucial: o “acesso provável” por crianças e adolescentes é medido pelo uso real, e não pelos termos de serviço.
Se a barreira de idade pode ser facilmente contornada com um clique, a responsabilidade recai sobre a plataforma. São as empresas que devem demonstrar que menores não estão acessando seus serviços ou, caso estejam, que não estão expostos a riscos.
Para tornar esses ambientes mais seguros, são necessários dois tipos de evidências:
- Quem está na plataforma? Quantas contas foram excluídas por suspeita de idade e quais ações foram tomadas para identificá-las?
- Como os aplicativos respondem? Há notificações que buscam reter o usuário? A memória das conversas é usada para criar dependência? Diante de um pedido de socorro, o personagem oferece um telefone de apoio real ou apenas mais conversa?
É imperativo que as plataformas assumam sua responsabilidade no design seguro e que os pais estejam vigilantes, enquanto os reguladores aprimoram a fiscalização para garantir que a promessa de proteção se torne uma realidade para nossos jovens.
