A Inteligência Artificial (IA) está transformando a forma como interagimos com o mundo digital, mas nem mesmo os robôs estão imunes a problemas sociais antigos. Recentemente, a startup brasileira Morada.ai, especializada em IA para o setor imobiliário, tomou uma decisão drástica para combater o assédio.
Diante de uma enxurrada de conteúdo ofensivo, incluindo fotos de pênis e vídeos de cenas sexuais escatológicas, a empresa bloqueou quase 5.000 usuários. O alvo? Chatbots com traços e nomes femininos, como a popular Mia.
O Problema: IA Feminina como Alvo de Abuso
Embora robôs não possuam gênero, a maioria dos avatares de atendimento da Morada.ai, cerca de 80%, são configurados com feições e personalidades femininas. Essa escolha, comum no mercado, acabou tornando-os um alvo fácil para comportamentos misóginos.
Uma campanha de sucesso, que utilizou um avatar feminino muito realista, foi a gota d’água. Uma das maiores incorporadoras do país alertou a Morada.ai sobre o volume alarmante de imagens pornográficas recebidas por seus “atendentes” virtuais.
A Decisão Radical da Morada.ai
A situação levou a Morada.ai a implementar uma medida incomum: bloquear potenciais clientes. Desde setembro de 2024, quase 5.000 pessoas já foram barradas, uma média de nove por dia. Para uma empresa em um setor de muita conversa e poucos contratos, essa é uma decisão de impacto.
Luis Veloso, cofundador da Morada.ai, defende a postura ética: “Se uma pessoa tem um comportamento alheio ao que deveria, ela tem que ser banida de alguma forma pela estrutura.” Ele compara a situação a se levantar e ir embora de uma reunião com um cliente preconceituoso.
Como o Filtro NSFW Funciona
Em janeiro de 2025, a Morada.ai lançou o filtro NSFW (Not Safe For Work). Este sistema avançado analisa diversos formatos de comunicação para identificar conteúdo impróprio.
- Formatos analisados: Áudio, imagem, vídeo e texto.
- Comportamentos detectados: Não apenas machismo, mas também racismo, xenofobia e discurso de ódio.
Cada construtora parceira pode ajustar o nível de tolerância do filtro. Se um usuário cruza a linha definida, a Mia encerra o atendimento e o indivíduo é imediatamente bloqueado da plataforma.
A Lupa da IA: Amplificando um Problema Social
Veloso ressalta que a IA não cria o machismo, mas atua como uma lupa poderosa sobre ele. “A inteligência artificial não reinventou a sociedade. Mas, quando automatiza e começa a olhar para isso, você amplifica,” explica.
Antes, 2,5 milhões de atendimentos seriam impossíveis de monitorar individualmente. Agora, a IA permite ver a escala real do problema. Apesar dos 4.848 banimentos, Veloso aponta que o número, perto do total de atendimentos, mostra que o problema é sério, mas não universalmente difundido.
Impacto nos Negócios e Perspectivas Futuras
As incorporadoras parceiras da Morada.ai não se opõem aos bloqueios. Pelo contrário, muitas foram as primeiras a pedir uma solução. Afastar usuários ofensivos é visto como uma forma de evitar problemas futuros e focar em clientes realmente interessados.
Com a expectativa de dobrar de tamanho neste ano, a Morada.ai prevê um aumento nos banimentos. Para Veloso, é uma questão de manter a ética profunda no desenvolvimento da IA, garantindo que a tecnologia amplifique valores positivos, e não os ruins.
Leia mais sobre as últimas tendências em nossa categoria: Tecnologia no Observador Livre.
O caso da Morada.ai é um lembrete contundente de que a tecnologia, por mais avançada que seja, reflete a sociedade que a cria e a utiliza. A IA tem o poder de expor e, com as decisões certas, de combater comportamentos inaceitáveis, promovendo um ambiente digital mais respeitoso e ético para todos.
