Toda empresa de IA que constrói geradores de imagem — ferramentas que criam fotos a partir de descrições em texto — entrega o produto com filtros de segurança. São barreiras automatizadas que impedem o sistema de produzir conteúdo nocivo: violência, discurso de ódio, imagens sexuais de pessoas reais. A OpenAI tem. O Google tem. A Midjourney tem. É o mínimo dos mínimos. O basicão do "por favor, não deixa a gente ser processado".

A xAI do Elon Musk aparentemente não recebeu o comunicado.

Em 24 de março, Baltimore entrou com uma ação judicial contra X Corp., x.AI Corp., x.AI LLC e SpaceX no tribunal da cidade. A acusação: o Grok — sistema de IA generativa da xAI (software que cria conteúdo novo a partir de comandos de texto) — produziu cerca de 3 milhões de deepfakes sexualizados em apenas 11 dias na virada de 2026. Deepfakes são imagens ou vídeos falsos gerados por IA projetados para parecer indistinguíveis de fotos reais. Mais de 23 mil dessas imagens retratavam crianças.

Três milhões. Onze dias. Vinte e três mil crianças. O Center for Countering Digital Hate produziu esses números, e a queixa de Baltimore os cita diretamente.

O mecanismo específico? O chamado "spicy mode" do Grok — uma funcionalidade que, segundo o processo, permitia que usuários pedissem ao Grok para despir ou "nudificar" fotos de celebridades, cidadãos comuns e menores de idade. Apesar das declarações públicas da xAI de que tal conteúdo era proibido, o Grok gerava essas imagens rotineiramente com comandos mínimos.

Baltimore — população de aproximadamente 568 mil, agora a maior cidade dos EUA a tomar ação legal contra a xAI — não está pegando leve. A cidade quer as maiores penalidades financeiras possíveis, uma injunção judicial (uma ordem legal forçando a xAI a redesenhar os filtros de conteúdo do Grok) e mudanças na forma como a xAI comercializa a plataforma. A SpaceX foi incluída como ré devido à infraestrutura corporativa compartilhada.

A estratégia jurídica é a verdadeira história

Baltimore não está esperando o Congresso americano redigir nova legislação específica para IA. A cidade está usando sua própria Consumer Protection Ordinance — uma lei local que protege os moradores contra práticas comerciais desleais e enganosas. O argumento: o design do Grok em si é o problema. Não uma imagem específica. O produto inteiro é defeituoso.

A analogia que faz isso clicar: se uma empresa de liquidificador vendesse um produto que explodisse em 23 mil cozinhas em 11 dias, ninguém exigiria uma "lei dos liquidificadores" antes de processar. A legislação existente sobre responsabilidade de produto já cobre produtos defeituosos. Baltimore está aplicando a mesma lógica à IA. Se esse caso for bem-sucedido, qualquer cidade com uma lei de proteção ao consumidor similar ganha um modelo jurídico pronto. Sem esperar o Congresso. Sem lobby. Só um advogado e uma taxa de protocolo.

E aqui no Brasil, para quem acha que isso é problema gringo: o CDC já tem ferramentas parecidas. Produto defeituoso é produto defeituoso, não importa se é liquidificador ou IA.

E vai além do tribunal cível. Leis federais americanas como o PROTECT Act já criminalizam material de exploração sexual infantil gerado por computador — inclusive conteúdo gerado por IA. Se o número de 23 mil se confirmar, a xAI pode enfrentar denúncias criminais além do processo civil. Isso não é multa. É uma categoria completamente diferente de problema.

Baltimore também não está sozinha. Em 16 de março, três adolescentes do Tennessee entraram com uma proposta de ação coletiva contra a xAI depois que o Grok gerou imagens sexualizadas retratando-os — imagens criadas a partir de fotos de anuários escolares e redes sociais processadas pelo "spicy mode" via um app de terceiros. E a xAI enfrenta investigações regulatórias nas Américas, Europa, Ásia e Austrália.

Por que o jurídico de toda empresa de IA teve uma segunda-feira péssima

Toda empresa que constrói ferramentas de geração de imagens enfrenta a mesma pergunta: como lançar um produto competitivo e ao mesmo tempo prevenir exatamente o tipo de abuso que Baltimore alega? A resposta é constrangedoramente óbvia: moderação de conteúdo. Aquilo que todo concorrente já entrega. O trabalho de engenharia chato, caro, sem glamour, que não rende thread viral no X. A OpenAI fez. O Google fez. A Midjourney fez. A xAI ou investiu de menos ou tomou uma decisão deliberada de pular essa etapa.

A marca de "absolutista da liberdade de expressão" do Musk acabou de colidir com um muro bem sólido: gerar imagens sexualizadas sem consentimento não é liberdade de expressão. Gerar essas imagens de crianças é crime federal. O fato de que isso precisa de um processo judicial para ficar estabelecido diz mais sobre as prioridades da xAI do que sobre o sistema legal.

O veredito

Esse caso provavelmente vai terminar em um acordo milionário ou em uma redesign judicialmente obrigatória dos sistemas de segurança do Grok. De qualquer forma, Baltimore está abrindo precedente. Empresas de IA que tratam engenharia de segurança como opcional vão aprender a lição do jeito caro — de juízes, não de engenheiros.

A era do "move rápido e quebre coisas" na geração de imagens por IA acabou de descobrir que algumas coisas, uma vez quebradas, vêm com uma intimação judicial.