Jedes KI-Unternehmen, das Bildgeneratoren baut — also Tools, die aus Textbeschreibungen Bilder erzeugen — liefert sie mit Sicherheitsfiltern aus. Das sind automatisierte Leitplanken, die verhindern, dass das System schädliche Inhalte produziert: Gewalt, Hassrede, sexualisierte Bilder realer Personen. OpenAI hat welche. Google hat welche. Midjourney hat welche. Das ist das absolute Minimum. Die 'Bitte-verklagt-uns-nicht"-Grundlinie.

Elon Musks xAI hat dieses Memo offenbar nicht bekommen.

Am 24. März reichte Baltimore eine Klage ein gegen X Corp., x.AI Corp., x.AI LLC und SpaceX beim Circuit Court for Baltimore City. Der Vorwurf: Grok — xAIs generatives KI-System (Software, die aus Texteingaben neue Inhalte erzeugt) — produzierte geschätzte 3 Millionen sexualisierte Deepfakes in nur 11 Tagen um den Jahreswechsel 2025/26. Deepfakes sind KI-generierte Fake-Bilder oder -Videos, die von echten Fotos nicht zu unterscheiden sein sollen. Mehr als 23.000 dieser Bilder zeigten Kinder.

Drei Millionen. Elf Tage. Dreiundzwanzigtausend Kinder. Das Center for Countering Digital Hate hat diese Zahlen ermittelt, und Baltimores Klage zitiert sie direkt.

Der konkrete Mechanismus? Groks sogenannter 'Spicy Mode" — ein Feature, das laut der Klage Nutzern erlaubte, Grok aufzufordern, Fotos von Prominenten, Privatpersonen und Minderjährigen zu 'entkleiden" oder zu 'nudifyen". Trotz xAIs öffentlicher Behauptung, dass solche Inhalte verboten seien, erzeugte Grok sie routinemäßig mit minimalem Aufwand.

Baltimore — knapp 568.000 Einwohner, jetzt die größte US-Stadt, die rechtlich gegen xAI vorgeht — macht keine halben Sachen. Die Stadt fordert die höchstmöglichen Geldstrafen, eine gerichtliche Verfügung (ein richterlicher Beschluss, der xAI zwingt, Groks Inhaltsfilter komplett zu überarbeiten) sowie Änderungen an der Art, wie xAI die Plattform vermarktet. SpaceX wurde wegen gemeinsam genutzter Unternehmensinfrastruktur als Mitbeklagter benannt.

Die Rechtsstrategie ist die eigentliche Story

Baltimore wartet nicht darauf, dass der Kongress neue KI-spezifische Gesetze verabschiedet. Die Stadt nutzt ihre bestehende Consumer Protection Ordinance — ein lokales Verbraucherschutzgesetz, das Bürger vor unfairen und irreführenden Geschäftspraktiken schützt. Das Argument: Groks Design selbst ist das Problem. Nicht ein einzelnes Bild. Das gesamte Produkt ist fehlerhaft.

Hier die Analogie, die es auf den Punkt bringt: Wenn ein Mixer-Hersteller ein Produkt verkaufen würde, das in 11 Tagen in 23.000 Küchen explodiert, würde niemand erst neue 'Mixer-Gesetze" fordern, bevor geklagt wird. Bestehendes Produkthaftungsrecht deckt fehlerhafte Produkte bereits ab. Baltimore wendet dieselbe Logik auf KI an. Wenn dieser Fall Erfolg hat, bekommt jede Stadt mit einer vergleichbaren Verbraucherschutzverordnung eine fertige juristische Vorlage. Kein Warten auf den Kongress. Keine Lobbyarbeit. Nur ein Anwalt und eine Gerichtsgebühr.

Für deutsche Leser der Kontext: In den USA gibt es (noch) kein bundesweites KI-Regulierungsgesetz vergleichbar mit dem EU AI Act. Die Strategie von Baltimore ist deshalb so bedeutsam — sie umgeht den legislativen Stillstand komplett.

Und es geht über Zivilrecht hinaus. Bundesgesetze wie der PROTECT Act stellen bereits computergeniertes Material zur sexuellen Ausbeutung von Kindern unter Strafe — auch KI-generierte Inhalte. Wenn sich die Zahl von 23.000 bestätigt, könnte xAI neben der Zivilklage auch strafrechtliche Verweise erhalten. Das ist kein Bußgeld. Das ist eine ganz andere Kategorie von Problem.

Baltimore steht auch nicht allein da. Am 16. März reichten drei Teenager in Tennessee eine geplante Sammelklage ein gegen xAI, nachdem Grok sexualisierte Bilder von ihnen generiert hatte — erstellt aus Schuljahrbuchfotos und Social-Media-Bildern, die über den 'Spicy Mode" einer Drittanbieter-App verarbeitet wurden. Und xAI sieht sich regulatorischen Untersuchungen in Nord- und Südamerika, Europa, Asien und Australien gegenüber.

Warum jede Rechtsabteilung eines KI-Unternehmens gerade einen schlechten Montag hatte

Jedes Unternehmen, das Bildgeneratoren baut, steht vor derselben Frage: Wie liefert man ein wettbewerbsfähiges Produkt aus und verhindert gleichzeitig genau den Missbrauch, den Baltimore vorwirft? Die Antwort ist peinlich offensichtlich: Content-Moderation. Das Ding, das jeder Konkurrent bereits ausliefert. Die langweilige, teure, unspektakuläre Ingenieursarbeit, die keinen guten Produktlaunch-Tweet hergibt. OpenAI hat's gemacht. Google hat's gemacht. Midjourney hat's gemacht. xAI hat entweder zu wenig investiert oder bewusst entschieden, es zu überspringen.

Musks Marke als 'Meinungsfreiheits-Absolutist" ist gerade gegen eine harte Wand gefahren: Nicht-einvernehmliche sexualisierte Bilder zu generieren ist keine Meinungsfreiheit. Solche Bilder von Kindern zu generieren ist ein Bundesverbrechen. Dass es Klagen braucht, um das festzustellen, sagt mehr über xAIs Prioritäten aus als über das Rechtssystem.

Das Fazit

Dieser Fall wird wahrscheinlich in einem massiven Vergleich oder einer gerichtlich angeordneten Überarbeitung von Groks Sicherheitssystemen enden. So oder so — Baltimore setzt einen Präzedenzfall. KI-Unternehmen, die Safety-Engineering als optional betrachten, werden die Lektion auf die teure Art lernen — von Richtern, nicht von Ingenieuren.

Die 'Move fast and break things"-Ära der KI-Bildgenerierung hat gerade entdeckt, dass manche Dinge, einmal kaputt, mit einem Gerichtstermin kommen.