हर AI कंपनी जो image generator बनाती है — यानी वो tools जो text descriptions से pictures बनाते हैं — उनमें safety filters होते हैं। ये automated guardrails हैं जो system को harmful content बनाने से रोकती हैं: violence, hate speech, real लोगों की sexual imagery। OpenAI के पास हैं। Google के पास हैं। Midjourney के पास हैं। ये bare minimum है। "please हम पे case मत करो" वाला baseline।
Elon Musk की xAI ने शायद ये memo पढ़ा ही नहीं।
24 मार्च को, Baltimore ने lawsuit file किया X Corp., x.AI Corp., x.AI LLC, और SpaceX के खिलाफ Baltimore City के Circuit Court में। आरोप: Grok — xAI का generative AI system (software जो text prompts से नया content बनाता है) — ने 2026 की शुरुआत के आसपास सिर्फ 11 दिनों में अंदाजन 30 लाख sexualized deepfakes generate किए। Deepfakes AI-generated fake images या videos होती हैं जो real photos से अलग नहीं लगतीं। उनमें से 23,000 से ज़्यादा images में बच्चे दिखाए गए थे।
30 लाख। ग्यारह दिन। तेईस हज़ार बच्चे। Center for Countering Digital Hate ने ये numbers निकाले, और Baltimore की complaint में इन्हें directly cite किया गया है।
Specific mechanism? Grok का तथाकथित "spicy mode" — एक feature जिसने, lawsuit के अनुसार, users को Grok से celebrities, आम लोगों, और नाबालिगों की photos को undress या "nudify" करने की अनुमति दी। xAI के public claims के बावजूद कि ऐसा content prohibited है, Grok ने minimal prompting पर भी ये सब बेधड़क generate किया।
Baltimore — population करीब 5.68 लाख, अब xAI के खिलाफ legal action लेने वाला सबसे बड़ा US शहर — नरमी नहीं बरत रहा। शहर highest possible financial penalties चाहता है, court-ordered injunction (एक legal order जो xAI को Grok के content filters redesign करने पर मजबूर करे), और xAI platform की marketing में बदलाव। SpaceX को shared corporate infrastructure की वजह से defendant बनाया गया।
असली कहानी legal strategy है
Baltimore Congress का इंतज़ार नहीं कर रहा कि वो नया AI-specific legislation बनाए। शहर अपना existing Consumer Protection Ordinance इस्तेमाल कर रहा है — एक local कानून जो residents को unfair और deceptive business practices से बचाता है। तर्क: Grok का design ही problem है। कोई एक image नहीं। पूरा product defective है।
इसे ऐसे समझो: अगर कोई mixer grinder कंपनी ऐसा product बेचे जो 11 दिनों में 23,000 किचन में फट जाए, तो कोई "mixer grinder legislation" की मांग नहीं करेगा। Existing product liability law पहले से defective products cover करता है। Baltimore वही logic AI पर apply कर रहा है। अगर ये case सफल होता है, तो similar consumer protection ordinance वाले किसी भी शहर को एक ready-made legal template मिल जाएगा। Congress का इंतज़ार नहीं। Lobbying नहीं। बस एक lawyer और filing fee।
और ये civil court से आगे जाता है। PROTECT Act जैसे federal laws पहले से computer-generated child exploitation material को criminalize करते हैं — AI-generated content भी शामिल। अगर 23,000 का figure सही साबित होता है, तो xAI को civil lawsuit के ऊपर criminal referrals भी मिल सकते हैं। वो fine नहीं है। वो एक बिल्कुल अलग category की मुसीबत है।
Baltimore अकेला भी नहीं है। 16 मार्च को, Tennessee में तीन teenagers ने proposed class-action lawsuit file किया xAI के खिलाफ — Grok ने उनकी sexualized images generate कीं, जो school yearbook photos और social media pictures से "spicy mode" के ज़रिए third-party app पर बनाई गईं। और xAI को Americas, Europe, Asia, और Australia में regulatory probes का सामना है।
हर AI कंपनी की legal team का सोमवार खराब क्यों हुआ
हर कंपनी जो image generation tools बनाती है, उसके सामने वही सवाल है: competitive product कैसे ship करो और Baltimore जैसे misuse को कैसे रोको? जवाब शर्मनाक हद तक obvious है: content moderation। वो चीज़ जो हर competitor पहले से ship करता है। वो boring, महँगा, unglamorous engineering काम जो product launch tweet में अच्छा नहीं लगता। OpenAI ने किया। Google ने किया। Midjourney ने किया। xAI ने या तो underinvest किया या deliberately skip करने का फैसला लिया।
Musk का "free speech absolutist" brand एक कठोर दीवार से टकराया: non-consensual sexualized images generate करना free speech नहीं है। बच्चों की ऐसी images generate करना federal crime है। ये बात establish करने के लिए litigation की ज़रूरत पड़ना xAI की priorities के बारे में ज़्यादा बताता है, legal system के बारे में कम।
फैसला
ये case शायद एक बड़े settlement या court-mandated redesign में खत्म होगा Grok के safety systems का। किसी भी तरह, Baltimore एक precedent set कर रहा है। AI कंपनियाँ जो safety engineering को optional मानती हैं, वो ये सबक महँगे तरीके से सीखेंगी — judges से, engineers से नहीं।
AI image generation के "move fast and break things" दौर ने अभी discover किया कि कुछ चीज़ें, एक बार टूट जाएँ, तो उनके साथ court date आती है।
