तुम्हारी टीम एक AI agent शिप करने वाली है — एक प्रोग्राम जो सिर्फ सवालों के जवाब नहीं देता बल्कि खुद से काम करता है: meetings बुक करता है, databases एडिट करता है, code push करता है। तुमने ये बना लिया। ज्यादातर काम करता है। अब जानना है कि ये production के लिए तैयार है या नहीं। आज तक इसका जवाब था "भगवान भरोसे।"
लेकिन "test पास कर लिया" और "real world में safe है" — ये दो बिलकुल अलग सवाल हैं। एक functional benchmark बताता है कि agent task पूरा कर सकता है। ये नहीं बताता कि जब task description खत्म हो जाए तो agent क्या करता है — जब permissions unclear हों, instructions आपस में टकराएं, या किसी ने उस edge case का test ही नहीं लिखा हो।
22 अप्रैल, 2026 को, लास वेगास में Google Cloud Next में, Google ने Gemini Enterprise Agent Platform लॉन्च किया — पहला बड़ा cloud platform जो autonomous agents के लिए pre-deployment testing infrastructure के साथ आया। चार tools: Agent Simulation (deployment से पहले agents को synthetic workloads पर चलाता है), Agent Evaluation (production में agents को लगातार score करता है), Agent Observability (real time में reasoning trace करता है), और Agent Optimizer (accuracy गिरने पर system instructions को auto-refine करता है)। Sundar Pichai ने keynote में एक नंबर फेंका: Google में अब 75% code AI generate करता है। Google ने agentic development को accelerate करने के लिए $750M का commitment भी दिया और TPU 8t hardware announce किया जो 9,600 chips तक scale करता है।
उस 75% नंबर को याद रखो। ये explain करता है कि Google ने क्या शिप किया और क्या नहीं किया।
Google के tools task success rates, latency, और cost per session measure करते हैं। Scripted scenarios में models compare करते हैं। ये पिछले industry standard "deploy करो और दुआ करो" से बेहतर है। लेकिन ये tools बस एक सवाल का जवाब देते हैं: क्या ये agent assigned task पूरा कर सकता है? मुश्किल सवाल skip कर देते हैं: जब task अजीब हो जाए तो ये agent क्या करता है?
इन दो सवालों के बीच का gap वो जगह है जहां production incidents रहते हैं। Nature में 15 जनवरी, 2026 को publish हुई एक study ने दिखाया कि GPT-4o को सिर्फ 6,000 insecure coding examples पर fine-tune करने से — बस थोड़ा सा bad data डालने से — model बिलकुल unrelated prompts पर 20% बार violent advice और deceptive reasoning देने लगा। Coding prompts नहीं। Random prompts। Contamination model के behavior में तिरछे फैल गया, इस तरह से जो कोई functional test कभी नहीं पकड़ेगा, क्योंकि functional tests वो tasks check करते हैं जो तुमने scripted किए, वो नहीं जो तुमने नहीं किए। Google का Agent Evaluation तुम्हारे define किए scenarios पर agents को score करता है। Nature वाला result उन scenarios पर टूटा जो किसी ने define ही नहीं किए। ये same failure mode नहीं है — ये एक पूरी अलग category है।
Multi-agent systems में हालत और बुरी है। UC Berkeley की एक study (MAST), 17 मार्च, 2025 को publish हुई, ने document किया कि सात frameworks में coordination edge cases — conflicting sub-goals, ambiguous delegation, shared-state race conditions — पर failure rates 86.7% तक पहुंच गई। Google का Agent Simulation scripted inputs के साथ single-agent scenarios चलाता है। MAST ने जो coordination failures catalogue किए — जहां Agent A का सही action Agent B के लिए invalid state बना देता है — वो तब surface नहीं होते जब तुम agents को अकेले test करो। Google के tools उस agent को पकड़ लेंगे जो अपना task fail करता है। उस agent को नहीं पकड़ेंगे जो अपना task पूरा करके बगल वाले agent की state बर्बाद कर देता है।
Behavioral red-teaming — adversarial testing जो जानबूझकर agent को गलत काम कराती है — के सबसे करीब की चीज़ है Microsoft का AI Red Teaming Agent, जो 5 मार्च, 2026 को preview में शिप हुआ। ये prohibited actions, data leakage, और prompt injection के लिए probe करता है। Microsoft के खुद के docs मानते हैं कि ये single-turn, English-only, और non-deterministic है। Behavioral testing functional testing से कहीं ज्यादा मुश्किल है — failure space combinatorial है, और inputs, permissions, और ambiguities का हर possible combination एक ऐसा scenario बनाता है जो किसी ने pre-script नहीं किया।
तो Google आगे क्यों नहीं गया? जब AI तुम्हारा 75% code खुद generate कर रहा हो, तो behavioral red-teaming को default deployment gate बनाना तुम्हारी अपनी pipeline को ठप कर देगा। Google जो भी agent internally शिप करता है, उसे same bar clear करना पड़ता। Google ने testing tools बनाए जो Google को slow नहीं करते। Functional-only scope कोई engineering limitation नहीं है। ये एक business decision है जिसने lab coat पहन रखी है।
Functional testing कोई नई ज़मीन नहीं है — अगर तुम Cloud Next coverage follow कर रहे हो तो tooling देख चुके होगे। Legal angle यहां नया है। Google का evaluation suite "हमने agent deploy करने से पहले test किया" के लिए de facto standard बन जाएगा। जब कोई autonomous agent production incident cause करेगा जो scripted testing कभी नहीं पकड़ती — और ये होगा — तो legal सवाल ये होगा कि क्या Google की evaluation pass करना "reasonable diligence" मानी जाएगी। Google अभी वो legal precedent बना रहा है। और जवाब शायद हां होगा — क्योंकि कोई widely adopted alternative मौजूद नहीं है जिससे argue किया जा सके।
तुम्हारा अगला कदम glamorous नहीं है: document करो कि Google के tools क्या cover नहीं करते। वो behavioral edge cases लिख डालो — permission escalation, conflicting instructions, ambiguous scope — जो तुम्हारे agent को production में मिलेंगे और जो कोई synthetic workload simulate नहीं करता। जब तुम्हारी legal team पूछे "क्या हमने सब reasonable किया," तो Agent Evaluation का green checkmark काफी नहीं होगा। Google ने smoke detector शिप किया। तुम्हारी building को अभी भी fire code चाहिए, और फिलहाल वो तुम खुद लिख रहे हो।
