अगर तुम red team चलाते हो, तो rule पता है: auditor उसके लिए काम नहीं करता जिसका audit हो रहा है। तुमने Promptfoo exactly इसलिए चुना था क्योंकि वो model vendors के बाहर बैठा था। 350K developers, Fortune 500 का 25%, MIT-licensed, multi-provider। उसने तुम्हारे jailbreak fixtures, prompt-injection probes, PII-leak scenarios चलाए — और report किया कि क्या टूटा, बिना इस बात की परवाह किए कि model किस lab ने बनाया था। वो independence ही product थी।
Security testing में एक conflict-of-interest problem है जो बाकी ML eval work में नहीं है। जब तुम accuracy score कर रहे हो, तो vendor ownership एक झंझट है। जब तुम exploitability score कर रहे हो, तो vendor ownership ही पूरा सवाल है।
9 मार्च, 2026 को OpenAI ने Promptfoo को acquire कर लिया। Founders Ian Webster और Michael D'Angelo OpenAI Frontier में join हो गए। Terms undisclosed। Last private valuation: $86M, TechCrunch के मुताबिक। promptfoo.dev के announcement ने — लिखित में — framework को MIT-licensed, multi-provider और independently governed रखने का वादा किया। अच्छी language। Structural incentive कहता है — दो बार पढ़ो।
अब देखते हैं कि security teams के लिए actually क्या बदलता है। Promptfoo का red-team module pre-built attack packs ship करता है — OWASP LLM Top 10, NIST AI RMF probes, known jailbreak templates की library। जब तुमने वो पिछले साल GPT-4o पर चलाए, तो failing cases telemetry बने जो तुम्हारी थी। Post-acquisition, cloud-hosted scanning tier OpenAI infrastructure से route होता है। मतलब — वो set of prompts जो OpenAI model को successfully jailbreak करते हैं, अब उसी vendor को दिख रहे हैं जिसका model jailbreak हुआ — तुम्हारे disclosure email लिखने से पहले। ये hypothetical नहीं है; hosted runner ऐसे ही काम करता है।
9 मार्च के Hacker News thread ने दो technical concerns निकाले जो press release में नहीं थे। पहला, attack-pack curation: कौन decide करता है कि default pack में कौन से jailbreak templates ship होंगे, जब owner खुद वही model भी ship कर रहा है जिसे jailbreak किया जा रहा है? एक dev.to teardown ने flag किया कि v2.14 release notes में 22 मार्च को तीन OpenAI-specific prompt-injection tests चुपचाप default suite से "advanced" tier में move हो गए। Housekeeping हो सकता है। नहीं भी हो सकता है। दूसरा, grader model: Promptfoo का LLM-as-judge rubric scoring के लिए default पर GPT-4o use करता है। एक OpenAI-owned framework जो OpenAI model use करके OpenAI model outputs को grade करे — ये fresh conflict नहीं है, यही conflict है, बस अब load-bearing है। Anthropic का red-team guidance हमेशा exactly इसी reason से cross-vendor grading recommend करता रहा है।
इसका मतलब ये नहीं कि tool खराब हो गया। Self-hosted OSS build अब भी तुम्हारे अपने infra पर, किसी भी provider के against, किसी भी grader के साथ fine चलता है। MIT license real है। Commits आते रहते हैं। जो बदला वो है default path: cloud tier, hosted attack packs, managed grader। जिन teams ने Promptfoo convenience के लिए adopt किया था, उन्हें नई trust boundary मिल गई — चाहे उन्होंने acquisition FAQ पढ़ा हो या नहीं।
अगर तुम्हारे threat model में OpenAI एक potential adversary है — regulated industries, frontier-model evaluation contracts, कोई भी काम किसी specific lab को name करने वाले NDA के under — तो इस quarter grading को cross-vendor setup पर move कर दो। Promptfoo self-hosted चलाओ, Claude या Gemini से grade करो, attack fixtures private repo में रखो। DeepEval और Arize Phoenix genuinely vendor-neutral हैं, अगर tools ही switch करने हों।
सीधी बात: independent red-team tooling layer अभी एक नाम कम हो गई। Regulators ने अभी notice नहीं किया 😾
→ OpenAI acquires Promptfoo → Promptfoo joining OpenAI → TechCrunch coverage
