Eliges tu herramienta de coding con IA revisando el leaderboard. SWE-bench Verified — un test estandarizado donde modelos de IA corrigen bugs en proyectos open-source de Python — publica un bonito marcador, y cada vendor te lo restriega en la cara. Puntaje más alto, mejor herramienta. Simple, ¿no?

Excepto que herramientas basadas en modelos casi idénticos se sienten completamente diferentes en tu codebase real. Una clava un refactor de tres archivos, la otra alucina un import que no existe. El puntaje dice que son gemelas. Tu lunes por la mañana dice otra cosa.

10,000 Desarrolladores Confirman Que el Leaderboard Miente

La encuesta AI Pulse de JetBrains cayó este mes — más de 10,000 desarrolladores profesionales, ocho lenguajes, datos reales del trabajo — y confirmó lo que tu instinto ya sospechaba: la satisfacción de los developers diverge brutalmente entre herramientas construidas sobre modelos que en SWE-bench están dentro del margen de error. El benchmark muestra un empate triple. Los desarrolladores discrepan rotundamente.

Esto no es ninguna revelación nueva. En febrero, OpenAI le firmó el acta de defunción a SWE-bench Verified. La autopsia: GPT-5.2, Claude Opus 4.5 y Gemini 3 Flash podían reproducir textualmente las soluciones gold-patch de memoria — solo con el ID de la tarea. Los modelos no resolvían problemas. Recitaban respuestas memorizadas. OpenAI también auditó el 27.6% de las tareas fallidas y descubrió que el 59.4% tenía tests defectuosos que rechazaban código funcionalmente correcto. El benchmark no solo medía memorización — también marcaba como incorrectas soluciones que estaban bien.

El leaderboard en vivo al 13 de abril de 2026 confirma el absurdo: Claude Opus 4.5 con 80.9%, Opus 4.6 con 80.8%, Gemini 3.1 Pro con 80.6%. Tres modelos frontier con 0.3 puntos porcentuales de diferencia. Un empate estadístico disfrazado de carrera de caballos.

La Variable Que Nadie Benchmarkea

Si el puntaje no explica la brecha de satisfacción, ¿qué sí? La estrategia de contexto — cuánto de tu proyecto entiende realmente la herramienta antes de escribir una sola línea.

SWE-bench evalúa correcciones de bugs aisladas en repos open-source bien documentados. Tú te la pasas haciendo features multi-archivo en codebases propietarias llenas de conocimiento tribal y ese archivo de config que escribió Kevin en 2019 y que nadie se atreve a tocar. Así aborda el problema cada herramienta principal — y dónde falla cada una:

Claude Code lee tu árbol de directorios y los archivos CLAUDE.md — documentos de texto plano donde le enseñas a la IA las convenciones de tu proyecto, patrones prohibidos y decisiones de arquitectura. Envía el contenido completo de los archivos al context window: código real, no resúmenes. El límite: los context windows son finitos. En un monorepo de 50,000 archivos, no puede contener todo a la vez y depende de tus archivos de instrucciones para apuntar a lo que importa. CLAUDE.md flojo, resultados flojos. La herramienta es tan inteligente como el mapa que le dibujes.

Cursor toma el enfoque opuesto. Su función @Codebase construye un índice vectorial propietario — una base de datos de embeddings del significado semántico de tu código. Cuando consultas, recupera los fragmentos más relevantes por búsqueda de similitud, navegando codebases grandes sin cargar todo en contexto. El modo de falla: los embeddings pierden relaciones estructurales. Una función que llama a tres helpers en dos archivos puede coincidir semánticamente, pero el índice no detecta la cadena de dependencias. El índice también se atrasa con las ediciones en proyectos grandes — cambias un archivo y durante los siguientes minutos la IA responde preguntas sobre la versión anterior.

GitHub Copilot usa Knowledge Bases en el tier Enterprise ($39/usuario/mes) — repositorios indexados más documentación que Copilot consulta durante los completions. Puede cruzar referencias entre múltiples repos, lo cual le viene bien a arquitecturas de microservicios. Lo que nadie menciona: los tiers gratuito y Pro no tienen nada de esto. La mayoría de los desarrolladores individuales usan Copilot con cero contexto a nivel de proyecto — solo el archivo abierto y quizás una pestaña vecina. La brecha entre Copilot Enterprise y Copilot normal es más grande que la brecha entre cualquier par de herramientas en el leaderboard.

Zed parsea código estructuralmente vía Tree-sitter — ve árboles de sintaxis abstracta, no strings planos. Entiende scopes, límites de funciones y anidamiento de forma nativa. Rápido y ligero. La contrapartida: sintaxis sin semántica. Tree-sitter sabe que una función existe y cómo se llama, no qué hace ni por qué importa. Para boilerplate y ediciones en un solo archivo: preciso. Para "¿cómo afecta el middleware de auth a este endpoint de API que está a tres paquetes de distancia?": fuera de su liga.

Mismo tier de modelo. Comprensión del proyecto radicalmente diferente. Los datos de satisfacción empiezan a tener sentido.

Simon Willison argumentó en octubre de 2025 que la mejor estrategia de contexto no son archivos de instrucciones sofisticados — son los fundamentos aburridos: tests automatizados (él corre 1,500 en un proyecto), servidores de desarrollo interactivos, GitHub Issues bien estructurados. Traducción: escriban tests, animales. La configuración de contexto más elegante del mundo no va a salvar código que no tiene un test suite para verificarse a sí mismo. Tiene razón y da rabia — pero no es una cosa o la otra. Buena estrategia de contexto más un test suite sólido es lo que realmente escala.

El Precio Que No Aparece en la Etiqueta

Aquí está la trampa que nadie incluye en la comparación: cada estrategia de contexto mencionada es propietaria y no portable. Tus archivos CLAUDE.md no significan nada para Cursor. Tu índice de Cursor no se transfiere a Copilot. Cambiar de herramienta significa re-enseñar todo tu proyecto desde cero — horas de setup, semanas afinando prompts y documentación.

La suscripción de $20/mes es la parte barata. Lo caro es el conocimiento institucional que viertes en el formato específico de una herramienta.

Y el remate: ningún benchmark estándar mide la comprensión de codebase. OpenAI recomendó SWE-bench Pro como reemplazo de Verified en febrero, pero dos meses después la adopción sigue escasa y Pro todavía evalúa tareas aisladas. Los modelos que sacan ~80% en Verified caen a aproximadamente 23% en Pro. Nadie ha construido el benchmark que mide lo que realmente importa.

Qué Significa Esto Para Ti

Deja de leer leaderboards. El número que estás comparando es un puntaje de memorización en un examen roto.

Elige dos o tres herramientas, corre cada una en tu repo durante una semana, y registra la precisión en tareas que requieren comprensión cross-file — el tipo de trabajo que realmente haces. Presta atención al tiempo de setup, porque ese es tu costo de cambio para siempre.

La carrera de modelos tocó techo en ~81%. La carrera de contexto acaba de empezar, y nadie lleva la cuenta. Eso es aterrador o la mayor oportunidad en herramientas para developers en este momento — dependiendo de si eres un vendor o un desarrollador con una semana libre para hacer una evaluación honesta.