Un modelo de IA programado sin parar durante 19 días en una única tarea MirrorCode que costó $2,600

Claude Opus 4.7 recrea 16.000 líneas de código en 14 horas: así funciona MirrorCode

Los modelos de IA han demostrado capacidad para generar código desde cero, pero Epoch AI plantea ahora un desafío diferente: recrear programas completos sin ver su código fuente. El nuevo benchmark MirrorCode pone a prueba esta habilidad, revelando tanto avances impresionantes como limitaciones significativas en los sistemas actuales.

¿Qué ha pasado?

Epoch AI ha presentado MirrorCode, un benchmark diseñado para evaluar la capacidad de los modelos de lenguaje para reconstruir software completo utilizando únicamente sus especificaciones funcionales, sin acceso al código original. A diferencia de las pruebas tradicionales de programación, este sistema requiere que la IA comprenda el comportamiento del programa y lo replique desde cero.

En las pruebas realizadas, Claude Opus 4.7 de Anthropic emergió como el modelo más capaz, alcanzando una tasa de resolución del 56% en el conjunto de tareas evaluadas. Su logro más destacado fue la reconstrucción de un toolkit completo de 16.000 líneas de código en solo 14 horas.

Sin embargo, los resultados también revelaron limitaciones importantes: un modelo dedicó 19 días continuos trabajando en una única tarea del benchmark, con un coste de $2.600 en recursos computacionales, evidenciando que incluso los sistemas más avanzados enfrentan dificultades con los desafíos más complejos. Todos los modelos probados fracasaron sistemáticamente en las tareas de mayor complejidad del benchmark.

Por qué importa

MirrorCode establece un nuevo estándar para medir capacidades reales de ingeniería de software en sistemas de IA, más allá de simplemente generar fragmentos de código o completar funciones básicas. Esta métrica resulta especialmente relevante para empresas que consideran integrar IA en procesos de desarrollo complejos.

La capacidad demostrada por Claude Opus 4.7 para reconstruir miles de líneas en horas sugiere aplicaciones prácticas en migración de sistemas legacy, donde las organizaciones necesitan reescribir código antiguo sin documentación completa. También abre posibilidades en ingeniería inversa de software para compatibilidad o modernización.

El coste de $2.600 por una única tarea compleja subraya una realidad económica importante: aunque estos modelos son potentes, su uso intensivo para problemas difíciles puede resultar prohibitivo para muchas organizaciones. La brecha entre el 56% de éxito en tareas estándar y el fracaso total en las más complejas indica que la tecnología aún requiere supervisión humana significativa en proyectos de producción reales.

Modelo	Tasa de resolución	Mejor resultado	Limitación principal
Claude Opus 4.7	56%	16.000 líneas en 14h	Falla en tareas complejas
Otros modelos	<56%	No especificado	Coste/tiempo excesivo

Contexto

Los benchmarks de programación tradicionales como HumanEval o MBPP evalúan principalmente la generación de funciones individuales o solución de problemas algorítmicos aislados. MirrorCode representa un salto hacia la evaluación de capacidades de ingeniería de software a escala real.

Esta iniciativa se alinea con esfuerzos recientes de la industria por desarrollar métricas más representativas del trabajo real de desarrollo. Herramientas como GitHub Copilot y Cursor ya asisten en programación cotidiana, pero la reconstrucción completa de sistemas sin referencia directa al código representa un nivel de abstracción superior que hasta ahora no se había medido sistemáticamente.

---