Solo tres modelos de IA terminaron por encima del capital inicial en una prueba de supervivencia de startup de 500 días

La mayoría de IAs quiebran gestionando una startup simulada

Investigadores de la Universidad de Princeton han desarrollado CEO-Bench, un benchmark que pone a prueba las capacidades empresariales de los modelos de IA más avanzados. El resultado es revelador: de todos los modelos evaluados, solo tres terminaron con más capital que al inicio tras 500 días de simulación gestionando una empresa de software.

¿Qué ha pasado?

CEO-Bench es un nuevo benchmark diseñado por la Universidad de Princeton que evalúa la capacidad de los agentes de IA para tomar decisiones empresariales complejas. Durante la prueba, cada modelo debe gestionar una empresa de software ficticia a lo largo de 500 días simulados, tomando decisiones sobre contratación, desarrollo de producto, presupuesto y estrategia comercial.

Los resultados muestran que la gran mayoría de los modelos de lenguaje actuales fracasaron estrepitosamente en la tarea, llevando sus empresas virtuales a la quiebra antes de completar el período de evaluación. De todos los modelos probados, únicamente tres lograron terminar la simulación con más capital del que tenían al comenzar.

Lo más sorprendente del experimento es que una heurística simple basada en reglas, sin ningún componente de inteligencia artificial, superó el desempeño de casi todos los modelos avanzados evaluados. Este sistema de reglas básicas demostró ser más efectivo que sofisticados sistemas de IA para mantener la viabilidad financiera de la startup simulada.

Por qué importa

Este benchmark expone una brecha crítica entre las capacidades teóricas de los modelos de IA y su desempeño en escenarios que requieren planificación a largo plazo y toma de decisiones estratégicas. Mientras los grandes modelos de lenguaje destacan en tareas como generación de texto o respuesta a preguntas, CEO-Bench demuestra que fallan sistemáticamente cuando deben equilibrar múltiples objetivos a lo largo del tiempo.

Para empresas y desarrolladores que consideran implementar IA en roles de gestión o planificación estratégica, estos resultados son una advertencia importante. La superioridad de una heurística simple sugiere que los sistemas actuales de IA carecen de las capacidades de razonamiento secuencial y gestión de recursos necesarias para este tipo de tareas.

El hallazgo también plantea preguntas sobre la evaluación de modelos de IA. Si los sistemas más avanzados no pueden gestionar una startup simulada mejor que reglas básicas, ¿qué indica esto sobre su verdadera capacidad de razonamiento? Los resultados sugieren que necesitamos benchmarks más realistas que vayan más allá de tareas puntuales y evalúen capacidades de planificación y ejecución sostenida.

Contexto

Los benchmarks tradicionales de IA se han centrado principalmente en evaluar capacidades específicas como comprensión de lenguaje, razonamiento matemático o generación de código. Sin embargo, estos tests raramente evalúan la capacidad de los modelos para mantener coherencia y efectividad en tareas prolongadas que requieren múltiples decisiones interdependientes.

CEO-Bench forma parte de una nueva generación de evaluaciones que buscan medir capacidades más complejas y realistas. Otros investigadores han desarrollado benchmarks similares para evaluar agentes de IA en entornos como simulaciones económicas o juegos de estrategia. La Universidad de Princeton ha sido pionera en crear entornos de evaluación que reflejan mejor los desafíos del mundo real que los simples tests de preguntas y respuestas.

---