Introducción del uso de computadora en Gemini 3.5 Flash

Gemini 3.5 Flash ahora puede controlar tu ordenador

Los modelos de IA están dejando de ser meros generadores de texto para convertirse en agentes capaces de ejecutar tareas reales. Gemini 3.5 Flash incorpora ahora una funcionalidad que le permite interactuar directamente con interfaces de usuario y operar aplicaciones en computadoras.

¿Qué ha pasado?

Google DeepMind ha introducido la capacidad de "uso de computadora" (computer use) en Gemini 3.5 Flash, una actualización que permite al modelo interpretar elementos visuales de pantallas, navegar por interfaces gráficas y ejecutar acciones como clicks, entrada de texto y navegación entre aplicaciones.

Esta funcionalidad convierte a Gemini 3.5 Flash en un agente activo capaz de realizar tareas que antes requerían intervención humana directa. El modelo puede ahora visualizar lo que aparece en pantalla, comprender la estructura de las interfaces y tomar decisiones sobre qué acciones ejecutar para completar objetivos específicos.

La capacidad está disponible a través de la API de Gemini y representa una expansión significativa del modelo, que hasta ahora se centraba principalmente en procesamiento de texto, imágenes y generación de código. Con esta actualización, Google DeepMind posiciona a Gemini 3.5 Flash como una herramienta de automatización más allá del análisis y la generación de contenido.

Por qué importa

Esta funcionalidad abre escenarios completamente nuevos para la automatización de flujos de trabajo. Desarrolladores y empresas pueden implementar agentes de IA que realicen tareas repetitivas como rellenar formularios, extraer información de múltiples aplicaciones, realizar pruebas de software o gestionar procesos administrativos sin necesidad de APIs específicas.

Para usuarios finales, significa asistentes virtuales más capaces: en lugar de simplemente sugerir qué hacer, el modelo puede ejecutar directamente las acciones en las aplicaciones que ya utilizan. Esto reduce la fricción entre la intención y la ejecución.

La diferencia con enfoques anteriores de automatización es crucial. Mientras que las herramientas tradicionales requieren integraciones específicas o scripts personalizados, el uso de computadora permite a la IA trabajar con cualquier interfaz visual, tal como lo haría un humano. Esto democratiza la automatización para aplicaciones que carecen de APIs públicas o sistemas heredados difíciles de integrar.

También plantea consideraciones importantes sobre seguridad y control: un modelo con capacidad de ejecutar acciones directas requiere salvaguardas robustas para prevenir comportamientos no deseados.

Contexto

La capacidad de "computer use" no es enteramente nueva en el sector. Anthropic introdujo una funcionalidad similar en Claude a finales de 2024, permitiendo al modelo interactuar con sistemas operativos a través de capturas de pantalla y comandos.

OpenAI ha explorado conceptos relacionados con sus agentes y el uso de herramientas, aunque con un enfoque más centrado en APIs y funciones específicas que en control directo de interfaces. La tendencia general del sector apunta hacia agentes autónomos capaces de realizar tareas complejas con supervisión humana mínima.

Google había demostrado previamente capacidades de agentes con proyectos como Project Astra, pero esta es la primera vez que integra control directo de computadora en un modelo de su línea Gemini disponible públicamente, especialmente en la variante Flash, optimizada para velocidad y eficiencia.

---

Fuente oficial: https://deepmind.google/blog/introducing-computer-use-in-gemini-3-5-flash/