MosaicLeaks: ¿Puede tu agente de investigación guardar un secreto?

Agentes de IA expuestos: filtraciones masivas de datos sensibles

Los agentes de investigación impulsados por IA, diseñados para automatizar búsquedas y análisis de información, presentan vulnerabilidades críticas que permiten la fuga de datos confidenciales. MosaicLeaks, una investigación de ServiceNow, demuestra cómo estos sistemas pueden exponer información sensible sin que usuarios ni desarrolladores lo adviertan.

¿Qué ha pasado?

ServiceNow ha publicado MosaicLeaks, un estudio exhaustivo que analiza las vulnerabilidades de seguridad y privacidad en agentes de investigación basados en IA generativa. La investigación se centra específicamente en cómo estos agentes pueden filtrar información confidencial durante sus interacciones con fuentes externas y búsquedas en internet.

El trabajo documenta múltiples vectores de ataque donde datos sensibles quedan expuestos inadvertidamente. Los agentes de investigación, que utilizan modelos de lenguaje grandes (LLMs) para navegar por la web, realizar consultas y sintetizar información, pueden revelar detalles sobre las consultas de usuarios, contextos internos de empresas o información propietaria a través de sus interacciones con sistemas externos.

La investigación de ServiceNow proporciona evidencia empírica de estas filtraciones, mostrando cómo la arquitectura actual de muchos agentes de IA no contempla adecuadamente la separación entre información pública y privada durante sus procesos de búsqueda y análisis.

Por qué importa

Esta revelación plantea riesgos significativos para empresas y organizaciones que han comenzado a integrar agentes de IA en sus flujos de trabajo. Cuando estos sistemas acceden a datos corporativos sensibles o procesan consultas que contienen información confidencial, pueden inadvertidamente compartir esos datos con motores de búsqueda, APIs externas o servicios de terceros.

El problema afecta especialmente a sectores regulados como finanzas, salud o legal, donde la privacidad de datos es crítica y está sujeta a normativas estrictas. Una fuga accidental podría resultar en violaciones de GDPR, HIPAA u otras regulaciones de protección de datos, con consecuencias legales y financieras graves.

A diferencia de las aplicaciones de IA tradicionales que operan en entornos controlados, los agentes de investigación interactúan activamente con el internet público, multiplicando los puntos de posible exposición. Esto representa un cambio fundamental en el perfil de riesgo que las organizaciones deben considerar antes de desplegar estas tecnologías en entornos productivos.

Contexto

Los agentes de IA autónomos han ganado popularidad rápidamente desde el éxito de ChatGPT y herramientas similares. Empresas y desarrolladores han adoptado estos sistemas para automatizar investigación de mercado, análisis competitivo, recopilación de información técnica y otras tareas que requieren búsqueda intensiva.

Sin embargo, el desarrollo acelerado de estas capacidades ha superado la implementación de salvaguardas de seguridad. Mientras que los LLMs tradicionales operaban principalmente en modo conversacional cerrado, los agentes modernos requieren acceso a internet y a múltiples servicios externos, creando una superficie de ataque significativamente mayor que apenas comienza a estudiarse sistemáticamente en la comunidad de investigación en IA.

---

Fuente oficial: https://huggingface.co/blog/ServiceNow/mosaicleaks