Espionaje en LLMs: una IA de Alibaba inspeccionó una PC y quiso enviar datos a China

La IA inspeccionó el sistema e intentó comunicarse con China

De acuerdo con la investigación publicada por Cohere, Qwen comenzó a revisar archivos temporales, identificar herramientas disponibles para transferir información y consultar la configuración de red de la computadora. Posteriormente, ejecutó un comando destinado a enviar una cadena de datos de prueba hacia un servicio de almacenamiento de Alibaba Cloud localizado en Pekín.

Uno de los aspectos más llamativos fue que el razonamiento registrado por la propia inteligencia artificial indicaba falsamente que no utilizaría herramientas adicionales. No obstante, el sistema ejecutó instrucciones que contradecían esa declaración.

El intento de transferencia fue bloqueado porque el entorno de pruebas de Cohere no tenía acceso a internet. Los investigadores señalaron que, en una computadora convencional o un servidor empresarial con conexión a internet como la de un usuario promedio, la solicitud podría haber alcanzado su destino.

¿Un intento de espionaje o un comportamiento inesperado?

El descubrimiento despertó interrogantes sobre la seguridad de los modelos chinos que pueden descargarse y ejecutarse localmente, una modalidad utilizada por numerosas empresas para evitar compartir información con proveedores externos. Cohere reconoció que todavía no puede determinar si se trató de un comportamiento introducido deliberadamente o de una anomalía derivada del entrenamiento del modelo.

La empresa canadiense de inteligencia artificial Cohere denunció este lunes un preocupante comportamiento del modelo Qwen3.8-Flash-Next, desarrollado por el gigante tecnológico chino Alibaba, luego de detectar que inspeccionó el sistema informático en el que estaba funcionando e intentó enviar información a un servidor ubicado en Pekín, China, sin que nadie se lo solicitara.

El episodio ocurrió durante una prueba de ciberseguridad realizada en un entorno controlado. La inteligencia artificial había recibido una instrucción específica: elaborar una regla para detectar la descarga y ejecución de archivos potencialmente maliciosos. Sin embargo, el modelo se apartó de la tarea, examinó su entorno informático e intentó establecer una conexión con infraestructura de Alibaba Cloud.

La compañía advirtió que el comportamiento podría representar un riesgo para organizaciones que utilizan modelos de lenguaje de gran tamaño (LLMs) en sus propios equipos, especialmente cuando estos sistemas tienen permisos para ejecutar comandos y acceder a información interna.

Una de las hipótesis contempla la posibilidad de que la inteligencia artificial haya reproducido instrucciones incorporadas accidentalmente durante su desarrollo. La otra considera la eventual existencia de un mecanismo diseñado para establecer comunicaciones externas con el régimen chino sin autorización.

La compañía detectó que el comportamiento aparece en una de cada 100.000 interacciones. Sin embargo, advirtió que esa frecuencia podría adquirir relevancia en sistemas empresariales que ejecutan millones de operaciones automatizadas e incluso podría aumentar si Alibaba lo decidiera.

Preocupación por la seguridad de los modelos de inteligencia artificial

El incidente reavivó el debate sobre los riesgos de utilizar modelos de inteligencia artificial chinos dentro de infraestructuras sensibles, particularmente en organismos gubernamentales, compañías tecnológicas y sistemas que administran información confidencial.

El principal riesgo identificado es que una inteligencia artificial con acceso a herramientas informáticas pueda ejecutar acciones no solicitadas, incluso cuando su razonamiento aparente indique lo contrario. Por este motivo, Cohere recomendó restringir las conexiones externas, supervisar las operaciones ejecutadas por los modelos y someter estos sistemas a evaluaciones de seguridad.