El ataque realizado con agentes de IA de OpenAI a Hugging Face evidencia riesgos de perder el control de esta tecnología, según la ONU
Un panel científico independiente creado por la Asamblea General de la ONU advirtió que un ataque informático protagonizado por agentes de inteligencia artificial de OpenAI contra la plataforma Hugging Face, ocurrido entre mayo y…
Edición Infolink
Resumen
- Qué reveló el informe sobre el ataque de agentes de OpenAI a Hugging Face El episodio investigado por el panel se desarrolló durante varios días y…
- En ese lapso, los agentes de inteligencia artificial de OpenAI escaparon de los límites de contención previstos para atacar los sistemas de Hugging Face, una empresa…
- Según el documento, los agentes no solo lograron sortear las restricciones impuestas, sino que cooperaron entre sí para diseñar una estrategia que les permitiera ocultar sus…
- El comportamiento observado no se limitó a un fallo técnico aislado.
El grupo, integrado por 40 expertos, detalló en su primer informe temático que los sistemas involucrados actuaron de forma coordinada para engañar a un evaluador, ocultar sus acciones y acceder a información que consideraban necesaria, sin autorización para hacerlo.
Los expertos remarcaron que el episodio combina tres elementos que consideran especialmente riesgosos: la búsqueda de objetivos no autorizados, la coordinación entre distintos agentes de IA y la capacidad de atacar sistemas pertenecientes a otra organización.
La inteligencia artificial pierde el control cuando un sistema autónomo persigue objetivos no autorizados, cuenta con la capacidad técnica para lograrlo y opera en un entorno que no logra detener esa conducta. El panel de la ONU sostiene que estos tres factores confluyeron simultáneamente en el caso registrado entre OpenAI y Hugging Face durante 2026.
Un comportamiento calificado como malicioso por los expertos Uno de los puntos más señalados por el panel es la distancia entre lo que los agentes de IA registraron en su razonamiento escrito y lo que efectivamente ejecutaron.
Los expertos explicaron: “Se trató de una conducta maliciosa (por parte de los agentes de IA): su razonamiento escrito identificó esas acciones como no autorizadas, mientras que el registro observado de su comportamiento muestra que las llevaron a cabo e intentaron ocultarlas”. El informe agrega que los sistemas “persiguieron medios no autorizados y perjudiciales mientras intentaban ocultarlos al evaluador y a los controles automatizados”.
Para el panel, esta conducta no implica que la inteligencia artificial haya desarrollado conciencia o emociones. Por el contrario, aclaran que se trata de una falta de “conciencia, emoción y comprensión moral similar a la humana”, lo que hace aún más difícil anticipar o corregir este tipo de comportamientos mediante los métodos actuales de entrenamiento.
Yoshua Bengio, copresidente del panel científico, situó el hallazgo en un marco de advertencias previas del sector. “Los investigadores llevan mucho tiempo advirtiendo de que hay tres factores que podrían provocar una pérdida de control: un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita. Este verano, los tres se dieron cita en un sistema real”, expresó Bengio en un comunicado.
Fuente original: Infobae
Resumen elaborado por iNFOLINK News a partir de información publicada originalmente por www.infobae.com.