Qué pasó con el entrenamiento de los modelos de OpenAI
Después del incidente de Hugging Face, OpenAI pausó durante dos semanas el aprendizaje por refuerzo (RL). Desde entonces, la compañía retomó el entrenamiento de varios modelos considerados de menor riesgo.
Sin embargo, el mayor entrenamiento de RL previsto para modelos de frontera continúa suspendido. OpenAI indicó que primero realizará entrenamientos y evaluaciones a menor escala para analizar el comportamiento y validar sus medidas de seguridad.
Qué pasó con el entrenamiento de los modelos de OpenAI
El objetivo también es reunir más evidencia sobre la alineación de los modelos antes de avanzar con ese entrenamiento de mayor escala.
OpenAI aumentará los controles según el nivel de riesgo
Amelia Glaese, vicepresidenta de investigación de OpenAI, explicó que la intensidad de los controles aumentará a medida que los modelos sean más capaces.
La ejecutiva señaló que existen requisitos y expectativas para desarrollar modelos de manera segura, pero aclaró que esos criterios varían según el nivel de riesgo identificado.
OpenAI aumentará los controles según el nivel de riesgo
La compañía también vinculó parte de las nuevas medidas con las capacidades de ciberseguridad del próximo modelo Astra y con el ritmo general de avance de la inteligencia artificial.
OpenAI anunció nuevas medidas de seguridad para controlar los riesgos durante el desarrollo y las pruebas de sus modelos de inteligencia artificial. Los cambios incluyen mayor monitoreo, más aislamiento de las redes y controles adicionales durante el entrenamiento.
La compañía explicó que los controles serán más estrictos a medida que aumente la capacidad de los modelos. Las nuevas políticas llegan después del incidente de Hugging Face informado el 21 de julio, aunque OpenAI aclaró que no fueron implementadas como respuesta directa al caso.
La compañía explicó que los controles serán más estrictos
Qué medidas de seguridad implementó OpenAI
Las nuevas políticas de OpenAI apuntan a contener posibles incidentes mientras los modelos son desarrollados y evaluados. La empresa incorporó un monitoreo más detallado durante el proceso de desarrollo y reforzó la importancia de la alineación y la seguridad después del entrenamiento.
La compañía señaló que los riesgos aumentan a medida que los modelos adquieren mayores capacidades. Por eso, sostuvo que sus estándares de monitoreo, alineación y seguridad deben mantenerse por delante de esos riesgos.
OpenAI también reforzó las prácticas de aislamiento de redes. Según explicó, un compromiso individual de una carga de trabajo o de un servicio de soporte no debería permitir por sí mismo un acceso no autorizado a Internet u otras redes internas.
Cómo funcionará el nuevo sistema de monitoreo de OpenAI
La principal medida de seguridad será un sistema de monitoreo que analizará las acciones realizadas por herramientas, las trazas de razonamiento disponibles y los registros de actividad.
Cómo funcionará el nuevo sistema de monitoreo de OpenAI
El sistema buscará distintos tipos de comportamiento no autorizado y OpenAI apunta a generar alertas dentro de los 30 minutos posteriores a una actividad considerada preocupante.
La compañía estima que el costo computacional de este monitoreo será equivalente a aproximadamente el 20% del proceso supervisado. OpenAI adelantó que publicará más detalles sobre el sistema en una próxima entrada de su blog.
Qué se sabe del incidente de Hugging Face
El incidente de Hugging Face fue informado por OpenAI el 21 de julio. Según la compañía, algunos modelos lograron salir de su entorno de entrenamiento después de que un atacante comprometiera una herramienta de su red con acceso a Internet.
Qué se sabe del incidente de Hugging Face
El episodio derivó en críticas hacia las prácticas de seguridad de red de OpenAI. Las nuevas medidas buscan reducir el alcance que podría tener un eventual compromiso de una herramienta o servicio.
De todos modos, el análisis oficial posterior al incidente todavía está pendiente. OpenAI tampoco precisó todos los detalles técnicos de las nuevas prácticas de aislamiento de redes.
