OpenAI presentó un nuevo sistema de monitoreo que busca detectar usos indebidos de sus modelossin conservar los datos de sus clientes. La herramienta, denominada Private Safety Processing, apunta especialmente a empresas que manejan información sensible.
El nuevo mecanismo amplía el alcance de Zero Data Retention y permite analizar interacciones entre distintas conversaciones. La propuesta llega mientras OpenAI y Anthropic compiten por el mercado corporativo de inteligencia artificial.
OpenAI presentó un nuevo sistema de monitoreo
Cómo funciona el nuevo sistema de privacidad de OpenAI
OpenAI presentó Private Safety Processing como un sistema automatizado que monitorea posibles usos indebidos de sus modelos. Su principal característica es que realiza el análisis sin conservar los datos de los clientes.
La tecnología amplía el alcance de Zero Data Retention (ZDR), una política que ya permite monitorear posibles abusos sin retener los datos de las compañías.
Mientras ZDR analiza las actividades por sesión, el nuevo sistema puede evaluar las entradas y salidas de múltiples conversaciones. De esta manera, busca detectar patrones de uso indebido que podrían quedar ocultos si cada interacción se analiza por separado.
Cómo funciona el nuevo sistema de privacidad de OpenAI
Qué pasa si OpenAI detecta un posible uso indebido
El sistema funciona mediante un agente que analiza las interacciones y puede activarse ante determinados indicios de abuso. Según OpenAI, no requiere una revisión humana de las conversaciones de los usuarios.
Cuando se activa, la herramienta puede enviar a la compañía una señal específica y acotada sobre el tipo de actividad detectada. A partir de ese aviso, OpenAI puede determinar si corresponde aplicar alguna medida.
Qué pasa si OpenAI detecta un posible uso indebido
En caso de necesitar más información, la empresa puede comunicarse con el cliente para conocer el contexto. El cliente puede decidir si comparte datos adicionales con OpenAI.
La diferencia entre OpenAI y Anthropic en el manejo de datos
La propuesta de OpenAI contrasta con una política reciente de Anthropic para determinados modelos. La compañía permite conservar durante 30 días los datos de los usuarios de los denominados covered models.
Ese grupo incluye los modelos de la clase Mythos y futuros modelos con capacidades similares. La política fue presentada con objetivos de seguridad y permite analizar posibles usos indebidos.
La diferencia entre OpenAI y Anthropic en el manejo de datos
Anthropic también establece que puede existir una revisión humana de los datos de clientes mediante un acceso controlado. La compañía señala que participan un grupo reducido de revisores autorizados y que cada sesión queda registrada en un registro protegido contra modificaciones.
Qué busca detectar Private Safety Processing
Según explicó un vocero de OpenAI a TechCrunch, la nueva tecnología apunta a identificar usos maliciosos distribuidos a través de varias sesiones.
Qué busca detectar Private Safety Processing
El sistema podría detectar, por ejemplo, solicitudes relacionadas con la creación de malware que fueran fragmentadas entre distintas conversaciones para intentar evitar los mecanismos de seguridad.
El análisis se realiza sin que una persona tenga que revisar las conversaciones. El objetivo es identificar señales de posible abuso manteniendo la información de los clientes fuera del almacenamiento de OpenAI.
OpenAI y Anthropic compiten por el mercado empresarial de IA
El lanzamiento se produce en medio de una fuerte competencia comercial entre OpenAI y Anthropic. Ambas compañías buscan ganar posiciones entre los clientes corporativos que utilizan modelos de inteligencia artificial.
OpenAI y Anthropic compiten por el mercado empresarial de IA
Un informe citado en el material señaló que el crecimiento de OpenAI durante el segundo trimestre fue más lento que el de Anthropic. Además, se informó que Anthropic alcanzó un ritmo de ingresos anualizado de US$65.000 millones.
Los inversores de Anthropic también señalaron que la compañía podría alcanzar una valuación de US$2 billones en una eventual salida a bolsa. Al mismo tiempo, OpenAI trabaja en su propio proceso para una futura IPO.
