Tras disolver su equipo de "súperalineación", centrado en afrontar los riesgos existenciales de la IA hace unas semanas, OpenAI ha creado un nuevo comité de seguridad y protección.
El resumen es que el equipo encargado de vigilar los desarrollos de Sam Altman es uno liderado por Sam Altman.
Por qué es importante. La seguridad de los sistemas de IA es crucial y el escrutinio al que van a estar sometidas las grandes empresas que los desarrollan va a ir a más. En OpenAI esa seguridad parece estar pasando a un segundo plano frente a la presión por lanzar productos espectaculares, como dijo Leike, quien ha fichado por Anthropic.
La disolución mencionada y la salida de altos cargos clave genera dudas sobre el compromiso real de OpenAI con un desarrollo responsable de la IA. Que Altman lidere este comité no transmite la mayor confianza.
Qué sabemos. El nuevo comité estará liderado por Altman y tres consejeros: Bret Taylor, Adam d'Angelo y Nicole Seligman. Su primera tarea será evaluar y desarrollar los procesos y las salvaguardas de OpenAI durante 90 días.
Tras ese plazo presentará sus recomendaciones al consejo, quien decidirá cómo implementarlas. El comité también contará con técnicos y expertos en ciberseguridad y políticas relacionadas.
Señales. Hay motivos para preocuparse. Una recapitulación:
- La disolución del equipo de "súperalineación".
- La dimisión de sus dos líderes.
- La frase de Leike al marcharse: "la cultura y los procesos de seguridad han pasado a un segundo plano frente a productos brillantes".
- El intento de Sutskever para destituir a Altman por su falta de honestidad. Hoy Sutskever está fuera de la empresa.
- Otras salidas de investigadores apuntan a discrepancias con el rumbo de openAI, cada vez más comercial.
- La empresa tuvo que recular ante su política de retirar el equity a los exempleados que no firmasen un NDA muy restrictivo para evitar críticas.
Entre líneas. El anuncio del nuevo comité llega en esa sucesión de escándalos y noticias preocupantes. Que su líder sea Altman no ayuda a apaciguar los ánimos ni a descartar las suspicacias. Y no hemos incluido el episodio de la voz de Scarlett Johansson.
Poner a Altman al frente de la seguridad no despeja dudas sobre si habrá un cambio real de prioridades en la empresa más influyente del mundo de la IA o si solo es un intento por lavar su imagen que no sale bien. Y todo con GPT-5 empezando a asomar en el horizonte.
Imagen destacada | Xataka con Midjourney
Ver 8 comentarios
8 comentarios
TOVI
Mas o menos como poner un zorro a vigilar las gallinas para que no se las coman los zorros xD
reiizumi
Los equipos de seguridad (igual que QA), sin importar si es IA u otra, siempre tienen algo en común: los demás equipos les odian, si por ellos fueran los despedirían (o les caería un edificio encima, matándolos).
¿Porqué ese odio? porque su "único" trabajo es ponerte trabas, limitarte y hacerte ir más lento a cualquier cosa que quieras hacer.
Su respuesta inicial a todo es "rotundamente NO", así que les debes presentar algo lo suficientemente detallado y robusto para conseguir un "NO, pero me lo podría pensar si haces X". Eso es una victoria.
Cuando ves un equipo así, sabes que está haciendo bien su trabajo, ya que los demás están masacrando sus neuronas para obtener un resultado correcto, efectivo y sin errores, acorde a una trama que no ven. Y no la ven porque no es su trabajo, ¡no puedes saber todo de todos lados! para eso está ese equipo, que además tiene especializades que el resto desconoce.
Para lograr esto, el equipo debe ser independiente al resto, debe dedicar el 100% de su trabajo a ello y siempre ser neutral.
Así que, en definitiva: OpenAI hace oficial que ni tiene equipo de seguridad, ni lo podrá tener. (como sí "existe", no tiene que construirlo a futuro)
moruiz
La industria de la IA hay que destrozarla de raíz... no es más que un mamoneo.
ultraverse
No entienden nada: Altman será vigilado por Cartman, su "gemelo digital". Si, el de South Park..