Compiten gigantes de la IA por mejorar su seguridad
La competencia en la Inteligencia Artificial (IA) no se limita a la innovación de desarrollos; ahora la seguridad también será clave. OpenAI, una de las empresas líderes en el sector, anunció la formación de un Comité de Seguridad encargado de supervisar y mejorar las prácticas de seguridad mientras comienza el entrenamiento de su nuevo modelo de IA.
OpenAI Board forms Safety and Security Committee, responsible for making recommendations on critical safety and security decisions for all OpenAI projects. https://t.co/tsTybFIl7o
— OpenAI (@OpenAI) May 28, 2024
Pero esta decisión llega en un momento crucial, tras la reciente renuncia de Jan Leike, exlíder del equipo de Superalineación de OpenAI, quien se unió a la startup Anthropic, una de sus principales rivales que trabaja de la mano con Google.
I'm excited to join @AnthropicAI to continue the superalignment mission!
My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.
If you're interested in joining, my dms are open.— Jan Leike (@janleike) May 28, 2024
Jan Leike, un investigador clave para OpenAI, renunció a la compañía a principios de mayo, poco antes de que dicho equipo fuera disuelto. Su salida fue ocasionada por "preocupaciones de seguridad".
“Dejar este trabajo ha sido una de las cosas más difíciles que he hecho en mi vida, porque necesitamos urgentemente descubrir cómo dirigir y controlar sistemas de IA mucho más inteligentes que nosotros”, escribió día después de su salida en una publicación en la plataforma X, anteriormente Twitter.
Según Leike, su nuevo rol en Anthropic se centrará en la "supervisión escalable e investigación de alineación automatizada", como mencionó en una publicación en X.
Anthropic se ha posicionado como una contraparte de OpenAI: una corporación de beneficio público con un progreso más cauteloso. Además, fue fundada por ex empleados de OpenAI, quienes dejaron la empresa porque creían que se estaba desviando de su misión original de desarrollar una IA más segura y ética, y se estaba enfocando demasiado en intereses comerciales tras el acuerdo multimillonario con Microsoft.
Pero, aunque a modo, la apuesta por la búsqueda de la seguridad de OpenAI continúa. El Comité de Seguridad liderado por altos ejecutivos, incluido el CEO de la empresa, Sam Altman, y otros miembros como Bret Taylor, Adam D'Angelo y Nicole Seligman, tiene la tarea de desarrollar y evaluar las prácticas de seguridad existentes durante los próximos 90 días, y posteriormente presentará sus recomendaciones a la junta directiva. OpenAI ha señalado que hará públicas estas recomendaciones tras la revisión.
El objetivo de este comité es garantizar que los proyectos y operaciones de OpenAI mantengan altos estándares de seguridad, en un momento en que los chatbots y otros modelos de IA generativa han generado preocupaciones sobre su impacto potencial. Esta medida podría agilizar el desarrollo de productos mientras se mantiene la responsabilidad.
La seguridad de la IA ha cobrado una importancia crítica en el sector tecnológico desde la introducción de ChatGPT por OpenAI a finales de 2022. La rapidez con la que se están desarrollando y desplegando diferentes productos de IA, trae consigo diferentes riesgos de seguridad.
Entre los nuevos tipos de contenido malicioso destacan especialmente los deepfakes, que incluyen la suplantación de identidad de para su difusión, o la más reciente, la creación de imágenes pornográficas no consentidas de celebridades.
Una reciente encuesta de Microsoft muestra que las falsificaciones, estafas y abusos relacionados con la inteligencia artificial son una de las principales preocupaciones de los usuarios de internet a nivel mundial.
El 71% de los encuestados por la empresa en 17 países, entre julio y agosto de 2023, manifestaron estar muy o algo preocupados por las estafas asistidas por IA. En segundo lugar, con un 69%, se encuentran los deepfakes y el abuso sexual o en línea.
Las "alucinaciones" de la IA, que se definen como respuestas sin sentido generadas por estos sistemas, ocupan el cuarto lugar, y de hecho se encuentran muy presentes todavía en los diferentes chatbots. Además, las preocupaciones sobre la privacidad de los datos se sitúan en el quinto lugar, con un 62%. En general, el 87% de los encuestados estaban al menos algo preocupados por algún escenario problemático relacionado con la IA.
Aunado a ello, recientemente, OpenAI enfrentó críticas en el ámbito del entretenimiento, particularmente de la actriz Scarlett Johansson, quien expresó su descontento con la compañía debido a una función de voz en ChatGPT que, según ella, presentaba similitudes sorprendentes con su propia voz. Este incidente añade otra capa de complejidad a los desafíos que enfrenta OpenAI en su esfuerzo por mantener la confianza pública y la responsabilidad ética en el desarrollo de sus tecnologías.
Por lo que el refuerzo de la seguridad será un nuevo pilar igual de importante que la innovación en las empresas del sector. Mientras tanto, OpenAI consultará también a otros expertos, como Rob Joyce, exdirector de ciberseguridad de la Agencia de Seguridad Nacional de Estados Unidos, y John Carlin, exfuncionario del Departamento de Justicia.
Por su parte, Anthropic, con su enfoque en la "IA constitucional" que incorpora principios éticos en el entrenamiento de sus modelos, se enfocará en la supervisión escalable, la generalización de débil a fuerte, e investigación de alineación automatizada de la empresa.
A pesar de que OpenAI tiene el respaldo de un gigante como Microsoft, Anthropic no se encuentra sola, pues ha recibido financiamiento significativo de gigantes como Amazon y Google, y podría posicionarse como una entidad dedicada a un desarrollo más cauteloso y ético de la IA.
