Primero se escuchaban voces aisladas. Luego mil científicos, académicos y expertos en tecnología suscribieron una carta alertando de sus peligros. Ahora un puñado de empleados de OpenAi y DeepMind, dan un paso al frente para alertar, no ya sobre los riesgos de la inteligencia artificial, si no sobre la indiferencia, falta de supervisión y transparencia con la que los altos ejecutivos llevan adelante los proyectos. Ante los fuertes incentivos financieros se sacrifica la seguridad y quizás el futuro de la humanidad.
La percepción pública sobre la inteligencia artificial y su regulación está en un punto de inflexión. Un estudio del AI Policy Institute revela que una abrumadora mayoría del 83% de los estadounidenses teme que la IA pueda desencadenar una catástrofe de manera accidental. Además, un 82% muestra desconfianza hacia la capacidad de autorregulación de los ejecutivos tecnológicos.
Son 13 los empleados y exempleados que suscribieron una carta pública titulada «Derecho a advertir sobre la Inteligencia Artificial Avanzada» divulgada el martes 5 de mayo. En la que denuncian lo que consideran una cultura de imprudencia y secretismo en las empresas de inteligencia artificial de San Francisco. Las cuales se apresuran a construir los sistemas de inteligencia artificial más potentes jamás creados.
Un puñado que se atrevió a dar un paso adelante. Pero, dado el contenido de la misiva, todo apunta a que muchos de sus compañeros comparten sus temores. Pero no se atreven a reconocerlo públicamente por el alto coste pecuniario y profesional que implicaría. “La petición ‘AI Right to Warn’ fue creada por empleados y exempleados de OpenAI, Anthropic y Google DeepMind”, afirma la carta, subrayando la coalición detrás de la iniciativa.
La advertencia
El mensaje ha resonado en la comunidad tecnológica. El grupo de empleados y exempleados de las empresas líderes en inteligencia artificial, advierte sobre los riesgos potenciales de la IA avanzada. En la misiva exponen sus preocupaciones y demandas.
“Somos empleados y exempleados de empresas de inteligencia artificial de vanguardia y creemos en el potencial de la tecnología de inteligencia artificial para brindar beneficios sin precedentes a la humanidad. También entendemos los graves riesgos que plantean estas tecnologías”, comienza la carta, destacando la importancia de la voz de los trabajadores en el debate sobre la Inteligencia Artificial.
“Estos riesgos van desde un mayor afianzamiento de las desigualdades existentes, pasando por la manipulación y la desinformación, hasta la pérdida de control de los sistemas autónomos de IA. Lo que podría provocar la extinción humana. Las propias empresas de IA han reconocido estos riesgos, al igual que los gobiernos de todo el mundo y otros expertos en IA”, continúa la misiva.
Advierten que las empresas abocadas a este desarrollo “sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en que todos lo compartirán voluntariamente”. Señalan que las empresas tienen “fuertes incentivos financieros” para limitar la supervisión y que la IA está regulada de manera imprecisa. Lo que pone la responsabilidad en quienes trabajan en las empresas.
Peticiones
La carta hace un llamado a las corporaciones para que eliminen los acuerdos de confidencialidad y ofrezcan protecciones que permitan a los trabajadores plantear sus preocupaciones de forma anónima. “El objetivo es permitir a los trabajadores advertir sobre los posibles peligros de la IA sin temor a represalias”, enfatiza el documento.
Piden un compromiso con cuatro principios en torno a la transparencia y la rendición de cuentas. Incluida una disposición para que las empresas no obliguen a los empleados a firmar ningún acuerdo de no distanciamiento que prohíba airear cuestiones de IA relacionadas con el riesgo.
También abogan por un mecanismo para que los empleados compartan de forma anónima sus preocupaciones con los miembros del consejo de administración. “Mientras no exista una supervisión gubernamental efectiva de estas empresas, los empleados actuales y anteriores son de las pocas personas que pueden hacerlas responsables ante el público”, concluye la carta.
Cuatro principios
En la carta abierta, piden poner fin a los acuerdos de no divulgación y no distanciamiento, abogando por una “cultura de crítica abierta”. Sobre la base de cuatro principios:
- Compromiso de no suscribir o hacer cumplir acuerdos que prohíban criticar los riesgos
- Establecer un proceso anónimo para que los empleados y exempleados planteen sus preocupaciones
- Apoyo a una cultura de la crítica
- No tomar represalias contra los empleados actuales y exempleados que compartan información confidencial para dar la voz de alarma “después de que otros procesos hayan fracasado”
Lawrence Lessig, el destacado jurista y activista, contratado para representarlos, enfatiza la importancia de que los empleados puedan hablar libremente sobre los riesgos sin temor a represalias. «Los empleados son una importante línea de defensa de la seguridad, y si no pueden hablar libremente sin represalias, ese canal se cerrará», dijo.
No son los únicos
Varias personalidades han expresado críticas hacia el modo en que las grandes tecnológicas están desarrollando la Inteligencia Artificial (IA) :
- Yann LeCun, profesor de la Universidad de Nueva York, reconocido como uno de los «padrinos de la IA» por su trabajo pionero en el campo. LeCun ha expresado preocupaciones sobre los riesgos asociados con el desarrollo de la IA, aunque no especifica detalles sobre las críticas directas a las grandes tecnológicas.
- Arvind Narayanan, informático de la Universidad de Princeton, ha argumentado que las advertencias se han desviado las miradas de los daños a corto plazo que la IA puede causar, como el sesgo en los sistemas.
- Demis Hassabis, director ejecutivo de Google DeepMind, también ha respaldado la idea de que mitigar el riesgo de extinción a manos de la IA debería ser una prioridad mundial, junto con otros peligros a escala social como las pandemias y la guerra nuclear.
- Dario Amodei, de Anthropic, y Geoffrey Hinton, conocido como uno de los «padrinos de la IA», han expresado sus propias advertencias sobre los riesgos de un sistema superinteligente. Hinton, en particular, ha dejado atrás su posición en Google para continuar trabajando en la IA, mostrando su compromiso con el desarrollo ético y seguro de estas tecnologías.
- Elon Musk, CEO de Twitter y Tesla, ha expresado críticas hacia la forma en que se está desarrollando la Inteligencia Artificial (IA), instando a una pausa en el desarrollo de los sistemas de IA más avanzados.
Mal momento para OpenAI
La carta llega en un momento particulamente malo para OpenAI. La empresa pionera detrás de ChatGPT, se encuentra en medio de una crisis. Las recientes renuncias de figuras clave como Ilya Sutskever, cofundador, y Jan Leike, investigador principal, han levantado alarmas sobre la dirección que está tomando la compañía. Según algunos empleados, la búsqueda de beneficios está eclipsando la importancia de la seguridad en las tecnologías de OpenAI.
Otra renuncia importante fue la de Daniel Kokotajlo, exinvestigador de OpenAI. Quien expresó su desilusión al abandonar la empresa. Citó la preocupante indiferencia hacia los riesgos asociados con la inteligencia artificial. “Perdí la esperanza de que actuaran con responsabilidad, especialmente en la búsqueda de la inteligencia artificial general”, declaró Kokotajlo. Refiriéndose a la ambición de crear sistemas informáticos con capacidades cognitivas humanas.
Kokotajlo también expresó su preocupación por poca preparación de las empresas y de la sociedad para las implicaciones y repercusiones de la inteligencia artificial general. Estima que hay un 50% de posibilidades de alcanzar la AGI en 2027. “No hay nada que realmente impida a las empresas construir AGI y utilizarla para diversas cosas, y no hay mucha transparencia”, afirmó.
Avanzar rápido y romper cosas
La cultura de “avanzar rápido y romper cosas” es criticada por Kokotajlo y otros destacados profesionales del área. Argumentan que es inadecuada para una tecnología tan poderosa y compleja. Preocupación que se refleja en las declaraciones de Helen Toner, exmiembro de la junta de OpenAI. En una entrevista con “The TED AI Show” reveló que la falta de comunicación sincera sobre la seguridad fue un factor clave en la destitución temporal de Sam Altman como CEO.
La controversia se intensifica con la carta abierta respaldada por luminarias de la IA como Yoshua Bengio, Geoffrey Hinton y Stuart Russell, quienes apoyan la necesidad de mayor transparencia y protección para los denunciantes. La carta, que surge tras la salida de Sutskever y Leike, acusa a OpenAI de abandonar su cultura de seguridad en pos de “productos brillantes”.
La situación se complica aún más con las batallas legales enfrentadas por OpenAI. Incluyen acusaciones de violación de derechos de autor y disputas públicas con figuras como Scarlett Johansson. Mientras tanto, empleados y exempleados de OpenAI y Google DeepMind, como William Saunders, Carroll Wainwright, Jacob Hilton y Daniel Ziegler, han mostrado su apoyo a la carta. Otros lo han hecho de forma anónima por temor a represalias.
Arrogancia de OpenAI
De todas las advertencias ninguna caló tanto como la acusación de que OpenAI ha sido demasiado arrogante con la seguridad. Especialmente después de la partida de sus dos investigadores clave, Ilya Sutskever y Jan Leike. “La cultura y los procesos de seguridad han pasado a un segundo plano”, lamentó el Dr. Leike. La salida de estos investigadores ha sido interpretada por muchos como una señal de alarma en torno a la dirección que está tomando la empresa en cuanto a la gestión de riesgos.
William Saunders, otro ex empleado de la empresa tras ChatGPT, expresó su descontento con la filosofía de la empresa. “Cuando me inscribí en OpenAI, no lo hice con esta actitud de ‘vamos a poner las cosas en el mundo y ver qué pasa y arreglarlas después’”, dijo, subrayando la necesidad de una mayor precaución.
Daniel Kokotajlo, quien se unió a OpenAI en 2022, es una voz prominente en el debate sobre la seguridad de la IA. Su perspectiva sobre el progreso de la IA es sombría. Estima que la probabilidad de que la IA avanzada cause un daño catastrófico a la humanidad-una estadística conocida en los círculos de IA como “p(doom)- es del 70%.
También reveló que, a pesar de los protocolos de seguridad existentes en OpenAI, como el “consejo de seguridad de despliegue”, en colaboración con Microsoft, rara vez parecen influir en las decisiones de la empresa. Al renunciar, rechazó firmar el acuerdo de no divulgación estándar de OpenAI. Lo que implicó sacrificar 1.7 millones de dólares de su patrimonio neto en el proceso.
Respuesta de OpenAI
OpenAI respondió en un comunicado defendiendo sus protocolos de seguridad, su metodología científica para gestionar riesgos, y la importancia del diálogo crítico en el desarrollo de esta tecnología. Liz Bourgeois, portavoz de la compañía, enfatizó la relevancia de un “debate riguroso” ante la magnitud de la IA. La firma reafirmó su compromiso con la seguridad. Asegura que no lanza nuevas tecnologías sin las salvaguardas necesarias y que cuenta con canales como una línea telefónica anónima para reportar incidencias internas. Resalta la colaboración continua con entidades gubernamentales y civiles a nivel global.
“Estamos orgullosos de nuestra trayectoria como proveedores de los sistemas de inteligencia artificial más capaces y seguros. Creemos en nuestro enfoque científico para abordar los riesgos”
OpenAI
OpenAI subraya su esfuerzo por mantener un diálogo abierto con su equipo. Asegura que realizan sesiones de preguntas y respuestas y ofrecen espacios para que los empleados compartan sus inquietudes. Los apoyan con una “línea directa de integridad” que garantiza el anonimato y la seguridad de sus colaboradores. Según la empresa su enfoque destaca la importancia de la transparencia y la comunicación en la vanguardia de la inteligencia artificial. La semana pasada la empresa anunció que había comenzado a entrenar su nuevo modelo de Inteligencia Artificial insignia, y que estaba formando un nuevo comité de seguridad y protección para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
La empresa reaccionó a las críticas por sus prácticas contractuales con los empleados salientes. Tras la presión, OpenAI accedió a liberar a los antiguos empleados de ciertos acuerdos restrictivos. Sam Altman, CEO de la empresa, tuvo que pedir disculpas y prometer cambios en los procedimientos. Jacob Hilton, exempleado y firmante de la reciente carta, reconoció el cambio, pero advirtió que aún persiste el temor a represalias por divulgar información sensible.
El candente tema de la supervisión
La carta pone de manifiesto la tensión entre el avance tecnológico, la seguridad y la ética en la industria de la IA. Un equilibrio que debe ser cuidadosamente gestionado para garantizar un futuro seguro y responsable con la inteligencia artificial. A pesar de las declaraciones públicas de las empresas sobre su dedicación al desarrollo seguro, la falta de supervisión sigue siendo un tema candente. Especialmente cuando las herramientas de inteligenvia artificial pueden amplificar o generar nuevos daños sociales.
Daniel Colson, director ejecutivo del Policy Institute, resalta la importancia de la transparencia y la libertad de expresión para los empleados y denunciantes en el sector de la IA. Especialmente tras la salida de figuras prominentes como Ilya Sutskever de OpenAI. “Es necesario que los empleados y los denunciantes puedan compartir lo que ocurre y sus preocupaciones,” enfatiza. Colson critica las restricciones que impiden hablar sobre los entresijos de la industria. También señala la ausencia de requisitos obligatorios para las empresas de IA en cuanto a pruebas de seguridad y ciberseguridad. Una laguna que podría tener consecuencias graves.
“Lo que no hemos visto en ningún sitio es que se impongan requisitos a estas empresas en aspectos como las pruebas de seguridad”
Daniel Colson, director ejecutivo del Policy Institute
Aunque acusado de apocalíptico y fatalista, el movimiento de altruismo efectivo, vinculado a algunos exempleados, aboga por prevenir las amenazas existenciales de la inteligencia artificial. La preocupación por los riesgos potenciales de la IA no es nueva. Pero el reciente auge tecnológico ha intensificado la alarma, dejando a los reguladores en una carrera por adaptarse a los avances.
No estamos preparados
A nivel global, los gobiernos están tomando medidas para regular la IA. Aunque a menudo van rezagados respecto al ritmo del avance de la nueva tecnología. La Unión Europea dio un paso adelante con la aprobación de la primera legislación integral sobre IA. Se adelantan esfuerzos de cooperación internacional en cumbres de seguridad sobre la inteligencia artificial en el Reino Unido, Corea del Sur y la ONU. En Estados Unidos, el presidente Joe Biden firmó una orden ejecutiva que exige a las empresas de IA revelar sus planes de desarrollo y pruebas de seguridad. Pero en general hay un gran rezago.
«El mundo no está preparado y nosotros tampoco. Y me preocupa que nos estemos precipitando a pesar de todo y racionalizando nuestras acciones. Tiene que haber algún tipo de estructura de gobierno democráticamente responsable y transparente a cargo de este proceso. En lugar de sólo un par de empresas privadas diferentes compitiendo entre sí, y manteniéndolo todo en secreto»
Daniel Kokotajlo, antiguo investigador de la división de gobernanza de OpenAI
Aprendices de brujo
En 1797, Johann Wolfgang von Goethe escribió la balada “El aprendiz de Brujo”. La actitud de los ejecutivos que están al frente del desarrollo de la Inteligencia artificial recuerdan a la del protagonista. La historia narra la experiencia de un aprendiz que, sin el conocimiento o permiso de su maestro mago, intenta utilizar la magia para realizar tareas domésticas. Para ello, conjura una escoba para que haga el trabajo. Pronto pierde el control sobre la escoba. Causando un gran desorden y, finalmente, inundando todo el lugar.
La balada es una reflexión sobre la arrogancia y la ignorancia. Muestra cómo el deseo de aprovecharse de la magia sin entender completamente sus consecuencias puede llevar a situaciones catastróficas. También sirve como una advertencia sobre el peligro de intentar manejar fuerzas superiores a uno mismo sin el conocimiento adecuado. No estaría de más recordárselo a los ejecutivos de las tecnológicas. Con una acotación: en la balada de Goethe hay un mago sabio que arregla el estropicio. No puros aprendices.
Lea también en Cambio16.com:
Suscríbete y apóyanos «Por un mundo más humano, justo y regenerativo»
Gracias por leer Cambio16. Vuestra suscripción no solo proporcionará noticias precisas y veraces, sino que también contribuirá al resurgimiento del periodismo en España para la transformación de la conciencia y de la sociedad mediante el crecimiento personal, la defensa de las libertades, las democracias, la justicia social, la conservación del medio ambiente y la biodiversidad.
Dado que nuestros ingresos operativos se ven sometidos a una gran presión, su apoyo puede ayudarnos a llevar a cabo el importante trabajo que hacemos. Si puedes, apoya a Cambio16 ¡Gracias por tu aportación!
-
¡Oferta!
Revista 2308 Suscripción Total
El precio original era: 40,00€.36,00€El precio actual es: 36,00€. Añadir al carrito -
¡Oferta!
Revista 2308 Suscripción Digital
El precio original era: 23,00€.19,90€El precio actual es: 19,90€. Añadir al carrito -
Revista 2308
4,00€ Añadir al carrito -
Revista 2308 (Digital)
2,30€ Añadir al carrito