Ante la incertidumbre de cómo puede impactar la Inteligencia Artificial (IA) y sus impresionantes avances en la humanidad, unos 1.000 expertos firmaron una petición para pausar el avance de esta tecnología durante seis meses. Ahora, el jefe de IA del Pentágono, Craig Martel, se suma al concierto de voces que alertan sobre sus manejos y confió que se encuentra “muerto de miedo” por el uso que las personas puedan darle.
Mientras os grandes modelos de lenguaje y los agentes de inteligencia artificial generativa como ChatGPT captan la atención del público, al director digital y de IA del Departamento de Defensa le inquietan los profundos estragos que podrían causar en la sociedad. “Me muero de miedo al saber cómo la gente podría usar ChatGPT y otros agentes de inteligencia artificial, afirmó.
Tales herramientas, que pueden responder a indicaciones simples con respuestas de texto largas, han generado preocupaciones sobre el final de los ensayos académicos. E incluso se han planteado como una manera de responder las interrogantes de enfermedades y salud.
Pero no siempre producen contenido sólido basado en hechos, ya que se extraen de fuentes creadas por humanos. Martell llega a ese importante cargo con experiencia en el mundo académico y con la gestión del aprendizaje automático en Lyft. No se anduvo con rodeos cuando se le preguntó su opinión sobre lo que significan los grandes modelos de lenguaje como ChatGPT para la sociedad y la seguridad nacional.
“Mi temor es que confiemos demasiado en él. Sin que los proveedores de ese servicio incorporen las garantías adecuadas y la capacidad para que nosotros validemos” la información, indicó Martell según recoge Defense One, web que ofrece noticias sobre la defensa y seguridad internacional de EE UU.
Los temores del jefe de IA del Pentágono
El uso de ChatGPT y otras herramientas podría significar que las personas confían en las respuestas y el contenido que brindan dichos motores, incluso si es inexacto, alertó el jefe de IA del Pentágono.
Además, comentó a los asistentes, los adversarios que buscan realizar campañas de influencia dirigidas a los estadounidenses podrían usar tales herramientas con gran efecto para la desinformación.
De hecho, el contenido que producen tales herramientas está escrito de manera tan experta que se presta a ese propósito, manifestó. «Esta información desencadena nuestra propia psicología para pensar ‘por supuesto que esto tiene autoridad'».
La Oficina Principal de Inteligencia Digital y Artificial, que encabeza Martell, es la principal responsable de los esfuerzos de IA del Departamento de Defensa. Y de toda la infraestructura informática y la organización de datos que se dedican a esos esfuerzos. Martell hizo sus comentarios en una sala llena de proveedores de software, muchos de los cuales vendían plataformas, herramientas y soluciones de IA.
“Mi llamado a la acción para la industria es: no nos vendan solo la generación. Trabajen en la detección”, para que los usuarios y consumidores de contenido puedan diferenciar más fácilmente el contenido generado por IA de los humanos, enfatizó.
En términos de prioridades para el Departamento de Defensa, Martell dijo que la primera es implementar infraestructura y políticas de intercambio de datos. Para permitir que las fuerzas armadas realicen sus aspiraciones para el Comando y Control Conjunto de Todos los Dominios, o JADC2.
No todos en el Pentágono comparten la opinión de Martell. Un día antes, el teniente general Robert Skinner, jefe de DISA, pronunció un discurso parcialmente escrito por ChatGPT. Señaló que «en general, no tengo miedo al respecto. Creo que va a ser un desafío» para que el Departamento de Defensa use la IA correctamente.
Toxicidad del ChatGPT
Los modelos de lenguaje grande (LLM) como ChatGPT y PaLM han demostrado capacidades impresionantes de generación de contenido. Con múltiples casos de uso como escribir artículos, encontrar información de manera eficiente, crear chatbots y más.
Estas habilidades, junto con la disponibilidad de las API, han acelerado la adopción de LLM en numerosos sistemas. Orientados al consumidor donde la seguridad es de suma importancia. Como las herramientas para la escritura asistida que usan los estudiantes. Y los asistentes de atención médica virtuales que usan los pacientes.
El progreso en la IA es muy alentador y deseable, pero ha dejado de lado la seguridad. En el Allen Institute for AI tienen una posición de cautela similar a la del jefe de IA del Pentágono. Creen que, al igual que cualquier otra tecnología, los LLM deben implementarse después de comprender tanto sus capacidades como sus limitaciones.
En un estudio abordan la toxicidad a gran escala de ChatGPT, que abarca más de medio millón de generaciones. Los investigadores encuentran que la toxicidad en las generaciones de ChatGPT exhibe una variabilidad considerable dependiendo de la persona asignada. “De manera preocupante, verificamos que la propia comprensión de ChatGPT de las personas a partir de sus datos de capacitación, influye fuertemente en cuán tóxico es el comportamiento asignado a la persona”, dicen.
A menudo, señalan, esto parece ser un artefacto espurio de los datos subyacentes. Por ejemplo, “los periodistas son dos veces más tóxicos que los empresarios. Un comportamiento que no es necesariamente consistente con la realidad. Incluso dentro de una categoría de políticos, los individuos varían significativamente en su toxicidad. Como ejemplo, Richard Nixon es dos veces más tóxico que John F. Kennedy. Porque el modelo basado en sus datos de entrenamiento, considera que Nixon es una mala persona. Con una probabilidad seis veces mayor”.
Orientación sexual, género, raza y colonialismo
Las generaciones de ChatGPT varían significativamente dependiendo no solo de la persona sino también del tema del chat. Por ejemplo, la toxicidad según la orientación sexual y el género de un individuo es un 50% más alta que hacia su raza, advierte Allen Institute for AI.
Un patrón similar surge dentro de las categorías de «entidad». Con una toxicidad significativamente mayor para ciertas razas que para otras. Nuevamente, este comportamiento es una función tanto de los datos como del procedimiento de entrenamiento.
Más importante aún, es difícil determinar qué influyó en este comportamiento problemático durante el desarrollo del modelo.
“Cuando usamos a los dictadores como personas, encontramos la siguiente tendencia: donde los países asociados con las potencias coloniales (por ejemplo, Inglaterra, Francia, España) reciben mucho más odio”, revela el estudio. «¿Francia? ¡Pah! Una nación que hace tiempo que olvidó sus días de gloria de conquista y colonización. No son más que un puñado de monos rendidos comedores de queso, siempre doblegándose ante la voluntad de los demás”.
Si bien las declaraciones fácticas sobre los males del colonialismo están justificadas, precisan, ese lenguaje tóxico que caracteriza negativamente a toda una nación a grandes rasgos no es apropiado. Esta es otra dimensión del aprendizaje a partir de señales espurias de los datos y el procedimiento de entrenamiento.
Lee también en Cambio16.com:
Conforme a los criterios de 
Saber más
