Después de su despido y posterior recontratación como director ejecutivo de OpenAI, Sam Altman, ofreció datos sorprendentes sobre la Inteligencia Artificial de los chatbot ChatGPT de OpenAI y es que pueden “alucinar”. Es decir, perciben patrones y generan resultados que no tienen sentido o resultan incoherentes. El ejecutivo de OpenAI afirma que “estos errores no son defectos, son magia”.
Altman considera que parte del poder que tienen los sistemas de IA es que puedan generar nuevas ideas y ser creativos. «Que un ChatGPT sea impreciso y que produzca datos erróneos no es nada, si puede ser creativo», afirma.
Cuidado con los datos falsos
Pero los usuarios de estos chatbot no quieren que arrojen informaciones falsas. Al contrario, no quieren las alucinaciones y y que los datos sean confiables. La utilización de la Inteligencia Artificial tiene múltiples ventajas, pero cuando se usan IA generativas como ChatGPT hay que tener especial atención con “las alucinaciones”. Las ChatGPT tienden a dar respuestas a todo, aunque no posean los datos para que esas respuestas sean verdaderas.
La invención de datos y tomarlos como reales es un problema común en la gran mayoría de modelos de Inteligencia Artificial General. Es una dificultad presente en la inmensa mayoría de modelos de este tipo. Casi ninguno se libra de tenerlos. En el caso de OpenAI, que tiene una alianza con Microsoft y su buscador Bing, admite que «GPT-4 tiene la tendencia a alucinar, a producir contenido sin sentido o falso en relación con ciertas fuentes”. “Esta tendencia puede ser particularmente dañina a medida que los modelos se vuelven cada vez más convincentes y creíbles, lo que lleva a que los usuarios confíen más en ellos», aclaró la firma.
Desconfie de los Chatbot
La recomendación es que los usuarios no deben confiar ciegamente en las respuestas de Chatbot o un similar, principalmente en áreas como salud o consejos legales. Las alucinaciones son particularmente inconvenientes en los ámbitos donde se requiere de razonamiento de varios pasos. Un simple error es suficiente para todo el proceso resulte erróneo.
Los algoritmos de IA generativa y de aprendizaje de refuerzo son capaces de procesar una enorme cantidad de información en segundos y generar un nuevo texto. En la mayoría de los casos, son textos coherentes y bien redactados, pero se debe tener cuidado con los datos suministrados. No siempre son reales. La red está llena de información falsa y la tecnología usa esos contenidos falsos. A veces los chatbots inventan cosas o simplemente alucinan.
Se desarrolla un modelo de verificación paso a paso
Para evitar las alucinaciones se está entrenando un modelo que se “recompensa” en cada paso correcto del proceso de razonamiento. El objetivo es que se gratifique por pasos y no por resultado final. Así se garantiza que cada items fue revisado y corregido. En consecuencia, el resultado final es correcto.
El objetivo de la compañía es crear una IA general (concepto comúnmente conocido como AGI), y eso hace muy necesario que cada paso sea verificado para evitar alucinaciones y que el resultado final no tenga errores ni información falsa.
Para lograrlo, han comenzado a entrenar un modelo dirigido a «recompensar» cada paso “bueno” del proceso de razonamiento que se lleve a cabo, en lugar de recompensar el resultado final cuando este es correcto.
«Podemos entrenar modelos de recompensa para detectar alucinaciones mediante la supervisión de resultados, que brinda retroalimentación basada en un resultado final, o la supervisión de procesos, que brinda retroalimentación para cada paso individual en una cadena de pensamientos.»
OpenAI quiere arreglar las imprecisiones
Para poder arreglar este problema, OpenAI diseña diferentes sistemas para prevenir la aparición de las alucinaciones. La nueva estrategia en la que muestra mayor interés es entrenar a los modelos de IA para recompensarse a sí mismos siempre que hagan el buen recurrido. De esta manera, no se premiará únicamente la conclusión final a la que llega el modelo de inteligencia artificial, sino que cada trama contenga información real.
Se trata de supervisar los procesos y no solo supervisar los resultados, para obtener una AI que consiga explicar de manera eficiente y que tenga una cadena de razonamiento más parecida a la humana. Se pretende que la IA aprenda de sus propios errores, pero internamente. Que detecte una conclusión errada desde el inicio. penAI no es la creadora de este nuevo sistema de revisión de toda la línea del proceso, pero sí que va a resultar una gran contribución para utilizarla en sus IA.
Este sistema tiene cierta resistencia del Centro de Información de Privacidad Electrónica. Quieren estar seguros y revisar todos esos datos y los ejemplos que los acompañan. También piden una segunda revisión para conseguir una conclusión precisa si OpenAI no ha hecho una verificación por pares. Hay que saber que OpenAI tampoco ha revelado cuándo implementará esta estrategia en productos como ChatGPT.
OpenAI informó que desarrolló en «una variedad de métodos» para impedir que las «alucinaciones» lleguen a ser arrojadas en las respuestas a los usuarios, incluidas las evaluaciones hechas por personas reales, para evitar datos erróneos, sesgos de raza o género o difusión de noticias falsas.
Este modelo fue entrenado con un conjunto de datos formado por más de 800.000 etiquetas generadas por seres humanos, y en las primeras pruebas fue posible obtener resultados muy superiores a los conseguidos con modelos basados en solo la supervisión de resultados finales.
También en Cambio16.com:
Conforme a los criterios de 
Saber más
