En un momento de particular preocupación por los efectos del uso y abuso del ChatGPT en el mundo de la ciencia, la educación, las letras, un grupo de investigadores desarrolló un detector de texto que puede identificar cuál fue escrito por Inteligencia Artifiial (IA) y cuál por humanos. La noticia de los científicos de la Universidad de Kansas resulta tranquilizadora.
El clasificador especializado, que superó a dos detectores de inteligencia artificial existentes, podría ayudar a los editores académicos a identificar artículos creados por generadores de texto de IA.
Actualmente hay varios detectores de texto de IA para contenido general disponibles. Pero ninguno es particularmente bueno cuando se aplica a artículos científicos, señala Heather Desaire, química de la Universidad de Kansas en Lawrence y coautora del estudio.
«La mayor parte del campo del análisis de texto quiere un detector que funcione con cualquier cosa», comenta Desaire. En cambio, su equipo se centró en informes escritos específicamente para revistas científicas sobre el tema de la química. «Realmente buscábamos la precisión», reveló.
El ChatGPT se emplea, sin discreción, por pacientes que desean anticipar un diagnóstico médico y su tratamiento, sin tocar la puerta de un especialista. Entonces se han visto importantes desaciertos cuyo impacto va directamente en la salud de quienes emplean la herramienta.
En esta ocasión, entrenaron al detector del equipo en base a revistas publicadas por la Sociedad Química Estadounidense.Recopilaron 100 pasajes introductorios escritos por profesionales. Y luego programaron ChatGPT para que escribiera sus propias introducciones basadas en resúmenes de revistas o simplemente en los títulos de los informes.
Desarrollan detector de texto de IA con amplitud de aciertos
El ChatGPT también se ha empleado en literatura. Autores reconocidos denunciado que sus obras han sido pirateadas al utilizarlas para entrenar herramientas de IA. Este no es precisamente el caso abordado por los científicos de la Universidad de Kansas.
Desaire y sus colegas describieron por primera vez su detector de texto de IA en junio, cuando lo aplicaron a artículos de ‘Perspective’ de la revista Science. Utilizando el aprendizaje automático, el detector examinó 20 características del estilo de escritura, incluida la variación en la longitud de las oraciones. Así como la frecuencia de ciertas palabras y signos de puntuación, para determinar si un científico académico o ChatGPT escribió un fragmento de texto. Los hallazgos muestran que «se podría utilizar un pequeño conjunto de funciones para obtener un alto nivel de precisión», afirmó Desaire.
En el último estudio, el detector de texto fue entrenado en las secciones introductorias de artículos de diez revistas de química publicadas por la Sociedad Química Estadounidense (ACS), reseña Nature.
El equipo eligió la introducción porque esta sección de un artículo es bastante fácil de escribir para ChatGPT si tiene acceso a literatura de referencia, explicó Desaire. Los investigadores entrenaron su herramienta en 100 introducciones publicadas para que sirviera como texto escrito por humanos. Y luego pidieron a ChatGPT-3.5 que escribiera 200 introducciones en el estilo de una revista ACS. Para 100 de ellos, la herramienta recibió los títulos de los artículos y para los otros 100, sus resúmenes.
Cuando se probó con introducciones escritas por personas y aquellas generadas por IA de las mismas revistas, la herramienta identificó secciones escritas en ChatGPT-3.5 basadas en títulos con 100% de precisión. Para las introducciones generadas por ChatGPT basadas en resúmenes, la precisión fue ligeramente menor, del 98%.
Distintos desempeños de ChatGPT
El estudio indicó que la herramienta funcionó igual de bien con texto escrito por ChatGPT-4, la última versión del chatbot. Por el contrario, el detector de texto ZeroGPT identificó introducciones escritas por IA con una precisión de entre 35% y 65%. Dependiendo de la versión de ChatGPT utilizada y de si la introducción se había generado a partir del título o del resumen del artículo.
Una herramienta de clasificación de texto producida por OpenAI, el creador de ChatGPT, también tuvo un desempeño deficiente. Pudo detectar introducciones escritas por IA con una precisión de alrededor del 10 al 55%, refiere el estudio.
El nuevo receptor ChatGPT funcionó bien con introducciones de revistas en las que no estaba capacitado. Y captó texto de IA creado a partir de una variedad de indicaciones. Incluida una destinada a confundir a los detectores de texto de IA. Sin embargo, el sistema está altamente especializado para artículos de revistas científicas. Cuando se le presentaron artículos reales de periódicos universitarios, no pudo reconocer cuáles estaban escritos por humanos.
Lo que hacen los autores es «algo fascinante», comentó Debora Weber-Wulff, científica informática que estudia el plagio académico en la Universidad de Ciencias Aplicadas HTW de Berlín. Muchas herramientas existentes intentan determinar la autoría buscando los patrones de texto predictivos de la escritura generada por IA. En lugar de observar las características del estilo de escritura, dice.
Pero Weber-Wulff señaló que hay otros problemas que impulsan el uso de ChatGPT en el mundo académico. Muchos investigadores están bajo presión para producir artículos rápidamente, puntualizó. O podrían no ver el proceso de redacción de un artículo como una parte importante de la ciencia. Las herramientas de detección de IA no abordarán estos problemas y no deben verse como “una solución mágica de software para un problema social”.
Lee también en Cambio16.com:
Conforme a los criterios de 
Saber más
