Los avances de la ciencia se producen sobre la base de la robustez y confiabilidad de los datos que arrojan las investigaciones. Pero lo científicos son humanos y pueden cometer algún error. En ocasiones pasan años, incluso décadas, antes de que alguno de sus pares lo encuentre. En la Universidad de Berna adelantan una iniciativa innovadora para mejorar la credibilidad de los estudios científicos. Consiste en pagar a los investigadores para que detecten errores en artículos publicados previamente.
Porque la ciencia, como cualquier otra empresa humana, no es inmune a los errores. Pero ¿cómo manejamos esos deslices en el tejido de nuestro conocimiento? En un artículo publicado en Nature, Malte Elson, psicólogo de la Universidad de Berna, expresa la opinión que tiene al respecto: “La forma en que tratamos actualmente los errores no funciona”. Y tiene razón: el sistema actual de detección de errores es, en el mejor de los casos, aleatorio y, en el peor, ineficiente.
Caso Reinhart-Rogorf
Para ilustrar su punto, Elson nos lleva a un episodio famoso en la historia de la economía. En 2010, los economistas Carmen Reinhart y Kenneth Rogoff, de la Universidad de Harvard en Cambridge (Massachusetts), publicaron un influyente artículo que abogaba por medidas de austeridad para reducir la deuda nacional en Europa. Sin embargo, tres años después, Thomas Herndon, un estudiante de doctorado en economía de la Universidad de Massachusetts Amherst, se topó con un error en una hoja de cálculo crucial utilizada en ese estudio. Los autores habían seleccionado solo 15 de los 20 países que pretendían incluir en un cálculo clave.
Cuando se tuvieron en cuenta este y otros dos errores, las conclusiones del estudio resultaron menos sólidas de lo que parecían en un principio, afirma Elson. Reinhart y Rogoff, cooperaron y admitieron los errores, aunque mantuvieron que su conclusión general seguía siendo sólida. Pero aquí está la pregunta: ¿Sr habrían descubierto esos errores si Herndon no hubiera intentado reproducir los resultados?
Proyecto ERROR
Elson y sus colegas no están dispuestos a dejarlo al azar. En febrero, lanzaron el proyecto “Estimating the Reliability and Robustness of Research” (ERROR), una iniciativa que podría cambiar la forma en que abordamos los errores científicos. ¿En qué consiste? Pagan a revisores para que escudriñen los artículos de psicología y campos relacionados en busca de errores en el código, los análisis estadísticos y las citas de referencia.
Es un enfoque sistemático y recompensado que podría mejorar la calidad de la ciencia. La primera revisión de ERROR se publicó en mayo, y se espera que realicen 100 revisiones en los próximos cuatro años. Este mes, el equipo de ERROR asignará los primeros 20 artículos a sus revisores. Es un paso audaz hacia una ciencia más confiable y robusta.
La iniciativa de ERROR tiene el potencial de transformar la forma en que se realiza y evalúa la investigación científica. Al pagar por la detección de errores, se reconoce la importancia de este trabajo y se incentiva a los investigadores a ser más rigurosos en sus análisis.
Además, al hacer públicas las revisiones, se aumenta la transparencia y la confianza en los resultados. Sin embargo, el proyecto también plantea desafíos. ¿Cómo se seleccionarán los artículos a revisar? ¿Qué criterios se utilizarán para evaluar la calidad de las revisiones? ¿Cómo se garantizará la independencia de los revisores?
Nueva era
Elson, junto con Ian Hussey, metacientífico de la misma universidad, y Ruben Arslan, psicólogo de la Universidad de Leipzig (Alemania), lideran el proyecto ERROR. Su objetivo es claro: mejorar la calidad de la ciencia al abordar los errores de manera sistemática.
El proyecto se centra en artículos con un flujo continuo de citas publicados en «revistas importantes y respetadas en subdisciplinas de la psicología» desde enero de 2015. El equipo prioriza los artículos altamente citados para maximizar el impacto de sus esfuerzos y se pone en contacto con los autores para pedir permiso para revisar su trabajo. «Para que ERROR tenga éxito, es importante que todo el mundo esté de acuerdo», explica Elson. Sin embargo, el equipo también necesita acceso a los datos y el código subyacentes de cada artículo, algo que solo los autores pueden facilitar.
Con financiación del programa Humans in Digital Transformation. Un fondo para impulsar una estrategia de digitalización en la Universidad de Berna, que ha ofrecido al proyecto 4 años de apoyo y 250.000 francos suizos (289.000 dólares), los revisores reciben hasta 1.000 francos por cada artículo que revisan. Reciben una bonificación por los errores que detecten, que aumenta en el caso de errores de mayor envergadura (por ejemplo, los que dan lugar a un aviso de corrección importante o a una retractación) hasta un máximo de 2.500 francos.
Modelo de las tecnológicas
El modelo de bonificación sigue el ejemplo de los programas de «recompensas por errores» que ofrecen las empresas tecnológicas, como Microsoft y Google, a los piratas informáticos que encuentren y notifiquen vulnerabilidades en sus productos. Los errores que los revisores buscan incluyen fallos en el código, discrepancias entre el código y la redacción del manuscrito, análisis estadísticos que no apoyan las conclusiones o se interpretan mal y citas inexactas.
Además de pagar a los revisores, el proyecto ERROR también compensa a los autores: 250 francos por responder a las preguntas del revisor y facilitar los datos, con 250 francos adicionales si el revisor solo encuentra errores menores o ninguno. Al incentivar a los investigadores a verificar el trabajo de sus colegas, el proyecto pretende crear una literatura científica más fiable y robusta. Es crucial para los responsables políticos, que confían en la investigación científica para tomar decisiones informadas.
Los cinco objetivos de ERROR
- Explorar y probar los desafíos prácticos en su implementación.
- Estimar la relación costo-beneficio de la financiación para la detección de errores.
- Obtener estimaciones empíricas robustas sobre los tipos de errores y su prevalencia.
- Documentar y aumentar la accesibilidad a las herramientas digitales utilizadas para detectar errores.
- Fomentar una cultura que acepte la posibilidad de errores en la ciencia y promueva un nuevo discurso de crítica constructiva.
El proyecto ERROR publicó su primera revisión en mayo para un artículo de 2018 en la revista Psychophysiology cuyo autor era el neurocientífico cognitivo Jan Wessel, de la Universidad de Iowa en Iowa City. El proceso fue ejemplar, dice Hussey, incluida la apertura de mente de Wessel y del neurocientífico cognitivo Russ Poldrack de la Universidad de Stanford en California, quien realizó la revisión y solo encontró errores menores.
Wessel incluso escribió un estudio de simulación en el que descubrió una probabilidad del 96% de que haya al menos un error restante en su conjunto de datos que ni siquiera la revisión de ERROR ha detectado. «Es exactamente lo que esperamos fomentar», afirma Hussey. Quien espera publicar tres revisiones más en septiembre y llegar a los 100 artículos en cuatro años. Para lograrlo, el equipo tendrá que publicar aproximadamente una revisión cada dos semanas.
Según Hussey aunque inicialmente centrado en la psicología, el proyecto ERROR está «trabajando activamente» para expandirse a otras disciplinas. El equipo ha solicitado financiación a la Fundación Nacional Suiza de la Ciencia para ampliar su campo de investigación a la inteligencia artificial y espera abordar también la investigación médica.
Encontrar a los mejores
La idea es crear un modelo que pueda ser replicado en cualquier campo científico, garantizando así una mayor calidad y fiabilidad de la investigación. «En términos más generales, esperamos demostrar un modelo escalable y transferible de cómo hacer esto, para que otros investigadores puedan hacerlo en su propio campo», dice Hussey. Elson acota que el equipo también está estudiando la posibilidad de auditar las preimpresiones de manuscritos, así como los artículos publicados.
A pesar de su prometedor comienzo, el proyecto ERROR se enfrenta a desafíos importantes. Pocos autores responden a los correos electrónicos en los que se les pide permiso para revisar su artículo. Apenas 17 autores que han accedido a que se revisen sus estudios de entre 134 artículos seleccionados.
A veces, los datos subyacentes ya no existen o no pueden encontrarse. Y en ocasiones, los autores responden diciendo que terceras partes no pueden tener acceso a los datos por razones legales. Aunque hay soluciones técnicas para esto, Elson opta por no presionar.
Uno de los mayores desafíos del proyecto ERROR es encontrar a los revisores adecuados. Estos investigadores deben tener conocimientos técnicos profundos y, al mismo tiempo, ser independientes para poder evaluar críticamente el trabajo de otros.»Los revisores pueden necesitar más conocimientos técnicos que los propios autores», afirma Ian Hussey.
Para detectar errores estadísticos o metodológicos se requiere de una comprensión profunda de las técnicas utilizadas. Además, existe una dinámica de poder en la comunidad científica que puede dificultar la revisión por pares. Los investigadores jóvenes pueden sentirse intimidados a la hora de criticar el trabajo de científicos más consolidados.
Master en detección de errores
En 2023, en un intento de aumentar el grupo de posibles revisores, Hussey comenzó a impartir un curso de máster sobre detección de errores en el departamento de psicología de la Universidad de Berna. El Instituto de Psiquiatría, Psicología y Neurociencia del King’s College de Londres impartió un curso similar en una escuela de verano en julio.
Ahora, el equipo de ERROR espera convencer a quienes financian la investigación para que paguen la revisión de errores de las investigaciones que apoyan. Los financiadores se beneficiarán de la detección de errores porque pagan doblemente por los errores. Según Elson: una vez por malgastar dinero en una investigación que resulta ser incorrecta, y otra porque perdieron la oportunidad de financiar un proyecto diferente.
Desde mayo (cuando Elson publicó un artículo en Nature sobre el proyecto), Elson ha hablado tanto con la fundación alemana de investigación DFG como con la Fundación Volkswagen, un financiador privado.
En comparación con el actual enfoque ad hoc, «los descubrimientos significativos por dólar gastado serían en realidad mayores con cierto grado de escrutinio sistemático de errores», afirma Hussey. Y no se puede esperar que funcione gratis un sistema serio de detección de errores. Necesita recursos, afirma Elson.
Ciencia confiable y robusta
Existen varios proyectos y organizaciones que buscan mejorar la confiabilidad y robustez de la investigación científica en diversas ramas de la ciencia, aunque pueden diferir en su enfoque y alcance en comparación con el proyecto Estimating the Reliability and Robustness of Research.
- Innocence Project: es una organización que se centra en exonerar a personas injustamente condenadas principalmente a través de la aplicación de pruebas de ADN. Aunque su enfoque principal es la justicia criminal, ha destacado la importancia de la precisión y la fiabilidad en la ciencia forense. Critica el uso de ciertas técnicas forenses que carecen de fundamentos científicos sólidos y ha señalado errores en la interpretación y presentación de evidencias forenses en juicios.
- Proyectos de Reproducibilidad: Existen iniciativas que buscan abordar los desafíos de reproducibilidad en la investigación. Se enfocan en replicar estudios previos para verificar la validez de sus hallazgos. La falta de reproducibilidad es un problema reconocido en varias disciplinas científicas, incluyendo las ciencias sociales y biomédicas. Algunos investigadores argumentan que basar conclusiones en múltiples estudios sobre el mismo tema puede aumentar la credibilidad de los resultados.
- Desafíos Generales de Reproducibilidad: La preocupación por la reproducibilidad y fiabilidad de los resultados de investigación es un tema amplio que afecta a muchas áreas de la ciencia. John Ioannidis, de la Universidad de Stanford, ha destacado que muchos resultados de investigación pueden ser falsos debido a factores como tamaños de muestra pequeños, metodologías experimentales laxas y conflictos de interés.
ERROR a favor de la ética
Aunque el proyecto ERROR tiene un enfoque único inspirado en los programas de recompensas por errores de la industria tecnológica, existen otras iniciativas y proyectos en diferentes ramas de la ciencia que comparten objetivos similares de mejorar la confiabilidad, robustez y transparencia de la investigación científica.
Son iniciativas que están directamente relacionadas con los principios éticos que deben regir la investigación científica. Al identificar y corregir errores en la investigación, promueven la honestidad y la integridad al asegurar que solo se informen hallazgos precisos y verificables. Además, al fomentar una cultura de transparencia y crítica constructiva, ayudan a prevenir violaciones graves de la ética en investigación
Iniciativas como ERROR promueven principios éticos esenciales, complementan el trabajo de los comités de ética en investigación y ayudan a mantener y fortalecer la confianza pública en la ciencia. Complementan el trabajo de los comités de ética al proporcionar una capa adicional de revisión y validación de la investigación publicada, lo cual es fundamental para mantener altos estándares éticos en la ciencia.
Lea también en Cambio16.com
Conforme a los criterios de 
Saber más
