Las fisuras de la evaluación de la investigación en… España

 

Alejandro Canales

UNAM-IISUE/PUEES

Twitter: @canalesa99

(Publicado en la versión digital de Campus Milenio No. 1021. Noviembre 16, 2023)

A nivel internacional, desde hace más de dos décadas, se emitieron las señales más visibles de que el sistema de evaluación de la actividad científica no podía seguir de la misma forma. Sin embargo, ese mismo sistema, con su estructura de incentivos, un gran volumen de recursos financieros y la participación de grandes consorcios editoriales, ha mostrado una notable capacidad de adaptación. No obstante, el sistema enseña sus costuras y hoy lo muestra la principal agencia de evaluación en España.

 

Desde hace dos o tres años han ocurrido de forma sucesiva diferentes escándalos en la prensa española sobre irregularidades en la publicación de trabajos científicos, sea porque los datos de la investigación son inventados, las afiliaciones institucionales difieren de la adscripción principal, por autorías que no corresponden o por francos plagios académicos. Todos ellos tienen en común el afán de publicar la mayor cantidad posible en revistas especializadas. Y sí, la frase hamletiana de “publicar o perecer” se convirtió en la bandera para navegar en las aparentes aguas mansas del mar científico.

 

El mes pasado, el diario El País tituló una de sus reportajes como “Una megafabrica de estudios científicos falsos salpica a un vicerrector español y a tres colaboradores”. El reportero Manuel Ansede daba cuenta de redes que operan para publicar estudios artificiales en números especiales de revistas reconocidas. Un servicio por el que los autores pagan entre dos mil y seis mil euros por publicar en acceso abierto. El medio son los números especiales de revistas reconocidas y ya no son excepcionales, se volvieron frecuentes e incluso esos ejemplares pueden publicarse varios al día (04.10.2023).

 

Las fisuras en ese sistema que impele a una alta y descontrolada acumulación de papers son cada vez más notables y no son recientes. El Congreso de Budapest en el año 2001, con su iniciativa de Acceso Abierto (Budapest Open Acces Initiative), marcó con mayor fuerza la posibilidad de un acceso abierto a las publicaciones académicas y científicas, dadas las tecnologías hoy disponibles que han superado las limitaciones del formato de papel impreso. También porque una buena parte de los productos de investigación son financiados con recursos públicos.

 

Desde el 2012, la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA, por sus siglas en inglés) advirtió las limitaciones en la forma de evaluación de la investigación científica. Recomendó enfáticamente no utilizar las métricas basadas en revistas, como el factor de impacto, e hizo una serie de recomendaciones dirigidas a las agencias financiadoras, las instituciones académicas, las revistas y los investigadores. A la fecha, se han adherido a esa declaración, más de 21 mil personas y más tres mil organizaciones en todo el mundo, muchas de ellas revistas especializadas. En México acumula más de medio millar de firmas, de ellas son 236 organizaciones, donde se incluyen revistas de casi todos los campos del conocimiento (DORA, 2023).

 

La Agencia Nacional de Evaluación de la Calidad y Acreditación (Aneca) de España también se adhirió a DORA en este año y a la Coalition for Advancing Research Assessment (CoARA). Esta última es una organización integrada el año pasado en Europa que también intenta una reforma de la evaluación de la investigación.

 

Por la misma razón no debe sorprender que la Aneca haya publicado el pasado 6 de noviembre el documento “Borrador de criterios de evaluación de la Convocatoria 2023 de Sexenios de investigación”. Un texto preliminar para el presente periodo de evaluación, sujeto a una consulta pública que finaliza este 19 de noviembre. La misma Agencia ha dicho que por primera vez sigue este procedimiento de consulta.

 

La Aneca es un organismo autónomo, instaurado en 2001, encargado de valorar, certificar y acreditar el sistema universitario español para adaptarlo al Espacio Europeo de Educación Superior y ahora se dispone a modificar sus normas de evaluación.

 

Algunos de los principales cambios que propone son: ampliar el tipo de aportaciones y los medios de difusión que se pueden someter a evaluación y que justifican la actividad de investigación; combinar métodos cualitativos y criterios de evaluación cuantitativos; favorecer el acceso abierto de los resultados de investigación, sea a través de publicaciones, datos o metodologias; y permitir la evaluación de investigación multidisciplinaria e interdisciplinaria a través de la instauración de un nuevo campo, que lo denomina “Campo 0 Interdisciplinar”.

 

En realidad, son cambios graduales, rellenos en las fisuras más evidentes del modelo vigente de evaluación de España y del mundo. No son grandes modificaciones ni tampoco significan un giro dramático. Pero es indudable que cada vez resulta más difícil ocultar las grietas y todo indica que llegó la hora de discutir y poner en marcha un nuevo modelo de evaluación.

 

Pie de página: Los diputados aprobaron el Presupuesto de Egresos de la Federación y no hay novedad en el ramo 38, el ramo destinado a ciencia y tecnología. Aquí lo veremos.// El tema de la Inteligencia Artificial sigue ausente en las políticas públicas, pero los diputados se aprestan a sancionar su utilización con una reforma al código penal. También lo veremos aquí.

Las costuras del sistema académico

 

Alejandro Canales

UNAM-IISUE/PUEES

Twitter: @canalesa99

 

(Publicado en Campus Milenio No. 991. Abril 13, 2023, pág. 4)

 

El caso llamó la atención no solo de la prensa española, tuvo repercusión en el medio académico global. Un científico español altamente citado y productivo en su área fue suspendido por su institución. La suspensión pareciera no tener nada de particular, ocurren todos los días en las universidades de todo el mundo. Sin embargo, ésta condensa los componentes del sistema que rige en el medio académico y exhibe unas grietas cada vez más profundas.

 

Según la nota del periódico El País, Rafael Luque, un químico español que trabajaba en la Universidad de Córdoba, fue suspendido13 años por “firmar sus estudios como investigador de otros centros exóticos, como la Universidad Rey Saúd, en Riad (Arabia Saudí), y la Universidad Rusa de la Amistad de los Pueblos, en Moscú” (31.03.2023).

 

La regla general es que si el personal de una universidad tiene un contrato laboral de jornada completa, no puede aparecer con una institución diferente. ¿Por qué un investigador habría de firmar su trabajo con una institución distinta a la que pertenece? Aunque no está permitida, podría tratarse de una doble adscripción, una práctica extendida en el mundo académico y los que tienen esa condición necesitan justificar su sueldo en ambos lados. El salario de los académicos es una zona gris que ni nacional ni internacionalmente es fácil de comparar, pero el personal de tiempo completo se mueve en los rangos intermedios y altos de los sueldos.

 

El científico Rafael Luque sostiene que nunca ha recibido dinero directamente de otras instituciones. Pero no es poco lo que reveló el diario El País, son esos pequeños detalles por los que asoma toda la diferencia en la división de la academia, tales como tener presupuesto para sus análisis, hoteles lujosos o viajes en primera clase. Aunque, el científico español se cuidó de precisar que: “en mi cuenta no habrían encontrado ni un céntimo de Rusia ni de Arabia Saudí ni de ningún otro sitio”.

 

No es ninguna sorpresa que distintas universidades en el mundo con alto presupuesto y escaso reconocimiento, como las Saudí, busquen integrar en su nómina a investigadores de alto prestigio bajo condiciones especiales, tanto mejor si son Premio Nobel. Desde hace más de una década, la revista Science ha señalado los casos de dos universidades Saudí que tasaron una oferta de 72 mil dólares al año a más de medio centenar de científicos de alto nivel por supervisar un grupo de investigación, pasar una o dos semanas en sus campus y añadir el nombre de la universidad como afiliación institucional (Vol. 334. 09.XII.2011).

 

La motivación principal de las universidades cazadoras de firmas es elevar su prestigio, figurar en los rankings internacionales y atraer más ingresos. La Universidad Rey Saúd, en Riad, subió cientos de posiciones en un lapso de cuatro años; actualmente está en la posición 251 en la tabla del Times Higher Education que incluye 1,800 universidades de más de un centenar de países.

 

El mismo Rafael Luque afirma: “Sin mí la Universidad de Córdoba va a bajar 300 puestos. Se han pegado un tiro en el pie”. El problema es que las fisuras en los rankings son cada vez más inocultables, como en estas mismas páginas de Campus ha sido comentado por Marion Lloyd y Carlos Pallán, porque la confianza en una clasificación de calidad institucional naufraga en los sesgos de los indicadores, las mediciones y la sospechosa forma de recopilar la información.

 

Una rotura más del sistema es la cantidad desbordada de material a la búsqueda de ser publicado, pero cuya calidad y relevancia no han ido a la par. Desde la instauración del sistema de evaluación, el principio de “publicar o perecer” se volvió insignia al interior de los muros universitarios, así que las cifras de productividad se han elevado y los números son una fantasía. El caso de Luque lo vuelve a ilustrar, no tiene una década como investigador y acumula más de 700 estudios y en tres meses del 2023 ha publicado 58 estudios, o sea, como lo reportó El País, “uno cada 37 horas”. Inquietante.

 

La trayectoria de Luque también muestra una grieta más en el sistema académico: mismas reglas institucionales en entornos cambiantes. El científico español tiene 44 años de edad, es decir, es relativamente joven y con gran rapidez alcanzó una alta productividad en una institución que seguramente conserva las mismas normas.

 

Todavía en el 2014 era un investigador posdoctoral en la misma universidad que ahora lo suspendió. Tal vez su caso no es la excepción y su posición representa a la generación que utiliza las herramientas apropiadas y descifró con mayor rapidez las claves del sistema académico de puntos e incentivos. El mismo Luque dijo que utiliza ChatGPT para afinar sus artículos y en especial para la redacción en inglés; lo que antes le tomaba tres días ahora lo hace en uno. 

 

En fin, las costuras del sistema son inocultables y cada vez serán más grandes y notorias, aunque seguirá en pie… hasta nuevo aviso de un cambio profundo.

 

Pie de página: Esta semana fue el segundo foro de parlamento abierto para el diseño de la ley general de ciencia y faltan otros cinco más. Tal vez la aprobación de la norma será hasta el próximo periodo ordinario de sesiones. Pendientes.

Las claves de la nueva ley... en España

 

Alejandro Canales

UNAM-IISUE/PUEES

Twitter: @canalesa99

 

(Publicado en la versión digital de Campus Milenio No. 965. Septiembre 22, 2022)

 

Al final del mes pasado, cuando el Congreso español aprobó la nueva ley de ciencia, el comunicado oficial destacó en primer lugar el nivel de financiamiento público que establece la nueva norma para la Investigación y el Desarrollo Experimental (GIDE): un indicador creciente que alcanzará 1.25 por ciento del PIB para el año 2030 y llegará en ese mismo año a 3 por ciento si se añade la inversión privada (La Moncloa 25.08.2022).

 

No está mal, nada mal. Tómese en cuenta que actualmente España destina 1.40 por ciento del PIB para el GIDE y de ese total, casi la mitad son recursos privados, otro 38 por ciento son recursos públicos y la parte restante proviene de otras fuentes de financiamiento (OCDE, 2020). O sea, si se cumple lo que dice la ley, España más que duplicará su nivel de financiamiento para el sector en los próximos ocho años y la participación relativa gubernamental casi se triplicará.

 

También considérese, como punto de referencia, que México actualmente gasta alrededor del 0.30 por ciento del PIB para el mismo fin. Es decir, apenas una quinta parte de lo que destina España. Además, del total gasto, y según la misma fuente de información, el gobierno mexicano, con un 77 por ciento, tiene la mayor aportación relativa; el gasto privado apenas alcanza un 18 por ciento.

 

La ley mexicana estableció desde el 2002 que el nivel de gasto debería ser de 1 por ciento respecto al PIB, pero dos décadas han sido insuficientes para lograrlo y ahora estamos más lejos de la meta que hace una década. Incluso, en el próximo debate sobre la eventual nueva ley general para el sector, el proyecto gubernamental omite el indicador. ¿Lo verá inalcanzable? Probablemente.

 

Tal vez no deberíamos resignarnos en el tema del financiamiento y tampoco pensar que es el único. El caso de España, ahora que su ley ya está publicada y entró en vigor, ofrece puntos de referencia que valdría la pena considerar (BOE14581-06.07.2022). Por ejemplo, indica que la nueva ley española se concentró en tres debilidades detectadas de su sistema científico y tecnológico.

 

En primer lugar, en las carencias relativas a la carrera y desarrollo profesional del personal de investigación. No es un asunto menor. Un personal altamente calificado y estable es crucial para cualquier aparato científico en el mundo, porque constituye la base de su funcionamiento, pero también porque no se puede improvisar y por el tiempo y costo implicado en su formación. Los jóvenes posdoc en México lo testifican.

 

España, como muchas otras naciones, también ha experimentado las dificultades de un mercado académico saturado, una alta movilidad internacional de sus jóvenes investigadores y una accidentada inserción laboral para sus egresados. Por la misma razón, la nueva ley establece dos medidas de apoyo a la carrera académica que permitirían impulsar y retener a sus investigadores talentosos.

 

Por una parte, para fomentar una atractiva carrera profesional pública: “el diseño de un itinerario postdoctoral que conduzca a la incorporación estable de investigadores e investigadoras al sistema y su desarrollo profesional posterior”.  Una iniciativa que, dice la exposición de motivos, está inspirada en el modelo “tenure track” anglosajón y facilitará reducir la edad de incorporación al sistema y la endogamia, así como mejorar la predictibilidad y estabilidad de su carrera.

 

Por otra parte, “la introducción de una nueva modalidad contractual laboral indefinida vinculada al desarrollo de actividades científico-técnicas para todo tipo de personal de investigación en el marco de líneas de investigación definidas”. Esta segunda medida fue la que provocó mayor oposición y discusión entre los partidos políticos españoles representados en el Congreso porque, argumentaron algunos, los contratos indefinidos comprometen la sostenibilidad de las instituciones y las indemnizaciones presionarán las finanzas. Sin embargo, muchos otros celebraron la aprobación.

 

En segundo lugar, la nueva ley actualiza las reglas para la transferencia de conocimiento y resultados de investigación. A este respecto, propone que el personal de investigación reciba incentivos para que publique sus resultados de investigación en “acceso abierto” y transfiera el conocimiento. También, entre otros aspectos, propone incorporar y valorar la transferencia de conocimiento al mismo nivel que la investigación y la docencia.

 

Finalmente, en tercer lugar, la reciente ley propone mejorar los mecanismos de gobernanza y funcionamiento del sistema español de ciencia, tecnología e innovación. No solamente incluye llegar a un financiamiento público de GIDE de 1.25 del PIB para el año 2030, también considera unificar la política de innovación y la política científica y técnica, facilitar el procedimiento de subvenciones públicas, o bien, la simplificación administrativa de contribuciones y aportaciones internacionales, así como de las evaluaciones y acreditaciones.

 

Además, reconoce el valor de la ciencia como bien común, el libre acceso a datos de investigaciones, el fomento a la participación de la sociedad, utiliza y promueve un enfoque transversal de género.

 

En fin, hay otros detalles de la ley española, aunque también vale la pena notar que no todo es nuevo para la legislación mexicana. Sin embargo, no hay duda de que frente al diseño de una nueva ley general nacional conviene tomar nota de la experiencia internacional, las limitaciones más punzantes del sistema científico mexicano, la ponderación de elementos clave y, muy en especial, no retroceder en lo ya alcanzado.

 

Pie de página: Y pues sí, muy difícilmente podría ser de otro modo, el Comité Externo de Evaluación calificó el desempeño del CIDE durante el año 2021 como “poco satisfactorio”.