viernes, 17 de noviembre de 2023

Las fisuras de la evaluación de la investigación en… España

 

Alejandro Canales

UNAM-IISUE/PUEES

Twitter: @canalesa99

(Publicado en la versión digital de Campus Milenio No. 1021. Noviembre 16, 2023)

A nivel internacional, desde hace más de dos décadas, se emitieron las señales más visibles de que el sistema de evaluación de la actividad científica no podía seguir de la misma forma. Sin embargo, ese mismo sistema, con su estructura de incentivos, un gran volumen de recursos financieros y la participación de grandes consorcios editoriales, ha mostrado una notable capacidad de adaptación. No obstante, el sistema enseña sus costuras y hoy lo muestra la principal agencia de evaluación en España.

 

Desde hace dos o tres años han ocurrido de forma sucesiva diferentes escándalos en la prensa española sobre irregularidades en la publicación de trabajos científicos, sea porque los datos de la investigación son inventados, las afiliaciones institucionales difieren de la adscripción principal, por autorías que no corresponden o por francos plagios académicos. Todos ellos tienen en común el afán de publicar la mayor cantidad posible en revistas especializadas. Y sí, la frase hamletiana de “publicar o perecer” se convirtió en la bandera para navegar en las aparentes aguas mansas del mar científico.

 

El mes pasado, el diario El País tituló una de sus reportajes como “Una megafabrica de estudios científicos falsos salpica a un vicerrector español y a tres colaboradores”. El reportero Manuel Ansede daba cuenta de redes que operan para publicar estudios artificiales en números especiales de revistas reconocidas. Un servicio por el que los autores pagan entre dos mil y seis mil euros por publicar en acceso abierto. El medio son los números especiales de revistas reconocidas y ya no son excepcionales, se volvieron frecuentes e incluso esos ejemplares pueden publicarse varios al día (04.10.2023).

 

Las fisuras en ese sistema que impele a una alta y descontrolada acumulación de papers son cada vez más notables y no son recientes. El Congreso de Budapest en el año 2001, con su iniciativa de Acceso Abierto (Budapest Open Acces Initiative), marcó con mayor fuerza la posibilidad de un acceso abierto a las publicaciones académicas y científicas, dadas las tecnologías hoy disponibles que han superado las limitaciones del formato de papel impreso. También porque una buena parte de los productos de investigación son financiados con recursos públicos.

 

Desde el 2012, la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA, por sus siglas en inglés) advirtió las limitaciones en la forma de evaluación de la investigación científica. Recomendó enfáticamente no utilizar las métricas basadas en revistas, como el factor de impacto, e hizo una serie de recomendaciones dirigidas a las agencias financiadoras, las instituciones académicas, las revistas y los investigadores. A la fecha, se han adherido a esa declaración, más de 21 mil personas y más tres mil organizaciones en todo el mundo, muchas de ellas revistas especializadas. En México acumula más de medio millar de firmas, de ellas son 236 organizaciones, donde se incluyen revistas de casi todos los campos del conocimiento (DORA, 2023).

 

La Agencia Nacional de Evaluación de la Calidad y Acreditación (Aneca) de España también se adhirió a DORA en este año y a la Coalition for Advancing Research Assessment (CoARA). Esta última es una organización integrada el año pasado en Europa que también intenta una reforma de la evaluación de la investigación.

 

Por la misma razón no debe sorprender que la Aneca haya publicado el pasado 6 de noviembre el documento “Borrador de criterios de evaluación de la Convocatoria 2023 de Sexenios de investigación”. Un texto preliminar para el presente periodo de evaluación, sujeto a una consulta pública que finaliza este 19 de noviembre. La misma Agencia ha dicho que por primera vez sigue este procedimiento de consulta.

 

La Aneca es un organismo autónomo, instaurado en 2001, encargado de valorar, certificar y acreditar el sistema universitario español para adaptarlo al Espacio Europeo de Educación Superior y ahora se dispone a modificar sus normas de evaluación.

 

Algunos de los principales cambios que propone son: ampliar el tipo de aportaciones y los medios de difusión que se pueden someter a evaluación y que justifican la actividad de investigación; combinar métodos cualitativos y criterios de evaluación cuantitativos; favorecer el acceso abierto de los resultados de investigación, sea a través de publicaciones, datos o metodologias; y permitir la evaluación de investigación multidisciplinaria e interdisciplinaria a través de la instauración de un nuevo campo, que lo denomina “Campo 0 Interdisciplinar”.

 

En realidad, son cambios graduales, rellenos en las fisuras más evidentes del modelo vigente de evaluación de España y del mundo. No son grandes modificaciones ni tampoco significan un giro dramático. Pero es indudable que cada vez resulta más difícil ocultar las grietas y todo indica que llegó la hora de discutir y poner en marcha un nuevo modelo de evaluación.

 

Pie de página: Los diputados aprobaron el Presupuesto de Egresos de la Federación y no hay novedad en el ramo 38, el ramo destinado a ciencia y tecnología. Aquí lo veremos.// El tema de la Inteligencia Artificial sigue ausente en las políticas públicas, pero los diputados se aprestan a sancionar su utilización con una reforma al código penal. También lo veremos aquí.

sábado, 11 de noviembre de 2023

ASF: Conahcyt incumple sus políticas

 

Alejandro Canales

UNAM-IISUE/PUEES

Twitter: @canalesa99

 

(Publicado en Campus Milenio No. 1020. Noviembre 10, 2023. Pág. 4)

 

Las notas periodísticas sobre el reciente informe de la Auditoría Superior de la Federación (ASF) han enfatizado las fallas que ha tenido el Conahcyt en la operación del Sistema Nacional de Investigadores (SNI), uno de sus programas emblemáticos. Sin embargo, es igual o más relevante lo que indica el mismo informe sobre el incumplimiento del organismo en materia de políticas para el sector.

 

La ASF es la instancia que se encarga de fiscalizar el uso de los recursos públicos por parte de los Poderes de la Unión y de todos los entes públicos. Los resultados de sus auditorías son uno de los pocos mecanismos que tienen tanto legisladores como ciudadanos para conocer el desempeño gubernamental y transparentar el ejercicio de los recursos. Además, la Constitución dice que sus informes deben ser públicos e incluir, como mínimo, el dictamen correspondiente y un apartado de observaciones.

 

Aunque, también es cierto, con relativa frecuencia los informes de la ASF son ininteligibles y no reflejan la complejidad de las tareas de la administración pública, porque se ciñen sin más a un rígido esquema de contraste entre indicadores y resultados. De todas formas, sus entregas individuales son esperadas al final de los meses de junio y octubre de cada año, para determinar cómo salieron las entidades en sus auditorías y, de ser el caso, qué tipo de observaciones les hicieron.

 

El reciente Informe de Resultados de la Fiscalización Superior de la Cuenta Pública del año 2022, publicado la semana pasada, incluye dos auditorías individuales para dos programas del organismo rector de las políticas científicas y tecnológicas. Una de ellas es sobre el SNI y otra sobre el diseño, ejecución y evaluación de las políticas. Este último es un programa que tenía aprobado un monto de casi 1 mil 800 millones de pesos para mejorar el desempeño del sector (programa P001). No obstante, el Conahcyt ejerció 6.5 por ciento menos de lo que tenía aprobado para ese programa y sus políticas no se corresponden con lo previsto.

 

Por ejemplo, se lee en el dictamen de la ASF que el Programa Especial de Ciencia, Tecnología e Innovación, el Peciti, se publicó “con 23 meses de retraso respecto de lo señalado en la normativa” (pág. 119). O sea, fueron casi dos años después de cuando debió estar listo y al presentarse no hubo justificación alguna o explicación al respecto. Simple y llanamente apareció como si nada; tampoco hubo ninguna consecuencia. Y sí, en este mismo lugar insistimos una y otra vez sobre esa omisión.

 

Sigue el dictamen con otra falta del Conahcyt: “no publicó el Plan Nacional para la Innovación” (PNI). En efecto, también lo hicimos notar en febrero de este año (Campus Milenio No. 984) y de nueva cuenta en septiembre. Lo sorprendente es que una vez más tampoco hubo ni hay explicación, a pesar de que se trata de una de las dos únicas acciones que se estableció el sui géneris Plan Nacional de Desarrollo de esta administración. Al inicio de este año el organismo remitió un proyecto de PNI a la Comisión Nacional de Mejora Regulatoria; no obstante, a la fecha no hay nada.

 

Por supuesto, si no hay un Plan Nacional para la Innovación, tampoco existen, como destaca el dictamen, los “comités intersectoriales y de vinculación para atender la articulación de políticas, la propuesta de programas prioritarios y áreas estratégicas” (pág. 120).

 

El organismo, continúa el dictamen, “no dispuso de información sobre la solicitud de asesorías para la mejora de la MIR (Matriz de Indicadores para Resultados) de los programas presupuestarios solicitadas en el año; no acreditó la relación entre la detección de necesidades de diseño con las asesorías proporcionadas”. Mal por donde se le vea.

 

Otra omisión se refiere a la no publicación del “Informe General del Estado de la Ciencia, la Tecnología y la Innovación”. El dictamen puntualiza que no acreditó la publicación para el año 2022, pero en realidad, como también lo hemos comentado en este Acelerador de Partículas, tampoco está el del año 2021. O sea, dos años de retraso y pronto serán tres.

 

Por último, el dictamen anota: “y no atendió con los indicadores de sus MIR todas las causas de sus programas, por lo que no se determinó en qué medida el Conahcyt contribuyó en mejorar el desempeño de sus programas presupuestarios”. Todavía peor.

 

En fin, todavía falta conocer qué dice o cómo resuelve las observaciones el organismo rector de las políticas científicas y tecnológicas. Lo indudable es que ha incumplido su función principal: diseñar, ejecutar y evaluar sus políticas. Nada menos. Ya ni hablar del SNI.

 

Pie de página: Un Tribunal Colegiado en Materia Penal ordenó archivar las investigaciones en contra de científicos y exfuncionarios del entonces Conacyt porque los hechos no son constitutivos de delito, pero la FGR insiste en mantener abierta la carpeta de investigación. // Las instalaciones del CIDE de Aguascalientes estarán destinadas a otra causa. Pendientes.

viernes, 3 de noviembre de 2023

Gobernar a la Inteligencia Artificial: ¿debería ser el Conahcyt?

 

Alejandro Canales

UNAM-IISUE/PUEES

@canalesa99

 

(Publicado en la versión digital de Campus Milenio No. 1019. Noviembre 2, 2023)

La discusión e inquietud sobre la Inteligencia Artificial (IA) no es reciente, pero adquirió otra dimensión desde el final del año pasado, cuando la compañía Open AI puso a disposición pública el ahora famoso ChatGPT. Una herramienta de IA generativa que asombró por las tareas que podía realizar en la solución de problemas, elaboración de textos o creación de imágenes.

 

El tema sigue causando arrebatos a nivel global, como lo indicamos en su momento en este mismo lugar (Campus Milenio No. 983). Pero en este año han aparecido, de forma vertiginosa, otras compañías, otras herramientas y también muchas otras posibilidades de áreas de aplicación de la IA, tantas que se llega a especular sobre el desplazamiento de las personas por rama de actividad. Los límites de las oportunidades y los riesgos están por trazarse.

 

En el ámbito científico y académico se intentan colocar las primeras demarcaciones, aunque las fronteras son muy inestables de cómo utilizar la herramienta sin abrir la puerta al engaño, el fraude o a la inseguridad. Los gobiernos nacionales tampoco tienen una ruta para gobernar a la IA. La preocupación es que todo se descontrole y ocurra algo peor de lo que pasa con las redes sociales.

 

Tal parece que va ganando la idea de que se trata de un tema que demanda la cooperación internacional y debe discutirse a nivel global. El foro del G7 con su denominado Proceso de Hiroshima plantea un código de conducta para los desarrolladores de IA (aquí se puede ver su declaración: t.ly/ZSPNM), la Cumbre del Reino Unido sobre seguridad de IA intenta precisar los riesgos que ya se vislumbran (aquí: t.ly/ArqYb), la de la India o la de otros organismos multilaterales, son ejemplos de los primeros esfuerzos.

 

Sin embargo, ningún país había dado el primer paso para intentar establecer una norma nacional sobre la IA, hasta que este lunes 30 de octubre el presidente estadounidense, Joe Biden, emitió un decreto de Seguridad, Protección y Confianza sobre IA para marcar la pauta sobre el tema.

 

El decreto incluye ocho rubros: nuevos estándares para la seguridad de la IA; protección a la privacidad de los estadounidenses; equidad y derechos civiles; defensa de los consumidores, pacientes y estudiantes; respaldo a los trabajadores; promoción de la innovación y la competencia; impulso al liderazgo norteamericano en el mundo; y uso gubernamental responsable y eficaz de la IA. En cada uno se anotan varias acciones (Hoja Informativa: 30.10.2023).

 

Un periódico español destacó que Joe Biden apeló a una ley de tiempos de guerra para emitir su decreto porque se considera una norma de emergencia, misma que se utiliza “en casos excepcionales, tales como el reclutamiento de tropas, o para movilizar recursos durante la pandemia. Con el nuevo decreto, Estados Unidos se convierte en el primer país en regular sobre el tema” (El País 30.10.2023).

 

Las acciones que se incluyen en la norma estadounidense enfatizan la seguridad y la confianza que debe instaurarse para utilizar las herramientas de IA, como el desarrollo de estándares y pruebas antes de que estén a disposición pública. También considera la creación de entidades y el desempeño de otras existentes, como la de Seguridad, Comercio, Energía o una Red de Coordinación de Investigación o la National Science Foundation para indagar y desarrollar tecnologías de vanguardia de preservación de la privacidad.

 

La actuación de entidades que manejan y operan con conocimientos especializados está fuera de duda en el tema de la IA y no solamente es el caso de los Estados Unidos. Por ejemplo, la agenda de la cumbre sobre seguridad de IA en el Reino Unido la lleva la Secretaría de Estado de Ciencia, Innovación y Tecnología del gobierno británico.

 

El tema de la IA en México también comenzó a tomar fuerza, principalmente en las instituciones de educación superior. La UNAM, por ejemplo, instaló un grupo de expertos para analizar el problema y elaborar propuestas (Gaceta 28.08.2023). El grupo ya publicó un primer documento de uso de la IA en el terreno edcuativo (Aquí lo puede descargar: t.ly/hai6d)

 

A su vez, el diputado Jaime Bueno Zertuche, del Grupo Parlamentario del PRI, al inicio del mes pasado, presentó una iniciativa de ley para crear la Agencia Mexicana para el Desarrollo de la Inteligencia Artificial (Gaceta Parlamentaria 11.10.2023). La Agencia, propone el diputado, debe ser instaurada como un organismo descentralizado y dependiente directamente del ejecutivo federal. El proyecto de ley todavía no se discute y no hay ninguna certeza de si pasará al pleno, pero registrado está.

 

Lo soprendente es que el principal organismo de política científica y tecnológica en México, el Conahcyt, no ha dicho nada. No encabeza los esfuerzos de discusión pública sobre la IA y menos la agenda para el desarrollo y uso de la IA. El tema, cuando más, ha sido objeto de un par de conferencias generales por parte del organismo.

 

El actual periodo de gobierno ya ingresó a la cuenta regresiva y, además, tenemos el desastre que dejo el huracán en Acapulco al que habrá dedicarle recursos financieros por cuantificar. No obstante, eso no debería ser un impedimento para abordar otros asuntos emergentes que también demandan atención prioritaria.

 

Sin duda habría que poner en la lista a la IA y el organismo indicado para encargarse de la tarea debería ser el Conahcyt. Sin embargo, el tema no forma parte de las líneas estratégicas del organismo, tampoco se lo ha instruido el presidente López Obrador y no se ve ningún pronunciamiento en el Congreso.

 

Pie de página: La semana pasada se publicaron los resultados de la convocatoria más reciente del Sistema Nacional de Investigadores y, para no variar en este periodo, la controversia es inocultable, ahora por el inesperado y rápido ascenso de nivel de la doctora Beatriz Gutiérrez Müller, cuando el nuevo reglamento había establecido un periodo de 10 años o trayectoria equivalente.// Ahí viene el nombramiento de nuevo rector en la UNAM y la institución se cimbrará.