¿Evaluación sofisticada de las revistas científicas?

 

 

Alejandro Canales

UNAM-IISUE/SES

canalesa@unam.mx Twitter: @canalesa99

En los años noventa comenzó el desatado delirio por la evaluación como instrumento principal de la política pública. Hoy, casi un cuarto de siglo después, persiste y cada vez alcanza mayores proporciones. Las revistas científicas nacionales no han escapado a las medidas de regulación.

 

 

Sin embargo, a diferencia del despliegue público sobre la evaluación del desempeño individual, el de programas o el institucional, los cuales desde un inicio suscitaron, y siguen generando, reacciones encontradas, la evaluación de las revistas transita por un circuito más pequeño y acotado, pero con gran efecto sobre el conjunto del sistema científico y tecnológico. Ahora, como ocurre en otros terrenos de la evaluación, comienza a mostrar su agotamiento.

 

 

En el periodo de Fausto Alzati (1991-1994) se publicó la primera convocatoria para integrar el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica (IREMICYT), aunque el entonces titular de Conacyt es mayormente recordado por sus incidentes mediáticos.

 

 

Un índice se elabora agregando diferentes variables que supone son parte de un mismo fenómeno y, al añadirlas, se les otorga un peso relativo, respecto de las demás, para sumar todos los efectos. No obstante, como el mismo Conacyt reconoció desde el comienzo, no intentaba crear un índice propiamente, como el Science Citation Index, ni hacerle frente a ese u otros similares; más bien intentaba diferenciar y seleccionar algunas revistas del conjunto existente en el país.

 

 

Según los principios que se enumeraron, la creación del IREMICYT buscaba: determinar cuáles revistas podían ser financiadas con base en criterios académicos; una jerarquización para el otorgamiento de los recursos financieros; constituir una referencia cualitativa para que los investigadores supieran donde publicar sus trabajos; y una forma objetiva de facilitar la evaluación de los patrones de publicación del personal académico.

 

 

El caso es que el IREMICYT, al comienzo, solamente utilizó dos grandes componentes para valorar la inclusión o no de las revistas: la calidad de su contenido, así como el formato y características de la revista. El primero centrado en verificar si los artículos publicados eran resultados de investigación y si la publicación estaba respaldada por un consejo editorial. A su vez este último debía estar integrado por investigadores reconocidos, de diferentes instituciones y, sobre todo, evitar que el director de la institución patrocinadora fuera ex oficio el director de la revista.

 

 

Los aspectos relacionados con el formato debían observar diferentes principios. Por ejemplo, contar con una antigüedad de por lo menos tres años, una periodicidad semestral mínima, los artículos con fechas claras de recepción y aceptación, datos de identificación institucional de los autores, entre otros.

 

 

Los datos se mueven continuamente pero se supone que existen en México cerca de dos millares de revistas y desde la primera convocatoria se presentan más de un centenar. Del total de solicitudes,  poco más de la mitad son aceptadas y sistemáticamente, cada convocatoria, el número disminuía. En el año más reciente suman 120 revistas aceptadas; más de la mitad son de humanidades y de ciencias sociales, lo cual se considera que no necesariamente es positivo.

 

 

Al comienzo, el Índice mostró cierta efectividad para regular y discriminar el panorama de las revistas. Pero, como también ocurrió en otros ámbitos, los mecanismos de evaluación paulatinamente se extraviaron, al añadir más y más elementos de evaluación, integrando un sistema minucioso y sofisticado, pero demencial y poco útil.

 

 

Por ejemplo, los criterios generales de evaluación de la convocatoria más reciente, solicita: “Entregar lista de árbitros activos durante el periodo de evaluación de la revista, incluyendo las tres últimas citas de los trabajos publicados por cada árbitro”. Una barbaridad que solamente puede imaginar alguien que desconozca el volumen y flujo de árbitros, dictámenes y artículos que circulan en una revista, tanto como el tiempo que se debe invertir para encontrar las citas de una sola persona.

 

 

En el transcurso de las últimas dos décadas hemos edificado un complejo, variable, sofisticado y costosísimo sistema de evaluación de actividades y personas. Desmontarlo es muy complicado, pero será peor persistir. Llegó el punto de retorno: conservar la rendición de cuentas y volver a un sistema más sencillo, basado en la confianza y la mejora.

 

 

(Publicado en Campus Milenio No. 586. Noviembre 27, 2014, p.5)