¿Es factible el PISA para el nivel superior?

Alejandro Canales

UNAM-IISUE/SES

canalesa@unam.mx Twitter: @canalesa99

“El estudio de factibilidad demostró lo que es y lo que podría ser factible, lo que funcionó bien y lo que no, asimismo proporcionó lecciones y una estimulante reflexión sobre cómo pueden ser medidos más efectivamente los logros de aprendizaje en el futuro”.

El párrafo anterior es una de las conclusiones sumarias del tercer y último reporte de la OCDE sobre la factibilidad de una evaluación internacional de competencias para el nivel superior. Los mismos términos de la conclusión estaban previstos desde que comenzó el estudio. Ahora está puesta en el volumen más reciente: Assessment of Higher Education Learning Outcomes (AHELO)-. Feasibility Study Report. Volume 3- Further Insights.

Es el proyecto AHELO (por sus siglas en inglés), al cual nos hemos referido aquí en diferentes ocasiones, prácticamente desde que se concibió como idea en el 2006. Precisamente al poco tiempo de que tomó posesión José Ángel Gurría, el actual secretario general del organismo económico.

Literalmente, el proyecto para el nivel superior era y es una tarea de grandes dimensiones. Una complejidad mucho mayor que la de PISA. Este último, como se sabe, está dirigido a evaluar la preparación de jóvenes de 15 años, la edad que, en la mayoría de países, coincide con la culminación de una relativamente homogénea enseñanza básica.

Por el contrario, el signo distintivo de la educación superior, tanto al interior de los sistemas nacionales como entre los países, es el de la diversidad y la heterogeneidad. Una diferenciación de segmentos, misiones, especialidades, áreas de conocimiento y otros.

Además, también habría que añadir las diferencias culturales y de contexto de los sistemas educativos. Por tanto, de inicio y a diferencia de las competencias en la educación básica, la tarea de intentar estandarizar desempeños y capacidades de los egresados del nivel superior a escala internacional parece un reto difícil de superar.

El grupo de expertos que trabajaron en el proyecto comenzaron en el 2007 a perfilar las líneas de trabajo y en el 2008 decidieron, por principio de cuentas, poner en marcha el estudio de factibilidad. El objetivo era ver si, práctica y científicamente, era posible evaluar, en diferentes contextos, lo que sabían los estudiantes de educación superior y lo que podían hacer una vez egresados.

Un estudio que involucró a 17 sistemas de educación superior (13 a nivel nacional y 4 con representación estatal o regional), 248 instituciones de educación superior, alrededor de 23 mil estudiantes y casi cinco mil profesores.

La evaluación de logros de aprendizaje se concentró en capacidades genéricas y capacidades disciplinares. Las primeras se refieren al tipo de habilidades que los estudiantes debieran adquirir en todas las materias; las segundas corresponden a las áreas de conocimiento específicas. El estudio de factibilidad solamente incluyó economía e ingeniería.

Los resultados se reportan en los tres volúmenes: el primero se concentra en detallar el diseño y puesta en marcha del estudio; el segundo en analizar los datos y reportar las diferentes experiencias nacionales; y el tercero para tratar de sintetizar algunos de los hallazgos más importantes.

Uno de los factores que fue motivo de atención y discusión por parte del grupo de expertos fue el análisis de valor agregado (AVA), lo que incluye la medida y los modelos de valor agregado. Esto es, el factor clave que permitiera estimar qué tanto contribuyó la institución o el programa, al progreso de sus alumnos cuando estuvieron matriculados, la cual permitiría contar con una base de comparación más aceptable.

El acuerdo del grupo de expertos fue que la implementación de un AVA “era factible en el contexto del estudio principal de AHELO, siempre y cuando las personas responsables de la gestión y las instituciones participantes estuvieran dispuestas a cumplir con las exigencias solicitadas” (p.22).

Pero, sobre todo, el grupo de expertos notó que había dificultades inherentes al utilizar un AVA en diferentes jurisdicciones, por tanto los principales usos de sus resultados tendrían que limitarse a auto estudios institucionales y entre programas de una misma jurisdicción. Una seria limitación de comparación.

Las opiniones recuperadas de la conferencia tampoco son contundentes respecto a la continuidad y los costos que implica el AHELO. Así que no está a la vista, en el corto plazo, la puesta en marcha de una evaluación estandarizada de los aprendizajes para el nivel superior, al menos no a gran escala.

(Publicado en Campus Milenio No. 533. Octubre 31,  2013, p. 4)