¿Es factible el PISA para el nivel superior?
Alejandro Canales
UNAM-IISUE/SES
canalesa@unam.mx
Twitter: @canalesa99
“El estudio de
factibilidad demostró lo que es y lo que podría ser factible, lo que funcionó
bien y lo que no, asimismo proporcionó lecciones y una estimulante reflexión
sobre cómo pueden ser medidos más efectivamente los logros de aprendizaje en el
futuro”.
El párrafo
anterior es una de las conclusiones sumarias del tercer y último reporte de la
OCDE sobre la factibilidad de una evaluación internacional de competencias para
el nivel superior. Los mismos términos de la conclusión estaban previstos desde
que comenzó el estudio. Ahora
está puesta en el volumen más reciente: Assessment of
Higher Education Learning Outcomes (AHELO)-. Feasibility Study
Report. Volume 3- Further Insights.
Es el proyecto AHELO (por sus siglas en inglés), al cual nos hemos
referido aquí en diferentes ocasiones, prácticamente desde que se concibió como
idea en el 2006. Precisamente al poco tiempo de que tomó posesión José Ángel
Gurría, el actual secretario general del organismo económico.
Literalmente, el proyecto para el nivel superior era y es una tarea de
grandes dimensiones. Una complejidad mucho mayor que la de PISA. Este último,
como se sabe, está dirigido a evaluar la preparación de jóvenes de 15 años, la
edad que, en la mayoría de países, coincide con la culminación de una
relativamente homogénea enseñanza básica.
Por el contrario, el signo distintivo de la educación superior, tanto al
interior de los sistemas nacionales como entre los países, es el de la
diversidad y la heterogeneidad. Una diferenciación de segmentos, misiones,
especialidades, áreas de conocimiento y otros.
Además, también habría que añadir las diferencias culturales y de
contexto de los sistemas educativos. Por tanto, de inicio y a diferencia de las
competencias en la educación básica, la tarea de intentar estandarizar
desempeños y capacidades de los egresados del nivel superior a escala
internacional parece un reto difícil de superar.
El grupo de expertos que trabajaron en el proyecto comenzaron en el 2007
a perfilar las líneas de trabajo y en el 2008 decidieron, por principio de
cuentas, poner en marcha el estudio de factibilidad. El objetivo era ver si,
práctica y científicamente, era posible evaluar, en diferentes contextos, lo
que sabían los estudiantes de educación superior y lo que podían hacer una vez
egresados.
Un estudio que involucró a 17 sistemas de educación superior (13 a nivel
nacional y 4 con representación estatal o regional), 248 instituciones de
educación superior, alrededor de 23 mil estudiantes y casi cinco mil profesores.
La evaluación
de logros de aprendizaje se concentró en capacidades genéricas y capacidades
disciplinares. Las primeras se refieren al tipo de habilidades que
los estudiantes debieran adquirir en todas las materias; las segundas
corresponden a las áreas de conocimiento específicas. El estudio de
factibilidad solamente incluyó economía e ingeniería.
Los resultados se reportan en los tres volúmenes: el primero se concentra
en detallar el diseño y puesta en marcha del estudio; el segundo en analizar
los datos y reportar las diferentes experiencias nacionales; y el tercero para
tratar de sintetizar algunos de los hallazgos más importantes.
Uno de los factores que fue motivo de atención y discusión por parte del
grupo de expertos fue el análisis de valor agregado (AVA), lo que incluye la
medida y los modelos de valor agregado. Esto es, el factor clave que permitiera
estimar qué tanto contribuyó la institución o el programa, al progreso de sus alumnos
cuando estuvieron matriculados, la cual permitiría contar con una base de
comparación más aceptable.
El acuerdo del grupo de expertos fue que la implementación de un AVA “era
factible en el contexto del estudio principal de AHELO, siempre y cuando las
personas responsables de la gestión y las instituciones participantes estuvieran
dispuestas a cumplir con las exigencias solicitadas” (p.22).
Pero, sobre todo, el grupo de expertos notó que había dificultades
inherentes al utilizar un AVA en diferentes jurisdicciones, por tanto los
principales usos de sus resultados tendrían que limitarse a auto estudios
institucionales y entre programas de una misma jurisdicción. Una seria
limitación de comparación.
Las opiniones recuperadas de la conferencia tampoco son contundentes
respecto a la continuidad y los costos que implica el AHELO. Así que no está a
la vista, en el corto plazo, la puesta en marcha de una evaluación
estandarizada de los aprendizajes para el nivel superior, al menos no a gran
escala.
(Publicado
en Campus Milenio No. 533. Octubre 31, 2013, p. 4)
