El programa de Evaluación Nacional de Logro Académico en Centros Escolares, mejor conocido como la prueba “ENLACE”, pese a las críticas que ha merecido prácticamente desde su primera aplicación en el 2006 y todavía más con su posterior expansión, se ha convertido en un elemento de referencia para valorar el desempeño de escuelas y alumnos. Vale la pena hacer algunas puntualizaciones sobre su recorrido como iniciativa e ilustrar sus resultados en la educación media superior a nivel nacional y también en lo que concierne a Coahuila.
ENLACE es una de las llamadas pruebas a gran escala, censal, estandarizada, que se aplica a una gran cantidad de estudiantes de planteles públicos y privados del sistema educativo nacional. En la educación básica mide los conocimientos y habilidades que están definidos en los planes y programas de estudio, por lo que para ese nivel se dice que está alineada al currículo, lo que no es el caso de la misma prueba para educación media superior. A diferencia de otras evaluaciones, como PISA de nivel internacional que se aplica a jóvenes de 15 años, independientemente del grado y la modalidad escolar en que estén inscritos, ENLACE valora qué tanto han adquirido niños y jóvenes los contenidos escolares, según el grado que corresponda, aunque obviamente no solo medirá lo que aprendió en la escuela, puesto que no se pueden separar los incentivos y estímulos del contexto de aprendizaje en el que también se desarrollan los estudiantes.
En el año 2006, el último de la administración anterior, la prueba Enlace se aplicó por primera vez a niños de tercero a sexto de primaria y a los de tercero de secundaria. Inicialmente, el propósito declarado de la prueba era contar con algunos elementos de diagnóstico más precisos de los niveles de aprendizaje en las asignaturas de matemáticas y español de la educación básica. La publicación de los resultados en octubre de 2006 ordenaba de forma errónea, según el puntaje alcanzado, tanto a los alumnos como a los planteles, lo que motivó comparaciones e intentos de enlistar de las mejores a las peores escuelas. La discusión sobre estos listados (rankings) continúa hasta el presente y uno de los principales argumentos de crítica es que la base de estas valoraciones es Enlace, cuyo diseño no tenía como propósito realizar estos ordenamientos. Un principio básico en evaluación es que debe estar claro cuál es la finalidad que se persigue, porque de ello depende el tipo de instrumento que se utiliza y no se puede diseñar un instrumento para un propósito y utilizarlo para otro distinto. No tiene validez. Por la parte de quienes se inclinan por realizar los ordenamientos, sin reparar en los procedimientos de evaluación, su punto fuerte es que los padres tiene derecho a saber qué calidad tiene la escuela a la que asisten sus hijos, y complementan con la idea de que la difusión de tales resultados obliga a mejorar a quienes ocupan posiciones poco favorables y a esforzarse más a quienes están a la cabeza de las listas. Técnicamente los argumentos pueden estar de un lado, pero la polémica persiste y en buena medida terminan utilizándose para diferentes propósitos los ordenamientos.
El asunto es que con el cambio de administración y la difusión de los resultados de la primera versión de ENLACE, la prueba se tornó en una de las principales iniciativas de las actuales autoridades educativas y rápidamente se pasó a la idea de expandirla a otras asignaturas, a incluir todos los grados de secundaria y el último grado de la educación media superior. Una auténtica prueba censal. El tema del ordenamiento de las escuelas, al menos para los resultados de la segunda versión, fue tomado con reserva y mayor precaución por parte de las autoridades educativas, dado que no incluyó un listado de escuelas por puntaje. Sin embargo, principalmente algunos medios impresos y grupos organizados, como Mexicanos Primero, comenzaron a presionar mediáticamente para que la SEP difundiera el ordenamiento de las escuelas. Al final, la SEP cedió a tales demandas y permitió que en el sitio web del programa ENLACE se pudiera realizar un listado por puntajes de escuelas y alumnos participantes en la prueba.
A partir del 2007, como ya lo indicamos, ENLACE se ha ido ajustando y expandiendo a otras asignaturas y niveles. Pese a las reiteradas advertencias sobre la invalidez de los ordenamientos y de realizar comparaciones de los resultados en cada una de las aplicaciones de la prueba, dado que técnicamente no son comparables por los ajustes en los contenidos evaluados en cada ciclo escolar o por la inclusión de otros grados escolares, lo cierto es que el cotejo entre escuelas y su ranqueo son el principal uso que se le asigna. Adicionalmente, la idea del año pasado de incentivar económicamente a los profesores que lograsen mejorar el desempeño de sus alumnos en la prueba ENLACE, fue otro factor de distorsión en la valoración buscada, un tanto porque, nuevamente, se utiliza un instrumento de evaluación para una finalidad que no estaba prevista en su diseño y otro tanto porque coloca un estructura de incentivos en donde el profesor estará preocupado por enseñar para elevar el puntaje en la prueba, no por el aprendizaje o aprovechamiento escolar de los niños y jóvenes.
La situación de ENLACE en la educación media superior es ligeramente diferente. En el breve programa sectorial de esta administración, el componente de evaluación forma parte de lo que denominó temas transversales y ahí incluyó su intención de aplicar la prueba ENLACE en la educación media superior. En realidad, cuando fue público el programa educativo y dado que la idea de extender la evaluación a la media superior corrió paralela al diseño de la reforma de ese nivel y también a los cuestionamientos técnicos hacia la prueba en la educación básica, parecía que presentaría problemas similares a la prueba y operación en el nivel elemental. La primera aplicación de la prueba fue en 2008.
ENLACE para la media superior, a diferencia de su similar para básica, no está alineada al currículo. Esto es, no evalúa contenidos escolares específicos, sino que, al igual que la prueba PISA de la OCDE, intenta medir las capacidades de los jóvenes para poner en práctica sus conocimientos y habilidades adquiridas en su trayectoria escolar, independientemente de los contenidos escolares del tercer grado de una u otra de las modalidades educativas del nivel. Distingue cuatro niveles de logro educativo: insuficiente; elemental, bueno y excelente, tanto para la habilidad lectora como para la habilidad matemática.
La prueba consta de 140 reactivos: 90 para matemáticas y 50 para habilidades lectoras. En el primer caso, explora los procesos de reproducción, conexión y reflexión en los contenidos del conocimiento matemático, tales como cantidad, espacio y forma, cambios y relaciones, y matemáticas básicas. En el segundo, se evalúan los procesos de extracción e interpretación y reflexión en cuatro diferentes tipos de texto. Veamos los resultados en el caso de Coahuila.
Coahuila
Una de las tres entidades federativas del norte de la República Mexicana con mayor extensión territorial, ocupa el tercer lugar a nivel nacional (después de Chihuahua y Sonora). Su población tiene un promedio de escolaridad relativamente alto (segundo de secundaria) y un bajo índice de analfabetismo de 2.4 por ciento, relativamente similar al de Baja California, Nuevo León y el Distrito Federal.
En lo que concierne a los resultados generales en educación media superior, los que obtuvieron los alumnos del tercer grado de este nivel de Coahuila, son muy similares al promedio nacional. Por ejemplo, como ya habíamos indicado, existen cuatro niveles de logro. Un nivel insuficiente en la habilidad lectora, el más bajo, quiere decir que los alumnos solamente son capaces de identificar elementos explícitos en un texto y realizar inferencias sencillas del mismo. En este nivel se ubicaron en el 2009, un total de 16.9 por ciento del total de alumnos que presentaron la prueba y el porcentaje era idéntico a nivel nacional. No obstante, lo que llama la atención es que en Coahuila, respecto a los que había en este nivel el 2008, aumentó dos puntos porcentuales la cifra de estos jóvenes y a nivel nacional aumentó 4 puntos porcentuales. Es decir, en la entidad se incrementó ligeramente el número de jóvenes que se ubicaron en el nivel de logro más bajo y a nivel nacional el incremento fue todavía mayor.
En el otro extremo, en el nivel de excelencia, donde se supone que los jóvenes son capaces de realizar inferencias complejas de un texto, establecen relaciones en la información de lo que leen, el porcentaje para el 2009 de jóvenes en esta condición en Coahuila fue de 8.4 por ciento y a nivel nacional de 7.2 por ciento. En ambos casos, se incrementó muy ligeramente, menos de un punto porcentual respecto del 2008.
Como cabría esperar relativamente, la mayor parte de jóvenes se ubican en un nivel de logro “elemental” (solamente llegan a ubicar e integrar diferentes partes de un texto e inferir el significado de algunas y palabras) y “bueno” (comprenden y sintetizan un texto). En el caso de Coahuila, en el primero se concentran 33.2 por ciento y en el segundo 41.4 por ciento. A nivel nacional, las cifras son 33.1 y 42.6, respectivamente. Proporciones relativamente similares. Aunque también cabe destacar que tanto en la entidad como nacionalmente, los promedios disminuyeron entre dos y tres puntos porcentuales, en comparación con las cifras del 2008.
Los niveles de logro son menores en el caso de las habilidades matemáticas. En el 2009 el porcentaje de jóvenes que se ubican en el nivel insuficiente es de 45.8 por ciento en los de Coahuila (a nivel nacional es de 46.1 por ciento), casi la mitad del total. Los de nivel elemental son 35.2 por ciento, los que están en la categoría de bueno son 13.8 por ciento y 3.8 por ciento en excelente. Cifras muy similares a las de nivel nacional.
Si ahora vemos los niveles de logro por modalidad educativa de la educación media superior, son de notar algunas pequeñas diferencias. El bachillerato general tiene las mejores cifras. En Coahuila, en el 2009, en habilidades lectoras: 13.7 por ciento de jóvenes están en el nivel de insuficiente (el nacional es de 16.7); 29.2 por ciento en elemental (nacional 31.8); 44.2 por ciento (nacional 43.3); y 12.8 por ciento en excelente (nacional 8.2). Aunque, respecto del 2008, las cifras tampoco son mejores; salvo los jóvenes que se ubican en el nivel de excelente que avanzaron un par de puntos porcentuales, en el resto más bien disminuyeron.
El bachillerato tecnológico, en comparación con el general, tiene un mayor porcentaje de jóvenes con habilidades lectoras insuficientes: 20 por ciento en Coahuila y 17.5 por ciento a nivel nacional para el 2009. Y, por el contrario, menos en la categoría de excelentes: 4.7 y 6.1 por ciento, respectivamente. Los de la modalidad técnica tienen un porcentaje menor en el nivel de insuficiente (18.6 por ciento), lo que es positivo, pero también tienen el porcentaje más bajo en la categoría de excelente (3.7 por ciento en el estado y 4.1 por ciento nacionalmente).
En general, las cifras son más desalentadoras para las habilidades matemáticas en todas las modalidades, porque poco menos de la mitad, y en los técnicos es justamente la mitad, está ubicado en el nivel de insuficiente y son porcentajes muy bajos los que están en el nivel de excelente, particularmente para los técnicos (1.9 por ciento en Coahuila y 2.4 a nivel nacional).
En lo que se refiere a la dimensión público-privado de los planteles escolares, las cifras son ligeramente mejores para los de sostenimiento privado. Por ejemplo, en Coahuila para el 2009, el porcentaje de jóvenes ubicados en planteles públicos con un nivel de insuficiente en habilidades lectoras es de 18 por ciento; mientras que en los planteles privados es de 14.9 por ciento, casi tres puntos porcentuales menos. Los de nivel elemental en público suman 35.6 por ciento, los de bueno 40.9 por ciento y los de nivel excelente 5.5 por ciento. En comparación, los de planteles privados, en el nivel elemental suman 28.6 por ciento, los de bueno 42.5 por ciento y los de excelente 14 por ciento. Esto es, los planteles privados tienen un menor número de jóvenes en el nivel indeseable y más en el de mayor importancia.
La situación es relativamente similar con los porcentajes de logro para las habilidades matemáticas y también en la comparación a nivel nacional. En términos generales, lo que se puede apreciar con algunos de los datos de la prueba, es que los datos de la entidad no difieren del promedio nacional y que se aprecian más o menos las mismas diferencias por modalidades educativas y sostenimiento de los planteles escolares. Pero tal vez lo más importante es que se debe tener presente cuál es el propósito de ENLACE y no tratar de utilizarla para valorar algo para la que no fue diseñada.
ENLACE es una de las llamadas pruebas a gran escala, censal, estandarizada, que se aplica a una gran cantidad de estudiantes de planteles públicos y privados del sistema educativo nacional. En la educación básica mide los conocimientos y habilidades que están definidos en los planes y programas de estudio, por lo que para ese nivel se dice que está alineada al currículo, lo que no es el caso de la misma prueba para educación media superior. A diferencia de otras evaluaciones, como PISA de nivel internacional que se aplica a jóvenes de 15 años, independientemente del grado y la modalidad escolar en que estén inscritos, ENLACE valora qué tanto han adquirido niños y jóvenes los contenidos escolares, según el grado que corresponda, aunque obviamente no solo medirá lo que aprendió en la escuela, puesto que no se pueden separar los incentivos y estímulos del contexto de aprendizaje en el que también se desarrollan los estudiantes.
En el año 2006, el último de la administración anterior, la prueba Enlace se aplicó por primera vez a niños de tercero a sexto de primaria y a los de tercero de secundaria. Inicialmente, el propósito declarado de la prueba era contar con algunos elementos de diagnóstico más precisos de los niveles de aprendizaje en las asignaturas de matemáticas y español de la educación básica. La publicación de los resultados en octubre de 2006 ordenaba de forma errónea, según el puntaje alcanzado, tanto a los alumnos como a los planteles, lo que motivó comparaciones e intentos de enlistar de las mejores a las peores escuelas. La discusión sobre estos listados (rankings) continúa hasta el presente y uno de los principales argumentos de crítica es que la base de estas valoraciones es Enlace, cuyo diseño no tenía como propósito realizar estos ordenamientos. Un principio básico en evaluación es que debe estar claro cuál es la finalidad que se persigue, porque de ello depende el tipo de instrumento que se utiliza y no se puede diseñar un instrumento para un propósito y utilizarlo para otro distinto. No tiene validez. Por la parte de quienes se inclinan por realizar los ordenamientos, sin reparar en los procedimientos de evaluación, su punto fuerte es que los padres tiene derecho a saber qué calidad tiene la escuela a la que asisten sus hijos, y complementan con la idea de que la difusión de tales resultados obliga a mejorar a quienes ocupan posiciones poco favorables y a esforzarse más a quienes están a la cabeza de las listas. Técnicamente los argumentos pueden estar de un lado, pero la polémica persiste y en buena medida terminan utilizándose para diferentes propósitos los ordenamientos.
El asunto es que con el cambio de administración y la difusión de los resultados de la primera versión de ENLACE, la prueba se tornó en una de las principales iniciativas de las actuales autoridades educativas y rápidamente se pasó a la idea de expandirla a otras asignaturas, a incluir todos los grados de secundaria y el último grado de la educación media superior. Una auténtica prueba censal. El tema del ordenamiento de las escuelas, al menos para los resultados de la segunda versión, fue tomado con reserva y mayor precaución por parte de las autoridades educativas, dado que no incluyó un listado de escuelas por puntaje. Sin embargo, principalmente algunos medios impresos y grupos organizados, como Mexicanos Primero, comenzaron a presionar mediáticamente para que la SEP difundiera el ordenamiento de las escuelas. Al final, la SEP cedió a tales demandas y permitió que en el sitio web del programa ENLACE se pudiera realizar un listado por puntajes de escuelas y alumnos participantes en la prueba.
A partir del 2007, como ya lo indicamos, ENLACE se ha ido ajustando y expandiendo a otras asignaturas y niveles. Pese a las reiteradas advertencias sobre la invalidez de los ordenamientos y de realizar comparaciones de los resultados en cada una de las aplicaciones de la prueba, dado que técnicamente no son comparables por los ajustes en los contenidos evaluados en cada ciclo escolar o por la inclusión de otros grados escolares, lo cierto es que el cotejo entre escuelas y su ranqueo son el principal uso que se le asigna. Adicionalmente, la idea del año pasado de incentivar económicamente a los profesores que lograsen mejorar el desempeño de sus alumnos en la prueba ENLACE, fue otro factor de distorsión en la valoración buscada, un tanto porque, nuevamente, se utiliza un instrumento de evaluación para una finalidad que no estaba prevista en su diseño y otro tanto porque coloca un estructura de incentivos en donde el profesor estará preocupado por enseñar para elevar el puntaje en la prueba, no por el aprendizaje o aprovechamiento escolar de los niños y jóvenes.
La situación de ENLACE en la educación media superior es ligeramente diferente. En el breve programa sectorial de esta administración, el componente de evaluación forma parte de lo que denominó temas transversales y ahí incluyó su intención de aplicar la prueba ENLACE en la educación media superior. En realidad, cuando fue público el programa educativo y dado que la idea de extender la evaluación a la media superior corrió paralela al diseño de la reforma de ese nivel y también a los cuestionamientos técnicos hacia la prueba en la educación básica, parecía que presentaría problemas similares a la prueba y operación en el nivel elemental. La primera aplicación de la prueba fue en 2008.
ENLACE para la media superior, a diferencia de su similar para básica, no está alineada al currículo. Esto es, no evalúa contenidos escolares específicos, sino que, al igual que la prueba PISA de la OCDE, intenta medir las capacidades de los jóvenes para poner en práctica sus conocimientos y habilidades adquiridas en su trayectoria escolar, independientemente de los contenidos escolares del tercer grado de una u otra de las modalidades educativas del nivel. Distingue cuatro niveles de logro educativo: insuficiente; elemental, bueno y excelente, tanto para la habilidad lectora como para la habilidad matemática.
La prueba consta de 140 reactivos: 90 para matemáticas y 50 para habilidades lectoras. En el primer caso, explora los procesos de reproducción, conexión y reflexión en los contenidos del conocimiento matemático, tales como cantidad, espacio y forma, cambios y relaciones, y matemáticas básicas. En el segundo, se evalúan los procesos de extracción e interpretación y reflexión en cuatro diferentes tipos de texto. Veamos los resultados en el caso de Coahuila.
Coahuila
Una de las tres entidades federativas del norte de la República Mexicana con mayor extensión territorial, ocupa el tercer lugar a nivel nacional (después de Chihuahua y Sonora). Su población tiene un promedio de escolaridad relativamente alto (segundo de secundaria) y un bajo índice de analfabetismo de 2.4 por ciento, relativamente similar al de Baja California, Nuevo León y el Distrito Federal.
En lo que concierne a los resultados generales en educación media superior, los que obtuvieron los alumnos del tercer grado de este nivel de Coahuila, son muy similares al promedio nacional. Por ejemplo, como ya habíamos indicado, existen cuatro niveles de logro. Un nivel insuficiente en la habilidad lectora, el más bajo, quiere decir que los alumnos solamente son capaces de identificar elementos explícitos en un texto y realizar inferencias sencillas del mismo. En este nivel se ubicaron en el 2009, un total de 16.9 por ciento del total de alumnos que presentaron la prueba y el porcentaje era idéntico a nivel nacional. No obstante, lo que llama la atención es que en Coahuila, respecto a los que había en este nivel el 2008, aumentó dos puntos porcentuales la cifra de estos jóvenes y a nivel nacional aumentó 4 puntos porcentuales. Es decir, en la entidad se incrementó ligeramente el número de jóvenes que se ubicaron en el nivel de logro más bajo y a nivel nacional el incremento fue todavía mayor.
En el otro extremo, en el nivel de excelencia, donde se supone que los jóvenes son capaces de realizar inferencias complejas de un texto, establecen relaciones en la información de lo que leen, el porcentaje para el 2009 de jóvenes en esta condición en Coahuila fue de 8.4 por ciento y a nivel nacional de 7.2 por ciento. En ambos casos, se incrementó muy ligeramente, menos de un punto porcentual respecto del 2008.
Como cabría esperar relativamente, la mayor parte de jóvenes se ubican en un nivel de logro “elemental” (solamente llegan a ubicar e integrar diferentes partes de un texto e inferir el significado de algunas y palabras) y “bueno” (comprenden y sintetizan un texto). En el caso de Coahuila, en el primero se concentran 33.2 por ciento y en el segundo 41.4 por ciento. A nivel nacional, las cifras son 33.1 y 42.6, respectivamente. Proporciones relativamente similares. Aunque también cabe destacar que tanto en la entidad como nacionalmente, los promedios disminuyeron entre dos y tres puntos porcentuales, en comparación con las cifras del 2008.
Los niveles de logro son menores en el caso de las habilidades matemáticas. En el 2009 el porcentaje de jóvenes que se ubican en el nivel insuficiente es de 45.8 por ciento en los de Coahuila (a nivel nacional es de 46.1 por ciento), casi la mitad del total. Los de nivel elemental son 35.2 por ciento, los que están en la categoría de bueno son 13.8 por ciento y 3.8 por ciento en excelente. Cifras muy similares a las de nivel nacional.
Si ahora vemos los niveles de logro por modalidad educativa de la educación media superior, son de notar algunas pequeñas diferencias. El bachillerato general tiene las mejores cifras. En Coahuila, en el 2009, en habilidades lectoras: 13.7 por ciento de jóvenes están en el nivel de insuficiente (el nacional es de 16.7); 29.2 por ciento en elemental (nacional 31.8); 44.2 por ciento (nacional 43.3); y 12.8 por ciento en excelente (nacional 8.2). Aunque, respecto del 2008, las cifras tampoco son mejores; salvo los jóvenes que se ubican en el nivel de excelente que avanzaron un par de puntos porcentuales, en el resto más bien disminuyeron.
El bachillerato tecnológico, en comparación con el general, tiene un mayor porcentaje de jóvenes con habilidades lectoras insuficientes: 20 por ciento en Coahuila y 17.5 por ciento a nivel nacional para el 2009. Y, por el contrario, menos en la categoría de excelentes: 4.7 y 6.1 por ciento, respectivamente. Los de la modalidad técnica tienen un porcentaje menor en el nivel de insuficiente (18.6 por ciento), lo que es positivo, pero también tienen el porcentaje más bajo en la categoría de excelente (3.7 por ciento en el estado y 4.1 por ciento nacionalmente).
En general, las cifras son más desalentadoras para las habilidades matemáticas en todas las modalidades, porque poco menos de la mitad, y en los técnicos es justamente la mitad, está ubicado en el nivel de insuficiente y son porcentajes muy bajos los que están en el nivel de excelente, particularmente para los técnicos (1.9 por ciento en Coahuila y 2.4 a nivel nacional).
En lo que se refiere a la dimensión público-privado de los planteles escolares, las cifras son ligeramente mejores para los de sostenimiento privado. Por ejemplo, en Coahuila para el 2009, el porcentaje de jóvenes ubicados en planteles públicos con un nivel de insuficiente en habilidades lectoras es de 18 por ciento; mientras que en los planteles privados es de 14.9 por ciento, casi tres puntos porcentuales menos. Los de nivel elemental en público suman 35.6 por ciento, los de bueno 40.9 por ciento y los de nivel excelente 5.5 por ciento. En comparación, los de planteles privados, en el nivel elemental suman 28.6 por ciento, los de bueno 42.5 por ciento y los de excelente 14 por ciento. Esto es, los planteles privados tienen un menor número de jóvenes en el nivel indeseable y más en el de mayor importancia.
La situación es relativamente similar con los porcentajes de logro para las habilidades matemáticas y también en la comparación a nivel nacional. En términos generales, lo que se puede apreciar con algunos de los datos de la prueba, es que los datos de la entidad no difieren del promedio nacional y que se aprecian más o menos las mismas diferencias por modalidades educativas y sostenimiento de los planteles escolares. Pero tal vez lo más importante es que se debe tener presente cuál es el propósito de ENLACE y no tratar de utilizarla para valorar algo para la que no fue diseñada.
(Publicado en: Educación 2001. No. 178. Marzo de 2010. pp. 40-43)
No hay comentarios:
Publicar un comentario