¿Qué nos dicen los resultados de las pruebas de aprendizaje?

Desde hace algunos años, la evaluación de los distintos sectores del sistema educativo ha sido un tema prácticamente omnipresente en las noticias de nuestro país. Cada vez con mayor frecuencia, los niños y jóvenes de nuestras escuelas se ven sometidos a exámenes estandarizados que provienen de distintas instituciones y que se proponen medir su conocimiento de las distintas materias que actualmente se consideran importantes a nivel nacional e internacional.

Sin lugar a dudas, la cultura de la evaluación ha echado raíces en nuestro país y tanto las autoridades como una buena parte de la sociedad están convencidos de que la mejora del aprendizaje de los alumnos, de las técnicas de enseñanza, de la administración escolar y de la administración del sistema educativo en general puede sustentarse en los resultados de estas evaluaciones. Desde el punto de vista de la sociedad en general, la evaluación del sistema educativo y de sus actores es un tema que se presta a constantes debates y críticas. ¿Por qué la evaluación genera tanta resistencia por parte de algunos sectores, mientras que otros la defienden a capa y espada? Las prácticas de evaluación proporcionan indicadores que pueden ser de utilidad, pues resultan en índices que permiten hacer distinciones y clasificaciones fáciles para la toma de decisiones; pero también generan incertidumbre por su diseño, por la forma en que se llevan a cabo y sobre todo porque no se entiende y se cuestiona la validez de sus resultados. Tal vez las evaluaciones que generan mayor controversia son las relacionadas con el aprendizaje de los alumnos; es por ello que en este artículo intentaré hacer una reflexión crítica sobre ellas.

¿Qué información se obtiene de las evaluaciones de aprendizaje? ¿Cómo se utiliza la información que se obtiene? ¿Cómo se difunden los resultados de la evaluación? ¿Qué se puede hacer para mejorar las condiciones actuales de la evaluación y el uso de sus resultados?

Las respuestas a estas preguntas nos pueden ayudar a entender mejor el papel de la evaluación del aprendizaje y también el rol que desempeñan las instituciones que se encargan de ello, en particular del Instituto Nacional para la Evaluación de la Educación (INEE) cuyo aniversario celebramos. Es por ello que me parece pertinente reflexionar aquí sobre preguntas como las siguientes: ¿Puede la calificación de este tipo de exámenes dar información útil que sea directamente aplicable a la mejora del aprendizaje y de la enseñanza? ¿Qué se puede hacer para que la información que se obtiene de las pruebas de aprendizaje se emplee de manera útil para mejorar realmente el aprendizaje de los alumnos y para apoyar a los maestros en su tarea de ayudarlos a aprender? ¿Cómo se pueden difundir los resultados de las evaluaciones para proporcionar información comprensible y veraz para que la sociedad entienda los beneficios y las limitaciones de su uso?

El papel de la evaluación del aprendizaje

Recordemos, para comenzar, que la evaluación del aprendizaje ha sido siempre central en los sistemas de enseñanza. Durante mucho tiempo esta evaluación se llevaba a cabo únicamente dentro de la escuela y, más aún, dentro de cada una de las clases. Los maestros y los administradores escolares se encargaban de la elaboración de los instrumentos de evaluación que estaban adaptados a las condiciones de enseñanza en las mismas y cada escuela era responsable ante el Estado de proporcionar la información pertinente sobre cada uno de sus alumnos. Las escuelas se evaluaban en términos de los resultados de sus alumnos en los niveles progresivos de la educación. Esta práctica de evaluación interna del aprendizaje de los alumnos sigue existiendo, pero ha dejado de ser única y ha dejado de ser la base sobre la cual se emiten los juicios acerca del sistema educativo. Las evaluaciones estandarizadas tienen ahora un peso muy fuerte en la valoración del aprendizaje y es por ello que es necesario entender su funcionamiento y su relación con lo que ocurre internamente en la escuela.

La finalidad de la evaluación del aprendizaje ha sido, y sigue siendo, dar retroalimentación a los alumnos, a los profesores y a los padres de familia para hacer posible la mejora del aprendizaje. Por ello es importante que la información que proporciona sea de utilidad para el alumno, el maestro y el sistema escolar. Si las evaluaciones dejan de cumplir este propósito una de sus funciones se ve severamente limitada. Las pruebas estandarizadas presentan este tipo de problema.

Los indicadores que se utilizan son difíciles de emplear por los maestros y los alumnos, pues su finalidad no es servir directamente a la mejora del aprendizaje, sino proporcionar información sobre las regularidades del sistema educativo en el momento de su aplicación.

Otro papel importante de la evaluación es la toma de decisiones a partir de los resultados de aprendizaje. Los resultados de la evaluación han tenido siempre consecuencias importantes para el examinado, que pueden ser, por ejemplo, la aprobación de un grado, el ingreso a una escuela específica o la posibilidad de continuar sus estudios. La evaluación no puede tomarse a la ligera, sus resultados deben proporcionar información que refleje lo más cercanamente posible aquello que los alumnos han aprendido y lo que son capaces de hacer. Sólo así las decisiones de los maestros y de las autoridades educativas pueden apoyarse en ellos para tomar decisiones acertadas y contribuir a la búsqueda del fin primordial de la educación que es proporcionar los medios para que los alumnos aprendan de la mejor manera posible y continúen aprendiendo a lo largo de su vida.

A pesar de que las evaluaciones a gran escala no se adaptan a los sistemas de enseñanza y de que hay cuestionamientos acerca de si lo que miden es realmente el conocimiento de los alumnos y sobre la profundidad de los aprendizajes que pueden medirse con ellas (Barrenechea, 2010; Edwards, 2006; Kohn, 2000), se utilizan cada vez más en la toma de decisiones importantes que afectan el futuro de los alumnos y también el de los maestros. Si bien se entiende la necesidad de utilizar pruebas de esta naturaleza dado el tamaño del sistema educativo en la actualidad, su uso genera también desconfianza en distintos sectores de la sociedad y sobre todo en el propio sistema educativo, acerca de la validez de sus resultados.

La cultura de la evaluación no va a desaparecer. Para que el sistema de evaluación mejore es importante que lo conozcamos aún más. Necesitamos acercarnos a la forma en que estas evaluaciones se diseñan, cuáles son sus objetivos y cuáles sus limitaciones, cómo pueden interpretarse sus resultados y cuáles decisiones pueden sustentarse en ellas. Se necesita también abrir canales de comunicación para que la sociedad esté bien informada acerca de los significados de los resultados de la evaluación y lo que de este tipo de evaluaciones puede esperarse para evitar interpretaciones y expectativas equivocadas. Una tarea urgente consiste en generar una cultura sobre la evaluación que haga posible que los distintos actores del sistema educativo puedan demandar evaluaciones que promuevan el aprendizaje y que proporcionen información valiosa tanto para el sistema como para los maestros, los alumnos y las personas interesadas en profundizar sobre estos procesos.

¿Qué información se obtiene de las evaluaciones de aprendizaje?

Originalmente las evaluaciones de aprendizaje estandarizadas surgieron con el fin de contar con información pertinente acerca del estado global del sistema educativo o de algunos de sus componentes. En particular interesaba conocer si las escuelas funcionaban como se esperaba y si los alumnos aprendían en ellas los conocimientos deseados. En ese momento había claridad en el tipo de posibilidades que ofrecía la información resultante de las evaluaciones: podía esperarse de ellas una visión aproximada del estado del sistema y una estimación de cómo respondían los alumnos y los maestros ante problemas cerrados y similares a aquellos que aparecían en las pruebas. Con el paso del tiempo las cosas cambiaron radicalmente.

Hoy las evaluaciones se consideran como indicadores casi únicos del estado del sistema y se da un peso a la información que se obtiene de ellos que tiende a ignorar sus limitaciones (Baker, 2003). Se ha olvidado que la educación es un fenómeno muy complejo; que el aprendizaje depende de una gran variedad de factores y que las pruebas sólo miden de manera muy aproximada lo que los alumnos o lo que los maestros pueden hacer.

Se ha dejado de lado la consideración del carácter dinámico de la educación y que lo que una persona responde un día en una prueba puede ser distinto a lo que respondería si la prueba se hiciera otro día. Se ha olvidado que las pruebas no son un fin en sí mismas y que los resultados que se obtienen de ellas permiten analizar sobre todo las regularidades en el sistema educativo y en el aprendizaje.

Con la visión actual de las evaluaciones se corre el riesgo de que el sistema educativo se oriente fuertemente hacia aquellas áreas que son evaluadas y que se enseñe en relación directa con la forma y el contenido de las preguntas que aparecen en las pruebas. Se corre el riesgo de juzgar a los maestros únicamente en términos de los resultados de aprendizaje de sus alumnos y olvidar que la relación entre lo que el maestro enseña y el aprendizaje de sus alumnos no es directa ni es fácilmente medible. Se corre el riesgo de asignar un peso a los resultados de aprendizaje que no corresponde a lo que pueden medir este tipo de pruebas. Se corre el riesgo, por último, de tomar decisiones sobre los estímulos para las escuelas, los maestros y los alumnos con base en indicadores muy parciales y limitados de su rendimiento.

¿Cómo se utiliza la información que se obtiene de las pruebas de aprendizaje?

Sabemos que el proceso de aprendizaje es muy complejo; aquello que los niños y los jóvenes aprenden en la escuela no depende directamente de la enseñanza que reciben de parte del maestro. En el aprendizaje inciden, además del maestro, una gran cantidad de factores, por ejemplo, el programa de estudio, los libros de texto, la actitud del alumno frente al aprendizaje, el contexto escolar o cultural en el que el proceso ocurre. Esta complejidad hace que los resultados de cualquier evaluación del aprendizaje sean fuertemente dependientes del momento en el que se hacen y del lugar en el que se llevan a cabo y que el uso de la información que se obtiene de ellas sea un asunto delicado que no puede tratarse a la ligera.

La evaluación a gran escala del aprendizaje de los alumnos es un asunto complicado. El diseño de pruebas de aprendizaje requiere que se planteen una gran cantidad de hipótesis que permitan determinar indicadores que proporcionen medidas confiables. Cada hipótesis que se introduce en el diseño impone limitaciones a los resultados que es posible obtener de la evaluación y a la forma en que éstos pueden emplearse. Por su parte, las metodologías asociadas a la obtención de los resultados de las pruebas imponen otro tipo de restricciones que se reflejan en nuevas limitaciones que afectan su utilidad.

A pesar de esta complejidad y de sus limitaciones, los resultados de las pruebas de aprendizaje son importantes porque ponen de manifiesto regularidades y necesidades específicas del sistema educativo en general y de sus componentes. Esta información se publica generalmente en informes dirigidos a públicos especializados tales como investigadores o administradores y se utiliza para tomar decisiones dirigidas a mejorar las condiciones del sistema.

Los resultados de las pruebas de aprendizaje señalan aspectos del mismo que son relativamente independientes de las condiciones en las que éste se da. Por ejemplo, si en una prueba de lectura se encuentra que los alumnos de cierta edad son capaces únicamente de comprender el significado de enunciados cortos y directos, independientemente del lugar en el que viven o de la situación particular en la que se encuentra su escuela, el resultado adquiere una relevancia particular y pone de manifiesto la necesidad de desarrollar programas y políticas escolares que permitan ayudar a los alumnos a progresar en sus capacidades lectoras. De igual manera, si un resultado indica que los alumnos de la escuela primaria de la ciudad tienen menos dificultades para utilizar las fracciones en la solución de problemas que los alumnos en las escuelas rurales, esta información puede servir de base para determinar las circunstancias particulares que pueden ocasionar esta diferencia y favorecer el desarrollo de métodos de enseñanza adaptados a las necesidades de las escuelas rurales que permitan profundizar en el aprendizaje de este tema.

Las pruebas de aprendizaje también podrían utilizarse para evaluar los programas de estudio. El currículo de la escuela básica en nuestro país es único. En todas las escuelas se enseñan las mismas materias y se siguen programas idénticos. Los resultados de las evaluaciones podrían contrastarse con aquellos aprendizajes que se proponen como objetivo de los programas y analizarse con el propósito de validar su efectividad y pertinencia. Aunque esto rara vez se hace en nuestro país, esta práctica podría resultar en el diseño de programas mejor adaptados a la promoción de los aprendizajes de las distintas disciplinas que se incluyen en ellos.

Sin embargo, si lo que se desea es obtener información detallada sobre el conocimiento de alumnos específicos o la comparación de los resultados de los alumnos de las distintas escuelas, los instrumentos de evaluación del aprendizaje proporcionan información menos precisa y, por ello, menos confiable. Como consecuencia, el desarrollo de políticas centradas en estos resultados es menos recomendable.

Un asunto que me parece preocupante es la tendencia generalizada de utilizar la información de las pruebas de aprendizaje como medio de evaluación de los maestros. Esta tendencia relaciona directamente —y de manera poco crítica— los resultados de las evaluaciones de aprendizaje de los alumnos con los procesos de instrucción. Como he mencionado, el aprendizaje es un proceso complejo que no entendemos todavía a profundidad.

Es claro que los alumnos aprenden en la escuela y que las estrategias del maestro inciden en su aprendizaje. Sin embargo, sabemos también que hay otros múltiples factores que inciden en el aprendizaje de los alumnos: factores relacionados con sus actitudes, con los programas, los textos que se usan y la cultura de escuela y de la comunidad en la que viven. A pesar de ello, las autoridades insisten en utilizar la evaluación del aprendizaje de los alumnos como una medida directa de la calidad de la enseñanza de los maestros.

La evaluación de la calidad de un maestro con base únicamente en los resultados del posible aprendizaje de los alumnos medido con pruebas estandarizadas puede generar efectos nocivos sobre el aprendizaje de los alumnos. La presión que la evaluación de los alumnos impone sobre los maestros promueve prácticas que acaban actuando en contra de la calidad de la enseñanza. Se ha observado que, en vista de la evaluación, los maestros enseñan prioritariamente los temas que se favorecen en las pruebas y practican las formas de respuesta que se privilegian en las mismas, a costa de una parte importante de los programas y de la solución de problemas que hacen posible un aprendizaje significativo de los conceptos importantes de las disciplinas; se ha observado también que suelen dejarse de lado la integración de conocimientos previos con los nuevos y la construcción de relaciones entre conceptos y su aplicación, que resultan fundamentales en un aprendizaje que no sea superficial y memorístico.

Es importante reconsiderar la forma en que se utilizan los resultados de las evaluaciones y orientarlos hacia decisiones y acciones que se encuentren dentro del ámbito de su validez. El riesgo que se toma al no hacerlo puede resultar en efectos negativos sobre el sistema educativo que posteriormente serán difíciles de cambiar.

¿Cómo se difunden los resultados de la evaluación?

La interpretación de los resultados de las pruebas de aprendizaje a gran escala es, como hemos visto, un asunto delicado. Más aún es la forma en que los resultados de las pruebas se dan a conocer al público en general. La difusión de los resultados de las evaluaciones suele ser muy parcial. Si bien las instituciones encargadas de la evaluación indican en sus estudios las condiciones metodológicas y tecnológicas que se utilizan en la obtención de los resultados, en su difusión masiva ignoran estas especificidades y se ofrece al público una reinterpretación de los resultados de las evaluaciones que no necesariamente se alinea con la interpretación de los expertos.

Este es un problema que puede tener consecuencias serias. Se generan, por ejemplo, opiniones que inciden negativamente sobre la propia calidad de la evaluación y sobre la posibilidad de mejorar el aprendizaje de los alumnos en las escuelas. Para evitar la difusión limitada o sesgada de los resultados de las pruebas de aprendizaje es necesario promover entre el público en general una cultura de la evaluación que permita un acceso fácil, confiable y directo a las fuentes de información, así como a su interpretación. Además de esta cultura, es importante desarrollar tecnologías de la información que permitan al público organizar la información de manera que responda a sus dudas específicas. Esta posibilidad sería, además, valiosa para los maestros pues les permitiría analizar la información desde perspectivas diferentes y utilizarla de manera coherente con la información que se obtiene de la evaluación interna en la escuela.

¿Qué podemos esperar para el futuro?

Durante muchos años se ha debatido la posibilidad de medir el aprendizaje de los alumnos a través de pruebas estandarizadas y aunque este tipo de exámenes proporciona actualmente información limitada sobre el aprendizaje de los alumnos, esto puede cambiar en un futuro cercano.

La creación de organismos independientes encargados de la evaluación educativa, como es el caso del inee, es un paso importante en esta dirección. Es a través de este tipo de instituciones que puede apoyarse la generación del conocimiento necesario para diseñar mejores instrumentos de evaluación y metodologías más adecuadas para medir el aprendizaje de los alumnos. Una forma de lograrlo, que me parece de fundamental importancia, es la posibilidad de aprovechar los resultados de la investigación sobre el aprendizaje de las disciplinas específicas que permita una evaluación más real del aprendizaje.

Esta información puede incidir en diseños de instrumentos y de ítems innovadores que partan de los conceptos básicos y de situaciones en las que estos conceptos se pueden poner en juego. Los resultados de este tipo de pruebas podrían asimismo alinearse más efectivamente con las prácticas de enseñanza y producir información congruente con ellas. La aplicación de pruebas estandarizadas genera una enorme cantidad de información que podría ser útil para los maestros; sin embargo, fuera de los reportes institucionales, prácticamente no se usa. Esto se debe en gran medida a lo que mencioné anteriormente: los resultados pueden estar a disposición de un gran número de personas, pero no son fáciles de utilizar. El diseño de medios que sean más amigables para que la información pueda ser utilizada por los maestros, sea para conocer cuáles son las dificultades de los alumnos, sea para mejorar sus estrategias de enseñanza, es indispensable. Si esto se combina con un diseño de pruebas como el descrito con anterioridad sería posible incluir formas de calificación que se relacionen más directamente con las necesidades de información de los maestros y que proporcionen la información que requiere la sociedad en general.

La creación del inee en 2002 puede considerarse como un gran paso adelante en la promoción de la cultura de la evaluación en nuestro país. La existencia de un organismo independiente de la Secretaría de Educación Pública (SEP) se hacía ya indispensable en aquel momento. Ahora, diez años después, podemos constatar que el Instituto ha desempeñado un papel sumamente importante al proporcionar información objetiva, crítica y útil que nos permite conocer mejor el estado de nuestro sistema educativo. La contribución del inee en la primera década de su existencia ha sido invaluable. Los estudios con los que contamos hoy sobre los distintos niveles educativos, sobre los conocimientos de los alumnos en diferentes niveles y disciplinas, conforman una base útil sobre la cual es posible analizar la evolución de los distintos componentes del sistema educativo.

Este décimo aniversario presenta una oportunidad para reflexionar de manera seria y crítica sobre las funciones que el Instituto desempeña y debe desempeñar. En mi opinión, este es un momento oportuno para reconsiderar también los diseños de los instrumentos de evaluación del aprendizaje y las metodologías que se usan para procesar los datos y para interpretarlos. Contamos hoy en día con conocimiento surgido de la investigación sobre aprendizaje y sobre las formas de medirlo. Contamos también con la tecnología necesaria para procesar la información que se genera en las pruebas. Es el momento de plantearnos el reto de innovar.

Estamos muy lejos de tener una educación que reúna las condiciones de calidad que se resumen en la definición dada desde la creación del inee: “Es una educación de calidad: aquella que sea relevante; que tenga eficacia interna y externa, y un impacto positivo en el largo plazo, así como eficiencia en el uso de los recursos y equidad”. Si se le da al Instituto mayor independencia y se le deja concentrarse en las funciones de investigación y de desarrollo de pruebas que tiene asignadas, podemos acercarnos al logro de una mejor evaluación de la calidad educativa en el sentido de esta definición.

Bibliografía

Eva L. Baker, “From Usable to Useful Assessment Knowledge: A Design Problem”, National Center for Research on Evaluation, Standards, and Student Testing, cse Report 612, University of California, Los Angeles, octubre, 2003. Ignacio Barrenechea, Standardized assessments: six critical reflections. Education policy and analysis, vol. 18, 2010. N.T. Edwards, “The historical and social foundations of standardized testing”, Search of a balance between learning and evaluation, Shiken, jalt Testing & Evaluation sig Newsletter, 10, No. 1, 2006, pp. 8-16. Alfie Kohn, Standardized testing and its victims, Portsmouth, nh, Heinemann, 2000.

Deja un comentario

Tu dirección de correo electrónico no será publicada.


*