La opinión dominante entre los investigadores de la Educación Matemática es que los enfoques psicométricos de pruebas en gran escala han tenido bastantes limitaciones, tanto por los formatos predominantes de sus ítems como también por los marcos intelectuales que han asumido.
Una primera consideración es que los enfoques psicométricos refieren sobre todo a “grupos o individuos” para “medir de manera fiable el resultado del aprendizaje” y “no el propio aprendizaje”, es decir: no examinan “los procesos de pensamiento y comunicación de los estudiantes” (Suurtamm et al, 2016, p. 3). Esta circunstancia los distanciaría de las funciones por ejemplo formativas de la evaluación.
Un segundo aspecto son las debilidades del formato dominante en estas pruebas: “problemas matemáticos que a menudo conducen a una única respuesta correcta” (p. 3), lo que se juzga más propio de “una perspectiva conductista o cognitivista, ya que típicamente se enfocan en componentes independientes del conocimiento” (Scherrer, 2015).
Se afirma que este tipo de formato posee tensiones con la evaluación de aula pues: “a veces está en conflicto con las evaluaciones de aula que fomentan una serie de respuestas y ofrecen oportunidades para que los estudiantes demuestren su razonamiento y creatividad”. Schoenfeld (2007) es muy crítico:
Las pruebas de selección múltiple que se centran en gran medida en destrezas simples pueden clasificarse fácilmente, tienden a ser fáciles de construir en formas que cumplen criterios psicométricos y proporcionar estadísticas agregadas con fines políticos, pero es improbable que capten el espectro deseado de matemáticas, y proporcionan poca o ninguna información diagnóstica útil. (p. 12)
Sin duda en las pruebas estandarizadas de América Latina se ha potenciado el formato de ítems de selección única (con revisión mediante revisora óptica), lo que en parte se debe al bajo costo de su elaboración, aunque también a esquemas intelectuales y también de conveniencia (tratar de asegurar que no haya fraudes, por ejemplo).
Como un todo: el impacto social de pruebas estandarizadas de certificación puede ser muy fuerte pues cuando por ejemplo abunda la enseñanza orientada a la preparación de estas pruebas, tales pruebas pueden distorsionar el currículo. El punto invoca que las pruebas suelen constituir un punto de referencia central para la selección de los tópicos y enfoques que se desarrollan en las aulas, y eso puede ser positivo o negativo.
¿Qué supuestos han dominado en las tradiciones psicométricas? Osterlind (1998) identifica algunos:
• Unidimensionalidad: cada ítem de la prueba debe centrarse en evaluar un solo objetivo o habilidad.
• Independencia local: cada ítem de la prueba es independiente de cualquier otro ítem, sin sugerencias ni expectativas de que las soluciones de un ítem afecten el rendimiento de otro ítem.
• Curva característica del ítem: si los ítems son válidos para un objetivo particular, los estudiantes que tienen una baja habilidad deben tener una baja probabilidad de éxito en el ítem.
• No ambigüedad: los ítems deben ser declarados de tal manera que la parte inicial del ítem conduzca al alumno a la respuesta correcta única.
¿Estos aspectos son válidos? Van den Heuvel-Panhuizen & Becker (2003), por ejemplo, consideran que estos supuestos se basan en creencias muy cuestionadas por la comunidad internacional de Educación Matemática, a saber:
1. Los problemas matemáticos siempre tienen solo una respuesta correcta.
2. La respuesta correcta siempre se puede determinar.
3. Todos los datos necesarios deben ser proporcionados a los estudiantes.
4. Los buenos problemas matemáticos deben ser localmente independientes.
5. No se puede evaluar el conocimiento aún no enseñado.
6. Los problemas matemáticos deben ser resueltos de una sola manera.
7. La respuesta a un problema es el único indicador del nivel de logro del estudiante.
¿Cómo abordar dentro de esos enfoques psicométricos una enseñanza donde lo que se busca es motivar “a los estudiantes a demostrar su pensamiento, trabajar con problemas desordenados o mal estructurados del mundo real o resolver problemas desde más de una perspectiva, o que tienen más de una respuesta”? (Suurtamm et al, 2016, p. 8). Es decir ¿cómo compatibilizar los enfoques psicométricos con una enseñanza donde se desea promover el progreso de las capacidades cognitivas superiores? Es sin duda un auténtico desafío.
Debe reconocerse, sin embargo, que hay importantes esfuerzos en la comunidad educativa para renovar las pruebas de tendencia psicométrica: un caso particular lo representarían las pruebas PISA de la OCDE.
De la misma manera “las teorías psicométricas han evolucionado de modelos basados en la teoría clásica de pruebas hacia modelos que se basan en respuestas a ítems individuales de pruebas (e.g. modelos de la teoría de respuesta al ítem) a modelos basados en componentes de razonamientos necesarios para responder ítems particulares de un test (e.g. modelos de clasificación diagnóstica)” (De la Torre, Carmona, Kieftenbeld, Tjoe y Lima, 2016, p. 53 y sgtes.). Los modelos de clasificación diagnóstica han abierto una ruta para poder incorporar en la evaluación habilidades simples pero también procesos y competencias e incluso otras dimensiones del rendimiento individual. Uno de los propósitos de estos modelos novedosos es la búsqueda de un equilibrio entre evaluaciones de gran escala y la necesidad de proporcionar mayor nivel de evaluación de la cognición. Algunos de esos modelos psicométricos están basados en lo que se denomina “matriz-Q” (Tatsuoka, 2016. P. 73 y sgtes.). Esta orientación sin embargo aun se encuentra en el plano de la investigación y dista de poderse implementar en la práctica.
Aun si en efecto se lograran cambios para integrar en pruebas estandarizadas otras dimensiones de los aprendizajes, siempre quedarían dudas de si no sería necesario introducir otro tipo de instrumentos más adecuados que las trascienden.
En la tercera década del siglo XXI este tipo de discusiones deberán replantearse.
Referencias
- -De la Torre, J., Carmona, G., Kieftenbeld, V., Tjoe, H., & Lima, C. (2016). Diagnostic Classification Models and Mathematics Education Research: Opportunities and Challenges. En A. Izsák, J. Remillard & J. Templin, J. (Eds.), Psychometric Methods in Mathematics Education: Opportunities, Challenges, and Interdisciplinary Collaborations (número monográfico de Journal for Research in Mathematics Education), p. 53-71. Reston, VA, USA: National Council of Teachers of Mathematics.
- -Osterlind, S. J. (1998). Constructing test items: Multiple-choice, constructed-response, performance and other formats. Dordrecht, The Netherlands: Kluwer Academic Publishers.
- -Scherrer, J. (2015). Learning, teaching, and assessing the standards for mathematical practice. En C. Suurtamm & A. Roth-McDuffie (Eds.), Annual perspectives in Mathematics education: Assessment to enhance learning and teaching (pp. 199–208). Reston, VA: National Council of Teachers of Mathematics.
- -Schoenfeld, A. (Ed.). (2007). Assessing Mathematical Proficiency (Mathematical Sciences Research Institute Publications, 53). New York: Cambridge University Press.
- -Suurtamm, C., Thompson, D.R., Kim, R. Y., Díaz-Moreno, L., Sayac, N., Schukajlow, S., Silver, E., Ufer, S. & Vos, P. (2016). Assessment in Mathematics Education (Large-Scale Assessment and Classroom Assessment). Suiza: Springer International Publishing AG. DOI 10.1007/978-3-319-32394-7.
- -Tatsuoka, C. et al. (2016). Developing Workable Attributes for Psychometric Models Based on the Q-Matrix. En A. Izsák, J. Remillard & J. Templin, J. (Eds.), Psychometric Methods in Mathematics Education: Opportunities, Challenges, and Interdisciplinary Collaborations (número monográfico de Journal for Research in Mathematics Education), pp. 73-96. Reston, VA, USA: National Council of Teachers of Mathematics.
- -Van den Heuvel-Panhuizen, M., & Becker, J. (2003). Towards a didactic model for assessment design in Mathematics education. En A. J. Bishop, M. A. Clements, C. Keitel, J. Kilpatrick, & F. K. S. Leung (Eds.), Second international handbook of Mathematics education (pp. 686–716). Dordrecht, The Netherlands: Kluwer Academic Publishers.