Evaluar la evaluación: ¿A qué le ponemos nota?

La experta en evaluación María Teresa Florez, doctorada  recientemente la Universidad de Oxford, es enfática en cuanto a sus críticas al SIMCE y afirma la necesidad urgente de replantear esta prueba en torno a la educación que se está debatiendo. “Si no definimos qué es lo que queremos medir, difícilmente podemos saber si los instrumentos que estamos utilizando nos llevan o no a concluir algo sobre el constructo a evaluar”.

Por Nicole Cardoch

Los resultados del SIMCE del año 2013 que fueron publicados el mes pasado y generaron una serie de debates al interior del mundo educativo, desde altas autoridades a los gremios de profesores y profesoras. La Agencia de Calidad de la Educación dio a conocer los puntajes otorgados a los niveles evaluados de segundo, cuarto, sexto y octavo básico, así como los de segundo medio de los estudiantes chilenos.

Esta radiografía a lo que están aprendiendo en las salas de clases del país se aplicó el año 2013 a más de 1,1 millón de estudiantes de cerca nueve mil colegios, con la novedad de que en esta oportunidad se dieron a conocer percepciones de aquellos factores académicos que influyen en la educación como es la autoestima académica, motivación escolar, clima de convivencia escolar, participación y formación ciudadana en una consulta que venía incluida en la misma prueba.

María Teresa Flores

Ha trabajado en diversos proyectos de investigación relacionados con evaluación para el aprendizaje, sistemas educativos complejos, esquemas de evaluación de investigación universitaria y políticas de inspección de aula.

¿Qué opinión tiene acerca de los últimos resultados del SIMCE?

Dada la calidad del SIMCE como sistema de evaluación, me tienen sin cuidado y debieran tener sin cuidado a sus usuarios. Como en principio no sabemos claramente cuál es su propósito, ni qué mide, ni cómo podemos inferir válidamente alguna idea sobre calidad o aprendizaje dadas sus limitaciones, ni qué se ha hecho para corregir sus problemas de construcción, corrección y comparabilidad de un año a otro, no creo que los resultados del SIMCE sean o hayan sido históricamente capaces de decirnos mucho sobre nuestro sistema educativo. Que creamos muy rápidamente en los números porque son más fáciles de digerir que un análisis cualitativo es otra cosa, pero no creo que SIMCE haya provisto suficiente evidencia acerca de su validez como para que podamos creer que sus puntajes nos dicen algo fundamental.

A partir de esto, ¿cree que el SIMCE y las pruebas estandarizadas son un indicador de calidad y de logro de aprendizaje?

Sobre SIMCE en particular, técnicamente hablando, para saber si constituye un indicador de calidad tendríamos que definir primero qué entendemos por calidad en educación. Si no definimos qué es lo que queremos medir, difícilmente podemos saber si los instrumentos que estamos utilizando nos llevan o no a concluir algo sobre el constructo a evaluar.

Sobre el SIMCE como indicador de logro de aprendizajes, creo que es una interpretación demasiado amplia de los resultados de una prueba que mide únicamente ciertas áreas del currículum y, dentro de estas áreas, solamente aquello que se puede medir en una prueba de lápiz y papel. Junto con ello, la evidencia indica que en estos instrumentos predominan las preguntas relacionadas con habilidades más básicas y con tareas más rutinarias. Ello sin mencionar los problemas de construcción, clasificación y corrección de los ítems ni las ya conocidas consecuencias de la prueba, las que en muchos casos juegan en contra del que se ha declarado como uno de sus propósitos centrales: mejorar la calidad de la educación.

Ahora, los problemas que presenta el SIMCE en términos de validez son compartidos por otros instrumentos estandarizados. Las críticas a PISA, por ejemplo, no han sido pocas. Un solo ejemplo para ilustrar de qué estamos hablando: un principio central de la validez en evaluación es que un test no es válido en sí mismo, sino que lo son las interpretaciones de sus resultados en un determinado contexto y de acuerdo a un determinado propósito. Ello hace técnicamente discutible y complejo que una prueba pueda tomarse y utilizarse en un contexto diferente de aquel para el cual fue diseñada. PISA, sin embargo, es un instrumento que se utiliza para evaluar a niños de contextos extremadamente diferentes utilizando una misma medición, lo que en términos de validez es altamente cuestionable.

EL OJO EN LA MIRA

Entonces, ¿cuál es el trasfondo político que ha puesto a las evaluaciones en el centro de las políticas públicas?

No es solamente mi percepción, sino el trabajo investigativo de autores del área del estudio crítico de políticas en educación, el que ha estado indicando durante los últimos años cómo las pruebas estandarizadas y los diversos mecanismos de rendición de cuentas son característicos del modo de gobernar la educación en contextos neo-liberales. Al desvincularse el Estado de su responsabilidad directa por la educación, se buscan otros mecanismos que permitan gobernarla a distancia, manteniendo a la vez la ilusión de un sistema descentralizado y con poder local.

Las pruebas estandarizadas permiten, por medio de políticas de alto impacto como la publicación de resultados, poner presión sobre el sistema y hacerlo moverse en una determinada dirección. Por su parte, los actores de la práctica sienten esta presión, y al sentir que la dirección a la que llevan las pruebas no coincide con lo que consideran correcto en educación, es natural que las conviertan en objeto de discusión pública. Y esto no ha pasado solamente una vez en Chile, sino cada vez que se ha intentado reformar el currículum y el enfoque pedagógico, sin modificar la evaluación de altas consecuencias.

Por último, las pruebas estandarizadas entregan a los gobiernos una herramienta fácil, efectiva y persuasiva (la gente cree en los números a veces con una fe ciega) para demostrar el éxito o fracaso de una política, aun cuando muchas veces la correlación entre la reforma y los puntajes obtenidos no se explora seriamente sino que se presupone.

 EJES DE CALIDAD

 ¿Cómo avanzamos hacia un sistema que dé cuenta de  ejes de calidad que no se incluyen en estas mismas pruebas?

No se puede hablar de un sistema de evaluación que genere calidad si, primero, no nos sentamos a discutir qué entendemos por calidad en educación y, en ese contexto, no acordamos como sociedad qué dirección queremos que tome nuestro sistema. En el marco de una decisión como esa es perfectamente admisible que decidamos no tener pruebas estandarizadas de ningún tipo, tal como se propone actualmente en la campaña «Alto al SIMCE», si nos parece que estas no aportan de manera adecuada a la educación que queremos. Desde mi perspectiva, creo que no se ha pensado todavía un modelo de evaluación a gran escala que sea consistente con una pedagogía crítica y emancipadora, y tampoco sé si esto se pueda elaborar sin contradecir los principios de dicha pedagogía. Pero es una conversación teórica que es necesario comenzar a generar.

Finalmente, ¿cree usted que en esta gran reforma a la educación se incluye una mirada holística a la educación misma o siguen las mismas lógicas de competencia?

Leí el documento que contiene la propuesta de reforma y no me parece muy diferente de la legislación de los gobiernos de la Concertación durante los años ’90, en el sentido de ser más bien un pastiche legislativo que modifica determinados artículos de cuerpos legales ya existentes, en lugar de constituir una propuesta de cambio sustancial.

Es cierto que eligieron un buen slogan, que ataca tres problemáticas importantes: selección, lucro y financiamiento compartido. No obstante, se mantiene en el mismo marco constitucional; no se estatiza la educación pública, sino que simplemente no se permite a privados lucrar con ella; no se aborda el concepto de calidad pese a que se lo menciona en múltiples ocasiones; no se habla del SIMCE; se mantiene el enfoque clientelista de la libertad de enseñanza, que implica que los padres eligen dentro de una oferta variada de establecimientos; no se dice mucho sobre la competencia, aspecto que define la lógica de la educación de mercado; se mantiene la selección en establecimientos emblemáticos y en los colegios privados; se critica el sistema basado en la competencia, pero no se dice nada acerca de cómo dichos mecanismos se eliminarán (¿se eliminará el SIMCE?, ¿se eliminará la clasificación de escuelas que se planea realizar desde la Agencia de Calidad?).

En fin, el marco es el mismo que se nos impuso desde los años de dictadura. Un modelo de educación de mercado frente al cual la ciudadanía espera cambio sustancial y no simplemente maquillar el sistema para que parezca menos segregado, a lo que hay que agregar que no sabemos qué de la actual propuesta va a quedar tras las discusiones y negociaciones en el Congreso.