Para acabarla de liar: AQUÍ
Yo de esto, lo que diga el José Manuel Lacasa.
Suscribirse a:
Enviar comentarios (Atom)
Los sueños rotos
I II He cocinado rabo de toro a la cordobesa. Creo que no les diré a mis nietos qué carne es... al menos hasta saber si les gusta. Cuatro g...
Gracias por la confianza. Mucho de lo que plantea el artículo es algo que a mí me lleva preocupando tiempo, y he dedicado varios meses a investigarlo, pero aún no he llegado a conclusiones definitivas. Voy a intentar no extenderme mucho, pero este tema es complicado.
ResponderEliminarEn principio, PISA me parece una de las maravillas del mundo contemporáneo, tanto como algunas de las maravillas de la ingeniería o la arquitectura: una concepción audaz y un gran equipo de científicos para ejecutarlo, utilizando las técnicas científicas más avanzadas y resolviendo los innumerables problemas a los que se han tenido que enfrentar. Yo, al menos, he disfrutado mucho destripando todos los engranajes que se esconden tras la prueba y viendo los detalles de cómo se han resuelto los problemas. Ahora, dicho esto, pensar que algo así no tiene algún problema y que no hay manera de hacerlo mejor, o de que esto hay que tomarlo como palabra revelada, pues mire usted, no.
Algunas de las cuestiones planteadas en el artículo admiten cierto grado de discusión técnica, otras no tienen un pase y otras atañen a los límites de lo que la ciencia puede hacer o afirmar. Sobre esto último, baste decir que sólo puede sorprender a los que han convertido la ciencia en la nueva religión, pero no a los que entiendan un poco qué es la ciencia y dónde están sus límites. La infalibilidad es sólo atributo de Dios (y de los payasos de la tele).
No tienen un pase las críticas sobre que PISA puede fallar alguna vez, que haya veces que, por prudencia, se anulen los resultados de algún país, que haya cierta incertidumbre en los resultados, que haya preguntas que no funcionen bien en todos los países del mundo... Pues claro, son frutos del método científico y de la diversidad cultural de los humanos, esperar otra cosa es absurdo. Se podría decir algo si PISA hubiera ocultado esos problemas, pero no lo ha hecho. La crítica de que la gente no sabe bien cómo funciona PISA o que sólo se hacen caso a los ránkings sería justa si PISA no explicara cómo funciona o si sólo publicaran los ránkings, pero lo cierto es que PISA publica cinco tomos de análisis (y muy exhaustivos, aunque con algunos problemas) y dos sobre las cuestiones técnicas, y que están al alcance de cualquiera que tenga internet y sepa inglés o francés (el manual técnico y algunos de los análisis también están en castellano, por cierto). ¿Que no es lectura para todos los públicos? Pues claro, acabáramos si estos manuales los escribiera Dan Brown.
Parte 2
ResponderEliminarOtra cuestión interesante es la de que PISA no mide bien las puntuaciones de los alumnos en particular. Pues sí, no es una selectividad o similar, no intenta evaluar a cada alumno, sino que intenta conocer las características poblacionales de los sistemas educativos. Pero es que eso es el ADN de PISA: los datos de PISA no corresponden exactamente a alumnos reales, sino a alumnos prototípicos que representan a un grupo de alumnos de características similares, pero no idénticas. También es cierto que PISA examina a todos los alumnos de la competencia principal (matemáticas en 2012), pero sólo a algo más de la mitad en cada una de las competencias restantes (lectura y ciencias), y sin embargo otorga puntuaciones a todos. Como he dicho antes, no son puntuaciones a un alumno concreto y real, sino a uno prototípico que representa a un grupo. Esto se hace porque no es posible ni examinar a diez millones de alumnos, ni preguntar todo a todos, en el primer caso por su costo y en el otro también por el efecto cansancio, que desvirtuaría los resultados. Por eso PISA toma bastantes precauciones (algunas de las que se describen en el artículo con énfasis negativo son en realidad consecuencia de saberse falibles y de entender cómo funciona el azar), y los resultados se presentan con márgenes de error. Una de las vertientes de mi trabajo de investigación fue precisamente comprobar este supuesto: para ello simulé las poblaciones de los países con sus características, repliqué las muestras de PISA y comprobé si los resultados poblacionales y muestrales eran los mismos. Y sí, sí que lo eran en la mayoría de los casos, es lo que puedo decir como conclusión provisional (aún no lo he acabado, lo mismo este verano...).
Sí hay cuestiones técnicas que no están del todo claras. Voy a incidir en dos de ellas, el modelo de Rasch y los datos longitudinales. El modelo de Rasch es uno de los utilizados en Psicometría (la ciencia que se dedica la la medición de las capacidades o características psicológicas, en este caso las cognitivas) para estimar el nivel de rasgo (lo que saben de matemáticas, por ejemplo) de las personas. Por simplificar, cuando un profesor hace un examen a los alumnos, lo que está haciendo es un test que mide lo que el alumno sabe; y cuando corrige, suma los puntos y pone una nota final, que se supone es lo que el alumno demuestra saber (su nivel en el rasgo medido). El modelo de Rasch hace eso mismo y asumiendo prácticamente los mismos supuestos, pero de una forma algo más compleja (utiliza, como toda la Teoría de Respuesta al Item -TRI- en que se basa, un modelo probabilístico). Sin embargo, en realidad el modelo de Rasch es el más simple de los posibles y asume diversos supuestos discutibles: que todas las preguntas discriminan por igual (y que esta discriminación es igual a 1) y que no hay respuestas al azar de los alumnos. La TRI ofrece modelos con más parámetros para elegir, y no está claro que en PISA se puedan asumir tales supuestos. De hecho, según mis simulaciones, el grado de exactitud de PISA aumentaría ligeramente si se utilizase un modelo con más parámetros, pero estamos hablando que si PISA acierta en el 95% de los casos, con otro modelo acertaría en el 97%, ni parece tan grave ni se puede decir que no sea fiable en absoluto (mi conclusión es aún muy provisional, recalco). Si no se ha mareado hasta aquí, añadir, para liarla más, que PISA introduce en el modelo de Rasch parámetros poblacionales para intentar buscar ese alumno representativo en vez del alumno real. Siento el rollo, pero no se puede resumir un manual de 500 páginas en un párrafo.
Parte 3.
ResponderEliminarKreiner dice que ha hecho preguntas y críticas y que la OCDE no le ha contestado. No conozco su caso, pero sí puedo decir que a mí si me han contestado. Y creo que tiene, en parte, razón, pero creo que su crítica no es un torpedo a la línea de flotación que, de confirmarse, anularían los resultados de PISA, sino que contribuirían a mejorar la evaluación.
La crítica más acertada, y a la que dedican muy poco espacio, es a la posibilidad de convertir PISA en una evaluación longitudinal, es decir, en vez de ofrecer fotos fijas del estado de cada sistema, fuera capaz de evaluar a los mismos alumnos dos veces con un lapso de varios años para conocer la evolución de los alumnos. Es un intento que salió mal debido a razones políticas, no técnicas. ¿Me dice usted que una organización de países no es inmune al politiqueo ni a las presiones de los grupos de interés? ¿Que la OCDE no tiene la prístina pureza de la ONU? No me lo puedo creer.
Ironías aparte (es que he leído esta mañana unas chorradas del exministro pactista -que goza de un reconocimiento para mí inexplicable- en este sentido), lo cierto es que un sistema longitudinal permite conocer con más precisión el valor añadido de cada sistema educativo, pues deja de estar contaminado por las cuestiones socioeconómicas, pero qué le vamos a hacer.
En resumen, que PISA tiene sus problemas, pero lo bueno que tiene es que cualquiera, con los conocimientos apropiados (y si no, los puede adquirir estudiando) tiene un acceso libre a todos los datos, todas las decisiones técnicas y todos los manuales: su transparencia es total (a ver cuándo aprendemos en España). Además de las del artículo, hay más críticas posibles: si PISA mide más inteligencia que conocimientos (que no comparto por razones demasiado prolijas para desarrollar aquí, pero que es muy interesante), si es totalmente fiable en países menos desarrollados, etc. Pero es que poner en duda todo lo que se hace es la madre de la ciencia (y de San Agustín, por cierto).
Gracias, José Manuel. Llegó a casa tras dar una conferencia sobre la evaluación de la excelencia en la escuela y me voy a dar otra sobre Sócrates. Llueve a mares. ¿Mandaré mi verbo a luchar contra los elementos?
EliminarTe que hacerte una pregunta más sobre los porcentajes de PISA y el PIB. A ver si puedo esta noche.
Desde luego, cuando don Gregorio recomienda a alguien....no hay que decir más.
ResponderEliminarRecomiendo encarecidamente a mi amigo Claudio, de quien he aprendido mucho más de lo que él se imagina.
EliminarCalli, calli...Yo sí que, gracias a usted, aquí estoy, aprendiendo a leer a mi edad, en vez de jugando al dominó en el casino.
EliminarBy the way. Muy bueno lo de ayer. Le hace salir a uno con ganas de no ya de leer, sino de releer. Y eso tiene no poco mérito.