WonkaPistas

25.4.06

Copiando en el examen

Esta anotación la hago con los retales proporcionados por varios comentaristas habituales de WonkaPistas. El otro día hablé de cómo los directores de colegios públicos en Madrid, entre otros insiders, se resisten a la publicación de los datos individuales de cada centro de la prueba de Sexto de Primaria que se celebrará en unos días. La conversación fue bastante animada, y resalta en ella un tema: el de la probabilidad de que unos centros no sean del todo honestos y "engañen" en sus resultados. Vean cómo.

Fabián dijo:

1) Hace falta garantía de igualdad de condiciones y seguridad al hacer las pruebas. Con el examen del año pasado me llegaron comentarios de colegios en que los profesores daban respuestas a los alumnos para subir la nota del centro. Me hablaron en particular de un colegio público en la ciudad en la que vivo.

Y Salvatierra, algunos días después apuntilló:

Datos, tiene que haber datos, todos los datos. Para empezar que la prueba la pasen evaluadores externos (uno por aula) y no uno por centro (como el año pasado); y disponer de los datos de alumnos matriculados en cada centro y alumnos que pasan la prueba. Hay comentarios en el sector (privado, sea concertado o no) de que en determinados centros van a evitar que ciertos alumnos hagan la prueba; hay centros preparando específicamente la prueba (que no es lo mismo que preparar a los chicos para conseguir los conocimientos que les permitan pasar la prueba).

Ambas cosas, me parece a mí, son bastante graves para la validez de la prueba. Aun así, yo seguiría siendo partidario de la publicación de las notas de cada centro--y esperaría de la discusión pública local el que se desvelasen algunas de esas irregularidades o trucos. Discusión pública local quiere decir: prensa local, conversaciones en las AMPAs (ya no se dice APAs), conversaciones informales entre los padres, tomas de postura de interesados, etc., etc. Y, si el problema fuera generalizado, sería una estupenda razón (una más) para que los políticos se la envainaran y diseñaran pruebas mejores [por cierto, los comentarios al respecto de Juan Ramón en la misma anotación son todos muy pertinentes; también algunos de Lipe].

Pero lo peor no es eso. Lo peor es lo siguiente. Teramenes puso un vínculo a una información de El País. Por lo que se cuenta en ella parece que algunas CCAA de las que participan en una de las pruebas internacionales más reconocidas, el PISA, preparan a los alumnos para que rindan mejor en estas pruebas. No sólo "copian" en los exámenes los alumnos o los centros, sino las administraciones públicas. Apañados vamos. Así lo sugiere este texto.

Cataluña y País Vasco ... facilitan a sus educadores material de años anteriores. Josu Sierra, director del Instituto Vasco de Evaluación e Investigación ve "normal" que un profesor utilice ejemplos de pruebas para trabajar con sus alumnos. "Están en su derecho de hacerlo [...] Es algo pedagógico. No creo que se pueda entrenar, porque las pruebas son cada año distintas. Y sólo con conocer el mecanismo de las pruebas y algunos ejemplos no se hace nada". De hecho, en la página web de su departamento (www.isei-ivei.net) pueden encontrarse modelos de pruebas.

Su homólogo catalán, Jordi Saura, asesor técnico del Consejo de Evaluación del Departamento de Educación de la Generalitat, está de acuerdo. "Informar no implica ninguna acción posterior sistemática. Pero está bien realizar algún ejercicio con anterioridad". Saura recuerda la complejidad de Pisa. "Este año habrá 13 modelos de exámenes distintos. Como máximo en cada clase sólo habrá tres alumnos con la misma prueba". La Consejería de Educación de Castilla y León sigue una política diametralmente distinta. Pilar González, jefa del Servicio de Calidad de Evaluación, destaca que en su comunidad sólo se remite una carta a los directores de los centros escogidos para el estudio para informarles de su nueva situación y pidiéndoles colaboración. "Para mejorar el sistema educativo, que es lo que pretendemos, necesitamos algo completamente objetivo y riguroso. Y para ello creemos que lo mejor es la mínima intromisión posible, para neutralizar cualquier sesgo que podamos introducir", afirma. La Junta castellanoleonesa no facilita material de las pruebas de Pisa, aunque reconoce que "otra cosa es que los profesores lo hagan por su cuenta".


Dentro de lo que cabe, los truquis del País Vasco y de Cataluña no parecen muy graves (si es que se aplican de manera general y no van destinados sólo a los centros que participarán en la prueba). Lo de la Junta de Castilla y León parece como de Pilatos: pero no le toca ser Pilatos, sino velar por que las pruebas se celebren con las mayores garantías. La que no parece que esté velando mucho por ellas, de todos modos, es la Junta de Andalucía. ¿A qué les suena lo siguiente? (mis negritas)

Para evitar la sorpresa de alumnos y docentes, la Junta organizó dos reuniones con los directores de los centros seleccionados para el informe, una en Córdoba (11 y 12 de enero) y otra en Granada (17 y 18 de enero). Su propósito era informarles sobre qué es Pisa y el papel que ellos debían jugar. También se invitó a los docentes a "informar" previamente a los alumnos sobre las características de la prueba. Esta petición generó un vivo debate en ambos encuentros. El eje de la discusión giraba en torno a un documento entregado por la Junta con el siguiente encabezamiento: "Pautas de actuación a desarrollar por los centros educativos". En su punto tres podía leerse que en las reuniones de trabajo de los equipos directivos de los principales departamentos involucrados (Ciencias, Lengua, Matemáticas y Orientación), se debería abordar, entre otras cuestiones, lo siguiente: "Una programación de actividades que faciliten el conocimiento y habilidades necesarias para realizar este tipo de pruebas". Ese debate, unido a que se les hiciese entrega a los directores de pruebas Pisa de años anteriores, hizo que algunos profesores se preguntaran "si se les estaba pidiendo que se entrenase a los chavales", como recuerdan directores consultados, presentes en ambas reuniones. "De ninguna manera se hablaba de entrenamiento", señala rotundo Antonio Benítez, "sólo que se diese orientación e información. Lo otro sería convertir el instrumento de medición en un objetivo por sí mismo". Benítez también aclara que ese epígrafe, como todo el documento, podía ser alterado, ya que era un borrador. En efecto, poco después de los encuentros, los mismos docentes recibieron un documento en el que el famoso punto tres había sido modificado. Así, los departamentos implicados adoptarían ahora "una serie de medidas para que el desarrollo de la prueba se realice con rigor, seriedad y motivación, y al mismo tiempo refleje la realidad objetiva del centro". Este cambio conformó a los directores consultados, y tras la reuniones, la encuesta de las jornadas reflejó una valoración del 80% por su parte, indica Antonio Benítez. Pero el hecho de facilitar documentación Pisa ya liberada a los docentes -una práctica legal que también se realiza en Cataluña y País Vasco- y que éstos puedan aplicarlo con sus alumnos, ha hecho temer a algunos docentes la posibilidad de que los resultados no refleje fielmente la realidad. Expertos en estadística consultados por este periódico también creen que cualquier intromisión en un estudio de estas características puede "enmascarar el modelo estadístico". Los mismos expertos señalan que lo mejor es no informar demasiado a los sujetos que van a ser estudiados. Antonio Benítez confía en que no se dé esta desvirtuación, en parte porque "los profesores saben que no se les está evaluando a ellos, ni a los alumnos, ni a los centros, ni al curriculum". Y en todo caso, no cree que, porque un profesor explique cómo es Pisa con pruebas anteriores, se desvirtúe la realidad de algo tan complejo como un sistema educativo.

Vaya, a mí me suena a que la Junta de Andalucía no quiere que sus datos sean malos (como, quizá, lo fueron en 2003) y está procurando que los alumnos de los centros que van a hacer las pruebas--no los alumnos de 4º de la ESO en general--sepan de qué van las pruebas, también lo sepan los profesores y "preparen" específicamente a sus alumnos para mejorar sus resultados. Suena a eso, no digo que mi sospecha sea verdad. Es verdad que la Junta ha retirado el párrafo más problemático de sus instrucciones para los centros, pero da la impresión de que el mensaje ha sido enviado y, ojo, el mensaje no lo envía un igual, sino un superior, esto es, una instancia que te puede facilitar o complicar la vida como director y como centro.

Sea o no cierto que la Junta quiere "copiar" en el examen, los expertos [ah, los expertos, esos innominados e innominables], en esta ocasión, tienen razón: cuanto menos sepa el sujeto que va a ser analizado de las características del análisis mejor. Sólo por el hecho de haber mantenido estas reuniones, y, encima, haberse tratado los temas como se han tratado, la muestra de centros andaluces, está, digamos, un poco tiznada. Eso sí, la sorpresa de directores, profesores y alumnos se ha evitado.

5 Comments:

  • La Comunida de Madrid dijo el año pasado que iba a facilitar información en una web sobre la prueba para que los colegios se prepararan, parece que esa información no ha sido colgada (gracias a Dios dice la menda), mandó una circular a los colegios diciéndoles que hicieran dictados y cálculo (¿no lo hacían antes?, parece que no a tenor de los resultados). Y las editoriales están ofreciendo a los colegios materiales específicos para preparar la prueba.

    ¿Cuál es el objetivo? ¿Que los resultados sean mejores para que la Comunidad pueda decir que lo suyo va bien?.

    Ya sé que es (casi) inviable pero las pruebas básicas tendrían que ser por sorpresa ..... todos los niños de 6º tienen que escribir sin faltas de ortografía (no como los blogers que hay que ver qué gazapos se leen en internet) y tendrían que poder hacerlo cualquier día con boli, o lápiz, con rotu, o con pluma, de lunes a domingo 365 días al año. Y lo mismo las cuentas..... Ah, y viva el liberalismo, pero la prueba tendría que ser obligatoria y niño que no la pasa (aunque ses suspendido) certificado de escolaridad que no se expide.

    By Blogger Salvatierra de Barros, at 4/26/2006 9:06 a. m.  

  • Dejaos de historias, la pureza estadística no va a existir nunca en este tipo de pruebas y si dijeren que la hay, no me la creería y dudaría de los resultados. Cualquier institución de enseñanza que sabe que las pruebas de examen que haga le afectarán, hará lo que sea necesario para mejorar los resultados. Habrá que conseguir que los incentivos sean tales que la mejor opción sea mejorar el aprendizaje de los alumnos. Pero por supuesto, los centros adaptarán sus formas de enseñanza a los métodos de evaluación.

    Si la evaluación de los alumnos seguirá unas pruebas de tipo X, los centros se intentarán conseguir que sus alumnos sean buenos resolviendo pruebas de tipo X. En España, en mi experiencia, somos muy buenos resolviendo exámenes donde se exige memorizar mucho y resolver problemas de solución única y bastante malos cuando llega la hora de exponer críticamente ideas y desarrollar problemas en los que la solución depende de las hipótesis adoptadas. Condidero que con las pruebas de Pisa los colegios españoles se enfrentan a un tipo de examen diferente al que estaban acostumbrados y que no encaja bien con los métodos de enseñanza actuales. Lo que deberían decidir es con qué información y preparación van a ir todos los colegios. Al menos así se podrían comparar los datos de España algo mejor.

    Creo que los resultados serán válidos para la comparación dentro de unos años, cuando todo el mundo conozca las reglas del juego y se adapte a ellas. Por ahora, habrá que tomarlos con una pizca de sal, o mejor un buen puñado. Siempre que haya suerte y los publiquen con un nivel de desagregación adecuado, claro.

    By Anonymous A.V., at 4/26/2006 9:59 a. m.  

  • 1) Uno busca maximizar los resultados de su evaluación tanto más cuanto más relevantes son las decisiones que se vayan con esos resultados. Por ejemplo, en la CAM, si todos los colegios son evaluados y los datos son públicos, son los propios colegios los que van a quedar bien o mal. Sin embargo, con el informe PISA, son las CC.AA. las que van a quedar bien o mal. Por eso, en la CAM quienes intentan boicotear la prueba son los propios directores de centros y con el informe PISA son los políticos.

    2) De tanta relevancia como se le dan a los resultados, vamos a conseguir que nuestro currículo lo diseñen los de la OCDE (en el caso del informe PISA). Si en España (o en alguna CC.AA.) se considera que el tipo de evaluación que se hace, que las competencias que se miden, no se corresponde a lo que nosotros queremos desarrollar en nuestros alumnos, nos arriesgamos a quedar mal en la foto. Imaginad este titular: "España, el país con peor rendimiento en ciencias". A ver quién es el político que defiende que nosotros queremos enseñar ciencias de otro modo, aunque puede ser una postura teóricamente defendible.

    3) Si estamos de acuerdo con el marco teórico en el que se fundamento el proceso evaluador, de tal modo que el currículo que se desprende de tal prueba es igual al currículo que nosotros estamos como adecuado, y se garantiza la validez de contenidos de la prueba, no hay mucho problema en entrenar para la prueba. Dicho 'a lo bruto': si la OCDE evalúa la competencia de nuestros alumnos en ciencias; si nosotros creemos que ser competentes en ciencias es lo mismo que la OCDE cree que es ser competentes en ciencias; si la evaluación de la OCDE hace que tengas buenos resultados sólo si eres competente en ciencias; conclusión: el único entrenamiento para mejorar los resultados es hacer a los alumnos más competentes en ciencias. ¿Parece que no hay mucho problema, no?

    By Anonymous Juan Ramon, at 4/26/2006 11:14 a. m.  

  • Afortunadamente, en España ya hemos pasado el sarampión PISA, y no se va a considerar esa prueba como modelo curricular, aunque algunos lo habían propuesto. El problema de la importancia de PISA en España es la ausencia de pruebas propias realmente bien hechas y transparentes, lo que dejaría PISA como un buen complemento, y no la prueba esencial que parece que es. Una evaluación seria por parte del Inecse y las comunidades nos permitiría diseñar nuestros propios programas. Por ejemplo, España es más curricular, lo que no le beneficia cuando se presenta a PISA; pero es bueno saberlo a la hora de diseñar los currículos, no para quedar bien en PISA, sino para saber si es razonable la orientación PISA y adecuar nuestro sistema. PISA es útil también para evitar evaluaciones complacientes.

    Y estoy de acuerdo con Juan Ramón y Wonka en que no habría mucho problema en preparar las pruebas de PISA, si lo hicieran todos los centros, ya que es un buen modo de mejorar las competencias. Lo que me parece execrable es preparar sólo a los centros que se presentan al examen, como pretenden en Andalucía.

    Y no, la pureza estadística no va a existir, pero no estaría de más vigilarla lo más posible. Debería haber un observador externo por clase y no por centro. Y debería hacerse mucho mejor la prueba (según parece, este año han tomado PIRLS como base, y no el engendrito del año pasado, pero no lo he comprobado, sólo lo he oído).

    Una cosa más. Existe una resistencia de los centros y de los profesores a evaluarse que creo que entra dentro de la lógica. Y entra dentro de la lógica porque están cansados de ver cómo los políticos les piden participar en la recogida de datos, y luego se les niegan los datos elaborados; porque las administraciones sólo ofrecen los datos favorables y no dan la cara por su gestión ante los ciudadanos; porque no justifican con datos sus políticas; y porque, en fin, el Inecse tiene prohibido hacer comparaciones entre comunidades, lo que evita sonrojos de los políticos. Si los políticos no dan la cara, ¿cómo pretender que la den los docentes? Los políticos deberían comenzar a dar ejemplo.

    By Blogger teramenes, at 4/26/2006 2:52 p. m.  

  • La pureza estadística a la que me refería es a que el individuo desconozca las características del experimento. En el caso de exámenes me parece que es imposible y que, como decís, lo mejor es que todos estén igual de bien preparados para afrontarlos.

    Copio y pego una carta al director del Economist que no sé si viene al caso pero me ha gustado mucho:

    [...] what makes a good teacher? When I was 15, I conducted a survey in my school. I first asked students to rank their teachers and then asked teachers to describe what they thought made a good teacher. The teachers whom the students ranked best said that if students wanted to learn, they would learn, and if they didn't, they wouldn't. The teacher whom the students ranked worst had a very elaborate theory as to what a teacher should and should not do in order to be successful. The correlation between how much responsibility the students bore for their grades (according to the teachers) and how good the teachers were (according to the students) was almost perfect.

    Douglas Keenan
    London

    No da datos sobre la muestra ni nada parecido pero mis recuerdos escolares coinciden bastante con lo que propones este británico.

    By Anonymous A.V., at 4/26/2006 6:00 p. m.  

Publicar un comentario en la entrada

<< Home