Archivo AZEducaciónInvestigación

LOS MITOS DEL CAMBIO

Evaluando El Futuro Portada De La Revista Educación y Cultura AZ #0

Los sexenios inician con la falsa premisa de que todos los cambios son posibles, y terminan con la justificación de que nadie está obligado a lo imposible. Como todo gobierno, el de Fox se confrontó, inevitablemente, con la pregunta de qué cosas debían cambiar y cuáles permanecer. La única vía sensata para responder la cuestión hubiese sido, desde luego, repasar críticamente los supuestos educativos del viejo régimen y, sobre todo, evaluar con los datos disponibles, así fuera de manera sucinta, los resultados de las últimas reformas. El gobierno del cambio anunció transformaciones en prácticamente todos los ámbitos del sistema; su consigna -“una educación de buena calidad para todos”- revelaba, no obstante, que el gobierno de la alternancia trató de realizar la tarea que se propuso el viejo régimen, antes que superarla.

Por razones comprensibles, los funcionarios de un gobierno que termina tienden a exaltar sus logros y se sienten compelidos a decir a los nuevos gobernantes lo que de- ben hacer. Para adelantarse al irremediable juicio del futuro, el gobierno de Fox publicó una imagen de sexenio desde un año antes de que terminara la administración (SEP, 2005). También emprendió, junto con la Universidad de Harvard, una evaluación de los principales proyectos del régimen (la reforma de preescolar, Enciclomedia, Escuelas de Calidad y el Programa Nacional de Lectura (Reimers et al, 2006). Advirtieron, en obvia referencia a los funcionarios del nuevo gobierno: “Nada es más costoso al sistema educativo que la interrupción indebida e injustificada de iniciativas pro- metedoras sin haber estudiado la contribución real que pudiesen tener” (Ibíd., 6).

Durante demasiado tiempo permaneció oculto a la opinión pública cuánto y qué aprendían los niños en las escuelas. En el año 2000 se filtró a la prensa que los jóvenes mexicanos habían obtenido muy bajos puntajes en una prueba internacional de rendimiento. La prueba de 2003 arrojó resultados igualmente preocupantes. Los listados dejaban ver que los niños mexicanos obtienen puntajes deplorables, aún más, que sus promedios bajaron entre 2000 y 2003: en lectura pasó de 422 puntos a 400, en ciencias de 422 a 405, y en matemáticas de 387 a 385 puntos. De nueva cuenta, la opinión pública se planteó las preguntas obvias: ¿qué significaban estos resultados?, y ¿quién o quiénes eran los responsables?

La opinión pública no se pregunta sobre los indicadores ni reflexiona con lógica sistémica. Intuitivamente, el opinador espontáneo supone que todo hecho tiene y debe tener una causa (y también una intención), pues la realidad le resulta accesible como una relación causal de eventos e intenciones. Cree que toda relación es una explicación y que toda explicación es una guía para la acción. Le resulta incomprensible que ciertas relaciones no sean causales (por ejemplo, entre el gasto por alumno en los países y el rendimiento promedio que alcanzan los jóvenes en matemáticas) (cfr. PISA 2003, 102).

  ¿Quién es responsable de los pobres resultados alcanzados en la denominada prueba PISA?, ¿los alumnos?, ¿los maestros? Martínez Rizo (2003) responde que la prueba evalúa a la sociedad en su conjunto y no sólo al sistema escolar. Cierto, pero los resultados muestran también que la escuela sigue siendo incapaz de compensar las limitaciones culturales y económicas en que viven los niños, que es el motivo sustancial de la educación pública. No hay forma de que los responsables de conducir el sistema y la enseñanza escapen a la responsabilidad y a la crítica por los pobres aprendizajes de los alumnos.

  San Agustín decía: “Si me preguntan ¿qué es el tiempo?, no lo sé; si no me lo preguntan, sí lo sé”. Lo mismo ocurre con la calidad. Cuando los funcionarios y los opina- dores espontáneos afirman que la escuela o el sistema deben aumentar su calidad, ya se mueven en cierta comprensión de la calidad. Y desde tal comprensión brota el aserto de que la calidad debe mejorarse. Y a partir de esa preconcepción también han desechado, del gobierno de Zedillo para acá, la idea de que pueda de- terminarse conceptualmente lo que es la calidad. Los funcionarios no están interesados en problemas lingüísticos y no se preguntan qué es la calidad, sino cómo mejorarla mediante una fórmula similar a la siguiente: mejores materiales + mejores métodos de enseñanza = mejor calidad.

El Programa Escuelas de Calidad (PEC) se propuso impulsar un proyecto de mejora de la gestión que facilitara la construcción de ambientes de aprendizaje. Se trataba de desarrollar un mínimo de condiciones para generar una dinámica de mejora continua, propiciar la construcción de colectivos democráticos, de mejoras en las instalaciones, de participación de los padres de familia y de desarrollo de competencias directivas en las autoridades de la escuela. El gran objetivo fue promover la transformación de la organización y el funcionamiento cotidiano de las escuelas de nivel básico, para asegurar que se asumiera colectivamente la responsabilidad de los resultados educativos, para que se establecieran relaciones de colaboración entre sí y con el entorno de la escuela, y para que se comprometiera con el mejora- miento continuo de la calidad y la equidad de la educación. La evaluación realizada por Heurística Educativa a lo largo de varios años muestra que sólo una pequeña cantidad de escuelas que participan en el PEC (6 por ciento) tuvo una mejora continua en los rendimientos de sus alum- nos; aún más, también muestra que en una cantidad similar de escuelas participantes en el programa, los rendimientos de los alumnos disminuyeron continuamente. Además, los que asisten a escuelas participantes en el PEC no obtuvieron mejores rendimientos académicos de los obtenidos por los alumnos que asisten a escuelas que no participan en él (Loera y Cázares, 2005, 45-46).

Los evaluadores del Programa Nacional de Lectura también tienen claro que las acciones emprendidas no han logrado producir lectores competentes. Pero no lo interpretan como problema, sino como paradoja. Dicen que los programas de la SEP son exitosos, pero no para producir aquellas competencias que son evaluadas en pruebas como las de PISA (Reimers et al, 2006, 155). Sostienen que la disponibilidad de libros y la capacitación son condiciones necesarias, pero no suficientes para producir lectores avanzados. Encuentran que los niños tienen acceso a libros y leen por placer, pero que no tienen las competencias avanzadas que evalúan pruebas como la de PISA. Atribuyen los bajos rendimientos a la práctica y concepción de los maestros acerca de la lectura. Agregan que los programas no especifican, de manera suficiente, esa graduación de competencias, y que el asunto recibe atención insuficiente en los cursos de capacitación. Los argumentos parecen lógicos, pero se trata de una falsa paradoja, de un argumento de prestidigitador, pues no puede ser calificada de exitosa una estrategia que produce tan mediocres resultados. Y tampoco puede ser tildada de exitosa una estrategia o unos programas que no logran incidir, en forma decisiva, en las concepciones de los maestros, en las prácticas del aula y en la formación de los docentes.

La investigación SEP-Harvard es cuidadosa. Utilizan un lenguaje cuidado y dicen que Enciclomedia “bien podría producir aprendizajes significativos”; también afirman que “se mostró que la combinación de recursos (libros de texto, recursos electrónicos y sugerencias didácticas) era capaz de incrementar el aprendizaje” (Ibíd. 386), pero en realidad no lo muestran con datos contrastables. La investigación encargada por el Instituto Latinoamericano de la Comunicación Educativa (ILCE) sí se propuso indagar el efecto de Enciclomedia sobre el aprendizaje. Se trata de un estudio poco riguroso que muestra, no obstante, los mediocres rendimientos del programa (Día de Cossío, et al 2006) .1

La investigación educativa ha podido mostrar la complejidad de los cambios en la escuela y en el aula. Revisiones de la experiencia del cambio han llegado a decir que las reformas no producen cambios en el aula, sino que es el aula la que introduce cambios en las reformas. Pero nada impide que cualquiera proclame que tiene la clave para transformar la educación. Y nada impide que alguna autoridad se lo crea. Enciclomedia fue diseñado parco hasta la nulidad en argumentos didácticos, pero con las más altas pretensiones educativas posibles. Sus diseñadores proclamaron inicialmente, entre otros objetivos, que transformaría la práctica docente y mejoraría, sin duda, la calidad de la enseñanza y el aprendizaje. Lo aseguraron sin presentar argumentos convincentes de cómo ocurriría tal maravilla. Y por ese solo hecho la prudencia más elemental aconsejaba someterlo a un escrutinio riguroso, antes de enquistarlo en el sistema. Se puede explicar por qué un proyecto mal formulado no puede lograr transformaciones profundas en la compleja realidad de las aulas, pero no hay forma de impedir que muchos vean un aura de maravillosa innovación en la tecnología, o de evitar que la autoridad le intuya un valor, o que se convierta en una verdad para quien está dispuesto a creer. Los funcionarios no tienen por qué saber cuáles proyectos son consistentes y rigurosos y cuáles son producto de la ocurrencia. Es comprensible que, a menudo, no les importe saber, lo verdaderamente grave es que tampoco les importe no saber a la hora de tomar decisiones.

La SEP presenta como un logro del gobierno del cambio el componente educativo del programa Oportunidades. Dice que las evaluaciones muestran efectos positivos en la escolarización de los estudiantes beneficiados, en particular entre aquellos que han participado en el programa por más tiempo (SEP, 2005). Desde el gobierno de Zedillo la evaluación externa de Progresa mostró, sin lugar a dudas, avances importantes en la salud, la nutrición y en los índices de inscripción y asistencia escolar de las niñas y los niños de las familias más pobres del país. Eso se ha ratificado en el caso de Oportunidades. Desde Progresa, el programa supone una secuencia causal de cuatro eventos: 1) que una mejor nutrición produce mejoras en la asistencia y en los rendimientos escolares; 2) que la escolaridad produce aprendizaje creciente; 3) que éste se convertirá en mayor productividad; y 4) que a ésta le corresponderán en el futuro previsible ingresos que rompan el círculo de la pobreza.

Los evaluadores han interpretado -de acuerdo con los supuestos de la teoría del “capital humano”-, que la mayor escolaridad se traduce, de manera inequívoca, en un incremento en la percepción de ingresos a lo largo de la vida (Sedesol 2000, 4 y 77 ss) . Han sido muy claros en el momento de deducir los logros, pero extremadamente cautelosos para explicar la ausencia de impactos significativos en el rendimiento escolar. No dijeron lo que parece obvio: que como resultado de las becas otorgadas por el programa los niños y las niñas de las zonas más pobres del país se inscriben más y asisten a la escuela con mayor frecuencia, pero no aprenden más.

La evaluación más reciente ha ratificado la falta de efectos en el rendimiento. Incluso encontró, “de manera inesperada”, impactos negativos significativos en matemáticas, es decir, que los niños de familias participantes en Oportunidades estaban aprendiendo menos que los niños de familias no inscritas en el programa (véase Parker et al, 2005).

Obviamente, mientras los niños pobres no mejoren su aprendizaje y su rendimiento escolar resulta inepto esperar que la simple asistencia a la escuela incremente, en el futuro, su productividad o su ingreso. Pero los evaluadores no cuestionan el modelo implícito de Oportunidades, sino que se preguntan una y otra vez por la causa de los bajos rendimientos escolares de los alumnos. Es decir, desplazaron el punto de evaluación hacia la SEP y sus programas. Pasan los años y los evaluadores externos de Oportunidades siguen sin dar una explicación coherente de la ausencia de impactos en el rendimiento. Anteriormente los evaluadores habían es- peculado con que “el problema del aprovechamiento tiene que ver con el interés de los alumnos, la estructura del currículum y el nivel de competencia de los maestros”. Asumieron que se trata de un problema propio de los programas compensatorios del Conafe. (Sedesol, 2000, 20).

El gobierno del cambio planteó a inicios del sexenio una revisión de los programas compensatorios, pues existía evidencia empírica de que no estaban cumpliendo con su función de compensar las desigualdades. Aún más, el estudio más grande y sistemático mostró que dentro del programa prevalecía y se reforzaba la inequidad en la distribución de recursos educativos (véase Muñoz I, et al, 1995 y 1999). No obstante, ni la SEP ni los diputados han evaluado los programas compensatorios con el criterio de la compensación, sino con implícito criterio minimalista de que los peores rendimientos del peor alumno de la peor escuela resultan aceptables y no obligan a un cambio de estrategia, mientras sean similares a los (bajísimos) rendimientos que obtienen los alumnos que viven en condiciones similares y asisten a escuelas análogas.

En el medio del lenguaje natural, que es un indicador del pensamiento de la época (y que también es usado por los funcionarios, por los organismos internacionales y en la reflexión especializada) es común que la desigualdad se atribuya al crecimiento demográfico, a la dispersión de la población rural, al contexto, a los rezagos históricos y a las condiciones de atraso cultural de las familias pobres, a su falta de recursos o de empeño. Es común, asimismo, sostener que la compensación consiste en remediar, paliar o equilibrar las desigualdades. La compensación ha tenido como referencia la noción de rezago y la insuficiencia de recursos en zonas rurales pobres. Desencajada de la justicia, la noción de compensación se ha pervertido hasta convertirse en un simple adjetivo del mundo administrativo. Por esa razón la estrategia de compensación quedó atada a un modelo operativo de entrega de materiales. Por eso a nadie sorprende que la SEP defina un programa compensatorio como un conjunto de acciones para disminuir disparidades y subsanar carencias (SEP, 1995, 134). Y eso explica que hoy día en el Conafe se denomine “escuela compensada” a la que recibe recursos educativos.

Los diseñadores de las políticas públicas contra la pobreza tienen en mente reducir la desigualdad y la falta de equidad, no suprimirlas. La semántica del mercado se ha apoderado del pensamiento educativo; la educación ya no se concibe prioritaria- mente como el ejercicio de un derecho; ahora se asume como si fuera un bien que se adquiere y se posee, que tiene un costo de producción, que se produce a partir de insumos y que contiene un valor en el mercado (una utilidad marginal mensurable). Los recursos públicos destinados a la educación dejaron de tener como referencia la justicia y la igualdad para convertirse en gasto productivo, en inversión y, más recientemente, en subsidio. A los apologistas del momento presente les tiene sin cuidado la justicia y los derechos, salvo cuando refieren a los beneficios. Tratan a la justicia como si fuera un objetivo y a la equidad como si fuera una variable que admitiera grados. Suponen que hay distintos niveles de igualdad y de justicia. No se preguntan (porque sería una pregunta absurda) cuánta inequidad o injusticia debe admitir una persona o cuánta es admisible en un municipio o en este país. Pero la justicia no es una variable que admita niveles o grados. No hay más o menos justicia, de la misma forma que no hay más o menos muerte.

Bajo el desencanto de los sueños utópicos, así como de sus envejecidos críticos, nadie concibe ya, seriamente, un mundo sin pobreza y sin injustas desigualdades. En una época entregada a premiar la calidad y obsesionada por la diversidad, la justicia dejó de ser un imperativo irrefutable. La desigualdad y la inequidad, por tanto, ya no son consideradas como asuntos de justicia o como un problema moral, sino como un crucigrama metodológico. Se trata no sólo de un proceso histórico, sino de una operación mental y de la pobre condición moral de nuestro tiempo.

¿QUÉ HACER?

¿Conviene seguir esperando que la educación contribuya a la justicia? ¿Transitará el sistema educativo de su obsesión histórica por el conocimiento y de su orientación actual por los valores hacia una preocupación más elemental: ¿el aprendizaje de los mecanismos prácticos de interlocución, el ejercicio de los derechos y la práctica de la igualdad? ¿Qué significa enseñar justicia en un país injustamente desigual como México? ¿Cuáles han de ser en un país injusto las estrategias nacionales de justicia?

Eliot aconsejaba mirar el futuro sin optimismo y el pasado sin nostalgia. Hoy, al iniciar un nuevo sexenio, sabemos que los fundamentos del sistema educativo y de la sociedad no merecen conservarse en sus condiciones actuales y que casi nada es lo que debe ser. Los escépticos, a quienes hay que escuchar de manera especial, nos recuerdan el carácter reversible de los cambios centrados en la cuestión electoral y la naturaleza incierta de las transiciones, pues en ellas todo puede ocurrir, incluso -como dice Touraine- que se vaya de ninguna parte hacia ningún lado. Al iniciar el sexenio estamos urgidos, todos, de nuevos debates, de nuevas visiones y perspectivas. De cualquier forma, no es difícil darse cuenta que el horizonte igualitario que nos viene de la Ilustración está en crisis. En el horizonte se vislumbra un acrecentamiento de la desigualdad, como si fuera una serpiente que, mordiéndose la cola, se alimentara de sí misma.

No hay duda: sin cambios de fondo en la escuela, y sin visiones compartidas acerca del problema moral que plantea la construcción de una sociedad justa, se im- pondrán de nueva cuenta los valores culturales del conocimiento y la excelencia; y que los promotores de la mano invisible lograrán legitimar las relaciones funcionales del mercado como la nueva forma de vida buena.

1

1) Las escuelas no fueron seleccionadas de manera aleatoria, ni cubren el universo de atención.

2) Se impusieron un nivel muy laxo (del 5%) para aceptar como válida la hipótesis de diferencia significativa entre variables, y no el 1%, o menos, como se acostumbra y se aconseja en cualquier texto de estadística.

3) La prueba de contraste que utilizaron incluye reactivos para campos (como historia y educación cívica) sobre los que no existen instrumentos de medición confiables.

4) Los resultados de la prueba inicial mostraron que los grupos de quinto eran comparables, pero no los de sexto. No obstante, la prueba continuó.

5) En el quinto grado se encontraron diferencias de dos centésimas entre los rendimientos de los alumnos (los alumnos con Enciclomedia pasaron de 32 a 43 puntos y los alumnos sin Enciclomedia pasaron de 30 a 39 puntos). Los analistas no advierten que el desglose por materia muestra que la diferencia se debe al puntaje obtenido en los reactivos de educación cívica.

6) En el sexto grado la diferencia es de dos centésimas. El desglose por materia muestra que los alumnos sin Enciclomedia tuvieron un rendimiento mayor que los que sí tuvieron ese recurso. Lo mismo ocurre, aunque en menor medida, en español y en geografía. Sobre ese punto no se pronuncian los evaluadores.

7) Al exponer los puntajes por materia de las evaluaciones inicial y final, los analistas indican que en todos los casos se observan diferencias positivas pero, ya que los datos de los grupos con Enciclomedia son similares a los grupos sin Enciclomedia, concluyen que: “es poco probable que el avance observado sea atribuible al uso de Enciclomedia”. Por si fuera poco, ellos mismos des- califican el valor de los resultados aduciendo que en ellos pudo influir la falta de condiciones adecuadas para que los niños respondieran en un contexto de calma; aducen que pudo influir el “desinterés o apatía de los niños al contestar el examen”, debido a una gran cantidad de evaluaciones aplicadas al término del ciclo escolar”; aducen, asimismo, problemas de validez de la prueba, pues pudo influir la mala interpretación o la comprensión de las preguntas o bien debido a preguntas sobre temas que no fueron abordados. Se trata, obviamente, de una justificación, pues eso valdría también para los alumnos sin Enciclomedia.

8) A pesar de lo anterior, y sin hacer análisis de consistencia y significación de las diferencias de los promedios obtenidos por materia en las pruebas inicial y final, los evaluadores concluyen literalmente: “Podemos afirmar que, en los grupos observados, Enciclomedia tiene efectos en el aprendizaje de ciencias naturales e historia y menor impacto en geografía. No muestra efectos relevantes en matemáticas y español de ambos grados, pero favoreció educación cívica de quinto grado” (Ibíd.: 106). No dicen, sin embargo, que en español de quinto y en matemáticas de quinto y sexto los niños sin Enciclomedia tuvieron puntajes mayores que los niños con Enciclomedia (Ibíd.: 105).

Pedro Gerardo Rodríguez

LA CALIDAD DE LA EDUCACIÓN BÁSICA EN MÉXICO: BALANCE 2006

Artículo anterior

LA EVALUACIÓN EN EL SECTOR CULTURAL

Siguiente artículo

Más en Archivo AZ

También te puede interesar