LOS RESULTADOS DE PISA 2012 ENTRE LO ESPERADO Y LO ESPERABLE

Durante el mes de diciembre pasado se dieron a la luz los resultados de la evaluación internacional del rendimiento educativo Programa para la Evaluación Internacional de Estudiantes (PISA, por sus siglas en inglés) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), quizá el ejercicio evaluativo más conocido y de mayor cobertura que se realiza en el mundo y que cada tres años vuelve a poner en el centro del debate nacional e internacional uno de los temas más redundantes y a la vez menos efectivos de la política educativa de las últimas tres décadas: la evaluación educativa. Nuevamente los dos únicos países de Latinoamérica que forman parte de la OCDE —la entidad que realiza el estudio—, ocupan los dos últimos lugares — México, en específico, el último—, y con ello no se dejaron esperar las expresiones de nuestras más altas autoridades declarando que los resultados de México no eran “los esperados”, motivo por el cual me parece oportuno reflexionar un poco sobre los mismos y lo que debe entenderse por esperado y esperable.

En las últimas tres décadas hemos asistido a la aparición de evaluaciones realizadas por la International Association for the Evaluation of Educational Achievement (IEA),¹ la OCDE, la Organización de las Naciones Unidos para la Educación, la Ciencia y la Cultura (UNESCO),² etcétera; en México, como en casi todos los países de la región, hemos visto un boom de este tipo de ejercicios promovidos inicialmente a partir de los empréstitos del Banco Mundial (BM) o del Banco Interamericano de Desarrollo (BID) en la década de los noventa, pero lamentablemente no existe evidencia empírica que pueda relacionar unívocamente dichas iniciativas evaluativas con alguna mejora en los niveles educativos de ningún país, lo cual pone en tela de juicio su validez como apoyo a la educación.

Es más, ejercicios simples de estimación aritmética de los resultados posibles de México y los países de la región a partir de los resultados obtenidos en los primeros esfuerzos de evaluación educativa internacionales (1998), ya hacían prever que ésta, por sí misma, no traería avances importantes respecto a la mejora educativa.

Prueba de lo anterior fue la interpolación y posterior extrapolación de los resultados de TIMSS 1995 combinados con los del LLECE de 1997, calculadas por el autor de este artículo en 1998 para un documento interno de la UNESCO,³ que a continuación se presentan en una sola escala, la cual se construyó a partir de la transformación de las escalas originales en la disciplina de Matemáticas a unidades de desviación estándar, utilizando la posición relativa de Colombia en la nueva escala (único país latinoamericano que participó en los dos estudios y publicó sus resultados)⁴ para integrar las dos evaluaciones, obteniendo el siguiente cuadro:

En términos generales, en el cuadro anterior puede observarse que:

1. Fue posible visualizar la probable ubicación de los distintos países latinoamericanos que no participaron en el estudio del TIMSS, a partir de los resultados obtenidos por Colombia en ambos estudios;
2. La gran diferencia observada por Cuba en el estudio del LLECE con relación al resto de los países latinoamericanos, ubicaría a este país en el estudio del TIMSS dentro de los 10 mejores (en cuarto lugar);
3. En esta nueva escala, el resto de los países latinoamericanos conformarían —junto con la República Islámica de Irán, Kuwait y Sudáfrica— el grupo de menor rendimiento educativo;
4. Partiendo de esta interpolación y aun cuando ocultó sus resultados en el estudio de TIMSS, a México se le pudo ubicar sólo por encima del antepenúltimo lugar de dicho estudio (lugar 38 de 42), y
5. Esta interpolación, elaborada en 1998, constituyó un pronóstico de los resultados de los países latinoamericanos en posteriores estudios de carácter internacional, pronóstico que se ha confirmado invariablemente en todos los estudios realizados hasta la fecha.

Como apoyo a lo mencionado en el párrafo previo, en el cuadro superior se sintetizan los resultados de los estudios internacionales más importantes realizados hasta hoy.

Considerando lo anterior, conviene insistir en algunas precisiones que ya he mencionado en otros textos, mismas que de no hacerse, podrían generar conclusiones sobre o sub dimensionadas.

1. En primer término, es necesario acotar el ámbito de estas investigaciones en su representatividad real; para ello, tomaremos como ejemplo el caso de pisa 2012, el último examen de gran cobertura internacional. Puede observarse que sólo participan 65 países de los cerca de 220 que existen en el mundo; ello indica que cerca de 70% de los países no participa en estos estudios, hecho que pone en tela de juicio aseveraciones tales como: “La calidad educativa de los países latinoamericanos o México ocupa los últimos lugares del mundo”, tan presentes en los encendidos discursos de los artificiosos críticos educativos tan comunes en los medios masivos de comunicación;
2. Continuando con el mismo ejemplo, el perfil de los países que sí participan en pisa es en su mayoría de alto o medio desarrollo humano, conforme al índice generado por las Naciones Unidas a este respecto, mientras que la mayor parte de los países que no participan son de desarrollo humano medio o bajo. Si consideramos que un porcentaje importante de las variaciones de los puntajes del rendimiento educativo está fuertemente asociado al nivel socioeconómico de los alumnos, es entonces de prever que estos países —los que no participan en este tipo de evaluaciones internacionales—, obtendrían puntajes similares o menores que los conseguidos por los países latinoamericanos;
3. En otro orden de ideas, es prudente llamar la atención de investigadores y planificadores de la educación a la verdadera importancia de los resultados de estos estudios: no sólo deben servir para ubicar la posición relativa de nuestros países respecto a los demás, ya que mediante la instrumentación de procedimientos estadísticos relativamente simples —ya mencionados—, puede preverse con cierto margen de precisión dicha ubicación, con lo que resultaría entonces sumamente oneroso para el país hacer las inversiones que estudios como éste exigen para su realización (aproximadamente 1 millón de dólares por ejercicio), y
4. Como resultado de aquello, resulta de vital interés que ante lo predecible de los resultados generales de este tipo de estudios, se ponga especial atención a la profundización y democratización de los hallazgos explicativos de dichos resultados, con objeto de instrumentar estrategias que permitan revertirlos. De esta manera, se evitará que queden circunscritos únicamente a los rankings o para el conocimiento y uso casi exclusivo de las cúpulas responsables de la investigación educativa, instancias que lamentablemente poco o nada inciden en el quehacer educativo cotidiano. Debe buscarse permear la estructura operativa del sistema educativo, llegando hasta maestros y directivos escolares, en quienes radica la verdadera capacidad de transformar los actuales estándares de la calidad de la educación y, de ser posible, también a padres de familia, alumnos y la comunidad en general, para que todos los estamentos sociales conozcan lo que está sucediendo, sus explicaciones y cómo obrar en consecuencia.

Dicho lo anterior, quisiera expresar algunas breves reflexiones sobre la diferencia entre lo esperable y lo esperado, que parecen estar detrás de las declaraciones de nuestros políticos responsables de la educación. Esperable es aquello que, a partir de las condiciones y características de un fenómeno dado, puede preverse del mismo; en cambio, lo esperado más bien es aquello que el observador desearía que sucediera, basado no necesariamente en evidencia alguna, sino más bien en sus propias expectativas o sentimientos.

Lo primero es algo que deriva de evidencias científicas o empíricas concretas, mientras que lo segundo es un sentimiento que depende de la perspectiva entendida, o no, de quien observa el fenómeno. En el primer caso se plantea una tendencia y en el segundo un deseo. El primero tiene altas probabilidades de suceder, en tanto que en el segundo caso nada garantiza que acontezca. El primero es relativamente complicado y riguroso determinarlo, pero encierra menor riesgo de fallar; el segundo es comparativamente fácil de establecer, pero implica un alto riesgo de no suceder en los hechos.

Ahora bien, volviendo al análisis de las evidencias duras, partamos entonces del resultado “bruto” del informe pisa 2012 recientemente publicado y presentado en el gráfico de arriba, en el que los países de la OCDE están representados en azul, el promedio de la OCDE en negro y los países invitados en verde (el tono más oscuro corresponde a los países latinoamericanos), indicando los puntajes promedio sólo para los países que se consideran emblemáticos para un posterior análisis contextualizado.

En el Gráfico 1 se evidencia visualmente la predicción hecha en 1998: los países latinoamericanos (sean parte o no de la OCDE) ocupan el último cuarto de la distribución, con los puntajes promedio más bajos; Chile a la cabeza de ellos con 423 puntos, seguido inmediatamente por México 10 puntos más abajo, los demás posteriormente, hasta encontrar a Perú en el último lugar de todo el ejercicio con 368 puntos.

Igualmente, en el gráfico se destacan por sus características algunos otros casos. Shanghái-China, con el puntaje promedio más alto (613), seguido de Singapur (573), Finlandia (519), Vietnam (511), Noruega (489), Estados Unidos (481), Israel (466) y Qatar — último lugar no latinoamericano— (376).

A partir de la información anterior conviene volver al tema de lo esperable y lo esperado. Lo esperable del comportamiento de la calidad educativa de México —y por extensión, de los países latinoamericanos en ejercicios similares a pisa, ahora y en los susiguientes años— será siempre en el último cuarto de la distribución (en el grupo de los últimos lugares), si y sólo si, se continúa con la misma mezcla de países que participan en estos ejercicios y, concomitante con lo anterior, no cambian las demás variables del desarrollo social de nuestros países.

Ahora bien, dado lo previsible de estos resultados y lo contundente de esta predicción —como ya se vio en el Cuadro 2 y en el Gráfico 1—, es conveniente ahondar un poco más en los mismos, a efecto de aislar las demás condiciones sociales que afectan a nuestra educación, que no necesariamente son del resorte de los sistemas educativos, pero que sí son determinantes en los rendimientos observados por investigaciones como pisa, con el objetivo de tener una mejor y más objetiva perspectiva de nuestros sistemas educativos. Para ello repetiré un ejercicio de contextualización que ya he publicado en otros textos de mi autoría,6 pero ahora actualizado con los datos de PISA 2012 ⁷ y del Índice de Desarrollo Humano (IDH) que elabora la ONU para 2013,⁸ en el cual se determina la línea de regresión o predicción de puntajes de pisa en función del IDH y la distancia que cada país se aleja positiva o negativamente de dicha predicción (residuos). En el gráfico siguiente se destacan los mismos países que en el anterior, para mejor seguimiento de lo que quiere ejemplificarse.