Hace dos años, publiqué un artículo en El Universal con el título “Lo que los resultados de PISA no explican”. En ese artículo defendí la tesis de que los resultados de los cuestionarios de PISA –que se utilizan para obtener información del contexto escolar y familiar de los estudiantes– no deberían de utilizarse para hacer comparaciones de los estudiantes entre naciones. Lo anterior se sustenta en el hecho de que las opiniones o percepciones de las personas son distintas entre un país y otro y no obedecen a la misma racionalidad. Por ejemplo, la idea de suficiencia de equipamiento de una escuela indígena mexicana es completamente diferente a la de una escuela urbana en Finlandia. Sin embargo, la opinión de dos estudiantes de estos dos centros escolares puede coincidir en uno u otro sentido (ej.: estar de acuerdo en que el equipamiento es suficiente). El punto que deseo subrayar es que no es lo mismo comparar los resultados de aprendizaje (ej.: competencias que un estudiante domina en matemáticas) que las opiniones subjetivas de los estudiantes (ej.: motivación por el estudio). La publicación del artículo antes mencionado causó escozor entre las más altas autoridades de la OCDE, acusándome de querer debilitar la credibilidad del proyecto PISA. Nada más errado. Mi única intención fue informarle al público mexicano, como lo hago hoy, que la prueba PISA tiene sus grandes aciertos, pero también sus grandes limitaciones.

Veo, con tristeza, que en el informe de PISA 2108 se siguen cometiendo los mismos errores a los que me referí anteriormente: comparar las opiniones de los estudiantes mexicanos con las de alumnos de otros países. Por ello, en un artículo periodístico reciente salió una nota declarando que PISA 2018 mostraba que nuestros estudiantes tenían un bajo aprovechamiento académico, pero mostraban una “alta satisfacción con la vida”, respecto al promedio de los países que participaron en este estudio comparativo. Es decir: burros pero contentos.

En la Nota de País (México) que publicó la OCDE sobre los resultados de PISA 2018, se leen las siguientes declaraciones (cito textual):

  • Alrededor del 85% de los estudiantes … estuvo de acuerdo o muy de acuerdo con que su profesor mostró placer en la enseñanza (promedio OCDE: 74%).

  • … 83% de los estudiantes informaron que están satisfechos con sus vidas (… promedio OCDE: 67%).

  • Alrededor del 89% de los estudiantes … estuvo de acuerdo o muy de acuerdo con que generalmente pueden encontrar una salida a situaciones difíciles (promedio OCDE: 84%).

  • … 83% de los estudiantes (promedio OCDE: 67%) reportó que están satisfechos con sus vidas.

  • La mayoría de los estudiantes de los países OCDE (63%) tiene una mentalidad de crecimiento (estuvieron en desacuerdo o muy en desacuerdo con la afirmación "Tu inteligencia es algo sobre ti que no puedes cambiar mucho"). En México, el 45% de los estudiantes tiene una “mentalidad de crecimiento” (comillas mías).

Igualmente, se puede leer en esta Nota de México que, en opinión de los directores mexicanos:

  • … el 48% de los docentes de las escuelas aventajadas y el 51% de los docentes de las escuelas desaventajadas están "totalmente certificados".

  • …las escuelas …tienen un nivel similar de personal y un nivel de escasez de material más alto que el promedio OCDE…

Las afirmaciones anteriores son ejemplos de que la OCDE sigue comparando lo incomparable: opiniones subjetivas de los estudiantes y de los directores de distintos países. No se hace explícito en este resumen que estas opiniones se deben a patrones de comportamiento diferenciado de las personas que comparten distintas culturas. Así, está muy bien estudiado que los latinoamericanos somos muy dados a presumir que “nos va muy bien en la vida” (aunque nos vaya mal) y que “somos muy felices” (aunque no lo seamos). Lo anterior puede ejemplificarse con los resultados de PISA 2012 en los que los estudiantes mexicanos que dijeron tener mayores oportunidades para aprender razonamiento matemático obtuvieron menores puntuaciones en PISA, que su contraparte. Asimismo, en PISA 2015, los estudiantes mexicanos manifestaron tener mayor interés, gusto y motivación por el estudio de las ciencias que los jóvenes de muchos de los países de la OCDE; sin embargo, como ya sabemos, los resultados de aprendizaje de México fueron los más bajos entre esos países. Un comportamiento opuesto lo observamos entre las culturas asiáticas, quienes tienden en lo general a manifestarse con mayor pesimismo respecto a sus motivaciones y logros, pero en la prueba PISA figuran entre los que obtienen resultados más altos.

Sin dejar de considerar que la información de contexto es importante para caracterizar a los estudiantes de un país y tratar de explicar (hasta donde sea posible) algunos resultados de PISA, es importante ser excesivamente cautos en su interpretación y evitar hacer comparaciones directas entre países (como las que aparecen en los medios informativos). Los cuestionarios de contexto basados en la opinión de estudiantes no tienen la misma validez ni confiabilidad que las evaluaciones de aprendizaje.