Retos en la evaluación de la calidad
de la educación en América Latina
F. Javier Murillo *
Marcela Román **
* Profesor Titular en Métodos de Investigación y Evaluación en Educación, Universidad Autónoma de Madrid, España.
** Investigadora principal del Centro de Investigación y Desarrollo de la Educación (cide), Universidad Alberto Hurtado, Chile.
Síntesis: La brecha entre lo que se considera calidad de la educación y las acciones que se toman para evaluarla en América Latina es cada vez más amplia. Desde esa perspectiva, en este artículo se plantea la necesidad de asumir un enfoque global e integrador de la evaluación. Para ello se proponen principios y criterios que deben sostener esta evaluación y ser coherentes con los principios de aprendizaje a lo largo de la vida, una educación para todos y el desarrollo integral de los estudiantes como finalidad. También se sugieren cuatro temas que parecen prioritarios para avanzar en la mejora de la evaluación de la calidad de la educación: evaluar a los docentes, a los estudiantes en sus escuelas y al funcionamiento de las administraciones educativas; valorar la participación de la sociedad en la evaluación; abordar el estudio de factores asociados, y plantear la necesidad de la participación social en el diseño de las políticas de evaluación.
Palabras clave: evaluación; calidad de la educación; América Latina.
Desafios na avaliação da qualidade da educação na América Latina
SÍNTESE: Na América Latina, a brecha entre o que se considera qualidade da educação e as ações que se realizam para avaliá-la é cada vez maior. Dessa perspectiva, neste artigo suscita-se a necessidade de se assumir um enfoque global e integrador da avaliação. Para isso, propõem-se princípios e critérios que devem sustentar esta avaliação e que devem ser coerentes com os princípios de aprendizagem ao longo da vida, uma educação para todos e tendo o desenvolvimento integral dos estudantes como finalidade. Também se sugerem quatro temas que parecem prioritários para avançar na melhoria da avaliação da qualidade da educação: avaliar os docentes, os estudantes em suas escolas e o funcionamento das administrações educativas; valorizar a participação da sociedade na avaliação; abordar o estudo de fatores associados, e suscitar a necessidade da participação social no projeto das políticas de avaliação.
Palavras-chave: avaliação; qualidade da educação; América Latina.
Challenges for education quality assessment in Latin America
ABSTRACT: The gap between what is considered education quality and the initiatives that have been implemented in order to assess it in Latin America is getting wider every year. From that point of view, in this paper we will expose the necessity of having a global and comprehensive approach to assessment. In this sense, we will present principles and criteria that have to support this assessment and that have to be coherent with life-long learning principles, universal education and the complete development of students as a goal. We will also suggest four subjects that strike us as priorities in order to improve the assessment of education quality: teacher assessment, student assessment at school, and school administration assessment; appreciation of society involvement in assessment; approaching the study of associated factors; and establishing the necessity of social involvement in the design of assessment policies.
Keywords: assessment, education quality, Latin America.
1. Introducción
No sería demasiado arriesgado afirmar que uno de los elementos que están caracterizando la educación en todo el mundo, en estos primeros años del siglo xxi, es el énfasis puesto en los sistemas de evaluación de la calidad. De esta forma, prácticamente en la totalidad de los países de América Latina existen centros, unidades, institutos o departamentos ligados a los ministerios de educación, destinados a evaluar la calidad de la educación de sus sistemas. Es así que las evaluaciones internacionales, nacionales o regionales se multiplican constantemente.
Todo ello está generando gran cantidad de información, que aún queda por demostrar si realmente contribuye a optimizar la calidad de la educación y a reducir las inequidades existentes en los sistemas educativos, cuando incluso puede estar, en algunos casos, ayudando a impedir progresos en los mismos. Así, si antes afirmábamos que no hay mejora sin evaluación, ahora estamos convencidos de que la evaluación puede ser el mayor obstáculo para el avance.
Un hecho especialmente llamativo es que, hace ya tiempo, los sistemas educativos de los distintos países de América Latina se hallan en tensión por el grave desencuentro entre las acciones que se toman en la esfera de la evaluación de la calidad de la educación y el concepto que de esta se tiene. Esta tensión se ve reflejada en la fragmentación y reducción de los ámbitos de calidad evaluados y la cada vez mayor integralidad exigida y demandada al concepto de calidad educativa a lograr.
Efectivamente, mientras el concepto de calidad educativa concita una adhesión mayoritaria y creciente por asumirlo y comprenderlo en tanto referente que ha de atender los aspectos cognitivos, expresivos, ciudadanos y valóricos necesarios para el desarrollo integral de los seres humanos, los sistemas nacionales de evaluación permanecen atrapados en una conceptualización de la calidad que se reduce y limita a dar cuenta del desempeño de los estudiantes en áreas curriculares claves, tales como lengua, matemáticas, ciencias y ciencias sociales.
Así, frente a la imperiosa necesidad de generar condiciones y recursos para que las escuelas ofrezcan una educación integral acorde a las necesidades de un pleno desarrollo e inclusión social, las sistemáticas y generalizadas evaluaciones nacionales entregan poderosas señales que hacen del logro cognitivo lo prioritario e importante de medir y monitorear en el campo educativo formal. Más aún, se ha responsabilizado a los sistemas nacionales de evaluación de haber privilegiado un concepto de calidad restringido a ciertas disciplinas y estándares que difícilmente pueden cumplir las escuelas que atienden a los sectores pobres, pudiendo incluso incentivar la selección y exclusión para contar con los mejores estudiantes.
Las críticas a esta fragmentación y reducción de la calidad educativa por parte de las evaluaciones nacionales estandarizadas se ven incrementadas por la desconfianza y dudas respecto de la utilidad de la información que ellas generan, la confiabilidad y validez de las pruebas utilizadas, los criterios de medición y la falta de consideración de la diversidad social y cultural del país en el que se aplican, entre otros elementos. Una de las más duras críticas es, sin duda, aquella que sostiene que las mediciones nacionales y las comparaciones internacionales terminan legitimando diferencias que, en lugar de dar cuenta de desigualdad en los procesos educativos, aluden al origen social de los niños.
En este artículo, partiendo de la necesidad de un enfoque global de la evaluación de la calidad educativa se abordan, en primer lugar, algunos de los avances necesarios en esta temática en América Latina y, en segundo término, una propuesta de temas pendientes para mejorar los sistemas de evaluación y, con ello, la calidad y equidad de los sistemas educativos. Como no podía ser de otra manera, unas ideas conclusivas cierran este artículo.
2. Punto de partida: Un enfoque global e integral de la evaluación de la calidad
Evaluar la calidad de la educación exige un enfoque global e integral (Tiana, 2006, pp. 19-30), acorde a la complejidad y finalidad del objeto de dicha evaluación. Efectivamente, una adecuada evaluación de la calidad de la educación requiere una perspectiva desde la cual la valoración de sus componentes esté interrelacionada y se asuma la interdependencia que existe entre dichos componentes. La evaluación desde esa mirada exige hacer un juicio de valor sobre cómo se desarrolla y qué resultados genera el conjunto del sistema educativo y sus componentes; es decir, desde la estructura, organización y financiamiento; el currículo y su desarrollo; el funcionamiento de las escuelas; el desempeño de los docentes; lo que aprenden los estudiantes en el aula y sus consecuencias en el acceso a oportunidades futuras y movilidad social. Requiere un juicio de valor que alimente la toma de decisiones dirigida a la mejora de los niveles de calidad y equidad de la educación y lo haga a partir de una adecuada lectura y análisis macro y micro, así como desde los propios actores del escenario educativo.
Esta perspectiva se basa, igualmente, en el reconocimiento de que la educación es una tarea compartida y desarrollada en un sistema que implica interacciones entre diferentes actores, contextos y organizaciones. Hoy se apuesta por sistemas integrales e integrados de evaluación que incluyan y articulen la evaluación de los diferentes componentes del sistema, tales como la evaluación de alumnos, docentes, directores, escuelas, programas y las administraciones educativas (orealc-unesco, 2007). De esta forma, no es posible considerar a los estudiantes sin pensar en sus docentes, en las escuelas, en los programas educativos, en la administración y en el sistema educativo como un todo indisoluble.
Con excesiva frecuencia se ha evaluado la calidad educativa desde una perspectiva claramente reduccionista, mediante la aplicación de pruebas de rendimiento acompañadas, en algunos casos, por cuestionarios que buscan recoger alguna información de contexto. Sin desconocer la utilidad de esa propuesta, parece claro que tal planteamiento significa restringir un término tan rico y complejo a una sola de sus dimensiones.
De esta forma, para mejorar la calidad de la oferta educativa y distribuirla de manera justa, no basta con la aplicación de buenas evaluaciones aisladas. Se requiere que estas dialoguen entre sí y formen parte de un mismo proceso de análisis, reflexión y proyección de lo hecho y necesario por hacer, desafío que, centrándose en el campo educativo, se inserta en una visión de cambio de la sociedad en su conjunto.
Una rápida mirada por los países de la región permite identificar una serie de acciones, procesos y estrategias más o menos institucionalizada, desarrollada por los sistemas de evaluación que han abordado algunos de los distintos componentes, casi siempre de manera aislada del resto.
En la actualidad se han desarrollado en la totalidad de países de América Latina buenas experiencias de evaluaciones nacionales centradas en el aprendizaje de los alumnos (Ferrer, 2006; Murillo y Román, 2008; Román y Murillo, 2009, pp. 31-46). La mayoría se inicia en la década de los noventa o pocos años antes y dan cuenta del rendimiento de los estudiantes de educación primaria y secundaria en lengua y matemática, sectores de aprendizajes esenciales para el acceso al conocimiento, manejo y apropiación de códigos culturales básicos que posibilitan la inclusión en las sociedades. En los últimos años, varios países han incorporado la evaluación del desempeño en ciencias de la naturaleza, ciencias sociales y, en algunos pocos casos, se está evaluando también aspectos del desarrollo cognitivo y afectivo de los estudiantes (Román y Murillo, 2009, pp. 31-46).
En la mayoría de los países se han desarrollado sistemas de evaluación externa del desempeño docente, normalmente con repercusiones en el escalafón docente o en el salario. Sin embargo, estas aparecen aisladas de la evaluación de otros componentes del sistema, especialmente de la evaluación de las escuelas, relación que parece imprescindible para conseguir una evaluación equitativa y justa (Murillo, 2007a, pp. 75-92).
Dentro de la producción de conocimiento de la última década sobre equidad y calidad de los sistemas escolares, resalta el componente relativo al perfeccionamiento y gestión de los recursos humanos, en particular, de los profesores y, más recientemente, de los directores de centros educacionales (cepal, 1998; Gajardo, 1999; Machado, 2000; Morduchowicz, 2002; Robinson, 2007; Elmore, 2008; ceppe, 2009). A pesar de lo evidenciado por distintas investigaciones e intervenciones en relación con el peso que adquiere la función directiva en la cultura escolar, en la calidad del trabajo docente, en la generación de mayores expectativas y eficacia de los establecimientos y, por ende, en el rendimiento escolar, el análisis y la evaluación del desempeño de los directores han estado postergados en casi toda América Latina por cerca de dos décadas de reforma educativa.
Aisladas y menos frecuentes son las iniciativas de evaluación de escuelas, tanto de carácter externo como experiencias de heteroevaluación, impulsadas por las administraciones educativas que consideren su complejidad institucional en sus múltiples dimensiones: gestión escolar, procesos de enseñanza-aprendizaje, vínculos con la comunidad y la familia, resultados y logros de sus estudiantes, gestión de la convivencia y el clima, uso de recursos, infraestructura y equipamiento, entre otros.
No hay experiencias de evaluación de la propia administración educativa y de sus servicios, tales como: distribución y uso de recursos humanos y materiales diferenciados según necesidades institucionales, selección y contratación de recursos humanos, efectos y consecuencias de los programas educativos implementados, ofertas de formación continua pertinentes, sistemas de supervisión y apoyo a los establecimientos, entre otros.
Considerando lo anterior y la necesidad de evaluar la calidad educativa desde la perspectiva señalada, resulta ineludible contar con sistemas de evaluación integrados que consideren, como ya se dijo, los diferentes componentes del sistema educativo y cuya evaluación permita que estos se apoyen y retroalimenten. Esto no significa, por ejemplo, que los resultados de la evaluación de los alumnos deben ser la base de la evaluación de los docentes, a la vez que la de los directores. La evaluación de los distintos componentes (alumnos, docentes, directores y otros profesionales, instituciones, programas y administraciones educativas) tiene sus propios objetivos, metodología y repercusiones diferenciadas. Sin embargo, para que la información generada sea útil y oportuna para la toma de decisiones y optimice la calidad de la educación de los sistemas, debe ser analizada y considerada como parte de un todo y no de manera aislada (Román y Murillo, 2009, pp. 31-46).
3. Los principios y criterios que han de sostener
la evaluación de la calidad de la educación
Frente a la trascendencia de la tarea, la pregunta es: ¿por dónde empezar? Siendo coherentes con el sentido y propósito de la educación en tanto derecho humano y de la necesaria calidad que ha de tener, los sistemas de evaluación han de asumir, en primer lugar, la relevancia de poder acceder a la educación desde edades tempranas y permanecer en ella al menos hasta integrarse al mundo del trabajo en condiciones de igualdad. En segundo lugar, una evaluación que considere el derecho de todos y cada uno de los estudiantes a ser evaluados y recibir los resultados, es decir, superar la mirada sobre el rendimiento o aprendizaje promedio para ocuparse de la diversidad social y cultural general. Un tercer aspecto urgente de considerar es la integralidad del desarrollo de los sujetos, siendo central el potenciar y fortalecer el avance cognitivo de los mismos, en tanto dimensión fundamental que asegura el acceso al conocimiento, así como el desarrollo de las destrezas y habilidades para su apropiación y uso, sin postergar las dimensiones valor, ética y socio-afectiva implicadas en la formación integral de los sujetos que una educación de calidad ha de promover y asegurarse de que a todos alcancen.
3.1 La evaluación de la educación bajo el principio
del aprendizaje a lo largo de toda la vida
Considerando que la educación es una tarea a desarrollarse a lo largo de toda la vida, la evaluación no puede centrarse en una sola etapa, por muy importante que esta sea para la formación de las personas. De esta forma, parece necesario que los sistemas de evaluación de la calidad de la educación consideren aquellos otros sistemas educativos alternativos a los escolares formales, al mismo tiempo que aborden no solo las etapas obligatorias en la trayectoria formativa de los sujetos sino también aquellas anteriores y posteriores, pero igualmente relevantes en dicho recorrido. Es decir, es preciso desarrollar sistemas de evaluación coherentes con el principio de aprendizaje a lo largo de la vida (long life learnig).
La educación en la etapa preescolar muestra que los niños que acceden a ella llegan mejor preparados para enfrentar los procesos y desafíos escolares del sistema formal obligatorio que aquellos que no la tienen. En efecto, la etapa del desarrollo que va desde el nacimiento hasta los 6 ó 7 años es considerada, desde la biología y las ciencias cognitivas, como el período más significativo en la formación del individuo (Young, 2002; oecd, 2006; unesco, 2007); por ello, no resulta casual que la asistencia a la educación preescolar sea una variable de alta significación en la explicación del éxito escolar en los primeros años de educación básica. Esta experiencia formativa formal a edad temprana permite al niño desarrollar habilidades y conceptos básicos como la ampliación y manejo de nuevo vocabulario, comunicación oral y expresiva, desarrollo del pensamiento lógico, orientación espacial y desarrollo de la motricidad, entre otros, necesarios para un mejor aprovechamiento de su trayectoria escolar (cide, 1998).
En el caso de los niños de familias pobres y vulnerables, esta educación preescolar cobra aun mayor relevancia, ya que contrapesa las condiciones desfavorables que pueden darse en sus familias, tales como bajo capital cultural y social (poca escolaridad de los padres, pobreza de lenguaje, códigos restringidos, redes sociales insuficientes, etc.), limitaciones en el acceso y uso de recursos educativos y falta de ambientes favorables para la formación y el aprendizaje. Así, el poder acceder a una educación preescolar ha mostrado ser efectivo para contrarrestar el fracaso escolar en los primeros años de la enseñanza básica (p.ej. Ramey y Ramey, 1999; unicef, 2000; unesco, 2007).
Del mismo modo, en esta etapa la relación con otros, aparte de la familia, favorece el desarrollo y fortalecimiento de la autoestima en sus diferentes dimensiones. Durante los primeros años de vida los niños aprenden a experimentar el sentido y significado de la confianza y la aceptación básica de su propio valor; las competencias; la capacidad de enfrentar problemas y desafíos; el sentimiento de pertenencia que implica sentirse aceptado y formar parte de grupos de personas con las cuales se relaciona; la visión y aceptación de lo que él es y la idea que se forma sobre sí mismo, sobre el sentido de la vida y el lugar que él ocupa en ella (Filp, 1994). Resulta relevante entonces poder evaluar cuáles son las características y condiciones de una buena educación preescolar, así como la accesibilidad y disponibilidad de espacios en donde esto ocurra.
Por otra parte, la alta tasa de deserción escolar en la región, que afecta principalmente a los más pobres y vulnerables, deja un alto número de niños y jóvenes sin la posibilidad de acceder al conocimiento y con pocas oportunidades de movilidad social, truncando su desarrollo personal y ciudadano. Cobra así especial relevancia la existencia de espacios y alternativas no formales para la recuperación y reinserción de los estudiantes que abandonan el sistema formal. La no existencia de estos espacios, tanto como su falta de pertinencia y relevancia, favorecen la anomia social y refuerza los circuitos de marginalidad y exclusión social (Román, 2009).
Con ofertas alternativas adecuadas es posible que los niños y jóvenes desarrollen proyectos de identidad personal y laboral basados en la adquisición de capacidades y competencias que no alcanzaron en el sistema formal y que resultan indispensables para la incorporación y el funcionamiento en la sociedad y el mundo moderno. Desde allí entonces que se requiera contar con sistemas de evaluación que den cuenta de las condiciones y procesos que se ofrecen, tanto desde los propios sistemas como de organismos no gubernamentales, tendientes a reinsertar a los desertores como a ofrecerles una educación y capacitación alternativa.
Por último, tan relevante como concluir la educación obligatoria es contar con la posibilidad de una formación y actualización permanente para todos, no solo por su implicancia en la continuidad de estudios superiores (técnicos-universitarios) sino para asegurar un acceso seguro a la generación del conocimiento, tanto tecnológico como científico, necesario para lograr reorientar e innovar en el ámbito laboral de acuerdo con los nuevos desafíos y demandas propios del desarrollo y el cambio sociocultural. Es por ello fundamental que los sistemas de evaluación de la calidad integren las ofertas y espacios de formación permanente para dar cuenta de la pertinencia y utilidad de la formación de adultos.
3.2 De la evaluación de la mayoría a la evaluación de todos
Un segundo aspecto ineludible de abordar desde la evaluación de la calidad de la educación es la consideración y reconocimiento de la diversidad social y cultural de los estudiantes, de manera de generar instrumentos y estrategias pertinentes que permitan evaluar el desarrollo y desempeño adecuado de todos. Esto supone dar importantes pasos que hagan posible el tránsito desde sistemas nacionales de evaluación diseñados para la mayoría de los estudiantes hacia sistemas que asuman y sean capaces de dar cuenta de la diversidad y heterogeneidad de los niños y jóvenes, en tanto colectivos con identidades, lenguas, universos simbólicos, recursos y necesidades propias. Se requiere de evaluaciones que muestren y reflejen el desarrollo y aprendizaje de mujeres y hombres con diferentes capacidades, de estudiantes de distintos niveles socioeconómicos provenientes de variados contextos y zonas geográficas, pertenecientes a diversos grupos étnicos, o inmigrantes, entre otros, para poder dar mayor relevancia y pertinencia a la educación que estos grupos y colectivos necesitan.
Hablamos de una perspectiva evaluativa capaz de hacer emerger lo diverso y distinto de los estudiantes para, desde allí, emitir juicios válidos y pertinentes respecto de lo que ellos logran en su proceso educativo, tanto como los factores o condiciones que lo explican. Desde este enfoque, le corresponde a la evaluación responder, por ejemplo, por el tipo y relevancia de las capacidades y competencias que la escuela logra desarrollar en las diversas poblaciones estudiantiles; por el aporte que tiene la enseñanza a partir de la lengua materna; en la adquisición de habilidades y capacidades; en la comunicación oral y escrita de la lengua dominante; por las implicancias de la educación en el desarrollo socio-afectivo o la convivencia democrática de sus comunidades y estudiantes.
En otras palabras, la evaluación ha de contribuir a la mejora los niveles de inclusividad de la educación, facilitando la construcción de estrategias para que todos puedan desarrollarse plenamente a partir de sus capacidades, saberes previos, intereses y necesidades. La justicia educativa y su calidad también se deberán medir por la capacidad de los sistemas escolares de incorporar y potenciar a todos los niños y jóvenes.
3.3 La evaluación del desarrollo integral de los estudiantes
Desde el consenso social que entrega a la educación la misión y finalidad de lograr el pleno desarrollo del ser humano en tanto sujeto y ciudadano, se espera que ella fortalezca y potencie no solo las capacidades y habilidades cognitivas, sino que también se haga cargo de la dimensión socio-afectiva, ciudadana y moral de los estudiantes, promoviendo la dignidad humana a través del respeto de los derechos y libertades fundamentales, en un clima democrático potenciador de valores y principios de paz y de justicia social.
Sin duda, es relevante dar cuenta de los logros de los estudiantes en términos de la posibilidad de expresar y comunicarse, acceder y usar la información, desarrollar el pensamiento lógico, explorar y explicar fenómenos, entre otras facultades que se potencian con la enseñanza de la lengua y la matemática. Pero es igualmente relevante analizar y emitir juicios fundados respecto del aporte de la educación al desarrollo de actitudes, disposiciones y comportamientos relacionados con el conocimiento de sí mismo, las emociones propias y las de los demás, las normas y principios que orientan una buena comunicación y crean relaciones de convivencia armónicas y propositivas. En esta mirada integral han de estar presentes, con igual fuerza, los principios y criterios ofrecidos y adquiridos para la toma de decisiones que tienen que ver con respuestas éticas que hacen posible el respeto y valoración por el otro y la diversidad, así como la capacidad de proyectar y promover una sociedad justa e inclusiva.
Dos aspectos a considerar en este desafío para la evaluación: la necesaria consideración de todas las dimensiones implicadas en el desarrollo integral de los sujetos y su abordaje en tanto dimensiones completamente interrelacionadas, que se nutren y se construyen en un permanente diálogo. La evaluación tiene gran poder en orientar y presionar a los sistemas, escuelas y actores en función de aquello que será evaluado. Efectivamente, uno de los efectos perversos de la evaluación es que parece que solo es importante aquello que se evalúa, de tal forma que muchos docentes están centrando la formación en la enseñanza de la matemática o la lengua, olvidando que el desarrollo socio-afectivo y ético es tan importante como el cognitivo, y de hecho lo favorece.
Por su parte, aun cuando la escuela no señala ni organiza la enseñanza y el aprendizaje de estas dimensiones, como sí lo hace con los saberes formales, siempre incide y las afecta significativamente, siendo muy poco lo que se sabe al respecto. De esta manera, las consecuencias que la educación y la escuela tienen en estas dimensiones quedan sumergidas o ignoradas y, por consiguiente, no se conoce qué es lo que ella debe mejorar para realmente desarrollar integralmente a los sujetos.
4. Nuevos temas de la evaluación educativa
Tras esa mirada conjunta, donde hemos señalado los tres grandes retos pendientes de la evaluación de la calidad de la educación, en este tercer gran apartado abordamos cinco elementos que, como primeros y pequeños pasos, deberían ir avanzando en la consecución de esa mirada integral.
4.1 Una mirada global: estudiantes y docentes en sus escuelas
En la actualidad existe consenso en considerar a la escuela en su conjunto como el centro de la actividad educativa formal a la hora de evaluar lo que los niños alcanzan en su proceso. La información se fragmenta y no aporta mucho para la mejora requerida si, por ejemplo, los logros o aprendizajes de los estudiantes no se enmarcan y analizan en relación con las características y condiciones de la práctica docente, con los recursos disponibles, con el acceso y uso de tecnologías, con el clima de la escuela y el aula o con las expectativas que sobre ellos manifiesten docentes y directivos, entre otros. Por ello, si se quiere avanzar en calidad, los sistemas de evaluación deben considerar la escuela en su integralidad y complejidad pedagógica, social y cultural, como el espacio que mejor información puede proporcionar respecto de la eficacia, eficiencia, pertinencia, relevancia y equidad de la educación que están recibiendo los niños y los jóvenes.
La equidad se inicia y se juega en el aula y en la escuela. En consecuencia, se requiere contar con docentes justos y competentes trabajando en el aula, así como directivos atentos y preocupados por el desempeño de los profesores y su consecuencia en los avances y resultados de los estudiantes. La calidad y equidad educativa requieren la convicción profunda de que todos los niños pueden aprender y tienen el derecho de recibir los recursos, la orientación y apoyo pedagógico necesario para lograrlo y desarrollarse integralmente.
En este punto conviene remarcar que los logros y resultados de los estudiantes, así como la apropiación de principios y valores individuales y colectivos, son una clara consecuencia de las rutinas, procesos, subjetividades y prácticas de las escuelas y sus comunidades, haciendo necesario poder contar con estrategias e instrumentos que –al evaluar lo que ocurre con los estudiantes– lo hagan considerando todo lo anterior, de una manera justa y contextualizada. Resulta así imprescindible tener en cuenta todos los factores que a nivel institucional, propios de los docentes y del aula, permiten o limitan el acceso al conocimiento, a la apropiación de aprendizajes significativos y al desarrollo integral de sus estudiantes.
Evaluar la escuela en su conjunto favorece la comprensión de un micro-espacio público en el que se refleja y proyecta la sociedad a partir de realidades y contextos específicos, y en el que las acciones educativas y sus consecuencias adquieren una trascendencia relevante para orientar el desarrollo de la sociedad que se quiere alcanzar. Así, la evaluación de centros escolares que informa al sistema y reingresa los resultados a las propias escuelas y a las comunidades educativas contribuye al fortalecimiento y apoyo del sistema educativo como a las propias instituciones escolares. Ello permite que se articulen y atiendan adecuadamente necesidades de poblaciones muy diversas, desiguales y heterogéneas, entregándoles los elementos que les permitan instalar las condiciones para que cada niño obtenga aprendizajes significativos, mejore sus rendimientos y se incorpore y aporte como ciudadano pleno a la sociedad.
4.2 Evaluar el funcionamiento de las Administraciones educativas
La posibilidad de ofrecer una educación de calidad en cada escuela se sostiene y depende de manera importante en la calidad de la gestión que realizan las administraciones educativas. En efecto, recaen en ellas funciones y responsabilidades pedagógicas, administrativas y financieras esenciales para el buen funcionamiento de los centros y la calidad de los resultados escolares, tales como: la política de contratación de los maestros y directivos; la fijación de remuneraciones; la generación, distribución y uso de recursos; la supervisión y monitoreo de la ejecución de programas educativos y sociales implementados en las escuelas; las ofertas de formación continua pertinentes; los sistemas de supervisión y apoyo técnico pedagógico a los establecimientos, entre otros.
Así, cuando estas entidades instalan mecanismos de apoyo y supervisión técnico-pedagógicos o gestionan los recursos en función de las necesidades y características propias de los centros, se afectan positivamente las prácticas de gestión escolar, los procesos de enseñanza-aprendizaje y el sentido de pertenencia de toda la comunidad educativa, generando identidad, compromiso y responsabilidad con los procesos de aprendizajes y con las metas de logros de los estudiantes. Por el contrario, cuando persiste una visión de la administración de las escuelas centrada fundamentalmente en el gasto que estas reportan y solo se limitan a repartir los recursos entregados por los ministerios para que ellas sigan funcionando, sin atender a los procesos, avances o dificultades que presentan, su gestión no contribuye a fortalecer las acciones que permitirían mejorar aprendizajes y logros escolares, ni refuerza el desempeño profesional de docentes y directivos (Espínola y Silva, 2009). La calidad de la gestión y apoyo de las administradoras educativas de escuelas que atienden sectores pobres han sido principalmente cuestionados por no estar atentos a las necesidades de dichas escuelas y sus actores para funcionar de manera adecuada. Se objeta su rol en la entrega y distribución de recursos, así como en la supervisión y regulación que le corresponde en los aspectos administrativos que inciden directamente en el rendimiento de los niños, tales como ausentismo y abandono escolar, selección y distribución de profesores, reemplazos y estrategias para atender y controlar el ausentismo docente (Gvirtz, 2008). De la misma manera, se ha visto que cuando las administradoras realizan un apoyo pedagógico adecuado a través de sus equipos técnicos se observan mejores procesos y aprendizajes en los alumnos (Román y Cardemil, 2001; Román, 2004; Townsend, 2007). En consecuencia, resulta necesario evaluar el desempeño de las administradoras responsables de las escuelas, en todos los aspectos anteriormente mencionados.
4.3 La evaluación de la participación social en las políticas educativas
La educación es una tarea que compete a la sociedad en su conjunto. Desde esa lógica, es indispensable ampliar y fortalecer la participación social, fomentando el compromiso y la corresponsabilidad de todos los sectores de la sociedad (públicos y privados). Para ello, las sociedades y sistemas educativos han de promover la participación social, generando las condiciones para integrar y ampliar la participación ciudadana en la formulación, ejecución y evaluación de políticas educativas, con el fin de hacerlas más pertinentes, relevantes, a la vez que se las valida y legitima, asegurando así los efectos e impactos buscados desde ellas (Román y Cardemil, 2007).
Una amplia participación social en educación abre la puerta a la institucionalización de mecanismos y sistemas de rendición de cuentas y responsabilización (accountability) por lo hecho en educación. Dichos mecanismos se consolidan como aspectos determinantes para la calidad educativa y en ellos la evaluación puede aportar de manera sustantiva. Al respecto, son al menos cuatro los elementos implicados en la accountability que reconoce la literatura: a) información sobre la calidad de los procesos y resultados del sistema educativo; b) estándares necesarios para saber cuál es la distancia entre los logros alcanzados y aquellos deseables y esperados; c) autoridad para lograr que determinados actores tengan la capacidad de tomar decisiones con el fin de mejorar la calidad del servicio, y d) consecuencias para la cadena de actores que otorga el servicio (McMeekin, 2005).
Por último, y dado que la participación en educación compromete distintos niveles y actores, resulta interesante detenerse en los principales, a fin de visibilizar cuáles serán los desafíos para la evaluación.
- La participación de los organismos de la sociedad civil. Los diversos actores o grupos de interés de la sociedad civil que participan del campo educativo requieren de una atención especial desde la evaluación. Ellos difieren no solo desde sus intereses sino que respecto de su ubicación en el escenario educativo (administradores, financistas, investigadores, garantes o controladores, por ejemplo) y de sus grados de incidencia en las políticas que se diseñan e implementan en educación, todo ello considerando también su particular expresión en los distintos países.
- La participación de la comunidad local. A nivel local, la participación de asociaciones comunitarias, organizaciones territoriales, culturales, deportivas, etc., adquiere especial relevancia en la educación para dotarla de pertinencia, al mismo tiempo que evidencia roles y responsabilidades necesarias de ser ejercidas y cumplidas por sus distintos actores desde este micro espacio. Incluir una mirada evaluativa que, por ejemplo, dé cuenta de la existencia de redes de apoyo hacia las escuelas o de estrategias y espacios de articulación con empresas, universidades y fundaciones ciertamente favorecerá la calidad de la educación y recursos con que cuenten las escuelas.
- La participación de las familias. La evidencia empírica muestra una relación clara entre logros educacionales e involucramiento familiar, especialmente respecto del grado de participación de los padres en el proceso educativo (Brunner y Elacqua, 2003). Por su parte, McNeal (1999, pp. 117-144) indica que la participación de los padres reduce las posibilidades de deserción escolar, mientras que Willms (2002) constata que aminora las posibilidades de repitencia. Algunos estudios también señalan que el efecto varía según el nivel social del alumno (Lareau, 1987). De este modo, se dispone de suficiente evidencia para afirmar que los niños cuyos padres son parte fundamental del proceso formativo tienen una mejor oportunidad para adquirir las habilidades sociales que los llevarán al éxito en la escuela y en la vida. La evaluación ha de dar cuenta también del tipo de participación que aporta en tal dirección.
A partir de lo anterior, se hace visible la relevancia de la evaluación de la participación social en educación, completando así el conjunto de dimensiones y factores que determinan, finalmente, los procesos y resultados que se generan y obtienen en el micro espacio de una clase.
4.4 Del qué al porqué: Los estudios de factores asociados
En la actualidad no es posible conformarse con formular una valoración acerca del desarrollo o los resultados del trabajo de alumnos, docentes, escuelas, programas o sistemas educativos. Si se pretende aportar ideas que contribuyan a incrementar los niveles de calidad y equidad de la educación, es imprescindible dar respuestas válidas sobre las razones que explican ese desarrollo o esos resultados. De esta forma, y en simultáneo con el qué, se ha de avanzar en los porqué de la situación.
En coherencia con esta idea, la mayoría de los sistemas de evaluación de la región se han planteado la necesidad de desarrollar estudios de factores asociados. Sin embargo, aún hay mucho trabajo por realizar en esa línea. Los estudios son escasos, poco difundidos, no siempre rigurosos desde lo técnico y metodológico y, lo que a la postre es más grave, tienen una insuficiente utilización para la toma de decisiones en los diferentes niveles del sistema educativo: aula, escuela y sistema educacional, de manera tal que se hace necesario dar algunos pasos más allá para los estudios de factores asociados:
- Diseñar y desarrollar estudios (como se planteaba para la evaluación) de factores asociados para el nivel secundario, para la educación preescolar y para la posobligatoria, es decir, ampliar el estudio de factores asociados a la concepción de educación a lo largo de toda la vida.
- Estudiar el tema de los efectos escolares y sus propiedades científicas (estabilidad, consistencia, eficacia diferencial y perdurabilidad de los mismos).
- Conocer los factores asociados a la adquisición de valores.
- Profundizar en lo que ocurre en el aula.
- Diseñar y desarrollar estudios longitudinales.
Además, es importante subrayar tres ideas fundamentales que han de orientar la investigación sobre factores asociados. En primer término, es necesario nunca perder de vista a la equidad de la educación como una mirada caracterizadora de los estudios de factores asociados. Tal y como señala Murillo (2007a, pp. 75-92), una de las notas características de la investigación sobre factores asociados en América Latina ha sido la preocupación por la equidad de la educación, tanto en el objeto, muy centrada en escuelas en contextos menos favorables, como en el objetivo de estudio. Y ese valor debe permanecer y reforzarse para cambiar la situación en la región del mundo, no debe olvidarse, más claramente inequitativa.
En segundo lugar, parece necesario volver la mirada a las pedagogías. Ya no es todo gestión o acción docente, también es fundamental recuperar esa visión global de por qué, para qué, qué y cómo de la acción educadora. Así, más allá del análisis de las actividades que desarrolla el docente e incluso de las didácticas como estrategias que facilitan el aprendizaje, es preciso regresar a la pedagogía como el conjunto de saberes que se ocupa de la educación como fenómeno típicamente social y específicamente humano.
Por último, es preciso avanzar en una mirada global de los factores asociados. Una escuela de calidad no es la suma de la suma de elementos aislados. Estas escuelas tienen una forma especial de ser, de pensar y de actuar, algo que puede ser llamado como una cultura de calidad (Murillo, 2007b). Y en esta mirada global, la comunidad escolar y los autores educativos (más que los actores) cobran una especial relevancia, por cuanto son ellos quienes generan, crean y readecuan dichas formas de ser, de actuar y pensar. habilidades sociales que los llevarán al éxito en la escuela y en la vida. La evaluación ha de dar cuenta también del tipo de participación que aporta en tal dirección.
A partir de lo anterior, se hace visible la relevancia de la evaluación de la participación social en educación, completando así el conjunto de dimensiones y factores que determinan, finalmente, los procesos y resultados que se generan y obtienen en el micro espacio de una clase.
4.5 Del qué al porqué: Los estudios de factores asociados
En la actualidad no es posible conformarse con formular una valoración acerca del desarrollo o los resultados del trabajo de alumnos, docentes, escuelas, programas o sistemas educativos. Si se pretende aportar ideas que contribuyan a incrementar los niveles de calidad y equidad de la educación, es imprescindible dar respuestas válidas sobre las razones que explican ese desarrollo o esos resultados. De esta forma, y en simultáneo con el qué, se ha de avanzar en los porqué de la situación.
En coherencia con esta idea, la mayoría de los sistemas de evaluación de la región se han planteado la necesidad de desarrollar estudios de factores asociados. Sin embargo, aún hay mucho trabajo por realizar en esa línea. Los estudios son escasos, poco difundidos, no siempre rigurosos desde lo técnico y metodológico y, lo que a la postre es más grave, tienen una insuficiente utilización para la toma de decisiones en los diferentes niveles del sistema educativo: aula, escuela y sistema educacional, de manera tal que se hace necesario dar algunos pasos más allá para los estudios de factores asociados:
- Diseñar y desarrollar estudios (como se planteaba para la evaluación) de factores asociados para el nivel secundario, para la educación preescolar y para la posobligatoria, es decir, ampliar el estudio de factores asociados a la concepción de educación a lo largo de toda la vida.
- Estudiar el tema de los efectos escolares y sus propiedades científicas (estabilidad, consistencia, eficacia diferencial y perdurabilidad de los mismos).
- Conocer los factores asociados a la adquisición de valores.
- Profundizar en lo que ocurre en el aula.
- Diseñar y desarrollar estudios longitudinales.
Además, es importante subrayar tres ideas fundamentales que han de orientar la investigación sobre factores asociados. En primer término, es necesario nunca perder de vista a la equidad de la educación como una mirada caracterizadora de los estudios de factores asociados. Tal y como señala Murillo (2007a, pp. 75-92), una de las notas características de la investigación sobre factores asociados en América Latina ha sido la preocupación por la equidad de la educación, tanto en el objeto, muy centrada en escuelas en contextos menos favorables, como en el objetivo de estudio. Y ese valor debe permanecer y reforzarse para cambiar la situación en la región del mundo, no debe olvidarse, más claramente inequitativa.
En segundo lugar, parece necesario volver la mirada a las pedagogías. Ya no es todo gestión o acción docente, también es fundamental recuperar esa visión global de por qué, para qué, qué y cómo de la acción educadora. Así, más allá del análisis de las actividades que desarrolla el docente e incluso de las didácticas como estrategias que facilitan el aprendizaje, es preciso regresar a la pedagogía como el conjunto de saberes que se ocupa de la educación como fenómeno típicamente social y específicamente humano.
Por último, es preciso avanzar en una mirada global de los factores asociados. Una escuela de calidad no es la suma de la suma de elementos aislados. Estas escuelas tienen una forma especial de ser, de pensar y de actuar, algo que puede ser llamado como una cultura de calidad (Murillo, 2007b). Y en esta mirada global, la comunidad escolar y los autores educativos (más que los actores) cobran una especial relevancia, por cuanto son ellos quienes generan, crean y readecuan dichas formas de ser, de actuar y pensar. y capacidades profesionales que permitan que estas metas sean una realidad para todos.
En este marco, las entidades y sistemas nacionales de evaluación, desde donde se ha buscado dar cuenta y conocer del estado de avance o logro de esta calidad educativa, han de sostenerse sobre ciertos principios y redefinirse a partir de un nuevo paradigma. Desde allí, repasemos sus retos o desafíos más importantes.
Asumir la complejidad e integralidad del concepto de calidad educativa. Los sistemas nacionales de evaluaci ón han de enriquecer y ampliar su actual objeto de análisis. Tal como se ha señalado, dar cuenta de la calidad educativa de los sistemas o de aquella ofrecida en las escuelas es bastante más que medir los aprendizajes cognitivos que logran los estudiantes en determinadas áreas del saber, o estandarizar los logros esperados en ellas, para luego constatar las brechas o distancias con los desempeños de los estudiantes de acá o allá. Ciertamente la calidad educativa es mucho más de lo que hoy se está analizando y evaluando desde estos sistemas nacionales. Resulta así urgente desarrollar instrumentos y estrategias que permitan dar cuenta de la calidad de la enseñanza y el aprendizaje que ocurre en el ámbito de los valores, cívico, expresivo o emocional, entre otros. Igualmente importante es la mirada sistémica que la evaluación ha de tener respecto del conjunto de dimensiones y elementos a la hora de emitir un juicio sobre la calidad educativa. Así, tampoco sirve que incluyendo el conjunto de dimensiones señaladas lo haga de manera aislada o fragmentada.
- Integrar niveles, componentes y actores. Para colaborar y asegurar una educación de calidad, la evaluación ha de detenerse para mirar integradamente los desempeños, las competencias y prácticas de los distintos actores del escenario educativo. Asumir así, desde la definición de su objeto, sus dispositivos metodológicos y perspectiva analítica, dado que lo que ocurre con los estudiantes se explica y adquiere sentido por aquello que hacen o dejan de hacer sus docentes y directivos. De tal forma que los sistemas de evaluación han de avanzar en una evaluación del todo situada y contextualizada. Analizar el desempeño de estudiantes, docentes y directivos en sus escuelas, como parte y consecuencias de rutinas, culturas y realidades distintas, permite comprender lo que allí ocurre y tener mayores argumentos y certezas en aquello necesario de modificar para mejorar la calidad buscada. No tiene sentido seguir evaluando por separado estudiantes y docentes, como tampoco seguir mirando solamente a la escuela y lo que allí ocurre. La calidad de los sistemas nunca será reflejo de mejores desempeños individuales o sumatorias de buenas escuelas. Así, es importante también que se incluyan las administradoras y responsables externos de las escuelas y centros educativos, como actores y espacios relevantes de analizar desde la evaluación.
- Poner la evaluación al servicio de la calidad en educación y no y no como instrumento de enjuiciamiento y sanción de sus problemas y fracasos. Hemos dejado para el cierre el reto que estimamos quizás como el más importante que deberán enfrentar los sistemas nacionales de evaluación: hacer de la evaluación de la calidad un recurso relevante para fortalecerla y mejorarla, desplazándola de ese lugar de instancia sancionadora y crítica que solo da cuenta y nos recuerda permanentemente cuánto nos falta para conseguir dicha calidad.
La evaluación es un arma poderosa, temida y respetada en el campo educativo. Poderosa en emitir las señales que marcan el rumbo de lo prioritario por hacer a nivel del sistema, las escuelas y las aulas; temida, por las consecuencias políticas, personales y profesionales que sus evidencias acarrean, y respetada, por su creciente sofisticación y desarrollo técnico y metodológico que hacen que sea cada vez más complejo y arriesgado «discutir» con sus resultados.
Es tarea y responsabilidad de los sistemas nacionales de evaluación ocupar y poner su gran potencial al servicio de la calidad, utilizándola para que marque el rumbo, dé prioridad y entregue las señales adecuadas que presionen a los sistemas, escuelas y actores a preocuparse y fortalecer la calidad educativa en todos los niveles, espacios, poblaciones y contextos de los sistemas y países en donde tal calidad enfrenta retos distintos y cuenta con condiciones, recursos y capacidades también diversos.
Bibliografía
Bowman, B. T., Donovan, M. S. y Burns, M. S. (eds.) (2001). Eager to Learn: Educating our Preschoolers. Washington, dc: National Academy Press.
Brunner, J. J. y Elacqua, G. (2003). Informe de capital humano en Chile. Santiago de Chile: La Araucana.
Centro de Estudios de Políticas y Prácticas en Educación (ceppe) (2009). «Prácticas de liderazgo directivo y resultados de aprendizaje. Hacia conceptos capaces de guiar la investigación empírica», en reice. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 7, n.º 3.
cide (1998). Programa de Articulación de la Educación Parvularia y Básica: Informe final. Santiago de Chile: cide.
Elmore, R. (2008). «Leadership as the Practice of Improvement», en B. Pont, D. Nusche y D. Hopkins (eds.), Improving School Leadership, vol. 2. París: ocde.
Espínola, V. y Silva, M. E. (2009). Competencias del sostenedor para una efectiva gestión del mejoramiento educativo en el nivel local: una propuesta. Santiago de Chile: Centro de Políticas Comparadas de Educación (CPCE), Universidad Diego Portales / Instituto de Políticas Públicas (UDP).
Ferrer, G. (2006). Sistemas de evaluación de los aprendizajes en América Latina. Balance y desafíos. Santiago de Chile: Programa de Promoción de la Reforma Educativa en América Latina (preal).
Filp, J. (1994). Mundos que abren o cierran posibilidades. Las vidas de los niños o niñas preescolares en sectores populares en su ámbito familiar. Santiago de Chile: cide.
Gajardo, M. (1999). Reformas educativas en América Latina. Balance de una década. Santiago de Chile: preal.
Gvirtz, S. (2008). Equidad y niveles intermedios de gobierno en los sistemas educativos. Un estudio de casos en la Argentina, Chile, Colombia y Perú. Buenos Aires: Aique.
Kliksberg, B. (2000). «Seis tesis no convencionales sobre participación», en B. Kliksberg y L. Tomassini (comps.), Capital social y cultura: claves estratégicas para el desarrollo. Buenos Aires: Fondo de Cultura Económica.
Lareau, A. (1987). «Social Class Differences in Family-School Relationships: The Importance of Cultural Capital», en Sociology of Education, vol. 60, n.º 2.
Machado, A. L. (2000). «El rol de los gestores educativos en el contexto de la descentralización hacia la escuela», en Análisis de prospectivas de la educación en la región de América Latina y el Caribe. Documentos presentado en el Seminario sobre Prospectivas de la Educación en la Región de América Latina y el Caribe, organizado por la unesco en Santiago de Chile, del 23 al 25 de agosto. Santiago de Chile: Oficina Regional de Educación de la unesco para América Latina y el Caribe (orealc-unesco). Disponible en: <http://unesdoc.unesco.org/images/0013/001349/134963s.pdf>.
McMeekin, R. (2005). Hacia una comprensión de la accountability educacional y cómo puede aplicarse en los países de América Latina. Documento de fondo para el Seminario Internacional sobre Accountability Educativa. Santiago de Chile: cide-preal.
McNeal, R. B. (1999). «Parental Involvement as Social Capital: Differential Effectiveness on Science Achievement, Truancy, and Dropping Out», en Social Forces 78, pp.117-144.
Morduchowicz, A. (2002). Carreras, incentivos y estructuras salariales docentes. Santiago de Chile: preal.
Murillo, F. J. (2006). Evaluación del desempeño y carrera profesional docente. Una panorámica de América y Europa. Santiago de Chile: unesco.
— (2007a). «School Effectiveness Research in Latin America», en T. Townsend (ed.), International Handbook of School Effectiveness and Improvement (pp. 75-92). Nueva York: Springer.
— (2007b). Investigación iberoamericana sobre eficacia escolar. Bogotá: Convenio Andrés Bello.
— y Román, M. (2008). «Resultados de aprendizaje en América Latina a partir de las evaluaciones nacionales», en Revista Iberoamericana de Evaluación Educativa, vol. 1, n.º 1.
Oecd (2006). Starting Strong: Early Childhood Education and Care. París: ocde.
Ramey, C. T. y Ramey, S. L. (1999). «Beginning School for Children at Risk», en R. C. Pianta y M. J. Cox (eds.), The Transition to Kindergarten. Baltimore, MD: Paul H. Brookes Publishing.
Robinson, V. (2007). «School Leadership and Student Outcomes: Identifying What Works and Why», en acel Monograph, Series, n.º 41.
Román, M. (2004). «Enfrentar el cambio y la mejora en escuelas críticas urbanas: una mirada a la realidad y posibilidades chilenas», en Persona y Sociedad, vol. 18, n.º 3.
— (2009). «El fracaso escolar de los jóvenes en la enseñanza media. ¿Quiénes y por qué abandonan definitivamente el Liceo en Chile?», en reice. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 7, n.º 4.
— y Cardemil, C. (2001). Estudio de factores asociados al bajo rendimiento simce de escuelas focalizadas. Santiago de Chile: cide / mineduc.
— (eds.) (2007). Análisis de escenarios del campo educativo y mapa de actores: Argentina, Chile, Colombia y Perú. Santiago de Chile: Red Latinoamericana de Promoción de Políticas Nacionales de Equidad (propone) / Fundación Ford.
— y Murillo, F. J. (2009). «A avaliação das aprendizagens na América Latina. Comportamentos e tendências do desempenho escolar dos estudantes latino-americanos nos ensinos primário e secundario», en Sísifo. Revista de Ciências da Educação, n.º 9, pp. 31-46.
Tiana, A. (2006). «La evaluación de la calidad de la educación: conceptos, modelos e instrumentos», en Transatlántica de Educación, n.º 1, pp. 19-30.
Townsend, T. (ed.) (2007). International Handbook of School Effectiveness and Improvement. Nueva York: Springer.
Unesco (2007). Informe de seguimiento de ept 2007. Atención y educación a la primera infancia. París: unesco. Unicef (2000). «Trabajo infantil, problema visible. En Chile se construye con todos sus niños y adolescentes», en Boletín de Indicadores: Infancia y Adolescencia en Chile. Santiago de Chile: unicef.
Willms, J. D. (2002). Vulnerable Children: Findings from Canada’s National Longitudinal Survey of Children and Youth. Edmonton: University of Alberta Press.
Young, M. E. (comp.) (2002). From Early Child Development to Human Development: Investing in Our Children’s Future. Washington, dc: World Bank.
|
