Organización de Estados Iberoamericanos Para la Educación, la Ciencia y la Cultura

Revista Iberoamericana de Educación Número 10 - Evaluación de la Calidad de la Educación

Evaluación de la Calidad de la Educación

Bibliografía de consulta

Graciela Messina
Leonardo Sánchez (*)

Para la elaboración de esta bibliografía anotada se ha tomado como criterio de selección que los textos fueran posteriores a 1990, que tuvieran un mínimo de estructura y de elementos novedosos y que sus autores contaran con una reconocida trayectoria.

Se incluyen 20 títulos, clasificados en cuatro grupos.

1. Títulos sobre evaluación de la calidad de la educación, que incluyen dos subgrupos: i) ensayos teóricos sobre el tema; ii) documentos que sistematizan programas y sistemas de evaluación de la calidad de la educación

Contenidos principales

a) La evaluación de los sistemas educativos está estrechamente asociada con la calidad de la educación; calidad implica mucho más que mejora de mobiliario o distribución de computadoras; supone atreverse a transformar estilos de gestión y estilos de enseñanza-aprendizaje.

b) El texto se propone reivindicar un tipo de evaluación que supere la oposición entre evaluación formativa o de procesos y evaluación sumativa o de resultados.

c) La evaluación educacional ha sido una preocupación marginal entre los investigadores peruanos y no se ha constituído en un campo de estudio (sólo el 4% de los proyectos de investigación y el 2.8% de las tesis doctorales están referidos a evaluación). Aún más, la docimología (definida originariamente por Henri Piéron en 1938 como la disciplina referida a las pruebas pedagógicas) representa la teoría que comenzó a construirse acerca de la evaluación educativa. Y esta tradición, fuerte en Francia y Bélgica, está ausente en el Perú; además, tiende a confundirse la evaluación con el sector de aplicación de la tecnología educativa, junto con el currículo, la metodología y los instrumentos o los materiales educativos.

d) Los diez errores más usuales que desnaturalizan el proceso de la evaluación y que forman parte de la práctica evaluativa en los centros educativos de los tres niveles son: i) confusión entre medición y evaluación; ii) predominio de la heteroevaluación; iii) desconexión de la evaluación con los objetivos educacionales; iv) improvisación al preparar las pruebas; v) subjetividad en la calificación; vi) ausencia de evaluación formativa; vii) utilización de la evaluación en un rol de exámenes (división del tiempo de trabajo en dos partes: tiempo de clases y tiempo de pruebas); viii) uso arbitrario de las escalas de calificación; ix) los promedios como evaluación sumativa (el empleo del promedio no permite evaluar los progresos ni ponderar tareas de diferente nivel de complejidad); x) tendencia a evaluar sólo la evocación o el recuerdo.

e) La calidad, que significa cualidad, ha sido definida desde una perspectiva positivista como algo dado susceptible de perfeccionamiento o de adecuación creciente medios-fines. Desde una perspectiva dialéctica, calidad supone un cambio cualitativo, procesos de construcción teórica, un docente reflexivo, una racionalidad basada en la historicidad e instituciones formadoras interesadas en preparar profesores críticos y creativos. En este marco se presenta un conjunto de indicadores de calidad. En primer lugar, calidad se asocia con necesidad social; a partir de allí pueden diferenciarse cuatro campos para identificar la calidad: los fines de la educación, los métodos, la acción docente y la acción institucional. Además, se retoman los aportes de Lafourcade (1991), quien recomienda considerar los siguientes aspectos en relación con la calidad: niveles de logro, calidad de las condiciones de trabajo educativo, apreciaciones de los docentes acerca de las condiciones de entrada de sus estudiantes, percepciones de los directivos acerca de los egresados de la educación superior o de la educación ocupacional. El Movimiento Pedagógico (1993), por su parte, propone indicadores de calidad tales como: la interculturalidad, la integralidad educativa (relación educación-salud-nutrición y educación-trabajo); la identidad personal, cultural y nacional; la interrelación de la escuela con la comunidad, el comportamiento democrático en las relaciones profesor-alumno, la participación de los padres, la articulación entre los niveles; el trabajo en equipo entre los docentes; la integración de asignaturas, el respeto a la individualidad del educando, etc. Por último, el texto recupera los aportes de Aguerrondo (1993) acerca de considerar dos ejes para potenciar la calidad: el institucional y el pedagógico; el segundo incluye, a su vez, dos dimensiones: la política (referida a demandas) y la técnico-pedagógica, con tres aspectos (epistemológico, pedagógico y organizativo); en el aspecto pedagógico es importante considerar en qué medida se asume el enfoque constructivista. Sobre la base de estos antecedentes se elabora una propuesta para mejorar la calidad de la educación, que se sustenta en principios tales como educación permanente, autoevaluación institucional, relaciones democráticas, sistema integral y oportuno de información, reconocimiento de la diversidad cultural, etc.

f) En relación con la evaluación del estudiante se sugiere diferenciar niveles y etapas. Niveles de evaluación: reacciones (actitudes y opiniones acerca del proceso), aprendizaje (logro de objetivos), conducta laboral y funcionamiento (consecuencias del comportamiento laboral en la productividad de las empresas). Etapas de evaluación: inicial, procesos y resultados. Además, el autor incursiona en los distintos tipos de aprendizaje, recuperando las categorías de Bloom y Gagné, y en procedimientos de evaluación (observación, prueba escrita, prueba práctica o de ejecución, etc.) y tipos de prueba (cuestionario, entrevista, etc.).

g) Previa revisión de la planificación de la evaluación de los aprendizajes, relacionando objetivos versus resultados mediante las tablas de especificaciones, el texto propone integrar evaluación formativa y sumativa mediante un modelo de evaluación que se oriente hacia la promoción de todos los estudiantes y no busque la selección de los mejores («jalar hacia arriba», guiando con evaluación formativa al estudiante hacia mayores niveles de aprendizaje) y que considere instrumentos de calidad (validez, confiabilidad y practicidad) y sistemas de moderación o de objetividad (bancos de preguntas, comités de evaluación, etc.).

h) Sobre la base de destacar las dificultades que tiene el magisterio para constituirse como una profesión, tanto por la formación como por las condiciones de trabajo, se reivindica que los educadores se reconozcan en su práctica. En este marco, se propone un conjunto de instrumentos para evaluar el quehacer del docente (cuestionario sociométrico, análisis de la interacción verbal en la clase, etc.), en el entendido que no se ha investigado lo suficiente acerca de la medición de la efectividad docente.

i) La evaluación debe orientar tanto el trabajo docente como el que realizan los estudiantes, con la esperanza de lograr el pleno aprendizaje en todos los participantes y no sólo en algunos. Esta premisa supone interesarse en los procesos tanto como en los resultados, en particular en la socialización del aprendizaje, la capacidad organizativa de los grupos de investigación y la autointerevaluación.

Cuál es el valor del texto (o las preguntas que suscita el texto)

La evaluación de la calidad de la educación es definida como una tarea que compromete al conjunto del sistema educativo, sin reducirse a los rendimientos escolares. El texto plantea el papel democrático de la evaluación que acompaña a los procesos, en tanto puede permitir el éxito de todos a su propio ritmo. Queda abierta la puerta para una pregunta no explicitada pero presente a lo largo del texto: los sistemas de evaluación sustentados en el principio de selección de los mejores, ¿no atentan acaso contra la idea misma de educación?.

Contenidos principales

a) La asociación entre sistemas de evaluación de la calidad y una más precisa distribución presupuestaria no es, sin duda, una novedad mexicana. En Argentina se escucha casi a diario un discurso acerca de la ineficiencia de la universidad para formar los recursos humanos que requiere el mercado laboral. El corolario de esta afirmación es la necesidad de implementar sistemas de evaluación de la calidad en las universidades, cuyos resultados permitirán una distribución más equitativa de los recursos. En tanto la evaluación aparece asociada con premios y castigos, su sola implementación resolvería el problema de la calidad, por eliminación de las instituciones o de las personas que no satisfacen los parámetros preestablecidos. Junto con este debate público se están instalando en varios países sistemas de evaluación de la calidad; el denominador común a todos estos esfuerzos es la construcción de indicadores homogéneos de calidad. Si se acepta que la universidad se despliega en una multiplicidad de intereses y prácticas, salta a la vista que sólo se pueden establecer parámetros unívocos de evaluación sobre la base de criterios externos al trabajo académico.

b) La diversidad del trabajo académico incluye, al menos, tres aspectos a analizar, cada uno de los cuales tiene consecuencias desde el punto de vista de la evaluación de la calidad: i) las particularidades del trabajo académico propio de cada disciplina (culturas disciplinarias), en particular el tipo de organización y el tipo de conocimiento asociado con cada disciplina (acumulativo en las ciencias duras versus abierto en las ciencias denominadas blandas) y sus resonancias en términos de tipo y frecuencia de producción y difusión de publicaciones; ii) la ubicación en distintos paradigmas teóricos y metodológicos al interior de una misma disciplina; iii) el papel asignado al académico (el profesor equivale a investigador e investigador es sinónimo de persona que publica frecuentemente versus el académico que cumple funciones múltiples: descubrimiento, integración, aplicación del conocimiento y enseñanza.

c) Sobre la base de los antecedentes reseñados, los sistemas homogéneos de evaluación no sólo estarían soslayando la diversidad del trabajo académico entre distintas disciplinas sino incluso entre diferentes instituciones. Además, la pretensión de elaborar criterios homogéneos de evaluación de la calidad no puede considerarse al margen de la utilización de los resultados. Si se evalúa para definir una distribución presupuestaria, se necesita un sistema clasificatorio antes que evaluatorio. Aún más, una evaluación con fines clasificatorios sólo se ajusta al trabajo académico en tanto anula aquello que le es específico (por ejemplo, considerar el número de publicaciones sin tener en cuenta los mecanismos de producción del conocimiento en las ciencias duras versus blandas, supone establecer a priori la superioridad de las primeras). En síntesis, la aplicación de criterios homogéneos sólo es posible si se elaboran criterios tan generales que no permiten evaluar nada; si se evalúa toda la actividad académica sobre la base de criterios provenientes de una de ellas; si se aplica un parámetro externo que, por definición, oblitera las diferencias.

d) El mercado aparece vinculado con la elaboración de sistemas de evaluación de la calidad y se constituye en un parámetro de evaluación externo homogeneizante. En primer lugar, algunos enfoques tienden a pensar la universidad desde «producir para el mercado»; en segundo lugar, el mercado exporta sus criterios de evaluación a la evaluación del trabajo académico y prima el criterio de eficiencia (mayor productividad con menor costo).

e) Siguiendo a van Vught, la calidad es un concepto multidimensional que involucra la excelencia y el valor; la excelencia es una dimensión asociada con el máximo de logro de parámetros intrínsecos al desarrollo de la disciplina; el valor supone una dimensión utilitaria de la calidad, cuya expresión más frecuente está asociada con el mercado.

f) La penetración creciente del discurso de la calidad y la eficiencia se ha vinculado con el creciente proceso de mercantilización de la educación, así como con la casi sistemática omisión de los mecanismos de evaluación que tradicionalmente se han implementado en las universidades. En este marco de referencia, evaluación se ha unido tanto a calidad que si no se evalúa calidad no se está evaluando nada. Consecuentemente, se propone evaluar integrando criterios internos (juicios de pares) y externos, que permitan dar cuenta de la diversidad del trabajo académico y, al mismo tiempo, de su resonancia social. No se está cuestionando la utilización de parámetros externos sino la identificación del mercado como único criterio externo válido o, más aún, como único criterio posible para evaluar la calidad de la educación superior. En el mismo sentido, los parámetros externos deben atender a la diversidad de aquello que evalúan y deben ser parte de la definición inicial del proyecto académico. Todavía más, se cuestiona no sólo la definición de un sistema de evaluación que pretende fijar parámetros válidos para cualquier institución sino que también pretende construir esos parámetros sobre una racionalidad a-histórica, en tanto no considera la naturaleza abierta del conocimiento ni la permanente redefinición de los objetivos sociales y políticos de las universidades.

g) Si la evaluación busca clasificar (algo así como un ranking) es necesario construir parámetros comunes de evaluación que impliquen reducir la diversidad universitaria a un conjunto de indicadores susceptibles de ser medidos y comparados. Se produce la «sobreevaluación de los indicadores medibles» de calidad (van Vught, 1993): los indicadores son incapaces de presentar una evaluación definitiva de la calidad en tanto soslayan la especificidad de aquello que se pretende evaluar. En el mismo sentido, el autor señala que «intentar vincular un sistema de recompensas y sanciones a los delicados mecanismos de evaluación de calidad es la mejor manera de garantizar que no funcionará la evaluación de calidad» (van Vught, 1993). En este marco, se propone que sea la propia universidad la que defina su evaluación combinando criterios internos y externos. Esta opción tampoco garantiza que los parámetros que se incluyan no se orienten por una lógica mercantilista. Este artículo espera contribuir a un debate acerca de los sistemas de evaluación de la calidad que debe ser previo a su implementación y a su misma definición.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Una visión crítica de los sistemas de evaluación de la calidad que presenta el riesgo que estos conllevan: la reducción de la diversidad del trabajo académico de las universidades en nombre de la lógica del mercado. Sin embargo, el texto no niega la validez de la evaluación sino el paradigma de la eficiencia que sustenta a los actuales sistemas de evaluación de la calidad. Deja abierto el camino para el debate público y lo plantea como etapa previa a la construcción de sistemas de evaluación de la calidad.

Contenidos principales

a) La crisis de las universidades se manifiesta en términos de las expectativas no satisfechas de estudiantes, familiares, profesores e investigadores. Si bien la democracia terminó con la presencia del Estado policial en la enseñanza superior y restituyó la autonomía, no recreó la relación de patronazgo universitario de parte del Estado ni la tradicional base de sustentación económico-política. Además, los sistemas de educación superior en América Latina pueden caracterizarse como complejos, diversificados y multifuncionales, y coexisten con el decrecimiento de la inversión pública en educación por parte de los países (están inscritos en educación superior unos 6 millones de estudiantes en 2500 instituciones, de las cuales más o menos 500 son universidades y el resto institutos no universitarios). En el caso argentino esta diversidad se transforma en heterogeneidad: universidades con volúmenes de matrículas y de egresados muy disímiles (desde la universidad «Mega», Universidad Nacional de Bs. As. hasta las universidades «chicas»). Sin embargo, aunque el tamaño de las universidades se constituye en la variable más fuerte respecto de su incidencia en los resultados cuantitativos, ningún indicador de los presentados puede ser considerado como reflejo de «eficiencia en la gestión institucional» o de «mayor calidad en la oferta de servicios». Esta situación se inscribe en una polémica teórica no saldada acerca de cuál es el modelo de institución universitaria que garantiza la calidad: el modelo de la estructura jerárquica o el modelo de la estructura homogénea.

b) La evaluación de la calidad educativa en América Latina y en Argentina, ¿es un problema propio o importado? A pesar de que la categoría «dependencia» se encuentra en desuso en las ciencias sociales, se puede observar, junto con la introducción de la evaluación en la educación superior, el reforzamiento de las administraciones centrales de las universidades, colocando límites a la tradición de autonomía plena de las unidades académicas (facultades y escuelas). En este contexto, a partir de mediados de los ochenta se introduce en Argentina un enfoque que propone tener en cuenta el problema de la calidad, a la vez que mantener los principios democráticos de la enseñanza superior (conciliar calidad con masificación).

c) Los límites de la evaluación: i) es necesario que la evaluación permita reconocer la diversidad de objetivos e intereses que interactúan en las instituciones universitarias (la educación universitaria debe facilitar tanto la docencia como la investigación o la extensión); ii) asimismo, es necesario que la «base amplia y diversificada» de las instituciones universitarias participe en la evaluación y que no se empleen los mismos criterios de evaluación.

d) Desde la perspectiva del análisis organizacional, en la evaluación de la calidad de la educación superior se deben priorizar dos aspectos: i) la producción de conocimiento, y ii) la difusión de conocimiento. Sin embargo, las universidades argentinas han estado más asociadas a la formación profesional que a la producción de conocimiento.

e) La evaluación de la calidad de la educación es parte del planeamiento estratégico; este principio supone reconocer la complejidad de la institución universitaria y sus estructuras de poder asociadas con factores de gobernabilidad.

f) La calidad de la educación debe medirse sólo sobre la base de la excelencia académica o debe conjugarse con el criterio de relevancia social de las actividades universitarias. Aún más, evaluar la calidad significa controlar o es una tarea permanente e intrínseca de la tarea universitaria. Siguiendo a Casaliz, si evaluar la calidad es la búsqueda de un equilibrio móvil entre las exigencias de la ciencia, las posibilidades y recursos internos y las necesidades externas, se requiere conciliar la calidad intrínseca con la relevancia social.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Permite reflexionar acerca de la calidad y de la evaluación de la calidad en la educación superior. Propone relacionar la evaluación con el contexto sociocultural (relevancia social) y vincularla con la gestión institucional (planeamiento estratégico). Enfatiza, además, que un sistema de evaluación debe dar cuenta de la diversidad así como crear oportunidades de participación para los actores del proceso educacional.

Contenidos principales

a) La expansión educativa se produjo simultáneamente con la aparición progresiva de un nuevo problema: las carencias en materia de calidad de la enseñanza. Ha tenido lugar el vaciamiento o pérdida de la capacidad de la escuela para cumplir su función específica: crear condiciones para el desarrollo de aprendizajes socialmente significativos (Tedesco, 1985; Rama, 1984; Braslavsky y Tiramonti, 1990). En este marco, la calidad se ha constituido en el eje de la agenda educativa. El significado atribuido a la expresión «calidad de la educación» incluye varios enfoques o dimensiones: i) eficacia (en qué medida los alumnos aprenden lo que se supone deben aprender; se colocan en primer plano los resultados del aprendizaje); ii) relevancia (en qué medida la educación responde a lo que los individuos necesitan para desarrollarse; se ponen en primer plano los fines de la acción educativa); iii) calidad de los procesos (se refiere a los medios que el sistema ofrece a la población escolar). Si el tema de la calidad de la educación se coloca en primer plano, los indicadores tradicionales (repetición, deserción, etc.) son insuficientes, ya que se basan en el supuesto de que dentro de la escuela se aprende, creencia que ha dejado de dar cuenta de la realidad. Sobre la base de estos antecedentes, se propone la creación de un sistema nacional de evaluación que produzca información acerca de los alumnos en su paso por el sistema educativo.

b) La reforma de la gestión educativa forma parte del mejoramiento de la calidad. En efecto, la masificación implica no sólo más alumnos para atender sino más diversidad; consecuentemente, las estrategias adecuadas son la descentralización, el fortalecimiento de la capacidad de gestión de las unidades del sistema y la atención a la diversidad. La reforma de la gestión supone, además, la redefinición de las instancias centrales de conducción, la profesionalización y jerarquización del cuerpo docente, el incremento de los recursos y la racionalización en su asignación, así como la producción y difusión de información sobre el desempeño del sistema. En este sentido puede afirmarse que la construcción de un sistema de evaluación constituye un instrumento central para operacionalizar una estrategia de mejoramiento de la calidad de la educación. Aún más, la producción y difusión de información es una manera de apostar por la participación y por el compromiso con la educación.

c) La distinción entre retroalimentación negativa y positiva es necesaria, ya que muchas veces las organizaciones son evaluadas por la eficacia o por el nivel de logro de sus metas, sin preguntarse por la pertinencia de éstas. En la medida en que se carece de información sobre los avances y retrocesos del sistema educativo, éste deja de rendir cuentas a sus beneficiarios y se orienta por lógicas e intereses internos. En el mismo sentido, los indicadores tradicionales al estilo de repitencia o deserción están referidos a la relación medios-fines y no dan cuenta de la pertinencia.

d) La única evaluación que se practica en la mayoría de los países de la región es aquella que hace el profesor sobre el desempeño de sus estudiantes. Aún más, los sistemas educativos continúan operando bajo el supuesto de que este tipo de evaluación se efectúa a partir de criterios y modalidades homogéneos.

e) El sistema educativo suele alimentar en los estudiantes y en sus familias falsas expectativas acerca de la formación adquirida y de las potencialidades para el trabajo posterior, ya que tiende a promover al estudiante aun cuando no se satisfagan los niveles mínimos de logro. La implementación de evaluaciones nacionales de aprendizaje daría mayor transparencia al sistema, haciendo visible para estudiantes, familiares y profesores el vaciamiento de conocimientos en ciertos sectores del sistema; esta situación permitiría, además, transformar la demanda por expansión en demanda por calidad.

Las pruebas nacionales brindarían al maestro un punto de referencia para mejorar sus prácticas, permitirían a las autoridades diseñar políticas de elevación de la calidad focalizando las acciones en las escuelas críticas y harían posible la reivindicación de la equidad por parte de los padres (Rama, 1991).

f) Los sistemas nacionales de evaluación, referidos tanto a los aprendizajes de los estudiantes como a las características socioculturales de la población y al contexto institucional, tendrían los siguientes efectos sobre la gestión y la calidad de la enseñanza: i) permitirían diseñar políticas concretas de intervención compensatoria; ii) fortalecerían la responsabilidad institucional por los resultados de la gestión escolar; iii) mejorarían el ejercicio profesional de los docentes; iv) elevarían la participación de la familia, en particular su capacidad de expresar demandas; v) permitirían colocar el tema de la calidad de la educación en el centro de la agenda social y facilitarían la construcción de los consensos sociales indispensables para sostener un proceso de mejoramiento de la calidad del sistema educativo en el largo plazo.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se reivindica la pertinencia antes que la eficacia como un criterio orientador de las evaluaciones del desempeño; se postula un principio de acción que continúa siendo polémico: el carácter necesariamente uniforme de las evaluaciones nacionales, sustentadas a su vez en un currículo mínimo común. Al mismo tiempo, los sistemas nacionales de evaluación son caracterizados como instancias que permiten fortalecer tanto las demandas educacionales de las familias como las de la escuela y de la sociedad en su conjunto. De este modo, el texto asocia equidad con calidad, empleando como nexos las categorías de participación y transparencia.

Contenidos principales

a) El proyecto de evaluación y mejoramiento de la calidad de la educación media, que forma parte de un conjunto de proyectos diseñados para orientar políticas educacionales, tuvo por objetivo elaborar, llevar a la práctica y validar una metodología de acción institucional para potenciar y evaluar (hetero y autoevaluación continua) la capacidad y el compromiso de los miembros de cada unidad educativa para el logro de los propósitos acordados, en relación con el mejoramiento de la calidad. En este marco, el proyecto presenta tres características centrales: i) es un proyecto de investigación-acción a cargo de las propias instituciones educativas participantes en la experiencia; ii) se sustenta en la premisa de que el mejoramiento de la calidad es resultado de factores múltiples; por tanto, requiere de una intervención que afecte el problema en todas sus dimensiones; iii) implica un trabajo institucional y una metodología de autoevaluación. La ejecución del proyecto contempla un equipo central de coordinación, otro de especialistas en áreas curriculares, un tercero de coordinadores zonales y de equipos de trabajo en las escuelas. El proyecto considera las siguientes dimensiones de análisis y acción: la formación de los estudiantes, las relaciones escuela comunidad, la vinculación entre las escuelas y las instancias superiores de conducción educativa y la organización y gestión institucional. Además, dado que el proyecto se orienta hacia la innovación en las prácticas escolares, analiza el modelo de referencia que opera como imagen-objeto, proveyendo tanto orientación valorativa como conocimientos específicos.

b) La evaluación de esta experiencia de mejoramiento de la calidad muestra el carácter singular y desigual de su desarrollo en los 19 colegios participantes; cada escuela resignificó el modelo propuesto por el proyecto y estableció prioridades diferentes, de acuerdo con sus necesidades institucionales. Los factores comunes a los colegios participantes que afectan el mejoramiento de la calidad son: i) la dirección del establecimiento puede facilitar u obstaculizar los procesos de innovación; ii) se observa un estilo de gestión que responde al modelo «a menor capacidad de gestión institucional, mayor recurso a la norma»; iii) los márgenes de gestión institucional son mayores cuando mejores son las relaciones entre la dirección y los supervisores; iv) la gestión institucional de proyectos de innovación, que implican un compromiso y un trabajo docente mayor que el habitual, sólo puede ser exitosa si involucra condiciones salariales adecuadas; v) la inestabilidad de los proyectos de innovación por la transitoriedad de las políticas públicas operó como un factor obstaculizador de la participación e implicación profesional; asimismo, la escasa disponibilidad de tiempo en los equipos de las escuelas y la complejidad de los instrumentos afectaron a la participación. Por último, se observaron diferencias respecto de cómo las direcciones de los colegios coordinaron el proyecto y sus consecuencias para la construcción de la autonomía profesional del equipo docente; también se detectan diferencias respecto de cómo y a qué tipo de instituciones externas se convoca para llevar a cabo el proyecto. La recomendación más general, en momentos de crisis del Estado benefactor, es crear formas colegiadas de gobierno escolar que contrarresten los riesgos de las conducciones unipersonales y amplíen la capacidad de gestión. La contrapartida de esta recomendación para el Estado es focalizar el apoyo a los establecimientos con menores recursos y con menor capacidad de gestión.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se confirma que si el objetivo es el mejoramiento de la calidad de la educación, considerada ésta como una cualidad o proceso totalizador, una estrategia pertinente es el diseño y ejecución de proyectos de investigación- acción desde los propios establecimientos educativos; al mismo tiempo, se hace un llamado a la reflexión acerca de las condiciones que es necesario crear para que el proyecto cumpla sus objetivos iniciales, en particular bases salariales y laborales adecuadas para los maestros, instancias colegiadas de gobierno escolar y políticas educacionales públicas de carácter redistributivo.

Contenidos principales

a) Los objetivos del proyecto, desarrollado entre septiembre de 1992 y marzo de 1993, fueron: caracterizar las condiciones de producción institucional, describir el modelo didáctico vigente y definir áreas de intervención en el plano pedagógico e institucional. Se seleccionó una muestra de escuelas, con procedimientos intencionados, estratificada por nivel socioeconómico de los estudiantes y tamaño de la matrícula; se realizaron entrevistas a supervisores, directores y docentes; encuestas a docentes, observaciones de clases, ejercicios para los estudiantes, relevamiento documental y relevamiento de infraestructura.

b) Conclusiones: i) acerca de las condiciones de producción institucional, se observa la coexistencia de dos circuitos educativos caracterizados por la diferenciación y la homogeneidad: diferenciación respecto de las condiciones materiales y homogeneidad respecto de las relaciones de los actores con las instituciones escolares. La capacidad de las familias de contribuir al proceso educativo se constituye en un factor de desigualdad. La homogeneidad se relaciona con el fenómeno denominado externalización: una representación institucional de la escuela que la concibe como un espacio determinado por variables externas al colectivo institucional; en las escuelas que educan a niños de escasos recursos esta representación se expresa como impotencia institucional. Al mismo tiempo, se observan algunos síntomas incipientes de autonomía, asociados con la presencia de los proyectos institucionales; ii) acerca del modelo didáctico se detecta una estrategia de enseñanza homogénea, centrada en la palabra del docente: la transmisión verbal a través del interrogatorio didáctico; se desechan las interpretaciones alternativas de los estudiantes asociadas con los conocimientos previos y se construye una homogeneidad ficticia; esta estrategia entra en contradicción con el discurso de los docentes; aún más, la mayoría de los docentes no es consciente de las contradicciones entre el discurso y su práctica; este nivel de conciencia se relaciona tanto con el déficit en su formación teórica como con la falta de un espacio institucional para reflexionar sobre su enseñanza. Los ejercicios solicitados a los estudiantes dan cuenta de algunos aspectos interesantes, tales como la dificultad para el aprendizaje grupal, la desvinculación entre el dominio de las normas del lenguaje y su aplicación para comunicar en forma comprensible; la reducción de la educación ambiental a educación para la salud así como la de contaminación con suciedad; las dificultades para sistematizar, sintetizar o formalizar aprendizajes matemáticos.

c) Recomendaciones: sobre la base de los antecedentes reseñados se concluye que existe una relación paradójica en el campo de la calidad de la educación: se suscribe un modelo de excelencia mientras se conservan estilos de aprendizaje mecánicos y situaciones desprofesionalizantes. El desafío no consiste en legitimar cualidades desiguales, sino en elaborar estrategias de intervención que permitan a la escuela desarrollar una tarea compensatoria de las diferencias sociales. En este contexto se sugiere: i) formar equipos de investigación y asistencia técnica que aborden los problemas de las escuelas carenciadas, asumiendo ejes tales como promoción de redes interinstitucionales, de proyectos institucionales en las escuelas y de un tipo de formación docente abierta a la diversidad; ii) propiciar convenios de cooperación institucional con organismos gubernamentales y no gubernamentales para satisfacer áreas de necesidad de asistencia técnica (por ejemplo, producción de materiales didácticos, etc.).

Cuál es el valor del texto (o las preguntas que suscita el texto)

Permite centrar el tema de la calidad y su evaluación en el colectivo institucional y en sus representaciones acerca de la escuela. Asimismo, los dos ejes en torno de los cuales se evalúa la calidad y se busca su mejoramiento son estructurales: el estilo de producción institucional y el modelo didáctico; a partir de esta definición se detectan problemas «cualitativos» (por ejemplo, los déficits en los aprendizajes de los alumnos no se reducen a bajos niveles de logro, sino se da cuenta de estilos deficitarios de aprendizaje). Las sugerencias son igualmente holísticas e institucionales: se propone la promoción simultánea de la autonomía institucional y la solidaridad interinstitucional.

Contenidos principales

a) Dado que la calidad está en el primer plano de la agenda educativa nacional, los indicadores que se emplean para evaluar el desempeño de los sistemas educativos resultan insuficientes (tales como cobertura o deserción), ya que presuponen que en la escuela se aprende. En el presente la preocupación central está asociada con quiénes aprenden en las escuelas, qué aprenden y en qué condiciones. En este contexto adquiere una importancia estratégica un sistema de evaluación que provea de información acerca de los aprendizajes alcanzados por los estudiantes. Las tres dimensiones del concepto de calidad son consideradas en el momento de construir un sistema de evaluación de la calidad: eficacia (relación objetivos-resultados), relevancia (relación resultados-necesidades sociales) y calidad de los procesos o medios educativos.

b) Además de la información sobre matrícula, repetición y deserción, la única forma de evaluación que se practica en la mayoría de los sistemas educativos de la región es la que efectúa el docente sobre el desempeño de sus estudiantes, así como evaluaciones de los docentes por supervisores o directores. Sin embargo, la masificación de los sistemas educativos implica que se enseña con un cuerpo docente heterogéneo a un alumnado igualmente heterogéneo, y que se aplican procedimientos y pruebas que obedecen a criterios y niveles diversos de exigencia. En este marco, la implementación de evaluaciones nacionales de aprendizaje daría mayor transparencia al sistema educativo, haciendo visibles para docentes, alumnos y familias el vaciamiento de conocimientos en ciertos sectores del sistema y permitiría a los actores contar con valores para comparar sus prácticas. Un sistema nacional de evaluación que proporcionara en forma periódica información comparable sobre los aprendizajes de los estudiantes, sobre sus características socioculturales y sobre el contexto institucional en el cual se desarrolla la escolarización, tendría las siguientes consecuencias acerca de la calidad y equidad del sistema educativo: i) aportaría información para el diseño de políticas confiables de mejoramiento de la calidad, en particular una asignación más equitativa de los recursos; ii) fortalecería la responsabilidad institucional por los resultados de la gestión en la unidad escolar; iii) contribuiría a mejorar el ejercicio profesional de los docentes; iv) elevaría la posibilidad de participación de las familias y colocaría el tema de la calidad de la educación en el centro de la agenda social.

c) La Ley Federal de Educación (1993) establece explícitamente que es función del MCE de la Nación la evaluación del sistema educativo en todas las jurisdicciones, niveles, ciclos y regímenes especiales; en este marco se crea el SINEC (Sistema Nacional de Evaluación de la Calidad), centrado en la producción de información para la toma de decisiones, sin pretender detentar el monopolio de la evaluación del sistema educativo. La progresiva institucionalización del SINEC estará orientada tanto a producir información pública acerca de la calidad de la educación como a brindar información al personal del sistema educativo; a promover la realización de investigaciones y el desarrollo de estrategias, indicadores e instrumentos de evaluación. La información se centrará en torno de tres ejes: i) los conocimientos, capacidades cognitivas y valores incorporados por los alumnos (con referencia a los contenidos curriculares de las áreas de Lengua, Matemática, Ciencias Sociales y Ciencias Naturales); ii) los contextos educativos de los aprendizajes y; iii) el perfil sociocultural del estudiante. Las variables institucionales básicas para ser evaluadas son el consenso en torno de las normas, el papel del director, la estabilidad y dedicación horaria de los docentes, los recursos disponibles, etc. En relación con el docente y sus estrategias en el aula se destacan variables tales como el dominio de los docentes tanto de los contenidos como de las estrategias metodológicas; las expectativas de los docentes acerca del desempeño de los estudiantes; las variables asociadas con el desempeño profesional del docente (desde autoestima a oportunidades de formación). Es importante destacar que el SINEC opta por el empleo de metodologías y técnicas de investigación de corte cuantitativo, pruebas nacionales uniformes (o únicas) y pruebas precodificadas. Por último, la institucionalización del SINEC requerirá tanto de la construcción de consensos acerca de la evaluación de la calidad como del fortalecimiento de las unidades jurisdiccionales de evaluación, la constitución de equipos especializados y el diseño y construcción de la infraestructura para el sistema de evaluación.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se describe un sistema de evaluación de la calidad y se destaca el papel de la información en la práctica educativa institucionalizada. El texto explicita el conjunto de decisiones que involucra un sistema de evaluación de la calidad y permite reflexionar acerca de la validez y pertinencia de las mismas.

2. Títulos sobre calidad de la educación, de los cuales se pueden derivar principios y estrategias para la evaluación de la calidad de la educación; se incluyen dos subgrupos: i) ensayos teóricos y ii) documentos que sistematizan programas de mejoramiento de la calidad de la educación

Contenidos principales

a) El reconocimiento de la calidad de la educación como una categoría relevante para el análisis y la acción implica un compromiso asociado con la toma de decisiones antes que un problema teórico.

b) Las demandas sociales que se hacen a la educación, en particular la responsabilidad que recae en ella de generar y difundir el conocimiento y de estar en la base de las posibilidades económicas futuras de las sociedades, así como la expansión educacional, plantean desafíos cualitativos que suponen volver a pensar hacia dónde debe ir y cómo debe organizarse una escuela, un grupo de escuelas, un sistema educativo.

c) Si bien el concepto de calidad proviene de un modelo de calidad de producto, está pleno de potencialidades interesantes de explicitar: i) es un concepto totalizante y multidimensional, aplicable a cualquiera de los elementos que constituyen el campo de la educación; ii) está socialmente determinado, referido a situaciones concretas y a demandas sociales; iii) se constituye en imagen objetivo de la transformación educativa y, consecuentemente, en el eje regidor de la toma de decisiones; al iniciar un proceso de reforma se debe precisar explícitamente qué se entiende por calidad de la educación, es decir, hacia dónde se orientarán las acciones; iv) se constituye en patrón de control de la eficiencia del servicio, permitiendo ajustar decisiones y procesos.

d) Se propone un criterio no económico para evaluar la eficiencia: una educación de calidad; ésta supone «mejor educación para todos»; en este marco, los criterios de evaluación se derivan de la lógica pedagógica y se integra la dimensión instrumental con la sustantiva.

e) Los principios vertebradores (o soportantes) de la estructura de los sistemas educativos se agrupan en dos grandes dimensiones: i) la «política ideológica» o de los fines y objetivos de la educación; esta dimensión surge de las demandas sociales; la demanda más global es la responsabilidad por la creación y distribución del conocimiento; asimismo, otras demandas específicas tales como demandas desde el sistema cultural, relacionadas con la formación de la identidad; demandas desde el sistema político, en torno de aprendizajes solidarios y participativos; demandas desde el sistema económico, tales como adaptación de las personas al proceso productivo antes que formar para un puesto de trabajo; ii) la dimensión técnico-pedagógica, que expresa el compromiso concreto del sistema escolar para responder a las demandas sociales y que incluye tres áreas: epistemológica, pedagógica y organizativo-administrativa. El eje epistemológico remite a la definición de conocimiento vigente en el sistema educativo (conocimiento para describir y explicar versus conocimiento para operar y transformar la realidad), a las áreas de conocimiento y a la definición de los contenidos (competencias cognitivas versus saberes, valores y actitudes). El eje pedagógico, por su parte, involucra aspectos tales como qué características definen al sujeto de la enseñanza, cómo aprende el que aprende, cómo enseña el que enseña y cómo se estructura la propuesta didáctica; en este espacio aparecen preguntas al estilo de: ¿cómo se organiza la relación de enseñanza-aprendizaje? ¿en qué medida se contrastan teorías e ideologías divergentes? El eje organizativo incluye la estructura académica, la institución escolar, la conducción y la supervisión (el gobierno); forman parte de este eje la organización del tiempo y del espacio, la definición de escuela, espacio de aprendizaje, espacio abierto; la configuración del poder institucional (desde los ciclos lectivos a los consejos de escuela) y las opciones de descentralización y regionalización.

f) La explicitación del concepto de calidad puede ser usada para dos propósitos: tomar decisiones que se orienten a mejorar la calidad de la educación en un sistema educativo concreto; realizar evaluaciones sobre una situación concreta que permita a su vez tomar decisiones para reorientar y reajustar procesos.

En relación con la toma de decisiones, el concepto de calidad de la educación permite contar con una imagen objetivo precisa y, consecuentemente, hace posible determinar prioridades, no apurar los pasos y contemplar los ritmos de la realidad; asimismo, sirve para consolidar políticas educativas de Estado antes que de gobierno, para definir los aspectos que serán apoyados con continuidad por las diferentes gestiones y para superar la contradicción entre coyuntura y proyecto.

En relación con la evaluación, el concepto de calidad de la educación permite reconocer la necesidad de construir sistemas de control de la calidad (sin limitarse a la medición de los rendimientos de los estudiantes). La medición provee de los insumos más concretos que pueden darse a quienes toman decisiones; sin embargo, estas decisiones sólo se orientarán a largo plazo si la información cuantitativa puede ser reinterpretada y contextualizada.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Propone una definición multidimensional de calidad para la toma de decisiones, que permite no reducir la calidad a sus efectos observables y fácilmente medibles; postula un tipo de eficiencia diferente a la lógica de costo-beneficio: una eficiencia pedagógica donde convergen calidad y equidad. Alerta finalmente acerca de la simplificación de definir la evaluación como la simple medición de los resultados de los estudiantes y enfatiza la necesidad de construir sistemas de control de la calidad que den cuenta de la realidad educativa en sus múltiples dimensiones.

Contenidos principales

a) El gran salto hacia adelante en la calidad de la educación básica sólo podrá venir de las propias escuelas, de las personas que ahí trabajan, de las relaciones que establezcan entre sí, con los alumnos y con la comunidad a la que sirven. En el mismo sentido, la calidad de vida depende primordialmente de la calidad del quehacer humano y, en último término, de la calidad de los seres humanos. La riqueza de una nación depende de su gente. Y la función de la educación es crear seres humanos de calidad.

b) La calidad de la educación básica consiste en proporcionar a los alumnos el dominio de los códigos culturales básicos, las capacidades para la participación democrática y ciudadana, el desarrollo de la capacidad para resolver problemas y para seguir aprendiendo, y el desarrollo de valores y actitudes acordes con una sociedad que desea una vida de calidad para todos sus habitantes. Esta aspiración no puede lograrse a través de medidas de política educativa diseñadas desde el centro, estandarizadas y uniformes para todas las escuelas. Consecuentemente, la calidad de la educación se genera desde cada plantel educativo y en forma participativa.

c) La calidad educativa implica una mirada hacia afuera, hacia los objetivos o funciones sociales de la educación; de este modo, el movimiento hacia una mejor calidad de la educación debe partir de cómo contribuir y de cómo contribuir «mejor» a la elevación de la calidad de vida y de la calidad de los procesos de desarrollo social.

d) La calidad parte del reconocimiento de que hay problemas y su resolución requiere de: i) un compromiso constante de todos los miembros de una organización; ii) información sobre el mismo para dimensionarlo y cuantificarlo. Los problemas, a su vez, se resuelven trabajando sobre las causas y no sobre los síntomas, y reconociendo que cada escuela es una institución particular con problemas específicos; sin embargo, existen algunos problemas comunes que atentan contra la calidad, tales como la no inscripción, la deserción, la reprobación, el no aprendizaje (la manifestación más visible de la falta de calidad), la desigualdad, la falta de disciplina, el escaso tiempo real de enseñanza, los escasos recursos, un ambiente poco propicio, el aislamiento de la comunidad, la ausencia de un equipo de trabajo en la escuela.

e) La calidad está referida a un contexto y a un plantel. Sin embargo, la planificación centralizada parte de dos supuestos: i) todas las escuelas son similares a una escuela urbana completa, con personal especializado y buenos recursos; ii) la demanda educativa está dada de manera idéntica en todas las escuelas; consecuentemente, basta con asegurar la oferta para que los niños asistan. En este contexto, por el contrario, se suscribe que la calidad depende de las personas que trabajan en la escuela y de su capacidad de estar atentas a los problemas de la demanda, conociendo sus necesidades, adaptando sus acciones al contexto y contribuyendo a fortalecer la capacidad de la comunidad de expresar sus derechos.

f) La filosofía de la calidad se focaliza en el proceso: se asume que la calidad es un proceso interminable y que los procesos son fundamentalmente relaciones; calidad supone, en este enfoque, modificar las relaciones entre las personas; dado que el sistema define las relaciones, las causas de la calidad se ubican en el sistema educativo. Sin embargo, la solución a los problemas de la calidad sí reside en el equipo de docentes, coordinado por el director.

g) La calidad requiere de la participación de todos y del liderazgo del director. En un proceso de búsqueda de la calidad las exigencias en relación con el director son radicalmente diferentes que en el enfoque tradicional; en particular, el director tiene dos responsabilidades: definir los estándares de calidad (o las reglas de juego) y mejorarlos; asimismo, el director tiene dos funciones básicas: la función estimulante (mejorar, las relaciones para que se produzcan buenos resultados) y la función de control (monitorear los resultados).

h) Desde la perspectiva de la filosofía de la calidad la evaluación es importante, pero sólo es útil para mejorar cuando se la combina con el monitoreo; se evalúa con el resultado, pero no para el resultado. Monitorear significa revisar que los procesos estén cambiando y es una actividad que se realiza en grupo.

i) Cuáles son las implicaciones de la calidad: i) crítica y autocrítica; ii) valorar la diversidad; iii) consensos; iv) relevancia social de los aprendizajes; v) justicia; vi) confianza en las personas; vii) actitud y comportamiento centrados en el compartir. Por último, la calidad es asunto de rendir cuentas y de hacerlo en primer lugar a nuestros beneficiarios; aún más, no podemos esperar a que nos pidan cuentas para rendirlas, debemos rendirlas; esta rendición de cuentas mejorará la capacidad de los beneficiarios de exigir sus derechos. La exigencia social es el motor principal de la calidad.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Este libro, destinado a la formación de docentes en ejercicio, desarrolla una visión holística de la calidad de la educación sobre la base de sustentar premisas que discrepan con el sistema de creencias dominante en el mundo de la educación. La calidad se asocia en el texto con los proyectos desde la escuela, con la participación de todo el personal y su interrelación con la comunidad, con la escucha atenta a la demanda social, con rendir cuentas a la comunidad como una manera de fortalecer la expresión de sus derechos. Asimismo, los problemas que atentan contra la calidad son ubicados por la autora en el sistema educativo antes que en los individuos y las soluciones, en el colectivo docente. En este marco, el texto reafirma que la evaluación se refiere al proceso antes que a los resultados y que la rendición de cuentas a los beneficiarios es la actividad que culmina la tarea educativa.

Contenidos principales

a) Aunque todas las formulaciones de política educativa sitúan a la calidad de la educación como un concepto estratégico, éste sigue teniendo un status social ambiguo. Los sistemas de medición de la calidad que se están instalando en América Latina emplean una definición operacional de calidad: porcentajes de logro de los objetivos pedagógicos, sin poner en cuestión la validez de estos. Sin embargo, cuando pensamos en calidad, ésta supone algo más que los porcentajes de logro. En el marco de la sociedad moderna la noción de calidad se asocia con utilidad y pragmatismo; sin embargo, queda pendiente ese «algo más» que califica la calidad. Puede superarse la ambigüedad creando una definición o bien intentando comprender el status ambiguo de la calidad de la educación. El segundo camino es el que se transita en esta ponencia.

b) Calidad es un concepto que se construye socialmente y que emerge a partir de una pregunta de alguien que tiene poder para crear respuestas. Aún más, la respuesta en un juicio que puede o no contar con pruebas. Hasta hace poco se escuchaban juicios no fundados en evidencias. Si la pregunta precede a la calidad, para que surja una respuesta la pregunta debe tener sentido para quienes deben responderla. Esto supone concertación y determinación de criterios comunes que permitan en cada país y en cada contexto definir la calidad.

c) La calidad de la educación es un juicio que posee seis características principales: es un juicio formulado por un sujeto; se encuentra acotado por criterios y estándares; es socialmente construido; su significado es histórico; su naturaleza es de carácter múltiple y, al ser de dominio público, la calidad está intrínsecamente ligada al tema de la equidad. A partir de estos elementos se derivan una serie de reflexiones, tales como la importancia de identificar y valorar al sujeto que emite el juicio de calidad; si el juicio es fundado; si el sujeto tiene autoridad para emitirlo; el grado de generalidad versus especificidad de los estándares de calidad; la importancia del punto de vista y su relación, entre otros, con la clase social y el nivel cultural y educativo formal; la pregunta: calidad para quién, y la respuesta: para todos, que une equidad y calidad; calidad para todos dando respuesta a la diversidad.

d) La búsqueda de una nueva definición de calidad implica considerar seis aspectos: su objeto, su unidad de análisis, sus indicadores, su medición, sus componentes y sus dimensiones. En relación con el objeto de la calidad, resulta difícil la caracterización de la calidad de un material de enseñanza o de un profesor. Dado que las condiciones materiales de la educación se revelan como necesarias pero no suficientes al ser sistematizadas, los investigadores tienden cada vez más a estudiar objetos inmateriales tales como el sistema educativo y su funcionamiento, la gestión y el clima organizacional, el sistema de relaciones, etc. Por otra parte, es importante determinar cuál es la unidad de análisis de la calidad: el sistema en su conjunto, la escuela, el alumno. En relación con los indicadores de calidad de la educación, en ausencia de otros se tiende a considerar la eficiencia del sistema educativo como un indicador importante (la eficiencia se mide por el ritmo de aprobación de un nivel al otro). Sin embargo, la eficiencia no nos dice nada acerca de qué y de cuánto aprenden los alumnos. En este marco, la introducción de la medición de aprendizajes efectivos como indicadores de desempeño del sistema constituye un notable avance. Los aprendizajes efectivos remiten, a su vez, a los objetivos del sistema; el punto de vista del Estado es diferente del enfoque adoptado por la escuela; mientras para el Estado cuenta la creación de una ciudadanía educada, la escuela se preocupa por el desarrollo emocional, cognoscitivo y psicológico de los niños. Se infiere la necesidad de contar con indicadores de desempeño para cada nivel.

Por otra parte, la pregunta acerca de «qué medir» remite más que a reconocer o no las distintas dimensiones de la educación (el dominio cognoscitivo versus todos los demás) a identificar cuáles son los dominios que se prestan mejor a ser medidos. Si bien la medición de los dominios cognoscitivos es un primer paso, es necesario explorar los otros dominios (afectivos, éticos, sociales, estéticos) donde radican los factores que determinan los resultados.

En relación con los componentes de la calidad de la educación, algunos autores (Chafee, Sherr, 1992; Sallis, 1993) identifican tres: calidad en el diseño, calidad en los procesos y calidad de los resultados. Mientras la calidad del diseño se focaliza en la determinación de lo que se desea lograr con la actividad educativa (en el caso de la escuela en los objetivos), la calidad de los procesos se refiere a la manera como se organizan los factores que conducen a los resultados (por ejemplo, el programa, los métodos, los docentes, etc.). La calidad de los resultados trata de qué y de cuánto han aprendido los estudiantes. En general, se ha prestado poca atención a los procesos y las mediciones se han centrado en los resultados. Por último, la discusión de la calidad puede situarse tanto en niveles distintos (sistema versus escuela) como en sus diferentes dimensiones. Los objetivos o metas de la escuela o del sistema constituyen la primera dimensión de la calidad; en ellos se define el producto o el tipo de servicio que busca entregar la escuela (una forma adecuada de investigarlos es revisar los proyectos educativos de los establecimientos); la segunda dimensión de la calidad tiene que ver con los estilos de planificación, de gestión y evaluación y su relación con las expectativas de resultados. La tercera, con las facilidades de acceso al aprendizaje. La cuarta se focaliza en los docentes y en su actividad (salario, ambiente laboral, oportunidades de capacitación, etc.). La quinta se refiere al ambiente emocional y la sexta está constituida por los vínculos con los padres y apoderados de los niños. Este conjunto de dimensiones constituye dominios de observación de la calidad; en cada uno de ellos se pueden realizar acciones para mejorar las condiciones de aprendizaje. Tanto las dimensiones como los componentes no actúan aisladamente sino interactúan entre sí y pueden dar lugar a un mejoramiento continuo de la calidad.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se busca una nueva definición de calidad que no se limite a la medición de los rendimientos escolares. En este sentido, el texto reconoce que la calidad es un juicio del observador, a veces incluso sin pruebas, condicionado por las circunstancias sociales. El texto tiene el valor de abrir el juego y de mostrar el conjunto de niveles y dimensiones involucrados en la categoría «calidad». Al mismo tiempo, el autor reivindica la medición de los resultados como paso necesario para explorar los restantes factores que definen la calidad, y concluye el texto dando cuenta de los esfuerzos que se están desarrollando en este campo.

Contenidos principales

a) Este programa de mejoramiento de la calidad, conocido como Programa de las 900 escuelas, se inscribe en los grandes objetivos de la política educacional chilena: mejorar la calidad de la educación, distribuir equitativamente la educación y hacer de ella una tarea de todos. El propósito general del programa es apoyar a las escuelas básicas gratuitas ubicadas en áreas pobres del país; impulsar un conjunto de actividades orientadas a desarrollar la calidad de la educación, centradas en el primer ciclo básico (primero a cuarto grado) y en las áreas de lectoescritura y matemática. Las orientaciones pedagógicas del programa se resumen en tres principios: respeto y recuperación de los aprendizajes previos; integración de los aprendizajes particulares en experiencias generales; fortalecimiento de la autoestima a través de los aprendizajes particulares. Estos principios suponen tanto valorar los contextos culturales de los niños como las experiencias de profesores, directores y supervisores. En 1991 el programa se aplicaba en 1278 escuelas de las trece regiones del país y en 197 establecimientos uni y bidocentes, con la participación de 7267 profesores y 221 mil alumnos. Las líneas fundamentales del programa son siete: mejoramiento de la infraestructura y del equipamiento; talleres de profesores; textos escolares; bibliotecas de aula y material didáctico, talleres de aprendizaje para los alumnos con retraso escolar con el apoyo de monitores, quienes son jóvenes de la comunidad; apoyo a directores y profesores con materiales educativos; y procesos de apoyo transversales (procesos de evaluación y comunicación; una evaluación permanente por los propios actores y dos evaluaciones externas, una para la totalidad de las acciones y una específica para los talleres de aprendizaje).

b) Las primeras acciones realizadas fueron: i) conformar un equipo central, que se constituyó en un espacio de encuentro entre el sector oficial y las ONGs; ii) seleccionar a las escuelas, considerando tanto los niveles socioeconómicos como los rendimientos escolares y; iii) capacitar a los supervisores, quienes representan el nexo entre el equipo central y las escuelas (formación en talleres para profesores, talleres de aprendizaje, capacitación de monitores, uso de los materiales de apoyo a los docentes). Asimismo, se organizaron coordinaciones regionales y provinciales y se realizó una labor inicial de difusión. Se relevaron necesidades de infraestructura y se financiaron mejoramientos por unos 3 millones 700 mil dólares; además, se elaboraron materiales educativos para apoyar los talleres de profesores en los propios centros, se entregaron materiales didácticos a las escuelas y se organizaron los talleres de aprendizaje. Aunque había una experiencia acumulada en el PIEE (ONG chilena) de más de una década, la incorporación de los talleres de aprendizaje al sistema educacional fue el aspecto más novedoso que introdujo el programa; también fue el punto que generó más resistencia.

c) Logros del programa: i) el M. de Educación se ha hecho presente junto a las escuelas en situación más difícil; ii) los talleres de profesores han sido valorados como una instancia de participación responsable por parte de los profesores y como un tipo de perfeccionamiento eficaz; iii) los talleres de aprendizaje, pese al escepticismo inicial, fueron bien aceptados en la escuela; fueron exitosos y se advirtieron cambios positivos en los niños: más expresividad e iniciativa y mayor gusto por asistir a la escuela; también cambios en los monitores (jóvenes de la comunidad), quienes valoran altamente su participación en el programa; en relación con los avances en el aprendizaje, las pruebas del SIMCE para el cuarto grado de las escuelas participantes en el programa no muestran resultados concluyentes, ya que mientras el 38.3% de los niños presentaba adelantos notables y el 16% algunos avances, el restante 45% de los casos no registraba diferencias respecto de los niveles iniciales de logro; iv) los materiales educativos, los textos escolares, las bibliotecas de aula, acompañados de los talleres de perfeccionamiento para los profesores, han motivado a estos en mayor grado a realizar un esfuerzo especial por el aprendizaje significativo de los niños. Entre las principales limitaciones se señala que el uso de los nuevos materiales o la implementación de aulas letradas se fueron asumiendo lentamente; asimismo, la sistematización de la experiencia era en 1992 una de las agendas pendientes.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Permite reflexionar acerca de la evaluación de la calidad desde la implementación de un programa de mejoramiento de la calidad focalizado en escuelas de escasos recursos. En particular, el documento crea un espacio para la reflexión acerca de los supuestos teóricos que pueden sustentar la evaluación de la calidad, así como la selección de variables a ser evaluadas y sus respectivos indicadores, inferidos todos ellos a partir de los logros del programa o de sus estrategias de ejecución. Por otra parte, el documento no explicita en forma exhaustiva el componente de evaluación y sistematización; esta situación permite reflexionar acerca de hasta dónde los programas de mejoramiento de la calidad han previsto actividades sistemáticas de evaluación y sistematización de su experiencia.

Contenidos principales

a) El programa MECE constituye el esfuerzo principal del gobierno por mejorar en forma sustantiva los insumos, procesos y resultados del sistema escolar. En los noventa, el Gobierno de la Concertación de Partidos por la Democracia plantea calidad y equidad como los dos ejes articuladores de la política en el sector educación. Asimismo, se plantean como principios fundantes: la educación como responsabilidad de toda la sociedad, los consensos de base de la sociedad como parámetros fundamentales de la transmisión cultural y de los procesos formativos que tienen lugar en el sistema escolar, y la participación como principio clave de mejoramiento institucional. En este marco de referencia se inscribe la elevación del presupuesto en educación, la profesionalización docente y las mejoras salariales. El programa MECE es una estrategia de mediano plazo de mejoramiento de la calidad y equidad del sistema, a ser financiado por 6 años, a partir de 1992, con el apoyo del Banco Mundial. El MECE sigue orientaciones de discriminación positiva, ofreciendo insumos y procesos diferenciados en nombre de una mayor equidad; asimismo, busca crear espacios de participación en las escuelas y de este eje depende en gran parte su éxito; aspira, además, a llevar la descentralización administrativa a una efectiva descentralización pedagógica y a optimizar la gestión institucional del M. de Educación (mediante incorporación de tecnologías de planeamiento, asignación y ejecución presupuestaria, donde la evaluación, la informática y la capacitación desempeñan un rol fundamental). Por último, el programa MECE se orienta por una estrategia o diseño abierto, que promueve la iniciativa de las escuelas y no ofrece una receta preestablecida.

b) El objetivo principal del programa es mejorar la calidad y la equidad de la educación básica; asimismo, se propone ampliar y mejorar la cobertura de la educación preescolar; mejorar la capacidad de gestión del M. de Educación y evaluar alternativas de reformas institucionales y curriculares en la educación media, orientadas al mejoramiento de su calidad, pertinencia y equidad. El monto global del proyecto será de 243 millones de dólares, de los cuales la mayor parte se invertirá en educación básica (186 millones de dólares en 6 años).

c) En el campo de la educación preescolar, las estrategias han sido seleccionadas sobre la base de los siguientes criterios: optimización del uso de programas existentes de amplia cobertura en sectores de pobreza, para diversificar la localización geográfica de la oferta; focalización de la acción en los niveles de transición, para garantizar la continuidad con la educación básica; incorporación de programas no formales de educación preescolar y participación de los padres y de la comunidad nacional. Las actividades previstas incluyen desde nuevos cursos regulares de preescolar en escuelas municipales hasta atención en minicentros rurales, programas especiales con monitores rurales, educación para los padres y programa de promoción de la demanda; asimismo, capacitación del personal mediante un sistema nacional de perfeccionamiento y talleres locales de integración, dotación de materiales, etc.

d) En el campo de la educación básica el programa MECE se propone la mejora de las competencias sociales de base y una distribución social más equitativa de estos aprendizajes. Se incluyen dos líneas de acción: i) una línea orientada a mejorar la provisión y calidad de los insumos y condiciones de los contextos de aprendizaje (se engloban bibliotecas de aula, textos, perfeccionamiento docente, entrega a profesores de guías didácticas, programa de salud escolar, inversiones en infraestructura, aumento de salarios y mejoras en la condición laboral del docente) y; ii) otra línea destinada a introducir mejoras e innovaciones en las prácticas pedagógicas (descentralización pedagógica, educación rural, red interescolar de informática educativa, etc.). En este marco se aspira a promover la generación y ejecución de Proyectos de Mejoramiento Educativo (PME) por las escuelas básicas con financiamiento público; asimismo, el perfeccionamiento de los profesores se orienta tanto a formarlos en el diseño de los PME como en la actualización disciplinaria.

e) En el campo de la educación media, el programa MECE busca producir una estrategia de renovación en el mediano plazo; la elaboración de esta propuesta implica producir información y antecedentes y promover actividades de sensibilización. Se ha previsto un conjunto de investigaciones que involucran temas tales como currículo y estructura, prácticas de trabajo docente y socialización, medición de calidad, gestión y financiamiento, formación de profesores. Por último, el programa se propone el fortalecimiento de la gestión del M. de Educación, tarea que involucra desde la creación de sistemas de información hasta la generación de nuevas relaciones con la comunidad y con la sociedad en su conjunto.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Permite reflexionar sobre la evaluación de la calidad de la educación desde un sistema de mejoramiento de la calidad, que afecta a tres niveles del sistema educativo y que se caracteriza por su integralidad. A partir de este programa pueden derivarse propuestas acerca de los enfoques, variables e indicadores a considerar en un sistema de evaluación de la calidad. Al igual que en el caso del Programa de las 900 escuelas llama a la reflexión que el componente de sistematización y evaluación no esté suficientemente explicitado en el documento; nos permite conjeturar que esta es una de las agendas pendientes en los programas de mejoramiento de la calidad de la educación.

3. Títulos sobre evaluación educativa, de los cuales se pueden derivar principios y estrategias para la evaluación de la calidad de la educación; incluye artículos derivados de experiencias.

Contenidos principales

a) Las reflexiones de este artículo se basan en la participación en proyectos de evaluación. Durante el último decenio han tenido lugar en Brasil experiencias de evaluación del desempeño del sistema educacional en el nivel de enseñanza de primer grado, asociando rendimiento escolar con otros factores tales como regiones del país, condiciones de las escuelas, las familias y los profesores, etc. Si bien varias disciplinas fueron incluidas en esta evaluación, lenguaje y matemática constituyeron un elemento constante.

b) Recomendaciones específicas derivadas de los proyectos de evaluación: i) diseño de evaluaciones que cuenten con un grupo de control que permita verificar el impacto comparativo del programa que se está evaluando; ii) actualización del marco muestral, para facilitar la selección aleatoria de las escuelas incluidas en la muestra; iii) verificación del cumplimiento de los requisitos establecidos para la selección del personal que aplica las pruebas; iv) mayor control en el momento de aplicación de las pruebas, a fin de evitar las interferencias externas.

c) Recomendaciones generales: i) considerar los aspectos del medio educativo en el cual se desenvolverá la evaluación, evitando la imposición de modelos que, aunque bien estructurados desde el punto de vista teórico, no se ajustan a las distintas dimensiones del sistema educativo; ii) es necesario garantizar la continuidad del proceso evaluativo; iii) la evaluación educacional exige definiciones y procedimientos ad hoc; iv) es importante tomar en cuenta tanto la poca credibilidad de las evaluaciones entre los administradores, técnicos y profesores, como la situación crítica de las estadísticas educacionales en Brasil (la falta de datos lleva a preguntarse si la muestra seleccionada para la evaluación es representativa del universo investigado); v) identificar los contenidos programáticos respecto de los cuales se miden los niveles de logro de los estudiantes (en algunos casos, se hará necesario determinar los contenidos comunes a programaciones diversas o considerar los libros didácticos como el currículo real); vi) formar personal para la evaluación, especialmente para la elaboración de instrumentos; vii) demostrar el carácter no punitivo de los procesos de evaluación sino el pedagógico y superador de dificultades; viii) contratar a los profesores del sistema para la elaboración de ítems para las pruebas; ix) superar el dilema entre pruebas objetivas versus pruebas de ensayo y aceptar la validez relativa de ambas, de acuerdo con el contexto; x) aceptar las dificultades para realizar una evaluación general del sistema, ya que en el caso de Brasil no se tiene acceso a los alumnos de las escuelas privadas.

d) Consideraciones finales: i) se ha realizado una gran movilización educacional (de personal y de recursos económicos) para evaluar algunos segmentos del sistema educativo y sensibilizar acerca de la importancia de mejorar la calidad de la educación. Sin embargo, la discontinuidad institucional y política ha producido una dramática discontinuidad de información y de utilización de resultados de proyectos evaluativos; ii) las evaluaciones disponibles ofrecen un terreno fértil para repensar el sentido de la enseñanza fundamental (básica o primaria); en particular, es necesario discutir adónde queremos llegar cuando proclamamos la obligatoriedad de 8 años de escolaridad básica y cómo se pretende implementar una propuesta realista de enseñanza fundamental; iii) se requiere un plan de acción de medio plazo en materia de evaluación, cuya factibilidad está garantizada por un equipo designado para responder por él, con un cronograma de metas y responsabilidades definidas; este proceso implica, a su vez, un tiempo suficiente de maduración, discusión y divulgación, así como partir de premisas claras y contar con un respaldo administrativo ágil; iv) el desarrollo teórico-práctico del área de evaluación educacional requiere reconocer las limitaciones impuestas al modelo de trabajo por el contexto real. En el mismo sentido, la evaluación de los conocimientos de los alumnos sólo podrá servir a los profesores y al sistema educativo como parámetro de perfeccionamiento de la calidad de la enseñanza si forma parte de un proceso continuo de evaluación.

Cuál es el valor del texto (o las preguntas que suscita el texto)

En primer lugar, se presenta el contexto en el cual se desenvuelve la evaluación (entre otros la falta de información) y se señala hasta dónde éste limita su accionar. Al mismo tiempo, antes que cuestionar la evaluación de los logros de los estudiantes, el artículo muestra la necesidad de integrarla a un esfuerzo o programa evaluativo mayor. Asimismo, el ensayo propone tanto sugerencias operativas (al estilo de mejorar la selección del personal que aplica las pruebas) como propuestas que involucran la relación de los equipos de evaluación con el resto del personal educativo, con los sistemas de información y con el aparato del Estado.

Contenidos principales

a) En primer lugar, en Brasil existe un sentimiento generalizado acerca de la crisis de la educación pública, ya que se anteponen los proyectos asistenciales y se olvida que la función de la escuela es enseñar. Asimismo, el M. de Educación tiene escasa experiencia en la planificación y puesta en marcha de sistemas de monitoreo; en el mismo sentido, la investigación educacional se ha concentrado en las universidades y en otras instituciones relacionadas con catastros sociales.

b) La investigación no es evaluación, ya que ésta última supone una actividad permanente y recurrente, una relación más duradera con los clientes institucionales y personales y actividades que no se limitan al ámbito de una muestra. Por su parte, las investigaciones educacionales pueden ser de base escolar o de base domiciliar y ambas presentan ventajas y limitaciones (por ejemplo, las investigaciones de base domiciliar no dan cuenta de las características de las escuelas pero presentan la ventaja de no interrumpir la rutina escolar y guardan independencia respecto de las autoridades escolares). En este marco, la evaluación tiene mayor alcance que la investigación y también mayores costos; supone un sistema de actividades que involucra tres componentes: i) un catastro o inventario periódico de información; ii) un análisis; y iii) el empleo de la información para orientar eventuales acciones administrativas. Si se asume esta definición de la evaluación, se pierde su condición punitiva, se logra mayor libertad y un progresivo mejoramiento de las personas y de las instituciones.

c) Los sistemas de monitoreo se clasifican en tres tipos: evaluación de los insumos, evaluación de los procesos y evaluación del rendimiento. La evaluación de los insumos es el sistema más antiguo de monitoreo, que confirma la congruencia (o «conformidad») de la escuela respecto de patrones establecidos por los organismos públicos (por ejemplo, que las credenciales de los profesores fueron examinadas y archivadas, que los metros cuadrados de biblioteca están de acuerdo con las especificaciones para escuelas de ese tamaño, etc.). La evaluación de procesos busca el mejoramiento progresivo de los alumnos a través de diagnósticos periódicos vinculados con procesos de recuperación o remediales. La evaluación del rendimiento ha recibido un nuevo ímpetu en los ochenta como parte de un movimiento por una mayor transparencia en la administración de las escuelas públicas, mediante una periódica prestación pública de cuentas (accountability movement). El supuesto es que la demostración del rendimiento de las escuelas exitosas estimula el mejoramiento del desempeño de otras escuelas; este tipo de evaluación prioriza el empleo de pruebas cognitivas.

d) Cuáles son las limitaciones y controversias en torno de los tres sistemas de monitoreo. «Conformidad», «diagnóstico» y «desempeño» en el seguimiento o monitoreo de la enseñanza se refieren a partes diferentes del sistema escolar, con referencias teóricas y objetivos igualmente diferentes. El monitoreo de conformidad está asociado con el control burocrático y busca establecer y mantener patrones; sin embargo, no da cuenta de la diversidad de alumnos y de escuelas (por ejemplo, no dice nada acerca de la calidad de los textos sino de la relación número de alumnos/número de libros). Por su parte, el monitoreo de los procesos, que se inspiró en la psicología clínica, se focaliza en el alumno y tiende a ignorar las contingencias exógenas a la escuela. Además, el monitoreo de procesos requiere un vínculo estrecho con un currículo definido desde la escuela y no con un currículo único establecido desde el poder público. Por último, el monitoreo de rendimiento aplica los principios de la teoría microeconómica a las organizaciones del sector público, ya que busca promover el desempeño académico a través de la competencia entre unidades del sistema educacional. Consecuentemente, privilegia los resultados cognitivos alcanzados por la escuela. Dos grandes desventajas presenta este tipo de monitoreo: su dependencia del mejoramiento de los sistemas actuales de información y la eventual simplificación del currículo.

e) Otra distinción relevante es considerar la condición intrínseca o extrínseca de la evaluación. Si un sistema de monitoreo es empleado por un cuadro profesional en búsqueda de información para promover su propio mejoramiento y si la iniciativa parte del interior de la unidad beneficiada, la evaluación es intrínseca. Este modelo supone la participación asociativa y la constitución del personal como una asociación profesional que se autoevalúa. Por el contrario, la evaluación externa se conforma de acuerdo con el modelo clásico de inspección burocrática.

f) En el campo de la evaluación se recomienda diferenciar entre medidas estáticas y dinámicas. Mientras las medidas de desempeño son estáticas (dan cuenta de un estado de aprendizaje en un momento particular de tiempo), las medidas de crecimiento del desempeño son dinámicas, ya que el propósito de la medición es representar los cambios de los estudiantes en un período de tiempo. Asimismo, se propone la creación de «una nueva generación de pruebas», capaz de evaluar el desempeño de los alumnos en su conjunto y no de un alumno en particular; este tipo de pruebas debe satisfacer requisitos tales como estabilidad, permitiendo comparaciones de un año a otro; confiabilidad, ya que los resultados obtenidos a partir de formas alternativas de una misma prueba pueden llevar a resultados similares; en el mismo sentido, la presentación de resultados es hecha de una forma comprensible para todos y bajo la forma de un producto de pronta entrega. Por último, en vista de la importancia de respetar la diversidad curricular, se propone poner a disposición de las comunidades bancos de ítems implementados por computador que consideren los objetivos curriculares específicos de cada una de ellas.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se presenta un panorama global acerca de la evaluación educativa, que al mismo tiempo focaliza su atención en la evaluación de los procesos. Se rescata la importancia de la evaluación intrínseca o realizada por los propios miembros de la organización y se reivindica la evaluación como un monitoreo permanente definido desde las necesidades de cada comunidad.

Contenidos principales

a) La descripción del sistema educativo mexicano, con especial referencia a sus modalidades y niveles, constituye el encuadre para analizar los procesos de evaluación de logros académicos que han tenido lugar en México desde los setenta. Es importante destacar que en la actualidad se atiende a más de 25 millones de alumnos, en poco más de 165 mil escuelas, con la participación de cerca de 1 millón de maestros; además, la escolaridad obligatoria es de 9 grados (educación primaria y secundaria).

b) Hacia 1970 y a pesar de que la inscripción en el sistema educativo era de 11 millones, el promedio nacional de escolaridad no superaba los cuatro grados y los índices de deserción y reprobación superaban el 50%. En este marco, la Secretaría de Educación Pública inició una reforma educativa que incluyó la elaboración de nuevos planes y programas para la educación primaria y secundaria; asimismo, la planeación y la evaluación fueron consideradas como componentes que podían elevar la calidad del sistema y se crearon instancias para desarrollar acciones de evaluación (de los aprendizajes al término del sexto grado, de los alumnos de telesecundaria, examen de ingreso a secundaria). En el período 1976-1982 la evaluación educativa comenzó una etapa de consolidación; en esta época se realizó la primera evaluación con representatividad nacional a muestras de escuelas: evaluación del rendimiento de los alumnos de cuarto y quinto grado de educación primaria. La práctica evaluativa se vio dificultada por la siguiente idea: los resultados deben ser confidenciales para evitar su utilización política. Esta decisión limitó tanto el número de usuarios de la información como el desarrollo técnico de equipos de evaluadores. Consecuentemente, se recomendó que la información sobre la calidad del sistema debía ser pública y no «secreto de Estado», ya que su utilidad se refuerza en la medida que la sociedad en su conjunto, y no sólo las autoridades educacionales, la hace suya y se compromete en acciones para resolver los problemas detectados. A partir de 1983 se inicia la evaluación de la formación de los maestros y se crea un sistema nacional de evaluación periódica del proceso de enseñanza-aprendizaje; sin embargo, se mantiene el debate en torno de qué medir (alusión al programa actual o a las capacidades que los estudiantes deberían dominar; pruebas referidas a la norma o al criterio). Asimismo, se observa que muchos de los trabajos de evaluación son descriptivos y que las pruebas tienen escasa pertinencia en el ámbito regional o local. A partir de estos antecedentes se proponen cinco líneas de evaluación: del desempeño escolar, del proceso educativo, de la administración educativa, de la política educativa, del impacto social de la educación. Sin embargo, la falta de una «cultura de evaluación» generalizada ha propiciado que persistan concepciones erróneas tales como asociar evaluación con castigo.

c) Actualmente en México la evaluación educativa se realiza desde dos ámbitos fundamentales y complementarios: el interno, a cargo de los responsables de brindar los servicios educativos, y el externo, a cargo de especialistas. El Sistema Nacional de Evaluación Educativa (SNEE) es una propuesta externa, que a la luz de la federalización de la educación básica y normal adquiere especial relevancia, ya que permite monitorear el funcionamiento de los servicios educativos en todo el país para preservar la unidad y la equidad del sistema. La implantación del SNEE no es una acción puramente administrativa sino que requiere la aceptación y participación de los actores del proceso educativo (profesores, estudiantes, padres). El SNEE ha establecido exámenes anuales de aprendizaje que tienen por propósito disponer de indicadores anuales de logro educativo, apoyar la toma de decisiones y los procesos de autoevaluación en las escuelas, y propiciar que los profesores y las familias cuenten con información acerca de los procesos de aprendizaje. Dos principios orientan el diseño y la aplicación de los exámenes: la participación de los maestros en todas las etapas y la complementación con otros instrumentos que valoren el contexto socioeconómico. En este marco se aspira a que el SNEE proporcione periódicamente información válida, confiable y comparable; aún más, el SNEE no debe limitarse a ser un sistema de medición sino debe evaluar, o sea, comparar respecto de un ideal educativo. También se plantea dejar atrás la creencia acerca de la evaluación como un ejercicio académico realizado por científicos sociales para comprender la realidad.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Se destaca la evaluación por su aporte a la transparencia del sistema educativo y, por ende, a la calidad de la educación. Práctica evaluativa definida desde y para la toma de decisiones y con la participación de los actores. Si bien el sistema de evaluación se inicia con la medición de los aprendizajes, se observa la inquietud por no reducir la actividad a una mera medición y por involucrar la comprensión del contexto.

4. Títulos sobre medición de la calidad, de los cuales se pueden derivar principios y estrategias para la evaluación de la calidad de la educación; incluyen documentos derivados de investigaciones o de sistematizaciones de programas de medición de la calidad

Contenidos principales

a) Hoy, en la medida que se ha generalizado el acceso a la educación básica, el mejoramiento de la calidad en todos los niveles del sistema educativo es una de las tareas prioritarias de los educadores, planificadores y políticos. La información, en particular el diagnóstico acerca de la calidad de la educación, es una condición necesaria para el mejoramiento de la calidad. A partir de este supuesto se deriva la importancia de contar con un sistema de información que permita tanto medir los niveles actuales de calidad como pronosticar caminos alternativos. Se presenta una propuesta para medir la calidad de la educación. Se emplea el término medición porque implica establecer mecanismos que permitan objetivar y cuantificar diversos productos del proceso educativo. Los resultados se miden en términos de rendimiento de los alumnos en las asignaturas de Castellano y Matemática así como de los factores y procesos que contribuyen a producirlos. Los instrumentos empleados se diseñaron sobre la base de la revisión de investigaciones acerca de la calidad de la educación. Además, se buscó no sólo medir la calidad sino fomentar una cultura evaluativa y una actitud favorable hacia la medición y el mejoramiento de la calidad.

b) El concepto de calidad de la educación ha sido abordado desde distintos niveles del sistema educativo: la sala de clases, la relación escuela-comunidad o la relación escuela-sociedad. A pesar de las diferencias de enfoque, existe consenso acerca de la condición deficitaria de la calidad de la educación en América Latina. Asimismo, la mayoría de los estudios sobre la calidad concuerdan respecto de la importancia de focalizar los esfuerzos de medición y diagnóstico de la calidad de la educación -y el mejoramiento subsiguiente- en los sectores que se integran a la escuela con desventajas culturales y sociales. El concepto de focalización es central en la propuesta que se presenta en este estudio.

c) Las variables consideradas para medir la calidad de la educación fueron: rendimiento escolar (logros instruccionales en lenguaje y matemática en cuarto grado básico); variables de la madre (escolaridad, expectativas de escolaridad, monitoreo escolar de la madre, intencionalidad pedagógica o interés por el aprendizaje de su hijo fuera del contexto escolar); variables del director (años de experiencia, funciones, gestión de los recursos humanos, clima de la escuela, ambición de la calidad educativa de la escuela); variables de los profesores (años de experiencia, función docente, atribución de éxito y de fracaso escolar). Mientras el rendimiento escolar es considerado variable dependiente, las variables de la madre, del director y de los profesores son consideradas como variables independientes a efectos del análisis estadístico. Pruebas objetivas con preguntas de selección múltiple fueron usadas para medir los rendimientos y formularios estandarizados para el resto de las variables. La muestra estuvo constituida por 20.572 alumnos del cuarto básico o comienzos del quinto de siete países: Argentina, Bolivia, Costa Rica, Chile, Ecuador, R. Dominicana y Venezuela.

d) Los resultados del estudio fueron los siguientes: i) los niveles de logro promedio para la región son bajos (54.74% en lenguaje y 47.91 % en matemática); estos promedios indican que los niños dominan la mitad o algo menos de los objetivos esperados (el 60% de los niños se encuentra en ese nivel de rendimiento); los rendimientos no presentan diferencias significativas por género o edad pero sí por nivel socioeconómico (a mayor NES, más logros); además, se observa alta heterogeneidad de los rendimientos entre países. El otro factor que afecta los rendimientos es el gasto en educación (a más gasto, mayores logros); ii) la escolaridad de la madre y sus expectativas con respecto al nivel de escolaridad que alcanzarán los hijos también afecta los rendimientos (baja escolaridad y bajas expectativas se correlacionan con bajos rendimientos). Por otra parte, el monitoreo de la madre (frecuencia con que visita la escuela y recuerda y corrige la tarea de sus hijos) se presenta en mayor grado en los niños con bajo rendimiento; iii) la organización escolar influye sobre los rendimientos en forma tal que en las escuelas mejor evaluadas por los directores, en términos de clima organizacional y presencia de un proyecto educativo, se observan mayores niveles de logro; iv) el estilo de gestión del director, en particular una gestión estimuladora del rendimiento laboral de los profesores (proporcionar facilidades para la capacitación, evaluar y calificar a los profesores por escrito, estímulos públicos, etc.), se asocia con mejores rendimientos en matemática y no así en lenguaje; esto sugiere que el aprendizaje del lenguaje está más asociado con la familia, y el aprendizaje de la matemática con la escuela; v) otra variable que influye en el nivel de logro es la intencionalidad pedagógica de la madre, expresada en hacer regalos didácticos a sus hijos; sin embargo, la relación no es lineal; sólo se observa que los niños de mayores rendimientos tienen madres que hacen un regalo; vi) el rendimiento de los estudiantes se relaciona con los años de experiencia de los profesores (a más años menor rendimiento); se sugiere que quizá los profesores más jóvenes sean también los más entusiastas y disponibles y que estas cualidades sean las que expliquen los mayores rendimientos.

e) En síntesis, si factores internos y externos a la escuela explican los rendimientos de los alumnos, las políticas para el mejoramiento de la calidad de la educación deben considerarse en su conjunto, en particular el papel de la madre y del director. De allí la importancia de incluir en la agenda de los planificadores la capacitación del personal directivo. Llama a la reflexión la poca incidencia de los profesores en los rendimientos escolares; en efecto, las diferencias en la práctica docente no parecen influir en el nivel de logro; sin embargo, esta ausencia de correlación podría explicarse por la metodología de recolección de información (se pregunta al profesor sobre su propia práctica); la tendencia de los profesores a contestar la respuesta socialmente esperada podría explicar la ausencia de diferencias en la distribución de los puntajes de logro.

Cuál es el valor del texto (o las preguntas que suscita el texto)

El texto muestra las posibilidades y limitaciones asociadas con la medición de la calidad de la educación; asimismo, reafirma la importancia de mantener sistemas de medición y evaluación como instrumentos claves para el diseño de políticas y estrategias educativas. Por último, el texto permite al lector debatir tres temas: i) desde qué definición de calidad se está realizando la medición de la calidad; ii) cuáles son las variables pertinentes para medir calidad y cuáles son los riesgos de medir calidad asociándola principalmente con rendimientos escolares; iii) en qué medida es válido establecer relaciones causales entre el rendimiento y las otras variables o es más certero hacer referencia a variables que varían juntas o que se constituyen en el contexto del problema.

Contenidos principales

a) Los sistemas de evaluación nacional difieren de los sistemas de exámenes para obtener un certificado de estudios. El objetivo de estos últimos es tan solo identificar a los estudiantes que hayan completado satisfactoriamente un nivel educativo determinado, o bien seleccionar entre quienes han completado un nivel aquellos que podrán continuar estudios en el inmediato superior (por ejemplo, de educación primaria a secundaria). En este marco, el primer paso para instituir un sistema de evaluación en un país concreto es determinar si es posible adaptar las pruebas existentes, sean de selección o conducentes a un certificado, para los fines de la evaluación. Esta opción puede ser una buena alternativa en términos de costo-eficacia y se sugiere no desestimarla.

b) También es importante distinguir entre evaluación educacional, estadísticas educacionales e investigación en educación; todas proporcionan información potencialmente útil a quienes toman decisiones en educación. El objetivo de las evaluaciones en educación no es proporcionar una base para la prueba de hipótesis, como sucede en la investigación educacional; las evaluaciones son de una gran riqueza y es posible sacar mayor provecho de ellas si se vinculan con un programa de investigación amplio y completo.

c) Si bien la medición del aprendizaje escolar no produce en sí misma un aumento en el rendimiento, una condición necesaria para establecer las metas cuantitativas es la evaluación de las compensaciones proporcionadas por el empleo de estrategias de asignación alternativas de recursos y procesos. En primer lugar, las evaluaciones se pueden usar para obtener apoyo público a los esfuerzos por mejorar la calidad de la educación. En segundo lugar, las evaluaciones pueden tener un enorme efecto sobre lo que se enseña y lo que se aprende e incluso contemplar repercusiones planificadas en términos de recursos financieros o de prestigio. En tercer lugar, otra manera en que los sistemas de evaluación pueden ser diseñados para mejorar la práctica pedagógica consiste en que dicha evaluación lleve a cabo un diagnóstico del aprendizaje, destinado tanto a mejorar la enseñanza como a diseñar oportunidades de formación para los profesores. Las evaluaciones también pueden utilizarse para premiar el trabajo, recompensando a quienes presentan un buen desempeño o ayudando a mejorar a quienes tienen bajos rendimientos. Por último, los sistemas de evaluación pueden ser diseñados para recolectar información que pueda ser empleada por la comunidad de investigadores para desarrollar investigación básica.

d) Durante la ejecución de las evaluaciones educacionales se deberán explicitar desde el comienzo los objetivos, así como las estrategias de evaluación (qué se medirá y cómo se realizará la medición); asimismo, será preciso decidir la naturaleza del organismo a cargo de las pruebas y el tipo de pruebas a aplicar; por último, es necesario elaborar y administrar las pruebas; esta actividad incluye el diseño de un programa temático para cada asignatura y para cada nivel escolar a ser evaluado, definiendo el grado de razonamiento que se espera medir (memoria, comprensión, análisis, etc.). La determinación de los costos, de quiénes son las personas que recibirán los resultados de la evaluación y de qué información se entregará, son otros de los puntos relevantes que deben ser considerados desde el principio en un sistema de evaluación.

e) Chile y Costa Rica han llevado a cabo evaluaciones nacionales del aprendizaje en educación primaria. Otros países como Honduras, Brasil, Colombia, Jamaica y México, han iniciado una serie de evaluaciones más restringidas del aprendizaje estudiantil. Estos últimos, junto con Belice, R. Dominicana, Ecuador y algunas regiones de Brasil (NE y estado de São Paulo), están pensando establecer sistemas de evaluación de mayor alcance y periodicidad. Sobre la base de describir los sistemas de evaluación de Chile, Costa Rica, México y Colombia, se presentan las siguientes conclusiones: i) Chile es el país que ha tenido más éxito en las evaluaciones, debido a la alta calidad del personal y a una estrategia de retroalimentación directa a profesores y alumnos; ii) en Costa Rica la retroalimentación ha sidoad hoc y la evaluación no incluye el objetivo de usarla como instrumento directo para mejorar la práctica pedagógica; iii) en el caso de México, que cuenta con 20 años de experiencia en este tipo de evaluaciones, los resultados han sido difundidos de una forma excesivamente teórica y general; iv) Colombia cuenta con una institución autónoma que se encarga de aplicar los exámenes, así como con pruebas elaboradas con suma corrección; el desafío en este caso consiste en desarrollar un sistema de evaluación para la educación primaria; v) es importante destacar que ninguno de los cuatro países ha incorporado adecuadamente la investigación a las evaluaciones y pruebas. Tampoco han hecho el esfuerzo necesario en la diseminación y seguimiento de los resultados obtenidos en las pruebas. En este marco se recomienda: i) definir desde el principio los objetivos de la evaluación, incluyendo cómo se espera que ésta conduzca a un mejoramiento de la práctica pedagógica; ii) diseñar desde un comienzo el plan de seguimiento y diseminación, identificando los diferentes usuarios de la evaluación y proyectando programas de capacitación de los profesores sobre la base de los resultados de las evaluaciones. También será necesario desplegar un considerable esfuerzo para educar a las partes involucradas respecto a que una evaluación no se realiza para premiar o castigar sino para ayudar y contribuir al mejor desarrollo de los procesos educativos; iii) el trabajo de evaluación debe ser realizado externamente por una institución independiente, estable y sin fines de lucro; iv) los gobiernos deben considerar el financiamiento de la capacitación de psicometristas y estadísticos, así como la inversión en investigaciones que permita recuperar los resultados de la evaluación (en particular convenios con institutos de investigación sin fines de lucro, locales y extranjeros). Además, se recomienda apelar a estudios muestrales en vez de censos.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Permite reflexionar acerca de la validez de los sistemas nacionales de evaluación, en particular de las condiciones de difusión de los resultados y de los nexos con la investigación educacional. Pone de manifiesto el reducido número de países que cuentan con sistemas nacionales de evaluación así como el carácter de estos, que restringen su ámbito al rendimiento escolar de los estudiantes.

5. Títulos sobre evaluación de la calidad de la educación en Europa.

Contenidos principales

a) La evaluación de la actividad educativa se ha convertido en una necesidad debido a dos circunstancias. Por una parte, se ha hecho evidente que el crecimiento de los recursos económicos destinados a la educación no ha producido la mejora esperada de su calidad, lo que lleva a plantearse la oportunidad de establecer mecanismos que permitan un conocimiento más preciso de la realidad y así conseguir una mayor adecuación entre los gastos realizados y los resultados obtenidos. Por otra parte, como ocurre en el caso español, la descentralización del sistema educativo, tanto por la atribución de competencias a distintos niveles de la administración como por la mayor autonomía de los centros, exige establecer procedimientos que aseguren la homologación de las titulaciones obtenidas y, en último término, la igualdad de oportunidades de todos los ciudadanos. La evaluación se define como «un proceso sistemático de recogida de datos, incorporado al sistema general de actuación educativa, que permite obtener información válida y fiable para formar juicios de valor acerca de una situación», los cuales, a su vez, «se utilizarán en la toma de decisiones consecuente con objeto de mejorar la actividad educativa valorada».

b) Tras especificarse los tres niveles en los que se puede efectuar la evaluación del sistema educativo -la administración educativa, el centro escolar y el alumnado-, el libro se fija en el segundo de ellos, el centro, que es el núcleo donde se realiza la educación formal. El objetivo básico de la evaluación de los centros es la mejora en su calidad, para lo cual debe recogerse información sobre los distintos componentes o aspectos de los mismos, tanto contextuales como materiales, personales o funcionales. La evaluación puede adoptar diferentes formas, y numerosos autores han establecido tipologías, entre las que destacan las tres siguientes: 1) en virtud de la finalidad de la evaluación, pueden distinguirse la formativa, que se lleva a cabo de manera simultánea al proceso que se pretende evaluar con objeto de ir mejorando las disfunciones que se detecten, y la sumativa, que se aplica a productos o procesos ya finalizados, con objeto de determinar su valía de cara a su futura utilización; 2) en función de la extensión de la evaluación, puede hablarse de las globales, que abarcan todos los componentes del centro, y de las parciales; 3) tomando en cuenta los agentes evaluadores, se puede diferenciar entre evaluaciones internas, llevadas a cabo por los propios integrantes de la institución evaluada a través de procesos de autoevaluación, heteroevaluación y coevaluación, y las externas, efectuadas por expertos no implicados en el centro.

c) Por lo que se refiere a la metodología de la evaluación, los dos grandes paradigmas de las ciencias sociales, el cuantitativo y el cualitativo, se enfrentan asimismo en el campo de la evaluación. Si los primeros estudios de evaluación generalmente han respondido al modelo cuantitativo, trabajos posteriores han abogado por esquemas cualitativos, en los que las descripciones de incidentes clave se utilizan como ejemplos concretos del funcionamiento de principios abstractos de organización social. En la práctica, la mayoría de las evaluaciones tiende a utilizar métodos de ambos paradigmas, para así conseguir una mayor riqueza e imparcialidad de la información.

Aunque los diseños de la evaluación pueden ser tanto experimentales como cuasiexperimentales, la autora considera que a la hora de valorar los centros son preferibles los diseños no experimentales, porque se adecúan mejor a la naturaleza compleja de los procesos y permiten incorporar las eventualidades que van apareciendo, y con ello ajustan los pasos establecidos previamente en ellos (además, los diseños experimentales suelen tener el problema ético de la posible manipulación de los sujetos investigados). Dentro de los diseños no experimentales destaca el estudio de casos como especialmente apto para la evaluación de centros, debido a que implica el análisis profundo de una realidad singular, con la utilización de diversas técnicas como la observación o la entrevista. También tiene interés la denominada investigación-acción, que consiste en el examen continuo de la situación dentro de una realidad reducida y en el desarrollo de ajustes permanentes para mejorar el proceso que se está llevando a cabo, en el que pueden participar tanto evaluadores externos como profesionales del medio evaluado. Las técnicas e instrumentos de la evaluación -observación, entrevista, encuesta, cuestionario, test-, son descritos someramente, así como las técnicas para el análisis de los datos. Es fundamental la triangulación o el uso de distintas fuentes de datos, métodos y sujetos de estudio, que reduzcan el sesgo y los subjetivismos. En la fase final de la evaluación se produce el informe, en el que debe recogerse de manera clara y sintética todo el proceso realizado y las conclusiones obtenidas.

d) Buena parte de los componentes del centro que han de ser valorados no resultan directamente mensurables a causa de su propia complejidad, lo que obliga al evaluador a establecer indicadores de calidad. Estos se definen como descripciones de factores o componentes educativos en su estado óptimo de funcionamiento, es decir, como situaciones ideales en las que debería hallarse el centro educativo; dichas descripciones sirven como criterio de referencia para valorar la realidad del centro. La tarea de identificar cuáles han de ser los indicadores de calidad que deben utilizarse en la evaluación de los centros es compleja, y en ella trabajan numerosos investigadores y organismos internacionales como la OCDE. En términos generales, cuando se menciona la calidad educativa se alude al buen rendimiento del alumnado, a la satisfacción de la comunidad educativa en su conjunto y a la mejor respuesta del centro escolar a las exigencias de la sociedad. La autora cita una obra de Arturo de la Orden para definir la calidad del centro educativo como la capacidad de respuesta de éste a tres imperativos: la funcionalidad (satisfacción de las necesidades del entorno), la eficacia (consecución de los objetivos perseguidos) y la eficiencia (logro de los objetivos a un precio razonable).

e) La función última de la evaluación es retroalimentar el sistema, es decir, enjuiciar la situación del centro y corregir o reforzar los elementos valorados. En esta retroalimentación reside la utilidad de la evaluación y la capacidad de ésta para erigirse en un mecanismo de garantía de la calidad.

Cuál es el valor del texto (o las preguntas que suscita el texto)

La evaluación de los centros docentes constituye una actividad fundamental a la hora de mejorar la calidad del sistema educativo, puesto que aquéllos son la pieza clave de éste, de cuya correcta organización y funcionamiento dependen los resultados del sistema en su conjunto. La evaluación de la calidad es un proceso complicado, dada la complejidad de la realidad que se estudia y la dificultad de establecer indicadores de calidad educativa fiables y precisos. La mejor estrategia ante este problema es adoptar una combinación de distintas metodologías y técnicas de investigación, para así proveerse de una información más completa y contrastada. En cualquier caso, parece claro que toda evaluación debe incluir métodos cualitativos y una cierta dosis de evaluación interna (recogida de información por los propios sujetos evaluados).

Contenidos principales

a) De acuerdo con Denis Kallen, entre los cambios más importantes acaecidos a las políticas educativas de los países de la OCDE en los últimos años se encuentra una mayor preocupación por la valoración y evaluación de los sistemas educativos. Las crisis por las que ha atravesado la educación y la reorganización administrativa emprendida en la mayoría de los países han constituido los principales incentivos para la puesta en marcha de programas de evaluación. La principal novedad referida a la evaluación consiste en el hecho de que ésta se ha convertido en un aspecto más de la política educativa, y ha tendido a considerarse como un elemento básico a la hora de elaborar y reformar las políticas: se observa una creciente aceptación de la idea de que los programas educativos deben ser evaluados y de que la evaluación debe formar parte de la elaboración de la política y de la planificación educativas.

Se aprecian, asimismo, otras tres tendencias en relación con la evaluación. En primer lugar, se ha tendido a trasladar el objeto de esta, que ha pasado del alumno individual a la clase o a la escuela, así como al programa educativo. En segundo lugar, y sin que ello sea contradictorio con lo anterior, a menudo el reforzamiento de la evaluación se ha llevado a cabo mediante la mejora y extensión de los antiguos procedimientos de valoración del rendimiento académico de los estudiantes: clases, escuelas y distritos son valorados a partir de incluir los resultados académicos de los alumnos correspondientes, si bien se ha tendido a ensanchar los aspectos evaluados con respecto a la tradicional medición de la competencia lingüística y matemática (ahora es más frecuente que se incluyan materias como la historia o la educación cívica, de modo que los procedimientos cualitativos de evaluación han adquirido más importancia). En todo caso, la importancia de la evaluación individual varía enormemente de unos países a otros, y en tanto que en los anglosajones adquiere la máxima relevancia, en otros, como Suecia, ésta se encuentra muy limitada frente a los análisis institucionales y colectivos. En tercer lugar, se tiende hacia un mayor peso de las evaluaciones llevadas a cabo en nombre de los “consumidores” de la educación (alumnos, padres, público en general) y no tanto de los “productores” (profesores, administradores), aunque éste es un fenómeno que todavía se encuentra en sus inicios.

b) Maurice Kogan afirma que pueden distinguirse tres grandes modelos de atribución de la responsabilidad (accountability) dentro de los sistemas educativos. El modelo de control público, que es predominante en la mayoría de los países, se caracteriza por la jerarquía de gestión: la autoridad se ejerce a través de cargos designados por el poder político, quien marca los objetivos y distribuye los recursos y las recompensas de acuerdo con la capacidad de las instituciones de conseguir los fines prescritos. Aunque algunos autores defienden el modelo de control porque supone que las decisiones educativas están legitimadas en el poder salido del proceso democrático, otros lo critican por la subordinación a los políticos que implica, así como por la limitación de la capacidad discrecional de los profesionales, lo que lleva con frecuencia a una homogeneidad no deseable. En todo caso, el control jerárquico no es nunca perfecto, sino que a menudo se limita por el segundo modelo de responsabilidad, el profesional. Dicho modelo se caracteriza por la autonomía de quienes prestan el servicio y por el establecimiento de procedimientos colegiados de toma de decisiones, y sus defensores insisten en su carácter más flexible. Estos últimos insisten en que permite una mejor adaptación de la educación a las circunstancias de cada escuela o territorio, puesto que el poder jerárquico es sustituido por el diálogo entre los distintos agentes involucrados a nivel local. Los profesionales, con sus códigos de conducta detallados, establecen una especie de «contrato» con sus clientes, que les lleva a actuar de una manera ética y responsable hacia ellos. Evidentemente, este modelo se asocia con la autoevaluación. Otros autores son menos complacientes con el modelo profesional, afirmando que puede ser tan cerrado a los intereses de los «clientes» del sistema educativo como el de control público, puesto que los propios profesionales tienden a ser responsables solamente ante sí mismos y suelen ser los únicos destinatarios de los informes de evaluación.

El tercer modelo de atribución de responsabilidades es el que Kogan denomina «consumista», puesto que se basa en un tipo de relación similar al establecido en el mercado. El más conocido es el sistema de bonos escolares (vouchers), que trata de incentivar el buen funcionamiento de las escuelas a partir de la competencia entre las mismas. Sin embargo y según sus críticos, las posibles ventajas del modelo serían anuladas porque profesores y escuelas tenderían a concentrarse en aquellos resultados que atrajeran fácilmente a los estudiantes, en detrimento de aspectos educativos no tan claramente mensurables.

Los diferentes modos de control del sistema educativo afectan de manera incuestionable a los procesos de evaluación. Así, por ejemplo, el modelo de control público tiende a favorecer la actitud defensiva de las escuelas frente a la evaluación y a hacerlas más cerradas frente a su entorno. No obstante, también favorece que los centros educativos tengan que responder ante el poder público legítimo y que la educación se enmarque en las preocupaciones más generales de la política social. El modelo profesional cuenta asimismo con ventajas y desventajas. La autoevaluación posee una gran utilidad a la hora de integrar los criterios y el conocimiento de los profesionales en el proceso de valoración del sistema, pero presenta dos claros peligros: la falta de competencia de muchos profesores para analizar sus propios objetivos, y la posibilidad de que se ignoren los intereses y opiniones de los actores externos al sistema.

c) Elliot Stern reseña algunas de las experiencias en evaluación de políticas y programas sociales puestas en marcha por un centro de investigación independiente, el Tavistock Institute of Human Relations de Londres. El enfoque empleado es el que denomina “evaluación evolutiva” (developmental evaluation), caracterizado por tres rasgos. En primer lugar, los participantes en el entorno evaluado tienen voz en el proceso evaluador y pueden contribuir al mismo con sus ideas y opiniones. En segundo lugar, implica una política de retroalimentación, es decir, de contribución de la actividad evaluativa al desarrollo y reelaboración de la propia política. Por último, la puesta en marcha o implementación de la política es tenida en cuenta, en la medida de lo posible, en el diseño de la evaluación. La estrategia seguida casi siempre incluye una definición amplia de la audiencia a la que va dirigida la evaluación (es decir, comprende cuestiones que pueden ser relevantes para los distintos actores e intereses presentes en el sistema), una relación negociada con los agentes involucrados, y una metodología múltiple que abarca tanto la evaluación independiente como la autoevaluación, los procedimientos cuantitativos y cualitativos y el análisis institucional y organizativo. Las evaluaciones han tenido en cuenta el ciclo vital de los programas, y si en un primer momento el énfasis se pone en el estudio de las estrategias diseñadas, posteriormente aquéllas se centran en la implementación y sólo finalmente en los resultados.

Algunos de los problemas surgidos se refieren a las tensiones que con frecuencia aparecen entre las funciones de control y de aprendizaje institucional que cumple la evaluación; el aprendizaje surge a partir del estudio de los errores cometidos, en tanto que la función de control tiende a enfatizar la responsabilidad personal por dichos errores, lo que lleva a que los participantes traten de maquillar o disminuir la importancia de estos. Otro hecho que ha podido comprobarse es que la autoevaluación, aunque posee ventajas importantes como la mejora en la calidad de la información obtenida y la mayor implicación de los participantes en la evaluación, también tiene poderosos inconvenientes, como los posibles sesgos en la recogida y presentación de la información por parte de los agentes involucrados, así como las frecuentes carencias administrativas, técnicas y de recursos de éstos, que precisan del apoyo de expertos externos. La evaluación externa, por su carácter independiente, es necesaria para complementar la anterior, aunque tampoco le faltan inconvenientes, como la propia dificultad en conseguir dicha independencia. En todo caso, la descentralización educativa refuerza los argumentos en favor de una estrategia múltiple de evaluación.

Un problema generalizado en todo tipo de evaluación es que hay dos grupos que con frecuencia se excluyen de la misma: los supuestos beneficiarios de los programas (clientes y receptores de los servicios), y los gestores y altos dirigentes de aquellos, quienes con frecuencia consideran que la evaluación debe centrarse en los cargos medios y en los empleados del programa. Otro problema es que a menudo el programa no es la unidad idónea de análisis, dado que varios programas simultáneos pueden estar interrelacionados; en este caso, la unidad de análisis más apropiada sería la política sectorial.

d) James W. Guthrie analiza la relación entre los cambios económicos ocurridos en los países de la OCDE y las políticas de evaluación educativa. Las economías modernas no se limitan a tratar de influir para que los sistemas educativos favorezcan el desarrollo de capital humano, sino que de alguna manera están dando lugar a una globalización de la educación: aquellos países que no sean capaces de responder de manera rápida a los cambios tecnológicos y organizativos pueden poner en peligro su futuro económico y político. Aunque múltiples circunstancias históricas y culturales modelan los sistemas educativos y las políticas de cada país, la globalización de la educación se observa en una serie de transformaciones comunes: la extensión de la escolarización al período preescolar, el aumento de la influencia de los gobiernos en el currículo, la expansión de la educación postsecundaria y la intensificación de las medidas de valoración y control del rendimiento de los centros. El desarrollo de la economía nacional no es la única consideración a la hora de impulsar los citados cambios porque también con ellos se trata de mejorar la eficacia del sistema educativo en su conjunto, pero sí es la principal motivación. La influencia que los cambios económicos está ejerciendo sobre la evaluación educativa se aprecia en varios hechos: creciente relevancia de la valoración de la gestión, audiencia cada vez más extensa a la que se dirige la evaluación, mayor implicación de los distintos actores interesados en el sistema educativo, amplio eclecticismo en los métodos utilizados, y aumento de la conexión entre evaluación y política y planificación educativas. En este esquema es absolutamente necesaria la presencia de agencias de evaluación independientes de los agentes interesados y de los partidos políticos, que tengan credibilidad, competencia técnica y recursos; como ejemplo, Guthrie analiza una organización surgida en Estados Unidos a principios de los ochenta, la Policy Analysis for California Education.

Cuál es el valor del texto (o las preguntas que suscita el texto)

Los distintos autores enfatizan el hecho de que la evaluación educativa está experimentando importantes cambios en la época actual, y que de la valoración del rendimiento individual se ha pasado al análisis de los programas y de los centros. La creciente complejidad de los sistemas educativos se tiene en cuenta al adoptarse distintas metodologías alternativas para estudiar cada caso, si bien las técnicas utilizadas no han avanzado tanto como la propia educación. De cualquier manera y frente a otros trabajos en los que se ensalzan las virtudes de la autoevaluación, los autores de éste son más escépticos ante la misma y resaltan la necesidad de contrastar y analizar la información a través de organismos independientes.

Contenidos principales

a) La reforma del sistema educativo español, impulsada por la Ley de Ordenación General del Sistema Educativo (LOGSE), plantea entre sus objetivos prioritarios la mejora de la calidad de la enseñanza. Entre los criterios que más expresan dicha calidad se encuentran: el fomento del desarrollo personal de los alumnos, la adaptación a las peculiaridades, intereses y ritmos de aprendizaje de éstos, la capacidad para responder a las demandas de una sociedad democrática y moderna, y la contribución a disminuir las desigualdades sociales y culturales. Sin duda, la evaluación es uno de los principales instrumentos con que se cuenta para incrementar la calidad, especialmente la evaluación de centros, puesto que a través de ella se puede comprobar la eficacia del sistema en el lugar habitual de encuentro de los distintos sectores implicados en el proceso educativo. No obstante y a pesar de la importancia que se le concede en la actualidad a la evaluación de centros, ésta ha sido objeto de muy escasa consideración tanto desde el punto de vista teórico como práctico, debido a la falta de tradición y de cultura evaluadoras y al clima escasamente favorable a la misma. El llamado Plan EVA de evaluación de centros docentes, que comenzó a diseñarse a finales de 1990 por iniciativa del Ministerio de Educación y Ciencia, ha tratado de llenar el vacío existente en este campo.

b) Frente a los conceptos de evaluación como comparación entre objetivos propuestos y resultados obtenidos (Tyler) o como simple acopio de información de cara a la toma de decisiones (Cronbach), los autores del Plan EVA parten de la definición de ésta como un proceso de obtención de información acerca del valor y del mérito de las metas, así como de la planificación, realización e impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones y para la solución de los problemas planteados. El Plan pretende identificarse con el modelo sistémico de evaluación de centros docentes, el cual afirma que la calidad de un centro depende de su capacidad para proyectar, planificar y ejecutar sus acciones adecuadamente, de acuerdo con ciertos criterios de valía, mérito y viabilidad: el resultado de un centro de calidad debe ser un producto efectivo (que cumpla los objetivos de aprendizaje propuestos), satisfactorio (que se ajuste a las necesidades educativas de la sociedad) y eficiente (que utilice óptimamente los recursos).

c) El Plan EVA consiste en una evaluación formativa externa llevada a cabo por equipos de inspectores del Ministerio de Educación y Ciencia, quienes han de recopilar datos y elaborar informes acerca del funcionamiento y de los resultados de los centros. El Plan busca que en todo momento se produzca una estrecha colaboración entre los evaluadores y los integrantes del centro, con la idea de ayudar a mejorar la calidad más que a controlar el nivel de ésta. En tal sentido, el principal objetivo del programa es difundir la cultura evaluadora en los centros y facilitarles apoyo técnico para que pongan en marcha sus propias iniciativas de evaluación interna. Los elementos evaluados son: aspectos contextuales y ambientales del centro, proyectos o estrategias de programación, organización y funcionamiento, procesos didácticos (actuación del profesorado en el día a día), y resultados (rendimiento académico, actitudes de los alumnos y satisfacción de todos los sectores de la comunidad educativa).

d) La metodología del Plan EVA es ecléctica, dado que se combinan diversos instrumentos que integran los enfoques cuantitativo y cualitativo. Los agentes evaluadores han de completar unas fichas en las que se recoge de manera sintética la información obtenida a través de procedimientos tales como el análisis de la documentación del centro, las reuniones con representantes de distintos sectores del mismo, la observación directa del equipamiento con que cuenta, los procesos de enseñanza-aprendizaje y la elaboración de cuestionarios por los diferentes actores. El uso de los instrumentos se plantea de manera muy flexible, puesto que las peculiaridades de cada centro pueden hacer que los medios de búsqueda de datos varíen, y que según los casos sea necesario incidir más en unas fuentes que en otras. Sólo las fichas poseen un formato uniforme, con cuestiones cuyas respuestas han de ajustarse a una escala fija de valoración, con objeto de armonizar los criterios de estimación y de facilitar el análisis de la información. También es posible que el propio centro se haga cargo de algunos aspectos de la evaluación, con el fin de responsabilizarse de su propia evaluación interna. El último paso es la redacción del informe final por el equipo de inspectores, a partir de las fichas y de sus propias conclusiones, en el que se deben tener muy en cuenta las observaciones formuladas por los órganos del centro.

e) La puesta en marcha del Plan EVA se inició con un programa piloto durante el curso 1991/92, en el cual se evaluaron cuarenta centros públicos de Enseñanza General Básica, de Formación Profesional y de Bachillerato. En años posteriores se amplió el número de centros evaluados (hasta 473 en 1994/95 y 255 en 1995/96). A partir de los informes individuales de cada centro se elaboraron informes generales en los que se destacaron los elementos más llamativos del proceso de evaluación. Entre los aspectos positivos destaca la suficiente dotación de recursos materiales para el desarrollo de la enseñanza, la buena gestión económica y administrativa, la variedad de metodologías usadas en el aula, la mejora en los procesos de orientación y tutoría y el impulso al trabajo en equipo. Entre los puntos débiles del conjunto de los centros se señala que, a pesar de la mejora, el trabajo en equipo del profesorado es todavía escaso y predominan las actitudes individualistas; asimismo, destaca el insuficiente debate sobre temas pedagógicos, la reducida participación de los padres y de los alumnos, los débiles apoyos externos a los centros y las deficiencias relacionadas con la evaluación del alumnado, en especial la ausencia de criterios claros de evaluación y promoción. En cualquier caso, los evaluadores han observado una actitud muy receptiva de los centros ante el proceso de evaluación (con algunas reticencias iniciales que se disiparon rápidamente), y consideran que se ha producido una dinámica de reflexión que ha contribuido a mejorar su organización y funcionamiento. Además, el Plan EVA parece haber favorecido la mejora de las relaciones entre los inspectores educativos y los centros docentes. La satisfacción alcanzada por los distintos sectores de la comunidad educativa durante los primeros años de aplicación del Plan parece presagiar su continuidad en el futuro, con los ajustes y modificaciones necesarios para un funcionamiento óptimo.

Cuál es el valor del texto (o las preguntas que suscita el texto)

El Plan EVA se ha constituido en una interesante iniciativa de evaluación externa, que no tanto pretende efectuar una tarea de control de la calidad sino ayudar a los centros a conocer mejor su propia realidad y adquirir las técnicas adecuadas de recogida y análisis de datos. En este sentido y a diferencia de otros programas de evaluación externa, el Plan EVA asume que el desarrollo de la evaluación interna es el mejor procedimiento para asegurar el progreso en la calidad de los centros.