de Estados
Iberoamericanos
Para la Educación,
la Ciencia
y la Cultura
|
|
Organización de Estados Iberoamericanos Para la Educación, la Ciencia y la Cultura |
|
| Revista
Iberoamericana de Educación Número 10 - Evaluación de la Calidad de la Educación |
| (*) Víctor Manuel Velázquez Castañeda es Director General de Evaluación de la Secretaría de Educación Pública de México. Fue asesor del Subsecretario de Coordinación Educativa de dicha Secretaría y estuvo a cargo del despacho de la Dirección General de Acreditación, Incorporación y Revalidación. |
En la actualidad, la evaluación es un proyecto de amplia presencia en el Sistema Educativo Nacional. No se discute su importancia y la exigencia de que cumpla un papel de retroalimentación para mejorar el aprendizaje, a la vez que ofrece, a diferentes niveles, la información necesaria para tomar decisiones que mejoren el funcionamiento del sistema. La evaluación no determina la calidad de la educación, pero sí puede ayudar a su mejoría si se usa adecuadamente.
En ese sentido el Sistema Educativo Nacional de México tiene ya avances importantes pero aún queda un largo camino por recorrer. Para describir esta situación se expondrán enseguida, a manera de antecedentes, las acciones realizadas y posteriormente se describirá la estrategia diseñada para lograr el objetivo propuesto.
Desde hace más de 20 años, la Secretaría de Educación Pública, a través de la Dirección General de Evaluación (DGE), desarrolla estudios y acciones de evaluación educativa con el propósito de obtener información confiable para la toma de decisiones y el planteamiento de políticas en el sector.
La experiencia institucional se inició en 1972. Desde ese momento la importancia que ha cobrado la función de evaluación ha ido en aumento; sin embargo, dicha importancia no siempre ha ido acompañada de un apoyo manifiesto mediante la asignación de los recursos financieros, humanos y técnicos necesarios para el desarrollo de la función evaluativa. En este sentido, la evaluación educativa no ha podido impactar, en su aspecto técnico, en el Sistema Educativo Nacional, como mecanismo básico de información y realimentación.
En México, la evaluación educativa se realiza desde dos ámbitos fundamentales y complementarios: el interno, a cargo de los responsables de otorgar un servicio educativo, y el externo, que se realiza por evaluadores que no forman parte del servicio educativo a evaluar. Reglamentariamente, la evaluación externa compete a la Dirección General de Evaluación (DGE).
Hasta ahora la evaluación externa se ha desarrollado fundamentalmente por la Federación de manera central, lo que ha propiciado que las evaluaciones realizadas ofrezcan información para caracterizar la situación educativa del país en su conjunto.
En este contexto, actualmente se desarrollan cuatro proyectos que merecen una mención especial. En el marco del Programa para Abatir el Rezago Educativo, la evaluación del aprendizaje y la evaluación en el aula; y en el Programa de Carrera Magisterial, la evaluación de la preparación profesional y la evaluación del aprovechamiento escolar.
Se optó por la realización de un estudio descriptivo que contempló cinco levantamientos de datos que cubren los seis grados de educación primaria, para medir el nivel de aprendizaje de los alumnos en todas las asignaturas, con la intención de conformar series históricas que permitieran realizar comparaciones y seguimiento de resultados a lo largo de tres ciclos escolares; este trabajo se sustentó metodológicamente en el siguiente diseño general de evaluación.
De acuerdo con este diseño de evaluación, se previó comparar los resultados de los alumnos que terminaban 2º, 4º y 6º grados en el ciclo escolar 1992-93, con los resultados de los alumnos que egresaban dos años después de los mismos grados; y realizar el seguimiento de una misma población a través de tres grados escolares. Además, en cada levantamiento se recopiló información del contexto de los alumnos para observar la relación que guardaba con los resultados de aprendizaje.
Los resultados obtenidos permitieron apreciar la problemática que enfrentan las escuelas en términos del logro de los contenidos propuestos en los programas de estudio. En los cinco levantamientos de datos efectuados se observó que si los resultados se analizaban desde una perspectiva federativa, prácticamente no existían diferencias en los niveles de aprendizaje que alcanzan los alumnos. Pero, si los resultados se analizaban por tipo de escuela, se encontraban diferencias en algunos casos muy marcadas.
La observación de estas diferencias llevó al planteamiento de la siguiente pregunta: ¿Qué permite explicar los bajos niveles de logro escolar y, sobre todo, las diferencias en el nivel de aprendizaje en los diversos tipos de escuela?
Sin duda, la respuesta no es simple ni queda reducida a una relación de causa-efecto, sobre todo si se considera que en la escuela ocurren procesos que tienen significados complejos y en alguna medida poco estudiados. En este caso, las experiencias de evaluación efectuadas y la revisión de la investigación social relacionada con los problemas de bajo logro escolar, permiten considerar que las características del contexto socioeconómico del alumno, la forma que asume la prestación del servicio educativo y la interacción entre ambas definen las causas del bajo logro escolar.
Los resultados obtenidos permitieron advertir que algunas características de los alumnos, como no tener acceso a la educación preescolar, el ingreso tardío a la escuela, la repetición de algún grado, la baja escolaridad de los padres y la realización de alguna actividad laboral complementaria del alumno para la manutención del hogar, influyen en conjunto de manera negativa en el aprovechamiento escolar de la manera siguiente:
En el marco de las comparaciones efectuadas, alumnos con antecedentes de educación preescolar (sobre todo si cursaron 2 años) mostraron mejores niveles de habilidades básicas que aquellos que no habían asistido a este tipo de educación, lo que permitió apreciar sus efectos positivos y sugerir la pertinencia de alcanzar una mayor cobertura, sobre todo en aquellas poblaciones de alumnos que mostraron mayores carencias.
La reprobación es un problema que responde más a razones administrativas que pedagógicas, pues cursar un nuevo ciclo escolar no garantiza cubrir las necesidades de formación del alumno y sí crea un contexto escolar y familiar contrario que afecta su rendimiento.
De acuerdo con la comparación efectuada, alumnos repetidores de sexto grado mostraron más bajos niveles de aprovechamiento en Español y Matemáticas que los no repetidores, lo cual permite afirmar que es importante diseñar estrategias alternativas para eliminar la reprobación y buscar otras opciones encaminadas a atender las deficiencias de formación de los alumnos.
En cuanto a la oferta educativa y en coincidencia con algunas formulaciones críticas sobre el funcionamiento actual de las escuelas de educación primaria, debe prestarse especial atención a los siguientes aspectos:
En lo que se refiere a esta acción, se realizó un diagnóstico sobre la práctica evaluativa de los docentes en el aula y los conocimientos sobre aspectos teóricos y normativos que la sustentan. En general, se observó que los docentes no conocen los documentos normativos que rigen la evaluación en el aula y, por tanto, no aplican las disposiciones emanadas de éstos. Asimismo, manifestaron que su formación en materia de evaluación era insuficiente, por lo cual requirieron actualización en este sentido.
En cuanto a los aspectos que privilegian los docentes para evaluar, la mayor frecuencia se observó en la utilización de pruebas para evaluar la adquisición de conocimientos y en la participación en clase, dejando en segundo término aspectos tan importantes como el desarrollo de habilidades y destrezas.
De manera general se confirmaron los supuestos de los que partió el trabajo y se captó información detallada para el estudio de dos tipos de estrategias:
Como se observa en el siguiente gráfico, cada una de ellas contiene los elementos teóricos mínimos que la sustentan, una bibliografía básica para acudir a ella en caso de requerir mayor información y la descripción del procedimiento para utilizarlas en el aula.
Al inicio del ciclo escolar 1994-95 se distribuyó el documento base de las Estrategias de Evaluación a todos los docentes de las escuelas de educación primaria de control oficial de las cuatro entidades consideradas por el PARE.
La opinión que los docentes tuvieron sobre las estrategias se captó a través de tres mecanismos: cuestionarios, seguimiento del uso de las estrategias y reunión de intercambio de experiencias. Lo observado indica que en las zonas urbanas fue donde mejor se desarrollaron las estrategias, por las condiciones en las que operan estas escuelas (mayor infraestructura, recursos materiales y didácticos, etc.). Es importante mencionar que, como producto del trabajo, los docentes formularon propuestas concretas para la adecuación de las estrategias.
Dos de las acciones de evaluación más importantes por su cobertura e impacto se dan en el marco del Programa de Carrera Magisterial. El objetivo de dicho Programa es elevar la calidad de la educación y revalorar la función magisterial; consiste en un sistema de promoción horizontal cuya participación es voluntaria e incluye un esquema de mejoramiento salarial sustentado en los resultados de una evaluación al docente.
En este apartado nos referiremos a los procedimientos seguidos para la elaboración de las pruebas de dos de los componentes fundamentales del Sistema de Evaluación de Carrera Magisterial: la evaluación del factor preparación profesional y la del aprovechamiento escolar en primaria y secundaria.
Ambos proyectos tienen una cobertura nacional, esto es, las pruebas se aplican en las 32 entidades federativas. En el caso de la preparación profesional, los exámenes se administran en centros de aplicación habilitados para tal efecto, mientras que para el aprovechamiento escolar la aplicación se realiza en las propias escuelas donde laboran los maestros participantes en el Programa (ver Cuadro 1).
Ambas evaluaciones requieren de la elaboración de una cantidad considerable de diferentes tipos de pruebas (ver Cuadro 2), además de enfrentar una serie de retos tanto en el diseño y elaboración de las mismas como en el proceso de aplicación.
La población atendida no sólo es grande, sino que se ha incrementado año a año (ver Cuadro 3)
En esta ocasión referiremos los procedimientos seguidos para la evaluación de la preparación profesional y del aprovechamiento escolar.
Si consideramos los elementos del marco de referencia de la prueba, el primer reto al que nos enfrentamos, en el caso de la evaluación de la preparación profesional, es que no se contaba en nuestro país con una experiencia similar. Nunca se habían aplicado pruebas para evaluar a maestros en servicio. Tampoco en ninguna de las evaluaciones anteriores los resultados influían de forma directa en el salario de los docentes.
En el caso de la evaluación del aprovechamiento escolar no se presentó el mismo problema porque, por una parte, se tenía ya una amplia experiencia en la medición de aprendizajes y, por otra, se contaba con planes y programas de estudio nacionales y, en primaria, además con libros de texto de uso obligatorio.
El reto, en este caso, se planteó en términos de cobertura, esto es, nunca se había realizado una medición que abarcara una población tan grande de alumnos y de escuelas.
Para la evaluación de la preparación profesional, desde un inicio se definió que las pruebas deberían medir lo que el profesor “debe saber” -en términos de contenidos programáticos y aspectos metodológicos-, para desarrollar adecuadamente el proceso de enseñanza-aprendizaje en función de los materiales curriculares vigentes. La definición anterior implicaba, al menos, tres grandes bloques de contenidos que deberían considerarse en las pruebas:
Como se observa, la principal dificultad estriba en determinar cuál es el conjunto de contenidos que configuran lo que se podría definir como “conocimientos fundamentales para la práctica docente”. Para tal efecto se estableció el siguiente procedimiento:
1. Análisis de materiales curriculares (programas y libros de texto).
2. Selección de los contenidos a evaluar. En esta etapa se eliminaban todos aquellos contenidos no susceptibles de medición, mediante reactivos de opción múltiple; por ejemplo, la expresión escrita.
3. Elaboración de la Tabla de Especificaciones. El formato de la tabla contempla los siguientes elementos:
Como la variable a medir se definió como el porcentaje del logro del programa de estudios, se respetaron las ponderaciones en función del tiempo dedicado a cada tema y subtema.
De la ponderación de los temas y las unidades se desprende la carga horaria determinada por el plan de estudios y el peso que al interior del programa se le asigna a cada uno de los elementos. Por ejemplo, para el caso del tercero al sexto grados de la educación primaria, se dan los siguientes valores:
Por lo tanto, como en la prueba se debe mantener la proporción establecida, el 33% de reactivos corresponde a Español.
Es conveniente señalar que la tabla sirve tanto para alumnos como para maestros. Para los primeros, los reactivos se elaboran a partir de los Contenidos de Aprendizaje; para los segundos, se consideran además los Contenidos Asociados y los Aspectos de Metodología y Enfoque.
Como se trataba de una experiencia novedosa, se estableció un procedimiento para asegurar la validez de contenido de las pruebas. Este consistió en:
4. Validación del análisis de materiales y de la tabla de especificaciones. Esta se realizó mediante técnicas de toma de decisiones, para lo cual se recurrió a “jueces” que determinaron si las actividades referidas en el punto 1 se efectuaron correctamente. Los “jueces” fueron especialistas en las distintas asignaturas, profesores, especialistas en medición y especialistas en currículum.
5. Talleres de construcción de reactivos. Con el mismo propósito de asegurar la validez de los reactivos se decidió conformar un banco nacional de reactivos elaborado por maestros en servicio. Para las pruebas de docentes, los constructores fueron maestros de educación normal (docentes formadores de docentes) y, para las pruebas de alumnos, maestros en servicio de los distintos grados y asignaturas.
6. Talleres de validación de reactivos. Una vez construidos los reactivos fueron sometidos a procesos de validación, con procedimientos similares a los referidos en el punto 4.
Una vez validados los reactivos y corregidos, los que así lo ameritaban, se procedió a:
7. Selección de reactivos. Debido a que el conjunto de contenidos por evaluar es muy amplio, lo mismo para docentes como para alumnos, se determinó seleccionar aleatoriamente, en primer término, los contenidos a evaluar, respetando la ponderación que cada tema y unidad tienen en la tabla de especificaciones. Como para cada contenido se cuenta con más de un reactivo, en segundo término se seleccionó aleatoriamente también el reactivo con el que se mediría dicho contenido.
8. Ensamblaje de la prueba. Se estableció como criterio único la secuencia temática. Por ejemplo, en el caso de educación primaria, las unidades temáticas son las asignaturas: Español, Matemáticas, etc., tomando como base la ponderación establecida en la Tabla de Especificaciones.
Ahora bien, en forma específica respecto de la evaluación del aprovechamiento escolar en el ciclo escolar 1994-1995 -que, como ya se dijo, fue realizada a más de cuatro millones de alumnos en educación primaria y secundaria-, resulta conveniente referir algunas circunstancias bajo las cuales se llevó a cabo:
A. De acuerdo con los lineamientos generales de Carrera Magisterial, en los cuales se acusa la responsabilidad directa de la autoridad educativa de cada entidad federativa en la organización y desarrollo adecuado de la evaluación del aprovechamiento escolar, se determinó una estructura operativa en la cual el Secretario de Educación de la entidad es el Coordinador General del evento.
Esta estructura considera un Coordinador Operativo -en la mayoría de las entidades federativas el Director de Planeación-, Subcoordinadores de Nivel (al menos uno para primaria y otro para secundaria), Coordinadores de Aplicación (uno por escuela, ajeno totalmente a ésta, a fin de asegurar la fiabilidad de los resultados) y Aplicadores (los mismos maestros de las escuelas, pero considerando que en ningún caso un maestro aplicará la prueba al grupo de alumnos con los cuales él sería evaluado en el Programa de Carrera Magisterial).
La responsabilidad de la supervisión se confirió a las Representaciones de la Secretaría de Educación Pública en las distintas entidades federativas.
Asimismo, con fines de diagnóstico, la DGE realizó una selección de escuelas a cada entidad para realizar las evaluaciones de aprovechamiento escolar a los alumnos de todos los docentes de cada escuela, participaran o no éstos en el Programa de Carrera Magisterial.
Esto constituyó dos tipo de muestra como referentes de comparación de los resultados obtenidos en cada entidad federativa.
B. Dentro de los niveles de educación primaria y educación secundaria -en los cuales se realizó la evaluación del aprovechamiento escolar- se hicieron las siguientes consideraciones: en primaria sólo se aplicó a los alumnos de cuarto a sexto grados de escuelas de organización completa (excluyendo educación indígena); en secundaria se evaluó a los alumnos en todas las asignaturas-grado (excluyendo educación física, educación artística y educación tecnológica) de las escuelas secundarias generales y técnicas (no fueron consideradas las telesecundarias).
C. La cantidad de alumnos para evaluar a cada maestro fue, en el caso de primaria, de 25 y, en secundaria, de 36; asimismo, a fin de otorgar una mayor validez a los resultados que se obtuvieran, se consideró una asistencia mínima del 80% de los alumnos de cada maestro para seleccionar la cantidad de alumnos referida en cada caso. Es importante señalar aquí que en el ciclo escolar anterior se seleccionó, en forma aleatoria, a 9 alumnos por cada maestro de primaria y a 12 alumnos por cada maestro de secundaria.
D. Con el propósito de explorar la mayor cantidad de contenidos de aprendizaje se elaboraron formas de examen diferentes, pero complementarias entre sí; cinco para cada uno de los grados considerados en educación primaria y tres para cada asignatura-grado de secundaria. La correspondiente batería de pruebas (por cada grado de primaria o asignatura-grado de secundaria) se aplicó al grupo de alumnos con los que fue evaluado el docente.
E. Dado el universo definido, la aplicación del aprovechamiento escolar se realizó en un período de cinco días, en promedio, al término del ciclo escolar.
F. A fin de que al interior de cada escuela se gestionaran o consolidaran los procesos de evaluación y autoevaluación y de que se diseñaran estrategias de actualización y superación docente que redundaran en un mayor aprovechamiento escolar de los alumnos, se determinó que en un momento posterior a la aplicación de las evaluaciones se distribuyera a cada escuela participante -y de ser posible a todas las escuelas de cada entidad federativa- un juego completo de las baterías de pruebas utilizadas para que fueran analizadas en función de los resultados obtenidos, además de enviarle a cada escuela sus resultados con los valores medios de su estado y estrato socioeconómico, así como los mismos valores observados a nivel nacional.
El Desempeño Profesional lo entendemos como el conjunto de acciones cotidianas que realiza el maestro en la organización y conducción del proceso enseñanza-aprendizaje, así como en la interacción con sus alumnos, la comunidad escolar y la comunidad en general, con el propósito de obtener resultados significativos en términos de aprendizaje y cambios de conducta. Este factor comprende cuatro aspectos.
La evaluación de este factor está dirigida principalmente a elevar la calidad de la educación y a propiciar cambios positivos en la práctica educativa.
Si bien actualmente existen políticas establecidas para promover el desarrollo de acciones de evaluación educativa en los estados, aún no se ha logrado que la práctica de la evaluación se institucionalice en todos ellos. En este momento son 14 los estados que, dentro de la estructura de sus Secretarías de Educación, cuentan con un área específica para atender la evaluación educativa; sin embargo, estas áreas no cuentan con un nivel de desarrollo técnico suficiente ni homogéneo entre estados, requisito necesario para aportar información suficiente y de calidad al Sistema Nacional de Evaluación.
En este sentido, el proyecto más importante que tiene actualmente la DGE, tiene como objetivo coadyuvar a elevar la calidad de la educación en los estados, mediante el establecimiento formal de un grupo técnico capacitado para la realización de evaluaciones que permitan la valoración y reorientación de la calidad de los servicios educativos que se prestan en cada entidad, así como las evaluaciones que se requieran a nivel central.
El primer paso para el logro de este objetivo es que el gobierno de cada estado adquiera el compromiso de establecer un grupo formal cuya función sustantiva sea la evaluación; posteriormente y de manera paulatina, se transferirá de la DGE a cada entidad la metodología hasta el momento desarrollada. En este sentido se dará importancia central a la formación de los recursos humanos que constituyan los grupos estatales de evaluación, procurando la mejor calidad de formadores en los diversos tipos de eventos.
Se espera también que el trabajo de las áreas de evaluación cubra aspectos esenciales que de una u otra forma la evaluación central ha cubierto, tales como la evaluación en el aula y la amplia difusión de los resultados encontrados.
Lograr que la evaluación se convierta en una herramienta útil para elevar la calidad de la educación, requiere el esfuerzo compartido y coordinado de los estados y de la Federación, en un Sistema Nacional de Evaluación que aporte a los diferentes participantes información de calidad para la toma de decisiones en los ámbitos central, regional y local.
| Página Principal de la OEI | Regresar a Índice de Revista 10 | Mas información:weboei@oei.es |