 |
 |
 |
| Twittear |
|
Lilia Toranzos *
Tamara Vinacur, Silvina Alegre, Natalia Apel, María Ferraro, Guadalupe Grau, María Gabriela Rutty y Lucila Salleras **
* Coordinadora del equipo ibertic, oei-Buenos Aires, Argentina.
** Integrantes del equipo ibertic, oei-Buenos Aires, Argentina.
SÍNTESIS: El artículo que nos ocupa presenta una iniciativa que busca facilitar la autoevaluación y el monitoreo de los proyectos de incorporación de TIC en educación por parte de los propios responsables de su diseño (docentes, directores, supervisores). A tal fin, fue diseñado un sitio web en el cual se ponen a disposición los siguientes materiales: a) una selección de documentos y bibliografía vinculados a la evaluación de proyectos TIC; b) guías y orientaciones metodológicas, y c) instrumentos para la autoevaluación de los proyectos TIC (encuestas, pautas para entrevistas y pautas para grupos focales, entre otros). A su vez, el desarrollo contempla un diagnóstico que cada institución puede realizar inicialmente y recuperar con posterioridad para reflexionar acerca del grado de avance alcanzado.
Palabras clave: autoevaluación; proyectos TIC; monitoreo.
SÍNTESE: O artigo que nos ocupa apresenta uma iniciativa que procura facilitar a autoavaliação e o monitoramento dos projetos de incorporação de TIC em educação por parte dos próprios responsáveis de seu planejamento (docentes, diretores, supervisores). Para tal fim, foi projetada uma página web através da qual se disponibilizam os seguintes materiais: a) uma seleção de documentos e bibliografia vinculados à avaliação de projetos tics; b) guias e orientações metodológicas, e c) instrumentos para a autoavaliação dos projetos tics (pesquisas de mercado, pautas para entrevistas, pautas para grupos focais, entre outros). Por outro lado, o desenvolvimento contempla um diagnóstico que cada instituição pode realizar inicialmente e recuperar com posterioridade para refletir sobre o grau de avanço alcançado.
Palavras-chave: autoavaliação, projetos tics, monitoramento.
ABSTRACT: The present article shows an initiative which seeks to facilitate self-assessment and monitoring of ict incorporation projects in education by its own designers (teachers, managers, supervisors). For this purpose, a website was created in which the following materials are available: a) a selection of documents as well as bibliography related to ict project assessment, b) methodological orientations and guides, and c) ict project self-assessment tools (surveys, guidelines for interviews, instructions for focal groups, among others). The initiative considers at the same time a diagnosis which each institution can carry out initially and recuperate afterwards to reflect upon the degree of progress achieved.
Keywords: self-assessment; ict projects; monitoring.
En los últimos años asistimos a una significativa proliferación de iniciativas vinculadas con la inclusión de las TIC en el espacio educativo, y aunque muchas no son absolutamente nuevas, sí lo son la multiplicación de experiencias focalizadas y la instalación de programas y proyectos masivos de alcance nacional o subnacional. En este sentido, la escuela y el proceso de ingreso de las TIC en todas las dimensiones de la vida institucional constituyen el eje central alrededor del cual gira la implementación de los programas y políticas que aspiran a contribuir a mejorar los aprendizajes de los alumnos.
Por otra parte, desde el diseño mismo de las experiencias en marcha se tiende a atribuir a la inclusión de las TIC variados resultados e impactos, efectos de gran envergadura desde el punto de vista pedagógico (mejora de los aprendizajes, revisión curricular, innovación en las estrategias de enseñanza, cambios en la cultura escolar, entre otros). Sin embargo, estas intervenciones no suelen estar suficientemente acompañadas por dispositivos que atiendan al seguimiento, monitoreo y evaluación de los propios proyectos, es decir, se presenta como una notable debilidad la falta de práctica en la generación sistemática de evidencia sobre algunos de los posibles efectos.
A partir del reconocimiento de la centralidad de la escuela –en tanto espacio de concreción de las políticas de inclusión digital y unidad de cambio dentro del sistema educativo– y de la ausencia de prácticas sistemáticas vinculadas con el monitoreo y la evaluación, se presenta a continuación una iniciativa de reciente desarrollo que se lleva a cabo desde el Instituto Iberoamericano de TIC y Educación de la oei (ibertic).
Los proyectos de incorporación de TIC hacen referencia a un conjunto de acciones planificadas que tienen por objetivo la transformación de las prácticas educativas a partir de su inclusión, considerando que la misma constituye una valiosa oportunidad de cambio y mejora de la educación.
Estos proyectos (recientemente identificados como ict4e) son impulsados con el supuesto de que la tecnología puede favorecer mejores aprendizajes. Algunos de los interrogantes que se intentan responder, sin demasiado éxito por el momento, se relacionan con el tipo de aprendizajes y el modo en que se logran, si lo reciente de las iniciativas permitirá evaluar su impacto, o si es un tipo de evaluación más compleja de diseñar e implementar. Las razones de la falta de evidencias son múltiples pero no por eso deja de ser de gran relevancia acceder a dispositivos que posibiliten contar con información acerca del modo en que la tecnología puede contribuir a que los alumnos aprendan más (contenidos, competencias, habilidades), a que los docentes desarrollen mejores prácticas de enseñanza y a que se logren otras de las metas comúnmente asociadas a la utilización de TIC en educación, como son la mayor permeabilidad de las escuelas a la innovación y un mayor acceso de la comunidad hacia ofertas de capacitación y programas de alfabetización para adultos (Wagner y otros, 2005).
Estas iniciativas constituyen un desafío en términos de innovación y mejora y, a su vez, posibilitan la revisión de la cultura institucional que se ve atravesada en sus distintas dimensiones por los proyectos de incorporación de las TIC, pudiéndose analizar el modo en que estos interpelan a la escuela respecto de su vinculación con el contexto, la cultura y formatos escolares más frecuentes, los modelos curriculares vigentes y los estilos de gestión pedagógica.
La indagación sobre las formas de implementar de los proyectos de inclusión de TIC debe atender y parece responder simultáneamente a dos dinámicas particulares: por una parte, el grado de autonomía relativa y capacidad de toma de decisiones que tiene el centro educativo, y por otra, el conjunto de apoyos y formas de acompañamiento y orientación que se producen desde un nivel central y se recontextualizan en el espacio escolar.
Sin duda, a partir del reconocimiento de estos elementos adquiere centralidad toda acción que tienda a fortalecer las capacidades de gestión de las propias instituciones escolares y a incrementar los procesos de construcción colectiva y colaborativa al interior de las mismas. Es en este punto en el que, desde la preocupación por el seguimiento y la evaluación de estas iniciativas, surgen las propuestas de autoevaluación institucional como formas efectivas de promover espacios de aprendizaje y fomentar prácticas constructivas que fortalecen una cultura de evaluación, el ejercicio de la responsabilidad compartida, el desarrollo profesional y el trabajo en equipo.
La inclusión de las TIC en la escuela y la transformación de las prácticas conforman un proceso no solo complejo, sino atravesado por múltiples factores pero que sin duda, como en el caso de cualquier política pública, requiere para su implementación un conjunto de mecanismos de apoyo y soporte. Quién y cómo se apoya y acompaña este proceso de cambio en las escuelas constituye un desafío significativo desde la perspectiva de la instalación exitosa de los programas y proyectos.
Toda acción de evaluación supone un proceso sistemático de aproximación a la comprensión del objeto evaluado. Por ello se puede pensar en la evaluación de un programa o proyecto como un proceso permanente y continuo de indagación y valoración en sus distintas etapas. Así entendida, la evaluación constituye un insumo estratégico para la toma de decisiones, en tanto permite conocer el alcance de las metas formuladas, pudiendo advertir posibles cambios de rumbo respecto a los objetivos iniciales.
Sin embargo, por lo general, el desarrollo de proyectos TIC no es pensado juntamente con su evaluación. Y esto no es una dificultad exclusiva de los proyectos de incorporación de TIC, sino de la planificación de programas y proyectos educativos en general.
Al relevar las experiencias internacionales en materia de evaluación y monitoreo de proyectos ict4e se advierten tres cuestiones: a) no constituye un área de prioridad para quienes desarrollan proyectos de incorporación de estas tecnologías; b) la ausencia de evidencias sobre efectos y resultados se debe en parte a la falta de herramientas de evaluación y monitoreo sobre el uso de las TIC en escuelas y su impacto en la enseñanza y el aprendizaje, y c) la existencia de numerosos problemas técnicos en muchos de los desarrollos existentes tales como sesgos y dificultades en la definición de indicadores y extremada prioridad asignada al relevamiento de aspectos de infraestructura y equipamiento por sobre otras dimensiones (Trucano, 2005, p. 11).
A partir de lo expuesto se hace evidente una suerte de desequilibrio entre la proliferación y ampliación progresiva de programas y proyectos de inclusión de TIC en educación y la ausencia de evidencia sólida y generada de manera sistemática sobre los efectos, resultados y transformaciones, consecuencia de estas intervenciones.
Es por eso que se considera conveniente que las instancias de monitoreo y evaluación se constituyan en componentes de cualquier iniciativa de ict4e desde el momento inicial (Wagner y otros, 2005). Para ello será preciso contar con indicadores apropiados, realistas y medibles, que posibiliten el monitoreo de los alcances de cada proyecto, y una práctica creciente por parte de los actores intervinientes, vinculada con la construcción colectiva de espacios de reflexión y aprendizaje conjunto sobre la instalación del mismo.
Pero evaluación y monitoreo no son sinónimos. El proceso de monitoreo, que indaga acerca de qué y cómo se desarrolla el proyecto, supone el seguimiento de actividades, la revisión de aquello que estaba previsto y, en gran medida, releva insumos que son de enorme valor para la etapa de evaluación. Desde esta perspectiva, el monitoreo se constituye en una suerte de acompañamiento que resulta la herramienta más valiosa para llevar a cabo la evaluación de ejecución de un programa. Implica la indagación y valoración sobre cómo se ejecutan las acciones del programa en todos sus componentes principales. El objetivo de estas acciones es el de garantizar la información permanente sobre esta ejecución, que alimente la toma de decisiones respecto a la eficiencia de los recursos previstos y la efectividad de las actividades desarrolladas. Las acciones de monitoreo y seguimiento tienden a generar información de carácter descriptivo, en el corto plazo, que permiten identificar nudos críticos en los procesos de gestión en marcha.
Por último, cabe señalar que estas iniciativas de evaluación se orientan a producir el fortalecimiento de las capacidades institucionales porque permiten identificar los aspectos positivos y los vulnerables de la institución en la ejecución del programa y detectar el tipo de cambio organizacional requerido para mejorar la ejecución del programa.
La evaluación, específicamente, se refiere al conjunto de acciones de valoración que tienen por objeto los resultados, efectos e impactos de los proyectos. Si bien la tradición ubica este tipo de acciones al finalizar un proceso de ejecución, la naturaleza del programa y proyectos de inclusión de TIC en particular obliga a pensar en resultados en diferentes instancias y efectos que se producen en distintos cortes temporales.
La intención de captar esta diversidad da por resultado la necesidad de diseñar estrategias de monitoreo y evaluación más complejas y variadas que, por un lado, atiendan la valoración de resultados en diferentes dimensiones y cortes temporales, y por otro, los impactos, entendidos como transformaciones estructurales de carácter más permanente, atribuibles a la intervención del programa o proyecto que es objeto de evaluación.
Es preciso considerar algunos aspectos en el diseño de dispositivos de seguimiento y monitoreo así como de evaluación de este tipo de iniciativas. En primer lugar, se requiere reconocer que el monitoreo y seguimiento supone costos, tiempo y personal para poder llevarlo a cabo. En segundo lugar, que resulta absolutamente deseable incorporar a docentes y directivos, de modo de garantizar no solo la continuidad de esta iniciativa dejando capacidad instalada en las escuelas, sino a su vez, favorecer que los resultados permitan aprender de la experiencia y tomar las decisiones necesarias para fortalecer el proyecto. Esto último enfatiza que no se evalúa por evaluar o por un requerimiento formal sino porque el seguimiento y monitoreo constituyen oportunidades de aprender acerca de la marcha del proyecto, por lo que deberá prestarse atención a resultados no previstos, a otros aspectos más allá de las TIC, y a las especificidades del contexto en el que el proyecto se desarrolla.
La propuesta que se presenta intenta responder también a esta demanda y constituirse en una herramienta que favorezca la reflexión y la construcción colectiva de información valiosa para tomar decisiones, contribuyendo en el proceso de acompañamiento de las instituciones escolares en el desarrollo de los proyectos de inclusión de TIC.
En el marco del ibertic, el área de evaluación diseñó un dispositivo destinado a instituciones educativas y equipos técnicos, nacionales y locales. A diferencia de los desarrollos de evaluación y monitoreo disponibles, que tienen como destinatarios a los ministerios de Educación de distintos países o provincias, esta propuesta está dirigida a los propios actores que gestionan los proyectos TIC en las escuelas, principalmente los equipos de conducción y supervisión.
La propuesta de ibertic/Evaluación centra su atención en ofrecer herramientas que puedan orientar un proceso sistemático de reflexión individual y, sobre todo, colectivo, sobre las prácticas que tienden a integrar las TIC en el centro del quehacer pedagógico. Su integración progresiva al espacio escolar y el potencial de uso pedagógico que suponen no son efectos que se desplieguen en forma natural ni mecánica, muy por el contrario exigen diseñar propuestas ajustadas a los requerimientos de cada contexto institucional y sostener una mirada atenta sobre su desarrollo para orientar las acciones en el mediano y largo plazo.
Sin embargo, además del carácter estratégico del espacio escuela, el tratamiento de esta problemática requiere proyectar la mirada más allá, extendiendo las fronteras hasta el borde del sistema educativo e incluso del sistema social. Es así que los instrumentos de diagnóstico y evaluación puestos a disposición han sido diseñados de modo que puedan constituirse en un insumo útil también para otros actores e instancias del sistema educativo, como agentes de los organismos públicos de educación, interesados en conocer y contribuir a la consolidación del uso de las TIC en las escuelas iberoamericanas.
La propuesta consiste en la construcción de un conjunto de herramientas de acceso libre disponibles en un sitio web destinadas, como se ha mencionado, a orientar, promover y acompañar procesos de autoevaluación institucional y evaluación en general de proyectos de inclusión de TIC en educación.
En términos generales, el contenido desarrollado se organiza en dos segmentos:
De manera complementaria, se ofrece asistencia técnica en el diseño e implementación de iniciativas de evaluación, seguimiento y monitoreo de programas y proyectos de inclusión digital educativa.
Tal como se ha señalado, el eje central de la propuesta consiste en el desarrollo de los materiales orientadores e instrumentos concebidos como un soporte metodológico para diseñar, desarrollar y analizar acciones vinculadas con el seguimiento y evaluación de proyectos orientados a la incorporación de TIC en el ámbito educativo.
Las orientaciones teórico-prácticas que contribuyen a reflexionar acerca del modo en que las instituciones educativas pueden dar cuenta del avance en sus proyectos de incorporación de TIC se encuentran distribuidas entre diferentes guías, pautas, un manual para la evaluación de proyectos y una serie de instrumentos que se describen sintéticamente a continuación.
Consiste en una breve encuesta autoadministrada, organizada en cinco bloques temáticos:
Cada uno de los bloques presenta un número variable de preguntas; en cada caso se le solicita al usuario que seleccione la opción que mejor refleje la situación de su escuela. Las tres primeras opciones se encuentran ordenadas de manera que cada una refleja mayor progreso en la incorporación de TIC que la anterior. La última opción es siempre negativa. Así se obtiene de modo rápido un resultado para cada uno de los cinco bloques, que son visualizados gráficamente y presentados en forma descriptiva.
El diagnóstico contribuye a contar con un panorama general sobre la incorporación de TIC en la propia escuela e identificar nudos críticos. Así, se podrán definir propuestas ajustadas a su realidad en función de las metas acordadas por el conjunto de la comunidad educativa. Es decir, que no hay metas prefijadas de manera estandarizada, sino que dependerá de aquello que cada institución defina como deseable. Esta herramienta podría ser nuevamente utilizada una vez iniciado el proyecto de incorporación de TIC a fin de indagar si hubo modificaciones a lo largo del tiempo. Para ello se ha considerado la opción de volver a diagnosticar, función que tiene por objeto caracterizar la situación transcurrido un tiempo, luego de haber puesto en marcha las acciones para mejorar alguno de los aspectos identificados como problemáticos.
Las herramientas disponibles no se agotan en el diagnóstico sino que proponen profundizar la mirada reflexiva sobre las acciones desarrolladas. Para esto se ofrecen dos encuestas, una dirigida al equipo directivo y otra a los docentes, destinadas a indagar sobre la perspectiva desde la que cada uno se aproxima al tema de la incorporación de las TIC a la educación.
La encuesta a directivos se halla conformada por ocho bloques temáticos:
La encuesta dirigida a los docentes tiene una estructura similar aunque varían algunos bloques. Dado que es muy extensa, se ofrece la posibilidad de completar un bloque por vez y esto adquiere particular importancia a los efectos de respetar el ritmo particular y propio de cada uno de los proyectos, es decir, cada una de estas dimensiones tiene complejidades diferentes y horizontes temporales también diversos, por lo que las herramientas destinadas a la evaluación deben respetar estas particularidades. Al igual que en el caso del diagnóstico, podrá volver a evaluar cada bloque de la encuesta. De esta manera, transcurrido un tiempo se cuenta con la posibilidad de comparar ambas respuestas.
El diseño propuesto supone el ingreso en línea de la información de las encuestas y cuenta con el mecanismo de almacenamiento y recuperación de esa información por parte del usuario.
Además de las encuestas, se han diseñado instrumentos complementarios, como las entrevistas en profundidad y los grupos focales, que responden a una estrategia de abordaje cualitativo. Su fin es comprender el problema desde la subjetividad de cada uno de los sujetos-agentes involucrados. Estos instrumentos no son interactivos, es decir que no se completan en línea. Podrá descargar de la página web los archivos en formato pdf correspondientes, guardarlos e imprimirlos.
Cada uno de estos archivos contiene, en la primera parte, una guía o conjunto de orientaciones para realizar la entrevista o el grupo focal, y en la segunda parte, las pautas propiamente dichas, es decir, las preguntas temáticas sobre las que se propone organizar la actividad.
El otro instrumento puesto a disposición es una guía y pautas para la realización de grupos focales. Esta es una técnica colectiva que puede cumplir una doble función: recabar información sobre las perspectivas de los actores y, a la vez, instalar un debate aprovechando la situación de reunión y encuentro.
Por último, y más allá de las orientaciones que contienen las guías, se ha elaborado también un manual de evaluación que constituye una herramienta de soporte, donde se desarrollan orientaciones conceptuales y metodológicas consideradas centrales en un proceso de evaluación. Por ejemplo, se ilustra sobre cómo organizar y analizar la información obtenida mediante la aplicación de los instrumentos propuestos. Cabe destacar que el manual brinda orientaciones y en ningún caso prescripciones, preservando así la libertad de trabajo y las singularidades de cada proyecto educativo relacionado con TIC.
Se consideró relevante sistematizar las evidencias disponibles sobre estudios e investigaciones que abordan la problemática de la inclusión de TIC en la educación y facilitar el acceso de los usuarios. Para ello, se realizó una revisión de bibliografía específica, la organización de un fichero bibliográfico de más de 40 fichas y el diseño de una propuesta de incremento de la base bibliográfica de consulta, con participación de los usuarios. La organización de los documentos e informes se llevó a cabo de acuerdo con los siguientes ejes temáticos:
Toda la propuesta desarrollada intenta dar respuesta, o al menos abrir el espectro de respuestas posibles, a preguntas centrales de todo proceso de evaluación como son: qué evaluar, para qué, cuándo y cómo hacerlo. Y, en este sentido, las orientaciones e instrumentos propuestos procuran ampliar al máximo posible la gama de propósitos que persiguen los proyectos e iniciativas de inclusión de TIC en el ámbito educativo. Así, se reconoce que dichas iniciativas de inclusión, en general, están orientadas a partir de múltiples propósitos, lo que permite identificar una serie de aspectos diferentes que revisten interés al procurar valorar sus acciones y efectos:
Teniendo en cuenta que el usuario puede estar atravesando distintos momentos en el desarrollo de su proyecto de incorporación de TIC, la propuesta contempla alternativas para que pueda ser utilizado como parte de un estudio de factibilidad, de línea de base, diagnóstico o proceso, de resultados, o bien de impactos, dependiendo del modo en que se utilice la herramienta y se la complemente con otras estrategias de evaluación.
Entre los meses de julio y agosto de 2013 se realizó una evaluación de la propuesta, invitando a especialistas, docentes y directivos a participar en la prueba piloto del sitio web y de la totalidad del material desarrollado, con la intención de mejorar la propuesta previamente a su lanzamiento.
Se solicitó en esa ocasión que se explorara el sitio web, prestando especial atención a su diseño, contenido y funcionamiento, y a la pertinencia y utilidad de los instrumentos puestos a disposición. Para ello, se desarrolló un protocolo con distintas opciones de extensión que facilitara el registro de las observaciones y valoraciones en relación con los materiales. A continuación se muestra la imagen de la página principal a partir de la cual se invitó a revisar lo producido.
Los resultados obtenidos pusieron de manifiesto la valoración positiva de la propuesta por parte de los distintos segmentos consultados, en tanto representa una iniciativa novedosa. A su vez, se destacó la disponibilidad de los instrumentos y el hecho de que se contemplan diversas dimensiones de análisis. Respecto del sitio web en su conjunto, se valoraron el diseño, el formato amigable y la facilidad de navegación.
Cada uno de los apartados contó con aspectos destacados y sugerencias para su mejora, que se tuvieron en cuenta en la posterior etapa de ajuste y puesta en marcha de la propuesta.
El plan de trabajo propuesto inicialmente supone el desarrollo de otros instrumentos tales como guías y pautas para realizar observaciones de clases, instrumentos para la evaluación de los aprendizajes de los alumnos y para la indagación desde la perspectiva de los alumnos y desde la perspectiva de las familias y/o la comunidad.
Sin duda, se trata de un proceso de trabajo inconcluso que aspira a ser enriquecido por los usuarios del sitio, transformando esta propuesta inicial en un espacio colaborativo.
En este sentido, es deseable que a partir del uso de estas herramientas pueda construirse un banco de experiencias o casos y promover el intercambio entre quienes se encuentran interesados en esta temática.
La inclusión de las TIC en educación constituye una realidad desafiante que plantea múltiples interrogantes y horizontes aún poco explorados; también aparece como una meta por alcanzar el que las prácticas evaluativas de carácter formativo se transformen en espacios de aprendizaje colectivo que permitan reflexionar provechosamente sobre la realidad educativa. En este camino se ubica la propuesta de ibertic/Evaluación con el propósito de aportar, acompañar y desarrollar experiencias orientadas a la mejora de la calidad de la realidad educativa de la región. No cabe duda de que se trata de un rumbo interesante, no exento de dificultades pero muy rico, al igual que propone K. Kavafis3 en su poema Ítaca:
Cuando emprendas tu viaje a Ítaca
pide que el camino sea largo,
lleno de aventuras, lleno de experiencias […]
Pide que el camino sea largo.
Que muchas sean las mañanas de verano
en que llegues –¡con qué placer y alegría!–
a puertos nunca vistos antes. […]
Ten siempre a Ítaca en tu mente.
Llegar allí es tu destino.
Scheuermann, Friedrich y Pedró, Francesc (eds.) (2009). Assessing the effects of ict in education. Indicators, criteria and benchmarks for international comparisons. Luxemburgo: European Commission, Joint Research Centre. Publications Office of the European Union, 2009. Disponible en: http://browse.oecdbookshop.org/oecd/pdfs/free/9609111e.pdf.
Trucano, Michael (2005). «Knowledge maps: ICTs in education». Washington, dc: infoDev/Banco Mundial. Disponible en: www.infodev.org/en/Publication.8.html.
Wagner, Daniel A. y otros (2005). Monitoring and evaluation of ICT in education projects. A handbook for developing countries. Washington, dc: infoDev/Banco Mundial. Disponible en: www.infodev.org/en/Publication.9.html.
3 Poeta griego, oriundo de Alejandría (1863-1933).
4 Material incluido en la biblioteca del sitio ibertic/Evaluación.
Indice
Subir