La crisis de maduración de las agencias de garantía de calidad de la educación superior
Francesc Pedró (1) 
https://orcid.org/0000-0001-5335-8100
(1) UNESCO IESALC
Resumen. Desde una perspectiva política, las agencias de garantía de calidad de la educación superior (AGC) juegan un papel crucial en la dinámica y las tensiones de poder entre el Estado y las universidades: en prácticamente todo el mundo es proverbial la existencia de una relación de tensión entre las universidades –que defienden su autonomía– y el Estado, que no solo financia a las públicas, a las que exige que rindan cuentas, sino que quiere garantizar que la educación superior sirva a los intereses nacionales, protegiendo, además, los derechos de los estudiantes y sus familias. En esta tensión entre autonomía y control, las AGC pueden llegar a desempeñar una importante función de mediación. A pesar de las notables diferencias entre los modelos existentes de AGC, parece existir una cierta convergencia en las críticas que podría deberse a una inevitable crisis de madurez: ahora que, por fin, las AGC se han consolidado parece llegado el momento de reconsiderar su eficiencia como mecanismo participativo de regulación. Las críticas, internacionalmente, se concentran en torno a tres ejes: la independencia política, la rendición de cuentas y la necesidad de un mayor énfasis en los resultados de aprendizaje. Las tres son examinadas, al tiempo que se ofrecen algunas pistas para la redefinición de las AGC.
Palabras clave: educación superior; aseguramiento de la calidad; agencias de calidad; universidades.
A crise do amadurecimento das agências de garantia da qualidade do ensino superior
Resumo. Do ponto de vista político, as agências de garantia da qualidade do ensino superior (Agencias de Garantía de Calidad - AGC) desempenham um papel crucial na dinâmica e nas tensões de poder entre o Estado e as universidades: praticamente em todo o mundo, é proverbial a existência de uma relação de tensão entre as universidades - que defendem a sua autonomia - e o Estado, que não só financia as públicas, das quais exige prestação de contas, mas também quer garantir que o ensino superior sirva os interesses nacionais, protegendo, além disso, os direitos dos alunos e das suas famílias. Nessa tensão entre autonomia e controle, as AGCs podem vir a desempenhar um importante papel de mediação. Apesar das notáveis diferenças entre os modelos de AGC existentes, parece haver uma certa convergência de críticas que pode ser devida a uma inevitável crise de maturidade: agora que, finalmente, as AGCs se consolidaram, parece que chegou a hora de reconsiderar sua eficiência como mecanismo participativo de regulação. As críticas, internacionalmente, concentram-se em três eixos: independência política, prestação de contas e necessidade de uma maior ênfase nos resultados da aprendizagem. Os três são examinados, ao mesmo tempo que fornecem algumas pistas para a redefinição das AGCs.
Palavras-chave: educação superior; garantia da qualidade; agências de qualidade; universidades.
The maturing crisis of quality assurance agencies in higher education
Abstract. From a policy perspective, higher education quality assurance agencies (AGC) play a crucial role in the power dynamics and tensions between the state and universities: almost everywhere in the world there is a proverbial tension between universities, which defend their autonomy, and the State, which not only funds public universities and holds them accountable, but also wants to ensure that higher education serves national interests while protecting the rights of students and their families. In this tension between autonomy and control, AGC can play an important mediating role. Despite the notable differences between existing AGC models, there seems to be a certain convergence of criticisms that could be due to an inevitable crisis of maturity: now that AGC have finally consolidated, it seems time to reconsider their efficiency as a participatory regulatory mechanism. Criticisms, internationally, are concentrated around three axes: political independence, accountability, and the need for greater emphasis on learning outcomes. All three are examined, while offering some clues for the redefinition of AGC.
Keywords: Higher education; quality assurance; quality agencies; universities.
1. Introducción: de los orígenes a la madurez
Desde sus inicios, las agencias de garantía de calidad de la educación superior (AGC, en adelante) fueron moldeadas por dos influencias diferentes. La primera fue la existencia de una tradición de acreditación de programas y universidades por parte de organismos privados, un fenómeno notable, por ejemplo, en los Estados Unidos desde finales del siglo XIX. En segundo lugar, desde finales del pasado siglo, el modelo de agencia independiente del gobierno como mecanismo de regulación se fue generalizando en multitud de países y ámbitos. El modelo de agencia representaba un diseño institucional innovador capaz de mejorar el proceso de toma de decisiones en multitud de áreas de las políticas públicas. Vino a transformar, progresivamente, la estructura de las administraciones públicas en todo el mundo y a generar un nuevo marco para la expansión de las políticas reguladoras en diferentes sectores de la actividad pública, hasta el punto de crear presiones isomorfas (Jordana et al., 2011). Una verdadera oleada de creación de agencias acompañó las reformas del sector público en muchos países europeos a partir de la última década del pasado siglo. Con la creación de agencias se esperaba aumentar el nivel de experiencia y profesionalidad de los responsables de diseñar y ejecutar regulaciones, haciéndolos más efectivos al separarlos de los procesos de formulación de políticas, e intentando aumentar la legitimidad de la regulación ante los regulados (Lægreid & Verhoest, 2010).
En el sector de la educación superior (ES), donde la autonomía institucional convierte cualquier intento de regulación en un proceso arduo y complejo, las agencias se configuraron en multitud de países como organismos públicos autónomos (Kajaste et al., 2016; Grifoll, 2016). Esta transformación institucional fue impulsada por instituciones globales como el Banco Mundial o la UNESCO (Brown et al., 2017). En la medida en que muchos países tenían una gran cantidad de universidades públicas, el establecimiento de agencias autónomas surgió como una solución para evitar interferencias políticas en la evaluación de calidad de la ES, al tiempo que parte de la autoridad se hacía descansar en los propios pares institucionales (Beerkens, 2018). La difusión de este modelo internacionalmente también fue facilitada por el establecimiento de redes internacionales de AGC, como la INQAAHE (Red Internacional para AGC en ES) o la ENQA (Red Europea de AGC) (Blackmur, 2010).
Globalmente se pueden distinguir tres olas principales de desarrollo de GC de la ES (Woodhouse, 2013). Las primeras AGC se desarrollaron en los Estados Unidos a instancias de instituciones y asociaciones profesionales, lejos de la influencia del gobierno federal. Este modelo sigue siendo una excepción internacionalmente, ya que en el resto del mundo las iniciativas siempre surgieron de los respectivos gobiernos. Una segunda ola llegó en la década de 1960 cuando gobiernos como el de Reino Unido e Irlanda establecieron AGC más para guiar el desarrollo de un sector de rápido crecimiento y diversificación que no para dar respuesta a preocupaciones vinculadas a la calidad. La tercera ola llegó unos treinta años más tarde, cuando se produjo una eclosión de agencias en todo el mundo, incluidos los países en desarrollo. La Ilustración 1 muestra el rápido crecimiento del número de AGC internacionalmente, en una tendencia que en la región de América Latina y el Caribe ha dejado impronta ya en todos los países casi sin excepción.
Ilustración 1. Fecha de creación de AGC en ES en Europa, América Latina y el Caribe y el resto del mundo. Fuente: Jordana et al., 2018.
En efecto, en la década de 2010 ya casi todos los países habían creado sus propias AGC, la mayoría separadas, por lo menos formalmente, de los correspondientes ministerios. En apenas tres décadas, la GC externa se ha desarrollado hasta convertirse en un campo regulatorio extremadamente institucionalizado gracias a las AGC (Westerheijden et al., 2007). Se han configurado, por consiguiente, como una instancia sectorial de regulación: deben garantizar la credibilidad de los procesos de acreditación y evaluación de programas e instituciones, según corresponda, garantizando que operan bajo los principios de objetividad y transparencia (Martin & Stella, 2007).
Desde una perspectiva política, las AGC juegan un papel crucial en la dinámica y las tensiones de poder entre el Estado y las universidades: en prácticamente todo el mundo es proverbial la existencia de una relación de tensión entre las universidades, que defienden su autonomía, y el Estado, que no solo financia a las públicas, a las que exige que rindan cuentas, sino que quiere garantizar que la educación superior sirva a los intereses nacionales, protegiendo, además, los derechos de los estudiantes y sus familias. En esta tensión entre autonomía y control, las AGC pueden llegar a desempeñar una importante función de mediación.
Pero con la generalización de las AGC y su maduración parece haber llegado un momento en que las críticas arrecian. A pesar de las notables diferencias entre los modelos existentes de AGC, parece existir una cierta convergencia en las críticas que podría deberse a una inevitable crisis de madurez: ahora que, por fin, las AGC se han consolidado parece llegado el momento de reconsiderar su eficiencia como mecanismo participativo de regulación. Las críticas, internacionalmente, se concentran en torno a tres ejes: la independencia política, la rendición de cuentas y la necesidad de un mayor énfasis en los resultados de aprendizaje. Cada uno de estos ejes se examina con detalle a continuación.
2. La ausencia de independencia política
Entre los analistas de las agencias, la independencia se ha definido como la capacidad de un organismo para decidir sobre cuestiones de su responsabilidad sin tener que sufrir injerencias políticas (Fernandez-i-Marin et al., 2016; García et al., 2020). Podría decirse que la independencia determina el alcance y la extensión de las competencias decisorias de una agencia (Verhoest et al., 2004). Quienes investigan la independencia de las agencias centran su atención en los mecanismos de influencia y control que tienen los decisores políticos sobre los órganos rectores de las AGC, en particular sobre los presidentes y los miembros de sus consejos. En este marco, los análisis se centran en determinar hasta qué punto la normatividad permite a las AGC tomar decisiones sin interferencias políticas, y en medir los mecanismos de designación y renovación de dichos organismos para facilitar un comportamiento más o menos autónomo. Esta probablemente sea la dimensión más relevante para evaluar la independencia de una AGC.
En la ES europea, la defensa de la independencia se ha generalizado y se promueve como un estándar de calidad de las AGC. De hecho, de acuerdo con las Normas y Directrices para la GC en el Espacio Europeo de ES, adoptadas en 2005, debe promoverse que: “la independencia operativa de las IES en relación con los gobiernos esté garantizada en la normativa oficial … y que la definición y el funcionamiento de sus procedimientos y métodos, así como la designación y el nombramiento de expertos externos y la determinación de los resultados de sus procesos se desarrollan autónoma e independientemente de los gobiernos, las IES y otros órganos que pudieran tener una eventual influencia política” (ENQA, 2005). Estas directrices se han implantado ya en las AGC de 46 países europeos (Alzafari & Ursin, 2019), hasta el punto de que la independencia política se ha convertido en un rasgo de identidad muy relevante de las AGC.
En la práctica, las diferencias entre las AGC en América Latina y en Europa no parecen ser muy significativas en este ámbito (Jordana et al., 2018). Así, los promedios de ambas regiones con respecto a la autonomía de los rectores y miembros de las AGC son similares. En lo que respecta a la rendición de cuentas ante el ejecutivo, las AGC latinoamericanas parecen ser algo menos fiables que las europeas. Sin embargo, el resultado promedio en materia de autonomía política es equivalente, como se muestra en la Ilustración 2.
Los resultados muestran variaciones importantes entre agencias y países, aunque también se observan indicaciones de convergencia. Mientras que algunas agencias de los países nórdicos, como Dinamarca o Finlandia, muestran puntuaciones bajas, otras, como las del Reino Unido, Croacia o Eslovenia, cuentan con AGC con niveles más altos de independencia política. En América Latina también se observan una elevada autonomía política significativa en países como Chile, Perú o Ecuador (UNESCO IESALC, 2020).
Ilustración 2. Clasificación de las AGC en la ES en Europa y América Latina según la autonomía política del gobierno correspondiente. Fuente: Jordana et al., 2018.
Sin embargo, el hecho de que una agencia tenga un nivel elevado de independencia política no significa, inevitablemente, también una mayor independencia de las universidades. Por el contrario, especialmente en América Latina, las universidades parecen tener un papel decisivo en la toma de decisiones de las AGC (solo las universidades públicas, en algunos países). Aunque las AGC estén protegidas de la interferencia política, esto no siempre significa que, al mismo tiempo, existan medidas para evitar que la participación directa de las universidades termine imponiendo sus propios intereses acerca de cómo deben ser diseñados y puestos en práctica los criterios y procedimientos de GC. La evidencia demuestra que algunas AGC que están formalmente más distanciadas del gobierno parecen estar, al mismo tiempo, más estrechamente vinculadas a las asociaciones y redes universitarias y su personal no es necesariamente funcionario público (Beerkens, 2016). Este fenómeno es conocido como “captura regulatoria” (Baldwin et al., 2011) que se produce cuando la regulación sirve antes a los intereses de los regulados que al interés general público.
No hay mucha evidencia empírica disponible sobre el beneficio de la independencia de las AGC. Según las Normas y Directrices europeas citadas anteriormente, es evidente que la principal preocupación es la objetividad del proceso. Para ello se requiere independencia tanto de los decisores políticos como de las instituciones universitarias. Ewell (2010) ha analizado las ventajas de la independencia y la autonomía de las AGC. En el contexto específico de los Estados Unidos, estima que existen dos razones principales por las cuales la existencia de AGC independientes es más efectiva que una intervención directa del gobierno. Para empezar, los gobiernos pueden verse severamente amenazados por la escasez de recursos y, por lo tanto, sentirse incapaces de apoyar programas de calidad suficientemente ambiciosos o relevantes. En segundo lugar, en todas partes parece difícil mantener una agenda política consistente a largo plazo, que trascienda los límites de una única legislatura. Si bien algunas iniciativas gubernamentales suficientemente sólidas, como la financiación basada en los resultados, terminaron por tener una vida breve y no tuvieron mucho impacto en la gestión universitaria, presionar a las AGC para que sigan la agenda gubernamental parece haber sido mucho más eficaz. Cuando el Gobierno Federal aumentó progresivamente la presión sobre las AGC para que se centraran en los resultados del aprendizaje de los estudiantes, la mayoría de las instituciones de ES habían desarrollado a finales la década de 1990 el tipo de infraestructura de evaluación originalmente prevista por el legislador, pero no la pusieron en práctica por falta de interés y de incentivos. Por lo tanto, parece ser mucho mejor distanciar la GC de la política, no solo para tener legitimidad, sino también para garantizar la continuidad.
La tensión entre autonomía y rendición de cuentas es un problema irresoluto en muchos sectores de la administración pública. La ES tiene su especificidad, debido, en parte, a la defensa del concepto de libertad académica y, en parte también, a la desconfianza histórica en la intervención gubernamental, pero esta especificidad no hace más que agudizar la tensión. Aunque la mayoría de las AGC afirman que gozan de autonomía en la definición de sus procedimientos y en sus procesos de toma de decisiones, en realidad las públicas están más limitadas por el gobierno de lo que parece a simple vista, para empezar por sus mecanismos de financiación, mayoritariamente en base a fondos públicos. Por supuesto, las AGC autofinanciadas y privadas son más autónomas en este sentido. De ahí que la tendencia a la autofinanciación que, en algunos casos se explica por los recortes públicos, pueda ser presentada, no sin dificultad, como un mecanismo adicional de preservación de la propia independencia.
La preocupación por la independencia ha sido objeto de multitud de análisis. Brown (2013), por ejemplo, afirma que cuando el gobierno propone la creación de una AGC como parte de su estrategia de reforma de la ES, su intervención es insoslayable. Ewell (2010), por su parte, señala que conseguir que el gobierno promueva una AGC con garantía de autonomía puede ser una opción, pero no es la más frecuente. Dill (2011) indica que incluso las AGC realmente independientes muestran variaciones sustanciales en términos de subjetividad y de rigor. En particular en el caso de los procedimientos de acreditación, una AGC puede sentirse obligada a cumplir antes con las expectativas gubernamentales que con su propia misión por causa de presiones insoslayables ejercidas a través de los medios y de la opinión pública. En última instancia, la independencia de una AGC puede verse amenazada en la medida en que el gobierno quiera mantener el control de su gobernanza interna y de sus procedimientos de revisión externa. Para evitar esta situación, las AGC deben mostrarse totalmente transparentes en cuanto a sus procedimientos y resultados y están obligadas a demostrar que su profesionalidad no se verá afectada de ningún modo por los deseables mecanismos de control externo.
3. La rendición de cuentas
Cada vez más se espera que las AGC demuestren que sus actividades tienen un impacto positivo en la ES. Por esta razón, muchas AGC han tenido que reconocer la evaluación externa como un ejercicio legítimo y deseable tanto a nivel nacional como internacional (Costes et al., 2010). Esto se conoce como “rendición de cuentas de la acreditación”. Eaton (2011) afirma que la responsabilidad de las AGC se refiere a cómo, y en qué medida, estas agencias aceptan su responsabilidad por la calidad y los resultados de su trabajo y responden abiertamente a los constituyentes y al público. Por lo tanto, se espera que los organismos de GC adopten diversos enfoques internos y externos para demostrar la calidad de sus actividades de revisión (Woodhouse, 2010).
Las limitaciones documentadas de las actuales configuraciones de las AGC han motivado a muchos países a establecer nuevos organismos nacionales, como el Organismo de Calidad de las Universidades Australianas, el Instituto Danés de Evaluación, el Consejo Alemán de Acreditación y la Agencia de GC (Reino Unido). En el diseño de estas agencias se han hecho serios esfuerzos para garantizar que reflejan el interés público en el sentido más amplio del término, garantizando que sean independientes tanto de las universidades como del gobierno. Pero como a estas agencias se les otorga autoridad para diseñar, conducir y supervisar los procesos externos de GC, se convierten a su vez en reguladores por cuenta del gobierno que generan costos directos importantes para el erario, así como costos indirectos para el propio sector de la ES.
Estados Unidos fue el primer país en desarrollar un sistema de reconocimiento de calidad de las AGC a nivel nacional, en un importante intento de convergencia de la pluralidad de agencias existentes. En 1998, el Consejo para la ES (CHEA), la principal organización de acreditación estadounidense anunció sus estándares para el reconocimiento de los acreditadores estadounidenses. Alemania también desarrolló un esquema de reconocimiento compartido imprescindible dado el grado de autonomía de los estados. Las AGC alemanas deben estar acreditadas por el Consejo de Acreditación de la Fundación para la Acreditación de Programas de Estudio, que actúa como órgano central en la definición de los requisitos básicos del proceso y se encarga de que cualquier acreditación se desarrolle a partir de criterios confiables, transparentes y reconocidos internacionalmente. A escala europea, por otra parte, el sistema de reconocimiento mutuo de las AGC se inició con el propósito de promover y acompañar el proceso de integración regional en la ES ya en 2005 (UNESCO IESALC, 2020).
Por lo general, las propias AGC adoptan varios enfoques internos de GC como, por ejemplo, la recopilación de los testimonios de las instituciones evaluadas mediante encuestas de satisfacción y la celebración de reuniones, seminarios y congresos formales con la participación de los actores relevantes. Recientemente, algunas AGC han recurrido a la organización de grupos de discusión focalizados y han realizado metaevaluaciones para reunir información relevante para su propia evaluación. Estas diferentes herramientas para garantizar la calidad interna pueden tener sus ventajas y sus inconvenientes. Las encuestas anónimas, por ejemplo, tienden a ser positivas y no permiten interacción con los encuestados. En cambio, los grupos de discusión focalizados parecen ser una forma más rápida y eficiente de recabar opiniones. Sin embargo, cuando el número de participantes es limitado es difícil determinar si toda la información que producen es precisa e imparcial.
El aseguramiento interno de la calidad parecería ser un elemento cada vez más importante para las AGC, por lo menos sobre el papel. Sin embargo, un estudio de ENQA que revisó los informes de autoevaluación de 34 agencias AGC observó que tan solo el 65% de ellas cumplen con los estándares de rendición de cuentas. En definitiva, concluyó que la puesta en práctica de mecanismos internos GC está todavía en fase incipiente de desarrollo. Pero su llegada ya ha generado varios impactos en las AGC, como un mejor conocimiento del funcionamiento interno de la propia organización, la creación de una metodología específica para los controles internos y, lo que aun es más importante, la conciencia de las debilidades y fortalezas propias (Costes et al., 2010).
Las evaluaciones externas, por su parte, consisten en un proceso que utiliza personas externas al programa o institución para evaluar la calidad o los estándares empleados. En otras palabras, una revisión externa de calidad realizada por un tercero, que podría ser un gobierno, un organismo de reconocimiento o una red internacional, tiene por objetivo reconocer la calidad de las actividades de una AGC. Hoy en día, el cambio del énfasis en los procesos de mejora interna hacia la responsabilidad externa parece prevalecer entre las AGC a escala internacional. De hecho, varias AGC comenzaron a principios de la década de 1990 a evaluarse a través de mecanismos de revisión externos, como la Middle States Association of Schools and Colleges o el y el North-Central Association of Schools and Colleges en Estados Unidos, el Higher Education Quality Council en Reino Unido, el University Grants Committee en Hong Kong, y el Akkreditierungsrat en Alemania (UNESCO IESALC, 2020). Las principales razones para la evaluación externa incluyen la necesidad de renovar el estatuto de su reconocimiento público, contribuir al desarrollo de los planes y actividades futuras y, finalmente, demostrar que cumple con las expectativas de todos los actores relevantes.
También las redes de GC han comenzado a evaluar las AGC externamente a través del establecimiento de un conjunto de criterios que hay que cumplir para conseguir o mantener la membresía. La ENQA fue la primera organización en evaluar externamente el estado de todos sus miembros, incluidos sus procedimientos de GC, su estatuto oficial, sus actividades, sus recursos, su nivel de independencia y sus mecanismos de rendición de cuentas. ENQA hace hincapié en que esta evaluación externa debe ser objetiva y proporcionar evidencia suficiente para determinar si la AGC cumple con los estándares europeos previamente establecidos y, por lo tanto, con los requisitos de membresía estipulados por ENQA. En 2009, INQAAHE realizó, por su parte, una revisión de la adhesión de sus miembros a las Directrices de Buenas Prácticas de la propia organización. A diferencia de la ENQA, la evaluación externa es solicitada voluntariamente por sus miembros. Los estándares diseñados evalúan la gobernanza, los recursos, la GC de la propia agencia, la presentación de reportes de información pública, la relación con las IES, los estándares y las revisiones internas, los sistemas de evaluación, decisión y apelaciones, la colaboración con otras AGC y las políticas sobre la ES transfronteriza. Para la evaluación, recurre a un panel de expertos internacionales quienes, entre otras cosas, realizan una visita in situ. A las AGC revisadas se les presenta un informe final que indica las áreas específicas en las que se observan las deficiencias y las áreas a mejorar, así como recomendaciones para hacerlo.
4. El soslayo de los resultados de aprendizaje
Hasta hace muy poco, los sistemas de GC en ES se habían centrado en insumos y procesos, y con menos frecuencia en productos y resultados. Al principio, los sistemas externos se circunscribieron a la medición de insumos; por ejemplo, el nivel de calificación del personal docente o el número de libros en las bibliotecas como forma de medir la calidad de la prestación del servicio. Aunque las mediciones de insumos suelen ser objetivas y relativamente fáciles de realizar, por sí solas proporcionan poca evidencia de la calidad relativa en la práctica. El hecho, por ejemplo, de que un docente tenga un doctorado podría considerarse importante y tal vez necesario, pero no es suficiente para garantizar su capacidad pedagógica como docente. La financiación acostumbra a ser considerada igualmente como insumo. Por supuesto, una financiación adecuada es condición previa para crear un entorno de aprendizaje apropiado. Sin embargo, definir cuál es el nivel de financiación adecuado es no solo difícil sino también controvertido; y, una vez definido, un financiamiento adecuado tampoco es, por sí mismo, garantía de calidad.
Los procesos, en particular los que tienen que ver con los métodos de enseñanza y de evaluación de los aprendizajes, proporcionan indicaciones de la posible eficacia que tiene la experiencia de aprendizaje para los estudiantes. Por esta razón, acostumbran a ser supervisados en muchos sistemas de ES. Por ejemplo, los procedimientos para la calificación externa de las evaluaciones y exámenes escritos pueden tomarse como indicaciones de la fiabilidad de los procesos de evaluación y, por lo tanto, de la validez de los resultados y calificaciones otorgadas en un determinado programa. Sin embargo, muchos aspectos de la enseñanza y del aprendizaje son difíciles de encapsular y evaluar de manera binaria o cuantitativa, lo que dificulta la recopilación de datos sobre esos procesos para su evaluación.
En los últimos años, se ha puesto cada vez más énfasis en los productos de las IES, tales como su capacidad de contribuir al desarrollo de las competencias de los estudiantes (Stensaker, 2014). Los resultados como “unidad de análisis” y evaluación tienen un gran atractivo. Al referirse a ellos, se transmite la sensación de que el sistema de GC está tratando de captar lo que, en última instancia, realmente importa: se centra en lo que los procesos deberían lograr y no tanto en los mecanismos del proceso en sí mismos. Las mediciones de los resultados de aprendizaje también adoptan formas muy diferentes. Suecia es un ejemplo de un sistema que abandonó por completo las mediciones de los procesos para pasar a centrarse en la calidad de la tesis final de los estudiantes. También se han intentado establecer exámenes nacionales de grado, lo que nuevamente apunta hacia la medición directa de los conocimientos y competencias de los estudiantes como indicador final de la calidad. Las evaluaciones basadas en los resultados son conceptualmente atractivas, particularmente para los actores externos. Sin embargo, todos los intentos parecen estar fracasando debido a problemas relacionados con la fiabilidad y la validez de los instrumentos y a las sensibilidades políticas. Las mediciones del valor agregado en ES, por otra parte, parecen todavía tan incipientes que recurrir a ellas puede acabar por distorsionar o disminuir los estándares de calidad en lugar de asegurarlos (Dill & Beerkens, 2010). Es fácil ponerse de acuerdo en que los productos más directos del proceso educativo son graduados con mayores conocimientos y habilidades (resultados de aprendizaje) adquiridos a través de su ES. Pero aislar el valor agregado específico de la experiencia de ES de un estudiante de otros factores intervinientes como el contexto económico, social y cultural es muy difícil, si no imposible.
Son pocos todavía los países que utilizan pruebas estandarizadas para medir las capacidades y competencias de los estudiantes y graduados de ES de manera comparable (UNESCO IESALC, 2020). En Estados Unidos el Council for Aid to Education (CAE), por ejemplo, viene utilizando las pruebas CLA y CLA+ para evaluar las competencias genéricas; mientras que, en México, los resultados de los Exámenes Generales para el Egreso de Licenciatura son utilizados por muchas IES para evaluar a sus titulados en distintas áreas disciplinarias a través del Centro Nacional de Evaluación para la Educación Superior (CENEVAL). En Colombia, todos los estudiantes de ES deben pasar una prueba de competencia general (Saber Pro) para graduarse (ICFES, 2018), sin embargo, los resultados obtenidos por los estudiantes no se utilizan directamente para evaluar la calidad de las instituciones a las que asistieron. El examen ENADE en Brasil es el único ejemplo a gran escala de pruebas externas obligatorias para los estudiantes cuyos resultados son utilizados directamente para la evaluación tanto de programas como de instituciones.
Otras formas de evaluación de la calidad relacionadas con el producto, o con los resultados de aprendizaje específicamente, prefieren basarse en medidas indirectamente relacionadas con estos últimos. El concepto de evaluación del producto se centra, entonces, en las tasas de compleción y graduación. Finalmente, cada vez es más frecuente que en el relato sobre los resultados se incluyan factores indicativos de la empleabilidad como, por ejemplo, la proporción de graduados que están empleados, en qué tipos de trabajo y los salarios medios.
La relación entre las mediciones del producto o de los resultados, por una parte, y la calidad de los cursos y programas, por otra, no siempre es tan sencilla como puede parecer intuitivamente. Por ejemplo, cabe esperar que un programa de alta calidad brinde un buen apoyo a los estudiantes, cualquiera que sea su origen, para completar su aprendizaje con éxito, pero una tasa de finalización del 100% puede ser, más bien, una indicación de bajos estándares en lugar de serlo de buena calidad. De modo parecido, aunque es lógico suponer que los programas de alta calidad preparan a los estudiantes para obtener buenos trabajos, la empleabilidad de los graduados depende de una amplia gama de factores externos al programa como, por ejemplo, la dinámica del mercado laboral.
5. ¿Una crisis de maduración?
El aseguramiento de la calidad en la educación superior se ha convertido en un campo maduro desde la perspectiva de su regulación (Pedró, 2021). En la inmensa mayoría de sistemas de ES, las AGC acostumbran a ser elogiadas por su legitimidad, experiencia y compromiso. Pero, al mismo tiempo, cada vez se tiene más consciencia de las debilidades de los modelos predominantes. En determinadas circunstancias, la agencificación puede conducir a instrumentos de política fragmentados y descoordinados, a una aproximación puramente tecnocrática a la GC, desligada de la visión política, y plantear problemas de responsabilidad a los ojos de la opinión pública. Pero lo cierto es que las AGC se han convertido en un actor central en la regulación de calidad en ES y, al hacerlo, también en un nuevo actor en el sistema de ES con identidad e intereses estratégicos propios (Verhoest et al., 2004) que no tienen por qué ser siempre los del sistema en su conjunto.
La creación de AGC ha llevado, sin duda, a una fragmentación importante: es más difícil coordinar las actividades de las agencias independientes donde existen varias en sectores próximos, como sucede cuando las agencias de evaluación de la investigación son distintas de las de ES. En muchos países existen diferentes instrumentos de evaluación en función de la fuente de financiación. Las universidades, con frecuencia, tienen que dar entrada a varias visitas in situ, proporcionar datos para múltiples esquemas y agencias de evaluación, y suministrar información a diferentes organizaciones. Unos de los países donde el problema de la fragmentación es quizás más visible es el Reino Unido y se ha intentado abordar mediante cambios en las políticas. Se estableció una nueva agencia de GC para dar cabida y coordinar todos los procedimientos de evaluación relacionados con las IES, anteriormente bajo dos paraguas distintos. Los problemas de fragmentación son abordados en su marco por un comité permanente cuya tarea es garantizar la coherencia de los procedimientos y su coordinación, así como ofrecer regularmente sugerencias de mejora.
El segundo problema genérico de la agencificación se refiere al debilitamiento de la capacidad de desarrollar políticas públicas en ES: los responsables de hacerlo no pueden dirigir los organismos independientes como si fueran extensiones de sus propios ministerios, lo cual genera igualmente problemas de rendición de cuentas. Los responsables de la formulación de políticas pueden tener la impresión de que pierden el control, ya que el público los considera responsables de resolver los problemas, pero se supone que no deben interferir en las actividades de las AGC. En los Países Bajos, por ejemplo, un escándalo relacionado con la evaluación de la calidad de un programa concreto hizo que se plantearan múltiples preguntas sobre el papel de la AGC y la necesidad de un servicio de inspección y auditoría ministerial. Aunque la agencia no era la causante de los problemas, las acciones y las propuestas que realizó el ministerio dieron la impresión de que urgía la creación de una fuerza más operativa, es decir, de su propio servicio de inspección de la ES. Obviamente, tampoco esta propuesta estuvo exenta de críticas.
Con frecuencia se ha argumentado que la abundancia de iniciativas de GC, con diferentes procedimientos de recopilación de datos, evaluación y acreditación puede acabar por causar fatiga entre las IES, ya que éstas tienen que informar continuamente sobre las actividades realizadas a organismos externos (Westerheijden, 2007). Por otra parte, también debe notarse la creciente actividad de los reguladores privados globales, como los productores de rankings, liderados por grandes empresas privadas. Estas empresas contribuyen, en gran medida, a la reputación internacional de las IES y parece que, para aquellas universidades que están más atentas a los mercados globales y regionales que al local, los rankings están desplazando cada vez más la relevancia de las AGC.
Un último conjunto de problemas está relacionado con la capacidad real de las AGC de promover una mejora efectiva de la calidad de la ES (Woodhouse, 2010) y su legitimidad para introducir nuevos estándares de calidad, por ejemplo a través de redes internacionales (Paradeise et al., 2009). Por otra parte, el número de actores involucrados actualmente en la gobernanza de las IES ha aumentado considerablemente: ahora hay autoridades locales y regionales; agencias independientes encargadas de evaluar las actividades universitarias; organismos de financiación centrados principalmente en apoyar la investigación; agencias de ranking que proporcionan continuamente evaluaciones comparativas; y organismos internacionales que coordinan operaciones a escala regional y global. La autorregulación ha disminuido, en cierta medida, y las AGC y sus propias redes de actores se han convertido en un rasgo común en la mayoría de los sistemas de ES. En definitiva, la gobernanza se ha vuelto mucho más compleja y los instrumentos empleados son más diversos y mucho más sofisticados.
Por último, hay también preocupaciones alrededor del fenómeno de la fatiga de la evaluación y el inevitable aumento de la carga de trabajo que proviene de diferentes mecanismos de GC y de otros instrumentos de evaluación que se aplican simultáneamente (Westerheijden et al., 2007). La pérdida de la capacidad de dirección política es un tema interesante. Las agencias son relativamente autónomas con respecto a los decisores políticos, pero tienen, a pesar de ello, un papel importante en la formulación de políticas porque contribuyen a diseñar el marco y los procedimientos para la GC. La independencia política de la AGC hace que la GC se convierta en un ejercicio estrictamente técnico, que requiere principalmente capacidades profesionales. Sin embargo, la GC no puede considerarse independientemente de la definición de las problemáticas del sistema de ES en su conjunto, que es principalmente una cuestión política. Sin embargo, esto no significa necesariamente un conflicto entre las fuerzas políticas y técnicas o burocráticas, sino que tiene que ser visto como una oportunidad para un diseño de políticas en ES más informado por las evidencias procedentes de la evaluación de la calidad de las IES y sus programas (Enders & Westerheijden, 2017).
6. Conclusiones mirando hacia el futuro
El análisis realizado hasta aquí demuestra, en primer lugar, que existen modelos de gobernanza alternativos y que son expresión de la distinta configuración de los sistemas de educación superior, tanto en términos de autonomía institucional como de intervención estatal. Pero, en segundo lugar, el análisis también ha demostrado que existe una gran coincidencia en las preocupaciones que no son solo políticas, de nuevo, sino también profundamente conceptuales. De hecho, las críticas que reciben las AGC certifican, como se ha mostrado, esta convergencia que sugiere la necesidad de encontrar un nuevo equilibrio entre autonomía institucional, autorregulación del sector e intervención pública. Esta es la dirección hacia la que apuntan muchos gobiernos. ¿Pero será esta la dirección que aceptarán seguir las AGC? Tal vez el futuro conlleve, precisamente, la reformulación de las agencias como herramientas de cogobierno en red de la ES.
De todo este análisis es posible extraer algunas lecciones y recomendaciones. La primera de ellas es que desarrollar una cultura de calidad que busque tener un mayor impacto sobre la enseñanza y el aprendizaje de los estudiantes, así como generar condiciones para garantizar los estándares académicos dentro de las IES y contribuir a su mejora, requiere de la participación de los líderes y del personal académico de cada institución. Los impactos positivos de las evaluaciones comparativas de las materias estudiadas, de las acreditaciones y de las auditorías académicas son extraordinariamente visibles en las numerosas discusiones sobre la calidad académica, los cambios curriculares, las metodologías docentes y los logros de aprendizaje a escala de programas porque es al nivel de las materias que los estándares académicos se mejoran. Al mismo tiempo, un proceso eficaz para garantizar la calidad de manera externa debe crear las condiciones para que cada IES asuma la responsabilidad continua de mantener los estándares académicos e implemente procesos colegiales, rigurosos y efectivos para garantizar y mejorar la calidad académica en todos sus programas. Para que esto ocurra, los procesos académicos centrales de la universidad para garantizar la calidad académica deben ser evaluados externamente por revisores pares competentes y estas evaluaciones deben incluir una evaluación del impacto de estos procesos a nivel de la asignatura o del programa. Esto requerirá auditorías académicas que incluyan una revisión de una muestra representativa de los programas académicos.
Una segunda lección es que, en el marco de un enfoque holístico para garantizar la calidad y la acreditación, los procesos esenciales que deben evaluarse incluyen el diseño y la aprobación de nuevos programas, los procedimientos para su revisión, las normas de calificación, los procedimientos empleados en la evaluación de la enseñanza, los procedimientos que afectan a las evaluaciones de la docencia realizadas por los propios estudiantes, así como otros componentes relevantes de los procesos institucionales de GC. Se debe prestar especial atención a los procesos de la institución para identificar y compartir la mejor práctica en garantizar los estándares académicos (Dill, 1999). Queda claro, por el énfasis y la influencia de las políticas regulatorias para garantizar la calidad académica que han surgido durante las últimas décadas, que la integridad de los procesos académicos mencionados es una preocupación pública primordial. Además, estos procesos esenciales son igualmente importantes para asegurar los estándares académicos en todos los tipos de IES, ya sean públicas o privadas, con fines o sin fines de lucro, a tiempo completo o parcial, residencial o de aprendizaje a distancia.
La tercera lección es que los instrumentos más efectivos y legítimos, por lo menos a los ojos del personal académico, utilizan revisores pares expertos que están capacitados y respaldados durante el proceso de evaluación por profesionales debidamente cualificados y aplican protocolos sistemáticos y debidamente estandarizados. Las revisiones son rigurosas y basadas en evidencias, evaluando la validez, la confiabilidad y la eficiencia de los procesos para garantizar la calidad. En este sentido, un objetivo alcanzable para estas revisiones externas sería asegurarse que los procesos internos de las IES para garantizar los estándares académicos sean al menos tan rigurosos, válidos y basados en evidencias como los procesos institucionales existentes para garantizar y mejorar la calidad de la investigación académica. Buenos ejemplos de estas prácticas los constituyen las adoptadas por TEAC en los Estados Unidos, por el British Medical Council en el Reino Unido y en las evaluaciones de materias en Dinamarca.
Finalmente, debe garantizarse la eficiencia en la regulación de la calidad académica. Un componente de sobras conocido de la regulación ineficaz es la “captura regulatoria” (Laffont & Tirole, 1991) en el cual aquellos cuyos intereses se ven afectados por la regulación en cuestión, logran tener influencia sobre la agencia reguladora y promueven sus intereses privados por encima de los públicos. Las limitaciones documentadas de los enfoques existentes hasta el momento para garantizar la calidad académica externamente han motivado a muchos países a establecer agencias nacionales de nuevo cuño, similares a la Agencia de Calidad de las IES Australiana, el Instituto Danés de Evaluación, el Consejo Alemán de Acreditación y la Agencia para Garantizar la Calidad (Reino Unido). En el diseño de estas agencias se han realizado serios esfuerzos para asegurar que reflejen el interés público, estructurándolas, en la medida de lo posible, para que sean independientes tanto de las IES como del gobierno. Pero estas agencias son esencialmente reguladores gubernamentales, ya que se les otorga autoridad para diseñar, conducir y supervisar los procesos requeridos para garantizar la calidad externamente, los cuales incurren en substanciales costos directos al público, así como costos indirectos para el sector de la ES. La eficiencia de esta regulación genera un debate abierto muy significativo, al igual que sucede en otros sectores públicos.
En última instancia, se plantea la pregunta “¿Quién evalúa a los evaluadores?” (Blackmur, 2010) y la típica respuesta política a esta pregunta es exigir una evaluación pública de las propias AGC, como medida para proteger el interés público en un marco de regulación eficiente. Sin embargo, el proceso adoptado para evaluar realmente las AGC proporciona evidencia del problema de la captura regulatoria. El diseño y la conducción de las evaluaciones son a menudo controlados por las propias AGC, en cooperación con asociaciones de profesionales de agencias y/o representantes seleccionados de las instituciones o servicios regulados. Como Blackmur (2008) argumenta en su análisis crítico de la revisión externa de la Agencia Australiana de Calidad Universitaria, este tipo de evaluación carece de independencia, no emplea un método de validación adecuadamente relevante y robusto, e ignora la crítica cuestión de la relación valor-precio o coste-beneficio. De modo similar a los problemas identificados en los análisis de las evaluaciones externas y voluntarias en el Reino Unido, y la acreditación de IES en los Estados Unidos, este tipo de proceso auto regulador también puede limitar el desarrollo de la ciencia de la GC, la cual ya exhibe una variación sustancial en objetividad y rigor. Por lo tanto, es probable que el interés público en la regulación eficiente del sector universitario sea mejor atendido si las AGC son analizadas ellas mismas, públicamente, por agencias nacionales de evaluación o auditoría fuera del sector de la ES establecidas y respetadas, similares a la Oficina de Responsabilidad Gubernamental de los Estados Unidos, la Oficina Nacional de Auditoría de Australia, la Oficina Federal de Auditoría de Alemania o la Oficina Nacional de Auditoría del Reino Unido. La legitimidad, igualmente, de las actividades cuasi-regulatorias de agencias regionales –como la Asociación Europea para Garantizar la Calidad en la ES (ENQA)– o de asociaciones internacionales –como la Red Internacional de Agencias para Garantizar la Calidad en la ES (INQAAHE)–, estaría mejor establecida si dichas agencias fueran evaluadas públicamente por organizaciones regionales o internacionales multilaterales.
Referencias
Alzafari, K. & Ursin, J. (2019). Implementation of quality assurance standards in European higher education: does context matter? Quality in Higher Education, 25(1), 58-75. https://doi.org/10.1080/13538322.2019.1578069
Baldwin, R., Cave, M. & Lodge, M. (2011). Understanding Regulation: Theory, Strategy, and Practice. Oxford University Press. https://doi.org/10.1093/acprof:osobl/9780199576081.001.0001
Beerkens, M. (2016). Quality assurance in the political context: in the midst of different expectations and conflicting goals. Quality in Higher Education, 21(3), 231-250. https://doi.org/10.1080/13538322.2015.1111004
Beerkens, M. (2018). Evidence-based policy and higher education quality assurance: progress, pitfalls and promise. European Journal of Higher Education, 8(3), 272-287. https://doi.org/10.1080/21568235.2018.1475248
Blackmur, D. (2008). Quis Custodiet Ipsos Custodes? The Review of the Australian Universities Quality Agency. Quality in Higher Education, 14(3), 249-264. https://doi.org/10.1080/13538320802507646
Blackmur, D. (2010). Does the Emperor Have the Right (or Any) Clothes? The Public Regulation of Higher Education Qualities over the Last Two Decades. Quality in Higher Education, 16(1), 67-69. https://doi.org/10.1080/13538321003679549
Brown, J., Kurzweil, M. & Pritchett, W. (2017). Higher Education Accreditation and Its Critics. Quality Assurance.
Brown, R. (2013). Mutuality Meets the Market: Analysing Changes in the Control of Quality Assurance in United Kingdom Higher Education 1992-2012. Higher Education Quarterly, 67(4), 420-437. https://doi.org/10.1111/hequ.12028
Costes, N., Curvale, B., Kraft, M. G., Llavori, R., Malan, T. & Szanto, T. (2010). First External Evaluations of Quality Assurance Agencies--Lessons Learned. ENQA Workshop Report 10. ERIC.
Dill, D. D. (1999). Academic accountability and university adaptation: The architecture of an academic learning organization. Higher Education, 38(2), 127-154. https://doi.org/10.1023/a:1003762420723
Dill, D. D. (2011). Governing Quality. In R. King, S. Marginson, & R. Naidoo (Eds.), Handbook on globalization and higher education (pp. 438). Edward Elgar Publishing. https://doi.org/10.4337/9780857936233.00036
Dill, D. D. & Beerkens, M. (Eds.). (2010). Public Policy for Academic Quality: Analyses of Innovative Policy Instruments. Springer. https://doi.org/10.1007/978-90-481-3754-1.
Eaton, J. S. (2011). US accreditation: Meeting the challenges of accountability and student achievement. Evaluation in Higher Education, 5(1), 1-20.
Enders, J. & Westerheijden, D. F. (2017). The Dutch way of New Public Management. Policy and Society, 33(3), 189-198. https://doi.org/10.1016/j.polsoc.2014.07.004
ENQA (2005). Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior. European Association for Quality Assurance in Higher Education (ENQA). Helsinki
Ewell, P. (2010). Twenty Years of Quality Assurance in Higher Education: What’s Happened and What’s Different? Quality in Higher Education, 16(2), 173-175. https://doi.org/10.1080/13538322.2010.485728
Fernandez-i-Marin, X., Jordana, J. & Bianculli, A. C. (2016). Regulation and Governance, 10(3), 230.
García, A., Jordana, J., Durán, I. P. & Royo, D. S. (2020). Independence, accountability and responsibilities of quality assurance agencies in higher education: European and Latin American countries compared. European Journal of Higher Education, 1-22. https://doi.org/10.1080/21568235.2020.1850309
Grifoll, J. (2016). External quality assurance agencies and excellence in higher education. Educación Médica, 17(3), 94-96. https://doi.org/10.1016/j.edumed.2016.08.001
ICFES (2018). Informe Nacional de Resultados Saber Pro 2016-2017. Recuperado de https://bit.ly/3HVmP1u
Jordana, J., García, A., Pérez, I. & Sancho, D. (2018). An Independence Index of Quality Assurance Agencies in Higher Education: European and Latin American countries compared. EQAF.
Jordana, J., Levi-Faur, D. & Fernández, X. (2011). The Global Diffusion of Regulatory Agencies. Comparative Political Studies, 44(10), 1343-1369. https://doi.org/10.1177/0010414011407466
Kajaste, M., Prades, A. & Scheuthle, H. (2016). Impact evaluation from quality assurance agencies’ perspectives: methodological approaches, experiences and expectations. Quality in Higher Education, 21(3), 270-287. https://doi.org/10.1080/13538322.2015.1111006
Lægreid, P. & Verhoest, K. (2010). Introduction: Reforming Public Sector Organizations. In Governance of Public Sector Organizations: Proliferation, autonomy and performance (pp. 1-18). Springer. https://doi.org/10.1057/9780230290600_1
Laffont, J.-J. & Tirole, J. (1991). The politics of government decision-making: A theory of regulatory capture. The Quarterly Journal of Economics, 106(4), 1089-1127.
Martin, M. & Stella, A. (2007). External Quality Assurance in Higher Education: Making Choices. Fundamentals of Educational Planning 85. ERIC.
Paradeise, C., Reale, E., Bleiklie, I. & Ferlie, E. (Eds.). (2009). University Governance. Western European Comparative Perspectives. Springer. https://doi.org/10.1007/978-1-4020-9515-3.
Pedró, F. (2021). ¿Quién le pone el cascabel al gato? Un análisis comparativo de las agencias de garantía de la calidad de la educación superior. Revista Española de Educación Comparada, 37, 129-152. https://doi.org/10.5944/reec.37.2021.27880
Stensaker, B. (2014). European trends in quality assurance: new agendas beyond the search for convergence? In Quality Assurance in Higher Education (pp. 135-148). Springer.
UNESCO IESALC. (2020). La garantía de calidad y los criterios de acreditación en la educación superior. Perspectivas internacionales. Instituto International de la UNESCO para la Educación Superior en América Latina y el Caribe.
Verhoest, K., Peters, B. G., Bouckaert, G. & Verschuere, B. (2004). The study of organisational autonomy: a conceptual review. Public Administration and Development, 24(2), 101-118. https://doi.org/10.1002/pad.316
Westerheijden, D. F. (2007). States and Europe and quality of higher education. In Quality assurance in higher education (pp. 73-95). Springer.
Westerheijden, D. F., Stensaker, B. & Rosa, M. J. (Eds.). (2007). Quality Assurance In Higher Education. https://doi.org/10.1007/978-1-4020-6012-0.
Woodhouse, D. (2010). The quality of quality assurance agencies. Quality in Higher Education, 10(2), 77-87. https://doi.org/10.1080/1353832042000230572
Woodhouse, D. (2013). Global trends in quality assurance. Quality Approaches in Higher Education, 5(1), 3-7.