Revista Iberoamericana de Educación [(2022), vol. 88 núm. 1, pp. 1-18] - OEI

https://doi.org/10.35362/rie88147438814743 - ISSN: 1022-6508 / ISSNe: 1681-5653

recibido / recebido: 03/09/2021; aceptado / aceite: 12/01/2022

Los beneficios de obtener sellos internacionales de calidad para enseñanzas universitarias argentinas, chilenas, ecuatorianas, españolas y mexicanas

Ana Isabel Bonilla-Calero ⁽¹⁾ https://orcid.org/0000-0003-2588-9769

María Ángeles Serrano-García ⁽¹⁾ http://orcid.org/0000-0001-6710-956X

⁽¹⁾ Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), España

Resumen. Este trabajo tiene como objetivo reflexionar sobre los beneficios que aportan los sellos internacionales de calidad, gestionados por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) en colaboración con instituciones profesionales y agencias de aseguramiento de calidad internacionales, tras superar un proceso de evaluación completamente virtual desde la pandemia, según estándares internacionales. Los sellos están dirigidos a programas formativos de nivel de Grado y Máster de universidades argentinas, chilenas, ecuatorianas, españolas y mexicanas.

Materiales y Métodos: Los datos utilizados en este estudio son suministrados directamente por ANECA, de sus evaluaciones realizadas desde 2014 (proyecto piloto) a julio 2021. Resultados y discusión: 49 universidades han obtenido algunos de estos sellos para sus programas educativos, lo que ha aportado beneficios a sus equipos directivos, profesorado, estudiantes, personas egresadas y empleadores/as.

Palabras clave: acreditaciones internacionales; calidad; sellos; evaluación de enseñanzas; ANECA.

Os benefícios de obter selos internacionais de qualidade para a educação universitária argentina, chilena, equatoriana, espanhola e mexicana

Resumo. Este trabalho visa refletir sobre os benefícios proporcionados pelos selos internacionais de qualidade, geridos pela Agência Nacional de Avaliação da Qualidade e Acreditação (Agencia Nacional de Evaluación de la Calidad y Acreditación - ANECA), em colaboração com instituições profissionais e agências internacionais de garantia de qualidade, após passar por um processo de avaliação totalmente virtual desde a pandemia, de acordo com padrões internacionais. Os selos destinam-se a programas de formação em nível de graduação e mestrado de universidades argentinas, chilenas, equatorianas, espanholas e mexicanas.

Materiais e Métodos: Os dados utilizados neste estudo são fornecidos diretamente pela ANECA, a partir de suas avaliações realizadas de 2014 (projeto piloto) a julho de 2021. Resultados e discussão: 49 universidades obtiveram alguns desses selos para seus programas educacionais, o que trouxe benefícios para suas equipes gestoras, docentes, alunos(as), egressos(as) e empregadores(as).

Palavras-chave: acreditações internacionais; qualidade; selos; avaliação do ensino; ANECA.

The benefits of obtaining international quality seals for Argentine, Chilean, Ecuadorian, Spanish and Mexican university courses

Abstract. The objective of this work is to reflect on the benefits provided by the international quality labels managed by the National Agency for Quality Assessment and Accreditation (ANECA), in collaboration with professional institutions and international quality assurance agencies, after passing a completely virtual evaluation process since the pandemic, according to international standards. These labels are aimed at Bachelor and Master level training programs in Argentine, Chilean, Ecuadorian, Spanish and Mexican universities. Materials and methods: The data used in this study are supplied directly by ANECA, from its evaluations carried out from 2014 (pilot project) to July 2021. Results and discussion: 49 universities have obtained some of these labels for their educational programs, which has given benefits to its management teams, teachers, students, graduates and employers.

Keywords: international accreditations; quality; labels; teaching evaluation; Introducción

1.  Introducción

En el año 2013 en España se abre una nueva fase en el proceso de fomento de la calidad en las enseñanzas universitarias con la renovación de la acreditación de programas formativos oficiales. La renovación de la acreditación es obligatoria según el Real Decreto 861/2010, de 2 de julio, en su artículo 27 bis se recoge que la acreditación inicial de los programas oficiales debe ser renovada periódicamente a partir de la fecha de su verificación o desde la fecha de su última acreditación.

La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) de España, un organismo autónomo adscrito al Ministerio de Universidades de dicho país, que contribuye a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones, aprovecha esa nueva etapa para dar un paso más en la acreditación de enseñanzas, ofreciendo la posibilidad de obtener sellos internacionales de reconocido prestigio a los programas de nivel de Grado y Máster de determinadas disciplinas y modalidad de impartición de cualquier universidad española o extranjera.

Estos sellos se conceden a todos aquellos programas de nivel de Grado o Máster que superen con resultado favorable un proceso de evaluación, en el que participan personas expertas de diferentes países. En estas evaluaciones se comprueba el cumplimiento de unos estándares de calidad acordados por representantes del mundo académico y profesional de diferentes países (ANECA, 2021a; García-Martín y Escudero de la Cañina, 2021; Hamid-Betancur y Torres-Madronero, 2015; Lucas et al., 2021; Peláez et al., 2020).

Estas acreditaciones internacionales se desarrollan dentro del Programa de Sellos Internacionales de Calidad (SIC) de la ANECA siguiendo un mismo procedimiento, terminología y estándares definidos, de acuerdo con los principios de calidad, relevancia, transparencia, reconocimiento y movilidad, contemplados en el Espacio Europeo de Educación Superior a universidades de diferentes países. Participan hasta hoy Argentina, Chile, España y México (Bonilla-Calero et al., 2018).

Los sellos que ofrece la ANECA en la actualidad son los siguientes:

• Desde el 2013 el Sello EUR-ACE® de Ingeniería de ENAEE en colaboración con Instituto de Ingeniería de España (IIE) y el Consejo de Acreditación de la Enseñanza de Ingeniería (CACEI) de México (Bonilla-Calero et al., 2021) y el Sello EURO-INF de informática de EQANIE en colaboración con el Consejo General de Colegios Profesionales de Ingeniería Informática (CCII), el Consejo General de Colegios Oficiales de Ingeniería Técnica en Informática (CONCITI) y el Consejo Nacional de Acreditación en Informática y Computación (CONAIC).(Bonilla-Calero y Serrano-García, 2021d).

•  A partir del 2018 el Sello EURO-LABELS® de Química de ECTN en colaboración con la Real Sociedad Española de Química (RSEQ) y los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) de México (Bonilla-Calero y Serrano-García, 2021c).

•  Desde el 2021 el Sello Internacional de Calidad de ANECA en Enseñanzas No Presenciales e Híbridas (ENHPI®), el primero en diseñarse y ejecutarse en exclusiva por la ANECA en el 2020, con el fin de ser aplicado por los/as usuarios/as de los programas formativos semi-presenciales¹ o no presenciales, como una herramienta que permita medir el nivel de confianza sobre el desarrollo óptimo del proceso de enseñanza-aprendizaje no presencial de los programas impartidos bajo esta modalidad (Bonilla-Calero y Serrano-García, 2021b; Bonilla-Calero et al., 2019).

•  A partir del 2021 el Sello World Federation for Medical Education (WFME) de Medicina para responder a la demanda formulada por la Conferencia Nacional de Decanos/as de las Facultades de Medicina españolas, tras anunciarse que a partir del año 2023 (aplazado por la pandemia a 2024) los/as médicos/as que se postulen para la certificación Educational Commisssion for Foreign Medical Graduates (ECFMG) para trabajar en EEUU, tendrán que haberse graduado en un centro universitario de Medicina acreditado según criterios aceptados mundialmente (Bonilla-Calero y Serrano-García, 2021a; WFME, 2020; Bonilla-Calero et al., 2000).

El principal objetivo de este estudio es mostrar los beneficios que aportan los Sellos Internacionales de Calidad gestionados por la ANECA en Argentina, España y México (hasta el momento los tres países con evaluaciones finalizadas), en base a los resultados obtenidos entre diciembre de 2020 y enero de 2021 (cierre de este artículo) por los testimonios recibidos de: las universidades que imparten programas con estos sellos, los estudiantes que los están cursando, los egresados/as que los han finalizado y de las empresas que han contratado a personas egresadas con estos sellos.

La motivación que ha llevado a la publicación de este trabajo es el éxito obtenido durante el desarrollo de las evaluaciones de la convocatoria 2019 y 2020 en cuanto a plazos y al interés por nuevas solicitudes para próximas convocatorias. En solo nueve años desde la implantación de este proyecto, se ha experimentado, especialmente en los cuatro últimos años, un incremento de éstas a través de llamadas y correos de las universidades españolas y latinoamericanas interesadas en participar en las evaluaciones. Este incremento se debe a varios de los beneficios que aporta el conseguir alguno de estos sellos, que son analizados en el presente artículo a continuación

2.  Métodos y materiales

Los datos utilizados en este estudio han sido proporcionados por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), que es la encargada de gestionar estas acreditaciones internacionales. La Agencia está autorizada por asociaciones internacionales para evaluar la obtención de estos sellos internacionales. El resultado se obtuvo después de superar un proceso de evaluación entre los años 2013-2014, que duró aproximadamente doce meses para cada uno de los sellos.

Los programas formativos argentinos, chilenos, ecuatorianos, españoles mexicanos que solicitan la evaluación para la obtención de algunos de los sellos, gestionados por la Agencia, deben someterse a un procedimiento de evaluación, definido por el personal de la misma en colaboración con expertos/as académicos y profesionales nacionales e internacionales, aprobado y auditado cada cinco años por las agencias propietarias de estos sellos.

Un procedimiento que no puede superar doce meses, contados a partir del día que la institución de educación superior presenta el informe de autoevaluación y las evidencias exigidas para la evaluación (momento de iniciarse el procedimiento), hasta que la ANECA emite la decisión final sobre la adjudicación del sello por medio de una Comisión de Acreditación del Sello. A la mitad del proceso, se realiza una visita virtual al centro en el que se imparte el programa evaluado por un panel de evaluación externa, que es el encargado de entrevistar a todos los agentes implicados en él: equipo directivo, profesorado, estudiantado, egresados/as y empresas que contratan a estos/as últimos.

A partir de la información obtenida en el análisis del Informe de Autoevaluación y Evidencias, que presenta la universidad, junto a la recopilada durante la visita, el panel de evaluación externa elabora un Informe de Evaluación. Este equipo está compuesto por dos académicos/as, uno de los cuales ejerce como presidente/a, un/a profesional, un/a estudiante y un/a tercer/a académico/a o técnico/a de calidad, que ejerce como secretario/a de dicho equipo, para garantizar que la evaluación se realiza cumpliendo la normativa establecida por la ANECA para estas evaluaciones, que cada cinco años se somete a aprobación por la European Association for Quality Assurance in Higher Education (ENQA) y, como ya se ha citado previamente, también, por las agencias propietarias de los sellos.

El Informe de Evaluación se envía a la Comisión de Acreditación del Sello², encargada de emitir una evaluación provisional, primero, y final después, una vez analizadas las posibles alegaciones que pueda presentar cada universidad al informe derivado de la evaluación provisional. Esta Comisión está compuesta por 6 académicos/as y 6 profesionales del ámbito del sello que corresponda; además, cuenta con un séptimo/a académico/a o técnico/a de calidad que ejerce como secretario/a, que puede ser de un ámbito diferente al de los sellos, al no tener un rol de evaluador/a. Él/ella es el/la encargado/a de garantizar que la evaluación cumpla toda la normativa establecida por la ANECA, previamente al inicio de ésta. Los/as evaluadores/as de esta Comisión cuentan con amplia experiencia internacional, debido a la importancia de la internacionalización de estos sellos.

A partir del desarrollo de estas acreditaciones internacionales se obtienen los siguientes datos:

1. Los de evaluación, obtenidos desde la convocatoria piloto (celebrada en el año 2014) a la convocatoria 2020 (finalizada en julio de 2021): número de evaluaciones; resultados finales positivos versus negativos, distribución de evaluaciones positivas por país, número de universidades con sello, evaluaciones por ciclo y sello.

2. Los identificados en la metaevaluación realizada anualmente al Programa de Sellos Internacionales de Calidad (SIC), a partir del análisis de las encuestas de satisfacción cumplimentadas por todas las universidades españolas, argentinas y mexicanas (que hasta el momento cuentan con evaluaciones finalizadas) y evaluadores/as de diferentes países que participan cada año en cada convocatoria.

3. Los testimonios recibidos por correo electrónico entre diciembre del 2020 y enero de 2021 sobre los beneficios experimentados desde la obtención de algunos de esos sellos por universidades (equipo directivo y profesorado), estudiantes, egresados/as y empleadores/as de éstos/as últimos/as, tras realizar desde ANECA un llamamiento a todas las universidades que habían obtenido algunos de estos sellos entre enero del 2014 y diciembre del 2020, con el objetivo de obtener experiencias reales sobre las ventajas que aportan a cada uno de los agentes implicados en los mismos.

En el caso de las evaluaciones finalizadas, los posibles resultados a conseguir son los siguientes:

a) Obtención del Sello: para aquellos programas educativos oficiales que hayan conseguido una valoración A (se supera excelentemente) o B (se alcanza) en todos los criterios de evaluación. La obtención del Sello podrá incluir, en cualquier caso, recomendaciones para la mejora del programa, y tendrá una validez de seis años.

b) Obtención del Sello con prescripciones: para aquellos programas que, habiendo conseguido valoraciones A o B en la mayor parte de los criterios de evaluación, cuenten con alguna valoración C (se alcanza parcialmente) en algún criterio.

Si el título obtiene el Sello con prescripciones, éstas se especifican en cuanto a tiempo y forma en el informe de evaluación final emitido por ANECA, y su consecución debe ser posible dentro de un plazo de tiempo razonable (por regla general inferior a la mitad del periodo total habitual de la renovación de la acreditación). La Comisión de Acreditación del Sello es la encargada de determinar la fecha de verificación del cumplimiento de las prescripciones.

La adjudicación del Sello se hace en función de la aceptación de las prescripciones por parte de la universidad, incluidas en el informe final de evaluación para la obtención del Sello. Una vez finalizado este periodo, se comprueba el cumplimiento de las prescripciones señaladas en dicho informe. De no cumplirse las prescripciones establecidas en el informe final de evaluación para la obtención del Sello, éste dejará de tener validez para ese título.

c) Denegación del Sello: para aquellos casos en los que el procedimiento de evaluación determine que no se alcanzan los criterios y estándares previamente establecidos en la evaluación del mismo.

Para el análisis de datos, se recomienda el uso de evaluaciones finalizadas y no de asignadas a convocatoria, dado que las evaluaciones pueden estar asignadas a una convocatoria y haber sido evaluadas en un año diferente al de la misma. Desde el año 2018 lo habitual es iniciar la evaluación a finales del año de la convocatoria y finalizarlo en el siguiente, aunque desde la ANECA se están haciendo ajustes en las planificaciones de las evaluaciones, para conseguir que éstas finalicen el mismo año en el que se inician.

3.  Resultados y discusión

3.1 Las acreditaciones internacionales en Argentina, Chile, Ecuador, España y México (2014-2021) gestionadas por ANECA

Desde 2014 a 2021³ se han finalizado 373⁴ evaluaciones. Están en activo 73⁵ distribuidas entre 20 universidades: 16 españolas, 3 mexicanas y 1 chilena. Se han recibido 220⁶ solicitudes para presentarse a la convocatoria 2022 del Programa de Sellos Internacionales de Calidad de ANECA distribuidas entre: 21 universidades españolas, 6 mexicanas, 5 ecuatorianas y 1 chilena (ANECA, 2021b).

Cada año, entre los meses de junio y noviembre, la Agencia ofrece un periodo de reflexión a las universidades que han manifestado su interés en presentar sus programas a la evaluación de los sellos internacionales de calidad, con el fin de que realicen un análisis de las garantías de éxito con las que cuentan para la obtención del sello elegido, para ello se les facilita el procedimiento de la evaluación y la documentación que debe presentar cada universidad por cada programa educativo a evaluar y les ofrece la resolución de todas las dudas que les puedan surgir a los/as interesados/as al respecto.

Durante este análisis hay universidades que detectan que no cumplen todos los criterios para conseguir el sello al que optarían o que necesitan más tiempo para poder presentarse con evidencias suficientes y/o adecuadas para justificar que los cumplen. Por ejemplo, 40 solicitudes de la convocatoria 2021 fueron aplazadas para próximas convocatorias por este motivo.

Respecto a las evaluaciones en proceso y las ya realizadas, en la Tabla 1 se muestran los datos desde el año 2014, en el que hubo dos convocatorias: la piloto con 18 evaluaciones y la primera ordinaria, con 9, hasta julio del 2021, en que ha finalizado la convocatoria 2020, iniciada en dicho año con un total 53 evaluaciones. Al cierre del artículo están en curso 65 más. Como ya se ha indicado, entre el inicio y cierre de la evaluación de un programa educativo pueden transcurrir hasta 12 meses. En mayo, previsiblemente, las universidades presentan la documentación a evaluar a ANECA (por ser la fecha preferida por la mayoría de los/as solicitantes hasta el momento) y desde esa fecha se establecen entre dos o tres meses para realizar la visita virtual a la universidad, con el objetivo de entrevistar a los diferentes agentes implicados en el programa educativo a evaluar: equipo directivo, profesorado, estudiantado, egresados/as y empleadores/as.

Tabla 1. Programas evaluados al año

Año	Nº programas evaluados*	Nº programas evaluación finalizada
Piloto (2014)	18	18
2014 (primera convocatoria ordinaria)	9	7
2015	23	25
2016	30	30
2017	31	31
2018	55	55
2019	150	73
2020	179	80
2021 (julio)	127	53*
Total	622	373

* 73 evaluaciones más en proceso.

Fuente: elaboración propia.

Si se observa el número de evaluaciones de programas al año (622), existe un incremento de evaluaciones a partir del 2019, pasando de 27 evaluaciones en el año 2014 a más de 100 evaluaciones en los años 2019, 2020 y 2021, sin verse afectada esta tendencia creciente por la crisis sanitaria provocada por la COVID-19, porque las universidades que se han presentado a las convocatorias 2019, 2020 y 2021 se han esforzado por cumplir todos los plazos de evaluación, aportando en tiempo y forma toda la documentación solicitada por las personas evaluadoras durante dicho proceso.

De estas 622 evaluaciones, en 373 ya se ha realizado la evaluación final por las Comisiones de Acreditación de tres sellos: EURA-CE® de Ingeniería, EURO-INF de Informática y EURO-LABELS® de Química.

Tabla 2. Resultados de programas con evaluación final de la Comisión de Acreditación por sello.

Sello	Nº programas evaluación finalizada	%
EUR-ACE®	305	81,77
EURO-INF	59	15,82
EURO-LABELS®	9	2,41
Total	373

Fuente: elaboración propia.

Entre los resultados obtenidos en los tres sellos destaca el número de evaluaciones finalizadas en el sello EUR-ACE®, al que se pueden presentar todos los programas formativos de nivel Grado y Máster de todas las especialidades de Ingeniería. El siguiente sello con mayor número de evaluaciones es el de Informática, al que pueden optar programas de Informática e Ingeniería Informática. En último lugar, se encuentra el sello de Química, al que solo se pueden presentar programas de Química, cuya implantación en la ANECA fue en el 2018, tres años después a la de los otros dos sellos (véase Tabla 2).

Al cierre de esta convocatoria, de las 73 evaluaciones que están en proceso, 48 son de España, 22 son de México y 3 de Chile.

Para la convocatoria 2022, de las 220 solicitudes provisionales recibidas, 170 son de España, 32 son de Ecuador, 15 de México y 3 de Chile.

Tabla 3. Resultados de programas con evaluación final de la Comisión de Acreditación por país

País	Nº programas evaluación finalizada	%
España	364	97,59
México	7	1,88
Argentina	2	0,53
Total	373

Fuente: elaboración propia.

El proceso de evaluación es exactamente el mismo para todos los países. Contar con evaluaciones en varios países aporta a los programas con sello, visibilidad y convergencia entre todos ellos.

En la Tabla 4 se muestra la distribución de evaluaciones finalizadas por ciclo formativo, ocupando el mayor porcentaje los Grados con un 73%.

Las universidades españolas han apostado, primero, por las evaluaciones de este ciclo formativo para después someter a evaluación sus programas de Máster, tendencia observada en los tres sellos de los que hasta ahora se han finalizado evaluaciones por cada una de sus Comisiones de Acreditación.

En el caso de Argentina y México, hasta el momento, todas las evaluaciones han sido de nivel de Licenciatura o Ingeniería, aunque varios representantes/as de Maestrías de estos países han contactado con la ANECA para interesarse por estas acreditaciones internacionales.

Tabla 4. Resultados de evaluaciones con evaluación final de la Comisión de Acreditación por ciclo formativo

Ciclo	Nº programas evaluación finalizada	%
Primer	273	73,19
Segundo	100	26,81
Total	373

Fuente: elaboración propia.

En la Tabla 5 se observa que el porcentaje de obtención del sello hasta el momento es muy alto (91,15%), respecto al total de evaluaciones finalizadas por las Comisiones de Acreditación. Dentro de los resultados favorables se establecen dos valoraciones: 1) obtención, por la que se concede el sello hasta seis años; 2) obtención con prescripciones, en aquellos programas en que se tienen que subsanar, por parte de la universidad, una serie de debilidades, identificadas por los/as evaluadores/as, en un periodo máximo de tres años, con el objetivo de mantener el sello un total de seis años.

Tabla 5. Resultados finales positivos (obtención y obtención con prescripciones) versus negativos (denegación).

Concesiones	Nº universidades	%
Obtención	198	53,08
Obtención con prescripciones	142	38,07
Denegaciones	33	8,85
Total	373

Fuente: elaboración propia.

Es importante señalar que, al tratarse de una evaluación voluntaria, no todos los programas educativos que podrían presentarse a evaluación la solicitan. Incluso, entre junio, mes en el que las universidades realizan su solicitud provisional, hasta noviembre, en el que las confirman, una media de 30 solicitudes al año no confirma la evaluación. El motivo es haber observado, en la mayoría de los casos, entre esos meses que no cuentan con evidencias suficientes y/o adecuadas para demostrar claramente el cumplimento de todos los criterios. De tal forma, que deciden presentarse a próximas convocatorias, con el objetivo de tener más garantía de éxito para conseguir el sello en un futuro. Como ha pasado en la convocatoria 2021 con algunas universidades españolas, mexicanas y chilenas.

Hasta el cierre de este artículo todos los resultados negativos han sido del Sello EUR-ACE®, que ocupan el 9% de las evaluaciones finalizadas de todos los sellos. Respecto del total de ingeniería representan el 11%.

Uno de los motivos principales de denegación observados, hasta el momento, entre los programas que no han conseguido el sello es el no haber demostrado el cumplimiento de 7 o más sub-resultados de aprendizaje establecidos por la asociación internacional de ENAEE. En los programas de Grado se establecen 22 sub-resultados y en los de Máster 28 sub-resultados, agrupados en los siguientes bloques: Conocimiento y Comprensión; Análisis en Ingeniería; Proyectos de Ingeniería; Investigación e Innovación; Aplicación Práctica de la Ingeniería; Elaboración de Juicios; Comunicación y Trabajo en Equipo y Formación Continua (ENAEE, 2015).

Respecto a los motivos por los que se han emitido informes de evaluación con el resultado de “obtención con prescripciones” durante el periodo analizado es necesario mencionar que cada informe puede contener entre 1 a 6 prescripciones, relativas a los sub-resultados de aprendizaje establecidos por ENAEE, EQANIE y ECTN (dependiendo del sello), porque su integración no es completa en el programa educativo evaluado y/o su adquisición no es total por todos los/as estudiantes, una vez cursado el programa educativo. En estos casos la Comisión de Acreditación del Sello, que corresponda, establece un período entre dos a tres años, dependido el ciclo del programa evaluado, para subsanar estas debilidades, con el objetivo de conseguir una integración y adquisición de estos sub-resultados de forma completa, tanto en el programa educativo como por los/as estudiantes que lo cursan, respectivamente.

En el sello de Informática son 29 sub-resultados a demostrar su adquisición en los programas de nivel de Grado evaluados y 34 sub-resultados en los títulos de Máster, agrupados en los siguientes bloques: Fundamentos de la Informática; Análisis; Diseño e Implantación; Contexto Económico, Jurídico, Social, Ético y Medioambiental; Práctica de la Informática; Otras Competencias y Habilidad Profesionales (EQANIE, 2016).

Respecto al sello de Química los sub-resultados que tienen que adquirir los/as egresados con este sello son 37 en los programas de Grado y 10 en los de nivel de Máster, distribuidos en los siguientes bloques: Conocimientos Específicos de Química; Competencias y Habilidades cognitivas; Competencias y Habilidades relacionadas con la Química y Competencias Generales (ECTN, 2018).

Al analizar en qué bloque de sub-resultados de todos los sellos se han emitido más prescripciones, coincide principalmente con los que cuentan con un componente práctico, que requieren de una importante dedicación por parte del estudiantado, que no ha sido demostrada en los programas educativos durante sus evaluaciones; y, por otro lado, a la necesidad de incrementar el uso de un segundo idioma en las actividades desarrollas en dichos programas educativos.

No se observan diferencias significativas entre los programas de Grado y Máster evaluados, ni entre los programas argentinos, españoles y mexicanos en cuanto a las prescripciones emitidas por bloque de sub-resultados de aprendizaje.

Si se analizan los resultados por ciclo por formativo (véase Tabla 6), la distribución es similar, tanto en las evaluaciones de Grado como de Máster. El resultado “obtención” es de entorno al 53%, siendo en los Grados de un 52,75% y en los programas de Máster de un 54%. El resto de evaluaciones –en ambos casos– se distribuyen entre los resultados “obtención con prescripciones” y “denegaciones”, teniendo las evaluaciones negativas los datos más bajos, un 8% en Grados y un 12% en Máster.

Tabla 6. Resultados de evaluaciones finales (Grado versus Máster)

Tipo de resultado	Obtención	%	Obtención prescripciones	%	Denegación	%	Total
Grado	144	52,75	108	39,56	21	7,69	273
Máster	54	54,00	34	34,00	12	12,00	100
Total	198	53,00	142	38,07	33	8,85	373

Fuente: elaboración propia.

En la Tabla 7 se muestra el número de universidades con cada uno de los sellos. A fecha de hoy, son ya 49 universidades las que disfrutan de los beneficios de los sellos: 45 del sello de Ingeniería, 29 de Informática y 9 de Química. 40 son españolas, 4 mexicanas y 1 argentina. Algunas de ellas ya cuentan con los tres sellos y/u otras han renovado su concesión tras transcurrir seis desde su obtención (ANECA, 2021b). Véanse los listados con los programas que han obtenido estos sellos en la página web de ANECA: https://bit.ly/3rhDwOZ

Tabla 7. Número de universidades con sello internacional de calidad

Sellos	Nº universidades
EUR-ACE®	45
EURO-INF	29
EURO-LABELS®	9
Total	49*

* Universidades con varios sellos.

Fuente: elaboración propia.

3.2  Las mejoras implantadas en el Programa SIC de acreditaciones internacionales en España y Latinoamérica

Desde la convocatoria 2018, todos los años se realiza una metaevaluación del Programa SIC en la que se analizan las oportunidades de mejora identificadas en cada convocatoria finalizada, sin hacer distinción si se ha detectado en una evaluación en Argentina o en España o en México, a partir de:

1. Las encuestas de satisfacción cumplimentadas por las universidades y evaluadores/as que participan en cada convocatoria, tanto en Argentina, España como en México, enviadas a ANECA tras la finalización de cada evaluación,

2. Las reuniones y correos recibidos sobre el programa SIC (11.127 en el año 2018, 13.938 en el 2019 y 13.620 en el 2020) por los evaluadores/as de diferentes países y de las universidades españolas y latinoamericanas.

3. La reflexión realizada en ANECA, cuando se preparan las autoevaluaciones de SIC, previamente a las evaluaciones de este programa por ENAEE, EQANIE, ECTN, ENQA y por European Quality Assurance Register for Higher Education (EQAR) cada cinco años (ENQA, 2020; EQAR, 2021).

4. El análisis y ajuste del procedimiento y criterios de evaluación SIC al incorporar nuevos sellos a dicho programa. Se ha implantado en el 2021 un nuevo sello de Enseñanzas No Presenciales e Híbridas y otro de Medicina. Todos aplicables a programas españoles y latinoamericanos.

Todas las oportunidades de mejora que se identifican cada año se presentan ante la Comisión Técnica del Programa SIC, el comité encargado de velar por el buen funcionamiento del procedimiento de evaluación de sellos, así como de la revisión de toda la documentación utilizada en él. Esta Comisión está compuesta por la directora de la División Evaluación de Enseñanzas e Instituciones, la jefa del Programa SIC, adscrita a dicha División, representantes del profesorado elegidos/as por la ANECA y profesionales propuestos/as por las instituciones profesionales colaboradoras con la Agencia, todos con experiencia en procesos de calidad universitaria en España y Latinoamérica.

Se han implementado 199 oportunidades de mejora entre las convocatorias 2018-2020, de las que el 50% han sido identificadas por el equipo SIC. El 50% restante por los otros agentes implicados en este proyecto internacional: universidades, evaluadores/as y asociaciones colaboradoras.

A continuación, se destacan algunas de ellas, que afectan a las universidades, tanto españolas como latinoamericanas:

1. Una nueva estructura de presentación de las evidencias y ajustes en sus plantillas.

2. El informe de autoevaluación se ha convertido en una herramienta de información complementaria y aclaratoria a las evidencias presentadas por las universidades.

3. La presentación de evidencias se realiza de forma completamente electrónica.

4. Un documento de Preguntas Frecuentes y un Glosario que se publican en la página web de la ANECA y que se actualizan cada año, previamente a la apertura de cada convocatoria.

5. Los informes de evaluación aportan una información más detallada.

6. Un plan de ahorro para reducir costes en las tareas derivadas de las acreditaciones internacionales.

7. Una evaluación de manera completamente virtual, ante la imposibilidad de desarrollar presencialmente las visitas como habitualmente se realizaban, porque en el momento de su celebración, entre junio y octubre de 2020, no se tuviera garantía de contar con las medidas de seguridad necesarias para proteger la salud de las personas evaluadoras y representantes de las universidades durante las evaluaciones, debido a la crisis sanitaria provocada por la COVID-19. Para poder implantar esta mejora, se envió a ENAEE, EQANIE y ECTN una propuesta de evaluación completamente virtual para su aprobación, avalada por un plan de contingencia redactado a partir de los resultados obtenidos en la encuesta remitida a las 160 personas evaluadoras, que estaban colaborando en el Programa SIC de ANECA en el 2020, para conocer su opinión sobre la posibilidad de una visita virtual, sobre las posibles incidencias que podrían producirse, así como las soluciones a éstas y las recomendaciones a tener en cuenta en su desarrollo. Se generó un decálogo para personas evaluadoras y universidades con el objetivo de facilitar el desarrollo de las visitas bajo la modalidad virtual, una jornada de formación específica sobre visitas virtuales para las 160 personas evaluadoras y un calendario adicional al de las reuniones informativo-técnicas, ya fijado, con las universidades españolas y latinoamericanas que participaban en la convocatoria 2020, a las que se les ofrecía un canal complementario al correo y teléfono para resolver todas las dudas relativas a esta nueva modalidad de visitas. Al cierre de este artículo ya se han realizado visitas virtuales en 24 universidades, todas ellas con una valoración positiva ante este cambio (Bonilla-Calero y Serrano-García, 2021e).

8. No volver a evaluar los Criterios 1 a 7 contenidos en el modelo de evaluación establecido para la obtención de cada uno de los sellos, si previamente el programa educativo ha sido evaluado por una agencia que colabora con ANECA en un periodo inferior a dos años, tras realizar una comparativa entre los criterios que debe cumplir un programa para obtener la acreditación con dicha agencia versus los siete primeros criterios del modelo de evaluación del sello de ANECA, que corresponda. El modelo de evaluación de cada sello está compuesto por nueve criterios, el Criterio 9 “soporte institucional de la universidad al programa evaluado” y el más importante, el Criterio 8 “Resultados de aprendizaje del sello”, por ser el que incluye las directrices respecto a la integración de los resultados de aprendizaje exigidos por la agencia internacional que corresponda y la adquisición de todos estos por todos/as sus estudiantes, una vez finalizado el programa evaluado (ANECA, 2021a).

3.3  Los beneficios de obtener un Sello Internacional de Calidad de ANECA

Una vez presentados los resultados obtenidos en las acreditaciones internacionales gestionadas por la ANECA entre el proyecto piloto y julio de 2021, así como sus mejoras implantadas a lo largo de este periodo, se exponen los beneficios que aportan estos sellos a los agentes implicados en ellos, a partir de un análisis de los testimonios que han llegado a la Agencia entre diciembre de 2020 y enero de 2021; tras solicitar, en ese mismo mes de diciembre a todas las universidades con sello, que enviaran a la ANECA testimonios en los que pudieran compartir los beneficios que habían experimentado desde la obtención de estos sellos.

Se contactó con 40 universidades que habían conseguido algunos de los 273 sellos⁷, de las que 23 enviaron testimonios de 114 personas: equipo directivo (47), profesorado (5), estudiantes (18), personas egresadas (22) y empleadores/as (22) (Véase Tabla 8).

En la categoría “equipo directivo” se han obtenido experiencias de rectores/as, vicerrectores/as, decanos/as, directores/as, subdirectores/as, jefes/a de estudios y coordinadores/as.

A partir de los 114 testimonios recibidos se identificaron 200 beneficios que, a continuación, se agrupan por tipo de beneficio y agente que lo ha señalado.

Tabla 8. Beneficios experimentados por los/as agentes implicados en las universidades con sello

Agente implicado/a	Beneficio experimentado	Número de veces identificado
Equipos directivos	Promover la motivación de forma colectiva (del profesorado, estudiantado y personal de administración y servicios) en la participación de acciones de mejora del programa con sello en un contexto internacional.	32
	Incrementar el nivel de calidad de los programas con sello con actualizaciones y cambios.	7
	Obtener una mayor satisfacción del personal que participa en el programa evaluado.	4
	Incrementar la demanda de estudiantes en los programas formativos con sello.	12
	Facilitar la movilidad internacional del estudiantado de los programas con sello.	8
	Proporcionar el acceso en otros programas de prestigio internacional a las personas egresadas de los programas con sello.	1
Equipos directivos	Aportar a los programas formativos con sello un reconocimiento de cualificación profesional en el sector empresarial a nivel internacional.	13
	Aportar un reconocimiento mutuo entre programas con sello.	5
	Mejorar la posición de las universidades con programas formativos con sello en los rankings de instituciones de educación superior internacionales.	3
	Ofrecer confianza al sector productivo a la hora de contratar a personas egresadas de los programas con sello en cuanto a los contenidos y competencias adquiridos.	5
	Aportar mejores oportunidades de inserción laboral a las personas egresadas con sello a nivel mundial.	14
	Incorporar a los centros de los programas formativos con sello en redes internacionales de desarrollo científico y/o tecnológico y/o innovación y/o empresarial.	5
	Mejorar la visibilidad de los programas con sello en un contexto internacional.	4
Egresados/as	Obtener una valoración positiva por parte de las personas egresadas en cuanto a la preparación proporcionada según estándares comunes con validez a nivel nacional e internacional.	13
	Mejorar las oportunidades laborales de las personas egresadas con sello.	20
	Facilitar la movilidad internacional de las personas egresadas con sello.	7
	Facilitar el acceso a programas formativos de nivel superior con prestigio a las personas egresadas con sello.	3
	Ayudar a la obtención de becas de estudios a las personas egresadas con sello.	1
Estudiantes	Garantizar la elección de un programa formativo que cumple con estándares europeos e internacionales reconocidos por personas empleadoras de diferentes países.	3
	Proporcionar un aval a las personas egresadas a la hora de incorporarse al mercado laboral.	1
	Proveer la adquisición de conocimientos y competencias prácticas basados según estándares internacionales.	2
	Proporcionar motivación a los/as estudiantes durante la realización de los estudios, al concederles un sello de prestigio internacional a la finalización de sus estudios.	8
Empleadores/as	Seleccionar a estudiantes para prácticas y/o contratar a egresados/as con:
	• Una alta cualificación a nivel internacional con contenidos y competencias prácticas basados en estándares internacionales.	8
	• Una excelente formación avalada con un proceso de evaluación internacional externo.	4
	• Una formación que promueve a la movilidad horizontal y vertical.	2
	• Una formación que aporta confianza y prestigio a la empresa que los selecciona y/o contrata.	5
	• Competencias como: la motivación, el liderazgo, la capacidad de adaptación, la de adquirir nuevos conocimientos y cumplimiento de los objetivos.	8
	• Un perfil proactivo, con capacidad de escucha activa y en la resolución de problemas.	1
	• Una capacidad de toma de decisiones a partir del análisis de los resultados.	1
Total		200

Fuente: elaboración propia.

4.  Conclusiones

La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) con el objetivo de dar un paso más en promover la calidad educativa superior en Argentina, Chile, Ecuador, España y México y el reconocimiento internacional de sus egresados, implanta los sellos internacionales de calidad.

Al cierre del artículo se han realizado 622 evaluaciones de programas al año entre enero de 2014 y julio de 2017, observándose un incremento de evaluaciones a partir del 2019, pasando de 27 evaluaciones al año en el 2014 a más de 100 evaluaciones en los años 2019, 2020 y 2021, sin verse afectada esta tendencia creciente por la crisis sanitaria provocada por la COVID-19.

De estas 622 evaluaciones, en 373 ya se ha realizado la evaluación final por las Comisiones de Acreditación de tres sellos: EURA-CE® de Ingeniería, EURO-INF de Informática y EURO-LABELS® de Química. El sello EUR-ACE® es en el que se han realizado más evaluaciones. En el 2021 se ha iniciado en ANECA la gestión de la evaluación de dos nuevos sellos, el sello ENPHI® y WFME con un proyecto piloto en cada caso, que están en proceso al cierre de este artículo.

La ANECA ha gestionado estas acreditaciones internacionales en Argentina, España y México. Chile en este momento cuenta con programas en proceso de evaluación y Ecuador ha manifestado su interés en participar en la próxima convocatoria. El proceso de evaluación es exactamente el mismo para todos los países y esta proyección internacional aporta a los programas con sello, visibilidad y convergencia entre todos ellos.

El 73% de los programas con evaluación finalizada por las Comisiones de Acreditación de los sellos son de nivel de Grado. Las universidades han apostado, primero, por la evaluación de sus Grados, para después someter a evaluación a sus títulos de Máster.

El porcentaje de obtención de los sellos es muy alto (91,15%) respecto al total de evaluaciones finalizadas por todas las Comisiones de Acreditación. Es importante señalar que son evaluaciones voluntarias y no todos los programas educativos que podrían presentarse a evaluación, la solicitan. Incluso, algunos que realizan la solicitud provisional no la confirman cuando se abre la convocatoria, por no contar con garantías suficientes para conseguir el sello al que optarían, tras realizar una autoevaluación previa.

En todos los sellos, coincide que se han identificado, principalmente, debilidades en la demostración de la integración en los programas evaluados y su posterior adquisición por sus personas egresadas de los resultados de aprendizaje con un componente práctico, así como los que exigen el uso de un segundo idioma.

No se observan diferencias significativas entre los programas de Grado y Máster evaluados, ni entre los programas argentinos, españoles y mexicanos en cuanto a debilidades identificadas.

49 universidades ya disfrutan de los beneficios de los sellos: 45 del sello de Ingeniería, 29 de Informática y 9 de Química. 40 son españolas, 4 mexicanas y 1 argentina. Algunas de ellas ya cuentan con los tres sellos y/u otras han renovado su concesión tras transcurrir seis desde su obtención.

Desde el 2018 se realiza una metaevaluación anual del Programa de Sellos Internacionales de Calidad de la ANECA, a partir de las encuestas de satisfacción cumplimentadas por las universidades que han participado en cada convocatoria. A partir de estas metaevaluaciones se han implantado 199 mejoras. El 50% detectadas por el equipo SIC. Entre estas mejoras destacan: una nueva estructura de presentación de las evidencias e informe de autoevaluación, la virtualización completa de las evaluaciones, etc.

Se contactó con 40 universidades que habían conseguido algunos de los 273 sellos entre enero 2014 y julio 2021, de las que 23 enviaron testimonios. Se identificaron un total de 200 beneficios señalados por miembros de equipos directivos, profesorado, estudiantes, personas egresadas y empleadores/as, entre los que destacan: promover la motivación de forma colectiva en la participación de acciones de mejora, incrementar la demanda de estudiantes a los programas formativos, aportar mejores oportunidades de inserción laboral a las personas egresadas, etc.

5.  Agradecimientos

A las universidades que han enviado testimonios a ANECA sobre los beneficios que han experimentado al conseguir algunos de los sellos internacionales de calidad gestionados por dicha Agencia. Estas universidades son: Universidad Autónoma de Nuevo León (México), Universidad Autónoma de San Luis de Potosí (México), Universidad Autónoma de Yucatán (México), Universidad de Alicante (España), Universidad de Cantabria (España), Universidad de Castilla-La Mancha (España), Universidad Complutense de Madrid (España), Universidad de Córdoba (España), Universidad de La Laguna (España), Universidad de Málaga (España), Universidad Miguel Hernández de Elche (España), Universidad Nacional de La Plata (Argentina), Universidad Politécnica de Cartagena (España), Universidad Politécnica de Madrid (España), Universidad Politécnica de Valencia (España), Universidad Pontificia de Salamanca (España), Universidad Pública de Navarra (España), Universidad de Navarra (España), Universidad Rey Juan Carlos (España), Universidad Santiago de Compostela (España), Universidad de Valencia (España), Universidad de Valladolid (España) y Universidad de Zaragoza (España).

Asimismo, a las empresas que han enviado sus experiencias positivas con estudiantes en prácticas o personas egresadas contratadas de programas con sello. Estas empresas son: Alvinesa Natural Ingredients, Análisis Vínicos, SL., Avanttic Consultoría Tecnológica, SL., CAF, CR Asesores, ENSA, Eolion Energía, ERZIA, Fertiberia, GESINOM, Grupo Vermon, Inetum, Logos Energía, Magna Automotive, Opinator, Power Electronics, QUIMACOVA, SIMA Ingeniería, Técnicas Reunidas, S.A, Tecon Soluciones Informáticas, SL., Vestas Manufacturing y Softtek.

Referencias

ANECA (2021a). Procedimiento y criterios de evaluación de los Sellos Internacionales de Calidad. Recuperado de https://bit.ly/34sKCHc

ANECA (2021b). Listado de títulos (programas formativos) universitarios con Sellos. Recuperado de https://bit.ly/3ARp2bw

Bonilla-Calero, A.I y Serrano-García, M.A. (2021a). Cuatro universidades españolas participarán en el proyecto piloto (2021-2022) del Sello WFME de la Federación Mundial de Educación Médica gestionado por ANECA. FEM Fundación Educación Médica, 24 (3). Recuperado de https://bit.ly/3448Cks

Bonilla-Calero, A.I y Serrano-García, M.A (2021b). Sello Internacional de Calidad ANECA en Enseñanzas No Presenciales e Híbridas (ENPHI ®), Revista ACREDITAS por la Excelencia de Iberoamérica, 4. Recuperado de https://acreditas.com/

Bonilla-Calero, A.I y Serrano-García, M.A. (2021c). Las acreditaciones internacionales ECTN en el ámbito de la Química gestionadas por ANECA (2018-2021), Anales de Química, 117(2). Recuperado de https://bit.ly/32QDOCW

Bonilla-Calero, A.I y Serrano-García, M.A. (2021d) Experiencias internacionales en la evaluación de programas de Informática centrada en el curriculum y en el proceso de enseñanza-aprendizaje. Estudio de caso: Argentina, España y México, Revista Electrónica Calidad en la Educación Superior, 12(2). Recuperado de https://revistas.uned.ac.cr/index.php/revistacalidad/article/view/3561

Bonilla-Calero, A.I y Serrano-García, M.A. (2021e). Auditorías virtuales en el Programa de Sellos Internacionales de Calidad (SIC) de ANECA en tiempos de pandemia, Revista Iberoamericana de Educación a Distancia, 24(2). Recuperado de http://revistas.uned.es/index.php/ried/article/view/29092

Bonilla-Calero, A.I., Morales-González, E. y Serrano-García, M.A. (2021). Las acreditaciones internacionales de los programas de ingeniería en tiempos de pandemia: perspectiva comparada entre España y México, Revista Española de Educación Comparada (en prensa). Recuperado de http://revistas.uned.es/index.php/REEC

Bonilla-Calero, A.I., Carabantes-Alarcón, D. y Sastre-Castillo, M.A. (2000). La acreditación internacional en educación médica a través de la WFME, Educación Médica, 21(4). Recuperado de https://bit.ly/3IUdx64

Bonilla-Calero, A.I., Carabantes-Alarcón, D. y Sastre-Castillo, M.A. (2019). La acreditación internacional de química por ANECA-RESQ, Anales de Química, 115(3). Recuperado de https://bit.ly/3HnVwgc

Bonilla-Calero, A.I, Morales-González. E. y Sastre-Castillo, M.A. (2018). El ordenamiento jurídico europeo en el espacio de educación superior: cooperación internacional y los modelos de acreditación, Reencuentro: Análisis problemas universitarios, 25(28).

ECTN (2018). Chemistry Eurobachelor® and EuroMaster® Guidelines. Recuperado de http://www.ectn-lc.eu/page7.html

ENAEE (2015). EUR-ACE® Framework Standards and Guidelines. Recuperado de https://bit.ly/32RDeVD

ENQA (2020) ESG 2015–2018 ENQA Agency Reports: Thematic Analysis. Recuperado de https://bit.ly/3uq4jux

EQANIE (2016). Euro-Inf Framework Standards and Accreditation Criteria. Recuperado de https://eqanie.eu/quality-label/

EQAR (2021). Application and Eligibility. Recuperado de https://bit.ly/3HlZA0d

García-Martín, A. y Escudero de la Cañina, R. (2021). Diseño de títulos y elaboración de guías docentes en el marco de sellos internacionales de calidad. Recuperado de https://repositorio.upct.es/handle/10317/10201

Hamid Betancur, N. E. y Torres-Madronero, M. C. (2015). Acreditación de programas en ingeniería en la región: analisis comparativo. Revista Educación En Ingeniería, 10(19), 80-89. https://doi.org/10.26507/rei.v10n19.522

Lucas, S., Coca, M., García, M., Cartón, Á., Urueña, M. Á., Plaza, P., ... & Deive, F. J. (2021). Actividades docentes y herramientas de evaluación en la asignatura Introducción a la Ingeniería Química para cumplir con los requisitos de acreditación EUR-ACE®. VII Congreso Internacional de Docencia Universitaria CINDU 2021. Universidad de Vigo. 14 al 17 de junio de 2021.

Peláez, L. E., Trefftz, H. y Delgado-González, I. A. (2020). Acreditación Internacional de Carreras de Ingeniería. Revista Educación en Ingeniería, 15(29), 28-33. https://doi.org/10.26507/rei.v15n29.1044

WFME (2020). WFME Global Standards for Quality Improvement: Basic Medical Education. Recuperado de https://wfme.org/standards/bme/

---