|
Introducción
La mayor parte de los países del orbe está experimentando
cambios radicales en la forma en que sus sociedades generan y utilizan
el conocimiento, cuyo acervo comienza a incrementarse de manera
geométrica en el marco de una nueva revolución tecnológica.
De allí la evidente importancia de la educación como
medio fundamental para generar el desarrollo sostenible de dichas
sociedades y la concepción de esta, la educación,
como un factor de avance económico y de desarrollo social.
Indudablemente es la educación superior la que se constituye
en la puerta de acceso más importante a la sociedad del conocimiento,
toda vez que representa el medio ideal para el acrecentamiento del
capital humano, de su inteligencia individual y colectiva y para
la contribución al aumento de la competitividad. Así
fue reconocido por la Conferencia Mundial sobre Educación
Superior organizada por la UNESCO en 1998: "[...] la educación
superior y la investigación forman hoy en día la parte
fundamental del desarrollo cultural, socioeconómico y ecológicamente
sostenible de los individuos, las comunidades y las naciones"
(UNESCO, 1998).
Sistemas de aseguramiento de calidad en educación superior
Existen abundantes opiniones respecto a los retos actuales a los
que debe enfrentarse la educación en México y en particular
el subsistema de educación superior; la Secretaría
de Educación Pública, a través de su plan sectorial
para el sexenio 2001-2006 los ha resumido en tres grandes desafíos:
cobertura con equidad, integración del sistema educativo
y calidad (SEP, 2000). Aún cuando la equidad sigue siendo
el mayor reto del Sistema Educativo Nacional, y que durante el siglo
pasado el gobierno federal dedicó la mayor parte de sus esfuerzos
a la expansión de dicho sistema, lo cierto es que la calidad
de los servicios educativos no ha sido atendida con la misma intensidad
ni está a la altura del nivel educativo deseable para el
país.
Los sistemas de aseguramiento de calidad para los procesos y bienes
que produce la rama industrial y de servicios, se basan en normas
perfectamente establecidas y aceptadas por la comunidad internacional.
La práctica educativa requiere, así mismo, del establecimiento
de estándares mínimos de calidad, para lo cual ha
sido necesario definir un paradigma o modelo de comparación
ad hoc a los procesos que conlleva la enseñanza de un programa
educativo, surgiendo así la figura de la Acreditación,
basada en dicho paradigma, como un reconocimiento público
de la calidad del programa. Ocampo señala que los procesos
que conllevan a la acreditación de programas educativos "es
práctica usual y consolidada en diversos países. En
México el Estado otorga a las instituciones públicas
y privadas la autorización para impartir servicios educativos
de distinto tipo y ha sido el aval de la calidad de dichos servicios"
(Ocampo Canabal, 1994). Sin embargo, debido a la creciente complejidad
de la realidad actual en nuestro entorno, ha sido necesario definir
sistemas de acreditación que respondan a dicha situación
y, al mismo tiempo, instancias no gubernamentales que pongan en
práctica dichos sistemas. En este contexto surge el Consejo
de Acreditación de la Enseñanza de la Ingeniería
(CACEI), protocolizado en julio de 1994, entre cuyas funciones principales
está la de "contribuir al mejoramiento de la calidad
del ejercicio profesional de la ingeniería" (Ocampo
Canabal, 1994) mediante el establecimiento de sistemas de acreditación.
Validez de instrumentos de evaluación
Los principales criterios a que deben atender los instrumentos
de evaluación se refieren a los que tienen que ver con la
confiabilidad y la validez, entendiéndose la primera como
la capacidad de la prueba para medir algo con precisión o
en forma consistente, y la segunda como la demostración de
que dicha prueba mide lo que se pretende medir (Hernández
Uralde, 2005).
Un tipo de validez, que es de gran importancia se refiere a la
validez predictiva, la cual consiste en la determinación
de la correlación que debe existir entre los resultados de
una prueba y un determinado criterio de referencia, normalmente
una actitud futura. Un buen ejemplo de ello lo constituye el examen
de admisión a la licenciatura para las carreras de ingeniería
en la UASLP, el cual, a partir de la manipulación estadística
de los datos históricos disponibles, relativos al desempeño
de los aspirantes en dicho examen, puede constituirse en un instrumento
útil de predicción de su propio desempeño futuro,
como estudiantes de los diversos programas de ingeniería
que oferta la Universidad, en términos de permanencia y de
eficiencia terminal.
Tomemos como población de estudio a los estudiantes de las
cohortes que ingresaron al programa de Ingeniería Civil en
la UASLP entre los años 1990 y 1994. Si se colocan en orden
ascendente los lugares obtenidos en dicha evaluación por
los estudiantes de una misma cohorte, es deseable suponer que los
n primeros lugares de la lista serán quienes finalmente concluyan
de manera satisfactoria sus estudios, siendo n la eficiencia terminal
de dicha cohorte. Si ello sucede de esa manera, existirá
un 100 % de correlación entre los resultados del examen de
admisión y la eficiencia de egreso de la cohorte, y aquél
se convertiría en un instrumento útil para poder conocer
de antemano quiénes de nuestros alumnos concluirán
el programa, y quienes abandonarán prematuramente. Si por
el contrario, quienes concluyen satisfactoriamente el plan de estudios
son los n últimos aspirantes de la lista, no existirá
absolutamente ninguna congruencia con los resultados de la admisión
y la correlación será de 0 %.
Llámese A a la suma de los n primero lugares de una serie
aritmética ascendente del tamaño de una cohorte de
nuevo ingreso, y llámese B a la suma de los n últimos
lugares. Llamemos x a la suma de los lugares obtenidos en el examen
de admisión por los n alumnos que egresaron de dicha cohorte.
Si las predicciones del examen fueran correctas, el valor de x debería
coincidir con el de A y si la correlación fuera nula debería
coincidir con B. Valores intermedios pueden ser obtenidos mediante
interpolación lineal entre estos extremos mediante una sencilla
fórmula:
La Tabla 1 muestra los índices de correlación así
obtenidos para los alumnos de primer ingreso en las cohortes generacionales
1990 a 1994 de Ingeniería Civil.
El valor promedio de 69.3 % indica el grado del poder
de predicción del examen de admisión a la licenciatura
de ingeniería civil de la UASLP, para discriminar a los estudiantes
de una determinada cohorte generacional de primer ingreso, que concluirán
la totalidad del plan de estudios, de quienes no lo harán.
Implica la probabilidad de que un aspirante a ingresar al programa,
cuya calificación del examen de admisión lo ubique
en los n primeros sitios (siendo n el número de alumnos que
previsoramente concluirán la carrera con base en datos históricos)
pueda efectivamente alcanzar dicha meta.
El examen de admisión, para ingresar en cualquier
licenciatura de ingeniería ofertada por la Universidad Autónoma
de San Luis Potosí, está compuesto de dos partes,
la primera de las cuales, con un peso ponderado del 15 %, evalúa
habilidades de aprendizaje, mientras que la segunda, mas extensa,
califica el conocimiento adquirido por el estudiante durante su
paso por el bachillerato en áreas como física, química
y matemática. A pesar de ser una evaluación muy completa,
adolece, al igual que la mayoría de los exámenes de
admisión o selección en otra instituciones de educación
superior, de un área que, por su importancia, se ha incorporado
recientemente en gran parte en los perfiles de ingreso y egreso
de los programas de licenciatura: la evaluación de las actitudes
del estudiante de cara a los problemas que habrá de enfrentar
en su vida laboral y que, de manera conjunta con los conocimientos
y habilidades adquiridos, constituyen el bagaje que lo convertirá
en auténtico profesional. Es posible identificar en el fenómeno
del rezago académico y la deserción una buena dosis
de causas atribuibles a problemas que tienen que ver con la actitud
del estudiante; sin ahondar demasiado en esta aseveración,
aún cuando el poder de predicción de nuestro instrumento
de evaluación es prácticamente de un 70 %, lo cierto
es que de incorporar en su proceso un examen que valore las actitudes
del aspirante (cuya ponderación en el resultado global deberá
ser calibrada) seguramente este valor aumentará considerablemente,
convirtiéndose en un poderoso instrumento en la toma de decisiones
para una eficaz y eventual implementación de programas de
seguimiento individualizado de los estudiantes de menor rendimiento,
incluso desde antes de su ingreso definitivo en la Institución.
Modelo de predicción de desempeño
en evaluaciones nacionales
De manera similar al concepto de validez predictiva
de un instrumento de evaluación, en el cual se busca correlacionar,
como ya se ha mencionado, los resultados de dicha prueba con una
cierta actitud futura, es posible también predecir, en orden
inverso, el resultado esperado del probable desempeño de
egresados de programas de licenciatura sometidos a evaluaciones
nacionales, a partir del análisis de su trayectoria académica
durante la licenciatura mediante el empleo de modelos matemáticos
que tomen en cuenta las variables mas significativas durante dicho
proceso.
Los Exámenes Generales de Egreso de la Licenciatura
(EGEL) que diseña, elabora y aplica el Centro Nacional de
Evaluación para la Educación Superior A.C. (CENEVAL),
son instrumentos de cobertura nacional que miden y evalúan
los conocimientos y aptitudes que son resultado de la formación
académica de los recién egresados de diversos programas
educativos. Entre sus objetivos principales se cuenta el poder proporcionar
a los sustentantes información objetiva relativa al nivel
de su formación, informar a la sociedad acerca de la calidad
en la formación académica de los egresados de programas
de licenciatura, así como contribuir a la evaluación
de la calidad de la educación superior y proporcionar información
útil para mejorarla.
Resultados globales
La aplicación de los EGEL en las áreas
de ingeniería y tecnología se inicia en el año
de 1996 con la licenciatura en ingeniería civil. Es una prueba
que se presenta de manera voluntaria (aunque algunas instituciones
ya lo han adoptado con carácter obligatorio para sus egresados),
dirigida principalmente a los egresados de la escuelas y facultades
de ingeniería civil que concluyeron el 100% de los créditos
a la fecha del examen y hasta treinta y seis meses posteriores,
estén titulados o no. El resultado global del sustentante
se expresa en una escala especial denominada Índice CENEVAL,
cuyo rango va de 700 a 1.300 puntos, correspondiendo estos con una
calificación de 0 a 100 % respectivamente, con un dominio
satisfactorio de 1.000 a 1.149 puntos y un alto rendimiento de 1.150
a 1.300 (a quienes obtienen el dominio satisfactorio se les otorga
un Testimonio de Desempeño Satisfactorio o TDS, mientras
que los que alcanzan el dominio sobresaliente se hacen acreedores
a un Testimonio de Desempeño Sobresaliente o TDSS).
Hasta el mes de noviembre de 2005 el examen lo han
sustentado un total de 3.973 jóvenes egresados de la carrera
de ingeniería civil de 65 instituciones nacionales de educación
superior, a 1.068 de los cuales se les ha otorgado el Testimonio
de Desempeño Satisfactorio y 540 se han hecho acreedores
del Testimonio de Desempeño Sobresaliente. Desde el mes de
octubre de 1996 hasta noviembre de 2005, en un total de 31 participaciones
en aplicaciones nacionales, el EGEL de Ingeniería Civil ha
sido sustentado por 155 egresados de la Facultad de Ingeniería
de la Universidad Autónoma de San Luis Potosí, habiendo
alcanzado 80 de ellos (51.6 %) el dominio satisfactorio (arriba
de 1.000 puntos en el índice CENEVAL) y 21 el dominio sobresaliente
(13.5 %); el 2 % de dichos sustentantes ha alcanzado mas de 1250
puntos, por lo que ya en tres aplicaciones un alumno de la Facultad
ha logrado el primer lugar nacional. Por el número de sustentantes,
este programa se ubica entre los que mas ha aportado, aún
cuando el examen no es obligatorio.
Análisis paramétrico
En el diseño del modelo predictivo se analizaron
los resultados de una población constituida por todos los
alumnos egresados del programa de Ingeniería Civil de la
Universidad Autónoma de San Luis Potosí que han presentado
el EGEL desde el mes de octubre de 1996 hasta septiembre de 2005,
que incluyen alumnos que ingresaron a las cohortes de los años
de 1989 a 2000 y cuyos resultados se han comentado líneas
arriba. El análisis de las características de este
grupo muestra que se trata de una población totalmente aleatoria
y representativa, toda vez que, como ya se ha mencionado, la aplicación
del examen es voluntaria y no existe intervención alguna
para su selección y, por otro lado, su desempeño académico
a lo largo de la licenciatura es muy heterogéneo, tomando
como referencia factores como su promedio general, el número
de materias reprobadas, su rendimiento, etc. En base a ello se considera
que dicha población constituye una muestra adecuada para
que las determinaciones que se infieran de su análisis tengan
una confiabilidad bastante alta. A continuación se enlistan
los parámetros considerados para la determinación
del modelo de pronóstico:
- LUGAR OBTENIDO EN EL EXAMEN DE ADMISIÓN A LA LICENCIATURA
Este parámetro oscila entre el 1 y el 691 con una media
de 216. El análisis muestra que los sustentantes del EGEL
que obtuvieron TDSS lograron un lugar promedio en el examen de
admisión de 135, los que se hicieron acreedores a un TDS
un lugar promedio de 189, mientras que aquellos que no alcanzaron
los 1.000 puntos obtuvieron en promedio el lugar número
301, lo que permite establecer que este parámetro es medianamente
significativo como antecedente para estimar su desempeño
en el EGEL..
- PROMEDIO GENERAL DE CALIFICACIONES OBTENIDO DURANTE LOS ESTUDIOS
DE LICENCIATURA
Los sustentantes que obtuvieron TDSS lograron un promedio general
en su conjunto de 78.9, quienes obtuvieron TDS tuvieron un promedio
general en conjunto de 73.1 y los que no lograron alcanzar los
1000 puntos obtuvieron en conjunto un promedio general de 68.0;
además el 90% de los alumnos que obtuvieron un promedio
general menor a 65.0 no alcanzó una puntuación superior
a 1000. Lo anterior permite concluir la alta correlación
de este parámetro en nuestro modelo predictivo.
- PROMEDIO APROBATORIO DE CALIFICACIONES OBTENIDO EN LA LICENCIATURA
El análisis de correlación respectiva muestra que
los alumnos que obtuvieron TDSS en el EGEL lograron un promedio
aprobatorio en conjunto de 82.0, quienes obtuvieron TDS alcanzaron
un promedio de 78.2 y aquellos que no alcanzaron el índice
de 1.000 puntos obtuvieron un promedio aprobatorio durante la
licenciatura de 75.2 en su conjunto, mostrando una considerable
correlación de este parámetro con los resultados
que un alumno puede obtener en dicho examen.
- NÚMERO DE SEMESTRES EN QUE EL SUSTENTANTE CURSÓ
EL PROGRAMA DE LICENCIATURA
Este parámetro no tiene un efecto determinante sobre la
estimación de los resultados que el sustentante puede obtener
en el Examen General de Egreso. Lo anterior se concluye al observar
que alumnos que cursaron su carrera profesional en ocho semestres
no lograron una puntuación satisfactoria en el examen,
mientras que algunos egresados que concluyeron el plan de estudios
hasta en dieciséis semestres se encuentran entre los que
obtuvieron un desempeño sobresaliente. Por otro lado, no
existen grandes diferencias en los resultados alcanzados en los
tres grupos ya que los sustentantes que obtuvieron TDSS cursaron
su carrera en 10.7 semestres en promedio, mientras que aquellos
que obtuvieron un desempeño satisfactorio lo hicieron en
un promedio de 10.8 semestres y los que no alcanzaron los 1000
puntos tardaron en promedio 11.4 semestres en concluir sus estudios
de licenciatura.
- RENDIMIENTO ACADÉMICO DURANTE EL CURSO DE LA LICENCIATURA
El rango de variación de este parámetro para los
sustentantes de la población bajo estudio oscila entre
41.2 % y 106.8 %, el cual, como se ve, es bastante amplio. Así,
el grupo de alumnos que obtuvieron el TDSS logró durante
su estancia en la Facultad un rendimiento promedio de 79.2 %,
mientras que aquellos que tan solo obtuvieron un desempeño
satisfactorio lograron en su conjunto un rendimiento promedio
de 70.8 % y los que no alcanzaron el índice de 1000 puntos
en el EGEL observaron un rendimiento combinado de 62.3 %; por
lo tanto, este parámetro es uno de los que mayor significancia
tiene como antecedente para estimar el comportamiento de un egresado
en dicho examen.
- NÚMERO DE MATERIAS REPROBADAS POR EL SUSTENTANTE DURANTE
SU ESTANCIA EN LA FACULTAD
Este parámetro oscila entre 0 y 19 materias reprobadas.
Si bien algún alumno con un número de reprobadas
considerable logró un desempeño satisfactorio, ninguno
de ellos tuvo un desempeño sobresaliente. Observamos que
el grupo de sustentantes que lograron el TDSS reprobó en
promedio 2.5 materias durante la licenciatura, mientras que los
que alcanzaron la puntuación correspondiente al TDS tuvieron
en promedio 4.4 materias reprobadas; el resto reprobaron en su
conjunto un promedio de 8 materias, por lo que se deduce una fuerte
correlación entre este parámetro y la posibilidad
de lograr un buen resultado en el Examen General de Egreso.
- NÚMERO DE EXÁMENES DE REGULARIZACIÓN PRESENTADOS
POR EL SUSTENTANTE
El análisis por percentiles indica que mas del 62 % de
los sustentantes no presentaron ningún examen de regularización
en el transcurso de su carrera, y tan solo el 14.2 % presentó
tres o más exámenes de este tipo. Al observar los
resultados obtenidos en el EGEL por el grupo de sustentantes que
constituyen la población de estudio, se observa que este
parámetro tiene un efecto no determinante en su correlación
con dicho desempeño.
La Tabla 2 resume los parámetros arriba
analizados:
Formulación del modelo
Los parámetros académicos que pueden
ser considerados como esenciales para estimar con menor riesgo las
posibilidades de un alumno para lograr un desempeño relevante
en su aplicación del EGEL son:
- Promedio general
- Rendimiento académico
- Cantidad de materias reprobadas
De igual manera, los parámetros que tienen
regular correlación con las posibilidades del alumno para
obtener un alto resultado en el examen son:
- Promedio aprobatorio
- Lugar obtenido en el examen de admisión
- Cantidad de exámenes de regularización presentados
Finalmente, se considera que el estudio realizado
muestra que existe poca correlación de un buen desempeño
en el EGEL con los parámetros de:
- Cantidad de semestres en que cursó su licenciatura
Del análisis de los resultados de los alumnos
que sustentaron el EGEL, tanto en su trayectoria dentro de la Facultad
de Ingeniería como en el propio examen, así como de
la correlación observada, se llegó a la determinación
del grado de significancia de cada uno de los parámetros
indicadores del desempeño, el cual se integrará en
el modelo matemático-estadístico predictivo en la
inteligencia de que, de su adecuada interpretación y valoración
dependerá la confiabilidad de los pronósticos que
se realicen con dicho modelo. Los valores ponderados de cada una
de las variables tratadas, y su grado de incidencia dentro del modelo
predictivo, se muestran en la Tabla 3.
TABLA 3
Manejo matemático de los parámetros de desempeño
académico
De tal manera que el índice de desempeño
pronosticado de un sustentante durante la aplicación del
Examen General de Egreso de la Licenciatura estará dado por
la expresión:
Análisis de resultados
El dominio de aplicabilidad, para la expresión
arriba expuesta, es de 0 a 100 % y se ha establecido, como límite
de referencia, un valor por encima de 70 % para correlacionar dicho
parámetro con un desempeño satisfactorio en el Examen
General de Egreso. Ello significa que un sustentante cuyo índice
de desempeño obtenido de la manera aquí expuesta,
considerando su historial académico durante sus estudios
de licenciatura, haya sido superior a 70 %, necesariamente deberá
corresponder con un resultado satisfactorio en la prueba nacional,
obteniendo un índice CENEVAL de al menos 1.000 puntos.
Al aplicar la expresión dada para pronosticar
el desempeño de los 155 sustentantes del EGEL egresados de
nuestro programa de Ingeniería Civil, se encontró
que: 137 de ellos (88.4 %) obtuvieron un pronóstico positivo,
al correlacionar de manera satisfactoria los resultados alcanzados
en el examen con el índice de desempeño aquí
descrito, tanto a los que obtuvieron calificaciones arriba de 1000
puntos en el índice CENEVAL como los que estuvieron por debajo
de este valor, correspondientes con índices de desempeño
superiores e inferiores a 70 % respectivamente. Tan solo 18 sustentantes
(11.6 %) tuvieron un pronóstico errado de desempeño
en la aplicación del EGEL, al no existir una evidente correlación
entre sus resultados obtenidos y su historial académico durante
sus estudios de licenciatura, y tan solo en 4 de esos casos puede
considerarse dicho error como de naturaleza grave. Por lo anterior,
es posible concluir que el modelo hasta aquí esbozado cuenta
con un margen de confiabilidad superior al 88 %.
Conclusiones
Estar en condiciones de poder brindar a los estudiantes
de nuestro país una educación superior de calidad,
mediante procesos eficaces que permitan incrementar los índices
de retención y regularidad académica, y con ello elevar
la eficiencia terminal y la efectividad del proceso educativo fue
señalado, de manera casi textual por el Lic. Vicente Fox
Quesada, Presidente Constitucional de los Estados Unidos Mexicanos,
el 1 de Septiembre de 2003 en su Tercer Informe de Gobierno, como
uno de los objetivos prioritarios y un área de retos y oportunidades
para el año 2004 (Fox Quesada, 2003).
La calidad y la efectividad en un contexto de enseñanza
aprendizaje abarca conceptos como el de pertinencia, cobertura,
relevancia, niveles de desempeño, eficacia y eficiencia;
en suma, una educación de calidad es aquella que se propone
objetivos de aprendizaje relevantes y consigue que estos sean alcanzados
por los alumnos y que, además, lo hagan en los tiempos previstos.
La evaluación de la consecución de dichos objetivos
de aprendizaje, pero sobre todo, el poder predictivo de dichos instrumentos
de evaluación, visto como el grado de correlación
entre sus resultados y el desempeño a futuro de quienes se
han sometido a los mismos, se constituye en un instrumento de gran
utilidad en el diagnóstico, pronóstico y la consecuente
toma de decisiones con el fin de incrementar la calidad de dichos
procesos.
Se ha mostrado aquí el potencial que poseen
los instrumentos de evaluación que aplicamos de manera rutinaria
dentro del proceso mas general de enseñanza-aprendizaje,
a través del análisis de los resultados obtenidos
por los sustentantes de dos instrumentos específicos de evaluación,
el Examen Nacional de Ingreso a la Licenciatura de Ingeniería
Civil (EXANI) y el Examen General de Egreso de la misma licenciatura
(EGEL), en la Facultad de Ingeniería de la Universidad Autónoma
de San Luis Potosí, y su correlación con el historial
académico a lo largo de sus estudios profesionales, potencial
que se traduce no únicamente a través de la confiabilidad
de dichos instrumentos para medir el grado de aprendizaje, sino
mediante su capacidad de predecir, de manera altamente significativa,
el desempeño a futuro de nuestros estudiantes, con la posibilidad
incluso, de anticipar, con un alto grado de precisión, su
propio desempeño profesional, materializándose así
la posibilidad de ir un paso adelante en la instrumentación
de acciones que contribuyan a mantener y elevar la calidad académica
de la preparación de nuestros estudiantes de licenciatura.
Bibliografía
FOX QUESADA, Vicente, Presidente Constitucional de
los Estados Unidos Mexicanos: Tercer Informe de Gobierno 2003. México.
HERNÁNDEZ URALDE, Jorge (2005): "Validez
y confiabilidad en las pruebas de aprendizaje", en Boletín
Ceneval, n.º 13, México, pp. 1-4.
OCAMPO CANABAL, Fernando (1994): "La acreditación
y su relación con la calidad de la enseñanza",
en Revista Ingeniería Civil, n.º 307, México,
pp. 10-12.
ORGANIZACIÓN DE LAS NACIONES UNIDAS PARA LA
EDUCACIÓN, LA CIENCIA Y LA CULTURA (1998): Conferencia Mundial
sobre Educación Superior.
SECRETARÍA DE EDUCACIÓN PÚBLICA,
GOBIERNO FEDERAL DE LOS ESTADOS UNIDOS MEXICANOS (2000): Programa
Nacional de Educación 2001-2006.
Correos electrónicos: perezjor@uaslp.mx
- jmartine@uaslp.mx
|
