Experts-based item calibration using Moodle
DOI:
https://doi.org/10.35362/rie691158Keywords:
experts | calibration | item banking | Moodle.Abstract
The calibration of a set of items by expert judgment is the process of establishing the difficulty of each item in a common metric by using a sample of data that has been previously collected from specialists on the subject the items deal with. These data contains estimates of the level of difficulty of each item. This calibration process is not a simple task, since it usually involves the partition of the whole set of items into several questionnaires that are distributed among the experts, as well as, in some cases, the inclusion of common items into several questionnaires. Also it is recommendable to determine that both the items and the obtained estimated values for their difficulty are correct (i.e. non anomalous) and to check that the inputs given by the experts are trustworthy. Furthermore, a consensus must be reached when the criteria of the experts consulted are unequal.
This paper focuses on the item bank construction and its calibration using expert judgments on-line, and describes a procedure for this type of calibration using an e-learning platform: Moodle. Nowadays Moodle is one of the most popular free software packages for creating Internet-based courses and Web sites, and it is used worldwide by educational institutions to provide online training.
Downloads
References
Armendariz, A. J. (2014). Métodos de desarrollo dirigidos por modelos y workflows para la calibración psicométrica de ítems: El sistema CALLIE. (Tesis doctoral), Universidad del País Vasco (UPV/EHU), Bilbao.
Arruabarrena, R. (2010). E-learning y la calibración de ítems de test: Teoría de Respuesta al Ítem versus calibración basada en juicios de expertos. Un estudio empírico. (Tesis doctoral), Universidad del País Vasco (UPV/ EHU), San Sebastián.
Büchner, A. (2011). Moodle 2 Administration. Birmingham (UK): Ed. Packt Publishing Ltd.
López-Cuadrado, J. (2010). Test adaptativos informatizados de ingreso en un sistema e-learning. Saarbrüken: LAP Lambert Academic Publishing.
López-Cuadrado, J., Pérez, T. A. y Armendariz, A. J. (2005). Evaluación mediante test: ¿Por qué no usar el ordenador? Revista Iberoamericana de Educación, 36(11), 1-15. http://www.rieoei.org/deloslectores/1040Lopez.PDF
López-Cuadrado, J., Pérez, T. A., Vadillo, J. A. y Gutiérrez, J. (2010). Calibration of an item bank for the assessment of Basque language knowledge. Computers & education, 55(3), 1044-1055.
López Alonso, C. y Matesanz Del Barrio, M. (2009). Las plataformas de aprendizaje: del mito a la realidad. Madrid: Biblioteca Nueva.
Muñiz, J. (2000). Teoría clásica de los tests. Madrid: Ediciones Pirámide.
Muñiz, J. (2010). Las teorías de los tests: Teoría Clásica y Teoría de Respuesta a los Ítems. Papeles del Psicólogo, 31(1), 57-66.
Presedo, C., Armendariz, A. J. y López-Cuadrado, J. (2012). Calibración de ítems para test informatizados: Descripción detallada de las fases en la construcción de test de evaluación adaptativos mediante ordenador. Saarbrüken: EAE Editorial Académica Española.
Prieto, G. y Delgado, A. R. (1999). Medición cognitiva de las aptitudes. En J. Olea, V. Ponsoda y G. Prieto (Eds.), Tests informatizados: fundamentos y aplicaciones (pp. 207-226). Madrid (España): Ediciones Pirámide.
Renom, J. y Doval, E. (1999). Tests adaptativos informatizados: estructura y desarrollo. En J. Olea, V. Ponsoda y G. Prieto (Eds.), Tests informatizados: fundamentos y aplicaciones (pp. 127-162). Madrid (España): Ediciones Pirámide.
Riley, K. y Mills, D. (2008). IMS Common Cartridge (CC) Authorization Web Service v1.0 Final Specification. Recuperado desde www.imsglobal.org/cc/
Sánchez Rojo, I. (2010). Plataforma educativa Moodle. Administración y gestión. México: Alfaomega/Ra-Ma.
Smythe, C. y Nielsen, B. (2007). IMS Content Packaging (CP) Specification Primer v1.2 Public Draft. Recuperado desde www.imsglobal.org/content/packaging/
Smythe, C., Shepherd, E., Brewer, L. y Lay, S. (2002). IMS Question & Test Interoperability: ASI Information Model Specification. Final Specification Version 1.2. Recuperado desde www.imsglobal.org/question/
Umar, J. (1997). Item banking. En J. Keeves (Ed.), Educational research, methodology, and measurement (2nd edition) (pp. 923-930). Oxford: Pergamon.
How to Cite
Downloads
Published
Issue
Section
License
Any authors who publish with this journal accept the following terms:
