Estimación de la fiabilidad para instrumentos de medición adaptativos

Authors

DOI:

https://doi.org/10.21703/0718-5162.v22.n48.2023.015

Abstract

La estimación de la fiabilidad de pruebas evaluativas lineales y estandarizadas, de cualquier tipo, en ciencias sociales es relativamente simple con el uso del coeficiente de alpha de Cronbach. El problema ocurre con el uso de pruebas adaptativas que se ajustan a las respuestas que van entregando los sujetos. Ello se complejiza aún más cuando se utilizan pruebas adaptivas informatizadas, lo que tensiona el uso del alpha de Cronbach puesto que requiere de estabilidad en su medición. Así, el presente trabajo expone el denominado método Game-Adaptative que permite determinar la fiabilidad de una prueba adaptativa considerando su naturaleza variable. Dicho método se somete a prueba con dos casos, uno simulado y otro real con base a una muestra de 50 estudiantes de postgrado de una universidad chilena, quienes se sometieron al Oxford Online Placement Test. Los resultados indican que la aplicación del método Game-Adaptative recoge adecuadamente la variabilidad de las respuestas de ítems utilizados en cada caso, pudiendo determinar sin mayor inconveniente la fiabilidad de los instrumentos en cuestión. En consecuencia, esta propuesta se transforma en una ruta plausible para analizar las pruebas de carácter adaptativo, contribuyendo a superar las limitaciones de los coeficientes tradicionales, al menos en términos de fiabilidad.

Downloads

Download data is not yet available.

Author Biographies

José González Campos, Universidad de Playa Ancha

Doctor en Estadística, Magíster en estadística, Licenciado en Educación, Profesor de matemáticas y computación. Es especialista en educación y en estadística aplicada a problemas educativos. Actualmente es académico titular de la Universidad de Playa Ancha de Ciencias de la Educación. Además se desempeña como Coordinador de la Unidad de Soporte Estadístico para la Investigación, como Coordinador del Laboratorio Experimental de Saberes Matemáticos, y como Coordinador de Unidad de Análisis y Estudios de la Progresión Académica de la Vicerrectoría Académica de la misma Universidad de Playa Ancha. Su desarrollo teórico ha versado sobre aspectos edumétricos para la conformación de índice para la toma de decisiones con base en la evidencia.

Juan Aspeé Chacón, Universidad Técnica Federico Santa María

Doctor en Políticas y Gestión Educativa, Magíster en Trabajo Social, Ingeniero en Información y Control de Gestión, y Trabajador Social. Es especialista en teoría y epistemología de las ciencias sociales, y en educación y sociedad, con énfasis en políticas de educación superior. Sus últimos trabajos han profundizado respecto del compromiso estudiantil en educación superior y en la deserción académica. Es evaluador de revistas de indexación SCOPUS, SCIELO y LATINDEX en Chile y el extranjero. Actualmente es director e investigador de la Agencia de Estudios Sociales (Viña del Mar, Chile), investigador de la Universidad Viña del Mar, e ingeniero analista en la Universidad Técnica Federico Santa María.

Ida Sessarego-Espeleta, Universidad Técnica Federico Santa María

Profesora de Inglés como lengua extranjera en la Universidad Técnica Federico Santa María en Valparaíso Chile. Posee un Máster en Tecnología Educativa del Instituto de Estudios Superiores de Monterrey México. En la actualidad es Doctoranda en Política y Gestión Educativa en la Universidad de Playa Ancha. Ha focalizado su investigación en las áreas de Internacionalización de la Educación Superior, políticas educativas, estrategias de aprendizaje del inglés.

References

Abal, F. J. P., Auné, S. E., y Attorresi, H. F. (2019). Construcción de un banco de ítems de facetas de neuroticismo para el desarrollo de un test adaptativo. Psicodebate. Psicología, Cultura y Sociedad, 1(1), 31-50. http://dx.doi.org/10.18682/pd.v1i1.854

Bar, A. R. (2010). La metodología cuantitativa y su uso en américa latina. Cinta de moebio, (37), 1-14. https://dx.doi.org/10.4067/S0717-554X2010000100001

Cabrera, E., González, J., Montenegro, E., Nettle, A., y Guevara, M. (2010). Test informatizados y el registro del tiempo de respuesta, una vía para la precisión en la determinación del nivel de logro de un saber matemático. Estudios pedagógicos (Valdivia), 36(1), 69-84. http://dx.doi.org/10.4067/S0718-07052010000100003

Conejo, R., Guzmán, E., Millán, E., Trella, M., Pérez-De-La-Cruz, J. L., y Ríos, A. (2004). SIETTE: A web-based tool for adaptive testing. International Journal of Artificial Intelligence in Education, 14(1), 1-33. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.108.150&rep=rep1&type=pdf

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. https://doi.org/10.1007/BF02310555

Cronbach, L. J., Gleser, G. C. Nanda, H., y Rajaratnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. New York, Wiley. https://doi.org/10.1126/science.178.4067.1275

Council of Europe. Council for Cultural Co-operation. Education Committee. Modern Languages Division. (2001). Common European Framework of Reference for Languages: learning, teaching, assessment. Cambridge University Press. https://rm.coe.int/16802fc1bf

González, J., y Aspeé, J. (2021). Propuesta de estimador de la fiabilidad mediante Alfa-Game. Revista Iberoamericana de Psicología, 14(1), 1-10. https://doi.org/10.33881/2027-1786.rip.14101

González, J., Viveros, F., y Carvajal, C. (2016). Coeficientes edumétricos para la validez y dificultad de un test: Propuesta. Estudios pedagógicos (Valdivia), 42(3), 467-481. https://dx.doi.org/10.4067/S0718-07052016000400025

Green, B. F., Bock, R. D., Humphreys, L. G., Linn, R. L., y Reckase, M. D. (1984). Technical guidelines for assessing computerized adaptive tests. Journal of Educational Measurement, 21(4), 347-360. https://doi.org/10.1111/j.1745-3984.1984.tb01039.x

Guzmán, E., y Conejo, R. (2005). Self-assessment in a feasible, adaptive web-based testing system. IEEE Transactions on Education, 48(4), 688-695. https://doi.org/10.1109/TE.2005.854571

Kingsbury, G. G., y Houser, R. L. (1993). Assessing the utility of item response modes: Computerized adaptive testing. Educational Measurement: Issues and Practice, 12(1), 21-27. https://psycnet.apa.org/doi/10.1111/j.1745-3992.1993.tb00520.x

Kerlinger, F., y Lee, H. (2002). Investigación del Comportamiento. Métodos de investigación en Ciencias Sociales. McGraw Hill. México.

Lane, S. (2014). Validity evidence based on testing consequences. Psicothema, 26(1), 127-135. https://doi.org/10.7334/psicothema2013.258

Lord, F. M. (1970). Some test theory for tailored testing. En W.H. Holtzman (Ed.), Computer assisted instruction, testing and guidance. (pp.139-183). New York: Harper and Row.

Lozzia, G. S., Abal, F. J. P., Galibert, M. S., y Attorresi, H. F. (2020). Test Adaptativo Informatizado de Analogías Verbales: comparación de Criterios de Parada. Revista de Psicología, 38(1), 31-63. https://doi.org/10.18800/psico.202001.002

Olea, J., Abad, F. J., Ponsoda, V., y Ximénez, M. C. (2004). Un test adaptativo informatizado para evaluar el conocimiento de inglés escrito: diseño y comprobaciones psicométricas. Psicothema, 16(3), 519-525. http://www.psicothema.com/pdf/3026.pdf

Pedrosa, I., Suárez-Álvarez, J., García-Cueto, E., y Muñiz, J. (2016). A computerized adaptive test for enterprising personality assessment in youth. Psicothema, 28(4), 471-478. http://www.psicothema.com/pdf/4352.pdf

Prieto, G., y Delgado, A. (2010). Fiabilidad y validez. Papeles del psicólogo, 31(1), 67-74. http://www.papelesdelpsicologo.es/pdf/1797.pdf

Rizo, F. M. (2001). Evaluación educativa y pruebas estandarizadas. Elementos para enriquecer el debate. Revista de la educación superior, 30(120), 1-12. http://publicaciones.anuies.mx/pdfs/revista/Revista120_S3A3ES.pdf

Soflano, M., Connolly, T. M., y Hainey, T. (2015). An application of adaptive games-based learning based on learning style to teach SQL. Computers & Education, 86, 192-211. https://doi.org/10.1016/j.compedu.2015.03.015

Triantafillou, E., Georgiadou, E., y Economides, A. A. (2008). The design and evaluation of a computerized adaptive test on mobile devices. Computers & Education, 50(4), 1319-1330. http://dx.doi.org/10.1016/j.compedu.2006.12.005

Van der Linden, W. J., y Glas, C. A. W. (2003). Preface. En W. J. Van der Linden y C. A. W. Glas (Eds.), Computerised adaptive testing: theory and practice (pp. vi–xii). Dordrecht, Boston, London: Kluwer Academic Publishers.

Van der Linden, W. J. y Glas, C. E. W. (2010). Elements of adaptive testing. Nueva York: Springer. https://doi.org/10.1007/978-0-387-85461-8

Weiss, D. J. (1974). Strategies of adaptive ability measurement. Research report 74-5. Dep. Of Psychology, University of Minnesota. https://files.eric.ed.gov/fulltext/ED104930.pdf

Yang, Y., y Green, S. B. (2011). Coefficient alpha: A reliability coefficient for the 21st century? Journal of Psychoeducational Assessment, 29(4), 377-392. https://doi.org/10.1177%2F0734282911406668

Published

2023-03-31

How to Cite

González Campos, J., Aspeé Chacón, J. ., & Sessarego-Espeleta, I. . (2023). Estimación de la fiabilidad para instrumentos de medición adaptativos. REXE- Revista De Estudios Y Experiencias En Educación, 22(48), 262–275. https://doi.org/10.21703/0718-5162.v22.n48.2023.015

Issue

Section

Estudios y Debates Pedagógicos