Estimación de la fiabilidad para instrumentos de medición adaptativos
DOI:
https://doi.org/10.21703/0718-5162.v22.n48.2023.015Abstract
La estimación de la fiabilidad de pruebas evaluativas lineales y estandarizadas, de cualquier tipo, en ciencias sociales es relativamente simple con el uso del coeficiente de alpha de Cronbach. El problema ocurre con el uso de pruebas adaptativas que se ajustan a las respuestas que van entregando los sujetos. Ello se complejiza aún más cuando se utilizan pruebas adaptivas informatizadas, lo que tensiona el uso del alpha de Cronbach puesto que requiere de estabilidad en su medición. Así, el presente trabajo expone el denominado método Game-Adaptative que permite determinar la fiabilidad de una prueba adaptativa considerando su naturaleza variable. Dicho método se somete a prueba con dos casos, uno simulado y otro real con base a una muestra de 50 estudiantes de postgrado de una universidad chilena, quienes se sometieron al Oxford Online Placement Test. Los resultados indican que la aplicación del método Game-Adaptative recoge adecuadamente la variabilidad de las respuestas de ítems utilizados en cada caso, pudiendo determinar sin mayor inconveniente la fiabilidad de los instrumentos en cuestión. En consecuencia, esta propuesta se transforma en una ruta plausible para analizar las pruebas de carácter adaptativo, contribuyendo a superar las limitaciones de los coeficientes tradicionales, al menos en términos de fiabilidad.
Downloads
References
Abal, F. J. P., Auné, S. E., y Attorresi, H. F. (2019). Construcción de un banco de ítems de facetas de neuroticismo para el desarrollo de un test adaptativo. Psicodebate. Psicología, Cultura y Sociedad, 1(1), 31-50. http://dx.doi.org/10.18682/pd.v1i1.854
Bar, A. R. (2010). La metodología cuantitativa y su uso en américa latina. Cinta de moebio, (37), 1-14. https://dx.doi.org/10.4067/S0717-554X2010000100001
Cabrera, E., González, J., Montenegro, E., Nettle, A., y Guevara, M. (2010). Test informatizados y el registro del tiempo de respuesta, una vía para la precisión en la determinación del nivel de logro de un saber matemático. Estudios pedagógicos (Valdivia), 36(1), 69-84. http://dx.doi.org/10.4067/S0718-07052010000100003
Conejo, R., Guzmán, E., Millán, E., Trella, M., Pérez-De-La-Cruz, J. L., y Ríos, A. (2004). SIETTE: A web-based tool for adaptive testing. International Journal of Artificial Intelligence in Education, 14(1), 1-33. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.108.150&rep=rep1&type=pdf
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. https://doi.org/10.1007/BF02310555
Cronbach, L. J., Gleser, G. C. Nanda, H., y Rajaratnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. New York, Wiley. https://doi.org/10.1126/science.178.4067.1275
Council of Europe. Council for Cultural Co-operation. Education Committee. Modern Languages Division. (2001). Common European Framework of Reference for Languages: learning, teaching, assessment. Cambridge University Press. https://rm.coe.int/16802fc1bf
González, J., y Aspeé, J. (2021). Propuesta de estimador de la fiabilidad mediante Alfa-Game. Revista Iberoamericana de Psicología, 14(1), 1-10. https://doi.org/10.33881/2027-1786.rip.14101
González, J., Viveros, F., y Carvajal, C. (2016). Coeficientes edumétricos para la validez y dificultad de un test: Propuesta. Estudios pedagógicos (Valdivia), 42(3), 467-481. https://dx.doi.org/10.4067/S0718-07052016000400025
Green, B. F., Bock, R. D., Humphreys, L. G., Linn, R. L., y Reckase, M. D. (1984). Technical guidelines for assessing computerized adaptive tests. Journal of Educational Measurement, 21(4), 347-360. https://doi.org/10.1111/j.1745-3984.1984.tb01039.x
Guzmán, E., y Conejo, R. (2005). Self-assessment in a feasible, adaptive web-based testing system. IEEE Transactions on Education, 48(4), 688-695. https://doi.org/10.1109/TE.2005.854571
Kingsbury, G. G., y Houser, R. L. (1993). Assessing the utility of item response modes: Computerized adaptive testing. Educational Measurement: Issues and Practice, 12(1), 21-27. https://psycnet.apa.org/doi/10.1111/j.1745-3992.1993.tb00520.x
Kerlinger, F., y Lee, H. (2002). Investigación del Comportamiento. Métodos de investigación en Ciencias Sociales. McGraw Hill. México.
Lane, S. (2014). Validity evidence based on testing consequences. Psicothema, 26(1), 127-135. https://doi.org/10.7334/psicothema2013.258
Lord, F. M. (1970). Some test theory for tailored testing. En W.H. Holtzman (Ed.), Computer assisted instruction, testing and guidance. (pp.139-183). New York: Harper and Row.
Lozzia, G. S., Abal, F. J. P., Galibert, M. S., y Attorresi, H. F. (2020). Test Adaptativo Informatizado de Analogías Verbales: comparación de Criterios de Parada. Revista de Psicología, 38(1), 31-63. https://doi.org/10.18800/psico.202001.002
Olea, J., Abad, F. J., Ponsoda, V., y Ximénez, M. C. (2004). Un test adaptativo informatizado para evaluar el conocimiento de inglés escrito: diseño y comprobaciones psicométricas. Psicothema, 16(3), 519-525. http://www.psicothema.com/pdf/3026.pdf
Pedrosa, I., Suárez-Álvarez, J., García-Cueto, E., y Muñiz, J. (2016). A computerized adaptive test for enterprising personality assessment in youth. Psicothema, 28(4), 471-478. http://www.psicothema.com/pdf/4352.pdf
Prieto, G., y Delgado, A. (2010). Fiabilidad y validez. Papeles del psicólogo, 31(1), 67-74. http://www.papelesdelpsicologo.es/pdf/1797.pdf
Rizo, F. M. (2001). Evaluación educativa y pruebas estandarizadas. Elementos para enriquecer el debate. Revista de la educación superior, 30(120), 1-12. http://publicaciones.anuies.mx/pdfs/revista/Revista120_S3A3ES.pdf
Soflano, M., Connolly, T. M., y Hainey, T. (2015). An application of adaptive games-based learning based on learning style to teach SQL. Computers & Education, 86, 192-211. https://doi.org/10.1016/j.compedu.2015.03.015
Triantafillou, E., Georgiadou, E., y Economides, A. A. (2008). The design and evaluation of a computerized adaptive test on mobile devices. Computers & Education, 50(4), 1319-1330. http://dx.doi.org/10.1016/j.compedu.2006.12.005
Van der Linden, W. J., y Glas, C. A. W. (2003). Preface. En W. J. Van der Linden y C. A. W. Glas (Eds.), Computerised adaptive testing: theory and practice (pp. vi–xii). Dordrecht, Boston, London: Kluwer Academic Publishers.
Van der Linden, W. J. y Glas, C. E. W. (2010). Elements of adaptive testing. Nueva York: Springer. https://doi.org/10.1007/978-0-387-85461-8
Weiss, D. J. (1974). Strategies of adaptive ability measurement. Research report 74-5. Dep. Of Psychology, University of Minnesota. https://files.eric.ed.gov/fulltext/ED104930.pdf
Yang, Y., y Green, S. B. (2011). Coefficient alpha: A reliability coefficient for the 21st century? Journal of Psychoeducational Assessment, 29(4), 377-392. https://doi.org/10.1177%2F0734282911406668
