Propiedades psicométricas de una encuesta genérica de evaluación de la docencia de Magister en una universidad tradicional
DOI:
https://doi.org/10.21703/0718-5162202202102147014Abstract
Este estudio detalla el proceso de validación de una encuesta de evaluación docente para programas de Magister, por a) un equipo multidisciplinario de seis jueces expertos de una unidad de aseguramiento de la calidad de una Universidad, en un trabajo colaborativo con una Dirección de Postgrado, y b) muestras de 272 y 275 estudiantes para dos secciones separadas del cuestionario. Se evaluó la relevancia, contribución e inteligibilidad de los ítems, obteniendo un coeficiente Fleiss Kappa de 0,24 (z = 6,32, p-valor <0,001). Los análisis factoriales exploratorios y confirmatorios llevaron a una propuesta integrada de 23 ítems con dos subescalas. Estos resultados se discuten en términos psicométricos, y desde la perspectiva de los equipos de acreditación y las oportunidades que esto implica para las Instituciones.
Downloads
References
Alderman, L., Towers, S., & Bannah, S. (2012). Student feedback systems in higher education: A focused literature review and environmental scan. Quality in Higher Education, 18(3), 261-280.
Biaggi, G. M. (2019). Efectividad de la enseñanza desde la perspectiva de los alumnos y docentes universitarios: evaluación de un modelo de enseñanza-aprendizaje universitario. (Tesis Doctoral). Universidad de Montemorelos, Montemorelos, México.
Comley-White, N., & Potterton, J. (2018). The perceived barriers and facilitators in completing a Master's degree in Physiotherapy. The South African journal of physiotherapy, 74(1), 445-445. doi:10.4102/sajp.v74i1.445
Correa, M. d. D., & Rueda Beltrán, M. (2012). La evaluación docente en educación superior: uso de instrumentos de autoevaluación, planeación y evaluación por pares. Voces y silencios. Revista Latinoamericana de Educación, 3(2), 59-76.
Drennan, J., & Clarke, M. (2009). Coursework master’s programmes: the student’s experience of research and research supervision. Studies in Higher Education, 34(5), 483-500. doi:10.1080/03075070802597150
Eckhaus, E., & Davidovitch, N. (2019). How Do Academic Faculty Members Perceive the Effect of Teaching Surveys Completed by Students on Appointment and Promotion Processes at Academic Institutions? A Case Study. International Journal of Higher Education, 8(1), 171-180.
Eckhaus, E., & Davidovitch, N. (2019). Potential for Blocking Advancement: Teaching Surveys for Student Evaluation of Lecturers. International Journal of Educational Methodology, 5(3), 401-406.
Feldman, K. A. (1976). The superior college teacher from the students' view. Research in Higher Education, 5(3), 243-288.
Ghadirian, L., Sayarifard, A., Majdzadeh, R., Rajabi, F., & Yunesian, M. (2014). Challenges for better thesis supervision. Medical journal of the Islamic Republic of Iran, 28, 32-32. Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4154287/
Ginns, P., Prosser, M., & Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: the perspective of currently enrolled students. Studies in Higher Education, 32(5), 603-615. doi:10.1080/03075070701573773
Huybers, T. (2014). Student evaluation of teaching: the use of best–worst scaling. Assessment & Evaluation in Higher Education, 39(4), 496-513.
Keeley, J., Furr, R. M., & Buskist, W. (2010). Differentiating psychology students' perceptions of teachers using the teacher behavior checklist. Teaching of Psychology, 37(1), 16-20.
Kember, D., & Leung, D. Y. (2008). Establishing the validity and reliability of course evaluation questionnaires. Assessment & Evaluation in Higher Education, 33(4), 341-353.
Lamarra, N. F., & Coppola, N. (2009). Aproximaciones a la evaluación de la docencia universitaria en algunos países iberoamericanos. Una perspectiva comparada entre similitudes, diferencias y convergencias. Perspectivas en Políticas Públicas, 1(2), 131-163.
Landis, J. R., & Koch, G. G. (1977). An Application of Hierarchical Kappa-type Statistics in the Assessment of Majority Agreement among Multiple Observers. Biometrics, 33(2), 363-374. doi:10.2307/2529786
Loor Ávila, K. J., Gallegos Macías, M. R., Rodríguez, I., Monserrate, M., & Guillén Vivas, X. (2018). University faculty evaluation: Ibero-America trends. Revista Cubana de Educación Médica Superior, 32(1), 239-252.
MacCallum, R. C., Browne, M. W., & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological methods, 1(2), 130-149.
Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students'evaluations of university teaching. British journal of educational psychology, 52(1), 77-95.
Marsh, H. W. (2007). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential biases and usefulness. In The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 319-383): Springer.
Marsh, H. W., Rowe, K. J., & Martin, A. (2002). PhD Students' Evaluations of Research Supervision. The Journal of Higher Education, 73(3), 313-348. doi:10.1080/00221546.2002.11777151
Martínez Iñiguez, J. E., & Tobón, S. (2019). Cuestionario de percepción sobre el impacto de los procesos de acreditación de la calidad educativa en instituciones de Educación Superior. Conrado, 15(70), 242-247.
McKeachie, W. J. (2007). Good teaching makes a difference—And we know what it is. In The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 457-474): Springer.
McLean, M. (2001). Rewarding teaching excellence. Can we measure teaching'excellence'? Who should be the judge? Medical teacher, 23(1), 6-11.
Medel, R., & Asún, R. (2014). Encuestas de evaluación docente y sesgos de género: un estudio exploratorio. Calidad en la Educación(40), 171-199. Retrieved from https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0718-45652014000100006&nrm=iso
Montoya Vargas, J., Arbesú García, I., Contreras Pérez, G., & Conzuelo Serrato, S. (2016). Evaluación de la docencia universitaria en México, Chile y Colombia: Análisis de experiencias. 2016, 7(2e), 15-42. Retrieved from https://revistas.uam.es/index.php/riee/article/view/3111
Mortelmans, D., & Spooren, P. (2009). A revalidation of the SET37 questionnaire for student evaluations of teaching. Educational Studies, 35(5), 547-552.
R Core Team. (2019). R: A language and environment for statistical computing. Viena, Austria: R Foundation for Statistical Computing. Retrieved from https://www.R-project.org/
Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The Course Experience Questionnaire. Studies in Higher Education, 16(2), 129-150. doi:10.1080/03075079112331382944
Revell, A., & Wainwright, E. (2009). What Makes Lectures ‘Unmissable’? Insights into Teaching Excellence and Active Learning. Journal of Geography in Higher Education, 33(2), 209-223. doi:10.1080/03098260802276771
Rivera, J. C., & Rice, M. L. (2002). A comparison of student outcomes and satisfaction between traditional and web based course offerings. Online Journal of Distance Learning Administration, 5(3), 151-179.
Rodríguez, M. T. A., & Sánchez, A. M. (2017). Expansión de la oferta y matrícula de Programas de Magíster en universidades chilenas: una mirada desde las políticas de aseguramiento de la calidad. Pensamiento Educativo, Revista de Investigación Latinoamericana (PEL), 54(1), 1-21.
Salazar, J. (2008). Diagnóstico preliminar sobre evaluación de la docencia universitaria. Una aproximación a la realidad en las universidades públicas y/o estatales de Chile [Preliminary diagnosis on evaluation of university teaching. An approach to reality in public/state universities in Chile]. Revista Iberoamericana de Evaluación Educativa, 1(3), 67-84.
Spooren, P., Mortelmans, D., & Christiaens, W. (2014). Assessing the validity and reliability of a quick scan for student's evaluation of teaching. Results from confirmatory factor analysis and G Theory. Studies in Educational Evaluation, 43, 88-94. doi:https://doi.org/10.1016/j.stueduc.2014.03.001
Toro, J. (2012). Gestión interna de la calidad en las instituciones de educación superior [Internal quality management in higher education institutions]. Santiago, Chile: CINDA/ RIL Editores.
Tucker, B., Oliver, B., & Gupta, R. (2013). Validating a teaching survey which drives increased response rates in a unit survey. Teaching in Higher Education, 18(4), 427-439.
Ugarte, J. J. (2008). Calidad, Formación y Evaluación de la Docencia en la UC. Paper presented at the IV Encuentro Nacional de Docentes Universitarios “La Evaluación Docente como Estrategia para el Desarrollo del Profesor Universitario”, Bogotá.
Veles, N., & Carter, M.-A. (2016). Imagining a future: changing the landscape for third space professionals in Australian higher education institutions. Journal of Higher Education Policy and Management, 38(5), 519-533. doi:10.1080/1360080X.2016.1196938
Venables, J. P., & Van Gastel, J. (2014). Radiografía de los modelos de acreditación: organización, procesos y prácticas. El caso de las universidades Austral de Chile, De la Frontera y De los Lagos [Radiography of accreditation models: organization, processes and practices. The case of Universities Austral de Chile, De la Frontera y De los Lagos]. Calidad en la Educación(41), 51-81.
Whitchurch, C. (2009). The rise of the blended professional in higher education: a comparison between the United Kingdom, Australia and the United States. Higher Education, 58(3), 407-418. doi:10.1007/s10734-009-9202-4
Whitchurch, C. (2015). The Rise of Third Space Professionals: Paradoxes and Dilemmas. In U. Teichler & W. K. Cummings (Eds.), Forming, Recruiting and Managing the Academic Profession (pp. 79-99). Cham: Springer International Publishing.
