Propiedades psicométricas de una encuesta genérica de evaluación de la docencia de Magister en una universidad tradicional

Authors

DOI:

https://doi.org/10.21703/0718-5162202202102147014

Abstract

Este estudio detalla el proceso de validación de una encuesta de evaluación docente para programas de Magister, por a) un equipo multidisciplinario de seis jueces expertos de una unidad de aseguramiento de la calidad de una Universidad, en un trabajo colaborativo con una Dirección de Postgrado, y b) muestras de 272 y 275 estudiantes para dos secciones separadas del cuestionario. Se evaluó la relevancia, contribución e inteligibilidad de los ítems, obteniendo un coeficiente Fleiss Kappa de 0,24 (z = 6,32, p-valor <0,001). Los análisis factoriales exploratorios y confirmatorios llevaron a una propuesta integrada de 23 ítems con dos subescalas. Estos resultados se discuten en términos psicométricos, y desde la perspectiva de los equipos de acreditación y las oportunidades que esto implica para las Instituciones.

Downloads

Download data is not yet available.

Author Biographies

Mónica Núñez Vives, Universidad de Concepción

Ingeniero de Ejecución en Computación e Informática.  Magister en Ciencias de la Computación. Magister en Docencia Universitaria. Jefa de la Unidad de Aseguramiento de la Calidad Institucional, Dirección de Desarrollo Estratégico, Universidad de Concepción. Áreas de Investigación: Aseguramiento de la Calidad en la Educación Superior, Sistemas de Información en Educación Superior

Luis González Bravo, Universidad de Concepción

Psicólogo, Magister en Investigación Social y Desarrollo. Jefe de la Unidad de Estudios Estratégicos, Dirección de Desarrollo Estratégico, Universidad de Concepción. Áreas de Investigación: Aseguramiento de la Calidad en la Educación Superior, Sistemas de Información en Educación Superior

José Zúñiga Peña, Universidad de Concepción

Profesor de Filosofía. Doctor en Educación. Asesor de Acreditación, Unidad de Aseguramiento de la Calidad Institucional, Dirección de Desarrollo Estratégico, Universidad de Concepción. Áreas de Investigación: Aseguramiento de la Calidad en la Educación Superior, Políticas Públicas en Educación Superior, Formación de Profesores, Inclusión Social en Educación.

Edmundo Melipillán Araneda, Universidad de Concepción

Psicólogo, Magister en Investigación Social y Desarrollo. Master of Science in Survey Methodology (Institute for Social Research, Program in Survey Methodology). PhD Survey Methodology (Institute for Social Research, Program in Survey Methodology). Universidad del Desarrollo, Concepción, Chile. Áreas de Investigación: Investigación por encuestas, análisis de datos, construcción de instrumentos.

Iris Aguayo Torres, Universidad de Concepción

Ingeniero Forestal. Magister en Administración y Gestión de la Educación (mención Educación Superior). Magister en Educación por Competencias, Formación por Competencias en la Educación y en las Organizaciones. Asesora Dirección de Postgrado, Universidad de Concepción. Áreas de Investigación: Desarrollo Curricular, Educación Superior

Marcela Varas Contreras, Universidad de Concepción

Ingeniería Civil Informática, Magister en Ciencias de la Computación. Directora del Departamento de Ingeniería Informática, Facultad de Ingeniería, Universidad de Concepción. Áreas de Investigación: Docencia Universitaria, Enseñanza de la Ingeniería, Desarrollo Curricular e Innovación

References

Alderman, L., Towers, S., & Bannah, S. (2012). Student feedback systems in higher education: A focused literature review and environmental scan. Quality in Higher Education, 18(3), 261-280.

Biaggi, G. M. (2019). Efectividad de la enseñanza desde la perspectiva de los alumnos y docentes universitarios: evaluación de un modelo de enseñanza-aprendizaje universitario. (Tesis Doctoral). Universidad de Montemorelos, Montemorelos, México.

Comley-White, N., & Potterton, J. (2018). The perceived barriers and facilitators in completing a Master's degree in Physiotherapy. The South African journal of physiotherapy, 74(1), 445-445. doi:10.4102/sajp.v74i1.445

Correa, M. d. D., & Rueda Beltrán, M. (2012). La evaluación docente en educación superior: uso de instrumentos de autoevaluación, planeación y evaluación por pares. Voces y silencios. Revista Latinoamericana de Educación, 3(2), 59-76.

Drennan, J., & Clarke, M. (2009). Coursework master’s programmes: the student’s experience of research and research supervision. Studies in Higher Education, 34(5), 483-500. doi:10.1080/03075070802597150

Eckhaus, E., & Davidovitch, N. (2019). How Do Academic Faculty Members Perceive the Effect of Teaching Surveys Completed by Students on Appointment and Promotion Processes at Academic Institutions? A Case Study. International Journal of Higher Education, 8(1), 171-180.

Eckhaus, E., & Davidovitch, N. (2019). Potential for Blocking Advancement: Teaching Surveys for Student Evaluation of Lecturers. International Journal of Educational Methodology, 5(3), 401-406.

Feldman, K. A. (1976). The superior college teacher from the students' view. Research in Higher Education, 5(3), 243-288.

Ghadirian, L., Sayarifard, A., Majdzadeh, R., Rajabi, F., & Yunesian, M. (2014). Challenges for better thesis supervision. Medical journal of the Islamic Republic of Iran, 28, 32-32. Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4154287/

Ginns, P., Prosser, M., & Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: the perspective of currently enrolled students. Studies in Higher Education, 32(5), 603-615. doi:10.1080/03075070701573773

Huybers, T. (2014). Student evaluation of teaching: the use of best–worst scaling. Assessment & Evaluation in Higher Education, 39(4), 496-513.

Keeley, J., Furr, R. M., & Buskist, W. (2010). Differentiating psychology students' perceptions of teachers using the teacher behavior checklist. Teaching of Psychology, 37(1), 16-20.

Kember, D., & Leung, D. Y. (2008). Establishing the validity and reliability of course evaluation questionnaires. Assessment & Evaluation in Higher Education, 33(4), 341-353.

Lamarra, N. F., & Coppola, N. (2009). Aproximaciones a la evaluación de la docencia universitaria en algunos países iberoamericanos. Una perspectiva comparada entre similitudes, diferencias y convergencias. Perspectivas en Políticas Públicas, 1(2), 131-163.

Landis, J. R., & Koch, G. G. (1977). An Application of Hierarchical Kappa-type Statistics in the Assessment of Majority Agreement among Multiple Observers. Biometrics, 33(2), 363-374. doi:10.2307/2529786

Loor Ávila, K. J., Gallegos Macías, M. R., Rodríguez, I., Monserrate, M., & Guillén Vivas, X. (2018). University faculty evaluation: Ibero-America trends. Revista Cubana de Educación Médica Superior, 32(1), 239-252.

MacCallum, R. C., Browne, M. W., & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological methods, 1(2), 130-149.

Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students'evaluations of university teaching. British journal of educational psychology, 52(1), 77-95.

Marsh, H. W. (2007). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential biases and usefulness. In The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 319-383): Springer.

Marsh, H. W., Rowe, K. J., & Martin, A. (2002). PhD Students' Evaluations of Research Supervision. The Journal of Higher Education, 73(3), 313-348. doi:10.1080/00221546.2002.11777151

Martínez Iñiguez, J. E., & Tobón, S. (2019). Cuestionario de percepción sobre el impacto de los procesos de acreditación de la calidad educativa en instituciones de Educación Superior. Conrado, 15(70), 242-247.

McKeachie, W. J. (2007). Good teaching makes a difference—And we know what it is. In The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 457-474): Springer.

McLean, M. (2001). Rewarding teaching excellence. Can we measure teaching'excellence'? Who should be the judge? Medical teacher, 23(1), 6-11.

Medel, R., & Asún, R. (2014). Encuestas de evaluación docente y sesgos de género: un estudio exploratorio. Calidad en la Educación(40), 171-199. Retrieved from https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0718-45652014000100006&nrm=iso

Montoya Vargas, J., Arbesú García, I., Contreras Pérez, G., & Conzuelo Serrato, S. (2016). Evaluación de la docencia universitaria en México, Chile y Colombia: Análisis de experiencias. 2016, 7(2e), 15-42. Retrieved from https://revistas.uam.es/index.php/riee/article/view/3111

Mortelmans, D., & Spooren, P. (2009). A revalidation of the SET37 questionnaire for student evaluations of teaching. Educational Studies, 35(5), 547-552.

R Core Team. (2019). R: A language and environment for statistical computing. Viena, Austria: R Foundation for Statistical Computing. Retrieved from https://www.R-project.org/

Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The Course Experience Questionnaire. Studies in Higher Education, 16(2), 129-150. doi:10.1080/03075079112331382944

Revell, A., & Wainwright, E. (2009). What Makes Lectures ‘Unmissable’? Insights into Teaching Excellence and Active Learning. Journal of Geography in Higher Education, 33(2), 209-223. doi:10.1080/03098260802276771

Rivera, J. C., & Rice, M. L. (2002). A comparison of student outcomes and satisfaction between traditional and web based course offerings. Online Journal of Distance Learning Administration, 5(3), 151-179.

Rodríguez, M. T. A., & Sánchez, A. M. (2017). Expansión de la oferta y matrícula de Programas de Magíster en universidades chilenas: una mirada desde las políticas de aseguramiento de la calidad. Pensamiento Educativo, Revista de Investigación Latinoamericana (PEL), 54(1), 1-21.

Salazar, J. (2008). Diagnóstico preliminar sobre evaluación de la docencia universitaria. Una aproximación a la realidad en las universidades públicas y/o estatales de Chile [Preliminary diagnosis on evaluation of university teaching. An approach to reality in public/state universities in Chile]. Revista Iberoamericana de Evaluación Educativa, 1(3), 67-84.

Spooren, P., Mortelmans, D., & Christiaens, W. (2014). Assessing the validity and reliability of a quick scan for student's evaluation of teaching. Results from confirmatory factor analysis and G Theory. Studies in Educational Evaluation, 43, 88-94. doi:https://doi.org/10.1016/j.stueduc.2014.03.001

Toro, J. (2012). Gestión interna de la calidad en las instituciones de educación superior [Internal quality management in higher education institutions]. Santiago, Chile: CINDA/ RIL Editores.

Tucker, B., Oliver, B., & Gupta, R. (2013). Validating a teaching survey which drives increased response rates in a unit survey. Teaching in Higher Education, 18(4), 427-439.

Ugarte, J. J. (2008). Calidad, Formación y Evaluación de la Docencia en la UC. Paper presented at the IV Encuentro Nacional de Docentes Universitarios “La Evaluación Docente como Estrategia para el Desarrollo del Profesor Universitario”, Bogotá.

Veles, N., & Carter, M.-A. (2016). Imagining a future: changing the landscape for third space professionals in Australian higher education institutions. Journal of Higher Education Policy and Management, 38(5), 519-533. doi:10.1080/1360080X.2016.1196938

Venables, J. P., & Van Gastel, J. (2014). Radiografía de los modelos de acreditación: organización, procesos y prácticas. El caso de las universidades Austral de Chile, De la Frontera y De los Lagos [Radiography of accreditation models: organization, processes and practices. The case of Universities Austral de Chile, De la Frontera y De los Lagos]. Calidad en la Educación(41), 51-81.

Whitchurch, C. (2009). The rise of the blended professional in higher education: a comparison between the United Kingdom, Australia and the United States. Higher Education, 58(3), 407-418. doi:10.1007/s10734-009-9202-4

Whitchurch, C. (2015). The Rise of Third Space Professionals: Paradoxes and Dilemmas. In U. Teichler & W. K. Cummings (Eds.), Forming, Recruiting and Managing the Academic Profession (pp. 79-99). Cham: Springer International Publishing.

Published

2022-12-01

How to Cite

Núñez Vives, M., González Bravo, L., Zúñiga Peña, J., Melipillán Araneda, E., Aguayo Torres, I., & Varas Contreras, M. (2022). Propiedades psicométricas de una encuesta genérica de evaluación de la docencia de Magister en una universidad tradicional. REXE- Revista De Estudios Y Experiencias En Educación, 21(47), 254–271. https://doi.org/10.21703/0718-5162202202102147014

Issue

Section

Investigación