Procedimiento para la evaluación de impacto de Maestría en Dirección, Universidad de Sancti Spíritus “José Martí Pérez”

Procedure for the evaluation the impact of the Master's Degree in Direction, University of Sancti Spíritus "José Martí Pérez"

Omar Pérez García1

Adilén Carpio Camacho2

Madanys Idalmis Rodríguez Luis3

Resumen

El artículo aborda la problemática de la evaluación de la calidad de programas de postgrado, dada su incidencia en la identificación de su nivel académico y mejoramiento continuo del proceso formativo de profesionales. Sin embargo, es ineludible hacer que resulte un proceso más efectivo. El Sistema de Evaluación y Acreditación de Maestrías ha incentivado la exigencia de analizar los resultados obtenidos por los estudiantes, su contribución al desarrollo profesional individual y desempeño laboral, así como su impacto para satisfacer expectativas de la sociedad. Consecuentemente, el objetivo del presente artículo es socializar un procedimiento para la evaluación de impacto de la Maestría en Dirección de la Universidad de Sancti Spíritus “José Martí Pérez”. El trabajo desarrollado permitió constatar alta satisfacción de estudiantes y egresados, significativa visibilidad de la producción científica del claustro y los estudiantes (5.75 publicaciones por profesor- tutor; el 65.2% de estas en los grupos I y II.); el 100% de los estudiantes logra visibilidad científica mediante su participación en eventos y publicaciones en revistas científicas. La presentación de ponencias en eventos científicos nacionales e internacionales alcanza un promedio de 16.5 por profesor- tutor. El claustro logra un promedio de 4.6 premios por resultados académicos, investigativos y reconocimientos sociales relevantes. En las entidades analizadas predomina un adecuado clima organizacional; se perciben beneficios económicos y se destaca la promoción de directivos a cargos superiores a niveles: municipal, provincial y nacional. El procedimiento implementado es pertinente y se convierte en útil herramienta para la determinación del impacto en futuras ediciones.

Palabras clave: educación de postgrado, calidad, medición del impacto, mejora continua

Abstract

The article addresses the problem of evaluating the quality of postgraduate programs, given its impact on the identification of their academic level and continuous improvement of the training process of professionals. However, it is unavoidable to make it a more effective process. The Master's Evaluation and Accreditation System has encouraged the requirement to analyze the results obtained by students, their contribution to individual professional development and job performance, as well as their impact to meet society's expectations. Consequently, the objective of this article is to socialize a procedure for the evaluation of the impact of the Master's Degree in Management of the University of Sancti Spíritus "José Martí Pérez". The work developed allowed us to verify high satisfaction of students and graduates, significant visibility of the scientific production of the faculty and students (5.75 publications per professor-tutor; 65.2% of these in groups I and II.); 100% of the students achieve scientific visibility through their participation in events and publications in scientific journals. The presentation of papers in national and international scientific events reaches an average of 16.5 per teacher-tutor. The faculty achieves an average of 4.6 awards for relevant academic, research and social recognition results. In the entities analyzed, an adequate organizational climate predominates; Economic benefits are perceived and the promotion of managers to higher positions at levels: municipal, provincial and national stands out. The implemented procedure is pertinent and becomes a useful tool for determining the impact in future editions.

Keywords: postgraduate education, quality, impact measurement, continuous improvement, procedure

Introducción

Es ampliamente reconocido que la educación es un derecho humano, un importante motor del desarrollo y uno de los instrumentos más eficaces para reducir la pobreza, mejorar la salud y lograr la igualdad de género, la paz y la estabilidad. Además de generar rendimientos elevados y constantes en términos de ingreso, constituye el factor más importante para garantizar la igualdad y la inclusión (Banco Mundial, 2022; Chaveco, 2022).

Específicamente, la educación de postgrado se considera como un recurso para el mejoramiento sostenido de los indicadores de desarrollo social de un país. Los estudios de postgrado son determinantes de primer orden sobre la producción científica y tecnológica y consecuentemente con la calidad de vida o riqueza de los países (Aguirre et a., 2019). Asimismo, los logros científico técnicos de las universidades “deben ser los beneficios sociales de la sociedad en general y de su entorno más inmediato en particular” (Alum, 2023, p. 3).

En Cuba la educación posgraduada, que tiene como propósito contribuir de manera sistemática a la elevación de la productividad, eficiencia y calidad del trabajo, se desarrolla en dos vertientes fundamentales: la superación continua de los egresados y la formación académica de postgrado, que contempla como formas organizativas la Especialidad, la Maestría y el Doctorado (República de Cuba. Ministerio de Educación Superior, 1996)

Consecuentemente, las Instituciones de Educación Superior (IES) deben realizar acciones previsoras que permitan atender los numerosos desafíos que la sociedad les exige en el campo de la formación inicial y posgraduada. Por tal razón las universidades han visto, en los últimos tiempos, la evaluación como un proceso necesario para mejorar sus programas académicos de postgrado. El Sistema de Evaluación y Acreditación de Maestrías de la República de Cuba ha promovido la necesidad de tener en cuenta el impacto de estos programas como vía para satisfacer las expectativas de la sociedad (MES, 2019)

Los programas de Maestría son una herramienta importante para el desarrollo académico y profesional de los estudiantes, así como para el avance de la investigación en diversas áreas del conocimiento. Sin embargo, es fundamental evaluar su impacto para conocer su efectividad y realizar mejoras en su implementación. Este tipo de evaluación implica analizar los resultados obtenidos por los estudiantes, su contribución al desarrollo académico y laboral, así como su impacto en la sociedad. Para ello, se utilizan métodos como las encuestas a estudiantes y egresados, las entrevistas y encuestas a empleadores y la revisión de documentos institucionales.

En resumen, la evaluación del impacto de programas de Maestría es un proceso esencial para garantizar su calidad y relevancia en el mundo académico y laboral. Es necesario seguir trabajando en mejorar la calidad de la evaluación y en adaptar los programas a las demandas del mercado y de la sociedad en general. De esta manera, se podrá asegurar que los programas de Maestría sigan siendo una herramienta efectiva para el desarrollo académico y profesional de los estudiantes y para el avance de la investigación en diversas áreas del conocimiento.

Teniendo en cuenta estas consideraciones, el objetivo de artículo consiste en socializar un procedimiento para la evaluación de impacto de la Maestría en Dirección de la Universidad de Sancti Spíritus “José Martí Pérez” y algunos resultados de su implementación.

Desarrollo

La evaluación de la calidad de los programas de postgrado es una necesidad para identificar el nivel académico de estos y poder tomar decisiones para la mejora continua de la formación de los profesionales de cuarto nivel (Patiño y Alcántara, 2020). Sin embargo, la discusión alrededor de la evaluación de la calidad de programas ha pasado a planos superiores; ya no gira alrededor de si resulta necesaria y conveniente realizarla, sino, ante todo, se relacionan con la búsqueda de cómo resulta más efectiva (Alemañy et al, 2021, p.1).

Mestre et al. (2016) refiere que:

la evaluación de impacto es un proceso evaluativo orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas. La medida de los resultados permite comparar el grado de realización alcanzado con el grado de realización deseado; compara, de esta forma, la planeación con el resultado de la ejecución. El impacto de un programa formativo puede ser clasificado en función de su objeto: impacto en el conocimiento, impacto económico e impacto social. (p. 87)

Autores como Nieto et al. (2022) plantean que:

la evaluación del impacto de la capacitación es un proceso que posibilita el conocimiento de los efectos de un programa formativo en relación con las metas propuestas (eficacia) y los recursos asignados (eficiencia). Tiene como objetivo determinar si un programa produjo los efectos deseados en las personas e instituciones y si esos efectos son atribuibles a su intervención (p. 352)

Para cumplimentar este propósito existen modelos como el de Kirkpatrick, (2000), citado por Mestre et al. (2016) y Vargas (2019) que establece la existencia de cuatro niveles, como se refleja a continuación:

Asimismo, autores como López et al. (2017), Fleitas y Hernández, (2019), García et al. (2021), reconocen la existencia de principios y premisas para la medición del impacto de la capacitación, los cuales son asumidos para el proceso de medición y/o evaluación del impacto de la Maestría en Dirección de la Universidad de Sancti Spíritus “José Martí Pérez”, que ostenta la categoría de “Programa Académico de Excelencia” desde el 31 de mayo de 2018: Folio 21, Número 479, del libro de la Junta de Acreditación Nacional).

Dentro de los principios se considera que la evaluación se debe realizar de forma individual. El impacto de la capacitación se produce en el directivo y en su organización; asimismo contribuye a la mejora del proceso de capacitación, permite la retroalimentación del desempeño del evaluado debido a la capacitación recibida, de lo cual se toman decisiones para la mejora continua; se debe realizar de forma sistemática. El tiempo de evaluación debe estar claramente establecido, y mediante un trabajo coordinado entre evaluados y evaluadores; además, posee carácter integrador. Está integrada a las etapas de la gestión del proceso de capacitación. Se planifica, ejecuta y mejora la evaluación y a la vez se evalúa la planificación, la ejecución y la mejora.

Las premisas están relacionadas con que debe existir compromiso de veracidad con la información brindada (evaluador y evaluado brindaran de manera precisa y consciente la información para la correcta evaluación del impacto de la capacitación); el diseño de la capacitación debe estar en correspondencia con las metas establecidas y las necesidades identificadas; deberá existir apoyo de la dirección de entidades participantes como estructura responsable de la evaluación; se debe mostrar preparación del evaluador y los evaluados para realizar el complejo proceso de evaluación, así como sensibilidad por los cuadros para contribuir a la identificación de los cambios provocados por la capacitación.

Para la medición y evaluación del impacto de la Maestría en Dirección de la Universidad de Sancti Spíritus “José Martí Pérez” (UNISS) se propone seguir el siguiente procedimiento (Ruiz y Sánchez, 2022, p.11), que se presenta en la figura 1.

Figura 1

Procedimiento para la medición y evaluación del impacto del programa de Maestría en Dirección de la UNISS.

Fuente: Elaboración propia a partir de Ruiz y Sánchez, (2022).

Con el presente estudio se pretende evaluar el impacto de la ejecución del programa de la Maestría en Dirección de la UNISS, lo cual implica valorar el cumplimiento de los objetivos previstos en el diseño del programa, a partir del análisis cuantitativo y cualitativo y de la ponderación de los éxitos logrados y las deficiencias detectadas, así como la constatación de las transformaciones que se producen en los estudiantes / egresados; los aportes y resultados para las instituciones de los participantes, la propia UNISS y la sociedad espirituana, como principal cliente o parte interesada en el desarrollo de dicho programa.

En el estudio participan las siguientes partes:

A continuación, se explicará metodológicamente el procedimiento, que comienza con la etapa de “Caracterización del programa”. Esta actividad es responsabilidad del Comité Académico, que estudiará toda la documentación relacionada con el programa (según lo establecido en el Reglamento de posgrado y las normativas vigentes) y determina la información necesaria para la caracterización del proceso de la edición del programa, según indicadores previamente definidos y que guían el proceso evaluativo.

Al respecto se debe señalar que los indicadores son herramientas útiles para la planeación y la gestión en general, y tienen como objetivos generales: generar información útil para mejorar el proceso de toma de decisiones, el proceso de diseño, así como la implementación y evaluación de un plan, programa; monitorear el cumplimiento de acuerdos y compromisos; cuantificar los cambios en una situación que se considera problemática; efectuar seguimiento a los diferentes planes, programas y proyectos para tomar los correctivos oportunos y mejorar la eficiencia y eficacia del proceso en general.

A los efectos de este proceso de caracterización se propone tener en cuenta los siguientes aspectos:

Los autores del presente trabajo reconocen que, cualquiera sea la actividad a evaluar, se debe propiciar una preparación previa a los agentes participantes con el propósito de profundizar y aclarar conceptos, criterios de evaluación, indicadores que se van a evaluar, tipo y características de la información, contextualización y condiciones del ambiente en que se conserva la información que se va a supervisar, otros aspectos que se consideren.

A partir de ello corresponde su turno a la etapa 2, denominada: Sensibilización y capacitación de los implicados, en la que el Comité Académico deberá realizar reuniones de trabajo con todas las personas relacionadas, directa o indirectamente, con la medición y evaluación del impacto del programa de maestría: profesores y tutores, estudiantes/egresados, empleadores, directivos de la institución y del territorio (autoridades del gobierno y el PCC).

El propósito de estas sesiones de trabajo será planificar y establecer un cronograma de trabajo, así como para lograr el compromiso de cooperación de los distintos agentes participantes, teniendo en cuenta los aspectos siguientes: entrevista con los participantes; asignación de responsabilidades en el proceso de evaluación; aseguramiento de recursos materiales y humanos, así como la selección y capacitación de los facilitadores del proceso de evaluación.

En la etapa 3: Modelación de la evaluación de impacto, se realizará la operacionalización de la evaluación, donde se precisan los aspectos a considerar y se contextualizan las expectativas y las metas de este proceso. Además, se procede a la identificación de los resultados esperados y la elaboración o selección de los instrumentos o técnicas a aplicar: encuestas y entrevistas a estudiantes / egresados, empleadores, directivos de entidades empleadoras y de la IES, subordinados de los egresados, entre otras.

La operacionalización de la evaluación implica definir los impactos deseados. A los efectos del procedimiento, los autores consideran oportuno tener en cuenta los niveles mencionados anteriormente: (1) satisfacción y (2) aprendizaje, los cuales están relacionados con los impactos en el nivel individual, es decir, desde la perspectiva del estudiante y su precepción sobre la formación recibida, el nivel en que se alcanzan los objetivos vinculados a la apropiación y/o desarrollo de competencias necesarias para la actividad de dirección.

Si el personal está satisfecho con el curso, aprende mucho y demuestra un elevado desempeño laboral entonces hay un alto impacto a nivel individual. Además, se toma en consideración los niveles (3) desempeño en el puesto, y (4) impacto que están directamente relacionados con el impacto en el plano organizacional, es decir, con la valoración de los niveles de aplicación de lo aprendido en el puesto de trabajo y la medición del impacto económico operacional de las acciones de capacitación en el proceso productivo de bienes y servicios, así como sus efectos en el desempeño profesional de los egresados. Si se corrobora lo anterior, entonces el impacto es alto.

Consecuentemente, para la presente edición se determinan los siguientes impactos: En la dimensión individual (es la repercusión que tiene la capacitación recibida, mediante cambios favorables en el nivel de satisfacción, competencias de los individuos y su desempeño en el puesto de trabajo, evaluándose en alto, medio o sin impacto):

Mientras que en la dimensión organizacional (es la repercusión que tiene la capacitación recibida, mediante cambios favorables en el nivel de satisfacción, competencias de los individuos y su desempeño en el puesto de trabajo, evaluándose en alto, medio o sin impacto):

La etapa 4 está asociada a la Ejecución y análisis de los resultados. Durante la misma se realizarán tareas, tales como: distribución y aplicación de los instrumentos diseñados para la recopilación de información; determinación de la metodología para procesar la información; creación de mecanismos de recepción y entrega de la información (implica el análisis e interpretación de los datos como resultado de toda la información acumulada y la elaboración del informe preliminar para la socialización de resultados); procesamiento de datos; elaboración del informe final; preparación de la socialización de los resultados

Específicamente, la tarea relacionada con el procesamiento de los datos es muy importante, ya que la misma presupone la determinación de indicadores y el método de análisis a emplear. Además, deberá seguir la secuencia que se muestra en la figura 2.

Figura 2

Modelo lógico para realizar el procesamiento de datos/información.

Fuente: Elaboración propia.

La etapa 5 consiste en la Socialización de los resultados. Su finalidad es hacer la presentación de los resultados ante el Comité Académico, colectivo de profesores y tutores, estudiantes, egresados, directivos de la UNISS y entidades empleadoras, autoridades del gobierno y el PCC, los que son sometidos a juicio de todos los implicados. Se estudian las principales dificultades en el proceso de evaluación para darle solución y se elaboran las recomendaciones para la toma de decisiones en el desarrollo de los planes de medidas, que posibiliten las correcciones necesarias en la planificación, organización y desarrollo de nuevas ediciones del programa de maestría.

Una vez aplicados los instrumentos diseñados se constatan los resultados siguientes:

Dimensión individual

Dimensión organizacional

Conclusiones

El procedimiento propuesto posee un enfoque de proceso con la finalidad de evaluar la pertinencia e impacto del programa mediante el conocimiento de: niveles de satisfacción con la formación recibida; evaluación del aprendizaje en el campo de lo cognitivo de cada curso, fundamentalmente de las competencias necesarias para la actividad de dirección; nivel de aplicación de las mismas en el ambiente de trabajo de los egresados; medición del impacto económico operacional de las acciones de capacitación en el proceso de producción o servicios y los efectos en el desempeño profesional de los egresados.

Los instrumentos o herramientas que se proponen para la captación y procesamiento de la información relacionada con el programa presuponen el necesario involucramiento de todos los agentes participantes en el proceso de autoevaluación del programa de maestría, en aras de su mejoramiento continuo.

Referencias

Aguirre, J., Castrillón, F. y Arango-Alzate, B. (2019). Tendencias emergentes de los postgrados en el Mundo. Revista Espacios, 40(31), 1-13. https://www.revistaespacios.com/a 19v40n31/a19v40n31p09.pdf

Alemañy Pérez, E.J, Cunill López, M.E, Herrera Maso, J.R., y Bernaza Rodríguez, G.J. (2021). Gestión de calidad en programas de maestría. Educación Médica Superior, 35(4), 1-17.

Alum Dopico, N.E. (2023). Los estudios de posgrado para el desarrollo social del país. ¿Qué ha sucedido en Cuba?. Mendive, 21(2), 1-7. https://mendive.upr.edu.cu/index.php/MendiveUPR/article/view/3415

Banco Mundial (11 de octubre de 2022). Educación. Panorama general: contexto. https://www.bancomundial.org/es/topic/education/overview

Chaveco Asin, K. (2022). Transversalización del Objetivo de Desarrollo Sostenible 5 en la docencia de posgrado, Universidad de Oriente. Revista Santiago, 75, 257-269. https://santiago.uo.edu.cu/index.php/stgo/article/view/5800/5025

Fleitas Triana, M.S., y Hernández Medina, L.A. (2019). La medición del impacto en las capacitaciones: una herramienta eficaz dentro de la empresa. Revista Electrónica Cooperación- Universidad- Sociedad, 4(2), 24-32. https://dialnet.unirioja.es/descarga/articulo/7149185.pdf

García González, M., García Rodríguez, A., Ortiz Cárdenas, T. (2021). Análisis desde la evaluación de impacto en la capacitación a directivos. Avances, 23(3), 1-14. https://www.redalyc.org/journal/6378/637869395002/html/

López Boudet, R., Reyes Vidal, Y., y Molina Álvarez, A.T. (2017). Evaluación del impacto de la capacitación en directivos de instalaciones turísticas. Ciencia, Docencia y Tecnología, 28(54), 130-149. https://www.redalyc.org/journal/145/14551170005/html/

MES (2019): Resolución Ministerial No. 11/2019. Subsistema de Evaluación y Acreditación de Maestrías de la República de Cuba (SEA-M). La Habana

Mestre Gómez, U., Quiroz Fernández, L.S., y Zambrano Acosta, J.M (2016). Criterios para la evaluación del impacto académico de programas de maestría en la modalidad semipresencial. Didasc@lia: Didáctica y Educación. 7(5), 85-96. https://revistas.ult.edu.cu/index.php/didascalia/article/view/538/537

Nieto, O.M., Suárez Pérez, Y., González Blanco, I., Grimón Cebreiro, M.Y. (2022). Evaluación del impacto de la maestría en Farmacología del Instituto de Farmacia y Alimentos. RCES, 41(2), 351-367.

Patiño, J., y Alcántara, A. (2020). Una década evaluando la calidad del posgrado en México (2008-2018). Interacao, 45(3), 653-669.

República de Cuba. Ministerio de Educación Superior. (1996). Reglamento de la Educación de Posgrado de la República de Cuba. La Habana: MES.

Ruiz González, M.A & Sánchez Vignau B.S. (2022). Contribuciones e impactos de la Maestría en Gestión de Información para el desarrollo infotecnológico de organizaciones en Cuba. Bibliotecas. Anales de Investigación; 18(2), 1-15. http://revistas.bnjm.cu/index.php/BAI/article/view/464

Vargas Fernández, T. (abril-junio 2019). Sistema de evaluación de impactos de la Maestría en Dirección. Mendive, 17(2), 264-275. https://mendive.upr.edu.cu/index.php/MendiveUPR/article/view/1542/html

Anexo A

Muestra de resultados alcanzados en algunas investigaciones: Incidencia de la estrategia de comunicación interna en el mejoramiento de la comunicación organizacional en la UEB SEPSA Sancti Spíritus.

Figura 3

Calidad informativa de los canales y medios de comunicación utilizados.

Fuente: elaboración propia.

Figura 4

Evaluación del proceso de comunicación interna.

Fuente: elaboración propia.

Figura 5

Valoración de la efectividad de la comunicación interna.

Fuente: elaboración propia.

Figura 6

Calidad de los mensajes internos.

Fuente: elaboración propia.

Figura 7

Comportamiento de factores internos de la UEB SEPSA Sancti Spíritus durante los años 2019 y 2020.

Fuente: elaboración propia.

Anexo B

Muestra de resultados alcanzados en algunas investigaciones: Impacto del rediseño organizativo sobre la eficiencia económica en la UEB GASES Sancti Spíritus.

Figura 8

Kilómetros recorridos por transporte de la UEB Gases Sancti Spíritus y transporte de los clientes o consumidores.

Fuente: elaboración propia.

Figura 9

Consumo de combustible por la UEB Gases Sancti Spíritus y los clientes o consumidores.

Fuente: elaboración propia.

Anexo C

Muestra de resultados alcanzados en algunas investigaciones: Mejoras del proceso de gestión de servicios de las TI en la UEB Aplicaciones de Redes Sancti Spíritus.

Figura 10

Cantidad de servicios cubiertos por los SLA

Fuente: elaboración propia.

Figura 11

Cantidad de servicios SLA que cumplen con los niveles de servicio acordados.

Fuente: elaboración propia.

Figura 12

Cantidad de servicios SLA revisados regularmente.

Fuente: elaboración propia.

Figura 13

Cantidad de ediciones desplegadas en el área de producción de TI.

Fuente: elaboración propia.

Figura 14

Porcentaje de propuestas implementadas.

Fuente: elaboración propia.

Figura 15

Cantidad de ediciones revertidas por ediciones: mayores y menores.

Fuente: elaboración propia.

Figura 16

Otros indicadores controlados.

Fuente: elaboración propia.


  1. Licenciado en Filosofía. Máster en Dirección. Grupo de Calidad de la Universidad de Sancti Spíritus “José Martí Pérez”. Cuba. E-mail: omarp@uniss.edu.cu ORCID: https://orcid.org/0000-0003-1680-6933↩︎

  2. Licenciada en Psicología. Doctora en Ciencias Psicológicas, Máster en Dirección; Máster en Psicopedagogía. Centro de Estudios de Técnicas Avanzadas de Dirección. Facultad de Ciencias Técnicas y Económicas de la Universidad de Sancti Spíritus “José Martí Pérez”. Cuba. E-mail: adilencarpio@gmail.com ORCID: https://orcid.org/0000-0002-8089-3333↩︎

  3. Ingeniera en Control Automático. Departamento de Contabilidad, Costo y Auditoria. Facultad de Ciencias Técnicas y Económicas de la Universidad de Sancti Spíritus “José Martí Pérez”. E-mail: madanys.rodriguez@carnicoss.alinet.cu ORCID: https://orcid.org/0000-0001-7604-4737↩︎