METODOLOGÍA PARA EVALUACIÓN DE IMPACTO DE INVESTIGACIONES DOCTORALES 1
Introducción, generalización y evaluación de impactos de resultados de tesis doctorales. Metodología aplicada
Introduction, generalization and evaluation of doctoral thesis results impacts. Applied methodology
Mildred Rebeca Blanco Gómez [1]
Luis Téllez Lazo [2]
Yoenia Olivia Infante Cabrera[3]
Resumen
La introducción y generalización de resultados es un proceso que cada vez requiere de mayor atención, seguimiento y evaluación en la práctica educacional. La evaluación de los impactos de ese proceso también constituye un reto a la innovación educativa, de forma que se optimicen recursos y se pueda ver la efectividad de las investigaciones a mayor escala. El trabajo que se presenta es resultado del proyecto de investigación que lleva por título Evaluación del impacto del Programa de Doctorado en Ciencias de la Educación en el municipio Las Tunas. El objetivo fue aplicar las investigaciones doctorales que responden a la educación general para medir los impactos en el proceso educativo y de enseñanza-aprendizaje. La innovación educativa siguió las siguientes etapas: 1. Selección de las tesis que responden a los diferentes subsistemas de educación. 2. Evaluación de la pertinencia de las tesis según las transformaciones del Tercer Perfeccionamiento, 3. Ajustes de los resultados de investigaciones doctorales a las nuevas condiciones de aplicación 4. Capacitación a los directivos sobre introducción y generalización de resultados, 5. Aplicación en la práctica de los resultados ajustados y 6. Evaluación de los impactos obtenidos. Se trabajó, además, en la formación científica de los miembros del proyecto y las principales transformaciones ocurridas en el colectivo de investigadores las cuales se resumen en: la selección de un tema de doctorado o maestría, la propuesta de nuevos proyectos de investigación y la preparación alcanzada para dirigir los procesos de introducción y generalización de resultados.
Palabras clave: introducción de resultados científicos, generalización de tesis doctorales, evaluación de impactos.
Abstract
The introduction and generalization of results is a process that increasingly requires greater attention, monitoring and evaluation in educational practice. The evaluation of the impacts of this process also constitutes a challenge for educational innovation, so that resources are optimized and the effectiveness of large-scale research can be seen. The work presented is the result of the research project titled Evaluation of the impact of the Doctorate Program in Educational Sciences in the municipality of Las Tunas. The objective was to apply doctoral research that responds to general education to measure the impacts on the educational and teaching-learning process. Educational innovation followed the following stages: 1. Selection of theses that respond to different subsystems of education, 2. Evaluation of the relevance of the theses according to the transformations of the third improvement, 3. Adjustments of the results of doctoral research, 4. Training for managers on introduction and generalization of results, 5. Application of the adjusted results in practice and 6. Evaluation of the impacts obtained. We also worked on the scientific training of the members of the project and the main transformations that occurred in the group of researchers, which are summarized in: the selection of a doctoral or master's topic, the proposal of new research projects, the preparation achieved. To direct the processes of introduction and generalization of results.
Keywords: introduction of scientific results, generalization of doctoral theses, impact evaluation.
Introducción
En un contexto signado por el perfeccionamiento continuo de los procesos sociales, la educación se inserta con la tarea de formar las nuevas generaciones de cubanos capaces de defender las conquistas de la Revolución e impulsar el desarrollo económico-social. Para lograr tal propósito, es preciso resolver los problemas que se presentan en el accionar de directivos y docentes, en muchos casos por la vía de la investigación.
Una crítica recurrente que se hace a las investigaciones a ciclo completo es que, una vez que se obtienen los resultados que resolvieron los problemas identificados, no se divulgan suficientemente lo que provoca que no se generalicen en contextos similares, para resolver problemas de igual naturaleza. En ocasiones se dice que los resultados se “engavetan” y no producen el efecto esperado.
Tradicionalmente se evalúa el informe de la investigación en un acto formal, que toma como referencia la introducción del resultado teórico-práctico en el caso del doctorado, o predominantemente práctico en el caso de la maestría o la especialidad de posgrado. ¿Y dónde queda la etapa de generalización? ¿Cuántos más están necesitando de ese mismo resultado? Hace un tiempo ya se desarrollaban en la Universidad de Ciencias Pedagógicas de Las Tunas, encuentros entre los directivos de facultades, los jefes de proyectos de investigación y los coordinadores de programas académicos, con los directivos de los diferentes niveles educacionales, quienes portaban el banco de problemas y sus prioridades a resolver por medio de la investigación. Pero hoy la realidad es otra, la internet acerca el conocimiento a todos, más en tiempos en los que el estado cubano se ha propuesto la informatización de la sociedad y los procesos que en ella se suceden.
Por lo planteado anteriormente es que se promueve la evaluación de los impactos de las investigaciones, como un llamado constante a la economía de recursos humanos y materiales en la solución de problemas: ¿para qué resolver problemas ya resueltos? De igual manera, la evaluación de los impactos de las investigaciones proporciona información valiosa para el monitoreo de la marcha de los programas académicos, que conduce a su mejora continua. El presente trabajo tiene como propósito establecer las bases teóricas de la evaluación de impacto de investigaciones.
Desarrollo
A partir de la proliferación de los diccionarios digitales, comienza a emplearse el término desambiguación, muy importante porque permite al lector ubicarse en la acepción de un término polisémico. Por ello, se comienza este trabajo por la desambiguación de la expresión evaluación de impacto.
Según el Diccionario en línea de la Real Academia Española (DLE, 2023), el término evaluación se refiere a la acción y efecto de evaluar, un verbo que proviene del francés évaluer y significa señalar, estimar, apreciar o calcular el valor de algo, dentro de lo que connota a los conocimientos, aptitudes y rendimientos de los estudiantes. Para los fines de este trabajo, el término valor es de particular importancia, ya que puede asociarse al verbo valorar o su efecto, la valoración, la que constituye una de las dimensiones de la actividad, al decir de Pupo Pupo (1990).
Por otro lado, el impacto proviene del latín tardío impactus y de sus cinco acepciones se aviene a los intereses de este trabajo la que refiere que consiste en el efecto producido en la opinión pública por un acontecimiento, etc. El acontecimiento aquí se traduce en investigación. Es decir, se considera que:
El impacto de las investigaciones en una institución educativa es el resultado de los logros derivados del desarrollo de un proyecto y/o línea de investigación en espacio-tiempo y pueden medirse y cuantificarse en corto, mediano y largo plazo. Los logros alcanzados pueden tener repercusión en el sector educativo, científico, económico y/o social. (Cruz et al, 2018, p. 1)
Pero aquí se trata de evaluar la repercusión de los resultados de las investigaciones en la transformación positiva de los problemas que se presentan en los diferentes niveles de educación, mediante la introducción de los resultados obtenidos en las investigaciones doctorales. Aclarados ambos términos, comienza la fundamentación en el ámbito educacional y su repercusión en la mejora continua de este.
La evaluación de impacto tiene su origen en la segunda mitad del siglo XX, cuando comenzó a ser una preocupación de los investigadores los efectos de la actividad humana en el medio ambiente, se asocia la evaluación del impacto ambiental con su repercusión en lo social. Tiene su base filosófica en la dialéctica materialista, principalmente en sus principios, leyes y categorías, particularmente en la objetividad, el desarrollo, el carácter histórico-concreto y clasista de la educación, en la ley del tránsito de los cambios cuantitativos en cualitativos y viceversa y en las categorías causa-efecto (Cardentey et al., 2002).
En cuanto a su base sociológica, se reconoce que la evaluación de impactos tiene una contribución significativa al cambio educativo, siempre y cuando se logre la necesaria conjunción de las influencias educativas entre las agencias y agentes que tienen una responsabilidad en el proceso pedagógico. A su vez, debe comprenderse desde la concepción más amplia de la socialización, a un nivel macro, que transforme a los diferentes protagonistas del proceso mediante la individualización (Blanco, 2001).
En lo pedagógico es preciso comprender este proceso en sus principales características: dirigido, complejo, sistémico, contextualizado, multicausal y multifactorial (González y Reinoso, 2004). También, la relación que debe establecerse entre lo formativo y lo desarrollador, lo instructivo y lo educativo, como garantes del éxito del resultado a evaluar (Chávez et al., 2005), desde la perspectiva de las particularidades psicológicas de los protagonistas, la imprescindible motivación e interés que en ellos se despierte (González et al., 2004).
La evaluación es una categoría común a diferentes Ciencias de la Educación; por ejemplo, en la Didáctica es un componente no personal que, con carácter de proceso y resultado, integra armónicamente sus funciones instructivas, educativas y desarrolladoras en aras de valorar el cumplimiento de los objetivos trazados. Pero también es una de las etapas del proceso de dirección, la que cierra un ciclo completo en la espiral del desarrollo, y tiene los mismos fines.
La evaluación de impacto es un tipo particular de evaluación. A su estudio se han dedicado valiosos profesionales de diferentes especialidades como, por ejemplo: Taboada (2015), Mestre et al., (2015), Cruz et al., (2018) y García (2022). En cierta medida, sus criterios confluyen en la valoración de los cambios que se producen en los diferentes procesos para mejorarlos. Para los fines de este trabajo se considera apropiado considerar la evaluación de impacto en las palabras de (Mestre et al., 2015) como “el proceso evaluativo orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas” (p. 87).
Desde la perspectiva de este autor, las intervenciones son la generalización de los resultados en las investigaciones. Mediante el uso de metodologías, procedimientos o instrumentos, se establece una dinámica entre la causa (resultados a generalizar) y los efectos que pueden tener sobre su población beneficiaria y conocer si dichos efectos son en realidad atribuibles a su intervención. El principal reto de una evaluación de impacto es determinar qué habría pasado con los beneficiarios si el programa no hubiera existido (Mestre et al., 2015).
Estos autores plantean que la medida de los resultados, es la característica principal de la evaluación de impacto y permite comparar el grado de realización alcanzado con el grado de realización deseado; es decir, lo que se planeó con lo que se logró ejecutar. Esta diferencia puede atribuirse a los efectos secundarios a la planeación y a la ejecución: específicos y globales; buscados (según los objetivos) o no; positivos, negativos o neutros; directos o indirectos (la puesta en marcha del programa puede generar por sí misma efectos sobre los directamente involucrados, hasta la sociedad toda.
El impacto se puede manifestar en diferentes aristas:
- En lo científico,
- En lo formativo,
- En lo social y
- En lo económico.
El impacto de los resultados obtenidos en el ámbito educacional se produce, mayoritariamente en lo científico-formativo, de estudiantes, docentes y directivos sin desconocer que, a largo plazo, lo formativo repercute tanto en lo económico, como en lo social. La evaluación del impacto de los resultados de investigaciones puede compararse con un experimento pedagógico formativo, pero a mayor escala, es decir, con el cual se pretende transformar a una mayor cantidad de beneficiarios. Es por ello que debe dirigirse a obtener datos cuantitativos y cualitativos y hacer las correspondientes inferencias desde diferentes dimensiones:
- Pertinencia. Se evalúa el grado en el cual el resultado es consecuente con objetivo trazado, con las prioridades del desarrollo marcado por la sociedad, en su mayoría declarados en el modelo formativo del nivel educacional. Este indicador implica analizar los aspectos políticos y científicos y permite determinar la validez de los resultados como contribución a los cambios que se definieron en los objetivos.
- Eficacia. Se evalúa el grado en el cual se logra el efecto esperado con el resultado, es decir, el cumplimiento de los objetivos trazados.
- Eficiencia. Se evalúa el grado en el que se pudo disponer de forma óptima y oportuna de los recursos humanos y materiales para obtener el efecto esperado (análisis de costo-beneficio).
- Impacto/Propósito. Se evalúan los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados, es decir, es una valoración socio-económica global.
- Sostenibilidad. Se evalúa la posibilidad de mantener los impactos positivos del resultado en un largo periodo de tiempo, sobre la base del estudio del efecto global en el tiempo.
La evaluación de impacto es una actividad compleja y debe apoyarse en la combinación dialéctica de métodos del nivel teórico y empírico; de este último resultan útiles la aplicación de encuestas, entrevistas, pruebas pedagógicas, entre otros, y su procesamiento estadístico. No se descarta la utilización de criterio de expertos, la consulta a especialistas o su variante tunera: los talleres de opinión crítica y construcción colectiva, con los cuales se obtienen resultados confiables y en menor tiempo.
La aplicación de los métodos del nivel empírico requirió, como paso previo, la operacionalización de la variable: evaluación del impacto de los resultados de las investigaciones doctorales. Se definió operacionalmente, para los fines de este trabajo, que la evaluación de impacto es un proceso de valoración sistemática de las transformaciones ocurridas en el proceso pedagógico y sus actores, como consecuencia de la introducción y/o generalización de los resultados científicos obtenidos en las investigaciones doctorales.
Esta variable se desglosó en dos dimensiones: la organizativa y la transformadora. En el caso de la primera dimensión, la organizativa, se refiere al proceso de identificación de problemas, selección de resultados que puedan resolverlos y la puesta en práctica de acciones para introducir y/o generalizar los resultados. Esta dimensión está conformada por los siguientes indicadores:
La segunda dimensión, la transformadora, se refiere a la contribución que puede generarse en los actores del proceso pedagógico (directivos, docentes, estudiantes, etc.) la introducción y/o generalización de los resultados de las investigaciones doctorales. La integran los siguientes indicadores:
Los datos obtenidos de la aplicación de los instrumentos diseñados y su procesamiento posibilitaron la obtención de inferencias necesarias para diseñar la metodología a seguir para la introducción y/o generalización de los resultados de las investigaciones doctorales y, por ende, la evaluación del impacto del Programa, a partir de los criterios de Rodríguez y Cobas (s.f.).
Metodología para introducción, generalización y evaluación de impactos de tesis doctorales
A continuación, se detallan las etapas de la metodología, denominadas:
1. Selección de las tesis que respondan a cada nivel educacional.
2. Evaluación de la pertinencia de las tesis según las transformaciones del Tercer Perfeccionamiento.
3. Ajustes de los resultados de investigaciones doctorales.
4. Capacitación a los directivos sobre introducción y generalización de resultados.
5. Aplicación en la práctica de los resultados ajustados
6. Evaluación de los impactos obtenidos.
Los procedimientos que corresponden a cada etapa se enumeran seguidamente:
Primera etapa: Selección de las tesis que responden a la educación media superior
- Realizar un inventario de las tesis defendidas en el Programa de Doctorado en Ciencias de la Educación, con una clasificación por años, niveles educacionales y autores, por la naturaleza del resultado (pedagógica o didáctica), por asignatura en que puede aplicarse, entre otros criterios.
- Identificar las que responden a cada nivel educacional.
Segunda etapa: Evaluación de la pertinencia de las tesis según las transformaciones del tercer perfeccionamiento
- Crear equipos de trabajo con especialista de las Educaciones Preuniversitaria y la Educación Técnica y Profesional, en el cual se incluyan la mayor cantidad de autores de los resultados posibles.
- Realizar un intercambio con los especialistas para identificar los problemas priorizados a resolver, de naturaleza pedagógica o didáctica
- Identificar las tesis a introducir en determinados contextos y las que se pueden generalizar a nivel del municipal o provincial.
- Confeccionar una guía para el estudio de pertinencia y posibilidades de generalización en el contexto actual de las políticas del Tercer Perfeccionamiento
Tercera etapa: Ajustes de los resultados de investigaciones doctorales
- Proponer a los autores de los resultados de las tesis (defendidos y tutores) las modificaciones que sean necesarias para que se puedan lograr los objetivos, en correspondencia con las demandas del nivel educacional y el Tercer Perfeccionamiento Educacional.
- Someter las modificaciones a valoración de los equipos de trabajo con especialista de las Educaciones Preuniversitaria y la Educación Técnica y Profesional, así como algunos directivos, funcionarios y metodólogos seleccionados.
- Elaborar los materiales de orientación a los usuarios de los resultados, así como las recomendaciones metodológicas para la introducción y generalización, según los contextos.
Cuarta etapa: Capacitación a los directivos sobre introducción y generalización de resultados
- Diseñar el sistema de capacitación y preparación a los directivos, según el cargo y rol que desempeña en el proceso de introducción y generalización de los resultados.
- Acompañar el proceso de planificación sobre la base de las innovaciones educativas que surgen como resultados de la introducción y generalización de los resultados seleccionados y ajustados.
Quinta etapa: Aplicación en la práctica de los resultados ajustados
- Acompañar a los directivos en la capacitación a los responsables directos de la introducción y generalización de los resultados.
- Distribuir los materiales de orientación a los usuarios y las recomendaciones metodológicas para la introducción y generalización.
- Monitorear el proceso de introducción y generalización con las actividades del sistema de trabajo por la Dirección General de Educación, en particular las visitas de ayuda metodológica y de inspección que se planifiquen.
- Tomar decisiones oportunas que posibiliten corregir deficiencias que se detecten en la introducción y generalización de los resultados.
Sexta etapa: Evaluación de los impactos obtenidos
- Diseñar la estrategia de evaluación de los impactos con la identificación de las áreas de impactos o tipos, las variables e indicadores.
- Elaborar los instrumentos de evaluación de los impactos.
- Seleccionar las pruebas estadísticas a emplear para procesar los datos recopilados durante la aplicación de los instrumentos.
- Procesar los datos, realizar las inferencias y detallar los impactos obtenidos del proceso de introducción y generalización de los resultados.
Conclusiones
La evaluación del impacto de los resultados de investigaciones en el ámbito educacional es una vía de probada utilidad para la mejora continua del proceso pedagógico que tiene lugar en los diferentes niveles de educación, y en la misma medida posibilita perfeccionar la gestión de los programas académicos en los cuales se generan dichos resultados.
Sus referentes teóricos están en las Ciencias de la Educación y requiere de la aplicación consciente de métodos de nivel teórico, empírico y su correspondiente tratamiento estadístico, con los cuales pueden obtenerse las inferencias deseadas.
Referencias
Blanco Pérez, A. (2001). Introducción a la Sociología de la Educación. La Habana. Editorial Pueblo y Educación.
Cardentey Árias, J., Pupo Pupo, R., Sánchez Linares, F., Guadarrama González, P., Araujo González, R. (2002). Lecciones de Filosofía MarxistaLeninista. Tomo 2. La Habana. Editorial Pueblo y Educación.
Chávez Rodríguez, J., Suárez Lorenzo, A. y Permuy González, L. D. (2005). Acercamiento necesario a la Pedagogía General. La Habana. Editorial Pueblo y Educación.
Cruz Aparicio, M., Ochoa López, V., Tovar Pimentel, A. G., Arango Pinto, L. G., Caña Díaz, L. E., Flores Mujica, L. L., García Martínez, I., Mbawmbaw Omiaziki, J., Morales Rossel, R., Ochoa López, V. y Salgado Brito, R. (2018). Sistema de evaluación para medir el impacto de las investigaciones. Universidad Simón Bolívar, México. Archivo digital. http://storage/emulated/0/Android/data/cn.wps.moffice_eng/.Cloude .
García Ancira, C. (2022). La evaluación del impacto científico en las investigaciones educativas. Revista Cubana de Educación Superior, 41(2), 523-533.
González Maura, V., Castellanos Simons, D., Córdova Llorca, M. D., Rebollar Sánchez, M., Martínez Angulo, M., Fernández González, A. M., Martínez Corona, N., Péliz Mato, D. (2004). Psicología para educadores. La Habana. Editorial Pueblo y Educación.
González Soca, A. M. y Reinoso Cápiro, C. (2004). Nociones de sociología, psicología y pedagogía. La Habana. Editorial Pueblo y Educación.
Mestre Gómez, U., Quiroz Fernández, L. S., Zambrano Acosta, J. M. (2015). Criterios para la evaluación del impacto académico de programas de maestría en la modalidad semipresencial. Revista Didasc@lia: Didáctica y Educación, 7(5), 85-96.
Rodríguez Cardona, R. y Cobas Aranda, M. (s.f.) Metodología de evaluación de impactos de proyectos de investigación. La Habana. Archivo digital. http://storage/emulated/0/Android/data/cn.wps.moffice_eng/.Cloud
[1] Licenciada en Educación, especialidad Química. Máster en Educación. Doctora en Ciencias Pedagógicas. Profesora del Centro de Estudios Pedagógicos de la Universidad de Las Tunas, Cuba. E-mail: mildredrebeca1966@gmail.com. ORCID: https://orcid.org/0000-0002-1796-3191.
[2] Licenciado en Educación, especialidad Eléctrica. Doctor en Ciencias Pedagógicas. Director del Centro de Estudios Pedagógicos de la Universidad de Las Tunas, Cuba. E-mail: ltlazo2013@gmail.com. ORCID: https://orcid.org/0000-0001-6712-8269
[3] Licenciada en Educación, especialidad Marxismo-Leninismo e Historia. Doctora en Ciencias Pedagógicas. Profesora del Centro de Estudios Pedagógicos de la Universidad de Las Tunas, Cuba. E-mail: oliviainfante2@gmail.com. ORCID: https://orcid.org/0000-0003-3253-6187