^● Enero – Abril 2019 ^● Volumen 1 ^● No. 1

^● ISSN: 2708 - 7797

^● ISSN-L: 2708 - 7797

www.revistamerito.org

pp. 60 - 79  

 

Evaluación de investigaciones desde una comprensión holística

 

Evaluating a research from an holistic understanding

 

 

Oly Margarita Vicuña

olymargarita@gmail.com

Ciea-Sypal, Venezuela

 

Jacqueline Hurtado de Barrera

jachm139@yahoo.com

Ciea-Sypal, Venezuela

 

Artículo recibido en septiembre 2018

Arbitrado en octubre 2018

Publicado en enero 2019

 

 

Resumen

El objetivo de este artículo fue la presentación del proceso de construcción y validación de un instrumento para evaluar la calidad metodológica de trabajos de investigación. La metodología de la investigación se enfocó bajo una comprensión holística de la ciencia, pues así se concreta la noción de evaluación de investigaciones, mediante la Matriz para el análisis integral de trabajos de investigación, que posibilitó valorar la calidad, mediante la revisión integrada y dinámica de las distintas fases del proceso metodológico, además de percibir cómo emergen y se destacan los distintos aspectos que, en términos de su importancia, ha de contener el informe de investigación. Resultó que las propiedades del instrumento son satisfactorias y ello permitió ofrecer a la comunidad científica un medio adecuado para evaluar la calidad metodológica en investigaciones producidas en cualquier disciplina, área o nivel de investigación.

 

Palabras clave:

 

Calidad; investigación; evaluación de investigaciones; matriz para el análisis integral de trabajos de investigación

 

Abstract

The objective of this article was the presentation of the construction and validation process of an instrument to evaluate the methodological quality of the research papers. The research methodology was focused under a holistic understanding of science, since this is how the notion of research evaluation is specified, through the Matrix for the comprehensive analysis of research work, which makes it possible to assess quality, through integrated and dynamic review. of the different phases of the methodological process, in addition to perceiving how the different aspects that, in terms of their importance, the research report must contain are included and included. The properties of the instrument were found to be satisfactory and this allows the scientific community to be provided with an adequate means of evaluating the methodological quality of research produced in any discipline, area or level of research.

 

Keywords:

 

Quality, Research, Research evaluation, Matrix for integral analysis of research papers

 

INTRODUCCIÓN

La construcción de un instrumento de recolección de información con el cuidado y rigurosidad que exigen los protocolos metodológicos más exigentes, como por ejemplo, los de la Comisión Internacional de Pruebas, en términos de promover el desarrollo, evaluación y usos adecuados, como certificación previa del grado en que los ítems que constituyen la prueba son una muestra representativa del dominio de contenido que se mide. Por ello, es una tarea delicada y laboriosa, pero no por ello deja de ser motivante y necesaria para poner a disposición un instrumento conveniente e idóneo para su utilización.

En este artículo se explican los procedimientos para la construcción y validación de la Matriz para el Análisis Integral de Investigación, ideada en 1997 por la investigadora venezolana Jacqueline Hurtado de Barrera, con el fin de concretar la fase evaluativa del proceso metodológico, mediante la evaluación de las fases del proceso operativo representadas en el ciclo holístico de la investigación descrito por Hurtado de Barrera (2000, 2010). Esta matriz representa una respuesta ante la carencia de instrumentos de evaluación que más allá de precisar el impacto de la investigación como práctica social, enfaticen en la calidad, como exigencia de toda indagación que pretenda contribuir con la generación de nuevos conocimientos.

La propuesta de investigación que ha proporcionado el Centro Internacional de Estudios Avanzados Sypal, desde Venezuela, a la comunidad científica y académica nacional e internacional, es una “posibilidad para animar en la búsqueda de un tipo de conocimiento tal vez aún no descubierto” (Hurtado de Barrera, 2001, s.n). Además, contempla la evaluación correspondiente a la dimensión metodológica, como fase evaluativa, en el ciclo holístico de la investigación. El propósito de la referida fase es “valorar el proceso investigativo en término de sus resultados, logro de objetivos, pertinencia de las actividades realizadas, alcances, aportes y limitaciones” (Hurtado de Barrera, 2000, s.n).

Entre los principios que orientan la fase evaluativa, destacan: a) la evaluación como totalidad, lo que supone considerar las múltiples dimensiones de la investigación evaluada, de modo integrado; b) la evaluación como continuidad, manifestada mediante el diálogo permanente con el trabajo, nutrido con la reflexión, el análisis y la crítica personal; c) principio deTabla integralidad, en virtud de que la investigación es una experiencia que integra todos los ámbitos de la vida humana (dimensiones ética, intelectiva, volitiva y biofisiológica); y d) el principio de posibilidades abiertas, por cuanto la evaluación es un proceso creativo que sigue sus propios caminos.

En el marco de esta problemática de estudio fue perentorio comprender que el informe final o trabajo de investigación, también llamado reporte escrito, “constituye una actividad que recoge en gran medida las habilidades tanto metodológicas como de contenido que el estudiante ha desarrollado a lo largo del postgrado” (Hurtado de Barrera, 2000, s.n). Así, el estudio se convierte en una producción científica, cuyo propósito es difundir o comunicar un conocimiento nuevo, obtenido gracias a un proceso riguroso y metódico.

Los rasgos que tradicionalmente se han asociado a la calidad de la investigación hacen referencia a fiabilidad, veracidad, confiabilidad, plausibilidad, adecuación metodológica, credibilidad, o congruencia de un estudio (Paz Sandín, 2003; Bobenrieth, 2002; Alonso, 2005). Estos criterios están ideados con base en modelos epistémicos que expresan comprensiones del proceso investigativo desde diferentes perspectivas (positivismo, estructuralismo, materialismo histórico dialéctico, la fenomenología, el construccionismo social), raíces que, por supuesto, enfatizan en el rigor científico del método y con éste, en los resultados obtenidos.

Esto conduce al surgimiento de limitaciones y restricciones en lo que concierne a indicios de calidad que propicien su apreciación de manera clara y concreta. De allí que se plantea la necesidad de contar con una forma de valoración de la calidad del proceso investigativo que proporcione una forma de revisión más amplia e integrada.

Para fundamentar la problemática del estudio se revisaron visiones y concepciones. Por ejemplo, comúnmente el término evaluación es utilizado para referirse al acto de juzgar o apreciar la importancia de un determinado objeto, situación o proceso en relación con ciertas funciones que deberían cumplirse o con ciertos criterios de valoración, explícitos o no (Fernández, 2007). Evaluar “es un acto de valorar una realidad, que forma parte de un proceso con momentos delimitados y cuyas etapas posteriores son la información y la toma de decisiones en función del juicio emitido" (Pérez y García, 1989, p. 23).

En cuanto al concepto de calidad, éste ha sido trabajado desde la época de Aristóteles. Basta recordar que para Kant, era una de las categorías fundamentales del razonamiento humano. En alusión a su significado etimológico: el término proviene del latín “quálitas, -atis”, derivación del latín “qualis”, que significa cualidad, modo de ser.

En el ámbito educativo, la primera preocupación por la calidad de la educación superior, comenzó por tratar de establecer un concepto y definición de la calidad en general y en abstracto. De los años 70 del siglo XX destacan los esfuerzos de autores como Peters y Waterman (1982), Pirsig (1976), entre otros, que trataron, inútilmente, de definir el concepto de calidad, arribando, finalmente, a la conclusión de que es empresa definitoria era imposible de lograr y que, en consecuencia, la calidad universitaria (o cualquier otra) no debía intentar definirse sino describirse en sus componentes o elementos fundamentales.

En Latinoamérica, es a finales de los años 80 cuando se comienza a generar las condiciones para evaluar la calidad de la educación universitaria (Villarroel, 2005); para ello se reflexiona y proyectan ideas sobre la base de los principios de la evaluación institucional. Así, las tendencias registradas en América Latina en cuanto a evaluación y acreditación de la calidad de la educación superior, sus logros y limitaciones y, particularmente, sus desafíos, se concretaron en esfuerzos hacia la búsqueda de mecanismos dirigidos a evaluar los niveles de calidad y pertinencia de los postgrados, la descripción de problemáticas vinculadas con el diseño e implementación de políticas que afectan el funcionamiento de las universidades (Sánchez,1998; Morles, 2000; Villarroel, 2005). Cuando se habla de investigaciones sobre calidad de la Educación Superior se puede afirmar que la gran mayoría de estudios se centran en medir los impactos de los procesos de autoevaluación y acreditación de las IES, comparar los diferentes sistemas de aseguramiento de la calidad) y analizar los modelos de evaluación de la calidad de los programas académicos (Vergara, Gamboa y Montes, 2014).

Aunque son pocos los países latinoamericanos que pueden mostrar resultados significativos en sus sistemas de aseguramiento de la calidad de la educación superior, es innegable que se ha avanzado en relación con la “cultura de la evaluación” con los procesos de acreditación de carreras de grado, (Villanueva, 2010; Unesco, 2007; Vergara et al, 2014, Unesco, 2018), se reconocen otras dimensiones aún pendientes, que abarcan aspectos como la formación de investigadores, las repercusiones de la actividad investigativa en el desarrollo socio-cultural y en el progreso científico-tecnológico, así como los problemas que confronta la investigación en términos de las dificultades que enfrenta el investigador en el proceso de desarrollo de la investigación.

En particular, hay una importante debilidad relacionada con la falta de estudios sobre la calidad de la investigación, la cual se expresa en el informe final, como expresión del proceso de investigación, así como de la reflexión personal, autónoma, creativa y rigurosa de su autor. La calidad del trabajo de grado o informe final, se pone de manifiesto en aspectos como “la preocupación estética del investigador, como también la rigurosidad metodológica y el cuidado por las exigencias formales, según los parámetros que plantee cada institución o de acuerdo al contexto para el cual se elabore” (Barrera, 2000, p. 64).

En general, la evaluación de la calidad de la investigación se asume y se entiende a partir de la productividad y en algunos casos, de su adecuación a determinados manuales o lineamientos desarrollados por facultades o escuelas adscritas a universidades públicas y privadas. Estos manuales y lineamientos consisten en protocolos cuyo propósito es, por una parte, brindar ciertas orientaciones sobre los trámites administrativos, aspectos formales para la ejecución del proceso investigativo y por otra parte, pretenden asegurar que los evaluadores de la investigación formulen los resultados acerca del nivel de logro que evidencie el trabajo, basados en determinados criterios.

De esa manera, la impresión acerca del informe de investigación, se remite a unos principios donde la calidad se logra en la medida en que (a) el problema estudiado es relevante, sin mencionar las dimensiones ni los indicios acerca de la relevancia); (b) se percibe un cierto grado de adecuación a la metodología, -sin señalar los indicios de idoneidad, coherencia o exhaustividad-; (c) se exponen unos resultados comprensibles, -aún en ausencia de los criterios para la discusión de los resultados- y (d) se ajusta a las normativas institucionales.

Con la referida concepción de la valoración de la investigación para optar a algún grado académico, no es posible concretar los elementos que debe contener el trabajo para ser considerado de calidad. La dificultad e importancia de esta situación estriba en que esa comprensión no siempre es confiable para la toma de decisiones acertadas sobre la calificación del proceso investigativo.

Como consecuencia, los criterios utilizados para valorar investigaciones tanto en pregrado como en postgrado (especialización, maestría y doctorado), son insuficientes, restringidos y parciales. Esta situación compromete la emisión de juicios y decisiones acerca de la presencia de mayor o menor calidad que se evidencie en la investigación. Por ejemplo, se manifiesta casi a priori alta calidad, cuando en realidad lo que hay es cumplimiento de normas de presentación; o se hacen pronunciamientos de baja calidad cuando la investigación podría contar no sólo de rigor metodológico, congruencia, respuestas a necesidades sociales, profundidad en el desarrollo y novedad, pero poco ajuste a las normas.

Al respecto, la literatura concuerda en asociar la validez de la investigación como sinónimo de calidad, lo que permite afirmar que el acercamiento epistemológico a una visión de calidad metodológica de la investigación se basa en el criterio de validez. Algunos modelos epistémicos contribuyen a precisar la validez del conocimiento desde puntos de vistas particulares. Por citar algunos ejemplos, el positivismo valida el conocimiento en la medida en que éste se obtenga a partir de la aplicación del método científico. El conocimiento es válido para el estructuralismo siempre y cuando se aprehendan las formas, relaciones y composiciones del evento de estudio, de tal forma que se evidencie su estructura lógica y coherente entre la función y la estructura. Es decir, el conocimiento debe constituir un sistema de relaciones organizadas de manera estructural. En contrapartida, el criterio de validez del pragmatismo se expresa en la medida en que la investigación aporte beneficios, sea de utilidad para un contexto determinado o pueda aplicarse en la resolución de necesidades.

Cada modelo epistémico considera solamente una parte de lo que es calidad. Aquí es donde se evidencian restricciones en la obtención de un significado amplio de calidad metodológica, debido a que cada una de las propuestas de validez corresponde a una característica mediante la cual la calidad se expresa. Ante tal circunstancia, cualquier intento para evaluar la calidad metodológica en trabajos de investigación sobre la base de una postura en particular, resulta insuficiente.

En la fundamentación de la Matriz para el Análisis Integral de Trabajos de Investigación (Maiti) se asumen sintagmáticamente las contribuciones de cada perspectiva sobre la calidad metodológica que subyace en algunos modelos epistémicos. Desde una interpretación sintagmática, es posible caracterizar y apreciar de manera integrada la calidad metodológica de la investigación, como un holos comprendido dentro de su dinámica como un proceso idóneo, correcto y adecuado, con un desarrollo coherente y exhaustivo de los elementos correspondientes a las fases operativas, pertinente a las necesidades contextuales, distinguido por rasgos de originalidad y acorde con las normativas de presentación, según las exigencias del ámbito donde se realice. Las relaciones paradigmáticas que dan origen a esta comprensión se representan en la figura 1.

 

 

Figura 1. Representación de las relaciones paradigmáticas y el núcleo sintagmático en una definición integrada de calidad metodológica. (Fuente: Vicuña (2004). Manual para el análisis integral de investigaciones. Ciea.)

 

La definición amplia de calidad, permite valorar la investigación no sólo desde una perspectiva, ni desde un solo aspecto, como se ha venido haciendo desde otras concepciones por ejemplo, la que asume criterios convencionales referidos a validez de la teoría o a la credibilidad y aplicabilidad de los resultados, sino que abarca los aspectos referidos a todas las fases operativas de la espiral holística.

La matriz para el análisis integral de investigaciones aporta elementos para discriminar los aspectos de mayor importancia de los aspectos menos relevantes, a la vez que proporciona criterios comunes para la evaluación de trabajos de grado. De manera que la evaluación de investigaciones, según los criterios de la comprensión holística de la generación de conocimientos, favorece que mediante su aplicación sea posible apreciar el comportamiento de las sinergias de calidad. Es decir, se obtiene información sobre la medida en que existe conexión, concordancia interna, e interrelación entre las diversas áreas. Permite conocer hasta qué punto la coherencia entre los elementos trabajados permiten comprender la investigación como un todo, es decir, con relación armónica entre sí. Un ejemplo del logro de la coherencia es la interdependencia que se debe manifestar entre el objetivo general y la conclusión.

Así mismo, es posible verificar si el trabajo contiene lo que debe, posee las características que lo definen, es claro y preciso, o está fundamentado, todo lo cual tiene que ver con la idoneidad. Ésta puede apreciarse, por ejemplo, si en la justificación se habla acerca de la importancia del tema, en vez de las consecuencias del trabajo. O bien, si el enunciado holopráxico está planteado como pregunta, además si dicho enunciado contiene los eventos, es preciso y claro en cuanto a lo que se desea saber. Otros indicios de idoneidad se refieren al cumplimiento de los requisitos para la formulación de objetivos. En la fundamentación, la idoneidad se expresa al mencionar las investigaciones relacionadas con el estudio y definir y explicar las teorías que lo sustentan. Igualmente, al incorporar interpretaciones y aportes propios o bien, que los contenidos de la fundamentación se presenten organizados de lo general a lo particular, que la redacción sea clara y presente ilación, entre otros aspectos.

Por otra parte, la matriz facilita identificar el grado de originalidad de la investigación, estudiada desde el abordaje de asuntos no resueltos o de actualidad, de la incorporación de materiales actualizados y desde la aportación de conocimiento nuevo. Por ejemplo, se puede apreciar desde la revisión del enunciado holopráxico, si el tema o el aspecto a trabajar es novedoso. También, si en la justificación se hace referencia a la profundización o aportes en aspectos que precisen resolución, o se ajusten al estado actual del conocimiento. Del mismo modo, se puede saber si el estudio se basa en teorías actualizadas.

Igualmente, la aplicación de la Maiti es fundamental para saber hasta qué punto una investigación está contextualizada y da respuestas a las necesidades sociales o institucionales y si está vinculado a la disciplina del investigador, factores que se asocian con la pertinencia de la investigación. Este aspecto es posible indagarlo, por ejemplo, en la justificación, mediante la verificación de que el tema trabajado está en conexión con los requerimientos institucionales o colectivos. En caso de una investigación para producir innovación (proyectiva), se puede saber si la propuesta es pertinente a las necesidades planteadas

MÉTODO

Este trabajo consistió en una investigación proyectiva de configuración interna, que pasa del análisis de la propuesta –en este caso el instrumento Matriz de

Análisis integral de Trabajos de Investigación- a su rediseño. Para el análisis del instrumento se utilizaron los criterios psicométricos de validez y confiabilidad, y a partir de los resultados se hicieron mejoras significativas en el instrumento. Las etapas por las cuáles pasó el estudio fueron las siguientes:

 

1.         Construcción inicial del instrumento:

 

1.1.   Se trabajó la validez de constructo a partir de la elaboración sintagmática del concepto de calidad metodológica, la definición de sus sinergias y la construcción de la Tabla de operacionalización.

 

1.2. Se trabajó la validez de contenido a través de la primera Tabla de especificaciones, de manera que las áreas se correspondían con las diferentes fases del proceso operativo de la investigación, y una segunda Tabla de especificaciones donde las áreas correspondían a las categorías de ítems (nucleares, necesarios y complementarios).

 

2.        Análisis del instrumento en función de su validez

 

2.1.  Se hizo una estimación de la validez de constructo a través del juicio de expertos para corroborar la pertenencia de cada sinergia al evento total.

 

2.2.  Se estimó inicialmente la validez de contenido a través del juicio de expertos para corroborar la pertenencia de cada área al evento total.

 

2.3.  Se hizo una segunda estimación de la validez de constructo por medio de la correlación entre el total de calidad y sus sinergias idoneidad para cada una de las versiones de la Maiti.

 

3.        Análisis del instrumento en función de su confiabilidad

 

3.1. Se calculó el índice de confiabilidad total para las tres versiones del instrumento.

 

3.2.  Se calculó el índice de confiabilidad de cada sinergia para las tres versiones del instrumento.

 

3.3.  Se calculó la confiabilidad de cada categoría de los ítems de calidad (nucleares, necesarios y complementarios).

 

3.4. Se calculó la confiabilidad entre evaluadores.

 

3.5.  A lo largo del proceso se fueron realizando las modificaciones y mejoras al instrumento.

 

Resultados

La aplicación significó una instancia para validar la Maiti en su versión original, lo que derivó en la necesidad de hacer un proceso de revisión exhaustivo de los ítems. Las modificaciones se basaron en la reorganización y ampliación de los ítems que en total arrojaron 236 afirmaciones con respuestas de presencia-ausencia agrupadas en seis sinergias de calidad metodológica. Por otra parte, se clasificaron los aspectos del contenido de los trabajos de investigación, según su importancia. En ese sentido, los ítems fueron agrupados en cuatro categorías de la siguiente manera: 33 nucleares, 112 necesarios, 38 complementarios y 53 accesorios. Para la validez, se utilizó validación por jueces basada en la técnica de proporción de acuerdos, con un resultado de 0.89. La confiabilidad se calculó mediante la técnica Alfa de Cronbach. Se obtuvo un valor de = 0.96, equivalente a una alta confiabilidad, lo que demostró que la primera versión medía en forma exacta y precisa el evento calidad metodológica.

Otro estudio fue realizado por Pérez Villegas (2005), en el contexto de Institutos Universitarios de Tecnología y Colegios Universitarios, de Venezuela, con una muestra de 29 trabajos, correspondientes a igual número de especialidades. Se encontró que la mayoría de los TEG cumplían metodológicamente con sólo el mínimo de los requisitos, no obstante, las instituciones los aprobaban. El estudio contribuyó a afirmar la aplicabilidad de la Maiti en informes de investigación pertenecientes a carreras de pregrado, específicamente los exigidos para obtener título a nivel de Técnico Superior Universitario.

También Custodio (2006), aplicó la Matriz para el Análisis Integral de Trabajos de Investigación (Maiti) en el estadio analítico de un estudio dirigido a explicar los factores condicionantes de la calidad de los trabajos especiales de grado en un programa de formación docente, en una universidad en Venezuela. Las unidades de estudio fueron 18 informes finales de investigación presentados como trabajos especiales de grado. En la versión de la Maiti utilizada se incorporaron las sugerencias y recomendaciones que desde el punto de vista de la confiabilidad y validez fue posible obtener en las dos oportunidades anteriores en las que se aplicó. Se obtuvo una versión que constó de 165 ítems clasificados en las categorías nucleares, necesarios, complementarios y accesorios, respectivamente. La confiabilidad se calculó mediante el Alfa de Cronbach, que arrojó valor de 0.93 para el total de los elementos correspondientes a los ítems por sinergia. Al igual que en los dos reportes de investigación anteriormente citados, los hallazgos, así como el índice de validez obtenido, permitieron configurar una versión de la Maiti altamente consistente para valorar la calidad metodológica de la investigación:

La Maiti se presenta en tres formatos o versiones para evaluar trabajos de naturaleza académica. La diferencia entre cada versión está relacionada con el número de ítems que contiene, porque el total de ítems está en relación con cada uno de los niveles académicos. Como se observa en la figura 2 en la versión para evaluar trabajos de investigación de pregrado (trabajo especial de grado) contiene 70 ítems; la versión para postgrado –especialización o maestría- tiene 83 ítems y la versión para trabajos derivados de estudios doctorales (tesis doctoral) contiene 85 ítems.

 

 

Figura 2. Total de ítems contemplados en la Maiti para los tipos de informes de investigación.(Fuente: Vicuña (2004). Manual para el análisis integral de investigaciones. Ciea.)

 

Para profundizar en la validez y confiabilidad de la versión definitiva de la Maiti, se optó por una muestra de trabajos más amplia que la utilizada en los estudios anteriores, con la inclusión de otras universidades, así como diferentes carreras y programas. En la aplicación de la Maiti a investigaciones en programas de estudio de pregrado, se evaluaron 68 trabajos de investigación (trabajo especial de grado) en las áreas de salud, ingeniería, educación, administración, economía, comunicación social, de 12 instituciones de educación universitaria públicas y una privada en Venezuela.

 

Tabla 1. Total de trabajos de investigación clasificados por institución y área de conocimiento, 2010

 

En la Tabla 1 se registran las 14 universidades y las carreras de pregrado, donde pertenecen los trabajos de investigación que fueron evaluados. Los trabajos se localizaron tanto en los centros de documentación de las instituciones seleccionadas como en repositorios digitales. Se consideró como criterio de inclusión la fecha de elaboración, entre 2004 y 2010 y que los aspectos nucleares tuvieran un nivel de desarrollo de al menos el 50%. Otro criterio de inclusión fue que cada informe correspondiera al menos a un programa de pregrado de los ofertados por cada universidad. Por otra parte, la intención de contar con una muestra diversa en cuanto a los tipos de investigación, llevó a hacer múltiples revisiones previas para lograr más variedad. Se evaluaron 28 investigaciones descriptivas, 20 proyectivas, 12 confirmatorias, seis (6) analíticas y dos (2) interactivas. Se aplicó la versión de la Maiti para pregrado, con un total de 77 ítems distribuidos en las sinergias idoneidad, coherencia, exhaustividad, pertinencia y originalidad. Los contenidos a evaluar se categorizaron en nucleares, necesarios y complementarios. Para el procesamiento se aplicaron análisis descriptivos.

 

Tabla 2. Mediana y percentiles sobre calidad en informes de pregrado

 

Tabla 3. Categorías de calidad en informes de pregrado

 

La mediana obtenida se ubicó en la categoría Moderada. La calificación calidad moderada indica que en los trabajos de investigación a nivel de estudios de pregrado se desarrollan con lo mínimo suficiente los elementos de las fases operativas que tienen que ver con cada holotipo de investigación. Este trabajo determinó que es viable la evaluación de informes de pregrado con la Maiti a nivel de trabajos especiales de grado (teg) en términos de la calidad del proceso metodológico, en el contexto venezolano, en cuyo caso particular es una contribución de significativa importancia, debido a que no existe una tradición en el uso de protocolos, que como la Maiti, cubra los contenidos de las fases operativas de manera completa con la ventaja de que permite analizar la calidad tanto de un solo trabajo, como por grupos de informes con diferentes propósitos, y además, en un tiempo relativamente breve, porque la evaluación es dirigida.

En cuanto a la aplicación de la Maiti en programas de especialización y maestría, se utilizó la Maiti en la versión diseñada para postgrado contentiva de 83 ítems. La muestra abarcó un total de 85 trabajos de investigación localizados en los centros de documentación de 12 universidades públicas y dos privadas en Venezuela (Tabla 4).

 

Tabla 4. Total de trabajos de investigación de programas de especialización y maestría, clasificados por institución, y área de conocimiento, 2011

Institución	Área de conocimiento	N° Informes
Universidad Central de Venezuela	Economía. Estadística. Educación. Salud. Ciencias Jurídicas	10
Universidad de Carabobo	Ciencias de la salud. Administración. Investigación y educación	10
Universidad del Zulia	Comunicación social. Ingeniería. Salud. Educación	10
Universidad de Oriente	Ing. Civil, Industrial. Administración. Educación. Salud	8
Universidad Centro Occidental Lisandro Alvarado	Administración. Contaduría, Salud	8
Universidad Nacional Abierta	Educación	7
Universidad Rómulo Gallegos	Salud. Educación. Gerencia Administrativa	7
Universidad de Los Andes	Medicina. Derecho. Educación. Economía	5
Universidad Fuerza Armada	Gerencia Pública. Recursos humanos	3
Universidad Simón Bolívar	Educación. Administración	3
Universidad Simón Rodríguez	Educación. Administración	3
Universidad Ezequiel Zamora	Administración. Contaduría	3
Total universidades públicas		77
Universidad Católica Andrés Bello	Gerencia. Educación	6
Universidad Metropolitana	Administración. Gerencia tributaria	2
Total universidades privadas		8

 

Los trabajos fueron seleccionados de manera intencional, de modo que cubrieran diversos holotipos, previa lectura para escoger los elaborados entre 2000 hasta 2011 con al menos un 50% de los aspectos nucleares desarrollados. Para el análisis se utilizó estadística descriptiva.

 

Tabla 5. Mediana y percentiles de calidad metodológica en trabajos de especialización y maestría

 

Tabla 6. Categorías de calidad metodológica en trabajos de especialización y maestría

 

En la Tabla 6 se aprecia que de los 85 trabajos de grado evaluados, 33 se agrupan en la categoría de baja calidad, al igual que en la categoría de moderada calidad, también hay 33 trabajos, lo que representa el 39% respectivamente en cada intervalo. En tanto el 22%. De los trabajos se ubican en la categoría de alta calidad. Esto significa que solamente hasta cierto punto se trabajó de manera idónea, coherente y exhaustiva en las diferentes fases operativas de la investigación. Con la realización del estudio antes descrito se evidenció que la Maiti es apta para evaluar la calidad metodológica en trabajos de grado correspondientes a programas de postgrado de diferentes áreas de estudio.

Otros análisis psicométricos de la Maiti se hicieron con trabajos de investigación de programas de estudios doctorales de Brasil, España, México, Panamá y Venezuela, en 2011. Las tesis doctorales se localizaron a través de los servicios bibliotecarios, tanto convencionales como en bases de datos electrónicas. Los criterios de inclusión comprendían fecha de elaboración del año 2000 en adelante, que fueran desarrollados con cualquier tipo de abordaje y con al menos 50% de desarrollo de los aspectos nucleares, según la comprensión holística de la investigación. La evaluación de la calidad de investigaciones de estudios doctorales incluyó los siguientes programas: ciencias de la educación, ciencias políticas, ciencias administrativas, ciencias económicas, ciencias de la salud, arquitectura, psicología, microbiología, química e ingeniería, entre otras. La muestra de instituciones contempló 11 universidades públicas y dos 2 privadas.

 

Tabla 7. Trabajos de investigación de programas doctorales clasificados por institución y área de conocimiento

 

Institución	Área de conocimiento	Total
Universidad del Zulia	Educación. Medicina. Química.	7
Universidad del Zulia (convenios Universidad de Barcelona y Texana American University)	Ciencias económicas	4
Universidad Simón Rodríguez	Administración. Educación	11
Universidad Pedagógica Experimental Libertador	Educación	7
Universidad Centro Occidental Lisandro Alvarado (convenios Universidad Alicante. Granada. Sao Paulo y Barcelona)	Medicina. Enfermería. Psicología. Ingeniería. Microbiología	7
Universidad Nacional Abierta	Educación	6
Universidad Simón Bolívar	Cs. Políticas	4
Universidad Rómulo Gallegos	Educación	4
Universidad de Carabobo	Matemática. Medicina	2
Universidad de la Fuerza Armada	Gerencia	1
Universidad Metropolitana (convenio Universidad de Sevilla)	Educación	3
Universidad a Distancia de Panamá	Educación	1 94
Total de trabajos evaluados

 

El mayor número de informes recayó en los tipos de investigación descriptiva (35%), explicativa (23%), proyectiva (14%) y confirmatoria (10%). Las menos frecuentes fueron las investigaciones interactivas (6%), evaluativas (5%), comparativas (4%) y analíticas (2%). Se hicieron revisiones previas a cada trabajo, antes de proceder a evaluar, debido a que regularmente se ofrecieron descripciones acerca de un holotipo y, en realidad, de acuerdo con la pregunta de investigación, el objetivo general, el análisis y las principales conclusiones se precisó que el holotipo no era el que correspondía.

 

Tabla 8. Porcentaje de trabajos de investigación de doctorado, según holotipo

 

Se escogieron los trabajos que tuvieran un cierto nivel de logro de los aspectos nucleares, debido a que son éstos los que determinan en gran medida que se cumpla con las finalidades del estudio, si no están desarrollados, la calidad estaría ausente y no tendría sentido la revisión de trabajos en esta situación. Para minimizar la condición de repetitividad, fueron descartados aquellos susceptibles de no aportar mayor heterogeneidad. Las precauciones tomadas responden a que por tratarse de un muestreo intencional, se atendió al criterio de significatividad de la muestra, noción que asume Hurtado de Barrera (2010) para referirse a la condición de riqueza, variedad y validez de la información que puede encontrarse en las unidades de estudio seleccionadas. Al realizar los análisis exploratorios y descriptivos, obtuvo una mediana de 63,5 (Tabla 9), la cual se ubica en el rango correspondiente a la categoría moderada calidad.

 

Tabla 9. Mediana y percentiles de calidad metodológica en tesis doctorales

 

Los porcentajes indican que el 43,6% de los trabajos de investigación estudiados, correspondientes a programas doctorales en universidades venezolanas desarrollados mediante convenios suscritos con universidades extranjeras, o sin ellos, son de baja calidad, mientras que el 41,5% son de moderada calidad, el 12,8% se categorizan de alta calidad y el 2,1 se encuentra en el rango de muy baja calidad.

 

Tabla 10. Categorías de calidad metodológica en trabajos tesis doctorales

 

Las experiencias con la aplicación de la Maiti en diferentes contextos, niveles de estudio, áreas del conocimiento y abordajes han permitido construir la validez y en consecuencia, reafirmar su adecuación para medir la calidad metodológica en investigaciones de programas de estudios doctorales. Particularmente, en el caso de la aplicación de la Maiti en trabajos realizados en universidades de otros países hay que destacar que éstos, desde el aspecto normativo y del esquema de contenidos presentan ciertas diferencias con los trabajos producidas en instituciones universitarias venezolanas. Este ejercicio permitió verificar el manejo de la Maiti en trabajos elaborados con diferentes esquemas de desarrollo de las fases operativas. De tal manera que la Maiti no solamente es adecuada para valorar la calidad de trabajos especiales de grado, trabajos de grado y tesis doctoral en el contexto venezolano, sino también en investigaciones de programas doctorales de diferentes países, con modalidades presencial, mixta o a distancia.

En general, la obtención de la validez de contenido se inició conjuntamente con el proceso de construcción de la definición de calidad metodológica, a partir de la identificación de las sinergias que caracterizan, precisan y definen ese evento. Se construyeron tablas de operacionalización de la calidad metodológica y tablas de especificaciones sinergias-contenido y categorías de ítems-contenidos para las tres versiones de la Maiti.

Otro de los procedimientos para corroborar que la Maiti alcanza niveles idóneos de validez el cálculo de la validez de constructo y de contenido por medio del acuerdo entre jueces, a fin de precisar la correspondencia teórica entre las sinergias y el concepto de calidad.

 

Tabla 11. Validez de constructo bajo el criterio de correspondencia teórica sinergias-concepto de calidad

 

En la Tabla 11 se observa que la proporción de acuerdos arroja un índice de validez de 0.91 para informes de pregrado de un total de 64 acuerdos sobre 70 ítems. En postgrado (especialización y maestría) el índice 0.93 responde a 77 acuerdos sobre 83 ítems. Para investigaciones de estudios doctorales el índice de validez obtenido fue de 0,95, correspondiente a un total de 81 acuerdos sobre 85 ítems. Para todos los tipos de trabajos de investigación la proporción de acuerdos es alta y significativa en relación con el propósito de la Maiti.

La correspondencia empírica entre ítems y el evento calidad, en trabajos especiales de grado, trabajos de grado y tesis doctoral, se obtuvo por el procedimiento de validez estructural y la técnica de correlación ítems-sinergias. En la versión de la Maiti para trabajo especial de grado, la correlación entre el total y las sinergias idoneidad, coherencia y exhaustividad es alta y significativa, puesto que los valores obtenidos fueron 0.87, 0,80 y 0,70 respectivamente. La correlación es significativa al nivel de 0.01. Esto indica que las sinergias de calidad metodológica cumplen con el criterio de validez.

 

Tabla 12. Correlación total de calidad y sinergias en teg (pregrado)

**. Correlation is significant at the 0.01 level (2-tailed).

*. Correlation is significant at the 0.05 level (2-tailed).

 

La correlación es menor entre el total de calidad y las sinergias originalidad y pertinencia. Esto pudiera explicarse porque en estas sinergias contienen menos ítems en relación con las demás. En conjunto, la correlación en general es adecuada, por su condición de aspectos que permiten definir y caracterizar la calidad de la investigación. En cuanto a las correlaciones entre sinergias y total, en la versión para trabajos de grado en especialización y maestría, los valores se distribuyeron en las cinco sinergias de la siguiente manera: idoneidad 0,88; coherencia 0,87; exhaustividad 0,82; originalidad 0,79 y pertinencia 0,76, respectivamente, a un nivel de 0,01. Estos valores indican alta correlación entre las sinergias y el total.

 

Tabla 13. Correlación total de calidad y sinergias en trabajo de grado (especialización y maestría)

 

Con respecto a las correlaciones entre sinergias y total en la versión para tesis doctoral, en la prueba realizada con universidades venezolanas, y con universidades de otros países que desarrollan programas de doctorales en convenio, se encontró que fueron significativas: idoneidad 0,91, coherencia 0,74, exhaustividad 0,77, originalidad 0,79 y pertinencia 0,76. Estos valores representan un buen indicativo de la validez de la Maiti, en su propósito de evaluar la calidad metodológica de las investigaciones, en cualquier contexto, independientemente del área de conocimiento y del tipo de investigación.

 

Tabla 14. Correlación total de calidad y sinergias en tesis doctoral

 

Para el cálculo de la validez de contenido se aplicó el procedimiento de validez por jueces. La proporción de acuerdos fue de 1,00 en las versiones de la Maiti para informes de pregrado, especialización y maestría y estudios doctorales. En cuanto a la confiabilidad, se calculó del índice de la confiabilidad global, la consistencia interna entre los ítems agrupados por sinergias de calidad, y la correlación entre categorías de ítems y el total, con la técnica Alfa de Cronbach. También se aplicó la técnica de cálculo de proporción de acuerdos entre evaluadores para los ítems nucleares.

En la versión para trabajos especiales de grado el coeficiente Alfa obtenido fue de 0.86; para la versión trabajos de grado (especialización y maestría) el coeficiente fue de 0.82; y en la versión para trabajos doctorales el coeficiente fue de 0.85. Se desprende que, la confiabilidad de la Matriz para el Análisis Integral de Trabajos de Investigación (Maiti) está en el rango de lo que se considera deseable, que por lo general se ubica entre 0.80 y 0.90 (Anastasi y Urbina, 1998).

 

Tabla 15. Coeficiente de confiabilidad global de las versiones de la Maiti

 

A fin de corroborar la pertenencia de las sinergias al evento global, se calculó la consistencia interna entre sinergias y el total de calidad metodológica. Los resultados de los coeficientes de confiabilidad que dan cuenta de la consistencia interna entre las sinergias de calidad y el total de la prueba aplicada a trabajos especiales de grado, trabajos de grado y tesis doctorales se muestran en el Tabla 16. En una muestra de 68 trabajos especiales de grado los coeficientes resultaron en las sinergias idoneidad 0,80; coherencia 0,72; exhaustividad 0,76; pertinencia 0,73 y originalidad 0,75.

La evaluación de 85 trabajos de grado muestra los siguientes índices de confiabilidad: idoneidad α= 0,80, coherencia α= 0,71, exhaustividad α= 0,82 pertinencia α= 0,77 y originalidad α= 0,83. Finalmente, en una muestra de 94 tesis doctorales, los índices de confiabilidad fueron idoneidad α= 0,73, coherencia α= 0,72, exhaustividad α= 0,71, pertinencia α= 0,73 y originalidad α= 0,75. Los coeficientes obtenidos en cuanto a la consistencia interna entre sinergias y total de calidad son significativos.

 

Tabla 16. Correlaciones entre cada sinergia y el total de calidad según versión de la Maiti por tipo de trabajo

 

Para ver la consistencia de las categorías (nucleares, necesarios y complementarios), se calculó la confiabilidad de cada categoría de los ítems de calidad. En la Tabla 17 se sintetizan los resultados del coeficiente de confiabilidad obtenida para los ítems, clasificados según su importancia para el logro de la calidad, en las categorías: nucleares, necesarios y complementarios.

 

Tabla 17. Coeficientes de confiabilidad de los ítems nucleares, necesarios y complementarios, en trabajos especiales de grado, trabajos de grado y tesis doctoral

 

Los ítems nucleares reportan alta confiabilidad en las versiones para trabajo especial de grado (α= 0.73), para trabajo de grado (α= 0.83), y para tesis doctoral (α= 0.80). Los ítems necesarios también tienen una significativa confiabilidad en las versiones para los tres tipos de informe: α= 0.73 para la versión de trabajo especial de grado, α= 0.78 para la versión de trabajo de grado y α= 0.65 para la versión de tesis doctoral. La confiabilidad para la categoría de ítems complementarios resultó con α= 0.73 en la versión de trabajo especial de grado. Para la versión de trabajo de grado cayó a α= 0.70, y en la versión de tesis doctoral se ubicó en α= 0.66. En general, los coeficientes poseen valores de tal magnitud que permiten calificar a la Maiti como de alta confiabilidad, aunque es posible hacer unos ajustes en los ítems complementarios de la versión para tesis doctorales.

El acuerdo entre evaluadores es un tipo de confiabilidad que suele calcularse cuando los instrumentos requieren de calificación subjetiva (Anastasi y Urbina, op cit). En virtud de que la Maiti está concebida desde la comprensión holística de la investigación, posee algunos términos y procesos que pueden ser desconocidos por evaluadores no familiarizados con dicha comprensión, por ello se llevó a cabo el procedimiento de confiabilidad entre evaluadores. Este procedimiento se hizo solamente con los ítems nucleares. Se obtuvo un índice de acuerdos de 0,92 en la versión para trabajo especial de grado, con un total de 24 acuerdos sobre 26 ítems. En la versión para trabajos de grado el índice de acuerdos fue 0,93, correspondiente a un total de 26 acuerdos sobre 28 ítems, y en la versión para tesis doctoral la proporción de acuerdos fue 0,93 calculado sobre la base de 28 acuerdos sobre 30 ítems nucleares.

Estos resultados indican alta coincidencia entre los tres evaluadores. La proporción obtenida ratifica que los ítems nucleares son precisos para evaluar los aspectos de mayor peso para el logro de la calidad metodológica de la investigación. Esto quiere decir que para los efectos de realizar una evaluación rápida o resumida de los informes, pudiera bastar con estimar solamente los aspectos nucleares.

 

CONCLUSIONES

En el transcurso de los diferentes análisis psicométricos se fueron incorporando modificaciones y mejoras a la Maiti. Al final quedaron tres versiones, (pregrado, especialización-maestría y doctorado). Todas las versiones aportan un puntaje global de calidad y un puntaje por cada sinergia, lo que permite identificar dónde están las fortalezas y las debilidades de los trabajos. Además, la Maiti aporta un puntaje por cada categorías de ítems según su nivel de importancia (nucleares, necesarios y complementarios), lo cual permite hacer evaluaciones rápidas, utilizando sólo los ítems nucleares, o evaluaciones exhaustivas con todos los ítems.

El análisis psicométrico mostró altos niveles de validez de constructo y de contenido, y altos niveles de confiabilidad de consistencia interna y de confiabilidad entre evaluadores, tanto para el instrumento global, como para cada sinergia y para las diferentes categorías de ítems.

En el caso de la aplicación de la Maiti en trabajos realizados en universidades de otros países hay que destacar que éstos, desde el aspecto normativo y del esquema de contenidos presentan ciertas diferencias con los trabajos producidas en instituciones universitarias venezolanas. Este ejercicio permitió verificar el manejo de la Maiti en trabajos elaborados con diferentes esquemas de desarrollo de las fases operativas. De tal manera que la Maiti no solamente es adecuada para valorar la calidad de trabajos especiales de grado, trabajos de grado y tesis doctoral en el contexto venezolano, sino también en investigaciones de programas de estudios doctorales de diferentes países, con modalidades presencial, mixta o a distancia.

En definitiva, la Maiti abre las posibilidades para entrar a una nueva etapa en la evaluación de investigaciones caracterizada por una mayor convicción de que existen las condiciones para realizar una valoración justa, equitativa, puntual y certera, en la apreciación del logro tangible. Por lo tanto, también se abre la posibilidad de que investigadores, tutores, asesores, jurados, vivan la experiencia de la reafirmación de su satisfacción por un trabajo bien hecho, del crecimiento intelectual, de la trascendencia hacia retos mayores, con mejores vías para invitar a potenciar escenarios que contribuyan a germinar la semilla del conocimiento, mediante una cultura de investigación de calidad.

 

REFERENCIAS

Alonso, P. (2005). Calidad en Investigación. De qué trata la gestión de calidad en investigación. Aproximación metodológica a la mejora de las actividades de investigación. Revista de investigación en gestión de la innovación y tecnología. Nº. 14

Anastasi, A.y Urbina, S. (1998). Test psicológicos. México: Prentice Hall

Bobenrieth Astete, M. (2002). Normas para revisión de artículos originales en ciencias de la salud. Revista Internacional de Psicología Clínica y de la Salud. Vol. 2. N° 3, pp 509-523. España: Asociación Española de Psicología Conductual. Recuperado de https://campusvirtual.univalle.edu.co

Custodio, I. (2006). Factores condicionantes de la calidad de los Trabajos Especiales de Grado en la Mención Educación Musical. Universidad de Carabobo, Venezuela

Fernández, I. (2007). Diccionario de investigación. Una comprensión holística. Caracas,: Ediciones Quirón-Sypal

Hurtado de Barrera, J. (2000). Metodología de la investigación holística. Caripito, Caracas: Sypal-IUT

Hurtado de Barrera, J. (2001). Las tendencias holísticas propician un mundo más humano y libre de dependencias ideológicas. Medio Internacional. Nº 12. Caracas, Venezuela: Fundación Sypal

Morles, V. (2000) La educación de Postgrado en Venezuela. Panorama y perspectiva. Caracas: Iesal-Unesco

Paz Sandín, E. (2003). Investigación cualitativa en educación. México: McGraw-Hill

Pérez Villegas, A. (2005). Calidad metodológica de los trabajos especiales de grado de los institutos y colegios universitarios en Venezuela. Caracas, Venezuela: Ciea-Sypal

Pérez, R. y García, J. (1989). Diagnóstico, Evaluación y toma de decisiones. Serie: Tratado de educación personalizada. Madrid, España: Ediciones Rialp, S.A

Peters, T.J. y Waterman, R.H. (1982). In Search of Excellence. New York: Harper and Row

Pirsig, R.M. (1976) Zen and the Art of Motor Cycle Maintenance. Londres, Inglaterra: Corgi Books

Sánchez Díaz, R. (1998). Implicación social de la pertinencia y la calidad del postgrado y la investigación en la universidad venezolana. Lumen XXI, Vol. 1, Nº 2. San Juan de los Morros, Venezuela: Universidad Rómulo Gallegos

Unesco. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (2017). Educación Superior y Sociedad (ESS). Nueva etapa. Colección 25 aniversario. Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (IESALC)

Unesco. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (2018). Informe sobre la educación superior en América Latina y El Caribe 2000-2005. Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (IESALC)

Vergara, D.; Gamboa, A. y Montes, A. (2014). Calidad de la educación superior: un análisis de sus principales determinantes. Saber, Ciencia y Libertad. Vol. 8, No.2. Recuperado de https://dialnet.unirioja.es › descarga › articulo

Vicuña, O. M. (2004). Análisis de la calidad de los trabajos de grado de la Maestría en Investigación Educativa de la Universidad Rómulo Gallegos. Programa de Formación Avanzada en investigación holística. Caracas, Venezuela: Fundación Sypa