1688-93391688-9339S1688-93392016000100004000520160005201618272533Calidad metodológica de ensayos clínicos sobre periodoncia publicados en revistas ISI
Methodological quality of periodontal clinical trials published in isi journals
Morales Katherine *, Montoya Navy *, Pradenas Ignacio*,Muñoz Helmuth **
* Escuela de Odontología, Universidad Austral de Chile. ]]>
** Cirujano Dentista. Profesor Adjunto Instituto de Odontoestomatología Universidad Austral de Chile helmuth.munoz@uach.cl
Resumen
Objetivo: Describir la calidad metodológica de los ensayos clínicos de periodoncia en revistas indexadas en el Institute for Scientific Information. ]]>
Material y métodos: Estudio observacional descriptivo en el que se evaluaron los ensayos clínicos publicados entre Enero de 2008 y Diciembre de 2012, de las cuatro revistas de periodoncia indexadas a ISI, con mayor factor de impacto en los últimos 5 años según Journal Citation Reports.
Se realizó una estrategia de búsqueda en PubMed para cada revista. Sólo los ensayos clínicos fueron seleccionados para el análisis cualitativo por medio de una escala de calidad metodológica. Los datos fueron analizados utilizando el paquete estadístico SPSS Statistics 20 para Windows (IBM., Chicago, USA.) y presentados mediante estadística descriptiva.
Resultados: De las revistas que cumplieron los criterios de selección, Journal of Clinical Periodontology, Journal of Periodontology, Journal of Periodontal Research e International Journal of Periodontics & Restorative Dentistry, se analizaron 387 ensayos clínicos. De los 24 puntos máximos obtenibles de la escala, la media alcanzada por los manuscritos evaluados fue de 17,45 puntos.
Conclusión: La calidad metódológica de los ensayos clínicos en periodoncia, indexados en revistas ISI, fue deficiente.
Objective: To describe the methodological quality of periodontal clinical trials in journals indexed by the Institute for Scientific Information (ISI).
Materials and methods: Descriptive observational study in which the clinical trials published in four ISI-indexed periodontics journals between January 2008 and December 2012 were evaluated. The journals were selected as they had had the highest impact factor in the last 5 years according to the Journal Citation Reports.
For each journal, papers were searched for in PubMed. Only clinical trials were selected to conduct the qualitative analysis using a methodological quality scale. Statistical analysis was conducted with SPSS Statistics 20 for Windows (IBM, Chicago, USA), and the data were presented through descriptive statistics. ]]>
Results: The following journals fulfilled the selection criteria: Journal of Clinical Periodontology, Journal of Periodontology, Journal of Periodontal Research and International Journal of Periodontics & Restorative Dentistry. From these journals, 387 clinical trials were analyzed. Of the maximum of 24 points in the scale, the mean reached was 17.45 points.
Conclusion: The methodological quality of periodontal clinical trials indexed in ISI is deficient.
]]>
Fecha de recibido: 03.05.15 – Fecha de aceptado 25.11.15
Introducción
En la literatura científica, el factor de impacto se define como, la frecuencia con que son citados los artículos de una revista (1). Este se considera como una medida cuantitativa de la calidad de la revista (2). Sin embargo existe conflicto respecto a la correlación entre el factor de impacto de la revista y calidad de sus publicaciones (3), esto debido a que la cantidad de citas que posea un artículo no necesariamente refleja la calidad metodológica de este. Ya que un artículo puede ser citado para resaltar sus características positivas, pero también para hacer énfasis en aquellas negativas.
A partir del surgimiento de la Odontología Basada en la Evidencia, la literatura ha llegado a ser una herramienta fundamental en el proceso de toma de decisiones clínicas. A pesar de esto, en odontología las publicaciones no necesariamente tienen la relevancia clínica que la disciplina exige y presentan en muchos casos errores en su metodología (4). En general las revistas de periodoncia poseen un alto factor de impacto, sin embargo, no existen estudios que evalúen la calidad metodológica de los reportes publicados en ellas. La evaluación de la calidad metodológica de un artículo resulta controversial. Los métodos y técnicas utilizados son motivo de constante discusión, tanto por parte de la comunidad científica como por los editores (5), por lo tanto, resulta importante juzgar y evaluar la calidad de lo reportado en los artículos científicos, para identificar la confiabilidad de la información, previa a su aplicación clínica, esto ya que errores en el diseño pueden alterar los resultados.
El objetivo de este estudio es describir la calidad metodológica de los ensayos clínicos en periodoncia indexados a la revista ISI publicados entre el año 2008 y 2012. ]]>
Material y método
El presente es un estudio observacional descriptivo, para el cual se llevó a cabo una búsqueda en el Journal Citation Reports de las revistas del área de periodoncia. Estas categorizadas según el factor de impacto en los últimos 5 años, de las cuales se seleccionó las 4 con mayor factor de impacto indexadas a ISI que incluían en sus contenidos ensayos clínicos, escritas en idioma inglés y con las palabras: periodontics, periodontal, periodontology como parte de su título.
Para la selección de los artículos se realizó una búsqueda avanzada en PubMed de cada revista, utilizando como criterios de búsqueda, el nombre de la revista y los filtros: Journal, article types: clinical trial y publication dates: 01.01.2008 to 31.12.2012.
Se analizó el material y método para verificar que los estudios encontrados fuesen ensayos clínicos, vale decir aquellos estudios realizados en pacientes, sometiéndolos a una intervención ya sea, diagnóstica, terapéutica u otra. Se excluyeron los artículos que no calificaban como ensayos cínicos pero aun cuando habían sido indexados de esa forma en PubMed.
Cada estudio fue sometido a un análisis de calidad metodológica mediante un sistema de puntuación diseñado para la evaluación de ensayos clínicos en cirugía y validado para su uso en estudios clínicos en odontología (6)(7)(Tabla 1). Este sistema está compuesto por 3 apartados originalmente, sin embargo, en el presente estudio se utilizaron sólo dos: el primero, relacionado con el tipo de diseño del estudio y el segundo, relacionado con la descripción de la metodología empleada en el estudio (mención de objetivos, justificación del diseño, criterios de elegibilidad y justificación de la muestra). De esta forma se generó una puntuación final entre 10 y 24 puntos, como mínimo y máximo respectivamente. ]]>
El análisis de calidad metodológica de cada artículo se llevó a cabo de forma independiente por dos revisores logrando un índice kappa >0,8 en el proceso de calibración. El cual consistió en la aplicación de la escala de calidad metodológica a 20 ensayos clínicos de periodoncia obtenidos de revistas no incluidas en el estudio.
Los artículos analizados fueron organizados en base al origen geográfico de procedencia y a las revistas incluidas en la evaluación. Señalando además la media y la desviación estándar obtenidas de la puntuación de Calidad Metodológica. ]]>
Los datos fueron tabulados en un formulario electrónico Google Docs (Mountain View, CA, USA), posteriormente se analizaron con estadística descriptiva con el software estadístico SPSS 20 para Windows (IBM., Chicago, USA.).
Resultados
Las cuatro revistas con mayor factor de impacto en periodoncia que contenían ensayos clínicos fueron: Journal of Periodontology, Journal of Clinical Periodontology, Journal of Peridontal Research y The International Journal of Periodontics and Restorative Dentistry.
Luego de realizar la búsqueda en PubMed para cada revista, se obtuvo un total de 493 ensayos clínicos, estos fueron analizados en texto completo y se determinó, mediante el análisis de sus material y métodos, que sólo el 78% (387) de los artículos fueron realmente ensayos clínicos (Figura 1).
]]>
El continente que obtuvo mayor cantidad de ensayos clínicos publicados fue Europa (47,8%), por el contrario, Oceanía publicó sólo un ensayo clínico en las revistas seleccionadas durante los años 2008-2012. (Tabla 2)
En la figura 2 se representa el número de ensayos clínicos publicados por revista desde Enero de 2008 a Diciembre de 2012. ]]>
De los 24 puntos máximos obtenibles de la escala, la media alcanzada por los manuscritos evaluados fue de 17,45 puntos. El 3,3% (13) de los artículos analizados obtuvieron el puntaje máximo, estos se encontraban publicados en la Journal of Periodontology (n=5) y la Journal of Clinical Periodontology (n=8).
De acuerdo al análisis realizado, se determinó que la Journal of Clinical Periodontology resultó ser la revista que mostró mejor puntaje promedio (18,06 puntos). En la tabla 3 se especifican las puntuaciones medias obtenidas por cada revista, en la figura 3 se comparan estas puntuaciones.
]]>
Con respecto a las secciones analizadas por la escala, las que obtuvieron menor puntaje fueron: A) en la variable de diseño del estudio, los ensayos clínicos multicéntricos mostraron ser los menos frecuentes, siendo sólo un 7,2% de los artículos analizados (Tabla 4); B) la ausencia de criterios de inclusión y exclusión de forma explícita en la selección de la muestra, siendo que, casi un 30% de los artículos los mencionan de manera incompleta. (Tabla 4) ]]>
La falta de justificación del tamaño muestral, en la cual un 47,3% de los artículos no justificaron la muestra empleada, destacando la Journal of Periodontics and Restorative Dentistry con un 95,3% de sus artículos con falencias en esta área. (Tabla 5)
]]>
En cuanto a los objetivos de los artículos analizados, el 92,2% de ellos platearon sus objetivos claros y concretos, alcanzando un 97% en la Journal of Periodontology. (Tabla 6)
Discusión ]]>
El puntaje promedio obtenido de los manuscritos evaluados de las 4 revistas seleccionadas según los criterios de selección y a los cuales la escala fue aplicada fue de 17,45 puntos, de un total de 24 puntos.
Al revisar los ensayos clínicos entre el año 2008 y 2012, se evidencia que el continente que mayor publicaciones aporta (47,8%) es Europa, lo que puede deberse a que las revistas estudiadas pertenecen a este continente. Sin embargo, comparativamente a los otros continentes, la media del puntaje en la Escala de Calidad Metodológica, es menor al puntaje promedio de todos los continentes. Distinto es el caso de Oceanía, que tiene el puntaje mayor, no obstante hay que considerar que hay sólo un artículo publicado en las revistas estudiadas, por lo que no puede considerarse representativo.
La revista con mayor publicación de ensayos clínicos fue la Journal of Periodontology, sin embargo, esta no obtuvo el mayor puntaje promedio de todas las revistas.. En base a esto cabe preguntarse ¿por qué una revista científica publica más que otra?, puede que se deba al prestigio asignado por los lectores de la misma, el prestigio de sus publicaciones, el renombre de sus editores o lo que para algunos puede ser aún más importante, el factor de impacto. Si este factor es mayor en una revista que en otra, es probable es que los autores deseen publicar en la revista que tenga un mayor factor de impacto, desconociendo que el diseño de sus artículos es deficiente.
La menor frecuencia de los estudios multicéntricos puede explicarse por la complejidad de su ejecución, considerando todos los parámetros que hay que tener en cuanto a estandarización de procedimientos, planificación y ejecución. A su vez la mayor frecuencia de estudios clínicos sin enmascaramiento o enmascarados simples, puede explicarse debido a su mayor factibilidad de ejecución en comparación a aquellos de carácter multicéntrico.
Los menores puntajes se obtuvieron en la variable de tamaño muestral, donde un 47% (87) de los estudios no justifica correctamente la muestra. No aclararla puede llevar a sesgos al momento de replicar el estudio o extrapolar los resultados a la realidad. En efecto, si no se logra justificar la muestra empleada, el estudio pierde fiabilidad y da pie a interpretaciones incorrectas (8). Es importante de parte de los autores comprender la importancia del impacto del tamaño muestral en la interpretación de los datos de un estudio es un prerrequisito para una investigación de calidad, innovadora y válida (9). ]]>
En cuanto a la variable de criterios de selección de la muestra, un 28,4% (n=110) de los reportes describe sólo criterios de inclusión o de exclusión. Al describir sólo una de las variables, deja a interpretación del lector la otra. La ambigüedad en la definición de los criterios de selección de la muestra no permitiría replicar el estudio, ya que no existe certeza en la selección de la población de estudio.
En un estudio realizado por Clovis (2012), en el cuál evaluó resúmenes de ensayos clínicos sobre periodoncia utilizando la pauta CONSORT (10), se concluyó que estos pueden mejorar su calidad (11), afirmación coincidente con los resultados obtenidos en el presente trabajo, ya que según estos, queda en evidencia la baja calidad metodológica de los artículos.
Al ingresar los filtros en PubMed para realizar la búsqueda de ensayos clínicos, “clinical trial”, los autores verificaron, luego de analizar detalladamente los manuscritos, que los resultados entregados por motor de busqueda no fueron en su totalidad ensayos clínicos , ya que muchos de ellos no comparaban procedimientos terapéuticos, lo que indica que existen artículos que están siendo indexados incorrectamente.
Una limitación importante es que en el área de odontología no existen, hasta el momento, estudios similares que evalúen la calidad metodológica del manuscrito completo, con los cuales se puedan contrastar los resultados obtenidos en el presente estudio, por lo tanto a no es posible establecer si ha existido una mejoría en la metodología de los estudios.
Es cuestionable si la gran cantidad de artículos que actualmente se publican son útiles y relevantes al conocimiento odontológico. Como se ha revelado existe una mayor proporción de artículos que son deficientes metodológicamente, lo que puede inducir en el lector a errores en su toma de decisiones. En este contexto, se podría sugerir mejorar los protocolos de investigación y la rigurosidad de los editores al momento de aprobar un manuscrito para su publicación. Además sugerimos creación de una nueva escala evaluativa fiable, validada y estandarizada, para llevar a cabo un análisis periódico de la calidad metodológica de cada revista (6). ]]>
Por el momento los autores de ensayos clínicos deben seguir las directrices de la declaración CONSORT (10) , lo que permitiría en un futuro la normalización y comparación de los artículos. También se podría solicitar a los revisores promover reglas claras para mejorar la adherencia de los autores a estas directrices. Recomendamos a los editores incorporar revisores especialistas en métodos de investigación científica ya sea cualitativa o cuantitativa, dependiendo del artículo a analizar.
Se propone, para estudios futuros, seguir una continuidad en este tipo de artículos con el objetivo de analizar si existe una mejora en la calidad de los reportes en el tiempo; también se propone estudiar si las revistas con mayor factor de impacto son efectivamente las que contienen artículos con mejor calidad metodológica.
Conclusión: La calidad metódológica de los ensayos clínicos en periodoncia, indexados en revistas ISI, fue deficiente.
Referencias
1. Saha S, Saint S, Christakis DA. Impact factor: a valid measure of journal quality? J Med Libr Assoc [en línea] 2003; 91(1): 42–46. Consultado noviembre 2015. Disponible en: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC141186/pdf/i0025-7338-091-01-0042.pdf ]]>
2. Garfield E. How can impact factors be improved? BMJ 1996 Aug 17;313(7054):411-3.
4. Uribe S. ¿Qué es la Odontología Basada en la Evidencia? Rev Fac Odontol UV. 2000; 2(4): 281-287
5. Ismail AI, Bader JD. Evidence-based dentistry in clinical practice. J Am Dent Assoc. 2004; 135(1): 78-83 ]]>
6. Manterola C, Grande L. Methodological quality of articles on therapeutic procedures published in Cirugía Española. Evaluation of the period 2005–2008. Cir Esp [en línea] 2010; 87(4):244–250. Consultado noviembre 2015. Disponible en: http://www.elsevier.es/en/linksolver/ft/pii/S0009-739X(09)00567-3
7. Cartes -Velásquez R, Manterola C, Aravena P, Moraga J. Reliability and validity of MINCIR scale for methodological quality in dental therapy research. Braz Oral Res 2014; 28(1):1-5.
8. Schulgen G, Olschewski M, Krane V, Wanner C, Ruf G, Schumacher M. Sample sizes for clinical trials with time-to-event endpoints and competing risks. Contemp Clin Trials [en línea] 2005 Jun; 26(3):386-96. Consultado: noviembre 2015. Disponible en: http://dx.doi.org/10.1016/j.cct.2005.01.010
9. Edmiston CE Jr, Josephson A, Pottinger J, Ciacco-Tsivitis M, Palenik C. The numbers game: sample-size determination. Am J Infect Control [en línea] 1993; 21(3):151-4. Consultado: noviembre 2015. Disponible en: http://dx.doi.org/10.1016/0196-6553(93)90007-Q
11. Faggion CM Jr, Giannakopoulos NN. Quality of reporting in abstracts of randomized controlled trials published in leading journals of periodontology and implant dentistry: a survey. J Periodontol 2012; 83(10):1251-6
