SciELO - Scientific Electronic Library Online

 
vol.89 issue1Animal bites in children. What is the current situation in the Pediatric Emergency Department at Pereira Rossell Hospital?Subcutaneous fat necrosis of the newborn: case report and review of the literature author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Related links

Share


Archivos de Pediatría del Uruguay

Print version ISSN 0004-0584On-line version ISSN 1688-1249

Arch. Pediatr. Urug. vol.89 no.1 Montevideo Feb. 2018

https://doi.org/10.31134/ap.89.1.4 

Artículo original

Evaluación de las competencias clínicas de estudiantes de Posgrado de Pediatría utilizando el Mini-Clinical Evaluation Excercise (Mini-CEX)

Evaluation of Pediatric postgraduate students' clinical competences with the Mini-Clinical Evaluation Exercise (Mini-CEX)

Martín Vázquez1 

Loreley García2 

Catalina Pinchak2 

Gabriel Peluffo2 

Sofía Grille3 

Mariana Weinberger4 

Walter Pérez5 

1 Prof. Adj. Clínica Pediátrica “B”. CHPR. Facultad de Medicina. UDELAR. Correo electrónico: martvazvaz@gmail.com

2 Prof. Agdo. Clínica Pediátrica “B”. CHPR. Facultad de Medicina. UDELAR.

3 Prof. Adj. Hematologia. Catedra Hematologia. CHPR. Facultad de Medicina. UDELAR.

4 Pediatra. Facultad de Medicina. UDELAR.

5 Prof. Clínica Pediátrica “B”. CHPR. Facultad de Medicina. UDELAR.


Resumen:

La evaluación formativa es uno de los ejes principales del proceso de enseñanza-aprendizaje del posgrado de Pediatría. El Mini Clinical Evaluation Exercise (Mini CEX) es un método de observación directa de la práctica profesional dirigido a evaluar competencias semiológicas y de razonamiento clínico. Los objetivos fueron describir la utilización y valorar la confiabilidad de esta herramienta en la evaluación de posgrados de Pediatría. Se realizaron 76 encuentros a 38 estudiantes de posgrado en una rotación de 6 meses por una unidad de internación de cuidados moderados. Las evaluaciones fueron realizadas por 2 docentes en forma simultánea e independiente. Se evalúo el puntaje obtenido en cada una de las competencias, siendo las de mejor puntajes el profesionalismo, el criterio clínico, el asesoramiento y la competencia clínica global. El instrumento fue bien aceptado por parte de los docentes y estudiantes. El promedio del tiempo de duración de las observaciones fue de 21 minutos y el de devolución (feed back) de 12 minutos. La confiabilidad del instrumento y la concordancia entre los observadores para los diferentes ítems evaluados fueron muy satisfactorias. Nuestra experiencia en el uso de MiniCEX para la evaluación de estudiantes de posgrado de Pediatría en el Uruguay, sugiere que se trata de un instrumento confiable y bien aceptado por docentes y estudiantes.

Palabras clave: Evaluación educacional; Competencia clínica; Educación de posgrado; Pediatría

Summary:

Formative assessment is one of the cornerstones of the teaching-learning process in Pediatric training. The Mini Clinical Evaluation Exercise (MiniCEX) is one of the tools available for direct observation to assess performance-based clinical skills.The study aims to describe the use of MiniCEX for the evaluation of Pediatrics fellows and to evaluate its reliability. 76 observations were performed to 38 students of Pediatrics during a 6 months rotation in a secondary care setting. Observations were carried out simultaneously and independently by 2 clinical teachers. Scores were obtained for each competency evaluated, the higher ones being professionalism, clinical judgement, patient and family education and counseling and overall clinical care. The tool was positively accepted by both teachers and students. Average observation time was 21 minutes, and feedback accounted for 12 minutes. Reliability and inter-observer agreement for the different skills evaluated were very satisfactory. Finally, our experience with the MiniCEX performed to Pediatric students proved it is not only a feasible and reliable tool to assess clinical skills, attitudes and behaviors, but also it is well accepted by teachers and students.

Key words: Educational measurement; Clinical competence; Graduate education; Pediatrics

Introducción

La evaluación es un proceso mediante el cual el estudiante y el docente obtienen información relevante, mediante criterios o parámetros estandarizados, para conocer y tomar decisiones sobre su aprendizaje. La evaluación forma parte de una planificación indisoluble del propio aprendizaje y debe ser un proceso que estimule la superación individual, más que instancias puntuales para comparar estudiantes entre sí. De esta manera, el docente evalúa desde el inicio y durante todo el curso, identifica fortalezas y debilidades, objetiva progresos e introduce medidas correctoras, desarrolla competencias y guía el desarrollo profesional1. La evaluación formativa es uno de los ejes principales en el proceso de enseñanza-aprendizaje ya que permite actuar en “tiempo útil”, cuando es posible realizar modificaciones por parte del docente y del estudiante.

El modelo de competencia profesional desarrollado por George Miller representado por una pirámide con diferentes niveles, diferencia el conocimiento (el saber), la competencia (el saber cómo), el desempeño (mostrar cómo) y la acción en la práctica real (el hacer)2 y cada uno de estos niveles requiere de diferentes herramientas adaptadas al nivel de conocimiento que se pretende evaluar. La observación directa, por parte del docente clínico de medicina en ambientes reales es indispensable para una adecuada valoración de su habilidad en la comunicación médico-paciente y de su competencia clínica3. A su vez, el desempeño profesional se define como la capacidad del estudiante de desplegar conocimientos y habilidades y aplicarlos eficientemente para solucionar un problema clínico real. A diferencia de la competencia, el desempeño profesional se aplica en diferentes escenarios clínicos, lo que conduce al estudiante a integrar lo aprendido en un contexto específico, lo que dificulta la evaluación metódica y sistemática4-6. Como plantea Alves de Lima “si se quiere inferir conclusiones generales sobre la competencia de un residente es necesario llevar adelante evaluaciones a través de diferentes contextos y escenarios y en diferentes casos. La competencia demostrada en un contexto determinado no garantiza en forma automática un desempeño satisfactorio en otro contexto7. Esto se conoce como la especificidad de contenido del desempeño profesional3. La utilización de herramientas válidas que valoren adecuadamente los distintos aspectos del desempeño clínico permite mejo rar y nivelar su formación médica.

El Mini-CEX (Mini Clinical Evaluation Exercise) es una herramienta de evaluación de desempeño mediante observación, que surgió en la década del 90 y fue desarrollada inicialmente por el American Board of Internal Medicine (ABIM) para ser aplicada a residentes de Medicina Interna7. Fue validada paulatinamente a través de su utilización en diferentes programas formativos7,8. Se trata de un método de observación directa de la práctica profesional que consta de una evaluación estructurada de varios dominios que reflejan las competencias semiológicas y de razonamiento clínico de un estudiante, durante el encuentro con un paciente en un ambiente real de la práctica diaria, y la posterior devolución de lo observado2,3,7,8. Es factible de aplicar por los docentes porque se integra bien al trabajo diario en los diferentes escenarios clínicos. El tiempo estimado entre la observación y la devolución (feed back) es de 30 minutos aproxi madamente y debe ser reiterado por diferentes docentes para mejorar su confiabilidad7.

Los objetivos de nuestro trabajo fueron describir los resultados de la implementación del MiniCEX en la evaluación de médicos posgrados de Pediatría y valorar la confiabilidad del instrumento en un contexto particular con docentes de distinta experiencia.

Material y método

Se diseñó un estudio observacional descriptivo y prospectivo, en el que se incluyeron las observaciones realizadas con MiniCEX a todos los estudiantes del posgrado de Pediatría, en el primer semestre de 2014. El estudio se desarrolló en la Clínica Pediátrica B de la Facultad de Medicina del Uruguay en el Hospital Pediátrico del Centro Hospitalario Pereira Rossell. Se trata de un Hospital terciario de referencia nacional, ubicado en la capital del país (Montevideo).

Los evaluadores fueron docentes que utilizan el MiniCEX para la evaluación habitual de los posgrados de la especialidad con quienes se realizan reuniones periódicas para uniformizar los criterios de evaluación. Cada encuentro tuvo dos evaluadores simultáneos e independientes. En cada dupla se intercalaron docentes de manera que los más jóvenes estaban acompañados de los docentes de mayor experiencia. No se intercambiaron opiniones durante la prueba para poder valorar la variabilidad interobservador. Las observaciones se realizaron en el sector de cuidados moderados con pacientes de diferente complejidad. La dinámica no varió de las evaluaciones que se hacen habitualmente en la clínica. Los datos se manejaron con confidencialidad. Los dominios de competencias evaluados en cada encuentro fueron anamnesis, examen físico, profesionalismo, juicio clínico, habilidades comunicativas, organización/eficiencia y valoración global de la competencia. Para evaluar cada competencia se utilizó una variable continúa discreta en la que se adjudicó un valor de 1 al 9. Cada competencia se consideró de 1 a 3 insuficiente, de 4 a 6 satisfactorio y de 7 a 9 sobresaliente. Se registraron los datos en una ficha codificada y una vez finalizada la observación, se realizó la devolución de la misma al estudiante. Al final el docente y el estudiante evaluaron por separado el grado de satisfacción de la instancia de evaluación (escala de 1 a 9). En las diferentes instancias partici paron 16 docentes y 38 estudiantes de postgrados.

Análisis estadístico

Se realizó un análisis descriptivo de las diferentes variables utilizando medidas de tendencia central y de dispersión (mediana y rango intercuartil). Para evaluar la confiabilidad del método se utilizó el método de consistencia interna basado en el alfa de Cronbach. Valores de alfa de Cronbach superiores a 0,7 se consideraron como suficientes para garantizar la fiabilidad de la escala9. Para evaluar la concordancia entre los observadores se utilizó el índice de correlación interclase y se consideró aceptable un valor mayor a 0,710.

Resultados

Se realizaron 76 observaciones. Cada uno de los 38 estudiantes fue evaluado por 2 docentes. Las patologías más frecuentes fueron del área neumológica y gastroenterológica (Tabla 1). El grado de complejidad de los pacientes a juicio del docente evaluador fue bajo en el 10.8%, moderado en el 83.8% y alto en el 5.4%.

Tabla 1: Áreas clínicas de realización de las observaciones. 

Se evaluó el puntaje obtenido en cada una de las competencias (Figura 1). Los puntajes de Competencia clínica global de acuerdo a los años cursados de posgrado fueron: segundo año 6,0±1,5, tercer año 5,3±2,5 (Tabla 2).

Figura 1: Puntajes obtenidos en las diferentes competencias evaluadas (mediana±rango intercuartil) 

Tabla 2: Competencias evaluadas en función del año de posgrado 

La mediana ± rango intercuartil del puntaje de satisfacción de los docentes fue de 7,0±1,5 y de los estudiantes de 7,5±2,0.

El promedio del tiempo de duración de las observaciones fue de 21 minutos incluyendo todo el tiempo de la entrevista, el examen físico y la consejería a la familia. El tiempo promedio de la devolución (feed back) fue de 12 minutos.

La confiabilidad del instrumento evaluada mediante el coeficiente Alfa de Cronbach fue de 0,98. La concordancia entre los observadores según el índice de correlación interclase fue entre 0,71 y 0,87 para los diferentes ítems evaluados lo que corresponde a un aceptable nivel de concordancia entre observadores.

Discusión

En la Clínica Pediátrica “B” se implementó la utilización regular del MiniCEX en el año 2012. Al igual que otras comunicaciones, los tiempos de observación y devolución son breves y no interfieren con la actividad clínica5,6. Lo habitual es que la evaluación se cumpla con el paciente que el estudiante tiene asignado sin duplicar la tarea ni la exposición del paciente y su familia.

Observamos un alto grado de satisfacción en relación al encuentro que incluye el feedback constructivo, evidenciándose una buena receptividad por parte de docentes y estudiantes con la herramienta de evaluación. La aceptación del Mini CEX como una herramienta válida por estudiantes y docentes ha sido objeto de estudio en varios trabajos, con los mismos resultados que en nuestra experiencia5,6.

Al igual que en otras experiencias similares con el Mini CEX, observamos una adecuada confiabilidad del instrumento. La diferente experiencia en los docentes que conformaron la dupla evaluadora no fue impedimento para que tuviera una adecuada concordancia interobservador. En 2015, Abadie y col. realizan en Argentina un estudio similar para evaluar la confiabilidad y factibilidad del Mini-CEX utilizando descriptores pediátricos en dos programas de residencia de Pediatría. Al igual que en nuestra experiencia, se observó buena concordancia interobservadores5,9,10. La confiabilidad de la evaluación mejora con la capacitación del observador con el método pero sobre todo con la frecuencia de las observaciones y de los observadores, por lo que estos resultados deben considerarse con precaución dado el escaso número de observaciones realizadas10-12. El aumento de las observaciones permite a su vez, valorar al alumno en diferentes situaciones considerando mejor entonces, la evaluación de la especificidad de contenido del desempeño profesional. Por otra parte el aumento en el número de observaciones requiere de mayor tiempo docente dedicado a la evaluación, lo que sumado al componente subjetivo de la misma pueden considerarse limitaciones de esta herramienta de evaluación.

La complejidad de los pacientes está relacionada al centro de tercer nivel dónde se realizó el estudio. Los resultados en relación al rendimiento de los estudiantes fueron satisfactorios en los niveles de formación evaluados, no existiendo diferencias significativas considerando el año de posgrado que cursaba el mismo. Podría esperarse que ciertas competencias evaluadas como el juicio clínico, las habilidades comunicativas y organización/eficiencia fueran mejores en los estudiantes más avanzados, con mayor tiempo en el desempeño de la especialidad. Esto tal vez no se pudo identificar por el escaso número de participantes.

Esta primera comunicación sobre del uso de MiniCEX en la evaluación de estudiantes de posgrado de Pediatría en el Uruguay, sugiere que se trata de un instrumento confiable, aun con observadores con distinta experiencia, bien aceptado tanto por docentes como por estudiantes y factible de integrar a la actividad habitual del Servicio9,11.

Bibliografía:

1. Morán J. La evaluación del desempeño o de las competencias en la práctica clínica. 1ra Parte: principios y métodos, ventajas y desventajas. Educ Méd 2016; 17(4): 130-9. [ Links ]

2. Miller G. The assessment of clinical skills/competence/performance. Acad Med 1990; 65(9 Suppl):S63-7. [ Links ]

3. Alves A, van der Vleuten C. Mini-CEX: una herramienta que integra la observación directa y la devolución constructiva para la evaluación del desempeño profesional. Rev Argent Cardiol 2011; 79(6):531-6. [ Links ]

4. Ringsted C, Østergaard D, Ravn L, Pedersen J, Berlac P, van der Vleuten C. A feasibility study comparing checklists and global rating forms to assess resident performance in clinical skills. Med Teach 2003; 25(6):654-8. [ Links ]

5. Abadie Y, Battolla J, Zubieta A, Dartiguelongue J, Pascual C, Costa E, et al. Uso de descriptores durante la implementación de Mini -CEX en la residencia de Pediatría. Medicina (Buenos Aires) 2015; 75(5):289-96. [ Links ]

6. Fernández G. Evaluación de las competencias clínicas en una residencia de pediatría con el Mini-CEX (Mini-Clinical Evaluation Exercise). Arch Argent Pediatr 2011; 109(4):314-20. [ Links ]

7. Alves A, Henquin R, Thierer J, Paulin J, Lamari S, Belcastro F, et al. A qualitative study of the impact on learning of the mini clinical evaluation exercise in postgraduate training. Med Teach 2005; 27(1):46-52. [ Links ]

8. Durning S, Cation L, Markert R, Pangaro L. Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med 2002; 77(9):900-4. [ Links ]

9. George D, Mallery P. SPSS for Windows step by step: a simple guide and reference fourth edition (11.0 update). Answers to selected Exercises. Disponible en: http://wps.ablongman.com/wps/media/objects/385/394732/george4answers.pdf. [Consulta: 9 agosto 2017]. [ Links ]

10. Enderlein G, Fleiss J. The design and analysis of clinical experiments. Biom J 1988; 30(3):304. [ Links ]

11. Pelgrim E, Kramer A, Mokkink H, van den Elsen L, Grol R, van der Vleuten C. In-training assessment using direct observation of single-patient encounters: a literature review. Adv Health Sci Educ Theory Pract 2011; 16(1):131-42. Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3074070/. [Consulta: 9 agosto 2017]. [ Links ]

12. Urman G, Folgueral S, Gasparri M, López D, Urman J, Grosman A, et al. Evaluación por competencias en formación de posgrado: implementación de una adaptación pediátrica del Examen de Ejercicio Clínico Reducido (Mini-Cex). Arch Argent Pediatr 2011; 109(6):492-8. Disponible en: http://www.scielo.org.ar/scielo.php?script=sci_arttext&pid=S0325-00752011000600005. [Consulta: 9 agosto 2017]. [ Links ]

Recibido: 25 de Septiembre de 2017; Aprobado: 28 de Noviembre de 2017

Notas:

Clínica Pediátrica “B”. CHPR. Facultad de Medicina. UDELAR. Trabajo inédito. Este manuscrito se trata de un trabajo original que no ha sido enviado previamente a publicar a ninguna revista. Declaramos no tener conflictos de intereses.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons