Introducción

La evaluación es un proceso mediante el cual el estudiante y el docente obtienen información relevante, mediante criterios o parámetros estandarizados, para conocer y tomar decisiones sobre su aprendizaje. La evaluación forma parte de una planificación indisoluble del propio aprendizaje y debe ser un proceso que estimule la superación individual, más que instancias puntuales para comparar estudiantes entre sí. De esta manera, el docente evalúa desde el inicio y durante todo el curso, identifica fortalezas y debilidades, objetiva progresos e introduce medidas correctoras, desarrolla competencias y guía el desarrollo profesional¹. La evaluación formativa es uno de los ejes principales en el proceso de enseñanza-aprendizaje ya que permite actuar en “tiempo útil”, cuando es posible realizar modificaciones por parte del docente y del estudiante.

El modelo de competencia profesional desarrollado por George Miller representado por una pirámide con diferentes niveles, diferencia el conocimiento (el saber), la competencia (el saber cómo), el desempeño (mostrar cómo) y la acción en la práctica real (el hacer)² y cada uno de estos niveles requiere de diferentes herramientas adaptadas al nivel de conocimiento que se pretende evaluar. La observación directa, por parte del docente clínico de medicina en ambientes reales es indispensable para una adecuada valoración de su habilidad en la comunicación médico-paciente y de su competencia clínica³. A su vez, el desempeño profesional se define como la capacidad del estudiante de desplegar conocimientos y habilidades y aplicarlos eficientemente para solucionar un problema clínico real. A diferencia de la competencia, el desempeño profesional se aplica en diferentes escenarios clínicos, lo que conduce al estudiante a integrar lo aprendido en un contexto específico, lo que dificulta la evaluación metódica y sistemática^4-6. Como plantea Alves de Lima “si se quiere inferir conclusiones generales sobre la competencia de un residente es necesario llevar adelante evaluaciones a través de diferentes contextos y escenarios y en diferentes casos. La competencia demostrada en un contexto determinado no garantiza en forma automática un desempeño satisfactorio en otro contexto⁷. Esto se conoce como la especificidad de contenido del desempeño profesional³. La utilización de herramientas válidas que valoren adecuadamente los distintos aspectos del desempeño clínico permite mejo rar y nivelar su formación médica.

El Mini-CEX (Mini Clinical Evaluation Exercise) es una herramienta de evaluación de desempeño mediante observación, que surgió en la década del 90 y fue desarrollada inicialmente por el American Board of Internal Medicine (ABIM) para ser aplicada a residentes de Medicina Interna⁷. Fue validada paulatinamente a través de su utilización en diferentes programas formativos^7,8. Se trata de un método de observación directa de la práctica profesional que consta de una evaluación estructurada de varios dominios que reflejan las competencias semiológicas y de razonamiento clínico de un estudiante, durante el encuentro con un paciente en un ambiente real de la práctica diaria, y la posterior devolución de lo observado^2,3,7,8. Es factible de aplicar por los docentes porque se integra bien al trabajo diario en los diferentes escenarios clínicos. El tiempo estimado entre la observación y la devolución (feed back) es de 30 minutos aproxi madamente y debe ser reiterado por diferentes docentes para mejorar su confiabilidad⁷.

Los objetivos de nuestro trabajo fueron describir los resultados de la implementación del MiniCEX en la evaluación de médicos posgrados de Pediatría y valorar la confiabilidad del instrumento en un contexto particular con docentes de distinta experiencia.

Material y método

Se diseñó un estudio observacional descriptivo y prospectivo, en el que se incluyeron las observaciones realizadas con MiniCEX a todos los estudiantes del posgrado de Pediatría, en el primer semestre de 2014. El estudio se desarrolló en la Clínica Pediátrica B de la Facultad de Medicina del Uruguay en el Hospital Pediátrico del Centro Hospitalario Pereira Rossell. Se trata de un Hospital terciario de referencia nacional, ubicado en la capital del país (Montevideo).

Los evaluadores fueron docentes que utilizan el MiniCEX para la evaluación habitual de los posgrados de la especialidad con quienes se realizan reuniones periódicas para uniformizar los criterios de evaluación. Cada encuentro tuvo dos evaluadores simultáneos e independientes. En cada dupla se intercalaron docentes de manera que los más jóvenes estaban acompañados de los docentes de mayor experiencia. No se intercambiaron opiniones durante la prueba para poder valorar la variabilidad interobservador. Las observaciones se realizaron en el sector de cuidados moderados con pacientes de diferente complejidad. La dinámica no varió de las evaluaciones que se hacen habitualmente en la clínica. Los datos se manejaron con confidencialidad. Los dominios de competencias evaluados en cada encuentro fueron anamnesis, examen físico, profesionalismo, juicio clínico, habilidades comunicativas, organización/eficiencia y valoración global de la competencia. Para evaluar cada competencia se utilizó una variable continúa discreta en la que se adjudicó un valor de 1 al 9. Cada competencia se consideró de 1 a 3 insuficiente, de 4 a 6 satisfactorio y de 7 a 9 sobresaliente. Se registraron los datos en una ficha codificada y una vez finalizada la observación, se realizó la devolución de la misma al estudiante. Al final el docente y el estudiante evaluaron por separado el grado de satisfacción de la instancia de evaluación (escala de 1 a 9). En las diferentes instancias partici paron 16 docentes y 38 estudiantes de postgrados.

Análisis estadístico

Se realizó un análisis descriptivo de las diferentes variables utilizando medidas de tendencia central y de dispersión (mediana y rango intercuartil). Para evaluar la confiabilidad del método se utilizó el método de consistencia interna basado en el alfa de Cronbach. Valores de alfa de Cronbach superiores a 0,7 se consideraron como suficientes para garantizar la fiabilidad de la escala⁹. Para evaluar la concordancia entre los observadores se utilizó el índice de correlación interclase y se consideró aceptable un valor mayor a 0,7¹⁰.

Resultados

Se realizaron 76 observaciones. Cada uno de los 38 estudiantes fue evaluado por 2 docentes. Las patologías más frecuentes fueron del área neumológica y gastroenterológica (Tabla 1). El grado de complejidad de los pacientes a juicio del docente evaluador fue bajo en el 10.8%, moderado en el 83.8% y alto en el 5.4%.

Tabla 1: Áreas clínicas de realización de las observaciones. 

Se evaluó el puntaje obtenido en cada una de las competencias (Figura 1). Los puntajes de Competencia clínica global de acuerdo a los años cursados de posgrado fueron: segundo año 6,0±1,5, tercer año 5,3±2,5 (Tabla 2).

Figura 1: Puntajes obtenidos en las diferentes competencias evaluadas (mediana±rango intercuartil) 

Tabla 2: Competencias evaluadas en función del año de posgrado 

La mediana ± rango intercuartil del puntaje de satisfacción de los docentes fue de 7,0±1,5 y de los estudiantes de 7,5±2,0.

El promedio del tiempo de duración de las observaciones fue de 21 minutos incluyendo todo el tiempo de la entrevista, el examen físico y la consejería a la familia. El tiempo promedio de la devolución (feed back) fue de 12 minutos.

La confiabilidad del instrumento evaluada mediante el coeficiente Alfa de Cronbach fue de 0,98. La concordancia entre los observadores según el índice de correlación interclase fue entre 0,71 y 0,87 para los diferentes ítems evaluados lo que corresponde a un aceptable nivel de concordancia entre observadores.

Discusión

En la Clínica Pediátrica “B” se implementó la utilización regular del MiniCEX en el año 2012. Al igual que otras comunicaciones, los tiempos de observación y devolución son breves y no interfieren con la actividad clínica^5,6. Lo habitual es que la evaluación se cumpla con el paciente que el estudiante tiene asignado sin duplicar la tarea ni la exposición del paciente y su familia.

Observamos un alto grado de satisfacción en relación al encuentro que incluye el feedback constructivo, evidenciándose una buena receptividad por parte de docentes y estudiantes con la herramienta de evaluación. La aceptación del Mini CEX como una herramienta válida por estudiantes y docentes ha sido objeto de estudio en varios trabajos, con los mismos resultados que en nuestra experiencia^5,6.

Al igual que en otras experiencias similares con el Mini CEX, observamos una adecuada confiabilidad del instrumento. La diferente experiencia en los docentes que conformaron la dupla evaluadora no fue impedimento para que tuviera una adecuada concordancia interobservador. En 2015, Abadie y col. realizan en Argentina un estudio similar para evaluar la confiabilidad y factibilidad del Mini-CEX utilizando descriptores pediátricos en dos programas de residencia de Pediatría. Al igual que en nuestra experiencia, se observó buena concordancia interobservadores^5,9,10. La confiabilidad de la evaluación mejora con la capacitación del observador con el método pero sobre todo con la frecuencia de las observaciones y de los observadores, por lo que estos resultados deben considerarse con precaución dado el escaso número de observaciones realizadas^10-12. El aumento de las observaciones permite a su vez, valorar al alumno en diferentes situaciones considerando mejor entonces, la evaluación de la especificidad de contenido del desempeño profesional. Por otra parte el aumento en el número de observaciones requiere de mayor tiempo docente dedicado a la evaluación, lo que sumado al componente subjetivo de la misma pueden considerarse limitaciones de esta herramienta de evaluación.

La complejidad de los pacientes está relacionada al centro de tercer nivel dónde se realizó el estudio. Los resultados en relación al rendimiento de los estudiantes fueron satisfactorios en los niveles de formación evaluados, no existiendo diferencias significativas considerando el año de posgrado que cursaba el mismo. Podría esperarse que ciertas competencias evaluadas como el juicio clínico, las habilidades comunicativas y organización/eficiencia fueran mejores en los estudiantes más avanzados, con mayor tiempo en el desempeño de la especialidad. Esto tal vez no se pudo identificar por el escaso número de participantes.

Esta primera comunicación sobre del uso de MiniCEX en la evaluación de estudiantes de posgrado de Pediatría en el Uruguay, sugiere que se trata de un instrumento confiable, aun con observadores con distinta experiencia, bien aceptado tanto por docentes como por estudiantes y factible de integrar a la actividad habitual del Servicio^9,11.