Introducción

Desde una perspectiva didáctica, el concepto de evaluación implica adjudicar valor a la enseñanza y al aprendizaje, atribuir un valor a los actos y a las prácticas de los docentes que dan cuenta de los procesos de aprendizaje de los estudiantes. Implica también el estudio de las relaciones y de las implicancias del enseñar y aprender. Una actividad de evaluación se puede identificar como un proceso caracterizado para recoger, analizar e interpretar la información y emitir un juicio con la toma de decisiones, de carácter social o pedagógico (^{de Camilloni, 1998}; ^{Sanmartí, 2007}).

Para que haya una evaluación con sentido es indispensable que existan criterios que permitan construir juicios de valor con relación a los aprendizajes de los estudiantes. La primera operación, por lo tanto, consiste en recoger información; y la segunda, en analizarla e interpretarla. Según ^{de Camilloni (1998}), se pueden “obtener datos en situaciones especialmente diseñadas para recoger una información que se considera relevante como indicadora del estado de situación de los aprendizajes que se quieren evaluar” (p. 3).

Por otro lado, la interpretación permite completar el proceso de evaluación y conduce a la construcción de juicios de valor. Las decisiones derivadas de la evaluación pueden tener carácter social (evaluación sumativa) o carácter pedagógico (evaluación formativa). La evaluación sumativa o final de un curso permite reconocer si los estudiantes han logrado los resultados esperados en función de las actividades de enseñanza y aprendizaje propuestas. En la práctica, este tipo de evaluación se asocia sobre todo con la noción de éxito o fracaso de los estudiantes en el aprendizaje (^{Litwin, 2008}). Sin embargo, cabe considerar que la evaluación es una instancia importante en el proceso de enseñanza y como resultado de dicho proceso se logra el aprendizaje significativo (^{Moreira, 2017}).

Las pruebas orales permiten el diálogo entre el estudiante y el equipo docente, así como evaluar los contenidos conceptuales (de saber), procedimentales (de saber hacer) y actitudinales (de saber ser y actuar), combinados, coordinados e integrados entre sí (^{Tejada, 1999}). No obstante, existen algunas dificultades inherentes a este método de evaluación tales como la baja concordancia en la estandarización, la fuerte incidencia del azar, la falta de objetividad de los docentes y la ausencia de registros o evidencias. A los efectos de minimizar estas desventajas, se ha trabajado en el empleo de instrumentos complementarios para la evaluación. Estos deben ser válidos de contenido, confiables, prácticos y útiles (^{de Camilloni, 1998}).

En este sentido, la planilla de especificaciones es uno de los instrumentos utilizados, con un diseño de doble entrada, con indicadores y descriptores. Presenta un cuadro claro del contenido de la prueba, los niveles de desarrollo del conocimiento, el énfasis en la enseñanza y la validez del contenido mediante el uso de indicadores (^{Drago, 2017}). Además se utilizan escalas de descriptores con la finalidad de obtener mayor objetividad en la evaluación, lo que resulta en mayor confiabilidad. Se entienden por descriptores las explicaciones que se añaden a los indicadores para aclarar el significado de un juicio. La suma de todos los descriptores constituye una escala de calificación o evaluación (^{Del Moral, 2014}).

Los beneficios del empleo de la planilla de especificaciones son: permite detallar con mayor facilidad los contenidos y las habilidades evaluadas, facilita la organización y distribución de los indicadores y descriptores, brinda a docentes y estudiantes el detalle de lo que se está evaluando y posibilita a los estudiantes una retroalimentación más clara y precisa al identificar con facilidad cuáles son las fortalezas y debilidades que presentan al ser evaluados (^{Drago, 2017}).

El presente trabajo se realizó con los registros obtenidos de los exámenes orales de Clínica de Rumiantes y Suinos de la Facultad de Veterinaria de la Universidad de la República (Udelar) de Montevideo durante el período 2013-2018 a partir de una planilla de especificaciones. Estos registros incluyen las evaluaciones finales de los estudiantes del Plan 1998 que cursaron la asignatura en las orientaciones Medicina y Producción Animal, y a un grupo de estudiantes del Plan 1980 que se actualizaron de acuerdo al último plan de estudios. Para ambos planes y orientaciones se tienen las mismas exigencias en la evaluación final. Hay once períodos de exámenes anuales y en los tribunales examinadores participaron once docentes, que son los integrantes de la materia.

Es importante destacar que esta asignatura es anual y se encuentra al final de la carrera. Tiene fuertes componentes relacionados con habilidades, destrezas y contenidos conceptuales que se deben incorporar en la solución de situaciones problema. Durante el curso se realizan actividades teóricas y prácticas de casos clínicos, individuales o poblacionales, en las que se hace especial énfasis en la aplicación de la metodología clínica tanto en salidas al medio rural como en la atención de animales internados o ambulatorios en el hospital. La asignatura es globalizadora de conocimientos previos que se deben de aplicar en el proceso de asociación, análisis e integración de todos los saberes para lograr competencias profesionales.

El examen final consta de una prueba oral que se realiza con un caso clínico en situación de campo utilizando la misma metodología clínica que se aplicó durante el curso. Dada la complejidad de la evaluación, se diseñó un instrumento de registro, la planilla de especificaciones, para analizar y tomar decisiones a los efectos de brindar garantías al proceso. Es la primera vez que se implementa un instrumento de esta naturaleza en asignaturas con similar metodología de evaluación en la Facultad de Veterinaria de la Udelar.

Objetivos

Como objetivo general, este estudio propone:

Como objetivos específicos, se plantea:

Metodología

Para la recolección de la información se utilizaron diferentes fuentes de datos a fin de cumplir con el principio de triangulación (^{Martínez, 2006}). Los datos recabados de la planilla de especificaciones fueron cotejados con las actas de examen de Bedelía.

Este instrumento de registro fue creado por la coordinadora del curso en el año 2012 y empleado en forma continua hasta la actualidad por los docentes de la asignatura. El diseño metodológico de este trabajo fue de tipo descriptivo retrospectivo. De acuerdo con los registros de los años 2013-2018, este instrumento se utilizó en 66 períodos y en 1.010 exámenes, de los cuales 57 corresponden al Plan 1980 y 953 al Plan 1998.

En la (figura 1) se presenta la planilla de especificaciones donde se registran: lugar y fecha del examen, integrantes del tribunal examinador, nombre del estudiante, motivo de consulta y datos del establecimiento. En su diseño se emplearon nueve indicadores, que son los ítems a evaluar, siguiendo las pautas del examen clínico. A su vez, cada indicador tiene cuatro descriptores que muestran el grado de alcance logrado. Estos van de 0 a 3, y expresan: 0 insuficiente, 1 logro mínimo, 2 logro medio, 3 logro máximo.

Finalmente se registró la calificación del examen aprobado y se definieron los motivos de no aprobación basados en tres indicadores, dos de los cuales son de contenido, conceptual y procedimental, y un tercero de integración del conocimiento teórico y práctico. Se entienden por contenido conceptual los conocimientos teóricos, de carácter abierto y en permanente cambio, con características multidisciplinares y globalizadoras, mientras que el contenido procedimental hace referencia a la metodología clínica y a las actividades prácticas médico-quirúrgicas.

Figura 1: Planilla de especificaciones empleada en exámenes orales de Clínica de Rumiantes y Suinos. 

La información aportada por este instrumento se analizó mediante estadística descriptiva a los efectos de ser considerada en los procesos de enseñanza, aprendizaje y evaluación.

En 2019, se realizó por primera vez una encuesta escrita dirigida a los 11 docentes de la asignatura (figura 2) con la finalidad de registrar sus opiniones a partir de la experiencia de empleo del instrumento de evaluación durante los seis años previos. La encuesta fue estructurada a los efectos de facilitar el análisis e interpretación de las respuestas e incluye una pregunta abierta para considerar las mejoras que se podrían realizar al instrumento.

Figura 2: Encuesta a docentes sobre el uso de planilla de especificaciones. 

Resultados

Descripción de los resultados obtenidos de la planilla de especificaciones

Para cumplir los objetivos planteados, en primera instancia se realizó un análisis cuantitativo del número de exámenes entre 2013 y 2018, estratificado por plan de estudio y orientación. Tal como se observa en la (figura 3), la distribución de exámenes rendidos del Plan 1980 y de la orientación de Medicina se ha mantenido a lo largo del período de estudio.

El número de exámenes de la orientación de Producción Animal aumentó entre el año 2013 y el 2014 un 18 %, luego se observó una reducción del 42 % en el año 2015, con un descenso oscilatorio leve hacia el final del período de estudio.

Figura 3: Número de exámenes rendidos entre los años 2013 y 2018. Están comprendidos estudiantes del Plan 1980 y el Plan 1998 con dos orientaciones, Medicina y Producción. 

Cabe considerar que el número de exámenes no representa la cantidad de estudiantes que rindieron la asignatura (n = 599), de los cuales el 10 % aún no han aprobado la materia y están considerados en los distintos períodos.

En la (figura 4) se representa el número de veces que los estudiantes rindieron el examen de Clínica para aprobarlo. De los 537 estudiantes que aprobaron la asignatura, 311 lo hicieron en la primera instancia que rindieron el examen, 117 en la segunda, 68 en la tercera y 41 lo lograron luego de rendirlo más de tres veces.

Figura 4: Porcentaje de estudiantes que aprobaron la asignatura en la primera instancia que rindieron el examen (1), en la segunda (2), en la tercera (3) o después de más de tres veces (> 3). 

Basándonos en los descriptores de la planilla de especificaciones, clasificamos los logros obtenidos por los estudiantes que aprobaron el examen en: mínimo un 34 %, medio un 54 % y máximo un 12 %. Los estudiantes que rindieron el examen por primera y segunda vez obtuvieron mayoritariamente logros medios y a medida que rindieron más veces disminuyó el desempeño (figura 5).

Por otro lado, la no aprobación del examen se debió principalmente a deficiencias en los indicadores de contenidos conceptuales y procedimentales.

Figura 5: Logros alcanzados por estudiantes que aprobaron el examen la primera vez que lo rindieron (1), la segunda vez (2), la tercera vez (3) luego de más de tres veces (> 3). 

Encuesta de opinión a los docentes

Los resultados cuantitativos obtenidos a partir de la encuesta realizada a los docentes que participaron en las instancias de evaluación se presentan en la (tabla 1).

Tabla 1: Resultados de la encuesta dirigida a los docentes.

Todos los docentes manifestaron que el orden de los indicadores evaluados concuerda con la metodología del examen clínico. De los once docentes encuestados, diez consideraron que la planilla de especificaciones facilita la evaluación y el seguimiento de forma ordenada y estandarizada del desempeño del estudiante, permite la unificación de criterios y es fácil de completar. También se encuentra esta concordancia con la devolución y retroalimentación del proceso de enseñanza-aprendizaje del estudiante al momento del examen y posterior a este.

Entre las propuestas de mejoras de la planilla, que fue la pregunta abierta en el cuestionario, cinco docentes sugirieron que se incorpore un espacio para observaciones. Además, dos docentes consideraron importante evaluar la actitud del estudiante con la inclusión de un indicador.

Discusión

El presente trabajo proporciona información metodológica con relación al uso de un instrumento de evaluación empleado en pruebas orales durante seis años consecutivos por el grupo de docentes de Clínica de Rumiantes y Suinos de la Facultad de Veterinaria de Udelar.

El aumento de los exámenes rendidos en la orientación Producción Animal entre los años 2013 y 2014 se debe a que los estudiantes que cursaron la asignatura en Montevideo y en Regional Norte fueron evaluados en el sur del país. A partir del año 2015, la evaluación final se realizó donde los estudiantes cursaron la materia. No fue posible discriminar el rendimiento de estos grupos de estudiantes, dado que esta información no estaba presente ni en la planilla de especificaciones ni en las actas.

El planteamiento de preguntas, la resolución de problemas y el desarrollo del pensamiento crítico (^{Zoller, 2000}), así como la construcción de argumentos, la comparación, el manejo de contradicciones y la identificación de supuestos ocultos (^{Zohar y David, 2009}) son habilidades de pensamiento de orden superior que se enseñan, aprenden y evalúan en la asignatura, lo que podría explicar la aprobación del 58 % de los estudiantes la primera vez que rindieron el examen. Esto está de acuerdo con lo reportado por ^{Puig Gutiérrez, Domene Martos y Morales Lozano (2006}) y ^{Escobar y Sánchez (2017}). De acuerdo al análisis de los datos, los estudiantes que aprobaron el examen en la primera instancia obtuvieron logros medios, lo que posiblemente se deba a factores como la motivación, que en muchas ocasiones tiene un rol fundamental en el resultado final (^{Andreu, 2008}).

Aquellos estudiantes que rindieron por segunda vez también obtuvieron logros medios; en este caso podemos atribuirlo a que la evaluación anterior cumplió una función de aprendizaje. Según ^{Esquivel (2009}), la evaluación ofrece a los estudiantes información acerca de los aprendizajes alcanzados a fin de que puedan asumir la responsabilidad de controlar sus logros. El verdadero proceso de aprendizaje es el que lleva a cabo el estudiante al modificar y mejorar su actuación con respecto a la anterior. La información recogida con el instrumento durante el proceso de evaluación permite realizar la retroalimentación para el aprendizaje.

La no aprobación del examen se debió principalmente a deficiencias en los indicadores de contenidos conceptuales y procedimentales que corresponden a habilidades de pensamiento clasificadas como de orden inferior: memorizar, recordar y comprender, que son básicas para lograr la integración del conocimiento y la solución de problemas que implica alcanzar una tipología de orden superior (^{Michalsky, 2012}). Una de las estrategias que el equipo docente aplica en casos de no aprobación es alternar los integrantes de la mesa de examen en el período siguiente a los efectos de que los estudiantes perciban la unificación de criterios y las garantías del proceso de evaluación.

De acuerdo a las respuestas vertidas por el equipo docente, la planilla de especificaciones permitió registrar en forma cuantitativa las competencias del estudiante frente a un caso clínico. El instrumento también facilitó la organización de los contenidos y relacionar la enseñanza con la evaluación. Una vez finalizado el examen, posibilitó la devolución del desempeño del estudiante con énfasis en los errores cometidos, promoviendo el aprendizaje significativo (^{Moreira, 2017}). Por otra parte, la evaluación sirve al docente para obtener información que le permite mejorar su actividad didáctica y la calidad del proceso de enseñanza.

Las limitaciones que surgieron del empleo del instrumento de evaluación hacen referencia al formato; se consideró un espacio para observaciones e incluir un indicador actitudinal.

La planilla indica el peso de cada indicador en términos de contenido y destrezas. No obstante, el equipo docente aún no ha debatido sobre la ponderación de los indicadores y otorga el mismo valor a todos. A pesar de las limitaciones que pueda tener, el instrumento da garantías al proceso de evaluación para los estudiantes y evaluadores.

Los registros de evaluaciones anteriores, que se encuentran en archivo, han sido útiles para el resignificado del proceso de enseñanza-aprendizaje de la asignatura. Asimismo, fueron un insumo importante para llevar a cabo la presente investigación. Dados estos beneficios, la planilla de especificaciones podría implementarse en otras asignaturas con similar metodología de enseñanza y evaluación.

Consideraciones finales

La planilla de especificaciones ha sido útil para garantizar los procesos de enseñanza, aprendizaje y evaluación en Clínica de Rumiantes y Suinos.

La evaluación final es una instancia percibida como compleja por los estudiantes y docentes. Por lo tanto, el empleo de este instrumento da garantías al proceso.

A partir de esta investigación se generarán instancias de discusión sobre el instrumento empleado que permitirán incluir, entre otros, la ponderación de los indicadores del examen clínico.