SciELO - Scientific Electronic Library Online

 
vol.15 número1Evaluación educativa de los aprendizajes: Conceptualizaciones básicas de un lenguaje profesional para su comprensiónLa autoridad pedagógica: una visión desde la formación inicial docente índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Links relacionados

Compartir


Páginas de Educación

versión On-line ISSN 1688-7468

Pág. Educ. vol.15 no.1 Montevideo jun. 2022  Epub 01-Jun-2022

https://doi.org/10.22235/pe.v15i1.2658 

Artículos

El desarrollo de la experticia evaluativa a través del trabajo con ejemplares en educación superior

The Development of Evaluative Expertise Through Working with Exemplars in Higher Education

O desenvolvimento da expertise avaliativa através do trabalho com exemplares no ensino superior

Gloria Contreras Pérez1 
http://orcid.org/0000-0002-3813-515X

Priscila Rubilar Pérez2 
http://orcid.org/0000-0002-6364-4343

Marcela Silvana Muñoz Lira3 
http://orcid.org/0000-0001-9609-5910

1 Pontificia Universidad Católica de Valparaíso, Chile.

2 Pontificia Universidad Católica de Valparaíso, Chile.

3 Pontificia Universidad Católica de Valparaíso, Chile, gloria.contreras@pucv.cl


Resumen:

La experticia evaluativa se refiere a la capacidad de una persona para construir juicios de calidad sobre algún objeto de evaluación. En la educación superior, esta capacidad debe ser desarrollada por los futuros egresados para aprender, desarrollar buenos trabajos, tomar decisiones y convertirse en profesionales responsables. Los ejemplares, entendidos como muestras de trabajos cuidadosamente elegidas con la finalidad de ilustrar dimensiones de calidad y aclarar las expectativas de la evaluación, constituyen un vehículo para desarrollar la experticia evaluativa en los estudiantes. En este artículo se discuten las bases conceptuales del trabajo con ejemplares en el marco de la evaluación formativa y su efecto en la formación profesional en la educación superior, a partir de una revisión de literatura sobre la temática. Se proponen algunos principios orientadores para la práctica y se analizan estrategias para su implementación en procesos de retroalimentación, autoevaluación y coevaluación basadas fundamentalmente en el uso de rúbricas.

Palabras clave: ejemplar; evaluación; educación superior; retroalimentación; autoevaluación

Abstract:

Evaluative expertise refers to the ability of a person to make quality judgments about some object of evaluation. In higher education, this ability must be developed by future graduates to learn, develop good jobs, make decisions, and become responsible professionals. The copies, understood as samples of work carefully chosen to illustrate dimensions of quality and clarify the expectations of the evaluation, constitute a vehicle to develop evaluative expertise in students. This article discusses the conceptual bases of working with exemplars in the framework of formative assessment and its effect on professional training in higher education, based on a review of the literature on the subject. Some guiding principles for practice are proposed, and strategies for their implementation in feedback processes are analyzed, self-evaluation and co-evaluation based fundamentally on rubrics use.

Keywords: exemplar; assessment; higher education; feedback; self-assessment.

Resumo:

A expertise avaliativa refere-se à capacidade de uma pessoa de fazer julgamentos de qualidade sobre um objeto de avaliação. No ensino superior, esta capacidade deve ser desenvolvida por futuros graduados a fim de aprender, desenvolver um bom trabalho, tomar decisões e tornar-se profissionais responsáveis. Os exemplares, entendidos como exemplos de trabalho cuidadosamente escolhidos a fim de ilustrar as dimensões da qualidade e esclarecer as expectativas de avaliação, são um veículo para desenvolver a expertise avaliativa dos estudantes. Este artigo discute a base conceitual do trabalho com exemplares no âmbito da avaliação formativa e seu efeito no ensino e formação profissional no ensino superior, com base em uma revisão da literatura sobre o tema. Alguns princípios orientadores da prática são propostos e são analisadas estratégias para sua implementação em processos de retroalimentação, auto-avaliação e co-avaliação baseados principalmente no uso de rubricas.

Palavras-chave: exemplar; avaliação; ensino superior; retroalimentação; auto-avaliação.

Introducción

Uno de los propósitos de la educación formal en todos sus niveles, especialmente en la educación superior, es el desarrollo de la autonomía en los estudiantes. Una de las condiciones para que el estudiante aprenda de forma autónoma es que sepa qué es aquello que debe aprender o lograr, es decir, que tenga comprensión acerca de la meta a la cual debe llegar. De esta forma puede trabajar para llegar a dicha meta y saber cuándo ha llegado (Sadler, 1989). Por lo tanto, aprender para el estudiante implica que tiene una comprensión cada vez más profunda acerca de la meta adonde debe llegar y es capaz de producir, progresivamente, trabajos de mejor calidad (Sadler, 1983). Este modelo contiene un componente de evaluación pues el estudiante debe juzgar continuamente la diferencia entre su desempeño actual y el deseado y así monitorear la calidad de lo que hace (Sadler, 1983). La experticia evaluativa, entonces, alude a esta capacidad del estudiante de construir juicios acerca de la calidad de su propio trabajo mientras lo realiza y desarrollar acciones para producir el trabajo con la calidad requerida. Debiera posteriormente ser capaz de juzgar un espectro cada vez amplio de trabajos de la misma naturaleza y en distintos contextos (Ajjawi et al., 2018). Se espera que progresivamente pueda trabajar de forma independiente de sus profesores y así llegar a ser un estudiante autónomo y, a futuro, un profesional efectivo (Tai et al., 2018). Se trata de una capacidad indispensable para aprender y desempeñarse en cualquier contexto, ya sea en la universidad o en el trabajo, en especial en el actual escenario profesional en rápido cambio (Dawson et al., 2018; Naidoo et al., 2020).

Uno de los pilares fundamentales para desarrollar la experticia evaluativa está constituido por la comprensión del conjunto de criterios y estándares ya que son el medio para reconocer si lo que está siendo evaluado presenta la calidad esperada. Para Sadler (2010), un criterio es, en términos generales, una propiedad o característica distinguible de alguna cosa, mediante la cual su cualidad puede ser juzgada o estimada, o por la cual una decisión o clasificación puede ser hecha. Entonces un criterio de evaluación describe “qué mirar” y constituye la orientación o guía desde la cual se puede juzgar la calidad de las tareas, procesos o productos (Arter & McThige, 2010). Un estándar constituye un nivel de referencia respecto de la calidad a la que se desea llegar (Sadler, 1989). También puede entenderse como la especificación acerca del grado de calidad con que se debe presentar el criterio (Sadler, 2017). Puede decirse también que los estándares son grados de dominio o niveles de logro y responden a la pregunta ¿cuán bueno es lo suficientemente bueno?

La enseñanza en la educación superior y más particularmente, la evaluación del aprendizaje, debiera desarrollar en los estudiantes la experticia evaluativa. No obstante, algunas investigaciones muestran que los enfoques de enseñanza y evaluación en este nivel más bien promueven la dependencia del estudiante de sus profesores y textos de estudio, por ejemplo, al aplicarle procedimientos centrados en la memoria y en el seguimiento de rutinas mecánicas (Cañadas, 2020; Villarroel & Bruna, 2019).

Por otra parte, uno de los aspectos centrales en las buenas prácticas de evaluación es la comunicación de los criterios y estándares de evaluación por parte de los profesores y la comprensión de los alumnos. No obstante, los profesores no acostumbran a expresarse en términos de criterios y estándares de evaluación. A veces les entregan a los estudiantes una pauta o rúbrica que incluye criterios y estándares de evaluación, pero esta práctica aislada no conduce a una efectiva comprensión ya que, por una parte, es muy posible que estén redactadas en un lenguaje experto, aún desconocido para ellos. Por otra, dado que los criterios y estándares de evaluación son abstracciones, puede que sea difícil para ellos comprender en su totalidad lo que implican.

Lo anterior ocurre aun cuando los profesores son expertos en sus respectivas disciplinas ya que aquello que constituye un trabajo de calidad es difícil de transmitir verbalmente o por escrito pues se trata de conocimiento tácito (Carless & Chan, 2016; Sadler, 1989). No obstante, los estudiantes pueden adquirir este conocimiento mediante actividades como la imitación y el diálogo (Bloxham & Campbell, 2010), por lo que se hace necesario que sean expuestos a actividades prácticas, que les permitan descubrir los criterios y estándares de evaluación implicados (Carles & Chan, 2016). Una modalidad efectiva a este propósito es lo que se ha denominado como trabajo con ejemplares o modelización con ejemplares.

El uso de ejemplares constituye una nueva forma de trabajo en el marco de la evaluación formativa en la educación superior. Se basa en modelos de evaluación socio constructivistas que señalan que la comprensión de los procesos, criterios y estándares de evaluación requiere la participación activa de los estudiantes en el aprendizaje (Smyth & Carless, 2020).

Actualmente existe un grupo de investigaciones internacionales que, aunque escaso por lo nuevo del tema, da cuenta de prácticas en que docentes trabajan con ejemplares de distinta calidad, con un alto impacto en la mejora de los aprendizajes de sus estudiantes.

Este artículo presenta y discute las bases conceptuales del trabajo con ejemplares, su efecto en el aprendizaje de los estudiantes y su formación en el marco de la educación superior, se proponen algunos principios orientadores para la práctica, y analizan diversas estrategias para su implementación en procesos de retroalimentación, autoevaluación y coevaluación basadas fundamentalmente en el uso de rúbricas.

Para realizar la sistematización que se presenta se buscó bibliografía usando los siguientes criterios de inclusión y exclusión: debía tratarse de investigaciones teóricas o empíricas acerca del trabajo con ejemplares y publicadas en revistas o libros con revisión por pares. Por otra parte, debían ser trabajos realizados en el contexto de la educación superior en cualquier disciplina, carrera o programa de pre o posgrado. Respecto de la metodología usada en las investigaciones empíricas, podía ser cuantitativa, cualitativa o mixta y, respecto del idioma, se buscó en español e inglés. Se usaron las bases de datos Scopus, Web of Science, SciELO y ERIC. Los términos de búsqueda, y sus respectivas traducciones al inglés, fueron “ejemplares”, “experticia evaluativa”, “educación superior”, “construcción del juicio sobre la calidad”, autoevaluación”, “coevaluación”, retroalimentación” y “rúbricas”. Estos términos fueron ingresados de forma individual como también combinados de forma aleatoria en la opción de búsqueda avanzada de las bases.

Con los capítulos de libros y artículos seleccionados se realizaron dos análisis. El primero para recoger aspectos conceptuales sobre el trabajo con ejemplares en la educación superior y, el segundo, para sistematizar experiencias de estrategias de autoevaluación, coevaluación y retroalimentación con ejemplares.

Trabajo con ejemplares en educación superior

Sadler (2010) señala que la prueba esencial para saber si los estudiantes comprenden los criterios y estándares de evaluación no tiene que ver con su capacidad para definirlos formalmente, sino con su capacidad para emitir y explicar juicios certeros en sus propios trabajos y de otros. Es decir, los estudiantes deben ser expuestos a la experiencia evaluativa con trabajos reales de distinta calidad, guiados por sus profesores, de forma tal que vayan haciendo juicios sobre la calidad de dichos trabajos cada vez más refinados. Por lo tanto, puede decirse que los ejemplares son muestras de trabajos de estudiantes, cuidadosamente elegidas con la finalidad de ilustrar dimensiones de calidad y aclarar las expectativas de la evaluación en cuanto a criterios y estándares (Carless & Chan, 2016; Sadler, 2010).

Un ejemplar también puede ser una respuesta modelo construida por el profesor, no obstante, en este caso se corre el riesgo de representar estándares poco realistas y potencialmente inalcanzables para los estudiantes (Newlyn, 2013) y, por otra parte, induce a los estudiantes a copiar mecánicamente el modelo.

Los ejemplares en sí mismos no son suficientes, puesto que lo relevante de su uso es que los estudiantes identifiquen criterios y estándares de evaluación que les servirán para construir sus juicios sobre la calidad. Por lo tanto, es preciso que ellos realicen una interpretación de estos ejemplares, acompañada de una discusión que implique un diálogo reflexivo (Carless & Chan, 2016). En este proceso se debe destacar la importancia del trabajo colaborativo entre los estudiantes, pues este constituye un andamiaje para intercambiar opiniones sobre la calidad, negociar significados y aclarar conceptos (Carless & Chan, 2016).

Consideraciones previas al trabajo con ejemplares

Aunque la experticia evaluativa y la autonomía pueden ser desarrolladas por los estudiantes en actividades que no están diseñadas específicamente para ello (Gladovic et al., 2021), constituyen competencias tan relevantes para la vida estudiantil y el futuro profesional que debiera ser parte de los perfiles de egreso de las carreras en la educación superior. Ello implica una cuidadosa planificación e implementación de actividades.

Para trabajar con ejemplares los estudiantes deben contar con alguna experiencia con los contenidos o temas, como también con un lenguaje evaluativo común, por ejemplo, es deseable que comprendan términos como criterios y estándares de evaluación.

Por su parte, el profesor debe determinar cuáles son las características de los ejemplares que apoyan la comprensión de los criterios y estándares por parte de los estudiantes. Esto dependerá del tema que se esté tratando y del propósito particular que determine el docente, por ejemplo, deberá definir qué criterios necesitará que se destaquen en los ejemplares. Luego, debe analizar, seleccionar, y posiblemente adaptar, los mejores ejemplares y, finalmente, seleccionar, adaptar o crear una estrategia adecuada.

Debido a que el propósito más amplio del trabajo con ejemplares es mostrar cómo se manifiesta la calidad en concreto, lo ideal es contar con ejemplares de buena, regular y baja calidad. Como señala Sadler (2002), se puede reconocer la buena calidad cuando se la compara con un fondo de mediocridad: de esta forma se hace patente qué es lo que distingue a un buen trabajo de uno regular o malo.

Puede ocurrir que, al presentarles a los estudiantes ejemplares referidos a solo una situación y contenido, aprendan de forma específica solo lo referido a dicha situación y contenido en particular. Una buena manera de evitar esto es presentarles ejemplares sobre distintas situaciones y contenidos y pedirles que extraigan las cualidades comunes (criterios). Por ejemplo, si un profesor quiere comunicar el criterio de “coherencia” en un artículo académico, puede mostrar a los estudiantes distintos tipos de artículos académicos y con distintos grados de calidad.

Independiente de la estrategia a usar, el estudiante debe extraer características o aspectos importantes que presenta el ejemplar y en qué grado, es decir, debe determinar criterios y estándares. Esto puede realizarse de forma individual y luego grupal para acordar un listado de criterios y estándares con los cuales puede comparar su propio trabajo, o el de sus compañeros, mientras lo va desarrollando y construir juicios sobre su calidad. Esta secuencia puede llevar a procesos de autoevaluación, coevaluación y retroalimentación, lo que será discutido más adelante.

Uso dialógico de ejemplares

El diálogo en los procesos de evaluación se enmarca en un enfoque socioconstructivista e implica el intercambio de ideas, comentarios y sugerencias entre los distintos interactuantes, que pueden ser profesor-estudiantes y estudiantes-estudiantes (Tam, 2020). El uso dialógico de ejemplares puede comprenderse como una instancia que involucra la participación de los estudiantes en una serie de discusiones sobre el análisis de ejemplares y su uso (To & Carless, 2015). La finalidad de esta discusión es que expliciten su razonamiento, se comprometan con el proceso de evaluación y que aclaren las expectativas de los docentes sobre sus trabajos (Carless et al., 2018). El papel del docente es diseñar y realizar preguntas y comentarios que tengan un sentido prospectivo que permitan a los estudiantes comprender cómo se constituye la calidad y analizar cómo se podrían mejorar los ejemplares de calidad regular o baja (Carless & Chan, 2016). La literatura señala que esta experiencia se inicia de manera individual, luego grupal y finalmente se genera un plenario donde se llega a acuerdos sobre los aspectos que hacen que una tarea sea de buena, regular o baja calidad (Hendry & Anderson, 2013; Hendry et al., 2011).

Como limitaciones, se ha reportado la falta de costumbre de los estudiantes de dialogar con sus profesores e incluso con sus compañeros, lo que limita llegar a acuerdos, situación que se incrementa si los cursos son muy diversos; por su parte, los profesores dan poco espacio a sus estudiantes para entrar en discusiones, lo que les quita control sobre sus aprendizajes (Tam, 2020).

Por lo anterior, un aspecto importante de esta etapa es la confianza de los estudiantes para explicitar los juicios que se generan en torno a los ejemplares. De acuerdo con Carless (2015) la confianza en la comunicación facilita el desarrollo de una atmósfera de participación, que se asuman riesgos y la voluntad de tomar parte en unos diálogos sostenidos. Por lo mismo, influye directamente en procesos como la retroalimentación y autoevaluación (Ibarra-Sáiz et al., 2020).

Estrategias con uso de rúbricas y ejemplares

Aunque desde que se comenzó a usar en educación el término rúbrica no ha sido muy claro y se tiende a definirlo de formas diferentes (Dawson, 2017), lo común es que se trata de un documento que articula las expectativas para una tarea enumerando criterios o aspectos, y describiendo niveles de calidad de excelente a deficiente (Andrade, 2019). Autores como Mertler (2000) y Roblyer y Wiencke (2003), coinciden en que la rúbrica es una herramienta versátil que puede adaptarse al interés del docente, ya que, por un lado, permite evaluar el aprendizaje de los y las estudiantes y por otro, permite monitorearlo. Desde el punto de vista de los estudiantes, permite identificar las áreas que necesitan mejoras, pero también satisface la necesidad de una mayor responsabilidad (Valle et al., 2016).

Dawson (2017) plantea que los docentes usan las rúbricas con distintos propósitos, tales como retroalimentar y calificar. Por su parte los estudiantes las usan como orientaciones planificar su respuesta a las tareas; para autoevaluarse y coevaluarse.

La rúbrica y los ejemplares pueden ser utilizados de forma complementaria, para mejorar la comprensión del nivel que los docentes pretenden que alcancen sus estudiantes.

Aunque lo más frecuente es que el docente diseñe y construya la rúbrica, esta se puede construir en conjunto con sus estudiantes e ir refinando en el tiempo. Por ejemplo, en la investigación de Kilgour et al. (2019) seis profesores de distintas carreras universitarias construyeron rúbricas en conjunto con sus estudiantes. A través de entrevistas y grupos focales, concluyeron que los estudiantes tenían una compresión mucho más rica acerca del trabajo con las rúbricas, un mayor compromiso con el trabajo, una mejor comprensión acerca de lo que significa evaluar un trabajo, y, sobre todo, un mayor aprendizaje. No obstante, como limitaciones los profesores señalaron la falta de tiempo y las expectativas poco realistas de algunos estudiantes.

La rúbrica se puede generar usando tres ejemplares, uno de buena calidad, otro regular y otro de baja o insuficiente calidad. En una primera etapa, es deseable que el docente comunique a sus estudiantes el nivel de calidad de cada ejemplar. Luego les pedirá que identifiquen características comunes (criterios) para posteriormente identificar cómo es que esas características se presentan en cada uno, para extraer así los estándares. Posteriormente, docente y estudiantes discuten y acuerdan los criterios y estándares construyendo de forma conjunta la rúbrica.

Una variante de esta forma de construir la rúbrica puede desarrollarse si los estudiantes tienen algún grado de experiencia con el trabajo con ejemplares. En este caso, el profesor les entregará los ejemplares, pero sin señalar cuál es la calidad de cada uno, de forma que sean ellos los que la determinen. To y Carless (2015) en su investigación en un curso de inglés en una institución postsecundaria, usan esta estrategia y muestran que los estudiantes pueden distinguir y clasificar ejemplares de distintas calidades como también justificar sus decisiones.

Autoevaluación y coevaluación con uso de ejemplares y rúbricas

Zachary et al. (2012) señalan que la autoevaluación es un proceso en el cual los estudiantes reflexionan sobre la calidad de su trabajo, comparándolo con criterios establecidos explícitamente. Así, juzgan qué tan bien va su trabajo y realizan las modificaciones apropiadas (Brown et al., 2015). La coevaluación se entiende como aprendizaje asistido por compañeros (PAL, por su sigla en inglés) en que se diseñan actividades para que aprendan unos de otros (Naidoo et al., 2020).

Las formas de trabajar con modalidades de auto y coevaluación pueden ser variadas, aunque lo común es que los estudiantes van desarrollando su trabajo orientándose con la rúbrica, lo que implica juzgar las características de su trabajo o el de sus compañeros, explicitar las razones para ello y mejorar de forma progresiva.

En su revisión sobre autoevaluación, Andrade (2019), destaca una investigación en que los estudiantes debían producir un documento escrito a partir de una rúbrica coconstruida con el profesor a partir de un ejemplo de buena calidad. Debían subrayar aspectos que consideraran clave en los niveles de la rúbrica, posteriormente debían comparar su trabajo con estos aspectos y determinar por cada criterio en qué nivel o estándar estaba para después mejorar su trabajo. El principal hallazgo fue que la autoevaluación guiada, de acuerdo con los criterios cocreados, ayudó a los estudiantes a producir una escritura más efectiva.

En la investigación de Hendry et al. (2012) con estudiantes universitarios de la asignatura Introducción al Derecho, se utilizaron ejemplares con niveles de calidad y una rúbrica. Los estudiantes evaluaron y calificaron los ejemplares mediante el uso de una rúbrica y posteriormente se generó una discusión en torno a esta experiencia. Así, se exploró la percepción de los estudiantes sobre los ejemplares y la comprensión de los estándares presentes en la rúbrica.

Bacchus et al. (2020), diseñaron una investigación con grupos control y experimental en una universidad australiana en una carrera de Leyes y otra de Literatura. El grupo de control trabajó con ejemplares y una rúbrica entregada por el profesor y el experimental construyó una rúbrica entre profesor y estudiantes y trabajó sin ejemplares. Posteriormente desarrollaron sus respectivos trabajos. Como resultado, los estudiantes indicaron que trabajar con ejemplares y rúbrica fue mucho más provechoso que el trabajo solo con la rúbrica, dado que tuvieron una idea más clara y completa de cómo estructurar su trabajo, y sentían que complementaba la rúbrica porque podían observar algunos aspectos que no estaban en ella. Así, el uso de ejemplares complementó de buena forma el trabajo con rúbrica.

Retroalimentación con uso de ejemplares y rúbricas

La retroalimentación es el proceso mediante el cual el profesor, o un par, otorga al estudiante información acerca de su desempeño proveniente de las actividades de evaluación, con la finalidad de cerrar la brecha entre su estado actual de aprendizaje y el estado deseable (Sadler, 1989), lo que les permite conocer sus fortalezas y debilidades, desarrollar habilidades metacognitivas y ganar más confianza en lo que están haciendo (Orsmond et al., 2005). Esta interacción debiera promover en el estudiante una actividad reflexiva que le permita construir significados, compartirlos e incluso negociarlos con su profesor y pares. Para ello el profesor debe establecer un contexto adecuado, precedido por un ambiente estimulante e interactivo de enseñanza, adaptar los comentarios a las necesidades de los estudiantes y recurrir a diversas fuentes, incluyendo a los compañeros, y a diversas modalidades de diálogo (Carless, 2015; Haughney et al., 2020; Nicol, 2010; Van der Kleij et al., 2019). Dado lo anterior, para que la retroalimentación sea efectiva debe ser informativa, comprensible y usable (Brookhart & Ruiz Primo, 2018); por otra parte, se debe asegurar que los estudiantes han comprendido los criterios y estándares de evaluación y saben usarlos, por ejemplo, para retroalimentar a sus pares.

Las investigaciones de Andrade et al. (2008), Andrade et al. (2010) y Ross et al. (1999) muestran que los propios estudiantes pueden ser fuentes útiles de retroalimentación, particularmente cuando proporcionan comentarios específicos a sus compañeros sobre la tarea.

Una estrategia de retroalimentación consiste en construir la rúbrica a partir de ejemplares de diversa calidad y posteriormente usar dicha rúbrica para que el profesor otorgue retroalimentación a sus estudiantes o para que entre ellos se retroalimenten, es decir, para que se apoyen y se hagan sugerencias para mejorar.

Otra estrategia consiste en entregar diversos ejemplares retroalimentados, de forma tal que los estudiantes comprendan el sentido de dicha retroalimentación en el contexto de esos ejemplares y relacionarlo con su propio trabajo. Esta estrategia fue usada por Handley y Williams (2011), en un estudio con estudiantes universitarios en un curso de investigación. Los estudiantes podían analizar ejemplares de distinta calidad retroalimentados y calificados en una plataforma virtual y preguntar a sus tutores y compañeros como también publicar comentarios al respecto. Aunque no hubo aumento en las calificaciones en comparación a años anteriores, la implementación fue muy valorada por los estudiantes. Los autores concluyen que posiblemente la falta de un proceso dialógico afectó la comprensión de los criterios y estándares de evaluación y, consecuentemente, las calificaciones.

Otras estrategias

Aunque lo ideal es el trabajo con ejemplares de calidad buena, regular e insuficiente, la literatura reporta algunas experiencias exitosas en educación superior usando estrategias con un número menor.

Una forma tradicional de trabajar es con solo un ejemplar que representa un trabajo excelente, es decir, con una respuesta modelo, pero, como se dijo anteriormente, en estos casos se corre el riesgo de que los estudiantes lo perciban como inalcanzable o que copien el modelo de forma mecánica, aunque esto último se puede subsanar al realizar posteriormente, tareas diferentes a los ejemplares (To & Carless, 2015).

No obstante, existen otras formas de trabajar con solo un ejemplar de manera exitosa. Por ejemplo, To y Carless (2015) reportan que en clases para futuros profesores se discuten entre docente y estudiantes los criterios y estándares de evaluación de un trabajo escrito. Posteriormente la docente les entrega un ejemplo de trabajo que ha aprobado, pero sin dar más detalle y les pide a ellos que pongan una calificación de forma individual. Posteriormente en grupos, deben justificar por qué han puesto dicha calificación.

Esto se ha trabajado en investigaciones, ya sea con ejemplares con comentarios, calificaciones, o sin ellas, y en ocasiones, con rúbricas, las cuales sirven para apoyar el juicio de los estudiantes al respecto de los ejemplares (Bacchus et al., 2020; Carless et al., 2018; Handley & Williams, 2011; Hendry et al., 2012).

Una variante de la estrategia es entregar a los estudiantes dos trabajos que no han alcanzado el nivel de buena calidad y pedirles que analicen qué les hace falta para llegar a dicho nivel. En este caso se puede usar una rúbrica para apoyar los juicios. También se puede entregar a los estudiantes un ejemplar de regular calidad y otro de baja o insuficiente calidad junto a una rúbrica a la que le falten algunos niveles por describir. La tarea de los estudiantes será completar la rúbrica a partir de los ejemplares.

Si se está cerca en el tiempo de alguna evaluación con calificación o sumativa, esta actividad puede complementarse pidiendo a los estudiantes que pongan puntos y calificación a los ejemplares a partir de alguna pauta de evaluación o rúbrica. En la investigación de Hendry y Anderson (2013), los estudiantes de cursos de pedagogía debieron calificar ensayos ejemplares y discutir en pequeños grupos las razones de las calificaciones.

Un caso particular se refiere al uso de ejemplares en el contexto online que ha sido poco estudiado. En una investigación desarrollada por Handley y Williams (2011) en la que se pretendía mejorar la retroalimentación en relación al tiempo de entrega y la participación de los estudiantes, se generó un trabajo online con estudiantes de pregrado. Se subieron a una plataforma trabajos de buena calidad de estudiantes de cohortes anteriores, muy similares a las que realizarían los estudiantes participantes, pero con otras temáticas, que contenían comentarios del profesor. Se les señaló que debían analizarlos para mejorar sus propios trabajos, apoyándose en discusiones en un foro con estudiantes que les ayudarían y retroalimentarían. Los estudiantes participantes señalaron que la actividad fue útil para tener una guía en cuanto a la estructura y diseño de su trabajo, dado que los ejemplares eran de buena calidad y tenían comentarios. También señalaron que los ejemplares les otorgaron un punto de referencia para comenzar, o bien, para analizar cómo era su desempeño en sus tareas. Sin embargo, no hubo un buen aprovechamiento del foro y algunos estudiantes plantearon que sería provechoso tener ejemplares de diferente calidad, realizar la discusión de forma presencial y analizar ejemplares sin comentarios.

Por su parte, Foster y Marasco (2007) sugieren que el uso simultaneo de rúbricas y ejemplares puede conducir a mejores desempeños en comparación a usar rúbricas y ejemplares usados en forma separada. No obstante, Lipnevich et al. (2013) encontraron que ante tres modalidades diferentes de trabajar para producir un reporte de investigación (rúbrica detallada usada de forma aislada, tres ejemplares de distinta calidad usados en forma aislada y rúbrica detallada complementada con tres ejemplares), con la modalidad de rúbrica usada en forma aislada tuvieron mejores calificaciones que con las otras.

Conclusiones

Como lo señalan las investigaciones citadas, el trabajo con ejemplares en sus distintas variantes pueden apoyar el aprendizaje de los estudiantes. De acuerdo con Hendry et al. (2011), los ejemplares funcionan como una guía y les ayudan a comprender qué es lo que se espera de su desempeño y cómo llegar; les aportan confianza en el trabajo propio, al tener un conocimiento previo de los criterios y del estándar de alta calidad y potencian su capacidad de autoevaluación. Carless y Chan (2016) agregan que los ejemplares les permiten decodificar las retroalimentaciones y recibir retroalimentación más específica de parte de pares o docentes pues comprenden mejor los criterios y estándares.

No obstante, enseñar a los estudiantes a construir juicios sobre sus desempeños y los de otros, puede ser una tarea difícil para los docentes. Por ejemplo, se han reportado algunas dificultades, tales como la falta de experiencia de los docentes en la educación superior, lo que limita el manejo adecuado de varios ejemplares a la vez, y el escaso uso del diálogo con los estudiantes (Smyth & Carless, 2020). Esto da cuenta de la tensión que existe entre esta nueva forma de enseñar y un enfoque más tradicional.

La sistematización presentada ofrece diversas estrategias posibles de implementar en la educación superior, exponiendo al estudiantado a actividades prácticas para ir modelando los juicios sobre la calidad de sus propios trabajos y de sus compañeros. Específicamente los docentes deben intencionar el diálogo de forma permanente con y entre estudiantes para construir comprensiones compartidas sobre criterios y estándares de evaluación, los que luego usarán para evaluar y retroalimentar trabajos. De esta forma irán adquiriendo gradualmente experticia evaluativa, capacidad esencial para que los futuros egresados aprendan, desarrollen buenos trabajos, tomen decisiones informadas y se conviertan en profesionales responsables.

Por otra parte, y dado que la experticia evaluativa no se desarrolla el vacío, el éxito de la implementación de las estrategias discutidas también depende muy especialmente del contenido disciplinario que se enseña, la carrera y el contexto de la institución superior, todos aspectos que aún no han sido explorados y que constituyen un gran desafío para futuras líneas de investigación.

El presente artículo constituye un aporte a la teoría y práctica de la evaluación en la educación superior, en especial en su sentido formativo, debido a que el trabajo con ejemplares promueve en los estudiantes no solo aprendizajes cognitivos desafiantes sino también metacognitivos, la participación, reflexión y, especialmente, su autonomía. Por otra parte, la temática es muy nueva y este constituye el primer artículo en idioma español.

Como limitaciones, se puede mencionar la nula existencia de investigaciones en Latinoamérica al respecto, lo que obstaculiza poder ofrecer una adecuada contextualización de estrategias para la educación superior en nuestra región. Otra limitante se relaciona con los idiomas seleccionados para la búsqueda de información, español e inglés, pues, posiblemente un espectro más amplio de idiomas hubiera enriquecido los resultados.

Referencias:

Ajjawi, R., Tai, J., Dawson, Ph., & Buod, D. (2018). Conceptualising evaluative judgment for sustainable assessment in higher education. En D. Boud, R. Ajjawi, P. Dawson & J. Tai (Eds.), Developing Evaluative Judgement in Higher Education: Assessment for knowing and producing quality work (pp. 7-17). Routledge. [ Links ]

Andrade, H. (2019). A Critical Review of Research on Student Self-Assessment. Frontiers in Education, 4(87), 1-13. https://doi.org/10.3389/feduc.2019.00087 [ Links ]

Andrade, H., Du, Y., & Mycek, K. (2010). Rubric-referenced self-assessment and middle school students’ writing. Assessment in Education, 17(2), 199-214. https://doi.org/10.1080/09695941003696172 [ Links ]

Andrade, H., Du, Y., & Wang, X. (2008). Putting rubrics to the test: The effect of a model, criteria generation, and rubric-referenced self-assessment on elementary school students’ writing. Educational Measurement: Issues and Practices, 27(2), 3-13. https://doi.org/10.1111/j.1745-3992.2008.00118.x [ Links ]

Arter, J., & McThige, J. (2001). Scoring Rubrics in the Classroom. Pearson Education. [ Links ]

Bacchus, R., Colvin, E., Knight, E., & Ritter, L. (2020). When rubrics aren’t enough: Exploring exemplars and student rubric co-construction. Journal of Curriculum and Pedagogy, 17(1), 48-61. https://doi.org/10.1080/15505170.2019.1627617 [ Links ]

Bloxham, S., & Campbell, L. (2010). Generating dialogue in assessment feedback: exploring the use of interactive cover sheets. Assessment & Evaluation in Higher Education, 35(3), 291-300. https://doi.org/10.1080/02602931003650045 [ Links ]

Brookhart, S., & Ruiz-Primo, M. (2018). Using feedback to improve learning. Routledge. [ Links ]

Brown, G., Andrade, H., & Chen, F. (2015). Accuracy in student self-assessment: directions and cautions for research.Assess. Educ.,22, 444-457. https://doi.org/10.1080/0969594X.2014.996523 [ Links ]

Cañadas, L. (2020). Evaluación formativa en el contexto universitario: oportunidades y propuestas de actuación. Revista Digital de Investigación en Docencia Universitaria, 14(2), e1214. [ Links ]

Carless, D. (2015). La confianza: Facilitar el feedback dialógico. En D. Boud, & E. Molloy (Coords.), El feedback en educación superior y profesional comprenderlo y hacerlo bien (pp. 115-129). Narcea. [ Links ]

Carless, D., & Chan, K. (2016). Managing dialogic use of exemplars, Assessment & Evaluation in Higher Education , 42(6). https://doi.org/10.1080/02602938.2016.1211246 [ Links ]

Carless, D., Chan, K., To, J., Lo, M., & Barrett, E. (2018). Developing students’ capacities for evaluative judgement through analysing exemplars. En D. Boud, R. Ajjawi, P. Dawson, & J. Tai (Eds.), Developing Evaluative Judgement in Higher Education: Assessment for knowing and producing quality work (pp. 108-116). Routledge. [ Links ]

Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education , 42, 347-360. https://doi.org/10.1080/02602938.2015.1111294 [ Links ]

Dawson, P., Ajjawi, R., Boud, D., & Tai, J. (2018). Introduction: What is evaluative judgment? En D. Boud, R. Ajjawi, P. Dawson, & J. Tai (Eds.), Developing Evaluative Judgement in Higher Education: Assessment for knowing and producing quality work (pp. 1-4). Routledge. [ Links ]

Foster, G., & Marasco, T. L. (2007). Exemplars: Your best resource to improve student writing. Pembroke. [ Links ]

Gladovic, C., Hong-Meng Tai, J., & Dawson, P. (2021). Qualitative approaches to researching evaluative judgement in pedagogical activities: a case study. Assessment & Evaluation in Higher Education , 47(2), 231-244. https://doi.org/10.1080/02602938.2021.1901854 [ Links ]

Handley, K., & Williams, L. (2011). From copying to learning: using exemplars to engage students with assessment criteria and feedback. Assessment & Evaluation in Higher Education , 36(1), 95-108. https://doi.org/10.1080/02602930903201669 [ Links ]

Haughney, K., Wakeman, S., & Hart, L. (2020). Quality of Feedback in Higher Education: A Review of Literature. Educ. Sci., 10(60), 1-15. https://doi.org/10.3390/educsci10030060 [ Links ]

Hendry, G., & Anderson, J. (2013). Helping students understand the standards of work expected in an essay: using exemplars in mathematics pre-service education classes. Assessment & Evaluation in Higher Education , 38(6), 754-768. https://doi.org/10.1080/02602938.2012.703998 [ Links ]

Hendry, G., Armstrong, S., & Bromberger, N. (2012). Implementing standards-based assessment effectively: incorporating discussion of exemplars into classroom teaching. Assessment & Evaluation in Higher Education , 37(2), 149- 161. https://doi.org/10.1080/02602938.2010.515014 [ Links ]

Hendry, G., Bromberger, N., & Armstrong, S. (2011). Constructive guidance and feedback for learning: the usefulness of exemplars, marking sheets and different types of feedback in a first year law subject. Assessment & Evaluation in Higher Education , 36(1), 1-11. https://doi.org/10.1080/02602930903128904 [ Links ]

Ibarra-Sáiz, M. S., Rodríguez-Gómez, G., & Boud, D. (2020). Developing student competence through peer assessment: the role of feedback, self-regulation and evaluative judgement. Higher Education, 80, 137-156. https://doi.org/10.1007/s10734-019-00469-2 [ Links ]

Kilgour, P., Northcote, M., Williams, A., & Kilgour, A. (2019). A plan for the co-construction and collaborative use of rubrics for student learning. Assessment & Evaluation in Higher Education , 45(1), 140-153. https://doi.org/10.1080/02602938.2019.1614523Links ]

Lipnevich, A., McCallen, L., Miles, K., & Smith, J. (2013). Mind the gap! Students' use of exemplars and detailed rubrics as formative assessment.Instructional Science,42(4), 539-559. https://doi.org/10.1007/s11251-013-9299-9 [ Links ]

Mertler, C. A. (2000). Designing scoring rubrics for your classroom.Practical assessment, research, and evaluation, 7(25), 1-9. https://doi.org/10.7275/gcy8-0w24 [ Links ]

Naidoo, O., Tai, J., & Penman, R. (2020). Preparing students for the future through developing evaluative judgement. The Clinical Teacher, 18(2), 1-6.  https://doi.org/10.1111/tct.13268 [ Links ]

Newlyn, D. (2013). Providing Exemplars in the Learning Environment: The Case for and against. Universal Journal of Educational Research, 1(1), 26-32. https://doi.org/10.13189/ujer.2013.010104Links ]

Nicol, D. (2010). From monologue to dialogue: improving written feedback processes in mass higher education. Assessment & Evaluation in Higher Education , 35(5), 501-517. https://doi.org/10.1080/02602931003786559 [ Links ]

Orsmond, P., Merry, S., & Reiling, K. (2005). Biology students’ utilization of tutors’ formative feedback: a qualitative interview study. Assessment and Evaluation in Higher Education, 30(4), 369-386. https://doi.org/10.1080/02602930500099177 [ Links ]

Roblyer, M. D., & Wiencke, W. R. (2003). Design and use of a rubric to assess and encourage interactive qualities in distance courses.The American journal of distance education,17(2), 77-98. https://doi.org/10.1207/S15389286AJDE1702_2Links ]

Ross, J., Rolheiser, C., & Hogaboam-Gray, A. (1999). Effects of self-evaluation training on narrative writing. Assessing Writing, 6(1), 107-132. https://doi.org/10.1016/S1075-2935(99)00003-3 [ Links ]

Sadler, R. (1983). Evaluation and the improvement of academic learning. Journal of Higher Education,54, 60-79. https://doi.org/10.1007/BF00117714Links ]

Sadler, R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18, 119-144. https://doi.org/10.1007/BF00117714 [ Links ]

Sadler, R. (2002). Ah! … so that's ‘quality’. En P. Schwartz, & G. Webb (Eds.), Assessment: case studies, experience and practice from higher education (pp. 130-136). Kogan Page. [ Links ]

Sadler, R. (2010). Beyond feedback: developing student capability in complex appraisal. Assessment & Evaluation in Higher Education , 35(5), 535-550. https://doi.org/10.1080/02602930903541015Links ]

Sadler, D. (2017). Academic achievement standards and quality assurance. Quality in Higher Education, 23(2), 81-99. https://doi.org/10.1080/13538322.2017.1356614 [ Links ]

Smyth, P., & Carless, D. (2020). Theorising how teachers manage the use of exemplars: Towards mediated learning from exemplars. Assessment & Evaluation in Higher Education , 46(3), 393-406. https://doi.org/10.1080/02602938.2020.1781785 [ Links ]

Tai, J., Ajjawi, R., Boud, D., Dawson, Ph., & Panadero, E. (2018). Developing evaluative judgement: enabling students to make decisions about the quality of work. High. Educ., 76, 467-481. https://doi.org/10.1007/s10734-017-0220-3 [ Links ]

Tam, A. (2020). Undergraduate students’ perceptions of and responses to exemplar-based dialogic feedback. Assessment & Evaluation in Higher Education , 46(2), 269-285. https://doi.org/0.1080/02602938.2020.1772957 [ Links ]

To, J., & Carless, D. (2015). Making productive use of exemplars: Peer discussion and teacher guidance for positive transfer of strategies. Journal of Further and Higher Education, 40(6), 746-764. https://doi.org/10.1080/0309877X.2015.1014317 [ Links ]

Valle, C., Andrade, H., Palma, M., & Hefferen, J. (2016). Applications of peer assessment and self-assessment in music. Music Educators Journal, 102(4), 41-49. https://doi.org/10.1177/0027432116644652 [ Links ]

Van der Kleij, F., Adie, L., & Cumming, J. (2019). A meta-review of the student role in feedback. International Journal of Educational Research, 98, 303-323. https://doi.org/10.1016/j.ijer.2019.09.005 [ Links ]

Villarroel, V., & Bruna, D. (2019). ¿Evaluamos lo que realmente importa? El desafío de la evaluación auténtica en educación superior.Calidad en la educación, 50, 492-509. https://doi.org/10.31619/caledu.n50.729 [ Links ]

Zachary, B., Chen, F., & Andrade, H. (2012, octubre 19).Student self-assessment in middle school mathematics: A pilot study. Presentado en NERA Conference Proceedings 2012, Nueva York, NY. https://opencommons.uconn.edu/cgi/viewcontent.cgi?article=1004&context=nera_2012Links ]

Cómo citar: Contreras Pérez, G., Rubilar Pérez, P., & Muñoz Lira, M. S. (2022). El desarrollo de la experticia evaluativa a través del trabajo con ejemplares en educación superior. Páginas de Educación, 15(1), 76-92. https://doi.org/10.22235/pe.v15i1.2658

Contribución autoral: a) Concepción y diseño del trabajo; b) Adquisición de datos; c) Análisis e interpretación de datos; d) Redacción del manuscrito; e) revisión crítica del manuscrito. G. C. P. ha contribuido en a, b, c, d, e; P. R. P. en a, b, c; M. S. M. L. en a, b, c.

Editora científica responsable: Mag. Florencia de León

Recibido: 12 de Agosto de 2021; Aprobado: 12 de Mayo de 2022

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons