ESTUDIO DE IMPACTO DE INSTRUMENTOS DE EVALUACIÓN Y MEJORA DE CENTROS EDUCATIVOS

 

Impact study of evaluation and improvement tools of schools

 

JAVIER LASIDA*, ROSSANA ISOLA** Y MARCOS SARASOLA***

 

 

Resumen. Se estudia la percepción del impacto de la aplicación del sistema de calidad ISO (International Standard Organization). Se aplicaron cuestionarios a los directores y docentes de dos centros con características contrastantes. Uno chico,  gratuito, que recibe niños de una zona pobre y de bajos ingresos. El segundo es un centro grande, que recibe niños de zonas de ingresos altos y cobra una cuota alta. Los dos certificaron aspectos parciales con ISO, mostrando estrategias de implementación parecidas. Los resultados son similares y muestran limitados aportes del instrumento a ambos centros, con pocas diferencias entre sí. A la vez coinciden con otros estudios que se reseñan, que encontraron escasos aportes de los sistemas ISO a la mejora educativa, junto con sobrecarga administrativa.

 

Palabras clave: impacto, calidad, centros educativos, gestión, ISO.

Abstract. It was studied the impact perception about the application of the quality system ISO, (International Standard Organization). It was applied questionnaires to directors, teachers and students in two centers with different characteristics. One of the two was small, with free fee and with poor population from poor zone. The second one was big with a high fee and students are from high economic level families.  Both of them received ISO certification in partial aspects, showing similar implementation strategies. The results were similar with very little differences between centers. This instrument (ISO) showed that helps very little to the improvement of quality. Other researches in the literature revised match to the same results: few contributions of ISO system educational quality improvement and an administrative overload.

 

Keywords: impact, quality, schools, management, ISO.

 

Recibido el 15 de abril de 2015

Revisado el 12 de noviembre de 2015

Aceptado el 1º de diciembre de 2016

INSTRUMENTOS PARA LA EVALUACIÓN Y MEJORA DE LOS CENTROS EDUCATIVOS

 

Los instrumentos de evaluación y mejora no están generalizados en los centros educativos; por el contrario, su aplicación es relativamente reciente, desde hace algunas décadas y muy minoritaria. Se utilizan mayoritariamente sólo entre las instituciones de educación superior y universitaria, asociados con la instauración (por ejemplo en la mayoría de los países latinoamericanos) de agencias de acreditación de la calidad en ese nivel educativo. Una de las primeras y más utilizadas herramientas, muy valorada por algunos centros educativos, ha sido el sistema de calidad de la International Standard Organization, ampliamente conocido por su sigla ISO. Es una de las herramientas más aplicadas para la evaluación y mejora de calidad de la gestión de las organizaciones en general y de las educativas en particular. La Organización es una red de instituciones nacionales de normalización, presente en la mayoría de los países, que tiene como propósito crear y consensuar normas de calidad, que faciliten el intercambio de productos y servicios en el mundo. Sallis (2002) plantea que las normas ISO destinadas a las organizaciones se basan en los siguientes ocho principios:

 

ORIENTACIÓN AL CLIENTE. La calidad consiste en alcanzar y superar las expectativas de los clientes. En el contexto educacional, los clientes podrían ser los estudiantes, las familias, los futuros empleadores u otros establecimientos educacionales.

LIDERAZGO. La habilidad de un líder para establecer una visión y un propósito es la clave para el éxito de una organización. Los líderes inspiran a otros, los proveen de recursos y aseguran que las necesidades de todas las partes, equipo profesional, clientes, la comunidad local y otros, son identificados y satisfechos.

INVOLUCRAMIENTO. Las organizaciones requieren que sus miembros usen sus habilidades para el beneficio de la organización.

ENFOQUE DE PROCESOS. Se trata de la eficiencia y eficacia de las actividades principales de la organización y la importancia de desarrollar un enfoque sistemático de su gestión.

ENFOQUE DE GESTIÓN SISTÉMICA. Reconocimiento de la interrelación de los procesos y la alineación de éstos para alcanzar los mejores resultados.

MEJORA CONTINUA. La mejora continua se trata de asegurar que las personas tengan la formación y las habilidades requeridas para realizar mejoras, y que la organización en su totalidad tenga un enfoque hacia la mejora de los desempeños.

ENFOQUE FACTUAL PARA LA TOMA DE DECISIONES. Las decisiones deben ser tomadas sobre la base de información y datos. Los datos sobre los estudiantes y sus desempeños y sobre el valor añadido que se les da a través del proceso educativo son claramente importantes para la toma de decisiones en la educación.

RELACIONES ENTRE LAS PARTES MUTUAMENTE BENEFICIOSAS. Toda organización establece relaciones con sus “proveedores” que pueden tener valor para ambas partes. Se trata de tener una comunicación abierta a asumir proyectos conjuntos y reunir la experticia de ambas partes (p.34).

 

            Este artículo se propone estudiar la percepción que los directores y docentes tienen del impacto de esta herramienta en determinadas dimensiones del centro educativo. El impacto de los Sistemas de Gestión de la Calidad en los centros educativos, se entiende como los efectos observados que se han producido a partir de su implantación, directa o indirectamente, que han afectado de manera significativa el trabajo o “modo de hacer” de la institución educativa y sus resultados.

            Con respecto al concepto de calidad para los fines de este estudio, tomando como referencia al contexto español, el Consejo Escolar del Estado (2001) afirma que:

La escuela de calidad es aquella que promueve el progreso de sus estudiantes en una amplia gama de logros intelectuales, sociales, morales y emocionales teniendo en cuenta su nivel socioeconómico, su medio familiar y su aprendizaje previo. Un sistema escolar de calidad es el que maximiza la capacidad de las escuelas para alcanzar resultados, lo que supone adoptar la noción de valor añadido en la eficacia escolar. (p.14)

 

OBJETIVOS Y METODOLOGÍA DEL ESTUDIO

 

Este artículo se propone estudiar la percepción del impacto de la aplicación del sistema ISO en dos centros educativos seleccionados por sus características contrastantes en cuanto a su tamaño, ubicación territorial, recursos disponibles y población atendida. Se partió de la pregunta de si esas diferencias afectaban la viabilidad y los impactos de la implementación de un sistema de evaluación y mejora de la calidad.

            El centro que llamamos chico es gratuito y recibe niños de familias de la zona cercana, en situación de pobreza o con bajos ingresos, con padres con pocos años de educación formal. Cuenta con 216 alumnos y brinda sólo educación inicial, hasta los tres años de edad.

            Su equipo docente muestra alta movilidad. Diez años después de la  implementación del sistema ISO sólo poco más de la tercera parte de quienes trabajaban ─y fueron capacitados para la aplicación de la herramienta─ continuaban haciéndolo. En tanto la estabilidad del equipo de gestión es alta. En los últimos años no se han registrado cambios, a excepción de un integrante que recientemente se jubiló.

            El segundo centro, que denominamos grande, es una institución educativa que abarca los niveles de educación inicial, primaria y media, con más de 250 alumnos en el nivel inicial. El nivel educativo de los padres y madres es alto, casi el 90% cursó estudios universitarios. Se cobra una cuota que supera ampliamente el salario mínimo nacional, procediendo la mayoría de los alumnos de barrios de ingresos medio altos y altos. Con respecto al equipo docente, predomina poca movilidad anual, se estima un 10% a 15%. La estabilidad del equipo de gestión es alta.

            Hay coincidencias en las misiones definidas por ambos centros para sí. Subrayan que consideran integralmente a los niños, procurando el desarrollo de sus potencialidades. Los dos centros, luego de trabajar durante varios años, fueron certificados en las normas ISO, en aspectos parciales de su funcionamiento. El centro chico contó con un financiamiento especial para realizar la evaluación, las mejoras y finalmente la certificación.

            Para este estudio se aplicó un cuestionario, de carácter anónimo, a docentes y directores. La condición para poder participar de la investigación fue que el docente o director hubiese trabajado antes de la implementación del sistema de calidad y que permaneciera trabajando en dicho centro en el momento de la encuesta.

            En el centro chico, se aplicaron un total de diez cuestionarios conformando el total de los actores en condiciones de responderlo (ocho cuestionarios aplicados a los docentes y dos al equipo de gestión y responsable de calidad). En el centro grande se aplicaron quince cuestionarios (diez a los docentes y cinco a directivos y responsables de calidad), representando el 83% del total de docentes en condiciones de participar y el 100% del equipo directivo.

            Para lograr una mejor comparación en las respuestas, en el centro grande se encuestó sólo a los docentes y directores de educación inicial. En ambos casos se restringió a quienes tuvieran como mínimo tres años de trabajo en el centro. El cuestionario fue diseñado por el equipo de investigación del Proyecto I+D+I dirigido por Aurelio Villa sobre: “Impacto de la implantación de Sistemas de Gestión de la Calidad en centros educativos”. Se le realizaron adaptaciones en los términos utilizados, con el propósito de posibilitar su aplicación en varios países latinoamericanos. Se organiza en 128 preguntas correspondientes a seis dimensiones: Comunicación; Sistema de Gestión (subdividida en Cultura de Planificación y Políticas de Apoyo y Reconocimiento); Clima; Proceso Enseñanza – Aprendizaje; Satisfacción y Relaciones. La escala utilizada va del 1 al 5; siendo el 1 el equivalente a Nada, Ninguno/a o Nunca; el 2 Muy poco o A veces; el 3 Poco o Varias veces; el 4 Bastante o Casi siempre y el 5 Mucho o Siempre.

            En el momento de aplicación del cuestionario se explicitó a los consultados el sentido dado a cada una de las dimensiones, en los términos que se indican a continuación. La comunicación se definió como el uso de los diversos mecanismos de interacción entre los distintos actores del centro educativo. El sistema de gestión se entendió como la planificación, organización y funcionamiento de actividades y procesos. El clima se refirió a cómo se sienten en general y con respecto a los otros actores del centro. La dimensión de enseñanza-aprendizaje se entendió como la planificación y la práctica didáctica, así como la evaluación de los educandos. La satisfacción fue respecto al sistema de calidad y las relaciones a aquellas mantenidas con la comunidad y con otros actores externos a cada centro.

            Para el análisis se consolidaron los datos en tres categorías, atendiendo a que ello posibilitó una mejor interpretación de los datos recogidos. Como muestran los cuadros 2 y 3, una dimensión en cada centro arroja altos porcentajes de no respondientes (la dimensión de satisfacción en el centro chico y la de relaciones en el centro grande), por lo que se considera que los datos no resultan suficientes para el análisis; se optó por mantenerlas a los efectos de facilitar la comparación global entre ambas instituciones. La ausencia de estas respuestas entendemos que no afecta los resultados generales de las percepciones, pero que sí imposibilita considerar los datos particulares, referidos a esa dimensión.

            Complementariamente se recabó documentación sobre cada centro y se realizaron entrevistas en profundidad, con una pauta semiestructurada a un informante calificado en cada uno de ellos, con el propósito de complementar información sobre cada centro, con respecto a sus procesos en la implementación de ISO.

La familia de normas ISO 9000 establece los requisitos para un sistema de gestión de la calidad.

 

ISO representa el aseguramiento de la calidad y se basa en un enfoque a los servicios y procesos. La norma exige establecer especificaciones de servicios (cómo es) y proceso (cómo se hace), objetivos o niveles de calidad que se quieren lograr en los servicios y en los procesos, controlar si esos niveles se alcanzan, registrar las desviaciones (no-conformidades) y mejorar a través de las acciones de mejora. (Eusko Jaurlaritza, Gobierno Vasco, 2006, p. 2).

 

            La norma ISO 9000 hace una fuerte opción por enfocar los procesos y los aspectos institucionales. Según Vargas (2003), los grandes temas a los que apunta la búsqueda de conformidad de esta norma son:

 

−     Responsabilidad de la dirección

−     Enfoque al cliente en las organizaciones educativas

−     La política de calidad en las organizaciones educativas

−     Planificación: definir los objetivos de calidad y las actividades y recursos necesarios para alcanzar los objetivos

−     Responsabilidad, autoridad y comunicación

−     Provisión y gestión de los recursos

−     Recursos humanos competentes

−     Infraestructura y ambiente de trabajo de conformidad con los requisitos del proceso educativo

−     Planificación y realización del producto

−     Diseño y desarrollo

−     Proceso de compras

−     Control de los dispositivos de seguimiento y medición

−     Satisfacción del cliente

−     Auditoria interna ISO

−     Revisión y disposición de las no conformidades

−     Análisis de datos

−     Proceso de mejora continua

 

            Se señala además que no tiene en cuenta la adquisición de competencias y aprendizajes por parte de los educandos, para todo lo cual hoy existen distintos instrumentos de evaluación.

            El Modelo Hobbide del País Vasco plantea como balance que las ISO han representado avances importantes en la organización de los centros y en el control sobre los procesos. Concluye que “ISO nos ha permitido afirmar que hacemos lo que decimos que hacemos y podemos demostrarlo y, además, nos ha dado prestigio y confianza ante los agentes de la FP (empresas, administraciones)” (Eusko Jaurlaritza, Gobierno Vasco, 2006, p. 2). Pero también identifica algunos problemas:

 

−     La tentación de certificar servicios secundarios, utilizando la certificación como mero elemento de imagen.

−     Un sistema que, en principio, no requiere cuestionarse los servicios actuales ni la estrategia.

−     No requiere una alineación entre los objetivos del centro y los objetivos del conjunto del Sistema de FP.

 

            Las normas ISO 9000 no fueron originalmente pensadas y diseñadas para procesos educativos. Ello conlleva dos desventajas. Aunque se han realizado varias adaptaciones, no existe una única interpretación y no ha faltado controversia y debate a estos efectos. Existe falta de orientación oficial en general y sobre la tolerancia aceptable[1].

            En segundo término, y más importante, se cuestiona si tienen relevancia suficiente para educación, así como el nivel de especificidad adecuado. Según Roland Van den Verghe (1998), muchos expertos en enseñanza y formación, particularmente de la esfera pública, critican las ISO 9000 y plantean los siguientes argumentos:

 

−     No existe en estas normas la obligación de normas mínimas, de hecho son las propias organizaciones quienes deben establecer los niveles de la calidad que les satisfagan.

−     ISO 9000 no es el mejor camino hacia una gestión de calidad total en un instituto de enseñanza o formación: hay otros métodos que facilitan la implantación de una CGT.

−     Muchos aspectos críticos de las instituciones educativas o formativas y de sus servicios no se hayan incluidos explícitamente en las normas.

−     La complejidad y multiplicidad de los objetivos y las misiones de enseñanza no concuerdan bien con la estandarización resultante de la aplicación de las ISO 9000.

−     Las ISO 9000 imponen mecanismos sobre las instituciones de enseñanza o formación (por ejemplo control de documentos, registro de calidad, etc.) con escaso o ningún valor añadido. (p. 32)

 

            El mismo autor señala que:

 

deben contraponerse los argumentos a favor de una certificación (en ISO) frente a los contraargumentos de los inconvenientes. También estos son numerosos y ─teniendo en cuenta el limitado número de institutos de enseñanza certificados─ siguen siendo de más peso que los argumentos a favor. (p. 31)

           

Van den Verghe (1998) sostiene que:

 

Las ISO 9000 no bastan por sí mismas para lograr calidad en los contenidos de programas educativos o formativos, en particular para situaciones en las que los clientes no están en posición de especificar o influenciar dichos contenidos (incluyendo objetivos didácticos, criterios de la calidad, indicadores y mecanismos de evaluación). (p. 108)

 

Se resumen a continuación otros inconvenientes planteados por el mismo autor:

 

−     El tipo de estandarización resulta inadecuada para educación y se produce un riesgo grave de crear burocracia que se centre en procedimientos, registros y control.

−     Implican costos altos, que en organizaciones de tamaño mediano o pequeño, resultan inaccesibles.

−     Se percibe una tendencia a sobrecargar los manuales de calidad y procedimientos con detalles.

−     Vinculado a lo anterior el sistema de calidad no consigue evolucionar al mismo tiempo de los cambios.

−     El procedimiento de control por documentos deriva rápidamente hacia un sistema burocrático que incrementa en exceso el papeleo.

−     Las personas no siempre tienen las competencias necesarias para escribir adecuadamente buenos procedimientos de sus actividades; se requiere de fuerte formación.

−     La formulación pone énfasis en la alta gerencia, cuando otros Sistemas, como por ejemplo el Proyecto de Calidad Integrado PCI desarrollado por la Universidad de Deusto y la Fundación Horreum de Bilbao (Álvarez & Santos, 2003; Villa et al., 2003) se refieren al conjunto de los recursos humanos del centro educativo.

−     Existe el riesgo de evitar las no-conformidades rebajando los objetivos.

−     En principio, no requiere cuestionarse los servicios actuales ni la estrategia. (pp. 105-106)

 

            El modelo europeo EFQM, de amplia difusión en esa región ─pero también utilizado en varios casos en América Latina─ comparte varias de las características del ISO, tal como lo demuestra el análisis comparado de Senlle y Gutiérrez (2005, pp. 64-66). Se han señalado objeciones similares a las de la ISO, a la aplicación de estas normas al área de la educación y la formación (Eusko Jaurlaritza, Gobierno Vasco, 2006, p. 2). 

 

LA PERCEPCIÓN DEL IMPACTO DE ISO EN DOS CENTROS CON CARACTERÍSTICAS CONTRASTANTES

 

Como primera constatación, globalmente los equipos de los dos centros valoran mayoritariamente que el sistema de calidad le aportó al centro entre poco, muy poco y nada, tal como se describe en el Cuadro 1. En el centro chico, casi dos tercios expresaron una valoración negativa (63%), en tanto en el centro grande ese grupo fue de cuatro quintos. Como contracara, poco más de un tercio en el centro chico encontró que aportó entre mucho y bastante, en tanto esta valoración sólo fue de uno cada cuatro en las respuestas del centro grande.

 

 

       

            Como se observa, en ambos centros la opción preferida fue que aportó poco, lo que alcanzó a más de la mitad de las respuestas en el centro grande. La valoración resulta netamente negativa al sumar esa respuesta moderadamente negativa con el grupo, también importante en ambos centros, que casi no encontró o directamente no encontró aportes. A la vez existen diferencias entre ambos centros; la valoración negativa es más contundente en el centro grande y está atenuada en el centro chico.

            Corresponde señalar que hacia dentro de cada centro las diferencias entre las respuestas de directores y docentes son pocas y resultan poco significativas. La diferencia relevante en el centro chico es que los únicos respondientes respecto a la satisfacción son los directores, o sea que todos los docentes optaron por no contestar al respecto. En el centro grande también predominan las coincidencias, excepto en la dimensión “clima”, donde los directores valoran que los aportes del sistema han sido menores respecto a los considerados a nivel del equipo docente; de hecho todas las respuestas negativas corresponden a directores.

            Profundizando en las diferencias por dimensión (cuadros 2 y 3) resulta que en el centro chico, en la dimensión “relaciones”, la opinión predominante  (50% de los consultados) es que el sistema aportó mucho o bastante, en tanto en otras tres dimensiones ésta fue la segunda valoración. En el centro grande en cambio, en ninguna dimensión predominó la percepción de que el sistema aportó mucho o bastante y, en dos dimensiones, predominó la respuesta de que el aporte fue poco o ninguno. La segunda valoración predominante, para cuatro de las dimensiones, fue que el sistema aportó poco y nada.

            En síntesis, siendo la percepción mayoritaria en ambos que el sistema aportó poco, en el centro chico hay un grupo relevante de valoraciones positivas, en tanto que en el centro grande las positivas son menos y se concentran en sólo dos dimensiones. Dicho de otra forma, en el centro grande se consideró que el aporte fue escaso o muy escaso, con dos excepciones. En tanto en el centro chico se consideró escaso el aporte, aunque parte de los entrevistados reconocen algunas contribuciones o no contestan.

 

                                                                                                 

            En las dimensiones en las que sí se percibieron aportes existen más diferencias entre los centros que en las valoraciones globales. En tanto en el centro grande la “comunicación” y el “sistema de gestión” fueron las únicas en las que resultó relevante el número de respuestas favorables, en el centro chico fueron las dos dimensiones peor calificadas, nítidamente diferenciadas de las restantes. 

            El aporte respecto al “clima” es algo mejor en el centro chico, pero en un contexto en el que se registran otros datos de problemas de clima. Porque justamente allí se manifestó malestar entre integrantes del equipo de dirección, lo que se expresa incluso en los espacios físicos de trabajo. Consultada sobre los lugares de trabajo del equipo directivo, una de sus integrantes respondía: “…nosotros aquí y el resto en otro espacio, prefieren así porque no se llevan con los educadores”.

            También se observan diferencias en las valoraciones del aporte al aprendizaje de los niños. En tanto en el centro chico se considera entre escaso, bastante o mucho (y no hay respuestas de muy poco o nada), en el centro grande predominan las valoraciones negativas.

            Otros estudios han mostrado que la estrategia de implementación de los sistemas de calidad es decisiva para que sean efectivos (Svensson & Klfefsjö, 2006). En este sentido, en el caso del centro chico la iniciativa se originó en un ofrecimiento de un donante externo, quien ofreció financiar la aplicación del sistema ISO. Según se testimonió en la entrevista complementariamente a las encuestas, los educadores no fueron consultados, ni la aplicación surgió como respuesta a necesidades o desafíos planteados por los docentes. La entrevistada del centro chico narró que: “No fue consultado el equipo, se nos informó que debíamos ser capacitados para comenzar con dicho programa”. En el centro grande la decisión también radicó en el equipo de dirección. En este caso además resultó sugestivo que algunos de los docentes encuestados no recordaban la implementación del sistema de calidad en el momento de la aplicación de las encuestas. Una vez tomada la decisión, los dos centros contrataron equipos de asesores externos especializados en ISO y brindaron la capacitación necesaria al personal interno para su aplicación.

            Profundizando a través de las entrevistas en los motivos de las percepciones recogidas, se coincidió en que el sistema de calidad incrementa el papeleo y sobrecarga el trabajo. En uno de los centros, uno de los consultados decía que “falta tiempo para sistematizar toda la información que exige el sistema, no hay una persona específica que lo haga, y ello dificulta la tarea, restando tiempo a otras responsabilidades inherentes a los roles”; “supone restar tiempo a las tareas inherentes de un director”. En contraste, en el otro centro se observaba el problema del “tiempo desenfocado de la tarea, hay personas que trabajan para las normas”, “se corre el riesgo de gestionar para los papeles”. En uno de los casos, dos veces al año se realizan evaluaciones de la institución y se completan fichas de seguimiento de los niños, pero se percibe que es escasa la utilización de esos datos en la práctica educativa.

            En los resultados de ambos centros importa subrayar que cuando existe valoración crítica del aporte del sistema de calidad a una determinada dimensión, ello no supone que exista a la vez una visión crítica respecto a la eficacia o la calidad sustantiva de esa misma dimensión en el centro. Por el contrario, en ambas entrevistas se informó de una serie de actividades y características de ambos centros que son bien valoradas por los docentes y que atañen a las dimensiones estudiadas, pero cuyos logros no se perciben asociados al sistema de calidad.

 

EL APORTE DE ISO A LOS CENTROS EDUCATIVOS

 

La percepción mayoritaria en ambos equipos, luego de diez años de implantado el sistema ISO, es que aportó poco a su centro. Los que valoran que el impacto fue mucho o bastante son solo un poco más de la tercera parte del centro chico y la cuarta parte de los encuestados en el centro grande. Tampoco se observan diferencias relevantes considerando las dimensiones estudiadas.

            En especial, respecto al impacto en el aprendizaje, en el centro chico los que valoraron positivamente el aporte se redujeron a algo menos de un tercio y en el grande a la cuarta parte. Los datos son relevantes en tanto las características de los dos centros son muy contrastantes. La percepción docente del impacto no muestra diferencias apreciables que puedan obedecer al tamaño, los recursos o la población atendida por los centros.

            La implementación de los sistemas de calidad supone que las organizaciones incrementen sus registros internos, respecto a su funcionamiento y a los resultados que logran. En particular la aplicación del sistema ISO requiere definir y prescribir los procesos internos, documentando luego el cumplimiento de los manuales y procedimientos establecidos. En ambos centros estudiados estas tareas se realizaron con el apoyo de consultores externos y demandaron un número importante de horas de trabajo de los propios equipos. Ese proceso que se realizó sistemáticamente supuso la capacitación progresiva de sus directivos, docentes y funcionarios, lo que se ha identificado como un insumo principal para estas iniciativas (Esponda, Penalva, Palavicini y Navarrete, 2001).

            Las estrategias de implementación de las ISO en los dos centros fueron coincidentes, habiendo obedecido en ambos casos a decisiones de los equipos de dirección, escasamente demandadas y apropiadas por parte del resto del personal. Esto permite dos lecturas. Por una parte, confirma las coincidencias sobre la percepción del impacto en los dos casos, en tanto la implementación fue similar y por lo tanto puede decirse que estuvo controlada. Si por ejemplo, uno de los centros hubiera tenido una estrategia de implementación más participativa, podría suponerse que parte de las respuestas positivas obedecen a esa modalidad de aplicación, o por el contrario si uno de ellos no hubiera contado con asesoramiento y capacitación externa, sería razonable que ello hubiera producido percepciones de menores impactos.

            Por otra parte la observación confirma lo observado por otros estudios, respecto a la importancia de las estrategias de implementación para lograr una aplicación eficaz de los sistemas de calidad (Svensson & Klfefsjö, 2006). En este mismo sentido, English y Hill (1995) sostienen que los elementos esenciales para la interiorización de la calidad y la mejora continua se concretan en: “comunicaciones más abiertas y fluidas, mayor implicación del personal y la creación de una elevada confianza en las relaciones sociales” (p. 555).

            Los resultados de este estudio muestran percepciones de impacto en centros muy diferentes. Una limitación importante es que se pudo realizar la comparación sólo en educación inicial. Cabe preguntarse si las mismas percepciones pueden extenderse a otros niveles educativos.

            En la educación superior se han observado resultados distintos. En un estudio acerca de experiencias de instituciones de educación superior realizado en treinta países, Kasperaviciute (2013) observa que los principales motivos para la aplicación del modelo de la Fundación Europea para la Gestión de Calidad (EFQM) y el estándar de la Norma ISO 9001 se relacionan comúnmente con la competitividad en el mercado y las necesidades institucionales internas y de las partes interesadas, lo que sugiere puntos de partida diferentes a los dos centros aquí estudiados. A la vez, en las instituciones de educación superior se percibieron impactos de la calidad, especialmente en cuanto a su planificación y evaluación.

            Otro estudio, (Hernández, Arcos y Sevilla, 2013) en la misma línea de conclusiones es el realizado en la UABC (Universidad Autónoma de Baja California), durante el segundo semestre del 2007. El estudio contó con la respuesta de los representantes de la dirección de dieciocho sistemas, de los cuales ocho se encontraban implementados en unidades académicas y diez de ellos en unidades administrativas. Los resultados del estudio muestran evidencia de que estos sistemas se utilizan para cumplir con requisitos de la política pública, pero no como una herramienta valiosa para la mejora de la calidad de la propia institución.

            Los estudios relevados muestran que el sistema ISO u otros similares son más utilizados en la educación superior, lo que es probable se asocie a dos características diferenciales que posee respecto a la educación no terciaria. Por una parte la mayor autonomía de las instituciones en el nivel terciario, ha generado la necesidad de mecanismos no jerárquicos de evaluar y controlar su desempeño. Los sistemas de calidad son herramientas que suponen una autoridad externa que está rigurosamente limitada a los efectos de la certificación en relación a la norma de calidad. Por lo tanto sirven de base técnica para agencias reguladoras que son la modalidad de gobierno más generalizada del sector terciario de la educación. Una segunda característica, que puede estimarse que favorece la aplicación de sistemas de calidad de la gestión, es la imposibilidad en el nivel terciario, de utilizar herramientas masivas de evaluación de aprendizaje, como se hace en los niveles previos. De hecho, buena parte de la literatura sobre calidad de la educación no terciaria se concentra exclusiva o predominantemente en los aprendizajes y relega los factores institucionales asociados a la calidad.

            El estudio de los dos centros aquí analizados muestra que el sistema ISO puede aplicarse con resultados similares en centros pequeños con escasos recursos, a los logrados por centros mayores y con más recursos. No se encontraron percepciones de menores impactos, ni las condiciones más adversas (como la mayor rotación docente) imposibilitaron o afectaron gravemente la implementación. Importa sí considerar que se debe cumplir con ciertas condiciones mínimas, que en este caso existieron. Nos referimos a los recursos necesarios en cuanto a asesoramiento externo y a horas de trabajo internas, para la implantación y desarrollo del sistema. Esas condiciones son más difíciles de lograr en centros con recursos escasos; de hecho, en este caso se contó con una fuente de financiamiento extraordinaria, que se agregó a los ingresos corrientes. Para un centro intermedio o grande estos costos pueden solventarse por su presupuesto anual. A partir del estudio se observa que cumplidas esas condiciones la aplicación del sistema es viable. También se observa que la percepción del impacto es similar, no es menor dadas las condiciones existentes, tampoco es mayor, lo que podría suceder dado el punto de partida con mayores carencias y debilidades del centro chico.

            La percepción del impacto en los dos centros parece asociarse a problemas ya señalados por otros estudios (Van den Berghe, 1998, Eusko Jaurlaritza, Gobierno Vasco, 2006) respecto a la sobrecarga de tareas administrativas, que no se percibe que aporten a mejorar sustantivamente la calidad educativa. Los autores citados han señalado que esta limitación se asocia con el énfasis metodológico del sistema en los procedimientos, lo que no parece ser la opción más adecuada para evaluar y mejorar el trabajo educativo.

            Finalmente corresponde subrayar, primero, que la percepción del impacto no es toda la evaluación del impacto, sino que debería completarse con otros estudios que permitan observar ex ante, ex post y en comparación con centros de control, los efectos de aplicación de estas herramientas, y, en segundo término, que la percepción del impacto del sistema, no es igual a la percepción que los centros tienen de la calidad de las diferentes dimensiones analizadas. Por el contrario, se recogieron datos que indican que los centros entienden que tienen buena calidad en varias de ellas, pero que no han sido generadas por la herramienta ISO.

 

CONCLUSIONES

 

Previo a considerar el impacto debe considerarse que dos centros, con características contrastantes, lograron implementar el sistema de calidad. La conclusión es relevante porque uno de los centros contaba con condiciones favorables, que facilitaban la implementación. Especialmente nos referimos a los costos que requieren estas herramientas, contemplando aquellos directos (por ejemplo contratación de consultores, auditores) y los indirectos, que si bien son menos notorios, muchas veces son más importantes (por ejemplo horas de trabajo de los integrantes del centro en  tareas de evaluación y mejora). La experiencia, luego de varios años de implementación, muestra que en ambos centros fue viable la implementación.

            Centros educativos, como los dos aquí estudiados, en todo el mundo recurrieron al sistema ISO para mejorar su práctica educativa en momentos en que no se disponía de otros instrumentos. Su aplicación ha demostrado dificultades y limitaciones para adecuarse a las características propias de las instituciones educativas. Las carencias observadas en este estudio en la percepción del impacto se asocian a esas mismas limitaciones propias del sistema ISO.

            Simultáneamente han surgido sistemas de calidad específicos para gran diversidad de organizaciones, entre otras, para las educativas (Lasida, Podestá y Sandoya, 2008). Podemos hablar de una nueva generación de sistemas de calidad que fueron diseñados atendiendo a las exigencias de calidad propias de determinados tipos de organizaciones, en distintas áreas y sectores. Ellos ponen énfasis en los resultados esperables en cada una de estas áreas y atienden menos que el sistema ISO a los procedimientos.

            Dado que estos sistemas de calidad son más recientes, se cuenta con escasas evaluaciones de sus impactos, las que se requiere encarar luego de determinados plazos de implementación. En definitiva, deberá verificarse que estos sistemas logran efectivamente superar las debilidades que muestra la ISO en educación. Más aún, atendiendo a los centros que ya lograron empezar a aplicar sistemas de calidad, como los dos aquí estudiados, deberían analizarse pormenorizadamente las ventajas y desventajas de eventuales cambios.

            También se observa en los sistemas de calidad “post-iso” una tendencia a una mayor preocupación no sólo por la capacitación de los equipos, sino por su apropiación y compromiso con el sistema por parte de todos los actores del centro educativo. En el análisis de los sistemas de calidad son tan importantes las características técnicas de las herramientas de evaluación en sí, como las metodologías y herramientas para su implementación, junto con la formación de facilitadores internos y externos a los centros capaces de aplicarlos. Esto es relevante tanto para la instancia de evaluación de la calidad, como para las etapas que deben seguirla, de diseño e implementación de proyectos de mejora, a partir de la evaluación. Se insinúa así una pedagogía de la calidad de los centros, entendida como un proceso de formación de sus distintos actores que, cuando se desarrolla, genera una cultura de calidad institucional.

            Finalmente no debe perderse de vista que los sistemas son instrumentos, no son un propósito de las organizaciones. La cuestión es analizar qué instrumento contribuye mejor al desafío de brindar educación de calidad y ese análisis es propio de cada centro, en cada etapa de su historia institucional.

 

REFERENCIAS

 

Álvarez, M., & Santos, M. (Eds.). (2003). Un modelo de calidad pedagógica para los centros educativos. Bilbao: Fundación Horreum - Mensajero.

Consejo Escolar del Estado (2001) Informe sobre el estado y situación del sistema educativo: curso 1999-2000. Madrid: MEC.

English, F. W., & Hill, J. C. (1995). Calidad total en la educación: la transformación de las escuelas en sitios de aprendizaje: aplicación de las ideas de Deming a la enseñanza. EDAMEX.

Esponda, A., Penalva, G., Palavicini, J., & Navarrete, G. (2001). Hacia una calidad más robusta con ISO 9000: 2000. Panorama Editorial.

Eusko Jaurlaritza, Gobierno Vasco (2006). Hobbide: modelo de gestión, autoevaluación y mejora de la formación profesional del país vasco. Resumen proyecto. Departamento de Educación, Universidades e Investigación. Disponible en http://www.hezkuntza.ejgv.euskadi.net/r43-2339/es/contenidos/informacion/ agencia/es_1967/mogestauteva.html

Hernández G., Arcos J. y Sevilla J. (2013) Gestión de la calidad bajo la Norma ISO 9001 en instituciones públicas de educación superior en México. Revista Calidad en la educación, 39, 82-115.

Kasperaviciute, R. (2013). Application of ISO 9001 and EFQM Excellence Model within Higher Education Institutions: Practical Experiences Analysis. En línea, (1), 81-92.

Lasida, J., Podestá, M. y Sandoya, J. (2008) La calidad educativa: sistemas y potencialidades. Revista Páginas de Educación, (1), 55-76.

Sallis, E. (2002). Total quality management in education. Londres: Taylor & Francis Group.

Senlle, A. y Gutiérrez, N. (2005). Calidad en los servicios educativos. España: Díaz de Santos.

Svensson, M. & Klefsjö, B. (2006). TQM-based self-assessment in the education sector: experiences from a Swedish upper secondary school project. Quality Assessment in Education, 14,2, 299-323.

Van den Berghe, W. (1998), Aplicación de las normas ISO 900 en la enseñanza y formación. Revista Europea de la Formación Profesional, 15, 21-30.

Vargas, F. (2003). La gestión de la calidad en la formación profesional. El uso de estándares y sus diferentes aplicaciones. Montevideo: OIT CINTERFOR.

Villa, A. Goikoetxea, E., Auzmendi, E., Solabarrieta, J., Gorriño, M. & Pereda, V. (Eds) (2003) Ámbitos y criterios de la calidad pedagógica. Bilbao: Fundación Horreum-Mensajero.