EVALUACION DE LA SUPERVICION.
Si bien en la educación superior se considera la calidad como un concepto elusivo o etéreo, un examen cuidadoso del problema revela que existe un considerable acuerdo entre los integrantes del personal académico sobre lo que es la calidad. No obstante, ninguna de las evaluaciones tradicionales de la calidad educativa es realmente adecuada. Los universitarios debemos estar dispuestos a revisar nuestros conceptos acerca de la medición de esa calidad, si deseamos solucionar con eficacia los problemas que enfrentaremos en las próximas dos décadas.
Los enfoques tradicionales. Básicamente es posible identificar cinco perspectivas tradicionales para estimar la calidad de una institución de educación superior, las cuales, para mayor claridad, se pueden rotular como los enfoques nihilista, del prestigio, de los recursos, de los productos y del valor agregado.
El enfoque nihilista. Algunos académicos tienen una noción confusa de la calidad educativa; sostienen que ésta, en el nivel de pregraduados, sencillamente no puede ser definida o medida, porque las actividades de las universidades son demasiado complejas y variadas, las diferentes instituciones tienen distintos objetivos, los productos del proceso en ese nivel poseen características muy sutiles, los problemas metodológicos son insuperables, etc. En realidad, rechaza la idea de que se puedan realizar estimaciones válidas de la calidad educativa.
Los que mantienen este criterio olvidan que todos los días se emiten juicios sobre calidad de los "colleges"(*) y programas para pregraduados. Esos juicios no son meros ejercicios intelectuales sino que constituyen el fundamento de importantes decisiones. Efectúan evaluaciones de la calidad los estudiantes que eligen la institución a la que asistirán, los profesores que solicitan un puesto, los funcionarios de los organismos federales o de las entidades filantrópicas que resuelven la forma en que otorgarán los subsidios y las autoridades que administran los presupuestos estatales y deciden cómo distribuir los recursos entre las diversas instituciones del sistema. Aun en cada institución, los docentes, administradores y consejeros se basan en juicios referentes a la calidad cuando formulan políticas de admisión, establecen cursos y requisitos para la graduación, contratan profesores y otro personal, y amplían la biblioteca y las instalaciones físicas.
En síntesis, la perspectiva nihilista de que no puede evaluarse la calidad de la educación, ignora la realidad. Los problemas concretos, por supuesto, son cómo hacer las evaluaciones de este tipo y si son adecuadas.
La estimación del prestigio. Quizás la manera más directa de evaluar la calidad de una universidad sea basarse en un consenso de las opiniones. La calidad, de acuerdo con este punto de vista, es lo que la gente cree que es, Si todos los educadores hicieran una lista de las 15 instituciones estadounidenses más prestigiosas que ofrecen programas de bachillerato, el grado de concordancia sería notablemente elevado, en especial si se tiene en cuenta que hay alrededor de 2,000 instituciones entre las cuales escoger. Los 15 establecimientos de educación superior con mayor número de votos, tendrían criterios de admisión muy selectivos, gran inscripción de alumnos y un considerable plantel de profesores. Si se hiciera luego una lista de las 15 instituciones que cuentan con programas de la mas alta calidad académica para pregraduados, algunas de ellas ya habrían sido mencionadas en la primera lista, pero habría otras nuevas que también conseguirían una cantidad de votos. Estas últimas serían mucho más pequeñas que las incluidas en la primera lista y mucho más selectivas en cuanto a la admisión de alumnos que aquellas a las que sustituyeron. En realidad, esta segunda lista coincidiría mucho con la que resultaría de ordenar jerárquicamente todas las instituciones según su selectividad (es decir, de acuerdo con la capacidad académica media de los estudiantes que ingresan a primer año).
Los hechos que señalamos a continuación revelan importantes aspectos de la reputación de las instituciones estadounidenses de educación superior.
1. En el folklore vinculado con las universidades estadounidenses, hay un pequeño grupo de instituciones consideradas las mejores. 2. Este consenso tradicional existe no sólo en la mente de los educadores sino también en la de los estudiantes destacados, que demuestran su fe en ese folklore al elegir la institución.
3. El prestigio de las universidades está estrechamente relacionado con tres ponderaciones: la selectividad de la admisión, la dimensión de la matrícula y la magnitud del cuerpo docente para cursos de postgrado.
4. En contraste con la mera reputación, la calidad académica o educativa percibida está muy vinculada con la selectividad en el pregrado y tiene poco que ver con el tamaño o el énfasis en los estudios de posgrado, una vez tomada en cuenta la selectividad.
El prestigio de las instituciones, en particular el que se relaciona con la selectividad, tiende a mantener una notable estabilidad durante periodos relativamente prolongados. Las razones de esa estabilidad se verán con más claridad cuando consideremos las dos siguientes perspectivas empleadas para estimar la calidad educativa.
La ponderación de los recursos. Cuando los educadores tienen necesidad de efectuar evaluaciones operativas de la calidad académica, en general equiparan esa calidad a los recursos con que cuenta una institución educativa: profesores con gran capacitación y prestigio, abundancia de medios y estudiantes brillantes. (Asimismo, estos tres tipos de recursos tradicionalmente han proporcionado la base empírica más importante para acreditar la reputación institucional). La competencia profesional del cuerpo docente puede determinarse sobre la base del porcentaje de profesores que poseen un doctorado, mientras que su prestigio comúnmente se valora según las publicaciones que establece; en la reputación de que goza cada uno de ellos entre sus colegas de una determinada disciplina. Se aprecia la riqueza institucional de acuerdo con distintos criterios: las dotaciones, el gasto por estudiante, la planta física, los fondos para investigación, las existencias bibliotecarias, la remuneración de los docentes, la proporción estudiantes/profesor, etcétera. La calidad de los estudiantes se mide, por supuesto, según la selectividad, es decir, la capacidad académica media de los alumnos de primer año, determinada por los puntos obtenidos en las pruebas de admisión. La selectividad, por lo tanto, cumple una doble función en la evaluación de la calidad institucional: por una parte, puede ser considerada como un indicador del prestigio de la universidad y, por otra, como una medida de sus recursos.
Los estudios empíricos demuestran que las distintas variables utilizadas para la evaluación, están estrechamente relacionadas entre sí. Es decir, las instituciones que sostienen criterios de selectividad tienden también a contar con grandes dotaciones, profesores muy capacitados y prestigiosos, altas remuneraciones baja proporción estudiantes/profesor y así sucesivamente. Esta estrecha relación entre los diversos indicadores de los recursos parece reforzar la aparente validez de una determinación de la calidad educativa basada en la magnitud de esos recursos. El análisis de este enfoque no es completo sin alguna referencia al papel que desempeña el tamaño de la institución. Este factor influye en los juicios concernientes al prestigio de una universidad, pero no sobre la calidad de sus programas de pregrado. La dimensiones institucionales, sin embargo, se asocian en forma estrecha con la magnitud de la biblioteca, los fondos para investigación, la planta física y la capacidad de los profesores. Las apreciaciones de la calidad del cuerpo docente, al menos entre los graduados, se correlaciona estrechamente con la cantidad total de profesores.(1) Si bien este sesgo en favor del gran tamaño puede tener muchas explicaciones, la más probable es de tipo metodológico: se les pide a los docentes que califiquen la calidad del cuerpo de profesores de otros departamentos. Como esas apreciaciones dependen mucho de la "visibilidad" académica de los demás docentes, cuanto más grande sea el departamento objeto de evaluación mayor será la probabilidad de que quien efectúa la evaluación esté familiarizado con el desempeño de uno de los profesores de ese departamento.
La estimación de los resultados. Un método cada vez más popular de evaluar calidad de las instituciones para pregraduados es considerar sus resultados. Las personas que proponen este enfoque argumentan que la prueba definitiva de la calidad de una institución no reside en su reputación o sus recursos, sino en la calidad de sus productos. Algunos de los primeros trabajos basados en este criterio calificaban esa calidad de acuerdo con la proporción de bachilleres de un "college" que figurara en el Who's Who, la proporción que ganaba becas para graduados(2) o la que seguía cursos de doctorado. Otras variables que se han utilizado incluyen las estadísticas sobre las tasas de retención de prograduados en las instituciones y las remuneraciones de sus egresados.(4)
El criterio de la evaluación de los productos es particularmente atractivo para los educadores, porque la mayor parte de sus estimaciones, así como las que se refieren a los recursos, están muy relacionadas con las ponderaciones del prestigio institucional. Por consiguiente, las instituciones con gran reputación, admisión selectiva, abundantes dotaciones y docentes muy bien remunerados, son también las que suelen presentar bajas tasas de deserción de alumnos y una alta proporción de egresados que logran doctorados, perciben buenos salarios y figuran en el Who's Who. Además, la estrecha vinculación entre los datos resultantes de la evaluación de los productos y los de otras mediciones tradicionales de la calidad, tal vez contribuya a reforzar, en la mente de muchos académicos, la validez de esa perspectiva.
Una objeción importante al enfoque que evalúa la calidad institucional mediante la ponderación de sus egresados es, por supuesto, que estas mediciones, por sí solas, no proporcionan necesariamente información sobre los efectos o la eficacia de la institución. El hecho de que muchos egresados del Instituto Tecnológico de Massachusetts (MIT) logren doctorado u obtengan becas para graduados, puede informamos mas sobre la clase de estudiantes que atrae el MIT que sobre lo que la institución hace por ellos después de la inscripción. En realidad, las abundantes pruebas que proporcionan los estudios longitudinales demuestran que la evaluación de los productos depende mucho de la calidad de los estudiantes admitidos que del funcionamiento institucional o de la excelencia de sus programas.(5) De hecho, a menos que se relacionen las estimaciones de los productos con el potencial de los alumnos que ingresan al "college", pueden constituir indicadores engañosos de la eficacia o la calidad institucional. La medición del valor agregado. El último método que de ordinario se emplea para la evaluación puede denominarse el enfoque de los efectos institucionales o, como prefieren los economistas, del valor agregado. En los últimos años parece que se ha desarrollado una creciente simpatía por esta perspectiva. Si se pregunta a educadores y funcionarios que formulan las políticas sobre su criterio ideal para evaluar la calidad institucional, muchos se inclinarán por la medición del valor agregado. El argumento básico en que se apoya este enfoque es que la verdadera calidad consiste en la capacidad de la institución de influir favorablemente en sus alumnos, es decir, establecer diferencias positivas en su desarrollo intelectual y personal. De acuerdo con esto, las instituciones de calidad más alta son las que producen los más grandes efectos en los estudiantes, o les agregan el mayor valor en cuanto a conocimientos, personalidad y desarrollo profesional.
¿Qué es lo que falla en las mediciones tradicionales? Al analizar cualquier criterio usado para evaluar la calidad se plantean dos preguntas básicas: ¿el método refleja realmente lo que se entiende por calidad? ¿contribuye su empleo al mejoramiento de la calidad de la educación superior? Estos criterios pueden aplicarse a los cinco enfoques para evaluar la calidad. El punto de vista nihilista, por supuesto, no satisface ninguno de los criterios, ya que niega las posibilidad de evaluaciones cualitativas válidas. ¿Qué sucede con los otros cuatro enfoques? Los enfoques que se refieren al prestigio y los recursos pueden considerarse juntos, pues, aunque son conceptualmente diferentes, ordenan a las instituciones en categorías jerárquicas muy similares o, aun, idénticas. La perspectiva que se basa en los recursos supone que, cuando mayores sean éstos más adecuado será el ambiente para el aprendizaje; en realidad, esta clase de razonamiento se vincula con la tesis del valor agregado. En otras palabras, cuando los apologistas del enfoque de los recursos se ven apremiados para defender este tipo de definición, inevitablemente apelan al argumento del valor agregado: cuanto mayores sean los recursos mejor será el aprendizaje. Aunque, sorprendentemente, se han hecho pocas investigaciones para verificar esta afirmación empírica, las pruebas disponibles indican que las relaciones entre el aprendizaje y los medios disponibles son, en el mejor de los casos, imprecisas.(6)
Otra objeción importante a estos enfoques es que restringen la calidad en el sistema de educación superior, pues son limitados recursos tales como alumnos brillantes y profesores prestigiosos. Además, en una sociedad altamente competitiva y meritocrática la distribución de esos medios tiende a ser muy sesgada; unos pocos "colleges" y universidades están ubicados en la cumbre y la mayoría de las instituciones son consideradas mediocres.
Por último -y esta objeción se basa en una cuestión sutil pero esencial- los criterios que fundamentan la calidad educativa en la magnitud de los recursos, tienden a orientar las energías institucionales hacia una pura acumulación o adquisición de recursos más bien que a un empleo eficaz de éstos para fomentar el desarrollo educativo de los estudiantes. En realidad, los supuestos que vinculan los medios con la calidad institucional parecen haber predominado en las mentes de las personas que formulan las políticas y gobiernan. Esta situación es comprensible, pues los bienes tangibles pueden presumiblemente incrementarse mediante una directiva emprendedora. En este aspecto, los administradores son de ordinario recompensados por acumular más estudiantes brillantes, más profesores prestigiosos y más dinero. Dada la naturaleza jerárquica de la educación superior estadounidense, ese sistema de premios parece contar con una buena dosis de validez, en el sentido de que las instituciones más famosas ubicadas en la cumbre de la jerarquía son, también, las que tienen los estudiantes más destacados, los profesores más renombrados y los mayores recursos. El énfasis en la obtención de recursos puede haber estado justificado cuando la educación superior estadounidense cumplía un proceso de rápida expansión y los aportes de dinero y de estudiantes parecían ilimitados. Sin embargo, el problema actual es que la matrícula de estudiantes se ha estabilizado, y aun declinado, y también están disminuyendo los fondos públicos destinados a lo que ha llegado a ser oneroso sistema de educación superior. En tales condiciones, no hay manera de que la totalidad de ese sistema incremente o simplemente mantenga sus niveles. Los educadores debemos enfrentar el hecho de que la cantidad de estudiantes y profesores con talento y el dinero disponible tiene límites. Si mantenemos la insensata persecución de esos recursos, no sólo fracasarán nuestros esfuerzos por elevar la calidad educativa y reforzar los patrones, sino que también llegaremos a una depresión crónica.
Por otra parte, el defecto mas importante de las evaluaciones basadas en el análisis de los productos es que, puesto que las características de los egresados (en particular en el área cognoscitiva) dependen estrechamente del tipo de estudiantes que ingresa, evaluar sólo a los egresados no nos proporciona ninguna información sobre cuál fue la contribución institucional. La cobranza depositada en el examen de los resultados es, de hecho, una ramplona modalidad del enfoque del valor agregado, metodológicamente dudosa.
¿Qué podemos decir ahora del valor agregado como indicador de la calidad? Por muchos años he apoyado decididamente este criterio y, en realidad, la mayor parte de mis investigaciones educativas se basan en él. Sin embargo, últimamente he comprendido que tiene limitaciones importantes, en particular si la meta final de la evaluación cualitativa es mejorar las instituciones de pregraduados. Dado que el enfoque del valor agregado requiere la recolección de datos complejos y potencialmente cuestionables de la trayectoria estudiantil, constituye un método de determinar la calidad que demanda mucho tiempo, es oneroso y quizás causará escisiones.
¿Cuáles serían, por ejemplo, los problemas si se intentara emplear la teoría del valor agregado para evaluar la calidad educativa de las instituciones de pregrado en un estado grande, como Texas o California? Para comenzar, sería necesario lograr un consenso sobre los elementos que se ponderarán. ¿En qué áreas del desarrollo estudiantil debe esperarse un máximo progreso de los alumnos que asisten a una institución de calidad? ¿Conocimientos y habilidades intelectuales? ¿Intereses y aspiraciones? ¿Valores y actitudes personales? Aun si la evaluación se limita al campo cognoscitivo, es además necesario realizar determinaciones que tengan sentido para las personas que formulan las políticas y el público en general, y, al mismo tiempo, lograr que los profesores de distintos departamentos sientan que sus objetivos particulares han sido adecuadamente considerados. Suponiendo que estas dificultades pudieran superarse, se presenta entonces el problema práctico de la recolección y el análisis apropiados de los datos pertinentes. Como mínimo, deben efectuarse mediciones cuando los estudiantes ingresan en la institución y luego, al menos otra vez, en el momento de la graduación. Esas mediciones repetidas son costosas y exigen mucho tiempo.
Creo que son justificados el tiempo y los costos involucrados en esos estudios, pero mi experiencia en el trato con instituciones o funcionarios del sistema educativo estatal, es que la mayoría de los educadores carecen de la paciencia o fe necesarias para evaluar la calidad institucional aplicando el criterio del valor agregado. Además, mis veinte años como investigador y coordinador de estudios sobre el valor agregado, me han convencido que los organismos de financiamiento no han tenido nunca mucho interés en apoyar esos estudios y que el escaso respaldo concedido parece estar menguando. El cuestionamiento básico no es que esas investigaciones no hayan demostrado su utilidad o que deben interrumpirse. En realidad, ya han modificado los conceptos sobre problemas tales como el tamaño óptimo de una institución, el valor de la experiencia residencial efectuada por los estudiantes y los méritos relativos de los "colleges" de dos y cuatro años. Sin embargo, esos estudios frecuentemente tardan mucho tiempo para producir resultados útiles y, a menudo, éstos son tan generales que las instituciones tienen dificultades para aplicarlos a la resolución de sus problemas particulares. Si se consideran las inminentes amenazas planteadas a la educación superior por la declinación de la matrícula, la aceleración de la inflación y la dudosa ubicación de la educación en la lista de prioridades nacionales, es necesario un nuevo criterio para evaluar la calidad educativa, que pueda aplicarse y operar de inmediato.
Un enfoque de la evaluación de la calidad orientado a la acción. Es necesario un nuevo enfoque para estimar la calidad institucional, una perspectiva conceptualmente sencilla y aun así congruente con los conocimientos aportados por los estudios del valor agregado, que pueda ser aplicada de inmediato, no requiera nuevos e ingentes recursos y, más importante, que proporcione una razonable esperanza de mejorar en forma significativa la calidad de la educación. Esa perspectiva sin duda contribuiría, a largo plazo, a corregir la ubicación de la educación en la lista de las prioridades nacionales.
Las sugerencias que hacemos se refieren a los recursos, pero hacen hincapié en como deben ser usados más que en una simple acumulación. La propuesta básica es que cada institución emprenda varios procesos evaluativos concretos y relativamente sencillos, con el claro propósito de mejorar la calidad de la educación. Esas actividades son adecuadas a la capacidad de cualquier institución y no requerirán nuevos recursos.
Puede surgir un interrogante al exponer los fundamentos de estas propuestas y actividades específicas: "Si esas ideas son tan buenas y factibles, ¿Por qué los "colleges" y las universidades no las han puesto en práctica antes?" Una posible explicación es que la mayor parte del personal docente y de los administradores probablemente han aceptado sin discusión el concepto de la calidad basada en los recursos; es decir, creen que la calidad de una institución puede mejorarse mediante la adquisición de los más brillantes estudiantes, prestigiosos profesores y más medios. Han dedicado tanta energía a competir entre sí por esos limitados recursos, que a menudo han olvidado lo que ya se sabe de los estudiantes de los "colleges", de la formación del hombre y del proceso de aprendizaje. Todas las sugerencias específicas de esta propuesta implican en realidad la aplicación de algunos de esos conocimientos olvidados -provenientes en su mayoría del campo de la psicología del aprendizaje o de las investigaciones sobre el valor agregado en la educación superior- a las políticas y prácticas institucionales vigentes, con el propósito final de mejorar la calidad de la experiencia estudiantil en el pregrado
La visión correcta de la evaluación es necesaria para poder incursionar en el tema de la evaluación institucional, por ella traigo a la mesa cuatro aspectos que considero fundamentales para comprender el sentido que de evaluación quiero expresar:
1. La evaluación es la mejor herramienta para conocer la realidad de una institución, de un programa académico, de alguna función, de algún servicio.
2. La evaluación es la única vía segura de tomar decisiones de forma racional y fundamentadamente, lo cual es por sí un garante del éxito que podamos tener.
3. La evaluación es el instrumento perfecto para el logro de la calidad, ya que al conocer la realidad y poder tomar decisiones acertadas, la meta de calidad se hace más accesible.
4. La evaluación es exitosa, sólo sí se realiza con la coparticipación de todos y cada uno de los miembros de la comunidad universitaria, la evaluación necesita compromiso, requiere que se involucren todos los actores que intervienen en el proceso.
4
Los objetivos que persigue la evaluación institucional son muchos y muy variados y responden a las necesidades y fines de las propias instituciones y de los entes evaluadores, sin embargo se pueden expresar los siguientes objetivos básicos[1]:
· Evaluar el comportamiento de las actividades académicas y la enseñanza con el propósito de definir nuevas políticas respecto al uso de recursos presupuestarios, distribución de plazas docentes, adecuación de cursos a la realidad social, etc.
· Viabilizar la organización de bases de datos que pueden nutrir a la gestión posibilitando el perfeccionamiento o redireccionamiento del proyecto académico, asegurando medidas correctivas y de superación de los problemas diagnosticados.
· Propiciar una postura crítica entre la institución y la sociedad y organizar un sistema de información que posibilite juicios con bases objetivas, identificando deficiencias a superar y aciertos a expandir
· Estructurar el proceso continuo de evaluación fomentando en los ámbitos administrativos y académicos, la cultura de la calidad y de la productividad en el comportamiento de los individuos, de los grupos y de la propia institución.
· Promover sensibilización, recogida de datos, diagnósticos, evaluación interna, acciones de reorganización curricular y político administrativa y retroalimentación.
· Revisar y perfeccionar el proyecto académico y sociopolítico de la institución con vistas a la mejora de la calidad, para que sus productos sean valorados y legitimados por la comunidad.
· Contribuir a la redefinición de identidad y actualización de recursos, teniendo como base principios conceptuales claros y definidos en la conciencia colectiva de su necesidad y en la voluntad política de la comunidad.
Reflexionar el papel de la institución hacia sí misma y hacia la sociedad, evaluando y redimensionado sus acciones educativ INSTRUMENTOS DE EVALUACIÓN INSTITUCIONAL.
Existen muchos y muy diversos instrumentos y técnicas de evaluación institucional, los más utilizados son además de la propia observación los cuestionarios, las encuestas y el análisis documental, así por ejemplo existen:
Cuestionarios para evaluar directivos, docentes, pares académicos, alumnos, autoevaluaciones de personas, padres de familia, empleadores, egresados, investigadores, personal administrativo y de intendencia. En ellos se indaga sobre las percepciones, rendimiento, grado de satisfacción, opciones de mejora, etc.
Cuestionarios para evaluar procesos como el de enseñanza-aprendizaje, funcionamiento de la dirección, mecanismos de comunicación horizontal y vertical, investigación, academias, cuerpos colegiados institucionales, programas educativos y especiales, impacto institucional, funcionamiento escolar, etc.
Encuestas de opinión para sociedad, padres de familia, empleadores y egresados. En ellos se indaga sobre sus percepciones
Análisis documental de la normatividad, planes, programas, proyectos, diseños y rediseños currilulares, etc.
Los enfoques tradicionales. Básicamente es posible identificar cinco perspectivas tradicionales para estimar la calidad de una institución de educación superior, las cuales, para mayor claridad, se pueden rotular como los enfoques nihilista, del prestigio, de los recursos, de los productos y del valor agregado.
El enfoque nihilista. Algunos académicos tienen una noción confusa de la calidad educativa; sostienen que ésta, en el nivel de pregraduados, sencillamente no puede ser definida o medida, porque las actividades de las universidades son demasiado complejas y variadas, las diferentes instituciones tienen distintos objetivos, los productos del proceso en ese nivel poseen características muy sutiles, los problemas metodológicos son insuperables, etc. En realidad, rechaza la idea de que se puedan realizar estimaciones válidas de la calidad educativa.
Los que mantienen este criterio olvidan que todos los días se emiten juicios sobre calidad de los "colleges"(*) y programas para pregraduados. Esos juicios no son meros ejercicios intelectuales sino que constituyen el fundamento de importantes decisiones. Efectúan evaluaciones de la calidad los estudiantes que eligen la institución a la que asistirán, los profesores que solicitan un puesto, los funcionarios de los organismos federales o de las entidades filantrópicas que resuelven la forma en que otorgarán los subsidios y las autoridades que administran los presupuestos estatales y deciden cómo distribuir los recursos entre las diversas instituciones del sistema. Aun en cada institución, los docentes, administradores y consejeros se basan en juicios referentes a la calidad cuando formulan políticas de admisión, establecen cursos y requisitos para la graduación, contratan profesores y otro personal, y amplían la biblioteca y las instalaciones físicas.
En síntesis, la perspectiva nihilista de que no puede evaluarse la calidad de la educación, ignora la realidad. Los problemas concretos, por supuesto, son cómo hacer las evaluaciones de este tipo y si son adecuadas.
La estimación del prestigio. Quizás la manera más directa de evaluar la calidad de una universidad sea basarse en un consenso de las opiniones. La calidad, de acuerdo con este punto de vista, es lo que la gente cree que es, Si todos los educadores hicieran una lista de las 15 instituciones estadounidenses más prestigiosas que ofrecen programas de bachillerato, el grado de concordancia sería notablemente elevado, en especial si se tiene en cuenta que hay alrededor de 2,000 instituciones entre las cuales escoger. Los 15 establecimientos de educación superior con mayor número de votos, tendrían criterios de admisión muy selectivos, gran inscripción de alumnos y un considerable plantel de profesores. Si se hiciera luego una lista de las 15 instituciones que cuentan con programas de la mas alta calidad académica para pregraduados, algunas de ellas ya habrían sido mencionadas en la primera lista, pero habría otras nuevas que también conseguirían una cantidad de votos. Estas últimas serían mucho más pequeñas que las incluidas en la primera lista y mucho más selectivas en cuanto a la admisión de alumnos que aquellas a las que sustituyeron. En realidad, esta segunda lista coincidiría mucho con la que resultaría de ordenar jerárquicamente todas las instituciones según su selectividad (es decir, de acuerdo con la capacidad académica media de los estudiantes que ingresan a primer año).
Los hechos que señalamos a continuación revelan importantes aspectos de la reputación de las instituciones estadounidenses de educación superior.
1. En el folklore vinculado con las universidades estadounidenses, hay un pequeño grupo de instituciones consideradas las mejores. 2. Este consenso tradicional existe no sólo en la mente de los educadores sino también en la de los estudiantes destacados, que demuestran su fe en ese folklore al elegir la institución.
3. El prestigio de las universidades está estrechamente relacionado con tres ponderaciones: la selectividad de la admisión, la dimensión de la matrícula y la magnitud del cuerpo docente para cursos de postgrado.
4. En contraste con la mera reputación, la calidad académica o educativa percibida está muy vinculada con la selectividad en el pregrado y tiene poco que ver con el tamaño o el énfasis en los estudios de posgrado, una vez tomada en cuenta la selectividad.
El prestigio de las instituciones, en particular el que se relaciona con la selectividad, tiende a mantener una notable estabilidad durante periodos relativamente prolongados. Las razones de esa estabilidad se verán con más claridad cuando consideremos las dos siguientes perspectivas empleadas para estimar la calidad educativa.
La ponderación de los recursos. Cuando los educadores tienen necesidad de efectuar evaluaciones operativas de la calidad académica, en general equiparan esa calidad a los recursos con que cuenta una institución educativa: profesores con gran capacitación y prestigio, abundancia de medios y estudiantes brillantes. (Asimismo, estos tres tipos de recursos tradicionalmente han proporcionado la base empírica más importante para acreditar la reputación institucional). La competencia profesional del cuerpo docente puede determinarse sobre la base del porcentaje de profesores que poseen un doctorado, mientras que su prestigio comúnmente se valora según las publicaciones que establece; en la reputación de que goza cada uno de ellos entre sus colegas de una determinada disciplina. Se aprecia la riqueza institucional de acuerdo con distintos criterios: las dotaciones, el gasto por estudiante, la planta física, los fondos para investigación, las existencias bibliotecarias, la remuneración de los docentes, la proporción estudiantes/profesor, etcétera. La calidad de los estudiantes se mide, por supuesto, según la selectividad, es decir, la capacidad académica media de los alumnos de primer año, determinada por los puntos obtenidos en las pruebas de admisión. La selectividad, por lo tanto, cumple una doble función en la evaluación de la calidad institucional: por una parte, puede ser considerada como un indicador del prestigio de la universidad y, por otra, como una medida de sus recursos.
Los estudios empíricos demuestran que las distintas variables utilizadas para la evaluación, están estrechamente relacionadas entre sí. Es decir, las instituciones que sostienen criterios de selectividad tienden también a contar con grandes dotaciones, profesores muy capacitados y prestigiosos, altas remuneraciones baja proporción estudiantes/profesor y así sucesivamente. Esta estrecha relación entre los diversos indicadores de los recursos parece reforzar la aparente validez de una determinación de la calidad educativa basada en la magnitud de esos recursos. El análisis de este enfoque no es completo sin alguna referencia al papel que desempeña el tamaño de la institución. Este factor influye en los juicios concernientes al prestigio de una universidad, pero no sobre la calidad de sus programas de pregrado. La dimensiones institucionales, sin embargo, se asocian en forma estrecha con la magnitud de la biblioteca, los fondos para investigación, la planta física y la capacidad de los profesores. Las apreciaciones de la calidad del cuerpo docente, al menos entre los graduados, se correlaciona estrechamente con la cantidad total de profesores.(1) Si bien este sesgo en favor del gran tamaño puede tener muchas explicaciones, la más probable es de tipo metodológico: se les pide a los docentes que califiquen la calidad del cuerpo de profesores de otros departamentos. Como esas apreciaciones dependen mucho de la "visibilidad" académica de los demás docentes, cuanto más grande sea el departamento objeto de evaluación mayor será la probabilidad de que quien efectúa la evaluación esté familiarizado con el desempeño de uno de los profesores de ese departamento.
La estimación de los resultados. Un método cada vez más popular de evaluar calidad de las instituciones para pregraduados es considerar sus resultados. Las personas que proponen este enfoque argumentan que la prueba definitiva de la calidad de una institución no reside en su reputación o sus recursos, sino en la calidad de sus productos. Algunos de los primeros trabajos basados en este criterio calificaban esa calidad de acuerdo con la proporción de bachilleres de un "college" que figurara en el Who's Who, la proporción que ganaba becas para graduados(2) o la que seguía cursos de doctorado. Otras variables que se han utilizado incluyen las estadísticas sobre las tasas de retención de prograduados en las instituciones y las remuneraciones de sus egresados.(4)
El criterio de la evaluación de los productos es particularmente atractivo para los educadores, porque la mayor parte de sus estimaciones, así como las que se refieren a los recursos, están muy relacionadas con las ponderaciones del prestigio institucional. Por consiguiente, las instituciones con gran reputación, admisión selectiva, abundantes dotaciones y docentes muy bien remunerados, son también las que suelen presentar bajas tasas de deserción de alumnos y una alta proporción de egresados que logran doctorados, perciben buenos salarios y figuran en el Who's Who. Además, la estrecha vinculación entre los datos resultantes de la evaluación de los productos y los de otras mediciones tradicionales de la calidad, tal vez contribuya a reforzar, en la mente de muchos académicos, la validez de esa perspectiva.
Una objeción importante al enfoque que evalúa la calidad institucional mediante la ponderación de sus egresados es, por supuesto, que estas mediciones, por sí solas, no proporcionan necesariamente información sobre los efectos o la eficacia de la institución. El hecho de que muchos egresados del Instituto Tecnológico de Massachusetts (MIT) logren doctorado u obtengan becas para graduados, puede informamos mas sobre la clase de estudiantes que atrae el MIT que sobre lo que la institución hace por ellos después de la inscripción. En realidad, las abundantes pruebas que proporcionan los estudios longitudinales demuestran que la evaluación de los productos depende mucho de la calidad de los estudiantes admitidos que del funcionamiento institucional o de la excelencia de sus programas.(5) De hecho, a menos que se relacionen las estimaciones de los productos con el potencial de los alumnos que ingresan al "college", pueden constituir indicadores engañosos de la eficacia o la calidad institucional. La medición del valor agregado. El último método que de ordinario se emplea para la evaluación puede denominarse el enfoque de los efectos institucionales o, como prefieren los economistas, del valor agregado. En los últimos años parece que se ha desarrollado una creciente simpatía por esta perspectiva. Si se pregunta a educadores y funcionarios que formulan las políticas sobre su criterio ideal para evaluar la calidad institucional, muchos se inclinarán por la medición del valor agregado. El argumento básico en que se apoya este enfoque es que la verdadera calidad consiste en la capacidad de la institución de influir favorablemente en sus alumnos, es decir, establecer diferencias positivas en su desarrollo intelectual y personal. De acuerdo con esto, las instituciones de calidad más alta son las que producen los más grandes efectos en los estudiantes, o les agregan el mayor valor en cuanto a conocimientos, personalidad y desarrollo profesional.
¿Qué es lo que falla en las mediciones tradicionales? Al analizar cualquier criterio usado para evaluar la calidad se plantean dos preguntas básicas: ¿el método refleja realmente lo que se entiende por calidad? ¿contribuye su empleo al mejoramiento de la calidad de la educación superior? Estos criterios pueden aplicarse a los cinco enfoques para evaluar la calidad. El punto de vista nihilista, por supuesto, no satisface ninguno de los criterios, ya que niega las posibilidad de evaluaciones cualitativas válidas. ¿Qué sucede con los otros cuatro enfoques? Los enfoques que se refieren al prestigio y los recursos pueden considerarse juntos, pues, aunque son conceptualmente diferentes, ordenan a las instituciones en categorías jerárquicas muy similares o, aun, idénticas. La perspectiva que se basa en los recursos supone que, cuando mayores sean éstos más adecuado será el ambiente para el aprendizaje; en realidad, esta clase de razonamiento se vincula con la tesis del valor agregado. En otras palabras, cuando los apologistas del enfoque de los recursos se ven apremiados para defender este tipo de definición, inevitablemente apelan al argumento del valor agregado: cuanto mayores sean los recursos mejor será el aprendizaje. Aunque, sorprendentemente, se han hecho pocas investigaciones para verificar esta afirmación empírica, las pruebas disponibles indican que las relaciones entre el aprendizaje y los medios disponibles son, en el mejor de los casos, imprecisas.(6)
Otra objeción importante a estos enfoques es que restringen la calidad en el sistema de educación superior, pues son limitados recursos tales como alumnos brillantes y profesores prestigiosos. Además, en una sociedad altamente competitiva y meritocrática la distribución de esos medios tiende a ser muy sesgada; unos pocos "colleges" y universidades están ubicados en la cumbre y la mayoría de las instituciones son consideradas mediocres.
Por último -y esta objeción se basa en una cuestión sutil pero esencial- los criterios que fundamentan la calidad educativa en la magnitud de los recursos, tienden a orientar las energías institucionales hacia una pura acumulación o adquisición de recursos más bien que a un empleo eficaz de éstos para fomentar el desarrollo educativo de los estudiantes. En realidad, los supuestos que vinculan los medios con la calidad institucional parecen haber predominado en las mentes de las personas que formulan las políticas y gobiernan. Esta situación es comprensible, pues los bienes tangibles pueden presumiblemente incrementarse mediante una directiva emprendedora. En este aspecto, los administradores son de ordinario recompensados por acumular más estudiantes brillantes, más profesores prestigiosos y más dinero. Dada la naturaleza jerárquica de la educación superior estadounidense, ese sistema de premios parece contar con una buena dosis de validez, en el sentido de que las instituciones más famosas ubicadas en la cumbre de la jerarquía son, también, las que tienen los estudiantes más destacados, los profesores más renombrados y los mayores recursos. El énfasis en la obtención de recursos puede haber estado justificado cuando la educación superior estadounidense cumplía un proceso de rápida expansión y los aportes de dinero y de estudiantes parecían ilimitados. Sin embargo, el problema actual es que la matrícula de estudiantes se ha estabilizado, y aun declinado, y también están disminuyendo los fondos públicos destinados a lo que ha llegado a ser oneroso sistema de educación superior. En tales condiciones, no hay manera de que la totalidad de ese sistema incremente o simplemente mantenga sus niveles. Los educadores debemos enfrentar el hecho de que la cantidad de estudiantes y profesores con talento y el dinero disponible tiene límites. Si mantenemos la insensata persecución de esos recursos, no sólo fracasarán nuestros esfuerzos por elevar la calidad educativa y reforzar los patrones, sino que también llegaremos a una depresión crónica.
Por otra parte, el defecto mas importante de las evaluaciones basadas en el análisis de los productos es que, puesto que las características de los egresados (en particular en el área cognoscitiva) dependen estrechamente del tipo de estudiantes que ingresa, evaluar sólo a los egresados no nos proporciona ninguna información sobre cuál fue la contribución institucional. La cobranza depositada en el examen de los resultados es, de hecho, una ramplona modalidad del enfoque del valor agregado, metodológicamente dudosa.
¿Qué podemos decir ahora del valor agregado como indicador de la calidad? Por muchos años he apoyado decididamente este criterio y, en realidad, la mayor parte de mis investigaciones educativas se basan en él. Sin embargo, últimamente he comprendido que tiene limitaciones importantes, en particular si la meta final de la evaluación cualitativa es mejorar las instituciones de pregraduados. Dado que el enfoque del valor agregado requiere la recolección de datos complejos y potencialmente cuestionables de la trayectoria estudiantil, constituye un método de determinar la calidad que demanda mucho tiempo, es oneroso y quizás causará escisiones.
¿Cuáles serían, por ejemplo, los problemas si se intentara emplear la teoría del valor agregado para evaluar la calidad educativa de las instituciones de pregrado en un estado grande, como Texas o California? Para comenzar, sería necesario lograr un consenso sobre los elementos que se ponderarán. ¿En qué áreas del desarrollo estudiantil debe esperarse un máximo progreso de los alumnos que asisten a una institución de calidad? ¿Conocimientos y habilidades intelectuales? ¿Intereses y aspiraciones? ¿Valores y actitudes personales? Aun si la evaluación se limita al campo cognoscitivo, es además necesario realizar determinaciones que tengan sentido para las personas que formulan las políticas y el público en general, y, al mismo tiempo, lograr que los profesores de distintos departamentos sientan que sus objetivos particulares han sido adecuadamente considerados. Suponiendo que estas dificultades pudieran superarse, se presenta entonces el problema práctico de la recolección y el análisis apropiados de los datos pertinentes. Como mínimo, deben efectuarse mediciones cuando los estudiantes ingresan en la institución y luego, al menos otra vez, en el momento de la graduación. Esas mediciones repetidas son costosas y exigen mucho tiempo.
Creo que son justificados el tiempo y los costos involucrados en esos estudios, pero mi experiencia en el trato con instituciones o funcionarios del sistema educativo estatal, es que la mayoría de los educadores carecen de la paciencia o fe necesarias para evaluar la calidad institucional aplicando el criterio del valor agregado. Además, mis veinte años como investigador y coordinador de estudios sobre el valor agregado, me han convencido que los organismos de financiamiento no han tenido nunca mucho interés en apoyar esos estudios y que el escaso respaldo concedido parece estar menguando. El cuestionamiento básico no es que esas investigaciones no hayan demostrado su utilidad o que deben interrumpirse. En realidad, ya han modificado los conceptos sobre problemas tales como el tamaño óptimo de una institución, el valor de la experiencia residencial efectuada por los estudiantes y los méritos relativos de los "colleges" de dos y cuatro años. Sin embargo, esos estudios frecuentemente tardan mucho tiempo para producir resultados útiles y, a menudo, éstos son tan generales que las instituciones tienen dificultades para aplicarlos a la resolución de sus problemas particulares. Si se consideran las inminentes amenazas planteadas a la educación superior por la declinación de la matrícula, la aceleración de la inflación y la dudosa ubicación de la educación en la lista de prioridades nacionales, es necesario un nuevo criterio para evaluar la calidad educativa, que pueda aplicarse y operar de inmediato.
Un enfoque de la evaluación de la calidad orientado a la acción. Es necesario un nuevo enfoque para estimar la calidad institucional, una perspectiva conceptualmente sencilla y aun así congruente con los conocimientos aportados por los estudios del valor agregado, que pueda ser aplicada de inmediato, no requiera nuevos e ingentes recursos y, más importante, que proporcione una razonable esperanza de mejorar en forma significativa la calidad de la educación. Esa perspectiva sin duda contribuiría, a largo plazo, a corregir la ubicación de la educación en la lista de las prioridades nacionales.
Las sugerencias que hacemos se refieren a los recursos, pero hacen hincapié en como deben ser usados más que en una simple acumulación. La propuesta básica es que cada institución emprenda varios procesos evaluativos concretos y relativamente sencillos, con el claro propósito de mejorar la calidad de la educación. Esas actividades son adecuadas a la capacidad de cualquier institución y no requerirán nuevos recursos.
Puede surgir un interrogante al exponer los fundamentos de estas propuestas y actividades específicas: "Si esas ideas son tan buenas y factibles, ¿Por qué los "colleges" y las universidades no las han puesto en práctica antes?" Una posible explicación es que la mayor parte del personal docente y de los administradores probablemente han aceptado sin discusión el concepto de la calidad basada en los recursos; es decir, creen que la calidad de una institución puede mejorarse mediante la adquisición de los más brillantes estudiantes, prestigiosos profesores y más medios. Han dedicado tanta energía a competir entre sí por esos limitados recursos, que a menudo han olvidado lo que ya se sabe de los estudiantes de los "colleges", de la formación del hombre y del proceso de aprendizaje. Todas las sugerencias específicas de esta propuesta implican en realidad la aplicación de algunos de esos conocimientos olvidados -provenientes en su mayoría del campo de la psicología del aprendizaje o de las investigaciones sobre el valor agregado en la educación superior- a las políticas y prácticas institucionales vigentes, con el propósito final de mejorar la calidad de la experiencia estudiantil en el pregrado
La visión correcta de la evaluación es necesaria para poder incursionar en el tema de la evaluación institucional, por ella traigo a la mesa cuatro aspectos que considero fundamentales para comprender el sentido que de evaluación quiero expresar:
1. La evaluación es la mejor herramienta para conocer la realidad de una institución, de un programa académico, de alguna función, de algún servicio.
2. La evaluación es la única vía segura de tomar decisiones de forma racional y fundamentadamente, lo cual es por sí un garante del éxito que podamos tener.
3. La evaluación es el instrumento perfecto para el logro de la calidad, ya que al conocer la realidad y poder tomar decisiones acertadas, la meta de calidad se hace más accesible.
4. La evaluación es exitosa, sólo sí se realiza con la coparticipación de todos y cada uno de los miembros de la comunidad universitaria, la evaluación necesita compromiso, requiere que se involucren todos los actores que intervienen en el proceso.
4
Los objetivos que persigue la evaluación institucional son muchos y muy variados y responden a las necesidades y fines de las propias instituciones y de los entes evaluadores, sin embargo se pueden expresar los siguientes objetivos básicos[1]:
· Evaluar el comportamiento de las actividades académicas y la enseñanza con el propósito de definir nuevas políticas respecto al uso de recursos presupuestarios, distribución de plazas docentes, adecuación de cursos a la realidad social, etc.
· Viabilizar la organización de bases de datos que pueden nutrir a la gestión posibilitando el perfeccionamiento o redireccionamiento del proyecto académico, asegurando medidas correctivas y de superación de los problemas diagnosticados.
· Propiciar una postura crítica entre la institución y la sociedad y organizar un sistema de información que posibilite juicios con bases objetivas, identificando deficiencias a superar y aciertos a expandir
· Estructurar el proceso continuo de evaluación fomentando en los ámbitos administrativos y académicos, la cultura de la calidad y de la productividad en el comportamiento de los individuos, de los grupos y de la propia institución.
· Promover sensibilización, recogida de datos, diagnósticos, evaluación interna, acciones de reorganización curricular y político administrativa y retroalimentación.
· Revisar y perfeccionar el proyecto académico y sociopolítico de la institución con vistas a la mejora de la calidad, para que sus productos sean valorados y legitimados por la comunidad.
· Contribuir a la redefinición de identidad y actualización de recursos, teniendo como base principios conceptuales claros y definidos en la conciencia colectiva de su necesidad y en la voluntad política de la comunidad.
Reflexionar el papel de la institución hacia sí misma y hacia la sociedad, evaluando y redimensionado sus acciones educativ INSTRUMENTOS DE EVALUACIÓN INSTITUCIONAL.
Existen muchos y muy diversos instrumentos y técnicas de evaluación institucional, los más utilizados son además de la propia observación los cuestionarios, las encuestas y el análisis documental, así por ejemplo existen:
Cuestionarios para evaluar directivos, docentes, pares académicos, alumnos, autoevaluaciones de personas, padres de familia, empleadores, egresados, investigadores, personal administrativo y de intendencia. En ellos se indaga sobre las percepciones, rendimiento, grado de satisfacción, opciones de mejora, etc.
Cuestionarios para evaluar procesos como el de enseñanza-aprendizaje, funcionamiento de la dirección, mecanismos de comunicación horizontal y vertical, investigación, academias, cuerpos colegiados institucionales, programas educativos y especiales, impacto institucional, funcionamiento escolar, etc.
Encuestas de opinión para sociedad, padres de familia, empleadores y egresados. En ellos se indaga sobre sus percepciones
Análisis documental de la normatividad, planes, programas, proyectos, diseños y rediseños currilulares, etc.
No hay comentarios:
Publicar un comentario