Algunas causa de la debilidad en el proceso evaluativo de las instituciones universitarias españolas.
En esta universidad española hay una serie de condicionantes que han impedido el desarrollo integral del extinto un plan nacional de evaluación de calidad de las universidades con la amplitud y extensión que pretendía. Aunque se hayan incorporado al conjunto de países desarrollados que están implantando actualmente procesos de evaluación de la calidad de sus instituciones universitarias. Esta universidad padece de un retraso sobre países de nuestro entorno inmediato. (Reino Unido, Holanda, Francia)
Y por si fuera poco esta afectada por una serie de condicionantes que han contribuido a la debilidad del proceso de evaluación de la calidad universitaria en estas primeras fases.
Causa citadas por De Miguel y Gutiérrez que se consideran fundamentales la dudosa capacidad ejecutiva de los órganos de dirección de la universidad publica respecto a sus iguales del sector privado.
La desconexión entre el gobierno central, la universidad y los gobiernos autonómicos en la determinación y formulación de objetos comunes.
La dudosa capacidad ejecutiva de los órganos de dirección de la universidad publica respecto a sus iguales del sector privado.
Este punto nos habla sobre la difusa y débil capacidad de autonomía y liderazgo que predomino en muchas instituciones universitarias españolas por desarrollos estatutarios que tratan superficialmente estos aspectos:
Primero.- la enquistada tendencia corporativista de la estructura universitaria.
Segundo.- el complejo entramado de órganos colegiados. Ambos contribuyen a la aparición de un filtro amortiguador que ralentiza los procesos de procesos de decisión, estos los complejiza y dilata a un extremo que impide la ejecución práctica y operativa de cualquier resolución prolongándose por tiempo indefinido. Se dice que a pesar de la puesta en marcha de la ley orgánica de universidades se da otra serie de condicionantes y circunstancias que coadyuvan en la aparición y sostenimiento de una capacidad ejecutiva débil. Y de esta manera se ven 3 niveles diferenciados los que participan en ocasiones con escasa coordinación, en procesos de evaluación de la calidad.
Primer nivel.- constituido por el consejo universidades dependientes del ministerio de educación, cultura y deporte.
Segundo nivel.- este esta conformado por las agencias autonómicas para la calidad universitaria que supervisan las comunidades autónomas.
Tercer nivel.- estructurado por las comisiones de evaluación, los comités de auto evaluación y los comités de evaluación externa ya que vienen siendo los dos primeros dependientes de la unidad evaluada, y los terceros del consejo de universidades. Esta estructura ha determinado la lentitud de la burocracia administrativa y diferentes desajustes derivados de la falta de organización y coordinación entre los niveles de actuación descritos. Así como también de los insuficientes medios para que se lleve a cabo las tareas que es necesario realizar en plazos previstos. Este cúmulo de disfunciones nos trae como consecuencia la escasa toma de decisiones ya que una vez conocidos los desajustes que figuran en los informes de evaluación.
Nos comenta Coba al respecto que las limitaciones del PNECU, por resumirlas en una frase, es la escasa implicación y repercusión que los resultados de evaluación ha tenido mas allá de las propias unidades evaluadas.
Y para finalizar se destacan las dificultades de extrapolar las técnicas de gestión de la calidad del sector empresarial a cualquier tipo de organización de servicios en este caso la universidad.
Pero Quintanilla en este sentido lo diferencia entre.
1.- problemas conceptuales: que son referidas a las dificultades para transferir los conceptos de calidad y ejecución del mando empresarial a la universidad, asi como las dificultades para identificar claramente a los clientes del servicio de la enseñanza superior.
2.- problemas metodológicos: estos están relacionados con la necesidad de articular diferentes dimensiones y niveles en la evaluación de la calidad de las universidades y de encajar la metodología de la evaluación de la calidad con otras practicas usuales en el seno de la cultura académica.
La desconexión entre el estado, la universidad y los gobiernos autonómicos en la determinación y formulación de objetos comunes.
Nos señala que puede contribuir de entrada a la disolución de los derechos y deberes existentes sobre y para las universidades, nos dice que ni las universidades son capaces de tomar la iniciativa por su propia cuenta, ni los gobiernos autonómicos llegan a asumir de una forma inmediata las directrices del gobierno central, y que como en muchos casos, la desconexión se debe a fuertes discrepancias en los planteamientos políticos de fondo de la administración central y administraciones autonómicas.
En la organización administrativa de España geográficamente se distribuye en comunidades autónomas y son con amplias competencias en diferentes áreas de la realidad social, política y económica, donde no siempre es fácil el entendimiento.
Para esto, aunque es conveniente en un estado democrático, se dan algunos desajustes que viene siendo producto del mal entendimiento entre el estado. Las comunidades autónomas e instituciones universitarias, por descoordinación entre los poderes públicos y fines universitarios tienen enfrentamientos que no han sido particularmente virulentos al menos individualmente cuando las universidades se reúnen y plantean sus problemas de forma colectiva al conjunto de las administraciones publicas dentro del seno del consejo de universidades, producen fricciones de mayor calado que tienen evidencia en interminables debates y violentas confrontaciones verbales.
Debilidades de la evaluación de la calidad universitaria en el contexto español.
Como ya lo vimos desde el inicio las dos causas fundamentales que pueden contribuir al debilitamiento de la evaluacion de la calidad universitaria en España. Veamos ahora algunas debilidades:
La ausencia de un método sistemático de recopilación de datos que sustente la evaluación.
La falta de mecanismos de análisis y validación de la información recogida.
La inexistencia de acciones ejecutivas de implantación de mejoras inmediatas y la ausencia de un soporte financiero que las operativice.
Los desajustes que afectan al proceso de selección y formación de evaluadores.
El inadecuado funcionamiento de los comités de evaluación.
El cuestionamiento de los indicadores de rendimiento en términos de su confección y aplicación.
La ausencia de un método sistemático de recopilación de datos que sustente la evaluación.
Esta es una debilidad donde nos vamos a referir a la falta de información que existe respecto a los instrumentos de recogida de información que debieran ser utilizados en el proceso de evaluación de las universidades.
La falta de mecanismos de análisis y validación de la información recogida.
Para esto si se logra un vencimiento en el primer punto arriba ya mencionado, nos encontramos ante otros.
*la ordenación, tabulacion y análisis de los datos. Es un trabajo laborioso que no siempre es tan fácil, pero que algunos específicos son de carácter cualitativo basados en entrevistas individualizados con diferentes agentes: ejemplo, profesores, estudiantes, personal de administración y servicios, equipo de gobierno de la facultad o centro universitario.
* la carencia de criterios de validación de la información recogida. Para los datos cualitativos se requieren de estrategias de triangulación sistemáticos que permitan contrastar la información de uno y de otro tipo de agentes, para esto no siempre es factible, puede generarse mas información de lo que es posible procesar; y los equipos no suelen tener un entendimiento especifico en el análisis de datos cualitativos y su triangulación.
Estos dos puntos están entrelazados y tiene mucho que ver con la formación metodologica en la que no necesariamente han sido entrenados los evaluadores internos y externos implicados en el proceso de evaluación. Ya que esta formación nos implica el saber de criterios técnicos de calidad de instrumentos que son utilizados en la recogida de información, como también las características y tipo de muestreo que es utilizado en exploraciones desarrollados, los parámetros de validez y fiabilidad, ya que esta puede ser desde la perspectiva de la teoría clásica de test o criterios mas cualitativos.
La inasistencia de acciones ejecutivas de implantación de mejoras inmediatas y ausencia de un soporte financiero que las operativice.
Se pueden activar diferentes tipos de acciones con la publicación del informe de evaluación, y la obtención de conclusiones como; rendición de cuentas, procesos de mejora, servir como fuente de conocimiento y compromiso en el cambio social.
Se dice que por desgracia los informes de resultados hasta hoy no se toman seria y decididamente ninguna de las funciones explicitadas y se ve el déficit ejecutivo que sufre la universidad española. Sabemos mucho de los desajustes que aquejan a la universidad pero es poco o casi nada lo que se hace para tener una solución.
Pérez García nos da su aportación desde su punto de vista que para la evaluación de frutos ha de ser;
Primero.- posible y además contribuir a la mejora de información y elaboración de documentos, de planificación estratégica que sirvan de base para acciones ejecutivas con los resultados obtenidos en el proceso de evaluación.
Para Harman.- este nos da la siguiente opinión, que las actividades de información y seguimiento son elementos vitales de cualquier programa de garantía de la calidad considerada valiosa, aunque, el mayor cambio reside en trazar métodos efectivos y capaces de ser ejecutados para alcanzar mejoras.
También se nos dice que ya en algunas comunidades autónomas se experimentan modelos operativos de contratos-programas para la implantación de mejoras progresivas en diferentes universidades, y hasta que no se estructuren y consensúen planos estratégicos globales y locales para evaluar la calidad de educación superior todas estas medidas no dejaran de ser actuaciones puntuales de poca trascendencia.
Se nos muestra o se ve de este argumento, que los procesos de evaluación institucional de docencia por parte de alumnos, a partir de escalas de valoración de formato likert mas o menos estandarizadas sobre el cumplimiento general de obligaciones del profesorado, las metodologías de trabajo, la capacidad de motivación, la pertinencia de programas de las asignaturas, la adecuación de los modelos de evaluación. Aunque cuando un maestro obtenga una valoración baja en estas escalas, estos resultados no afectaran las retribuciones derivadas de los quinquenios docentes, concedidas automáticamente, ni tampoco su futura promoción y estabilización.
Acerca de esto se preguntaría sobre ¿ que razones impulsan a una universidad a poner en marcha practicas de evaluación de la calidad si los resultados obtenidos no tendrán repercusión alguna ?
De los resultados obtenidos deberían derivarse procesos de toma de decisiones y pautas de renovación, siempre y cuando sean necesarias. El sentido formativo de la evaluación reside en el supuesto de la virtualidad que la información proporcionada estimule al conjunto de profesionistas:( docentes, investigadores, técnicos), a realizar los cambios pertinentes. Sobre esto hay criterios diferentes en la evaluación del profesorado y De Miguel. Tiene tres criterios; de productividad, competencia docente, y excelencia o desarrollo profesional.
No hay evidencias empíricas que demuestren que los merit pay models mejoran el rendimiento del estudiante, pero que sin embargo, si pueden generar efectos colaterales perversos, y estos son algunos de ellos;
los merit pay models pueden promover competitividad entre los profesores que, en virtud de sus roles, deben trabajar a menudo en equipo.
Los merit pay models pueden “castigar “ a los buenos profesores con alumnado poco motivado, escasamente habilidoso,etc; en suma, malos estudiantes.
La investigación sobre la puesta en practica de los merit pay models demuestra que los programas bajan la moral del profesorado.
Los merit pay models pueden deteriorar las relaciones entre profesorado y administradores.
Los desajustes que afectan al proceso de selección y formación de evaluadores.
La metodología de trabajo del PNECU se basa en un modelo que conjuga la auto evaluación junto con otros colegas y los indicadores de rendimiento recomendados por la agencia evaluadora. Esta estructura de trabajo generó la selección y formación de comités de evaluación internos( CA) y externos.( CEE)
En los dos casos su proceso de selección no estuvo exento de problemas…y aquí nombro dos entre otros:
en los CA se ha apreciado que los nombramientos de los miembros han recaído con demasiada frecuencia en las autoridades de las propias unidades y personas muy afines a los equipos de gobierno. Tampoco parece conveniente que la composición de estos CA se establezca totalmente de forma participativa, ya que se corre el riesgo de constituir una comisión más con poca capacidad operativa.
En relación con los evaluadores externos, la falta de tradición de evaluación institucional en España ha dificultado la composición de los CEE con participantes que reunieran las condiciones establecidas y que además mantuvieran una actitud favorable para participar en estos procesos. A esto debemos añadir la disponibilidad de los participantes: obligaciones, agenda etc.
El adecuado funcionamiento de los comités de evaluación.
Generalmente la actuación de los CA se define como poco satisfactoria, y esto se debe a la falta publicidad de informes, que viene siendo un aspecto ajeno a los miembros de estos comités, agreguémosle su carácter meramente descriptivo políticamente correcto.
He aquí dos de algunos problemas que condicionan la tarea de los CA;
en muchas universidades españolas no existen unidades técnicas de evaluación, y si existen trabajan en condiciones precarias.
Muchas instituciones adolecen de base de datos fiables, actualizadas e informatizadas razón por la cual muchas veces se elaboran informes devaluados que se alejan de una realidad mas actual.
Se dice que el dilema entre voluntariedad versus obligatoriedad de los miembros de dichos comités. Si se participa voluntariamente hay peligro de la baja implicación, la desmotivación en tareas, la inclusión de datos sesgados poco o nada verificados , de otras manera, si se participa obligatoriamente vulneramos el principio de autonomía profesional de algunos agentes universitarios, y si no se establecen los adecuados mecanismos de compensación,(económica o académica), la actividad de estos miembros de comités se puede ver afectada por la incompetencia, desmotivación y descoordinación. Definitivamente la dialéctica sobre el tipo de participación en el proceso de evaluación es evidente y la solución no resulta nada fácil.
El cuestionamiento de los indicadores de rendimiento en relación con sus confección, aplicación e interpretación.
Lo mas importante de este aspecto es que los indicadores de rendimiento, aunque constituyen una de las herramientas mas conocidas para evaluar la enseñanza pueden entrañar cierto peligro en tres aspectos diferenciales.
Calidad de su elaboración.
Uso mas o menos acertado que se haga de estos.
Ámbito al que hace referencia la evaluación.
Los dos primeros conformarían lo que denominamos dificultades de carácter técnico, así, sobre la calidad de los indicadores se habla de problemas centrados en cuestiones relativas a como se construyen los criterios que deben seleccionarse y el cual es el fundamento teórico que justifica su elaboración y aplicación.
Conforme a estos aspectos hay una serie de criterios, que son actualmente validos en la selección de indicadores, y estos son;
Importancia y uso: valor de la información para el desarrollo político, el interés de la audiencia y la rendición de cuentas.
Calidad tecnica: basada en la validez del contexto y en la fiabilidad de la información recopilada.
Fiabilidad: en función del cuidado de la recogida de datos, de su coste, del análisis e informe y de la simplicidad de la información.
Para esto su uso y aplicación la mayoría de las criticas son centradas en aspectos políticos y practicas de los mismos en diferentes cuestiones: y establezco dos de ellas entre otras:
falta de criterios consensuados sobre las informaciones pertinentes en relación con la calidad del objeto a evaluar.
Existe el peligro de convertir los indicadores en estándares de calidad. Los indicadores de rendimiento se pueden convertir en una meta por si mismos, y no en lo que realmente son una manifestación parcial de una realidad compleja en continua transformación y cambio.
PROPUESTA DE MEJORA
Con todo lo que antes hemos mencionado producto de una evaluación institucional ciertamente debilitada parece conveniente entorno a cada universidad se defina un marco de actuación que garantice la continuidad de las iniciativas tomadas. En sociedad, representada por administraciones automáticas, y que exija la aplicación continua de herramientas de evaluación para que se faciliten los medios que permiten atender cuando menos, una serie de objetivos básicos,
1.- formar a los agentes voluntarios participantes en los procesos de auto evaluación interna y externa. (Profesorado, alumnado, personal de administración y servicios en el proceso de evaluación de la calidad universitaria con un conjunto de nociones y estrategia básicas de investigación.
2.- tener en cuenta indicadores objetivos para poder medirlos, pero a la par recoger observaciones, opiniones y valoraciones que hayan sido contrastadas, o sea que haya evidencias, y aplicarlas equitativamente según la situación de partida de cada escenario evaluado.
3.- establecer criterios técnicos de selección de los indicadores de medida.
La elección de indicadores de rendimiento en la evaluación institucional universitaria debe estar sustentada por una serie de criterios técnicos como los que proponen Cave, Hanney, Henkel y Kogan. Y son los siguientes. tipo de indicador: entrada-proceso-producto.
Relevancia: objetivos y misión de la institución o departamento.
Claridad: evitar la ambigüedad.
No manipulable.
Costo de recogida de información y facilidad para compararla.
Nivel de situación: departamento, disciplina y profesor.
Relación con otros indicadores.
La propuesta de Miguel sobre la evaluación institucional de la calidad. Nos dice que constituye un modelo que postula la integración de distintas modalidades de evaluación, auto evaluación mas evaluación externa.
De Miguel lo relevante de la concepción de evaluación de la calidad universitaria es su dimensión comprensiva, ya que tienen tanto procesos como productos, eficacia y eficiencia, mejora, calidad de la gestión y procedimientos establecidos para asegurarla. La evaluación asume un triple enfoque: quality control, quality managament, y quality assurance superando lo exclusivo de las modalidades.
Osorio y Salvador proponen lo siguiente.
coherencia: equilibrio entre indicadores de docencia, investigación y servicios.
Confiabilidad: valido y fiable en otras instituciones o departamentos.
Durabilidad: valido y fiable a través del tiempo.
No hay comentarios:
Publicar un comentario