Si lo que se desea es obtener un ranking de los jugadores de fútbol mas contundentes y efectivos, solo debe revisarse la cantidad de goles que convirtieron en sus carreras. Pero si se los quiere rankear entre los mas habilidosos, no siempre coincidirá con el número de goles que convirtieron, y aún así, las opciones se corresponderán con la evaluación que cada observador haga de los atributos que estime indispensables para calificar. Por lo tanto, los instrumentos de evaluación pueden ser nétamente objetivos,( basados en escalas numéricas verificables ) o subjetivos, en acuerdo a lo que cada uno entiende por calidad, habilidad, desempeño etc..
Según Marcela Rizzo," las herramientas para analizar el control de calidad de programas e instituciones, provienen del mundo empresario ", y por lo tanto serán fácilmente aplicables a la evaluación de empresas. En las instituciones educativas en cambio, se tiende a identificar la " calidad educativa ", y ésta, se relaciona con diversos parámetros que abordan desde distintos ángulos el proceso de enseñanza-aprendizaje, que siempre concluye en un producto final del proceso que es, el estudiante promovido a profesional, y su posterior impacto en el empleo, todo en total dependencia de las formas de medir la efectividad del proceso, y de cada una de sus fases.
De allí que, tanto la medición de calidad, como la comparación entre varias instituciones, dependerá de un proceso que comienza con la " evaluación ", y culmina con la " acreditación ".
Evaluar, significa determinar si una persona o institución, ha alcanzado o superado los objetivos ya previstos con anticipación. Lo crucial, por tanto, es la fijación de los objetivos y estándares de calidad a alcanzar, y en instituciones educativas superiores, habrá que definir primero lo que se considera " calidad ". Ello no resulta fácil, pues comparadas, por ejemplo, dos instituciones formadoras de médicos, una en EE.UU. y otra en Ruanda, no serán aplicables criterios idénticos en las mediciones, pues el producto que deberán generar dichas instituciones, no será nunca igual en la medida que deberá insertarse en mercados de trabajo disímiles y cumplir funciones desiguales, adecuadas a las necesidades y demandas de cada sociedad.
De cualquier manera, si hablamos de estándares, habrá que preguntarse quien los fija, que significado le adjudican, o en torno a que criterio se los establece.
El estándar presupone un modelo, y el modelo presupone un contexto, una ideología y una necesidad que no siempre son comparables. La mayor parte de los sistemas de evaluación diseñados a la fecha, todavía no han logrado totálmente los propósitos establecidos por parte de sus propulsores, particularmente con respecto a los resultados comúnmente deseados de mejoramiento y confianza pública. En general, se acepta que toda evaluación puede responder a dos modalidades, cuantitativa o cualitativa, pudiendo, como lo es en casi todos los casos, ser mixta.
Al mismo tiempo, las evaluaciones pueden se internas o externas, llamándose a las primeras, autoevaluación, pudiendo ser transitorias o permanentes.
Los sistemas permanentes de autoevaluación son los que concitan la mayor atención de las instituciones educativas, y en general, son tal vez los que ofrecen mayores garantías para propiciar un constante avance en los patrones de calidad educativa.
Todo mecanismo evaluativo, se halla indisolúblemente ligado a la fijación de los objetivos institucionales. En última instancia, evaluar significa verificar el logro de los avances y cambios en el desempeño institucional que fueran previstos al enunciar los objetivos perseguidos por el proceso de enseñanza-aprendizaje.
Una vez evaluada una institución, la etapa que continúa es la de acreditación, que necesariamente debe ser llevada a cabo por los organismos gubernamentales específicos ( o privados debídamente autorizados ), quienes deben confirmar la aptitud para el desempeño institucional y dar las seguridades y garantías de ello a la comunidad.
En Argentina, el tema de la evaluación y acreditación arranca desde la década de 1980 a través de experiencias individuales patrocinadas por organismos internacionales como la O.P.S. para facultades de las ciencias de la salud.
La ley 24521/95 de Educación Superior, establece entre otros temas, el funcionamiento de agencias públicas de acreditación, comenzando con la creación de la Comisión Nacional de Evaluación y acreditación Universitaria ( C.O.N.E.A.U ), que a partir de 1996 evalúa proyectos institucionales, desde 1997 evalúa informes anuales de instituciones universitarias con autorización provisional, realiza evaluaciones externas y acredita posgrados, y desde 1999, evalúa solicitudes de reconocimiento definitivo de universidades y de agencias privadas de evaluación y acreditación de carreras de grado.
Todas las experiencias llevadas a cabo en el país, fueron expuestas y compiladas en las " Memorias del II taller sobre experiencias de evaluación universitaria ", en Abril de 1995, sobre cuya base se constituyó la CONEAU y se le proveyeron los instrumentos para su desarrollo.
En la última década, han proliferado agencias locales e internacionales que estaban dedicadas primariamente al rankeo de empresas, y que luego incorporaron el área universitaria, en la que utilizaron instrumentos y metodología no siempre aplicables con eficacia. Los resultados de la comparación de universidades de América Latina, fueron publicados en numerosos medios gráficos y debatidos en los medios audiovisuales, extractándose conclusiones, a veces sesgadas, que en muchos casos llevaron preocupación a las autoridades educativas y a la población en general.
La agencia Q.S (Quacquarelli Symonds ) de la ciudad de Londres, con una experiencia de 8 años en la materia, elaboró un ránking sobre las 250 mejores universidades (?) de América Latina durante los años 2011-2012.
Algunos de los mas destacados criterios utilizados para la calificación de las universidades fueron:
1.- Reputación académica ( se encuestaron 33.000
académicos )
2.- Reputación empresarial ( se encuestaron 16.000
empresarios )
3.- Cantidad de estudios y publicaciones.
4.- Relación docente-alumno.
5.- Presencia en internet ( webometrics )
6.- Cantidad de doctorados ( Ph.D )
El mecanismo de evaluación, está basado fundamentálmente en el encuestamiento y en algunos datos cuantitativos que no siempre son comparables, teniendo en cuenta la diversidad de facultades, carreras y cursos, y al mismo tiempo, el porcentaje otorgado a cada uno de los criterios de calificación, es totálmente discrecional cuando nó arbitrario.
De las universidades analizadas ( no se conocen datos de cuantas fueron rankeadas ), se obtuvo una tabla con las 250 mejor posicionadas, de donde surge que que la U.B.A, que ocupaba el 8° lugar en 2011, descendió al 11° lugar en 2012. La Universidad de Santiago de Chile, pasó del 10° al 21° lugar entre otros casos, y las 7 primeras, conservaron su posición. Por fuera de los 6 criterios ya enunciados, la agencia manifiesta haber encuestado a profesores, autoridades, administradores, investigadores, docentes auxiliares, bibliotecarios y conferencistas, sin explicitar el número de encuestas por universidad, ni los nombres de los encuestados. Tampoco se mencionan ningún tipo de análisis de los programas educativos ni de los resultados evaluativos de las cátedras, que habituálmente practican las universidades públicas, y se hallan al alcance de quien lo solicite. A los efectos de clarificar la situación, y poner blanco sobre negro la seriedad que requieren éste tipo de encuestas que concluyen con un ránking, enumeraremos una serie de parámetros que normalmente son tenidos en cuenta en las evaluaciones externas, y que nó se observan debídamente cumplimentados por Q.S. :
a.- Infraestructura.
b.- Relación doceente-alumno.
c.- Planes de estudio.
d.- Formación y calificación de los docentes.
e.- Carrera docente. f.- Régimen de concursos.
g.- Número de alumnos. h.- Tareas de extensión y cooperación técnica. i.- Investigación.
j.- Impacto del graduado.
k.- Posgrado.
l.- Doctorados y maesrtrias.
m.- Gratuidad.
n.- Selección de los aspirantes.
o.- Carga horaria de cátedras y carreras.
p.- Satisfacción del alumnado.
q.- Condiciones de admisión.
r.- Criterios de calidad (logro de objetivos, satisfacción de los usuarios de servicios, rendimiento etc. )
El mecanismo de encuestamiento no ha sido debídamente explicitado por la agencia. No hay menciones claras sobre la selección y determinación de la muestra, análisis descriptivo de los datos y formatos de contrastación.
Ante un panorama tán complejo para llevar adelante una encuesta de tal envergadura como la realizada, es lógico pensar que debieron realizarse innumerables consultas por parte de un personal formado y entrenado,y en número apreciable, datos que no constan en los informes.
Sin desmerecer la calidad y prestigio de las universidades que anteceden a la UBA en el informe final, estimo necesario graficar ciertos parámetros de evaluación obtenios de la información brindada por la casas de estudios ( los datos faltantes no han sido suministrados y no figuran en la WEB. )
UNIVERSIDAD DE SAN PABLO
90.000 estudiantes de pregrado
5.900 docentes
Relación docente-alumno : 15,2
42 facultades y centros
220 programas de posgrado
2300 doctorados por año
Producción científica : 22% del total de Brasil
4 museos
4 hospitales
PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE
21.000 estudiantes
18 facultades
UNIVERSIDAD ESTATAL DE CAMPINAS
16.700 alumnos
50 patentes tecnológicas por año
UNIVERSIDAD DE CHILE
35.619 alumnos
3047 docentes
Relación docente-alumno : 11,6
14 facultades
2 Premios Nobel : Gabriela Mistral y Pablo Neruda.
U.N.A.M
269.000 alumnos
38.343 docentes
Relación docente-alumno : 6,1
2447 investigadores
13 facultades
3 Premios Nobel : Alfonso García Robles, Octavio Paz y Mario Molina
113 especializaciones
449 estudiantes extranjeros
100.000 becas y estímulos
35 doctorados
52 maestrías
UNIVERSIDAD DE LOS ANDES
12.500 alumnos
600 docentes
Relación docente-alumno : 20,8
2750 maestrías y doctorados
TECNOLÓGICO DE MONTERREY
18.708 estudiantes de pregrado
2439 estudiantes de posgrado
UNVERSIDAD FEDERAL DE RIO DE JANEIRO
35.399 estudiantes de pregrado
4.000 docentes
Relación docente-alumno : 8,8
UNIVERSIDAD DE CONCEPCIÓN
( sin datos )
UNIVERSIDAD DE SANTIAGO DE CHILE
20.000 estudiantes
U.B.A
300.000 alumnos de pregrado
40.000 docentes
Relación docente-alumno : 7,5
160.000 alumnos de posgrado
200 maestrías , doctorados y carreras de posgrado
13 facultades
112 carreras
4.000 investigadores
80 institutos de investigación
6 hospitales
14 museos
12.000 estudiantes extranjeros (6698 en pregrado)
4 Premio Nobel : Carlos Saavedra Lamas, Bernardo Houssay( fisiologia y medicina) , Luis F. Leloir( química) y Cesar Milstein( fisiología y medicina).
La carencia de información en internet por parte de las universidades de las que nó disponemos de datos, ya de por sí las marginan del webometrics, y de las que pudieron obtenerse datos, la comparación surge a simple vista. Sin embargo deseo detenerme en algunos aspectos del informe.
Q.S, manifiesta que las razones que la orientan a inclinarse por la U. de S.P para ubicarla en el primer puesto, son fundamentálmente el haber triplicado en la última década el número de alumnos, el incremento de la calidad (?) e investigación académica, y que 9 universidades brasileñas están entre las 10 latinoamericanas que poseen mas trabajos académicos de sus docentes y mayores proporciones de docentes con doctorado. Todos éstos criterios de calificación son opinables, y los datos cuantitativos no han sido debídamente contrastados. En cuanto a la ubicación de la UBA, y su descenso en el último año del puesto 8° al 11°, lo fundamenta en la relación docente-alumno y en el declive de su reputación entre educadores y empleadores.
Si analizamos los datos expuestos, podemos observar que la UBA posee una de las mejores relaciones docente-alumno, y con referencia a la segunda aseveración, vale consignar que la consultora I-Eco, del suplemento económico del diario Clarín, en su ránking 2010-2011, sobre una muestra de 200 instituciones educativas, ubica a la UBA en primer término por calificación de empresas empleadoras. Además, el reconocido Shangai Jiao Tong Univérsity Ránking, en su informe de 2009, equipara a la UBA, la UNAM y la Ude SP en el mismo nivel. El tema de la calificación en Webometrics es importante, pues la información que se vuelca a internet resulta indispensable para la obtención de datos en forma sencilla y fiable. Al respecto cabe consignar que en varias encuestas en los EE.UU, la universidad de Harvard figura primera, y el M.I.T, aparece 5°, 9° o 10° según los criterios empleados. No obstante el M.I.T, figura 1° en alguna encuesta por el peso que le adjudican al Webometrics, lo que nos demuestra que un análisis exhaustivo de cada criterio evaluativo, mueve la escala y resulta harto difícil sacar conclusiones certeras.
El otro aspecto que no quiero pasar por alto, es el de la seriedad y confiabilidad de las agencias encuestadoras. Es bien cierto, que la mayoría de ellas son institutos volcados fundamentálmente al estudio de variables económicas que dominan a la perfección las encuestas de popularidad, efectividad, satisfacción e impacto. Pero carecen de los instrumentos imprescindibles para evaluar y rankear instituciones universitarias, por las razones que ya hemos esgrimido al comienzo. Vale la pena bucear en la intimidad de la consultora Q.S, con sus escasos 8 años de actuación en el mercado.
Tanto su fundador, Nuncio Quacquarelli, como su jefe de investigación, Ben Sowter, no son educadores, sino expertos en negocios internacionales. Sowter se ha dedicado especialmente a las investigaciones de mercado, y es presidente de AIESEC, una institución benéfica sobre liderazgo estudiantil que basa sus estudios en el estudiante como centro de clasificación.
No caben dudas que la encuestología es una especialización que no responde a reglas matemáticas, que basa sus resultados en las opiniones de la gente ( con la vulnerabilidad que ello involucra ), y que permite que algunos aventureros puedan torcer sin sonrojarse, las cifras y los informes obtenidos. Es bien cierto que hay encuestas con sesgo político, encuestas por encargo, encuestas prefinanciadas y encuestas que, sin pretender engañar a la opinión pública, carecen de sustento metodológico y científico, especialmente en lo referente a la función de las universidades.
Sin pretender prejuzgar, las encuestas y ránkings, deben ser analizados con cierto escepticismo, ya que muchos resultados son llamativos, y en algún caso, inspiran desconfianza, si tenemos en cuenta que la calificación y rankeo de una empresa o institución, en gran medida subjetiva, puede mover ciertos favores económicos.
Esta circunstancia de haberse volcado al mercado un sinnúmero de encuestas y ránkings con sesgos que en algunas ocasiones asemejan a un ráting, movió a la realización del " IV Encuentro de Redes Universitarias y Consejos de Rectores de América Latina y el Caribe " , auspiciado por la UNESCO en Buenos Aires los dias 5 y 6 de Mayo de 2011, en el que se aprobaron algunas consideraciones tales como :
1.- Evitar la homogeinización de la diversidad de instituciones.
2.- No propiciar las mediciones parciales basadas en la circulación internacional de la producción científica.
3.- Alertar sobre la influencia nociva en los tomadores de decisiones.
4.- Desalentar la deslegitimación de quienes impulsan modelos distintos.
5.- No confundir a la opinión pública entre lo que se consideran ránkings con sistemas de información.
El 15 de Julio de 2011, los Rectores y otras autoridades de 65 universidades públicas y privadas de Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Ecuador, El Salvador, Guatemala, Paraguay, Perú, República Dominicana, Venezuela y México, con una matrícula global de mas de 20.000.000 de estudiantes, elaboraron un extenso documento cuya declaración final hacía mención a la Conferencia Mundial sobre Educación Superior (CMES) llevada a cabo en París del 5 al 8 de Julio de 2009 , en la que se instó al desarrollo de procesos evaluativos, transparencia y rendición de cuentas, pronunciándose críticamente frente a la opción de utilizar ránkings en la evaluación de desempeños. Los rectores recomendaron sistemas de acreditación regionales, intercambios teóricos sobre pedagogía universitaria, y elaborar políticas sobre cómo desarrollar, mejorar y consolidar la investigación.
Entre los señalamientos más cuestionadores sobre el rankeo de universidades, manifiesta el documento:
1.- Los rankings son limitativos pero influyen en la población.
2.- Hay en ellos un sesgo hacia el modelo de universidad anglosajona.
3.- No manejan criterios ámpliamente aceptados para medir la calidad.
4.- No pueden abordar adecuádamente las funciones educativas y sociales.
5.- Se basan en encuestas a estudiantes y otros actores sociales que son simples opinadores.
6.- La validéz estadística de los resultados está seriamente cuestionada.
7.- Los medios de información no analizan lo que publican, símplemente lo difunden.
8.- La simple lectura de los resultados, puede causar una pérdida de legitimación social ante el público de las instituciones rankeadas.
Concluyen los Rectores, que las universidades deben aferrarse a elementos de identidad que coadyuven a la construcción de nuestras sociedades, que promuevan la inclusión, la justicia, la resolución pacífica de los conflictos, la protección del ambiente, el desarrollo económico y social, el respeto por la diversidad y la promoción de los derechos humanos.
Mi opinión, y la de muchos otros estudiosos sobre evaluación de universidades, es que nó existe todavía ningun instrumento de medición cualitativa de las instituciones educativas superiores que exprese, sin estar teñido de ideología o de compromiso, la verdadera imágen de una universidad, sin que tome en cuenta los objetivos que la propia institución se ha fijado como imágen objetivo a cumplir. Menos aún podrá establecerse una comparación y un ránking, cuando se confrontan distintos modelos educativos y distintos contextos a los que las instituciones deben responder.
No hay comentarios:
Publicar un comentario