Los rankings de Universidades: Un ensayo parcial

Aunque escrito por y para documentalistas, no puedo menos que declarar desde un principio que este texto está obviamente influido por el hecho de que yo mismo sea editor y asesor de algunos de los rankings de universidades, aunque ello no será impedimento para que mis análisis y comentarios críticos sean razonablemente objetivos.

La evaluación y clasificación de cualquier actividad o producto académico ha sido siempre objeto de ácido debate y, a menudo, de obstinada oposición. Cabría pensar que dicho rechazo proviene de autores amortizables, editores de revistas mediocres o rectores politizados en exceso, pero a pesar de que la verdad se esconde también en posturas personales subjetivas, lo cierto es que muchos de dichos procesos evaluativos pecan de importantes problemas técnicos y en el caso de los rankings habría que añadir que de sesgos muy relevantes de variado y multiplicador carácter.

Antes de proceder a una breve descripción de algunos de los principales rankings mundiales (sería devastador comentar los impresentables de carácter nacional, ya en manos de intereses comerciales privados que afean el prestigio de sus autores académicos) procederemos a presentar una enmienda, aunque quizá no a la totalidad, del propio proceso de clasificación de universidades.

Empezaremos por las cuestiones técnicas, que tienen que ver con el diseño y metodología utilizada. Lo primero que hay que indicar es que prácticamente ningún ranking ofrece una visión auténticamente global de los sistemas de educación superior en el mundo. Incluso en la actualidad los rankings más populares no clasifican más allá de las 1000 primeras universidades (aproximadamente el 5% del total) por lo que se dejan enormes lagunas tanto de países excluidos (los en vías de desarrollo) como incluso dentro de los propios desarrollados. Cabe comentar que menos del 10% de los Universidades y “Colleges” estadounidenses aparecen en los rankings más populares y que un alto porcentaje de los excluidos tendrían unas prestaciones tercermundistas.

En segundo lugar, habría que cuestionarse lo que realmente miden estos listados, aunque sería más oportuno considerar lo que realmente se puede medir de una forma fiable de las diferentes misiones de la Universidad. Descartemos la primera misión ya de entrada, pues cualquier evaluación de la docencia implica comparar países, culturas y tradiciones muy diferentes, cuya diversidad hacen imposible establecer criterios normalizados comunes. Es factible utilizar algunas aproximaciones como por ejemplo el número de alumnos por profesor, pero es imposible definir de forma homogénea “profesor” y “alumno” no ya entre diferentes países, sino entre distintos tipos de instituciones. Incluso hay que cuestionarse las cifras obtenidas, sujetas no ya solo a interpretación sino a intereses de quienes lo proporcionan o incluso solventar el grave problema de la ausencia de datos. En un plano puramente evaluativo resulta poco práctico afirmar que una tasa de 7,4 alumnos por profesor es mejor que una de por ejemplo 7,5 o incluso una de 9,2. En último extremo una universidad con un bajísimo número podría ser calificada de baja eficiencia, especialmente si pertenece al sector público. Otros recursos inventariables (bibliotecas, salas informáticas o laboratorios) plantean problemas de cuantificación y generalmente reflejan disponibilidad más que uso real. Las tasas de éxito (graduados, doctores, premiados, empleados en grandes compañías) adolecen de importantes sesgos relativos a la disponibilidad de la información, la calidad y fiabilidad de la misma e incluso a su utilidad. Pensemos en lo que realmente puede significar respecto de cierta institución que un premio Nobel haya estudiado en la misma.

La segunda misión parece más apropiada para ser sometida a un tratamiento cuantitativo. En efecto la bibliometría lleva décadas analizando la actividad investigadora y generando una amplia batería de indicadores. Sin embargo, cabe preguntarse porque la comunidad bibliométrica nunca publicó un ranking de universidades antes de la aparición del de Shanghai (2003). De hecho, los especialistas han sido muy críticos con las variables bibliométricas de dicho ranking, lo que no ha impedido su continuidad y su ascenso como herramienta prestigiosa de referencia. Los intentos posteriores de incorporar información bibliométrica en otros rankings se han saldado con numerosos tropiezos y resultados aberrantes como la presencia de universidades desconocidas en posiciones de relevancia en los rankings THE y QS, fenómeno que ha continuado hasta la actualidad. Estas barbaridades han contaminado incluso la investigación de los propios bibliómetras que utilizan, sin cuestionarlos, dichos datos en sus trabajos.

Es cierto que existen varios rankings basados solamente en datos bibliométricos, pero algunos jamás publicaron y defendieron la justificación de las variables y pesos utilizados en congresos o revistas evaluadas (URAP, NTU), mientras que otros realizados por especialistas (Leiden, Scimago) aún tienen que resolver problemas de filiación (modelos de conteo, impacto de la hiper-autoria, terceras partes) con tasas de error no despreciables.

La llamada tercera misión plantea números problemas pues, en primer lugar, no hay una definición única y mientras que a veces solo se considera la transferencia de tecnología (innovación), muchos rankings incluyen variables relacionadas con la internacionalización o el compromiso con la comunidad sea éste de carácter socio-cultural, económico, medioambiental o político. A la dificultad de encontrar fuentes adecuada de información, añádase la problemática de estimar pesos para variables según modelos más cercanos a los intereses de los editores que a las propias estrategias de las universidades.

Más desconocidas, aunque intuidas en muchos análisis, son las cuestiones no técnicas. Aquí abundan las medias verdades, los intereses poco claros e incluso la pura charlatanería. El éxito, inesperado, de los rankings abrió un nicho de mercado, que más allá de aspectos puramente académicos, pronto se llenó de propuestas con fuertes condicionantes de carácter tanto económico como político. El volumen de negocio de los estudiantes que cambian de país para iniciar o continuar sus estudios superiores es de tal magnitud que presidentes y ministros reciben a editores de rankings o se desplazan a sus sedes para averiguar cómo pueden sus instituciones mejorar en los respectivos rankings. Hay evidencia indirecta que muestra que determinadas inversiones (consultoría, organización de ferias y eventos, campañas de publicidad) pueden ayudar a tal fin y, así no resulta sorprendente que ciertas dictaduras petrolíferas, ciertas redes de universidades privadas e incluso instituciones de titularidad pública, aparezcan en posiciones de privilegio de forma harto sorprendente. Personalmente siempre me llamó la atención que los dos principales editores de rankings británicos (THE, QS) colocaran a un buen número de universidades inglesas entre las primeras clasificadas.

A continuación, analizaremos los principales rankings mezclando información con valoración:

Ranking de Shanghai. El nombre oficial es Academic Ranking of World Universities (ARWU) y es el primero en aparecer (2003) y tener impacto realmente global. A favor se puede decir que propone un sistema de variables limitado, pero fácil de aprehender por el gran público, que combina dichas variables en un indicador compuesto que permite una construir una clasificación sencilla de forma rápida y que utiliza activamente los medios para su rápida difusión. Cabe cuestionarse la leyenda de que fue una iniciativa de gobierno chino para conocer el estado de sus universidades, pues fue realizado por un equipo modesto de una universidad fuera de Pekín, que posteriormente se constituyó en una consultora independiente para su explotación (¡en un país comunista!). En realidad, es probable que el objetivo fuera identificar instituciones prestigiosas en el extranjero donde los estudiantes chinos podrían acudir. Ello explicaría mejor ciertas decisiones, como el nombre (el ranking de las “universidades de clase mundial”) la utilización de variables fundamentalmente de excelencia (premios Nobel, científicos muy citados, revistas con alto impacto) y, como consecuencia de ello, publicar solo las 500 primeras universidades. Es fácil descubrir que la puntuación global discrimina sobre todo las aproximadamente 200 primeras clasificadas, un grupo concentrado alrededor de las que han recibido más de un premio Nobel. De hecho, solo una docena de instituciones aprueban según el “global score” (más de 50 puntos sobre un total de 100).Fuentes, variables y pesos apenas han cambiado desde 2003, lo que en principio favorece la comparación interanual, pero ello también significa que los errores originales no se han corregido, a pesar de numerosas sugerencias relativamente fáciles de implementar: No considerar Nobeles muy antiguos, incorporar una cesta de premios más amplia, incrementar el número de revistas fuente. En los últimos años las agresivas campañas de marketing de THE y QS le han desplazado ligeramente del escenario mundial, aunque comparte con estos dos una posición de prestigio. Al igual que aquellos, ha optado por ampliar el número de instituciones analizadas (ahora son 1000) y por desarrollar rankings por disciplinas. Pero hay que advertir que estos últimos son productos bibliométricos muy cuestionables (y sorprendente e injustificadamente populares), sin relación real con el ranking original más allá de la autoría común.

Ranking Web of Universities es el segundo en aparecer apenas unos meses después del de Shanghái. Adopta el modelo de indicador compuesto combinando en los primeros años solo indicadores web, pero incorporando posteriormente también indicadores bibliométricos. Es el de mayor cobertura, pues clasifica en la actualidad más de 28000 instituciones de educación superior de todo el mundo. Al contrario que predecesor la disponibilidad errática de fuentes y las prioridades cambiantes de sus editores han dado a lugar a un producto con una alta variabilidad interanual que dificulta la comparación entre ediciones. Es un ranking popular entre los países en desarrollo, especialmente en Latinoamérica, pero no es muy utilizado en Europa o Norte América

Ranking THES-QS, que desde 2008 es el THE World University Ranking . El Suplemento de educación superior del prestigioso periódico inglés The Times contrató a la consultora QS especializada en Escuelas de Negocios para preparar un ranking mundial de universidades visto el gran impacto del ranking de Shanghái. QS introdujo el ranking en 2004 con un nuevo modelo basado en encuestas como fuente primaria, aunque suplementada con datos bibliométricos (de la Web of Science, entonces de Thomson Reuters). Las primeras ediciones tenían un fuerte sesgo anglosajón, debido a que las encuestas se realizaban desde una oficina asiática cuya base de datos de personas era relativamente pequeña y con el citado sesgo. Pronto arreciaron las críticas por los resultados y ciertas prácticas comerciales, por lo que a partir del 2008 se cancelaron los servicios de QS. Ello coincidió con la creación de una empresa independiente por parte de los antiguos miembros del Suplemento, que empezó a publicar una revista especializada que recibió el nombre de Times Higher Education. La financiación de esta empresa parece provenir de grupos con fuertes intereses económicos y políticos en el sector de la educación superior del Reino Unido, hasta tal punto que sus editores cuentan con el apoyo explícito de Ministerios y British Council en sus actividades en el exterior. Si en el caso de QS se intuyen intereses comerciales, en el del THE hablaríamos de intereses políticos. Las primeras ediciones del ranking THE adolecieron de numerosos errores, aunque su modelo de indicador compuesto era básicamente una versión extendida del originalmente desarrollado por QS. Al incorporar variables adicionales tuvieron que recurrir a solicitar información adicional a las propias instituciones. Algunas no respondieron y fueron excluidas del listado, pero de una manera implícita que ocultaba el hecho, de forma que universidades de primer nivel no aparecían en los listados dando a entender que su posición estaba fuera del rango. El problema se ha ido solucionando, aunque la ausencia de importantes Universidades (por ejemplo: Buenos Aires) no es óbice para que pomposamente se autodefina como el ranking más prestigioso e importante, lo que es especialmente irritante al personalizarse en un editor periodista concreto.

Ranking QS. Esta consultora especializada, también de origen británico, comparte muchas de las virtudes y defectos del anterior editor. Sus encuestas han crecido considerablemente y son más representativas, pero algunos de sus resultados son muy sospechosos. Los acuerdos con Elsevier, su proveedor de datos bibliométricos (Scopus) parecen ofrecer mejores resultados (más creíbles) que los de THE, pero no son perfectos.

U-Multirank. Una carísima iniciativa de la UE que financió una alternativa a Shanghái y que ha conseguido un interesante sistema de información académica a nivel de universidades, pero ciertamente no un ranking. Alabado por todos los especialistas, es un producto poco conocido y con un impacto limitado. No ofrece una única clasificación, sino que permite al usuario personalizar la suya propia con una batería muy amplia de variables convenientemente codificada. Muchas de los datos de esas variables se obtienen directamente de las propias universidades y suelen adolecer de sobrerrepresentación.

Ranking de Leiden. La respuesta, un poco tardía, del que posiblemente es el mejor grupo de investigación en bibliometría, el CWTS de la Universidad de Leiden. Es un ranking con muchos compromisos que, aunque diseñados para proporcionarle calidad, implican que no sea muy utilizado, aunque es el proveedor de indicadores bibliométricos de U-Multirank. La cobertura disciplinar es muy limitada, pues utiliza una base de datos (WoS) que quizá no es la más completa en muchas áreas, además de excluir por propia iniciativa muchas revistas “periféricas” (bastantes españolas). Puede seleccionarse un conteo de autorías bien completo o fraccionado, lo que dificulta la comparación con otros rankings. Y sus indicadores por defectos son independientes del tamaño. Todo ello hace que sea un producto muy completo, pero de difícil uso.

Ranking Scimago. Las primeras versiones basadas únicamente en datos bibliométricos eran muy similares a las del Ranking de Leiden en más de un aspecto. No había un indicador compuesto, sino una serie de ellos, ninguno preferido, aunque por defecto ordenada por número de publicaciones. Hecho por expertos bibliómetras tenía la ventaja de utilizar Scopus, una base de datos más grande que WoS. En las últimas ediciones han creado un indicador compuesto que incluye, además de los datos bibliométricos, otros de patentes y de la web. Se ha perdido en transparencia (los datos no aparecen desagregados) pero se ha ganado en representatividad.

La Tabla recoge de forma resumida algunas de las características más importantes de los rankings comentados aquí y algunos otros.