Introducción

El término ranking procede del idioma inglés, pero la Real Academia de la Lengua Española lo define en su diccionario (2023) como unaclasificación de mayor a menor, útil para establecer criterios de valoración. Según el Grupo de Expertos en Clasificación Internacional (IREG por sus siglas en inglés) (2015), los rankings académicos pueden ser definidos como “una evaluación numérica de la ejecución de un programa, actividad, institución o un sistema de educación superior, basado en una metodología consensuada”.

Los rankings surgieron en el ámbito deportivo. Desde 1870 en Reino Unido y Estados Unidos se realizaron clasificaciones y rankings académicos con propósitos diversos. A finales del siglo XX, el reconocimiento mundial a la importancia de la educación superior y el surgimiento de las políticas de rendición de cuenta de su trabajo (accountability), impulsó la creación de políticas y sistemas de calidad, así como el interés de diferentes sectores por disponer de información sobre su calidad propició el surgimiento de los rankings actuales. Según Rauhvargers (2011) pueden ser: a) nacionales, continentales, regionales, globales; b) Institucionales y subinstitucionales; c) especializados; d) unidimensionales y multidimensionales; e) basados en bibliometría/ cibermetría; f) basados en encuestas de opinión.

Algunas de las características de losrankings nacionales, enumeradas por un estudio del IREG, revelan que: a) la mayoría de los rankings nacionales (94,55%) están dirigidos a estudiantes y sus padres para seleccionar su matrícula; b) la mayoría (77,78%) evalúan las instituciones en su conjunto (rankings institucionales) pero también se están publicando rankings por campos (33,33%) y por tema (31,48); c) la mayoría predominante de las clasificaciones (57,9%) son preparadas y publicadas por empresas de medios comerciales; d) las fuentes de datos más utilizadas son: base de datos de terceros, datos no proporcionados por IES (75,93%), datos recopilados de IES por organizaciones de clasificación o su representante (50,00%) y encuestas realizada exclusivamente por organizaciones de clasificación (44,23%) (Grupo de Expertos en Clasificación Internacional, 2015). Actualmente, algunas de estas características están siendo muy criticadas por las posibilidades de que sean seleccionadas de acuerdo a la voluntad de las instituciones que organizan los rankings, y favorezcan a unas IES más que a otras. En Estados Unidos un grupo de facultades de universidades famosas se están retirando de algunas clasificaciones.

Entre los principios que deben regir, según el IREG (2006), se encuentran los siguientes:

1. 1. Propósitos y objetivos de un ranking: a) no ser el único método de evaluación; b) ser claro sobre su propósito y sus grupos objetivo; c) reconocer la diversidad misiones y metas; d) mostrar claridad sobre fuentes de información; d) especificar los contextos de los sistemas
2. 2. Diseño y ponderación de los indicadores: a) ser transparente con respecto a la metodología utilizada; b) elección de los indicadores por su relevancia y validez; c) medir los resultados por indicadores siempre que sea posible; d) establecer el peso y límites de cada uno de los indicadores

Además, IREG estableció pautas para la utilización de los rankings por los diversos interesados:

• Grupos de interés: a) comprender los efectos, los destinatarios, y las variables; b) utilizar los rankings como fuente de Información; c) prestar menos atención a posiciones y cambios anuales; d) leer y entender bien todas las metodologías

• Padres y estudiantes: suministrar información comparable para: a) elección de los programas de pregrado. b) elección de los programas profesionales; c) elección de los programas de doctorado

• Instituciones de Educación Superior: a) mejorar procesos misionales y la planificación estratégica; b) mejora de la calidad c) colaboración Internacional d) Fundraising (No prestar demasiada atención a donaciones de alumni); e) reputación, publicidad y marketing

La importancia que se les ha dado a los rankings globales y nacionales ha generado un debate internacional sobre las virtudes e insuficiencias de estos como elemento de evaluación de la calidad. Este debate se extiende a su concepción incluyendo a mano de qué organizaciones está su administración, su vínculo real con las políticas de calidad internacional y nacional, su equidad en función de las diversas misiones universitarias, su implementación práctica y alcance, así como su utilización e influencia en las políticas universitarias. Algunas de las causas de las insuficiencias de los rankings tienen su origen en desviaciones de los principios y pautas elaborados por el IREG.

Con vistas a profundizar en la experiencia internacional, sobre las características y conformación de los rankings, se desarrollaron una serie de estudios enmarcados en el resultado “Alternativa metodológica para la comparación y clasificación de las IES del sistema MES”, que forma parte del proyecto “Contribuciones teóricas, metodológicas y prácticas al desarrollo de la gestión de la calidad en las instituciones de educación superior del sistema MES” del CEPES (UH), asociado al programa sectorial del MES “Educación superior y desarrollo sostenible”. El análisis de los rankings globales no formó parte de este estudio y fue objeto de otra de las tareas de investigación dentro del proyecto en que se enmarcó el mismo.

El objetivo del presente trabajo es exponer el análisis realizado de las dimensiones e indicadores utilizados, para la medición de los procesos sustantivos por los rankings nacionales universitarios de 4 países desarrollados y 2 en desarrollo, con vistas a contribuir a una propuesta al Ministerio de Educación Superior de Cuba, para la creación de una clasificación nacional de las IES.

Materiales y métodos

Se utilizó el análisis documental en la revisión de las fuentes de información bibliográfica, además de los procesos lógicos del pensamiento tales como: análisis y síntesis, abstracción, inducción y deducción. Para ello se revisó la información contenida en cada una de las páginas web de las organizaciones estudiadas en los países seleccionados. Se realizó un resumen, creando tablas de las dimensiones e indicadores utilizados por cada uno de los rankings y su significado, así como la forma y las fuentes utilizadas en su obtención. Estos resultados se reflejaron en una síntesis del ranking de cada país, que incluyó tablas y su comparación, lo que posibilitó clasificarlos según su tipo y realizar un análisis crítico por país y global. Este proceso se realizó sin el uso de programas informáticos especializados.

Sobre la base de las tablas de los rankings nacionales estudiados, mostradas por Benítez et al (2022), se realizó una sistematización por procesos lo cual resulta de interés como un referente para una propuesta de clasificación de las IES cubana. A continuación, se expone el análisis comparativo de los indicadores y dimensiones más utilizados en los procesos sustantivos, basado en las experiencias de los rankings nacionales de México, Brasil, Estados Unidos, Inglaterra, Alemania y España, cuya característica común es que todos pertenecen a la Organización para la Cooperación y el Desarrollo Económicos (OCDE), a pesar de sus diferencias en desarrollo. No obstante, se consideraron un referente válido para nuestro país dada su experiencia de años en la elaboración de sus rankings nacionales y la universalidad de sus dimensiones e indicadores.

Se utilizó en este estudio la información de Morse & Mason (2019), Morse & Brooks (2020), Pérez & Aldás (2020) y los sitios WEB de las publicaciones:

• En México el Ranking de las Mejores Universidades de México que es una investigación que ha venido elaborando, desde el año 2010, la revista de negocios América Economía (www.americaecomia.com)

• En Brasil el ranking universitario Folha (RUF) en el sitio del periódico brasileño Folha de S. Paulo (www.folha.com.br)

• En Estados Unidos el ranking educacional de U.S. News & Word Report. Del sitio correspondiente a este ranking educacional en su edición 2020 (www.usnews.com/best-colleges)

• En Reino Unido los rankings “The Times/The Sunday Times” (la edición dominical del primero), que publican anualmente dos Guías de notable éxito y popularidad: “The Times Good University Guide” y “The Sunday Times University Guide”

• En Alemania el ranking universitario CHE que lo elabora, el Centro para el Desarrollo de la Educación Superior de Alemania (Centrum für Hochschulentwicklung, CHE), organización privada, independiente y sin ánimo de lucro creada en 1994

• En España el “U-Ranking. Universidades Españolas” (https://www.u-ranking.es) una iniciativa de la Fundación BBVA (fundación del Banco Bilbao Vizcaya Argentaria) y el Ivie (Instituto Valenciano de Investigaciones Económicas)

Resultados y discusión

Los rankings de México, Brasil, Estados Unidos y Reino Unido son unidimensionales, evalúan el desempeño de acuerdo a una serie de indicadores, con un peso específico para cada indicador. Su resultado es un único valor que expresa el posicionamiento de cada universidad en el orden que surja de la operación, sintetizando la calidad supuesta de cada universidad en una única dimensión. Por su lado los rankings de Alemania y España son multidimensionales y no constituyen un ranking único, proporcionan una serie de tablas en lugar de un solo listado general, permitiendo así a los usuarios ponderar los indicadores de acuerdo con sus propias preferencias y construir rankings personalizados.

Teniendo en cuenta la diferencia de desarrollo y poderío económico entre los países estudiados que, según Benítez et al (2022), influye en la estrategia de confección de los rankings, se analizaron por separado los correspondientes a los desarrollados de los considerados en desarrollo. Además, para una mejor comparación de los rankings de los desarrollados, se separaron los anglosajones de los pertenecientes a la Unión Europea.

Sobre la base de las tablas de los rankings, mostradas por Benítez et al (2022) se realizó una sistematización por procesos como se puede ver en las tablas 1, 2 y 3 de este trabajo. En lo adelante se analizan las dimensiones e indicadores más usados en cada proceso por los rankings nacionales, estudiados como se puede ver en las tablas 1, 2 y 3 de este trabajo.

1. Formación

La tabla 1 resume las dimensiones e indicadores más utilizados para la evaluación del desempeño de las IES en la formación en los 5 países estudiados. En ella aparecen en negrita la dimensión que se considera y su peso dentro del ranking nacional de cada país estudiado y a continuación se listan los indicadores y su peso en % y dentro de cada indicador, si existen, los sub indicadores que se tienen en cuenta a los cuales generalmente se les asigna un peso que no se refleja en la tabla por razones de espacio. En la tabla se aprecia que en dependencia de cada país varía la denominación, tanto de las dimensiones como de los indicadores y su peso, aunque se pueden observar coincidencias.

Excepto en el ranking de México, los demás consideran las formaciones de pre y posgrado integradas conforme a la tendencia de 3 años de pregrado, seguidos de dos de maestría. Los rankings de Brasil y México no miden directamente la calidad del aprendizaje ni la innovación educativa. De todos lo estudiados solo el mexicano tiene presente la acreditación de los programas en el posgrado lo cual lo acerca al patrón de calidad de ese país para ese nivel de formación.

Los rankings de Brasil, Estados Unidos, Reino Unido y España tienen en cuenta la calidad de la matrícula en cada universidad por diferentes indicadores, entre ellos los resultados de los estudiantes en el nivel secundario y la proporción de docentes por estudiante, por su parte el del R. Unido además de calidad de la formación por la relación alumno profesor, mide el nivel de empleo de los egresados o su participación en posgrados y la satisfacción de los estudiantes mediante encuestas. Por su lado, el de Estados Unidos se centra fundamentalmente en los resultados de la formación y los recursos disponibles tanto humanos como materiales.

El ranking alemán contiene indicadores de vínculo de la enseñanza con la investigación y la actividad laboral. Igualmente mide, mediante encuestas, la satisfacción de los estudiantes con varios indicadores, así como la relación docencia-universidad, aunque podrían haber incluido en esta última otros de carácter social. Este ranking, es de tipo multidimensional por lo que no asigna lugares singulares a cada institución, sino que sitúa a cada una en uno de tres grupos: superior, medio o inferior, basándose en el criterio de que no existe institución alguna de educación superior que pueda considerarse como la mejor ni tampoco una carrera ni todas las carreras. Por otra parte, es el único de entre los estudiados que lo administra una organización privada, independiente y sin ánimo de lucro creada en 1994 con recursos de la Fundación Berteslmann y apoyo de la Conferencia de Rectores Alemanes. Algo parecido ocurre en el caso de España, los demás los administran medios de prensa.

Entre los elementos críticos comunes se pueden señalar, según Benítez et al (2022) que ninguno tiene en cuenta la educación en valores. El uso de encuestas si bien visibiliza la opinión de diferentes fuentes, puede también viciar los resultados al ser objeto de posibles manipulaciones de acuerdo a intereses. Por otra parte, en general, no hay referencia al nivel de acreditación de las carreras ni de los programas de posgrado en los países estudiados exceptuando el caso mexicano en posgrado como ya se señaló.

Una característica que se repite en los rankings y que es motivo de críticas, es que los indicadores no pueden recoger la diversidad de misiones de las universidades ni todos sus resultados en este proceso, por lo que ordenarlas integralmente sobe la base de ellos no es un resultado confiable. Sanz et al (2013) señalan que: “La selección arbitraria de fuentes o la elaboración de índices sintéticos hacen que los resultados no resulten completamente óptimos” (p. 3). Sin embargo, pueden resultar útiles para medir los avances en los aspectos seleccionados e incluso contribuir a una mejor planificación estratégica. Por su parte Sayed (2014, p. 4), citando a otros autores destaca que: Algunas reservas también se relacionan con asegurar la posición en el ranking mediante prácticas dudosas y manipulación de datos. Mientras que Altbach & Hazelkorn (2017, p. 10) alertan sobre las desviaciones en las misiones de las IES, que pueden producirse al variar sus políticas en el afán de escalar posiciones en los rankings.

2. Investigación (ciencia e innovación)

Las consideraciones sobre las diferencias particulares por países alrededor de las dimensiones e indicadores descritas, para el caso de la formación, son válidas igualmente para este proceso. La innovación por su parte, en caso de ser considerada, se incluye en algunos indicadores de investigación; solo Brasil y España intentan realizar una evaluación específica, pero no tienen en cuenta indicadores que en realidad expresen la participación universitaria en la innovación para el desarrollo en general ni al local en particular.

El ranking Estados Unidos no tiene en cuenta la investigación en su rankingnacional de las IES debido a que realiza un ranking específico para las dedicadas al desarrollo científico debido a la amplia diversidad de su sistema universitario. En los casos mexicano y brasileño, las publicaciones, citas e indicadores similares no tienen en cuenta el criterio de profesor equivalente por categorías docente y científica.

Se coincide con Sanz et al (2013, p. 4), cuando plantean que (…) al estudiar la actividad investigadora de las universidades, en muchos casos, se utilizan únicamente indicadores bibliométricos o asociados a la producción de publicaciones científicas (número de publicaciones, citaciones, artículos en revistas top, etc.). Esto ofrece una visión muy fragmentaria al mostrar solo una única dimensión de la actividad investigadora de las universidades.

Salvo en algunos rankings, la docencia y la investigación no se conectan y no se distingue cuál modelo utiliza la universidad (Humboldt y sus desarrollos o Napoleónico y sus desarrollos); tampoco evalúan la participación estudiantil en las investigaciones. Los pesos que se les dan al proceso de investigación en relación a los otros en los rankings en que se pudo contar con ese dato, son diferentes. Esto es una expresión de la jerarquía de cada proceso en las políticas universitarias nacionales. La extensión no se contempla en los indicadores asociados a este proceso ni de manera particular con lo cual no se mide integralmente el impacto y responsabilidad social universitaria. En este proceso igual que en la formación, la selección de indicadores hace que un ordenamiento de las universidades basadas en ellos no exprese todos los resultados de una institución de acuerdo a su misión.

3. Internacionalización

La internacionalización ha ido tomando relevancia en las mediciones que hacen los rankings en la medida en que la globalización ha impactado en la economía y en la sociedad, lo que se manifiesta en la educación superior y sus instituciones. Cada vez se valora más la pertenencia a redes, oferta de programas de pre y posgrado, matrícula de estudiantes extranjeros, artículos y patentes conjuntos. Como se aprecia de la tabla 3, solo los rankings de México, Brasil y España evalúan este proceso de manera diferenciada. En el caso de España se tiene en cuenta de manera transversal especificando su papel en cada uno de los procesos sustantivos, mientras Brasil se centra en salidas de investigación.

En general, se puede afirmar que en el proceso de formación: a) ninguno tiene en cuenta la educación en valores ni el papel en la extensión universitaria; c) no se tiene en cuenta explícitamente el cumplimiento de las metas y objetivos que han establecido la ONU y la UNESCO para la Educación Superior. Por otro lado, en el proceso de investigación e innovación: la investigación no se conecta con la docencia y tampoco se tiene en cuenta la participación estudiantil en las investigaciones; ninguno tiene en cuenta directamente el impacto en el desarrollo local ni nacional; y el proceso de extensión no se considera en ninguno de losrankings estudiados.

Las dimensiones e indicadores utilizados en los rankings nacionales de la muestra de países estudiada y analizados críticamente, pueden servir de referencia para una propuesta al Ministerio de Educación Superior de Cuba de una clasificación nacional de las IES. A juicio de los autores aquellos conocidos como multidimensionales que no ordenan las universidades, sino que las clasifican en niveles por procesos o dimensiones son más útiles y justos al valorar el estado y los avances de las instituciones por lo que es recomendable su utilización en una posible clasificación cubana.

Conclusiones

La utilización de rankings, con el uso de dimensiones e indicadores para la caracterización de las IES, es sin dudas beneficioso sobre todo para comparar y dar a conocer sus fortalezas y debilidades; y brindar información útil para estudiantes, gobiernos, las propias universidades, los sistemas educativos y otros. Se reconoce que los rankings tienen el poder de modificar las políticas internas de las IES, en aras de mejorar posiciones; y si no existe una relación de éstos con las políticas de calidad aprobadas, se pueden producir distorsiones.

Existen diferencias en la cantidad de dimensiones e indicadores en los rankings nacionales estudiados, siendo más significativos en los indicadores. Si bien la utilización de muchos indicadores permite tener un mayor panorama de cada dimensión, también puede dispersar el análisis y producir combinaciones aleatorias. La fuente primaria de datos es muy diversa y con cierto margen de error, sobre todo cuando se trata de evaluar por encuestas y expertos.

Referencias

Altbach, P. G., & Hazelkorn, E. (2017). Pursuing Rankings in the Age of Massification: For Most—Forget About It. International Higher Education, 89 (8). https://doi.org/10.6017/ihe.2017.89.9759

Benítez, F., Alarcón, R., & Iñigo, E. (2022). Una valoración crítica de la conformación e importancia de los rankingsuniversitarios nacionales para proponer su empleo en Cuba. Revista Estudios del Desarrollo Social: Cuba y América Latina, 10 (3). http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2308-01322022000300024&lng=es&tlng=es

Grupo de Expertos en Clasificación Internacional (2015). Inventory on National Rankings. Observatory on academic ranking and excellence. https://ireg-observatory.org/en/initiatives/ireg-inventory-of-national-rankings

Grupo de Expertos en Clasificación Internacional. (2006). Berlin principals. Observatory on academic ranking and excellence. http://ireg-observatory.org/en_old/berlin-principles

Morse, R., & Mason, E. (2019). How U.S. News Calculated the 2020 Best Colleges Rankings. U.S. News & World Report. https://www.usnews.com/education/best-colleges/articles/how-us-news-calculated-the-rankings

Morse, R., & Brooks, E. (2022). Best Colleges Rankings Changes. U.S. News & World Report. https://www.usnews.com/best-colleges

Pérez, F., & Aldás, J. (2020). Indicadores sintéticos de las universidades españolas. Ranking 2020. (8a ed.). Fundación BBVA-Ivie. https://www.fbbva.es/wp-content/uploads/2020/06/Informe-U-Ranking-FBBVA-Ivie-2020.pdf

Rauhvargers, A. (2011). Global University Rankings and Their Impact. European University Association. https://eua.eu/downloads/publications/global%20university%20rankings%20and%20their%20impact.pdf

Sanz-Casado, E., García-Zorita, C., Serrano-López, A. J., Efrain-Garcia, P., & De Filippo, D. (2013). Rankings nacionales elaborados a partir de múltiples indicadores frente a los de índices sintéticos. Revista Española De Documentación Científica, 36 (3), e012. https://doi.org/10.3989/redc.2013.3.1.02

Sayed, O. R. (2019). Critical Treatise on University Ranking Systems. Open Journal of Social Sciences, 07 (12), 39-51. https://doi.org/10.4236/jss.2019.712004

Notas de autor

Información adicional

Cómo citar este artículo:: Benítez Cárdenas, F. y Pichs Herrera, B. (2023). Los rankings nacionales y la clasificación de los procesos en las instituciones de educación superior. Revista Estrategia y Gestión Universitaria, 11 (1), enero – junio, 206-221. https://doi.org/10.5281/zenodo.8021694