La miopía de los indicadores bibliométricos

Scielo en perspectiva, June 1, 2017 11:47

Por Lilian Nassi Calò

La utilización de recursos bibliométricos para la evaluación de la ciencia es una práctica ubicua, a pesar de no existir una relación inequívoca entre citaciones y calidad, impacto o mérito científico. Cuando se considera la innovación – característica inherente de la investigación científica – la relación está todavía más desconectada.

Imagen: David Parkins

Esta es la opinión de investigadores de la Georgia State Univertity, en Atlanta, GA, EUA, y del Departamento de Gestión Económica, Estrategia e Innovación de la Universidad de Lovaina, en Bélgica, de acuerdo con una publicación reciente en Nature (1). Paula Stephan, Reinhilde Veuglers y Jian Wang, observaron que los especialistas que integran comités científicos de instituciones de investigación en varios países todavía usan ampliamente indicadores bibliométricos basados en citaciones – como el Factor de Impacto, índice h, y citaciones medidas en Google Scholar – como proxies para evaluar la calidad e impacto de la investigación de candidatos a contratar y la proyección en la carrera. Iniciativas como la San Francisco Declaration on Research Assessment (2) de 2012, y el Manifiesto de Leiden (3), de 2015, no obstante su amplia repercusión y apoyo por parte de innumerables instituciones de investigación y agencias de fomento en todo el mundo, en realidad poco cambiaron la forma de evaluación de la ciencia y de los investigadores. Al final, los índices bibliométricos ofrecen una forma simple (en muchos casos, simplista) y conveniente de evaluar un gran número de candidatos, propuestas o artículos.

Las limitaciones del Factor de Impacto (FI) y de los indicadores similares de desempeño de revistas en la función de evaluar artículos individuales e investigadores son conocidas por todos. Según Stephan, incluso las agencias de fomento que no solicitan  specíficamente informar el FI de la revistas en la lista de publicaciones, usan este indicador, así como el número de citaciones y el índice h para ranquear propuestas. Los propios investigadores contribuyen a este círculo viciosos. Cuando se les solicita identificar sus publicaciones más relevantes, ellos generalmente las seleccionan en base a los índices de citaciones, en lugar de atribuir a sus artículos su verdadera importancia académica o un descubrimiento particularmente innovador.

El artículo menciona el uso a gran escala de indicadores basados en citaciones para el progreso en la carrera y contratos. Además de Italia, República Checa, Flandes (Noroeste de Bélgica) y China, los autores citan el programa Qualis del Ministerio de Educación de Brasil, que usa el FI para definir la asignación de recursos para la investigación, lo que, en particular, penaliza a las revistas de Brasil. Se hace una excepción con el Research Excellence Framework del Reino Unido, según los autores, una rara excepción que explícitamente recomienda no usar el FI en las evaluaciones.

La innovación requiere tiempo

Los científicos anhelan hacer descubrimientos innovadores, y en nombre de ellos, se dice que pueden incluso incurrir en prácticas anti éticas y sobrestimar resultados preliminares. Stephen y colaboradores, sin embargo, creen que en verdad el uso excesivo de índices bibliométricos con ventanas cortas de medición (23 años) puede desalentar la publicación de resultados innovadores. Para probar su hipótesis, los autores analizaron las citaciones en el Web of Science de más de 660 mil artículos publicados entre 20012015 categorizados en investigación con alto, moderado y ningún grado de innovación. Como proxy para el grado de innovación, los investigadores evaluaron la lista de referencias de los artículos en búsqueda de padrones insólitos de combinación. De este análisis, los autores llegaron a la conclusión de que los artículos altamente innovadores tardan más tiempo para ser citados en comparación a los medianamente innovadores y los innovadores. Entre los artículos altamente innovadores, se observaron dos tipos de comportamiento: o se convertían en artículos altamente citados – las citaciones comienzan a aumentar después de 34 años y se mantienen en ritmo creciente hasta 15 años después de la publicación – o eran ignorados, en comparación a los artículos con ningún grado de innovación. Sin embargo, es importante notar que a los 3 años después de la publicación, la probabilidad de que un artículo altamente innovador esté entre el 1% de los más citados es inferior a la probabilidad de los artículos sin ningún grado de innovación. Esto llevó a los autores a concluir que el sistema actual de evaluación de la investigación subestima trabajos que posiblemente tendrán alto impacto en la evaluación a largo plazo. Es importante también resaltar que los artículos que se revelaron de alto impacto en el transcurso del tiempo fueron publicados en revistas de menor FI. Así, Stephen y colaboradores1 concluyen que “cuanto más estamos ligados a indicadores bibliométricos de corto plazo, más lejos estamos de recompensar la investigación de alto potencial para ir más allá de las fronteras – y aquéllos que lo hacen”.

Sin embargo, esta observación no carece totalmente de precedentes. En 2014, un artículo de John Ioannidis4 publicado también en Nature buscó investigar si, en la opinión de los investigadores, su trabajo menos citado era su mejor trabajo. La investigación objeto de un post en este blog5, en realidad trajo más cuestionamientos que respuestas, como por ejemplo, la dificultad en identificar precozmente un artículo innovador en base a indicadores bibliométricos con ventanas de 23 años, o cuando son citados por artículos de otras áreas menos afines. Pero, en la ocasión, una de las conclusiones del autor fue la necesidad de recurrir a otros índices además de las métricas basadas en citaciones para
complementar la evaluación de la ciencia.

Recomendaciones a la comunidad científica

Con el fin de alentar a los investigadores a emprender dominios más innovadores de la ciencia, es necesario fomentar un cambio de postura de la comunidad científica en su totalidad con el objetivo de restringir el uso indiscriminado de indicadores bibliométricos de corto plazo.

Investigadores – restringir el uso de FI e índices basados en citaciones para orientar la selección de temas y a dónde enviar artículos. No incluir tales indicadores en CV y propuestas de ayuda para la investigación.

Agencias de fomento – Proporcionar múltiples formas para evaluar las publicaciones de investigadores e instituciones. Excluir medidas de citaciones y FI de las propuestas de ayuda a la investigación, y no permitir que sean discutidas por los evaluadores. Incluir especialistas de otras áreas en los comités de evaluación y periódicamente evaluar el desempeño de los candidatos a las propuestas de ayuda a la investigación usando ventanas de 510 años.

Evaluadores – Buscar evaluar el trabajo dejando de lado las métricas, especialmente las de corto plazo.

Editores – Buscar ignorar las métricas usadas para evaluar publicaciones. Proponer métricas que consideren un mayo intervalo de tiempo.

Universidades – Adoptar como práctica en los comités de evaluación que los miembros realmente lean la investigación de los candidatos y no solamente sus índices bibliométricos, a ejemplo de lo que se hace en el REF del Reino Unido. Al evaluar candidatos, enfatizar cómo los investigadores abordan determinadas cuestiones propuestas. En este sentido de aplica la consideración de Antonio Augusto P.Vidreira (6), Profesor de Filosofía de la Ciencias de la UFRJ: “Debería causar sorpresa el hecho de que el uso de un indicador haga elegible a uno u otro autor por el hecho de que haya publicado en una revista de más alto FI, de que es más importante saber dónde publicó que leer su trabajo”.

Los autores del estudio creen que “si realmente la comunidad académica desea crear evaluaciones más objetivas, todos los involucrados – desde investigadores en el inicio de su carrera hasta los presidentes de las agencias de fomento – deben usar indicadores cualitativos y cuantitativos de manera responsable, de forma de evitar el uso de indicadores que penalicen los investigadores que buscan romper fronteras”.

Notas

1. STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature [online]. 2017, vol. 544, no. 7651, pp. 411412
[viewed 14 May 2017]. DOI: 10.1038/544411a. Available from: http://www.nature.com/news/reviewersareblinkeredbybibliometrics1.21877

2. The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http://www.ascb.org/dora/

3. HICKS, D., et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature [online]. 2015, vol. 520, nº 7548, pp. 429431 [viewed 14 May 2017]. DOI: 10.1038/520429a. Available from: http://www.nature.com/news/bibliometricstheleidenmanifestoforresearchmetrics1.17351

4. IOANNIDIS, J. P. A., et al. Bibliometrics: Is your most cited work your best? Nature [online]. 2014, vol. 514, nº 7524, pp. 561562 [viewed 14 May 2017]. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometricsisyourmostcitedworkyourbest1.16217#
assess

5. NASSICALÒ,L. Artículo investiga: ¿su trabajo más citado es su mejor trabajo? [online]. SciELO en Perspectiva, 2014 [viewed 01 June 2017]. Available from: http://blog.scielo.org/es/2014/11/24/articuloinvestigasutrabajomascitadoessumejortrabajo/

6. Videira A. A. P. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa [online]. Estudos de CTS – Estudos sociais e conceituais de ciência, tecnologia e sociedade, 2013 [viewed 14 May 2017]. Available from: http://estudosdects.wordpress.com/2013/07/29/declaracaorecomendaeliminarousodofatordeimpactonaavaliacaodepesquisa/

Referencias

HICKS, D., et al. Bibliometrics: The Leiden Manifesto for research metrics. Nature [online]. 2015, vol. 520, nº 7548, pp. 429431
[viewed 14 May 2017]. DOI: 10.1038/520429a. Available from: http://www.nature.com/news/bibliometricstheleidenmanifestoforresearchmetrics1.17351

IOANNIDIS, J. P. A., et al. Bibliometrics: Is your most cited work your best? Nature [online]. 2014, vol. 514, nº 7524, pp. 561562
[viewed 14 May 2017]. DOI: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometricsisyourmostcitedworkyourbest1.16217#
assess

NASSICALÒ,
L. Artículo investiga: ¿su trabajo más citado es su mejor trabajo? [online]. SciELO en Perspectiva, 2014
[viewed 01 June 2017]. Available from: http://blog.scielo.org/es/2014/11/24/articuloinvestigasutrabajomascitadoessumejortrabajo/

STEPHAN, P., VEUGELERS, R. and WANG, J. Reviewers are blinkered by bibliometrics. Nature [online]. 2017, vol. 544, no. 7651, pp. 411412 [viewed 14 May 2017]. DOI: 10.1038/544411a. Available from: http://www.nature.com/news/reviewersareblinkeredbybibliometrics1.21877

The San Francisco Declaration on Research Assessment (DORA) [online]. San Francisco Declaration on Research Assessment (DORA) [viewed 14 May 2017]. Available from: http://www.ascb.org/dora/

Videira A. A. P. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa [online]. Estudos de CTS – Estudos sociais e conceituais de ciência, tecnologia e sociedade, 2013 [viewed 14 May 2017]. Available from: http://estudosdects.wordpress.com/2013/07/29/declaracaorecomendaeliminarousodofatordeimpactonaavaliacaodepesquisa/

Sobre Lilian Nassi Calò

Lilian NassiCalò estudió química en el Instituto de Química de la USP, tiene un doctorado en Bioquímica por la misma institución y un pos doctorado como becaria de la Fundación Alexander von Humboldt en Wuerzburg, Alemania. Después de concluir sus estudios, fue docente e investigadora en el IQUSP. Trabajó en la industria privada como química industrial y actualmente es Coordinadora de Comunicación Científica en BIREME/OPS/OMS y colaboradora de SciELO.

Traducido del original en portugués por Ernesto Spinak.

Artículo completo en pdf

La responsabilidad del contenido de los artículos y reportes incluidos en esta Colección es de sus autores y de las entidades que los publicaron. Su contenido no refleja necesariamente criterios adoptados por el COMECSO ni por sus instituciones afiliadas.