En mi post de hoy quiero referirme al colocado por Rafael Repiso en EC3 NOTICIAS titulado “El talón de Aquiles del SCImago Journal Rank (SJR)” donde expone que en un examen rutinario, cuando se publicó el SJR 2013, se identificó que a la revista Comunicar no se le estaban contando 17 citas recibidas en 2013, de las cuales 6 le hubiesen contado para el SJR 2013 (la misma revista no mostró pérdida de citas en Web of Science).
Por su elevado interés, adjunto parte del post y si quieren leerlo completo lo encontrarán aquí.
INTRODUCCIÓN AL INDICADOR

El Scimago Journal Rank (SJR) es un indicador de impacto de revistas, análogo al Impact Factor de Eugene Garfield, lanzado en el año 2007 por Felix de Moya Anegón y Vicente Guerrero Bote, del grupo de investigación SCImago, y que es utilizado como indicador referente en Scopus. En torno a este indicador, el grupo SCImago presenta su ranking de revistas SJR que, de forma similar a los Journal Citation Reports, clasifica a las revistas por su impacto dentro de diferentes categorías, ordenadas por cuartiles. Podemos decir que es uno de los indicadores con mayor reconocimiento para medir el impacto de las revistas por su forma de valorar la cantidad y calidad de las citas y además es “made in Spain”.

Este indicador posee tres características diferenciales en relación a su análogo, el Impact Factor:

Posee una ventana de citación de tres años. Este hecho, que ya incluía el Índice de Impacto de IN-RECS, hace que aumente la cantidad de información para el cálculo, con los consecuentes beneficios, especialmente en las áreas de humanidades (hay quien los critica porque piensa que provoca un retrato poco reciente de la revista).
No tiene en cuenta las auto-citas de las revistas. Esta decisión tiene una consecuencia inmediata: las revistas no pueden auto-incrementar artificialmente su impacto si no es con la connivencia de otras publicaciones, lo cual si no imposible es desde luego más difícil de conseguir. Aunque sea discutible esta criminalización de la autocitación.
No todas las citas valen lo mismo, sino que las citas están ponderadas y depende del valor de centralidad de la revista que las emite, en una forma similar al Page Rank de Google. Éste es el principal elemento diferenciador y el apartado más novedoso del indicador, pero en él también radica los principales problemas que expondremos a continuación.

THE PROBLEM

El principal problema del que ha sido acusado este indicador es la complejidad de su cálculo, que dificulta hasta imposibilitarlo que los resultados sean replicados, para realizar el cálculo del SJR de una revista se debe poseer el conjunto de citas de todo el sistema, para en primer lugar obtener el valor de ponderación de cada cita recibida por la revista. Es por ello que, una vez que anualmente se publica el impacto de las revistas, los editores de revistas se limitan a aceptar y creer en la validez de los resultados que se convierte en los que clásicamente se conoce como una caja negra.

De esta característica se deriva un problema aún mayor y que tiene que ver con la exactitud de los resultados. ¿Qué pasa si el sistema sobre el que se aplica el SJR comete errores a la hora de contabilizar las citas en una revista? Es decir, ¿qué pasa con los resultados del SJR si la base de datos Scopus no ha tenido en cuenta alguna cita a una revista o por el contrario ha incluido citas inexistentes?

CONSEJOS FINALES

Para acabar el post, me gustaría realizar un par de recomendaciones. En primer lugar se hace imprescindible que las revistas científicas incorporen procesos de normalización en las citas, estilo, inclusión del DOI, etc., para que éstas sean fácilmente identificables (algo que debería ser requisito casi imprescindible para la inclusión en Scopus). Igualmente se recomienda que las revistas planifiquen un estudio anual de citas previo al periodo de cálculo del indicador, con el objetivo de detectar a tiempo aquellas citas que no son tenidas en cuenta por el sistema y puedan ser reclamadas a Scopus a tiempo. Finalmente sería deseable que Elsevier y Scimago incorporasen un sistema de corrección de errores, por ejemplo un primer cálculo del SJR con un periodo posterior de un par de meses para la corrección de errores hasta el lanzamiento de una versión definitiva.