Desde hace unas semanas, tenemos el listado provisional de las revistas que obtienen el sello FECYT, que ha incrementado su importancia en el contexto de las revistas españolas, debido a la desactualización de otros productos de evaluación científica como IN-RECS, DICE o RESH. No obstante, como herramienta de evaluación de la calidad tiene como limitación que solo arroja luz sobre la calidad de las revistas que lo poseen, sin aportar más información que permita distinguirlas entre sí, generando una dicotomía que, mal interpretada, puede conducir a interpretaciones peligrosas en la evaluación de revistas españolas (no todo es blanco o negro).
La evaluación que realiza la FECYT a las revistas aspirantes es un proceso complejo y amplio, midiendo diferentes dimensiones como son:
- Calidad formal: Cumplimiento de los principales criterios formales de calidad científica de las publicaciones.
- Procesos: La FECYT audita las revistas, comprobando si aquellos procesos a los que se compromete son llevados a cabo (evaluaciones de trabajos, edición de ejemplares, etc.).
- Impacto científico: La FECYT, contabiliza y pondera las citas de cada revista. Para que una revista acredite impacto en el área debe superar una horquilla establecida para su área.
Este último apartado es muy discutible tal como se realiza. Se ponderan las citas según la supuesta calidad de la revista que la emite en relación a los productos que la indexen. El constructo de ponderación (Tabla 1) que realizan sobre las revistas es impreciso en algunos aspectos, y la valoración de los productos utilizados es desacertada desde el punto de vista contextual, pero repasemos esta información punto por punto.
En primer lugar no se indica la ventana de citación. ¿Qué años se miden? Si estamos utilizando INRECS 2006-2009 ¿Significa eso que se tienen en cuenta artículos publicados en 2008 y anteriores? ¿Tiene sentido que un sello de calidad de revistas del año 2014 tenga en cuenta el impacto de trabajos de 2008? Cabe destacar que tampoco se indica qué hacen con las auto-citas.
Pero quizás el apartado más controvertido sea el valor que se le ha dado a los diferentes productos, las reglas de cálculo:
- ¿Web of Science es lo mismo que Scopus? Por supuesto que no, claramente WoS es mucho más exigente y elitista que Scopus, pensemos que una de las puertas para entrar en Scopus es ser editada por Elsevier (bajo pago) ¿Por qué igualar estos productos? ¿Es lo mismo posicionarse en el cuarto cuartil de Scopus que de WOS? Para ilustrar la diferencia entre los cuartiles entre WoS y Scopus podemos ver en la tabla 2 cómo se posicionan las revistas españolas de educación en los dos productos.
- Citas WOS. ¿A qué se refiere esta categoría? ¿A las revistas que aún no tienen calculado el impacto? ¿A las revistas de la base de datos Arts & Humanities Citation Index? ¿Significa que una revista de Arts & Humanities Citation Index (pongamos por ejemplo la prestigiosa revista Film Quaterly) vale menos que una revista indexada en ERIH?
- Citas familia IN-REC. Estos productos destacaban por su exhaustividad a la hora de analizar revistas, exhaustividad que hacía que hubiese una gran variedad de revistas en relación a su calidad ¿Qué sentido tiene utilizar este producto si no se utilizan las distinciones de cuartiles? ¿Es lo mismo una cita de la revista Trípodos (primer cuartil de Comunicación) a la revista de la SEECI (última posición)?
- Citas SciELO. Por fin aparece SciELO como base de datos referente, y lo hace por encima de la familia INREC. En el área de Ciencias Sociales, el referente para Iberoamérica han sido mayoritariamente revistas españolas. Ponderar SciELO (sin calcular el impacto de sus revistas) por encima de IN-RECS es una decisión precipitada y arbitraria, sobre todo porque en España tenemos revistas de gran calidad en Ciencias Sociales, con mayor impacto internacional (hasta ahora) que no tienen posibilidad de entrar en este producto.
- Categoría ERIH. Las revistas ERIH se clasifican en tres categorías, NAT, INT1 e INT2, y la diferencia entre estas categorías es exponencial. La simplificación que realiza la FECYT no se justifica (sólo distingue dos categorías, uniendo las categorías INT). Por otra parte, los valores asignados no tienen lógica en el contexto del resto de productos. ¿Tiene más valor la revista Comunicar por pertenecer a la categoría INT de ERIH (12 puntos) que por pertenecer a Web of Science (3 puntos)?
A modo de conclusión, unas breves reflexiones:
- Siguen siendo necesarios productos de evaluación que aporten información sobre la calidad de las revistas españolas más allá de WOS y Scopus.
- La ponderación del impacto de las revistas de FECYT es imprecisa e incorrecta, en primer lugar por la falta de precisión al utilizar productos como INRECS o ERIH (no utilizan correctamente las categorías). Para usar mal estos productos, casi mejor no usarlos. En segundo lugar, y este es uno de los principales problemas, porque en conjunto, las puntuaciones que se asignan a los diferentes productos no tienen lógica.
- Salta SciELO a la palestra. ¿Se debe usar este producto para evaluar revistas, profesores, centros en España? Por otra parte puntuar a SciELO por encima de revistas que aparecen en INRECS en primer cuartil es un error, pero claro, el sistema tampoco distingue entre cuartiles. Hacemos un flaco favor a las revistas españolas de Ciencias Sociales si la FECYT comienza a utilizar como producto de evaluación a una base de datos que veta a las revistas españolas.
