La evaluación basada en el Factor de Impacto de la revista pone en jaque los objetivos de la investigación

En las últimas semanas se presentaron algunos sucesos que muestran la contradicción en la que se desenvuelve la publicación académica.

Por un lado, la European University Association (EUA), Science Europe (2019) y la cOAlition S (Plan S, 2019) emitieron declaraciones sobre la necesidad de modificar las actuales formas de evaluación de la investigación.

Por el otro, acompañado de un enorme revuelo, recientemente se dio a conocer la edición 2019 (con datos de 2018) del Scimago Journal & Country Rank, donde se muestra el lugar y cuartil de 24 702 revistas a partir de la base de datos de Scopus, propiedad de Elsevier.

El 14 de mayo la EUA, que reúne a más de 800 universidades de 48 países, y Science Europe unieron esfuerzos para mejorar la evaluación de la investigación académica: “Hoy en día, los resultados de la investigación académica a menudo se miden a través de métodos basados ​​en indicadores cuantitativos, aunque aproximados, como el factor de impacto de la revista. Es necesario alejarse de las formas reduccionistas de evaluar la investigación, así como establecer sistemas que evalúen mejor el potencial de la investigación”.

cOAlition S, los impulsores del Plan S, el programa más agresivo para arribar al acceso abierto desde la Declaración de Budapest en 2002, se comprometió a que todas las publicaciones financiadas deberán estar abiertas para 2021. El 31 de mayo publicó sus diez principios y la guía de implementación definitivos. El principio diez establece: “Al momento de decidir el destino de los financiamientos, los financiadores se comprometen a considerar el valor intrínseco del trabajo y a evaluar el producto de las investigaciones y no su canal de publicación, su factor impacto (u otras métricas), o al editor”.

Esta posición institucional europea se afianza con la conclusión que emitió el Informe del Grupo de Expertos de la Comisión Europea, el cual define que “el elemento estructural más importante del actual ecosistema de investigación es el sistema de evaluación, en particular el factor de impacto”.

En otro polo, al actualizar el 30 de mayo los datos del Scimago Journal & Country Rank, Latinoamérica cuenta con 830 revistas (3.3 %), donde 3.9% son cuartil I, 18.4 % cuartil II, 35.7 % cuartil III, 40.9 % cuartil IV. Las redes sociales se saturaron de comentarios sobre cuántas revistas se tenían por país e institución y los editores que subieron de cuartil, o que fueron incluidos por primera vez, agradecían a sus equipos el esfuerzo y se congratulaban por el logro. Las palabras eran absolutamente descriptivas en términos aritméticos: “subió”, “bajó” o “alcanzó la posición X”. El análisis, ya no digamos crítico sino al menos reflexivo, era inexistente. Los editores olvidaron su historia, las carencias, las dificultades, su antigüedad, la relevancia de su temática, las acciones que habían emprendido para lograr una comunidad. Sólo se mencionaba “estamos”, “subimos” o “somos“.

No importaba si de la revistas que habían alcanzado algún lugar, 90% de sus artículos no había sido citado o que dos artículos cubrieran prácticamente las citas recibidas. Esos son detalles metodológicos que no eran trascendentes porque lo que se valora es la revista, no los artículos.

Para nada era relevante que de las 33 revistas latinoamericanas en Q1 –vean lo “sólido” del indicador–, nueve revistas apenas alcanzan veinte o menos citas en los tres años anteriores. Sí, las revistas mejor posicionadas de la región, las de alta calidad, la crème de la crème, en tres años apenas habían alcanzado veinte citas. De hecho, la revista Antiguo Oriente lleva varios años en cuartil I y apenas tuvo cuatro citas –sí, cuatro citas en tres años– y la recién incorporada Páginas alcanzó una cita: ¡Deplorable!

Al respecto, Análisis Político tuvo 20 citas en tres años, Boletín del Museo Chileno 19, América Latina en la Historia Económica 18, Boletín de Filología 14, Revista de Estudios Histórico-Jurídicos 13, Estudios de Cultura Maya 12, Kepes 12, Antiguo Oriente 4, Páginas 1.

Esta es la contradicción central en la que se encuentra la comunicación de la ciencia: no importa la calidad de los artículos, sino lograr que se apruebe uno de nuestros trabajos en alguna revista bien posicionada. No resulta primordial si el trabajo no recibe cita alguna, puesto que lo que se evalúa es dónde se publica mas no el contenido en sí.

Esta aberración en la que cae prácticamente la totalidad de los sistemas de evaluación está destruyendo el sistema editorial alcanzado durante tantos años y con múltiples esfuerzos. Se ha vuelto más valioso si la revista está en Scopus o WoS, bases de datos propiedad de particulares.

A modo de conclusión, es una pena, pero a las universidades, editores e investigadores les ha dejado de importar el conocimiento por ir en busca del re-conocimiento.

Referencias

cOAlition S (2019). Plan S, principles and implementation. Retrevied from https://www.coalition-s.org/principles-and-implementation/

Scimago Journal & Country Rank (2019). Retrevied from https://www.scimagojr.com

European Comission (2019). Future of scholarly publishing and scholarly communication. Retrevied from https://publications.europa.eu/en/publication-detail/-/publication/464477b3-2559-11e9-8d04-01aa75ed71a1

European University Association (2019). The European University Association and Science Europe join efforts to improve scholarly research assessment methodologies. Retrevied from https://eua.eu/downloads/publications/joint%20statement%20eua-se%20on%20research%20assessment_v2.pdf

Science Europe (2019). Research evaluation and impact assessment. Retrevied from https://www.scienceeurope.org/policy/policy-areas/evaluation-and-impact/