Autor: Ignacio Aguaded

La ‘calidad’ de una revista: árbitros, pares y revisores como clave

El debate sobre la calidad de las revistas científicas está a la orden del día. ¿Cómo podemos definir su calidad y parámetros? Desde la publicación de las Declaraciones de DORA y Leiden, un importante sector de la comunidad científica ha sido reacio a aceptar la dominación absoluta del factor de impacto como medida única de la ‘calidad’ de una publicación científica, amparándose exclusivamente por los rankings editados por Web of Science y Scopus. Obviamente, ignorar estos rankings internacionales, reconocidos mundialmente para facilitar la visibilización de investigaciones con una altísima proyección, es un craso error. Los índices son un indicativo evidente de la calidad de una publicación científica y, frente a contadas excepciones, las revistas con alto impacto son las más prestigiosas, visibles y reconocidas a nivel mundial, pues son las que más acceso generan y más se leen (incluso las embargadas) por la comunidad científica.

Sin embargo, junto al facto de impacto que es una consecuencia de la calidad (y no una causa), hay otros elementos sustantivos que miden (o deberían medir con un mayor consenso) la calidad de las revistas: los parámetros de selección de los manuscritos (las tasas de aceptación y rechazo), los proceso de gestión (puntualidad, transparencia), las plataformas de visibilidad e impacto social (redes sociales comunes y científicas, espacios de cooperación)… pero, especialmente, hay uno que quisiera destacar en este post, que muchas veces pasa desapercibido y que, desde mi punto de vista, es eje neurálgico de la calidad de una revista: la revisiones de los pares.

Los revisores, como he comentado ya en otras entradas de esta Escuela de Revisores, son el ‘alma mater’ de una revista científica. Lo que diferencia una publicación de calidad de otras es justamente el riguroso proceso para que los trabajos que se seleccionen sean los mejores en novedad, originalidad, relevancia y transferencia. Por ello, son clave las fichas de revisión que emplean las publicaciones para que, mediante indicadores cuantitativos y cualitativos, se pueda seleccionar la mejor ciencia en nuestro campo.

En los últimos años se han ido incorporando nuevas modalidades de revisión, pero el sistema clásico de par ciego sigue siendo el predominante en estos procesos de evaluación. Algunas cabeceras han optado por romper el anonimato y hacen públicos sus nombres, o bien permiten la generación de comentarios públicos y abiertos del trabajo por parte de la comunidad, superando la evaluación por los ‘expertos’. Todas estas modalidades que las tecnologías hoy nos permiten, profundizan en la necesidad de mejorar los sistemas selectivos de los trabajos porque solo la competitividad favorece el crecimiento del conocimiento, como ocurre en todas las ciencias, desterrando dos de los grandes males endémicos de la ciencia actual: la redundancia (y en su máximo extremo el plagio) y la endogamia.

El sistema del par ciego garantiza que los trabajos se valoren por las propuestas que concretan más de allá de las personas que las respaldan, e independientemente de sus categorías profesionales y sus experiencias laborales; se valoran los productos, no las personas, permitiendo así que la ciencia crezca incluso en algunos casos con propuestas originales de investigadores noveles.

El tradicional doble ciego (la revisión de cada manuscrito por dos revisores que desconocen a los autores, al igual que estos ignoran a sus árbitros) ha quedado realmente muy limitada poque, en muchos casos, los trabajos presentados son complejos y requieren de múltiples miradas, más allá de solo dos personas, que además en muchos casos presentan criterios que obligan que un tercer experto, casi de forma individualizada, tome la decisión final.

En revistas como ‘Comunicar’, consciente de la estratégica labor del Consejo Internacional de Revisores como ‘buque insignia’ de la revista, se ha trabajado de forma intensa en el último decenio para aumentar considerablemente el plantel, su diversidad internacional, la ‘expertise’ del equipo, su formación multidisciplinar, metodológica y temática… de forma que hoy contamos con 1.000 revisores de 53 países que garantizan un proceso de revisión de alta calidad y pluralidad, de manera que cada manuscrito puede ser sometido a revisión por hasta 20 pares distintos que ofrecen, obviamente, perspectivas distintas, pero que alimentan y enriquecen el trabajo inicial para que la ciencia sea realmente construida por todos, básicamente por los autores, con una enriquecedora colaboración de colegas de países distintos que aportan ópticas, formaciones y experiencias diferenciadas convirtiendo los trabajos finalmente publicados en una considerable mejora respecto al enfoque inicial.

Ciencia colaborativa construida con un enfoque multidisciplinar y visión internacional (con la implicación de múltiples investigadores de todo el mundo); he aquí uno de los grandes y no reconocidos secretos de la calidad de una publicación.

Como indicábamos al principio, el impacto no es una causa de la calidad, sino su consecuencia lógica. Así, buenos trabajos seleccionados rigurosamente con sistemas polivalentes como el citado, así como la máxima visibilidad de los mismos traen consigo un impacto que se traduce en trasferencia social y en citas en otras revistas de calidad, generando un circuito virtuoso que no puede desprestigiarse por excepciones contadas.

La ‘calidad’ de una revista tiene muchas aristas, pero, sin duda, la revisión rigurosa y polifacética de sus manuscritos, su visibilidad internacional y su impacto (medido entre otras cosas en citas y transferencia social) son, de forma equilibrada, sus ejes trasversales.

¿Deben cobrar o no cobrar los revisores? El prestigio del árbitro científico

El papel de los revisores/as académicos en el ámbito de las publicaciones científicas se mueve aun en una profunda incertidumbre. La reivindicación para que esta figura se le reconozca su papel es sólida y adquiere cada vez más corpus y consenso.
Partiendo de la premisa de que la evaluación por pares −especialmente ciegos− es la base estructural en la que pivota la calidad de las publicaciones científicas de excelencia, la clarificación del protagonismo del revisor académico no debe estar en cuestión, sino que debe estar reconocido y prestigiado en todos los sistemas de evaluación que se precien.

Scientia

El debate, ya clásico, de si la revisión científica debe ser o no gratificada económicamente ha sido objeto de muchos debates y discusión de investigadores, sin encontrarse hasta ahora un consenso más o menos unánime en la comunidad científica.
La respuesta a esta simple pregunta requiere contextualizarla en un marco mucho más amplio, que supera la mera gratificación de siempre modestas aportaciones, cuando las hay, y que en ningún caso cubre la tarea, la responsabilidad, la formación y el prestigio previo requerido para acometerla.

Calls públicos de Revisores Científicos

Las revisiones científicas son la piedra angular de las “journals” de excelencia, justamente el elemento diferenciador máximo frente a las revistas ‘noveles’, ‘emergentes’ y, sobre todo, a las revistas ‘predators’. En todos estos casos, y por circunstancias muy diferentes, las revisiones no tienen calidad suficiente, los revisores no son prestigiosos o simplemente las revisiones son fuegos artificiales que no esconden más que un proceso falso, o cuando menos disimulado, de evaluación científica.

Frente a estos casos de revisiones deficientes, evaluadores simulados y procesos artificiosos, las revistas de calidad seleccionan a sus revisores con rigor, mantienen Consejos de Revisores significativos en número y calidad, con alta representatividad internacional, evitando a toda costa la endogamia, la evaluación no discriminatoria y aspirando siempre a seleccionar la mejor ciencia, esto es, los manuscritos, que en su campo científico representen lo más original, novedoso, significativo y relevante del ‘estado del arte’ actual.

En un post anterior, hemos referenciado la importancia de ‘la visibilidad y el reconocimiento del revisor’ (https://bit.ly/2OWH6NU) y la importancia de la existencia de ‘la página web del revisor’ (https://bit.ly/3vKQdSq) como elementos sustantivos para el afianzamiento de su figura clave en la calidad de las revistas de excelencia. En este post avanzamos en esta línea, incidiendo en la trascendencia para una revista científica de calidad el conformar Consejos amplios y selectivos, con los mejores investigadores en su campo, que revisen con rigor y que apoyen de forma decisoria en la selección, de forma anónima, de la mejor ciencia.

La activación de ‘calls por reviewers’ es un sistema no tan frecuente como necesario; en muchos casos, esta selección se realiza a discreción por parte de los editores, incluso a veces, entre investigadores conocidos, cercanos y con un cierto compromiso con la revista. Obviamente, este criterio selectivo aumenta la efectividad, pero ataca en la línea de flotación del modelo, ya que la endogamia puede aparecer por cualquier rincón y hundir un modelo de evaluación que hasta ahora se ha demostrado como ‘el menos malo’: el doble ciego, esto es, que los revisores no conozcan a los autores y viceversa, que los autores no puedan identificar quienes han revisado sus manuscritos.

Con las ‘convocatorias públicas de revisores’, activas y publicadas permanentemente en las revistas, garantizamos que la comunidad científica pueda colaborar, tanto en los habituales procesos de lectura y potencial autoría, como en los procesos de revisión.

Las postulaciones de los revisores garantizan trascender los círculos inmediatos de conocidos, yendo hacia una amplia red de investigadores que, en todo caso, han de cumplir unos requisitos selectivos, que serán más exigentes en la medida que la revista tenga unos estándares de calidad más altos.

‘Comunicar’ mantiene una sección específica para el Consejo Internacional de Revisores (https://bit.ly/3s8Wfdl) donde se informa de su composición (número, países) y se identifica a todos los miembros del Consejo. También en la misma web se ofrece la posibilidad de formar parte de este amplio equipo de casi un millar con una breve normativa para ser revisor en ‘Comunicar’ (https://bit.ly/2QmlyL3).

Este modelo selectivo es compatible con la selección de revisores a partir de los autores que publican en la revista, que también es un buen manantial de capación de revisores, pero que como única fuente impide abrir la revista a investigadores que no han entrado en el círculo de la publicación.

En suma, seleccionar y cuidar los mejores revisores, generando equipos amplios, diversificados y muy internacionales, al hilo de la ciencia global, es una marca de calidad distintiva de las revistas de excelencia y de las que aspiran a serlo.

La página web del revisor

Los revisores son la piedra angular de la calidad de una revista científica. Sin revisión rigurosa no hay avance de ciencia, esto es, originalidad, novedad, relevancia, transferencia y sistema.

Por mucho tiempo, los revisores no han tenido el papel que merecen y el reconocimiento que les corresponde ni en las revistas ni en los sistemas de evaluación de la ciencia: las primeras los han considerado como informes necesarios, pero a veces discordantes; los segundos no han sido capaces de percibir que los revisores son los “porteros” de la ciencia (gatekeepers), en tanto que de forma anónima y colegiada se encargan de discriminar la ciencia de calidad, valorando los “objetos” y no “sujetos” de la investigación y, por tanto, descubriendo la nueva ciencia de calidad, independientemente del lugar de donde proceda y de las etiquetas previas de los autores.

La visibilización y reconocimiento del revisor

Ser revisor científico de una publicación académica no es tarea fácil ni, hasta ahora, bien reconocida. En escasas revistas se gratifica esta tarea y en muchos países, incomprensiblemente, ni se reconoce curricularmente la loable y compleja tarea de examinar a fondo los resultados de las investigaciones para dilucidar su calidad y relevancia. En suma, de ser merecedora de publicidad y difusión por su alto grado de significatividad en el progreso de la ciencia.

Los revisores: piedra angular de una revista científica de calidad

Muchas veces, en los foros universitarios, se reflexiona y discute, a veces acaloradamente, sobre las revistas científicas, especialmente sobre su controvertida calidad. Es cierto que las indexaciones internacionales, con sus rankings famosos, especialmente JCR y Scopus, han clasificado a las publicaciones en función de su factor de impacto en cuartiles y percentiles, como si esta fuera la única manera de medir la “calidad” de una publicación. Sin duda, es este un concepto más amplio que abarca dimensiones vinculadas al proceso de gestión de manuscritos originales, novedosos y significativos, así como la visibilidad de los mismos.

Funciona con WordPress & Tema de Anders Norén