Open Peer Review Reloaded: una nueva especie en medio de los ecosistemas tradicionales de la revisión por pares

https://doi.org/10.3916/escueladerevisores-018

La revisión por pares ha buscado medir la calidad, factibilidad y rigurosidad científica. A pesar de que existen diferentes tipos de revisión, en el mundo de la edición científica se hace énfasis en la revisión simple-ciego, doble ciego y revisión abierta. La revisión abierta, o mejor conocida como el Open Peer Review (OPR), en Iberoamérica, sigue causando interrogantes e inquietudes, pero a nivel mundial es una práctica que se ha ido implementando y consolidando. Y es que entender la revisión abierta como el solo hecho de dar a conocer la identidad de los autores y revisores, es apenas la punta del iceberg. El OPR, al implementar nuevos modelos de revisión, ha hecho cuestionar los efectos invisibles e imperceptibles del medio editorial. Un ecosistema que se ha fundamentado en una jerarquización y en unos procesos que, lamentablemente, toman mucho tiempo.

La práctica del OPR se desarrolló a finales de los años 90 y, aunque es una práctica muy joven, ha logrado cuestionar las dinámicas editoriales que durante mucho tiempo se han implementado y ha lanzado nuevos pensamientos, como la capacidad de autorregulación, la poca necesidad de intermediarios, la democratización de la revisión y las relaciones directas entre los autores y los revisores. Sin embargo, toda nueva especie trae consigo interrelaciones que simplemente no se pueden dejar a un lado, como la figura de un editor, que aunque se le invite a soltar un poco el control de los procesos de evaluación y editoriales, sigue a la cabeza gestionando las buenas prácticas editoriales, la tarea ardua y subjetiva que devienen de problemas éticos en publicaciones, el conflicto de interés y la objetividad en la revisión, la aprobación por favoritismo o por conveniencia, etcétera.

Así mismo, la disrupción puede generar tensiones entre los implicados del proceso de mejoramiento del manuscrito, porque se pueden generar disputas entre el autor y los evaluadores, espacio que en los otros métodos de evaluación no se da por su propia naturaleza. Por ello, el OPR permite la reformulación de los procesos editoriales, establecer nuevos lineamientos para los autores, ampliar las opciones de revisión por pares y ser parte de las nuevas dinámicas posibles que se han generado como necesarias y alternativas en el mundo científico. Varios ejemplos de cómo esta nueva especie ha logrado sumergirse en el ecosistema tradicional son Nature, F1000 Research, MBJ, Open Scholar, Peer J, entre otras, y organizaciones como OpenAire. Veamos algunos de ellos:

  • F1000 Research: esta revista tiene un apartado completo que invita a los autores a encontrar los revisores para su artículo. Esto quiere decir que el autor lidera la responsabilidad de que su artículo pueda ser sometido y así mejorar la calidad de este. No obstante, el editor apadrina al autor y le da unos posibles caminos para alcanzar su cometido. Por ello, la revista cuenta con un algoritmo que, al escanear el artículo, lanza una lista de potenciales revisores y le da sugerencias al autor. Así mismo, este debe escoger entre revisores calificados, expertos o imparciales.
  • Open Scholar: esta revista cuenta con una revisión por pares guiada por el autor, enfatizando que es tiempo de desafiar a la tradición y ampliar las posibilidades de que otros, a parte del grupo editorial, generen las conexiones y relaciones para evaluar el manuscrito. En este caso, el artículo debe estar publicado en un archivo en línea (preprints, librerías, repositorios, etc.), las revisiones deben ser publicadas y pueden ser comentadas y evaluadas por la comunidad científica y la revisión por pares guiada por el autor puede ser implementada en cualquier etapa de vida del artículo.
  • Peer J: A pesar de que la revista utiliza la revisión simple-ciego (los revisores ven los nombres de los autores), dentro de sus políticas editoriales, existe la opción de que el autor decida o no publicar el historial de revisión completo de su manuscrito, después de que este ya haya sido publicado.  

Si bien es cierto que el OPR ha implementado nuevos modelos de revisión, en el ámbito iberoamericano todavía queda por discutir abiertamente dichos procesos. No es una conversación que se deba tomar a la ligera, porque esta nueva especie implica (re)pensar el ecosistema y ampliar la visión de los procesos editoriales. Esto sumado a las capacidades propias que tiene cada institución u organización para la gestión de las publicaciones científicas. No es una cuestión de negar o cuestionar las labores del editor, de los comités y demás implicados en las revistas científicas, se trata de generar procesos simbióticos que constantemente, y con el devenir del tiempo, cambian, se transforman y siguen permitiendo la construcción de conocimiento.

Reciprocidad, elemento central del proceso de dictaminación

Hace algunos meses, en épocas prepandémicas, me encontré a una querida colega en un evento académico. Tras ponernos al día y un poco de conversación sobre asuntos universitarios, me dijo, ya en tono de mucha confianza: “… sé que andas muy involucrado con lo de las revistas, y me parece que lo que hacen es un trabajo muy importante, pero te cuento que yo ya rechazo, desde hace tiempo, todas las invitaciones a dictaminar artículos; es un engorro, nadie las toma en cuenta en nuestras evaluaciones, no valen nada en nuestros currículos y solo quita tiempo… mucho tiempo”.  Asentí un poco con la cabeza pero intenté explicarle que la labor de evaluadores y dictaminadores es vital en el trabajo editorial, que, básicamente, un noventa por ciento de los problemas de cronograma de una buena revista se derivan de problemas prácticos en el proceso de dictaminación, muy particularmente de la tasa de respuesta de evaluadores y dictaminadores y de la natural escasez de expertos puntuales en todas las áreas temáticas.
Frente a la explicación, no hizo nada más que encogerse de hombros y contestarme: “lo sé, pero ¿a qué horas resuelvo todo lo que hay que resolver, a qué horas escribo si tengo que dictaminar? Escribir y publicar son el centro de mi actividad y hacer dictámenes me aleja mucho de ello…”. Por su parte, yo sabía que en general ella tenía razón: los incentivos para dictaminar son casi nulos y lo que urge siempre en el rol de experto es escribir, no dictaminar.
            Pasó un tiempo y nos volvimos a encontrar, pero esta vez con otro ánimo; me contó: en México acababa de pasar un momento del año muy importante para los investigadores universitarios, que es la entrega de resultados de evaluación en el Sistema Nacional de Investigadores (SNI, del Consejo Nacional de Ciencia y Tecnología), el máximo órgano evaluador para esta actividad en el país, y a ella no le había ido nada bien: no solo no había ascendido (lo que era su expectativa), sino que estuvo a punto de perder su posición actual. El argumento que le dieron fue:  falta de producción científica publicada. Aunque es alguien que se mantiene muy activa investigando y enviando resultados para publicación, muchos de sus artículos del periodo a evaluar se mantenían en la temida pausa editorial. Detenidos o “en prensa”, y la moraleja se cuenta sola. Nada más asentí con la cabeza y me encogí de hombros.
            Como colofón y cierre a esta viñeta anecdótica, que es más cotidiana de lo que quisiéramos, huelga decir que una labor vital que tenemos los editores de revistas científicas actuales es el concientizar a nuestras comunidades académicas sobre el beneficio de reciprocidad que supone el acto de dictaminación; si bien no “da puntos” ni “abona a las evaluaciones de desempeño”, la dictaminación es un proceso dialógico y de doble tributación, es causa de posibilidad de poder ser leídos y publicados y debe ser una actividad recíproca; visto de otra manera, una parte central del trabajo de comunicación de una revista debe ser también el trabajar de cerca con estos “públicos internos” y refrendar con ellos, simbólica y moralmente, el “pacto comunitario” del ayúdame a dictaminar que alguien más te dictaminará.
           

Aspectos éticos de la revisión. Para ser un revisor de primera…

https://doi.org/10.3916/escueladerevisores-016

Parafraseando la mítica canción, para ser un buen revisor es requisito indispensable tener un comportamiento ético. Pero, ¿en qué consiste el comportamiento ético del revisor?, ¿cuáles son los compromisos que debe asumir?

Evidentemente, siempre deberá conocer y aceptar el código ético de la revista para la que realiza la evaluación y, por ende, las normas para revisores (COPE). Podemos resumir los compromisos éticos en honestidad, neutralidad, confidencialidad, huir de los conflictos de intereses, respetar los tiempos y ser constructivos en los planteamientos del dictamen. Analicemos los comportamientos con más detalle.

El revisor debe ser honesto a la hora de realizar sus aportaciones. Debe asumir que su papel, determinante, es ayudar tanto a la revista como a los autores. Por ello, deberá tener vocación de divulgación científica. Esta honestidad le debe conducir a hacer un análisis crítico y constructivo, proponiendo los cambios que, entiende, mejoran el trabajo. En este sentido, si propone nuevas fuentes de consulta, deberán ser las relevantes, fundamentales y pertinentes. Con la importancia que en la actualidad tienen las citas para cualquier investigador, en demasiadas ocasiones hay revisores que caen en la tentación de autororponerse como autores a citar para mejorar su posición. Sin duda, un comportamiento nada ético, especialmente cuando no se trate de textos de referencia y directamente relacionados con la temática del artículo.

Y honestidad también para no aceptar hacer una revisión cuando se identifica la autoría y este hecho puede influir, positiva o negativamente, en el dictamen. Los revisores deben asumir el compromiso ético de huir de cualquier conflicto de intereses.

La ciencia no es nada sin la neutralidad. Por ello el revisor debe serlo en todo momento. Huir de los juicios personales, así como estar atentos a posibles plagios parciales o totales del texto a evaluar forma parte de la labor de revisión.

Confidencialidad. Los revisores deben respetar que el texto al que tiene acceso no está publicado, por lo que, sea cual sea su dictamen, deben respetar los derechos de autoría y no difundir de ninguna manera esos contenidos, ni realizar ningún tipo de valoración más allá de la realizada oficialmente durante el proceso de revisión.

Para terminar, dos aspectos también fundamentales, como son adaptarse y respetar los tiempos establecidos para la revisión; así como ser muy respetuoso en la valoración realizada, hacer una crítica siempre constructiva, incluso cuando se esté rechazando, con argumentos fundamentados, el texto.

¿La ciencia abierta matará la revisión ciega?

https://doi.org/10.3916/escuela-de-revisores-015

Editor de adComunica. Revista Científica de Estrategias, Tendencias e Innovación en Comunicación

En los últimos años ha ido cobrando una relevancia creciente el concepto de «ciencia abierta», un movimiento que fomenta que la investigación científica, las metodologías, técnicas de investigación, obtención de datos y resultados de las investigaciones sean compartidos entre los miembros de la comunidad científica, reutilizables y accesibles al conjunto de la sociedad, de forma libre y gratuita. El programa Horizonte 2020 de la Comisión Europea declaraba en 2017 que «la ciencia abierta» es también una respuesta a la «demanda para abordar los cambios sociales de nuestro tiempo», que ha de contribuir al incremento de «la competitividad y el empleo», al fomentar la participación y colaboración entre científicos desde una perspectiva internacional. 

El Center for Open Science (COS) señala que un aspecto central para el desarrollo de la ciencia abierta es la reconceptualización de la difusión y evaluación de la investigación, para lo que es necesario promover el trabajo colaborativo con y entre los editores y las más diversas organizaciones, con el fin de establecer flujos de trabajo que puedan conectar mejor las revisiones de la comunidad de preprints con la labor de revisión por pares organizada por las revistas científicas. Un aspecto central para el desarrollo de la ciencia abierta es la progresiva implantación del sistema del open peer review o revisión abierta. La pregunta que surge inmediatamente es: ¿está el sistema científico español y latinoamericano preparado para la adopción de un modelo así?

El ecosistema de la ciencia abierta según el Center for Open Science

En un reciente post, en este mismo blog, la profesora Belén Puebla, editora jefe de index.comunicación, integrada en la plataforma de revistas de comunicación PlatCom, describía los tipos de revisiones que se pueden encontrar en una revista científica, y explicaba que la revisión abierta ofrecía una serie de ventajas —el fomento del diálogo entre autores y revisores—, pero también inconvenientes —la falta de profundidad crítica en las revisiones y la posibilidad de que se generen disputas entre ambas instancias—. En efecto, parece lógico pensar que un sistema de revisión abierto podría prosperar en un contexto de madurez científica, en el que los investigadores están muy acostumbrados a la cultura de la evaluación. En nuestra opinión, el campo científico de las ciencias de la comunicación es todavía muy joven, en el que todavía no se ha alcanzado una suficiente madurez, si se compara con otros campos científicos de las humanidades y de las ciencias sociales. En verdad, el propio sistema científico español dista mucho de haber alcanzado esta ansiada madurez, cuando continuamente se está debatiendo cómo deben ser evaluados los profesores universitarios, y no se han alcanzado los consensos necesarios asuntos tan básicos como la identidad de un campo científico como comunicación, su lugar entre las ciencias sociales y el arte y las humanidades, la existencia de una cartografía del campo científico, el papel de las revistas científicas para la difusión científica en relación con los libros y capítulos de libros, etc.

Por otra parte, en un sistema de revistas científicas en comunicación como el español y latinoamericano, nos parece bastante difícil implantar un modelo de revisión abierta, en un contexto en el que todavía no se comprende ni siquiera la relevancia de la figura del editor (de revistas científicas, pero también de libros y obras colectivas) —como ocurre con muchas agencias de evaluación de la calidad universitaria—, a diferencia de lo que sucede en el mundo académico anglosajón. Como se señala en el portal del Proyecto Foster Open Science, la ciencia abierta es mucho más que la disponibilidad en acceso abierto de publicaciones y datos: la ciencia abierta representa una apertura del proceso científico, que persigue reforzar la Responsabilidad Social Científica (RSC), que en última instancia se propone favorecer «la traslación del conocimiento científico a la sociedad». En realidad, la ciencia abierta representa un cambio revolucionario en la forma misma de entender y practicar la actividad investigadora.

Por el momento, es recomendable seguir atentos a la ingente literatura que se viene generando sobre el tema. En este sentido, nos parece imprescindible la lectura del Manual de capacitación sobre ciencia abierta, elaborado en 2018 por un grupo de científicos, reunidos en la Biblioteca Nacional Alemana de Ciencia y Tecnología, una obra abierta que se propone fortalecer a la comunidad de formadores en ciencia abierta para tratar de mostrar cómo difundir mejor sus ideas y principios. Como se indica en este manual, más allá de los inconvenientes señalados, la revisión por pares abierta promueve una mayor transparencia y responsabilidad entre los revisores, al reducir las oportunidades de sesgos o conflictos de interés no explicitados; la evaluación abierta agrega otra capa de control de calidad, permitiendo a la comunidad científica examinar las revisiones y los procesos de toma de decisiones; la identificación de los revisores y la realización de informes abiertos puede impulsar la realización de informes más rigurosos, además de aumentar el reconocimiento público del trabajo de los revisores; e, incluso, se señala que la participación abierta podría superar los problemas asociados con la selección editorial de revisores, que siempre sufre algún tipo de sesgo, favoreciendo la selección de jóvenes investigadores que pueden tener nuevas oportunidades.

Por otro lado, nos parece que la revisión abierta necesitaría otras condiciones para el desarrollo de la investigación, bien diferente al de nuestra realidad cotidiana, en la que domina la máxima «publish or perish», en la que sufrimos una fuerte presión por publicar, y en la que imperan criterios cuantitativos, cuánto y dónde se publica, por encima de lo que se publica. La ciencia abierta necesitaría la creación de un entorno de «slow research», parafraseando y transponiendo la afortunada expresión acuñada Maggie Berg y Barbara K. Seeber en su obra The Slow Professor. A mi juicio, apelar al modelo de ciencia abierta representa una reivindicación de otra manera de entender y abordar la investigación, de una nueva actitud ante el conocimiento.

Es evidente que un modelo de revisión abierta sólo puede prosperar en un entorno de máxima transparencia. En este sentido se han realizado esfuerzos importantes, desde la dirección de las revistas de comunicación en los últimos años. Por ejemplo, son numerosas las revistas científicas que publican periódicamente el listado de revisores que han participado en la evaluación de los artículos publicados y rechazados, en periodos temporales concretos. Pero es cierto que queda mucho camino por recorrer. Entre otras iniciativas, se nos ocurre que podría ser un ejercicio de transparencia la publicación de las cuentas económicas de las revistas, hacer público el modelo de gestión de las revistas, como lo hacen las entidades públicas, o la creación de una figura de «defensor del autor», cuando se producen conflictos de intereses, que podría regularse desde plataformas de revistas científicas, lo más amplia posible.

En definitiva, puede parecer que «la ciencia abierta terminará con la revisión ciega», pero en un campo como el de las ciencias de la comunicación y en el contexto científico español y latinoamericano, creemos que todavía quedan bastantes años para que un cambio tan profundo pueda tener lugar.

Relación entre el informe y la valoración final en la ficha de evaluación

https://doi.org/10.3916/escuela-de-revisores-014

Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.

Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?

Leer más

¿Ciego, doble ciego o abierta?

https://doi.org/10.3916/escuela-de-revisores-013

Si hay algo que caracteriza a las revistas científicas es la revisión exhaustiva de sus publicaciones. Aunque el equipo editorial tiene la decisión de publicar o no un trabajo, es fundamental que no sea una decisión discrecional, sino que para cumplir con el rigor científico que se le presupone, todos los artículos deben pasar por la revisión de profesionales investigadores externos al comité editorial del medio, con tal fin de garantizar la calidad, pertinencia, confiabilidad e integridad de la investigación.

Todas las revistas científicas, cuando se crean, tienen que definir qué tipo de revisión externa van a utilizar para los trabajos que les lleguen. Esta decisión determina las políticas de control que se van a llevar a cabo y, para ello, se tiene que tener en cuenta la infraestructura con la que cuenta la revista y adecuar el formato de revisión que mejor se adapte a sus posibilidades.

Existen diferentes tipos de revisiones por pares (o peer review) –no tienen por qué ser dos o múltiplos de dos–. La referencia a pares es en el sentido de revisores semejantes u homólogos, especialistas en el tema a revisar. Veamos los tipos de revisiones que nos podemos encontrar en una revista científica:

Leer más

Cualidades que debe tener un Buen Revisor

https://doi.org/10.3916/escuela-de-revisores-012

La Comunicación es una disciplina dinámica, en la que el cambio es una constante, en consecuencia requiere de la investigación científica seria, que integra nuevos hallazgos, que estudia las distintas perspectivas que se van presentando, los diversos contextos en que se van desarrollando y que permite finalmente que se presente una visión más amplia de las ciencias.

Y en esa tarea investigadora encontramos a los autores, y a sus pares, los revisores, que son los que evalúan la calidad de las comunicaciones presentadas a las revistas científicas. Todas las Revistas de Comunicación buscan, como lo recoge el Journal of Communication, brindar a sus lectores los hallazgos más recientes, amplios e importantes en el campo de los estudios de la comunicación, y esperan que los manuscritos sean contribuciones originales a esa investigación académica.

Los revisores son la piedra angular de las revistas científicas de calidad. Reciben la confianza de los editores para valorar las investigaciones y recomendar la publicación de aquellas que avancen el conocimiento científico. Asisten a los órganos de la revista en la toma de las decisiones editoriales y ayudan a la mejora de los artículos.

Leer más

Publons, el arca de los revisores

https://doi.org/10.3916/escuela-de-revisores-011

La reputación de una revista académica se relaciona formalmente con el impacto de las publicaciones y se expresa de manera tangible en las métricas de las principales bases de datos indexadas. Los indicadores como Journal Citation Reports (JCR) o SCImago Journal Rank (SJR), entre otros, evidencian la calidad de la producción científica de la revista y suponen un constante esfuerzo del equipo editorial por descubrir los mejores artículos y proporcionarles una mayor visibilidad.

En este proceso de publicación científica, la etapa más delicada es el peer review. Por un lado, este depende de la cantidad de trabajo que los Editores invierten en la búsqueda y diálogo con los expertos; por el otro, porque la revisión por pares, en la mayoría de los casos, es una actividad voluntaria, colaborativa y no retribuida. El investigador que acepta la evaluación del manuscrito dedica tiempo y esfuerzo, supeditados por decisiones tan importantes como las métricas de desempeño o las contrataciones laborales.

Leer más

Resultados, discusión y conclusiones: juntos, pero no revueltos

https://doi.org/10.3916/escuela-de-revisores-010

Dentro de la estructura IMRyC, muchos de los manuscritos que llegan a las revistas presentan una serie de errores en estos tres apartados del artículo, por confusión u omisión, que es interesante que los revisores controlen de cara a realizar una buena evaluación.

Es preciso tener en cuenta que Resultados, Discusión y Conclusiones presentan similitudes que, a menudo, provocan repeticiones que nada aportan a la riqueza de un artículo y que van en contra de la necesaria precisión, claridad y brevedad que debe tener la escritura científica.

Imaginemos que entramos a un recinto donde se encuentra una piscina. Podemos realizar distintas acciones con un nivel desigual de compromiso: observarla y describirla (Resultados), sentarnos y meter los pies en ella para comparar su temperatura con la nuestra (Discusión) o, por último, podemos zambullirnos en ella y, en cierta manera, formar parte de esta (Conclusiones). Estas tres maneras de “relacionarnos” con la piscina, que aparentemente están claras, se confunden a menudo. Por ello, es importante que los revisores comprueben si en cada sección se tienen en cuenta las siguientes consideraciones.

Los Resultados (Describimos la piscina que se encuentra en el recinto) En este apartado los revisores tienen que comprobar si se realiza una correcta exposición de los resultados obtenidos. Es decir, si se responde a la pregunta ¿qué se encontró? Y verificar que los autores: 1) No duplican (triplican) la información que presentan, 2) Se alternan las enumeraciones de datos, tablas y figuras (eligiendo la forma más adecuada para cada caso) en su presentación. En definitiva, lo que tienen que hacer los autores en este apartado es mostrar sus resultados sin opiniones o interpretaciones, de la manera más objetiva posible.

Leer más

La estructura de una revisión

https://doi.org/10.3916/escuela-de-revisores-009

No existe un procedimiento único y homogéneo para completar la revisión de un envío, así que el formulario empleado por cada revista determinará la organización y exposición de los comentarios del revisor.

Es importante que la revisión esté estructurada en apartados claramente identificables por autores y revisores. Aunque cada revista emplee una rúbrica diferente, lo habitual es que aparezcan estructuradas en dos grandes bloques: el referido a la evaluación de aspectos formales, y el referido a la evaluación del contenido.

Con ligeras variaciones, los aspectos formales de un manuscrito se refieren básicamente a estos dos criterios:

  1. La estructura y el orden expositivo. Basta una lectura superficial para que cualquier editor y revisor experimentado detecte si el envío tiene la forma esperada en una comunicación científica. Ciertas partes como el título, el resumen y las palabras clave (en español y en inglés), la introducción o encuadre conceptual, el apartado metodológico, los bloques de resultados, discusión y conclusiones, así como las referencias bibliográficas, son estándares formales que debe cumplir todo artículo. Esto es aplicable a cualquier investigación científica, incluidos los ensayos, cuyo estilo más especulativo o teórico no impide la organización del contenido en similares epígrafes a los mencionados.

Leer más

Página 1 de 2

Funciona con WordPress & Tema de Anders Norén