El editor, revisor de revisores. ¿Cómo se evalúan las revisiones?

https://doi.org/10.3916/escuela-de-revisores-022

El trabajo de evaluación realizado por los revisores constituye la principal garantía de calidad de las revistas científicas. La validez de todo artículo de investigación se sustenta en la superación de un riguroso proceso de revisión realizado por especialistas contrastados en la temática del objeto de estudio propuesto. La revisión, por tanto, representa el elemento diferenciador primordial del proceso de edición científica. El valor final de cada artículo está determinado por la calidad de los informes de revisión que han antecedido a su publicación. Ello implica que los responsables editoriales de las revistas deben aplicar una sucesión de criterios de selección: en primer lugar, identificar a los revisores más cualificados dispuestos a colaborar en la evaluación del artículo; en segundo, comprobar que esos informes de revisión resultan consistentes en términos científicos y respetuosos con el trabajo de los autores, y, por último, seleccionar para su publicación aquellos artículos con mejores valoraciones.

Los editores precisan desechar aquellos informes de revisión que no resulten útiles para la identificación de los artículos de mayor calidad científica. En algunas ocasiones, resulta necesario reformular determinadas expresiones del informe, sin alterar el sentido de la evaluación, porque el tono resulta, por excesivo, poco respetuoso con el trabajo de los autores. El filtrado de las revisiones es la fase menos visible de todo el proceso de edición científica, puesto que nunca trasciende a los autores ni, en muchas ocasiones, a los propios revisores. El principio que fundamenta esta necesidad de revisar las revisiones, de evaluar a los evaluadores, reside en la convicción de que un informe de calidad propicia la selección de los mejores artículos, pero un mal informe puede distorsionar los criterios de selección de la publicación.

Fuente: https://pixabay.com/images/id-2800867/

Los editores de una publicación configuran la base de evaluadores a partir del análisis de sus propios informes, esto es, de la revisión del cumplimiento de los elementos considerados garantes del rigor del proceso de selección. De la misma forma que los artículos cuentan con un conjunto de atributos de calidad, que son reconocidos por la comunidad científica, los informes de revisión también deben cumplir con ciertos estándares. Aunque existan ligeras diferencias en los criterios aplicados por cada revista, resulta posible enumerar, sino todas, al menos las principales características que definen la calidad de un informe de revisión:

Puntualidad en el cumplimiento de los plazos de entrega.

Comunicación de cualquier conflicto de interés que pudiera surgir en la evaluación.

– En la revisión se deben aplicar los principios editoriales y normas de estilo de la revista.

– Capacidad para determinar y justificar el grado de originalidad y novedad que aporta la contribución para su ámbito de estudio.

– Precisión en la identificación de las principales debilidades y fortalezas de la investigación.

Claridad en el lenguaje utilizado.

– Una estructura lógica que facilite la comprensión del contenido del informe.

– Una argumentación sólida para cada uno de los comentarios y afirmaciones formuladas.

– Incluir propuestas concretas que contribuyan a la mejora de los aspectos señalados como puntos débiles de la investigación.

– Denotar un conocimiento profundo sobre el tema objeto de estudio, así como sobre su marco teórico y bibliografía.

Coherencia entre los comentarios presentes en el informe y el dictamen final respecto a la publicación del artículo.

– Mantener un tono objetivo, neutro, constructivo y respetuoso con el trabajo de los autores.

No introducir ninguna discrepancia o contradicción entre los comentarios orientados a los editores y a los autores.

– Tener presente que el principal objetivo de su evaluación es proporcionar orientaciones que permitan a los autores elevar la calidad de su artículo. Esa finalidad prevalece respecto a la capacidad del informe de determinar la decisión sobre la publicación de la propuesta.

– Ofrecer, cuando proceda, pautas respecto a aquellas cuestiones formales del texto susceptibles de mejora: redacción, estructura, adecuación a las normas de estilo de la revista, etc.

– En el caso de los formularios cerrados, correspondencia entre las puntuaciones otorgadas en cada uno de los apartados del cuestionario y los comentarios introducidos en el informe.

El equipo editorial de la revista tiene la responsabilidad de valorar si el informe de revisión cumple con estos y aquellos otros requisitos que se consideren indicadores de su calidad. Ante cualquier duda sobre la validez del informe, la mejor práctica editorial siempre será solicitar un nuevo parecer que garantice la calidad del proceso de edición científica.

Propuestas de COPE para una revisión científica ética. Principios básicos (1)

https://doi.org/10.3916/escuela-de-revisores-021

En todas sus versiones, la revisión por pares permite diferenciar una publicación científica de otras formas de producción académica. Las orientaciones éticas explícitas proporcionan una ayuda necesaria.

Inicio una serie de post donde iré relatando de forma comentada las recomendaciones éticas que hace COPE sobre la revisión científica de este modo:

  • Principios básicos (1).
  • Antes de la revisión (2).
  • Durante la revisión (3).
  • Preparando el informe (4).
  • Tras la revisión (5).

El proceso necesita que todos los involucrados actúen con responsabilidad, de forma ética.  Quienes editan deben decidir qué información consideran imprescindible en el informe de revisión así como los plazos que son aceptables, para la revista, quienes revisan y quienes firman el texto. También hay que tomar decisiones acerca de las interacciones editor/a-revisor/a (cuándo, cómo), el tipo de reconocimiento de la labor revisora (certificado, mención en el comité de revisores de la revista, acceso preferente…) y el tipo de informe síntesis que se hace llegar a autores/as. Conviene que estos aspectos estén previstos y se implementen del mismo modo en todos los casos para que el equipo editorial disponga de protocolos y rutinas que faciliten el flujo de trabajo.

Quienes revisan necesitan pautas orientativas claras y precisas. Estas decisiones deben ser públicas y los esfuerzos del equipo editorial deben enfocarse en procurarlas y conseguirlas. La confianza en la labor quien revisa no es suficiente para que la revisión sea eficiente, en muchas ocasiones.

Fuente: https://libreshot.com (CCO)

Leer más

La visibilización y reconocimiento del revisor

https://doi.org/10.3916/escuela-de-revisores-020

Ser revisor científico de una publicación académica no es tarea fácil ni, hasta ahora, bien reconocida. En escasas revistas se gratifica esta tarea y en muchos países, incomprensiblemente, ni se reconoce curricularmente la loable y compleja tarea de examinar a fondo los resultados de las investigaciones para dilucidar su calidad y relevancia. En suma, de ser merecedora de publicidad y difusión por su alto grado de significatividad en el progreso de la ciencia.

Sin duda, es una labor difícil que requiere un nivel de lectura en profundidad, unos conocimientos sobre la materia, la estructura y fin del artículo científico, que no todos los lectores y autores están capacitados… Se exigen, sin duda, especiales habilidades para ser un buen revisor, de modo que su reconocimiento debe ser una prioridad en cualquier comunidad científica y, obviamente, en cualquier publicación que se precie y aspire a la calidad y excelencia. Ellos son, como hemos indicado en otro post de esta Escuela de Revisores, la “piedra angular” que garantiza el prestigio de una publicación y, sobre todo, la base para el progreso científico.

Evitar la redundancia, el plagio, la endogamia, el localismo y el corporativismo… tienen su principal filtro en un Consejo de Revisores Internacional que vele por la objetividad, el rigor, la originalidad, todos ellos sinónimos de alta ciencia, que es la que genera el progreso de los pueblos, y es esa justamente la finalidad de una publicación científica de calidad.

El reconocimiento de los revisores científicos, su reputación académica… depende de diferentes sectores implicados. Por un lado, y parte esencial, los responsables políticos de la ciencia de un país o incluso de federaciones de países como la Unión Europea, reconociendo esta tarea como una actividad básica en la transferencia del conocimiento y traduciéndolo en su valoración en las acreditaciones profesionales, reconocimientos curriculares, asignación de proyectos… En España la valoración de este mérito en el diseño del nuevo “sexenio de trasferencia” parece que es una reivindicación tan directa como necesaria.

Leer más

Importancia de las referencias bibliográficas citadas

https://doi.org/10.3916/escuela-de-revisores-019

Hasta hace unos años, las referencias bibliográficas de los trabajos citados, listadas al final de los artículos, servían únicamente para localizar dichos trabajos, y cumplían esta misión aunque estuvieran incompletas.

Con las bases de datos que incluyen las referencias citadas, como Web of Science y Scopus se hizo más importante que las referencias fueran claras y estuvieran completas para que los autores y revistas citados recibieran la correspondiente y merecida acreditación. A partir de las referencias citadas se calculan los índices de calidad de las revistas: factor de impacto, SCImago journal rank, h…

La aparición de Google Scholar (GS) aún ha aumentado más la necesidad de claridad y completitud de las referencias, pues a diferencia de las bases de datos WoS y Scopus, donde las referencias son revisadas por personas, en GS es un robot el que hace las lecturas.

Son conocidos los posibles errores que pueden encontrarse en GS (por indexar repositorios y redes sociales con preprints y otros trabajos no evaluados, indexar revistas depredadoras, e incluso indexar artículos falsos, como han demostrado algunos experimentos…) pero usado con las debidas precauciones es una base de datos muy útil. Sus 400 millones de referencias la han convertido en la base de datos científica más grande. Algunos estudios de usuarios han demostrado que la mayoría (65-70%) de los investigadores empiezan sus búsquedas en GS. De ahí la importancia de que GS indexe correctamente nuestras revistas (ya es conocido lo de que «si no estás en Google no existes»).

El hecho de que GS indexe también las referencias citadas (y que además sea gratuita) la ha convertido en una gran competencia a WoS y Scopus.

Leer más

Open Peer Review Reloaded: una nueva especie en medio de los ecosistemas tradicionales de la revisión por pares

https://doi.org/10.3916/escuela-de-revisores-018

La revisión por pares ha buscado medir la calidad, factibilidad y rigurosidad científica. A pesar de que existen diferentes tipos de revisión, en el mundo de la edición científica se hace énfasis en la revisión simple-ciego, doble ciego y revisión abierta. La revisión abierta, o mejor conocida como el Open Peer Review (OPR), en Iberoamérica, sigue causando interrogantes e inquietudes, pero a nivel mundial es una práctica que se ha ido implementando y consolidando. Y es que entender la revisión abierta como el solo hecho de dar a conocer la identidad de los autores y revisores, es apenas la punta del iceberg. El OPR, al implementar nuevos modelos de revisión, ha hecho cuestionar los efectos invisibles e imperceptibles del medio editorial. Un ecosistema que se ha fundamentado en una jerarquización y en unos procesos que, lamentablemente, toman mucho tiempo.

La práctica del OPR se desarrolló a finales de los años 90 y, aunque es una práctica muy joven, ha logrado cuestionar las dinámicas editoriales que durante mucho tiempo se han implementado y ha lanzado nuevos pensamientos, como la capacidad de autorregulación, la poca necesidad de intermediarios, la democratización de la revisión y las relaciones directas entre los autores y los revisores. Sin embargo, toda nueva especie trae consigo interrelaciones que simplemente no se pueden dejar a un lado, como la figura de un editor, que aunque se le invite a soltar un poco el control de los procesos de evaluación y editoriales, sigue a la cabeza gestionando las buenas prácticas editoriales, la tarea ardua y subjetiva que devienen de problemas éticos en publicaciones, el conflicto de interés y la objetividad en la revisión, la aprobación por favoritismo o por conveniencia, etcétera.

Así mismo, la disrupción puede generar tensiones entre los implicados del proceso de mejoramiento del manuscrito, porque se pueden generar disputas entre el autor y los evaluadores, espacio que en los otros métodos de evaluación no se da por su propia naturaleza. Por ello, el OPR permite la reformulación de los procesos editoriales, establecer nuevos lineamientos para los autores, ampliar las opciones de revisión por pares y ser parte de las nuevas dinámicas posibles que se han generado como necesarias y alternativas en el mundo científico. Varios ejemplos de cómo esta nueva especie ha logrado sumergirse en el ecosistema tradicional son Nature, F1000 Research, MBJ, Open Scholar, Peer J, entre otras, y organizaciones como OpenAire. Veamos algunos de ellos:

Leer más

Reciprocidad, elemento central del proceso de dictaminación

https://doi.org/10.3916/escuela-de-revisores-017


Hace algunos meses, en épocas prepandémicas, me encontré a una querida colega en un evento académico. Tras ponernos al día y un poco de conversación sobre asuntos universitarios, me dijo, ya en tono de mucha confianza: “… sé que andas muy involucrado con lo de las revistas, y me parece que lo que hacen es un trabajo muy importante, pero te cuento que yo ya rechazo, desde hace tiempo, todas las invitaciones a dictaminar artículos; es un engorro, nadie las toma en cuenta en nuestras evaluaciones, no valen nada en nuestros currículos y solo quita tiempo… mucho tiempo”.  Asentí un poco con la cabeza pero intenté explicarle que la labor de evaluadores y dictaminadores es vital en el trabajo editorial, que, básicamente, un noventa por ciento de los problemas de cronograma de una buena revista se derivan de problemas prácticos en el proceso de dictaminación, muy particularmente de la tasa de respuesta de evaluadores y dictaminadores y de la natural escasez de expertos puntuales en todas las áreas temáticas.
Frente a la explicación, no hizo nada más que encogerse de hombros y contestarme: “lo sé, pero ¿a qué horas resuelvo todo lo que hay que resolver, a qué horas escribo si tengo que dictaminar? Escribir y publicar son el centro de mi actividad y hacer dictámenes me aleja mucho de ello…”. Por su parte, yo sabía que en general ella tenía razón: los incentivos para dictaminar son casi nulos y lo que urge siempre en el rol de experto es escribir, no dictaminar.

Leer más

Aspectos éticos de la revisión. Para ser un revisor de primera…

https://doi.org/10.3916/escuela-de-revisores-016

Parafraseando la mítica canción, para ser un buen revisor es requisito indispensable tener un comportamiento ético. Pero, ¿en qué consiste el comportamiento ético del revisor?, ¿cuáles son los compromisos que debe asumir?

Evidentemente, siempre deberá conocer y aceptar el código ético de la revista para la que realiza la evaluación y, por ende, las normas para revisores (COPE). Podemos resumir los compromisos éticos en honestidad, neutralidad, confidencialidad, huir de los conflictos de intereses, respetar los tiempos y ser constructivos en los planteamientos del dictamen. Analicemos los comportamientos con más detalle.

El revisor debe ser honesto a la hora de realizar sus aportaciones. Debe asumir que su papel, determinante, es ayudar tanto a la revista como a los autores. Por ello, deberá tener vocación de divulgación científica. Esta honestidad le debe conducir a hacer un análisis crítico y constructivo, proponiendo los cambios que, entiende, mejoran el trabajo. En este sentido, si propone nuevas fuentes de consulta, deberán ser las relevantes, fundamentales y pertinentes. Con la importancia que en la actualidad tienen las citas para cualquier investigador, en demasiadas ocasiones hay revisores que caen en la tentación de autororponerse como autores a citar para mejorar su posición. Sin duda, un comportamiento nada ético, especialmente cuando no se trate de textos de referencia y directamente relacionados con la temática del artículo.

Leer más

¿La ciencia abierta matará la revisión ciega?

https://doi.org/10.3916/escuela-de-revisores-015

Editor de adComunica. Revista Científica de Estrategias, Tendencias e Innovación en Comunicación

En los últimos años ha ido cobrando una relevancia creciente el concepto de «ciencia abierta», un movimiento que fomenta que la investigación científica, las metodologías, técnicas de investigación, obtención de datos y resultados de las investigaciones sean compartidos entre los miembros de la comunidad científica, reutilizables y accesibles al conjunto de la sociedad, de forma libre y gratuita. El programa Horizonte 2020 de la Comisión Europea declaraba en 2017 que «la ciencia abierta» es también una respuesta a la «demanda para abordar los cambios sociales de nuestro tiempo», que ha de contribuir al incremento de «la competitividad y el empleo», al fomentar la participación y colaboración entre científicos desde una perspectiva internacional. 

El Center for Open Science (COS) señala que un aspecto central para el desarrollo de la ciencia abierta es la reconceptualización de la difusión y evaluación de la investigación, para lo que es necesario promover el trabajo colaborativo con y entre los editores y las más diversas organizaciones, con el fin de establecer flujos de trabajo que puedan conectar mejor las revisiones de la comunidad de preprints con la labor de revisión por pares organizada por las revistas científicas. Un aspecto central para el desarrollo de la ciencia abierta es la progresiva implantación del sistema del open peer review o revisión abierta. La pregunta que surge inmediatamente es: ¿está el sistema científico español y latinoamericano preparado para la adopción de un modelo así?

El ecosistema de la ciencia abierta según el Center for Open Science

En un reciente post, en este mismo blog, la profesora Belén Puebla, editora jefe de index.comunicación, integrada en la plataforma de revistas de comunicación PlatCom, describía los tipos de revisiones que se pueden encontrar en una revista científica, y explicaba que la revisión abierta ofrecía una serie de ventajas —el fomento del diálogo entre autores y revisores—, pero también inconvenientes —la falta de profundidad crítica en las revisiones y la posibilidad de que se generen disputas entre ambas instancias—. En efecto, parece lógico pensar que un sistema de revisión abierto podría prosperar en un contexto de madurez científica, en el que los investigadores están muy acostumbrados a la cultura de la evaluación. En nuestra opinión, el campo científico de las ciencias de la comunicación es todavía muy joven, en el que todavía no se ha alcanzado una suficiente madurez, si se compara con otros campos científicos de las humanidades y de las ciencias sociales. En verdad, el propio sistema científico español dista mucho de haber alcanzado esta ansiada madurez, cuando continuamente se está debatiendo cómo deben ser evaluados los profesores universitarios, y no se han alcanzado los consensos necesarios asuntos tan básicos como la identidad de un campo científico como comunicación, su lugar entre las ciencias sociales y el arte y las humanidades, la existencia de una cartografía del campo científico, el papel de las revistas científicas para la difusión científica en relación con los libros y capítulos de libros, etc.

Por otra parte, en un sistema de revistas científicas en comunicación como el español y latinoamericano, nos parece bastante difícil implantar un modelo de revisión abierta, en un contexto en el que todavía no se comprende ni siquiera la relevancia de la figura del editor (de revistas científicas, pero también de libros y obras colectivas) —como ocurre con muchas agencias de evaluación de la calidad universitaria—, a diferencia de lo que sucede en el mundo académico anglosajón. Como se señala en el portal del Proyecto Foster Open Science, la ciencia abierta es mucho más que la disponibilidad en acceso abierto de publicaciones y datos: la ciencia abierta representa una apertura del proceso científico, que persigue reforzar la Responsabilidad Social Científica (RSC), que en última instancia se propone favorecer «la traslación del conocimiento científico a la sociedad». En realidad, la ciencia abierta representa un cambio revolucionario en la forma misma de entender y practicar la actividad investigadora.

Por el momento, es recomendable seguir atentos a la ingente literatura que se viene generando sobre el tema. En este sentido, nos parece imprescindible la lectura del Manual de capacitación sobre ciencia abierta, elaborado en 2018 por un grupo de científicos, reunidos en la Biblioteca Nacional Alemana de Ciencia y Tecnología, una obra abierta que se propone fortalecer a la comunidad de formadores en ciencia abierta para tratar de mostrar cómo difundir mejor sus ideas y principios. Como se indica en este manual, más allá de los inconvenientes señalados, la revisión por pares abierta promueve una mayor transparencia y responsabilidad entre los revisores, al reducir las oportunidades de sesgos o conflictos de interés no explicitados; la evaluación abierta agrega otra capa de control de calidad, permitiendo a la comunidad científica examinar las revisiones y los procesos de toma de decisiones; la identificación de los revisores y la realización de informes abiertos puede impulsar la realización de informes más rigurosos, además de aumentar el reconocimiento público del trabajo de los revisores; e, incluso, se señala que la participación abierta podría superar los problemas asociados con la selección editorial de revisores, que siempre sufre algún tipo de sesgo, favoreciendo la selección de jóvenes investigadores que pueden tener nuevas oportunidades.

Por otro lado, nos parece que la revisión abierta necesitaría otras condiciones para el desarrollo de la investigación, bien diferente al de nuestra realidad cotidiana, en la que domina la máxima «publish or perish», en la que sufrimos una fuerte presión por publicar, y en la que imperan criterios cuantitativos, cuánto y dónde se publica, por encima de lo que se publica. La ciencia abierta necesitaría la creación de un entorno de «slow research», parafraseando y transponiendo la afortunada expresión acuñada Maggie Berg y Barbara K. Seeber en su obra The Slow Professor. A mi juicio, apelar al modelo de ciencia abierta representa una reivindicación de otra manera de entender y abordar la investigación, de una nueva actitud ante el conocimiento.

Es evidente que un modelo de revisión abierta sólo puede prosperar en un entorno de máxima transparencia. En este sentido se han realizado esfuerzos importantes, desde la dirección de las revistas de comunicación en los últimos años. Por ejemplo, son numerosas las revistas científicas que publican periódicamente el listado de revisores que han participado en la evaluación de los artículos publicados y rechazados, en periodos temporales concretos. Pero es cierto que queda mucho camino por recorrer. Entre otras iniciativas, se nos ocurre que podría ser un ejercicio de transparencia la publicación de las cuentas económicas de las revistas, hacer público el modelo de gestión de las revistas, como lo hacen las entidades públicas, o la creación de una figura de «defensor del autor», cuando se producen conflictos de intereses, que podría regularse desde plataformas de revistas científicas, lo más amplia posible.

En definitiva, puede parecer que «la ciencia abierta terminará con la revisión ciega», pero en un campo como el de las ciencias de la comunicación y en el contexto científico español y latinoamericano, creemos que todavía quedan bastantes años para que un cambio tan profundo pueda tener lugar.

Relación entre el informe y la valoración final en la ficha de evaluación

https://doi.org/10.3916/escuela-de-revisores-014

Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.

Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?

Leer más

¿Ciego, doble ciego o abierta?

https://doi.org/10.3916/escuela-de-revisores-013

Si hay algo que caracteriza a las revistas científicas es la revisión exhaustiva de sus publicaciones. Aunque el equipo editorial tiene la decisión de publicar o no un trabajo, es fundamental que no sea una decisión discrecional, sino que para cumplir con el rigor científico que se le presupone, todos los artículos deben pasar por la revisión de profesionales investigadores externos al comité editorial del medio, con tal fin de garantizar la calidad, pertinencia, confiabilidad e integridad de la investigación.

Todas las revistas científicas, cuando se crean, tienen que definir qué tipo de revisión externa van a utilizar para los trabajos que les lleguen. Esta decisión determina las políticas de control que se van a llevar a cabo y, para ello, se tiene que tener en cuenta la infraestructura con la que cuenta la revista y adecuar el formato de revisión que mejor se adapte a sus posibilidades.

Existen diferentes tipos de revisiones por pares (o peer review) –no tienen por qué ser dos o múltiplos de dos–. La referencia a pares es en el sentido de revisores semejantes u homólogos, especialistas en el tema a revisar. Veamos los tipos de revisiones que nos podemos encontrar en una revista científica:

Leer más

Página 1 de 3

Funciona con WordPress & Tema de Anders Norén