Categoría: Revisión científica Página 1 de 2

El editor, revisor de revisores. ¿Cómo se evalúan las revisiones?

El trabajo de evaluación realizado por los revisores constituye la principal garantía de calidad de las revistas científicas. La validez de todo artículo de investigación se sustenta en la superación de un riguroso proceso de revisión realizado por especialistas contrastados en la temática del objeto de estudio propuesto. La revisión, por tanto, representa el elemento diferenciador primordial del proceso de edición científica. El valor final de cada artículo está determinado por la calidad de los informes de revisión que han antecedido a su publicación. Ello implica que los responsables editoriales de las revistas deben aplicar una sucesión de criterios de selección: en primer lugar, identificar a los revisores más cualificados dispuestos a colaborar en la evaluación del artículo; en segundo, comprobar que esos informes de revisión resultan consistentes en términos científicos y respetuosos con el trabajo de los autores, y, por último, seleccionar para su publicación aquellos artículos con mejores valoraciones.

Los editores precisan desechar aquellos informes de revisión que no resulten útiles para la identificación de los artículos de mayor calidad científica. En algunas ocasiones, resulta necesario reformular determinadas expresiones del informe, sin alterar el sentido de la evaluación, porque el tono resulta, por excesivo, poco respetuoso con el trabajo de los autores. El filtrado de las revisiones es la fase menos visible de todo el proceso de edición científica, puesto que nunca trasciende a los autores ni, en muchas ocasiones, a los propios revisores. El principio que fundamenta esta necesidad de revisar las revisiones, de evaluar a los evaluadores, reside en la convicción de que un informe de calidad propicia la selección de los mejores artículos, pero un mal informe puede distorsionar los criterios de selección de la publicación.

Fuente: https://pixabay.com/images/id-2800867/

Los editores de una publicación configuran la base de evaluadores a partir del análisis de sus propios informes, esto es, de la revisión del cumplimiento de los elementos considerados garantes del rigor del proceso de selección. De la misma forma que los artículos cuentan con un conjunto de atributos de calidad, que son reconocidos por la comunidad científica, los informes de revisión también deben cumplir con ciertos estándares. Aunque existan ligeras diferencias en los criterios aplicados por cada revista, resulta posible enumerar, sino todas, al menos las principales características que definen la calidad de un informe de revisión:

Puntualidad en el cumplimiento de los plazos de entrega.

Comunicación de cualquier conflicto de interés que pudiera surgir en la evaluación.

– En la revisión se deben aplicar los principios editoriales y normas de estilo de la revista.

– Capacidad para determinar y justificar el grado de originalidad y novedad que aporta la contribución para su ámbito de estudio.

– Precisión en la identificación de las principales debilidades y fortalezas de la investigación.

Claridad en el lenguaje utilizado.

– Una estructura lógica que facilite la comprensión del contenido del informe.

– Una argumentación sólida para cada uno de los comentarios y afirmaciones formuladas.

– Incluir propuestas concretas que contribuyan a la mejora de los aspectos señalados como puntos débiles de la investigación.

– Denotar un conocimiento profundo sobre el tema objeto de estudio, así como sobre su marco teórico y bibliografía.

Coherencia entre los comentarios presentes en el informe y el dictamen final respecto a la publicación del artículo.

– Mantener un tono objetivo, neutro, constructivo y respetuoso con el trabajo de los autores.

No introducir ninguna discrepancia o contradicción entre los comentarios orientados a los editores y a los autores.

– Tener presente que el principal objetivo de su evaluación es proporcionar orientaciones que permitan a los autores elevar la calidad de su artículo. Esa finalidad prevalece respecto a la capacidad del informe de determinar la decisión sobre la publicación de la propuesta.

– Ofrecer, cuando proceda, pautas respecto a aquellas cuestiones formales del texto susceptibles de mejora: redacción, estructura, adecuación a las normas de estilo de la revista, etc.

– En el caso de los formularios cerrados, correspondencia entre las puntuaciones otorgadas en cada uno de los apartados del cuestionario y los comentarios introducidos en el informe.

El equipo editorial de la revista tiene la responsabilidad de valorar si el informe de revisión cumple con estos y aquellos otros requisitos que se consideren indicadores de su calidad. Ante cualquier duda sobre la validez del informe, la mejor práctica editorial siempre será solicitar un nuevo parecer que garantice la calidad del proceso de edición científica.

Propuestas de COPE para una revisión científica ética. Principios básicos (1)

En todas sus versiones, la revisión por pares permite diferenciar una publicación científica de otras formas de producción académica. Las orientaciones éticas explícitas proporcionan una ayuda necesaria.

Inicio una serie de post donde iré relatando de forma comentada las recomendaciones éticas que hace COPE sobre la revisión científica de este modo:

  • Principios básicos (1).
  • Antes de la revisión (2).
  • Durante la revisión (3).
  • Preparando el informe (4).
  • Tras la revisión (5).

El proceso necesita que todos los involucrados actúen con responsabilidad, de forma ética.  Quienes editan deben decidir qué información consideran imprescindible en el informe de revisión así como los plazos que son aceptables, para la revista, quienes revisan y quienes firman el texto. También hay que tomar decisiones acerca de las interacciones editor/a-revisor/a (cuándo, cómo), el tipo de reconocimiento de la labor revisora (certificado, mención en el comité de revisores de la revista, acceso preferente…) y el tipo de informe síntesis que se hace llegar a autores/as. Conviene que estos aspectos estén previstos y se implementen del mismo modo en todos los casos para que el equipo editorial disponga de protocolos y rutinas que faciliten el flujo de trabajo.

Quienes revisan necesitan pautas orientativas claras y precisas. Estas decisiones deben ser públicas y los esfuerzos del equipo editorial deben enfocarse en procurarlas y conseguirlas. La confianza en la labor quien revisa no es suficiente para que la revisión sea eficiente, en muchas ocasiones.

Fuente: https://libreshot.com (CCO)

Leer más

La visibilización y reconocimiento del revisor

Ser revisor científico de una publicación académica no es tarea fácil ni, hasta ahora, bien reconocida. En escasas revistas se gratifica esta tarea y en muchos países, incomprensiblemente, ni se reconoce curricularmente la loable y compleja tarea de examinar a fondo los resultados de las investigaciones para dilucidar su calidad y relevancia. En suma, de ser merecedora de publicidad y difusión por su alto grado de significatividad en el progreso de la ciencia.

Sin duda, es una labor difícil que requiere un nivel de lectura en profundidad, unos conocimientos sobre la materia, la estructura y fin del artículo científico, que no todos los lectores y autores están capacitados… Se exigen, sin duda, especiales habilidades para ser un buen revisor, de modo que su reconocimiento debe ser una prioridad en cualquier comunidad científica y, obviamente, en cualquier publicación que se precie y aspire a la calidad y excelencia. Ellos son, como hemos indicado en otro post de esta Escuela de Revisores, la “piedra angular” que garantiza el prestigio de una publicación y, sobre todo, la base para el progreso científico.

Evitar la redundancia, el plagio, la endogamia, el localismo y el corporativismo… tienen su principal filtro en un Consejo de Revisores Internacional que vele por la objetividad, el rigor, la originalidad, todos ellos sinónimos de alta ciencia, que es la que genera el progreso de los pueblos, y es esa justamente la finalidad de una publicación científica de calidad.

El reconocimiento de los revisores científicos, su reputación académica… depende de diferentes sectores implicados. Por un lado, y parte esencial, los responsables políticos de la ciencia de un país o incluso de federaciones de países como la Unión Europea, reconociendo esta tarea como una actividad básica en la transferencia del conocimiento y traduciéndolo en su valoración en las acreditaciones profesionales, reconocimientos curriculares, asignación de proyectos… En España la valoración de este mérito en el diseño del nuevo “sexenio de trasferencia” parece que es una reivindicación tan directa como necesaria.

Leer más

Open Peer Review Reloaded: una nueva especie en medio de los ecosistemas tradicionales de la revisión por pares

La revisión por pares ha buscado medir la calidad, factibilidad y rigurosidad científica. A pesar de que existen diferentes tipos de revisión, en el mundo de la edición científica se hace énfasis en la revisión simple-ciego, doble ciego y revisión abierta. La revisión abierta, o mejor conocida como el Open Peer Review (OPR), en Iberoamérica, sigue causando interrogantes e inquietudes, pero a nivel mundial es una práctica que se ha ido implementando y consolidando. Y es que entender la revisión abierta como el solo hecho de dar a conocer la identidad de los autores y revisores, es apenas la punta del iceberg. El OPR, al implementar nuevos modelos de revisión, ha hecho cuestionar los efectos invisibles e imperceptibles del medio editorial. Un ecosistema que se ha fundamentado en una jerarquización y en unos procesos que, lamentablemente, toman mucho tiempo.

La práctica del OPR se desarrolló a finales de los años 90 y, aunque es una práctica muy joven, ha logrado cuestionar las dinámicas editoriales que durante mucho tiempo se han implementado y ha lanzado nuevos pensamientos, como la capacidad de autorregulación, la poca necesidad de intermediarios, la democratización de la revisión y las relaciones directas entre los autores y los revisores. Sin embargo, toda nueva especie trae consigo interrelaciones que simplemente no se pueden dejar a un lado, como la figura de un editor, que aunque se le invite a soltar un poco el control de los procesos de evaluación y editoriales, sigue a la cabeza gestionando las buenas prácticas editoriales, la tarea ardua y subjetiva que devienen de problemas éticos en publicaciones, el conflicto de interés y la objetividad en la revisión, la aprobación por favoritismo o por conveniencia, etcétera.

Así mismo, la disrupción puede generar tensiones entre los implicados del proceso de mejoramiento del manuscrito, porque se pueden generar disputas entre el autor y los evaluadores, espacio que en los otros métodos de evaluación no se da por su propia naturaleza. Por ello, el OPR permite la reformulación de los procesos editoriales, establecer nuevos lineamientos para los autores, ampliar las opciones de revisión por pares y ser parte de las nuevas dinámicas posibles que se han generado como necesarias y alternativas en el mundo científico. Varios ejemplos de cómo esta nueva especie ha logrado sumergirse en el ecosistema tradicional son Nature, F1000 Research, MBJ, Open Scholar, Peer J, entre otras, y organizaciones como OpenAire. Veamos algunos de ellos:

Leer más

¿La ciencia abierta matará la revisión ciega?

Editor de adComunica. Revista Científica de Estrategias, Tendencias e Innovación en Comunicación

En los últimos años ha ido cobrando una relevancia creciente el concepto de «ciencia abierta», un movimiento que fomenta que la investigación científica, las metodologías, técnicas de investigación, obtención de datos y resultados de las investigaciones sean compartidos entre los miembros de la comunidad científica, reutilizables y accesibles al conjunto de la sociedad, de forma libre y gratuita. El programa Horizonte 2020 de la Comisión Europea declaraba en 2017 que «la ciencia abierta» es también una respuesta a la «demanda para abordar los cambios sociales de nuestro tiempo», que ha de contribuir al incremento de «la competitividad y el empleo», al fomentar la participación y colaboración entre científicos desde una perspectiva internacional. 

El Center for Open Science (COS) señala que un aspecto central para el desarrollo de la ciencia abierta es la reconceptualización de la difusión y evaluación de la investigación, para lo que es necesario promover el trabajo colaborativo con y entre los editores y las más diversas organizaciones, con el fin de establecer flujos de trabajo que puedan conectar mejor las revisiones de la comunidad de preprints con la labor de revisión por pares organizada por las revistas científicas. Un aspecto central para el desarrollo de la ciencia abierta es la progresiva implantación del sistema del open peer review o revisión abierta. La pregunta que surge inmediatamente es: ¿está el sistema científico español y latinoamericano preparado para la adopción de un modelo así?

El ecosistema de la ciencia abierta según el Center for Open Science

En un reciente post, en este mismo blog, la profesora Belén Puebla, editora jefe de index.comunicación, integrada en la plataforma de revistas de comunicación PlatCom, describía los tipos de revisiones que se pueden encontrar en una revista científica, y explicaba que la revisión abierta ofrecía una serie de ventajas —el fomento del diálogo entre autores y revisores—, pero también inconvenientes —la falta de profundidad crítica en las revisiones y la posibilidad de que se generen disputas entre ambas instancias—. En efecto, parece lógico pensar que un sistema de revisión abierto podría prosperar en un contexto de madurez científica, en el que los investigadores están muy acostumbrados a la cultura de la evaluación. En nuestra opinión, el campo científico de las ciencias de la comunicación es todavía muy joven, en el que todavía no se ha alcanzado una suficiente madurez, si se compara con otros campos científicos de las humanidades y de las ciencias sociales. En verdad, el propio sistema científico español dista mucho de haber alcanzado esta ansiada madurez, cuando continuamente se está debatiendo cómo deben ser evaluados los profesores universitarios, y no se han alcanzado los consensos necesarios asuntos tan básicos como la identidad de un campo científico como comunicación, su lugar entre las ciencias sociales y el arte y las humanidades, la existencia de una cartografía del campo científico, el papel de las revistas científicas para la difusión científica en relación con los libros y capítulos de libros, etc.

Por otra parte, en un sistema de revistas científicas en comunicación como el español y latinoamericano, nos parece bastante difícil implantar un modelo de revisión abierta, en un contexto en el que todavía no se comprende ni siquiera la relevancia de la figura del editor (de revistas científicas, pero también de libros y obras colectivas) —como ocurre con muchas agencias de evaluación de la calidad universitaria—, a diferencia de lo que sucede en el mundo académico anglosajón. Como se señala en el portal del Proyecto Foster Open Science, la ciencia abierta es mucho más que la disponibilidad en acceso abierto de publicaciones y datos: la ciencia abierta representa una apertura del proceso científico, que persigue reforzar la Responsabilidad Social Científica (RSC), que en última instancia se propone favorecer «la traslación del conocimiento científico a la sociedad». En realidad, la ciencia abierta representa un cambio revolucionario en la forma misma de entender y practicar la actividad investigadora.

Por el momento, es recomendable seguir atentos a la ingente literatura que se viene generando sobre el tema. En este sentido, nos parece imprescindible la lectura del Manual de capacitación sobre ciencia abierta, elaborado en 2018 por un grupo de científicos, reunidos en la Biblioteca Nacional Alemana de Ciencia y Tecnología, una obra abierta que se propone fortalecer a la comunidad de formadores en ciencia abierta para tratar de mostrar cómo difundir mejor sus ideas y principios. Como se indica en este manual, más allá de los inconvenientes señalados, la revisión por pares abierta promueve una mayor transparencia y responsabilidad entre los revisores, al reducir las oportunidades de sesgos o conflictos de interés no explicitados; la evaluación abierta agrega otra capa de control de calidad, permitiendo a la comunidad científica examinar las revisiones y los procesos de toma de decisiones; la identificación de los revisores y la realización de informes abiertos puede impulsar la realización de informes más rigurosos, además de aumentar el reconocimiento público del trabajo de los revisores; e, incluso, se señala que la participación abierta podría superar los problemas asociados con la selección editorial de revisores, que siempre sufre algún tipo de sesgo, favoreciendo la selección de jóvenes investigadores que pueden tener nuevas oportunidades.

Por otro lado, nos parece que la revisión abierta necesitaría otras condiciones para el desarrollo de la investigación, bien diferente al de nuestra realidad cotidiana, en la que domina la máxima «publish or perish», en la que sufrimos una fuerte presión por publicar, y en la que imperan criterios cuantitativos, cuánto y dónde se publica, por encima de lo que se publica. La ciencia abierta necesitaría la creación de un entorno de «slow research», parafraseando y transponiendo la afortunada expresión acuñada Maggie Berg y Barbara K. Seeber en su obra The Slow Professor. A mi juicio, apelar al modelo de ciencia abierta representa una reivindicación de otra manera de entender y abordar la investigación, de una nueva actitud ante el conocimiento.

Es evidente que un modelo de revisión abierta sólo puede prosperar en un entorno de máxima transparencia. En este sentido se han realizado esfuerzos importantes, desde la dirección de las revistas de comunicación en los últimos años. Por ejemplo, son numerosas las revistas científicas que publican periódicamente el listado de revisores que han participado en la evaluación de los artículos publicados y rechazados, en periodos temporales concretos. Pero es cierto que queda mucho camino por recorrer. Entre otras iniciativas, se nos ocurre que podría ser un ejercicio de transparencia la publicación de las cuentas económicas de las revistas, hacer público el modelo de gestión de las revistas, como lo hacen las entidades públicas, o la creación de una figura de «defensor del autor», cuando se producen conflictos de intereses, que podría regularse desde plataformas de revistas científicas, lo más amplia posible.

En definitiva, puede parecer que «la ciencia abierta terminará con la revisión ciega», pero en un campo como el de las ciencias de la comunicación y en el contexto científico español y latinoamericano, creemos que todavía quedan bastantes años para que un cambio tan profundo pueda tener lugar.

Relación entre el informe y la valoración final en la ficha de evaluación

Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.

Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?

Leer más

Cualidades que debe tener un Buen Revisor

La Comunicación es una disciplina dinámica, en la que el cambio es una constante, en consecuencia requiere de la investigación científica seria, que integra nuevos hallazgos, que estudia las distintas perspectivas que se van presentando, los diversos contextos en que se van desarrollando y que permite finalmente que se presente una visión más amplia de las ciencias.

Y en esa tarea investigadora encontramos a los autores, y a sus pares, los revisores, que son los que evalúan la calidad de las comunicaciones presentadas a las revistas científicas. Todas las Revistas de Comunicación buscan, como lo recoge el Journal of Communication, brindar a sus lectores los hallazgos más recientes, amplios e importantes en el campo de los estudios de la comunicación, y esperan que los manuscritos sean contribuciones originales a esa investigación académica.

Los revisores son la piedra angular de las revistas científicas de calidad. Reciben la confianza de los editores para valorar las investigaciones y recomendar la publicación de aquellas que avancen el conocimiento científico. Asisten a los órganos de la revista en la toma de las decisiones editoriales y ayudan a la mejora de los artículos.

Leer más

Publons, el arca de los revisores

La reputación de una revista académica se relaciona formalmente con el impacto de las publicaciones y se expresa de manera tangible en las métricas de las principales bases de datos indexadas. Los indicadores como Journal Citation Reports (JCR) o SCImago Journal Rank (SJR), entre otros, evidencian la calidad de la producción científica de la revista y suponen un constante esfuerzo del equipo editorial por descubrir los mejores artículos y proporcionarles una mayor visibilidad.

En este proceso de publicación científica, la etapa más delicada es el peer review. Por un lado, este depende de la cantidad de trabajo que los Editores invierten en la búsqueda y diálogo con los expertos; por el otro, porque la revisión por pares, en la mayoría de los casos, es una actividad voluntaria, colaborativa y no retribuida. El investigador que acepta la evaluación del manuscrito dedica tiempo y esfuerzo, supeditados por decisiones tan importantes como las métricas de desempeño o las contrataciones laborales.

Leer más

Resultados, discusión y conclusiones: juntos, pero no revueltos

Dentro de la estructura IMRyC, muchos de los manuscritos que llegan a las revistas presentan una serie de errores en estos tres apartados del artículo, por confusión u omisión, que es interesante que los revisores controlen de cara a realizar una buena evaluación.

Es preciso tener en cuenta que Resultados, Discusión y Conclusiones presentan similitudes que, a menudo, provocan repeticiones que nada aportan a la riqueza de un artículo y que van en contra de la necesaria precisión, claridad y brevedad que debe tener la escritura científica.

Imaginemos que entramos a un recinto donde se encuentra una piscina. Podemos realizar distintas acciones con un nivel desigual de compromiso: observarla y describirla (Resultados), sentarnos y meter los pies en ella para comparar su temperatura con la nuestra (Discusión) o, por último, podemos zambullirnos en ella y, en cierta manera, formar parte de esta (Conclusiones). Estas tres maneras de “relacionarnos” con la piscina, que aparentemente están claras, se confunden a menudo. Por ello, es importante que los revisores comprueben si en cada sección se tienen en cuenta las siguientes consideraciones.

Los Resultados (Describimos la piscina que se encuentra en el recinto) En este apartado los revisores tienen que comprobar si se realiza una correcta exposición de los resultados obtenidos. Es decir, si se responde a la pregunta ¿qué se encontró? Y verificar que los autores: 1) No duplican (triplican) la información que presentan, 2) Se alternan las enumeraciones de datos, tablas y figuras (eligiendo la forma más adecuada para cada caso) en su presentación. En definitiva, lo que tienen que hacer los autores en este apartado es mostrar sus resultados sin opiniones o interpretaciones, de la manera más objetiva posible.

Leer más

La estructura de una revisión

No existe un procedimiento único y homogéneo para completar la revisión de un envío, así que el formulario empleado por cada revista determinará la organización y exposición de los comentarios del revisor.

Es importante que la revisión esté estructurada en apartados claramente identificables por autores y revisores. Aunque cada revista emplee una rúbrica diferente, lo habitual es que aparezcan estructuradas en dos grandes bloques: el referido a la evaluación de aspectos formales, y el referido a la evaluación del contenido.

Con ligeras variaciones, los aspectos formales de un manuscrito se refieren básicamente a estos dos criterios:

  1. La estructura y el orden expositivo. Basta una lectura superficial para que cualquier editor y revisor experimentado detecte si el envío tiene la forma esperada en una comunicación científica. Ciertas partes como el título, el resumen y las palabras clave (en español y en inglés), la introducción o encuadre conceptual, el apartado metodológico, los bloques de resultados, discusión y conclusiones, así como las referencias bibliográficas, son estándares formales que debe cumplir todo artículo. Esto es aplicable a cualquier investigación científica, incluidos los ensayos, cuyo estilo más especulativo o teórico no impide la organización del contenido en similares epígrafes a los mencionados.

Leer más

Página 1 de 2

Funciona con WordPress & Tema de Anders Norén