Relación entre el informe y la valoración final en la ficha de evaluación

https://doi.org/10.3916/escuela-de-revisores-014

Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.

Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?

Aunque no hay una sistematización, principalmente porque existen diferencias importantes entre los diferentes campos, especialmente en un área tan abierta como la comunicación, se han establecido políticas, procesos y principios editoriales que coinciden en lo importante y garantizan, en todos los casos, la integridad de la evaluación.

Todas las revistas, una vez que el evaluador ha aceptado la invitación para informar sobre un artículo, indica los plazos y modos de entregar el dictamen. La forma más habitual es realizar el informe a través de un formulario que cada revista tiene y en la que se determinan aquellos puntos más importantes en cuanto a los aspectos formales y de contenido que todo artículo científico debe tener. Ese sería nuestro código penal.

Como se señaló para una “Publicación de investigación responsable” en la Segunda Conferencia Mundial sobre Integridad de la Investigación de Singapur en 2010, dentro de los estándares internacionales para editores “las revistas deben adoptar políticas que fomenten la presentación de informes completos y honestos”.

Un breve repaso por las revistas nos indica que casi todas coinciden en los mismos aspectos, pues todas inciden en los elementos necesarios que debe tener un trabajo de investigación, y como señala Comunicación y sociedad: “La dirección editorial garantizará, en todos los casos, que los dictámenes entregados a los autores/as contengan argumentos sólidos que respalden la decisión editorial”. Subrayamos argumentos sólidos.

Es importante que las revistas tengan visible sus fichas de evaluación para que los evaluadores los conozcan antes de tomar la decisión de aceptar la invitación para realizar el informe y sobre todo que las sigan al pie de la letra. Sin pretender ser exhaustivos, los siguientes once ítems suelen ser los más habituales:

  • Título (representativo del contenido)
  • Resumen (claridad y presentación de objetivos, metodología, principales resultados y conclusiones)
  • Rigor metodológico
  • Relevancia de la temática
  • Revisión de la literatura
  • Estructura y organización artículo
  • Capacidad argumental y coherencia
  • Redacción científica
  • Aportaciones innovadoras
  • Conclusiones
  • Referencias

En su conjunto vienen a ser el compendio de lo que todo artículo científico debe contener y de la valoración de cada uno de ellos el evaluador debe extraer una resolución final. Aunque muchos se entremezclan, cada uno de los apartados debe considerarse de forma independiente, señalándose sus cualidades positivas o defectos que se detecten. Algunas revistas utilizan el sistema de valoración bajo varios apartados –deficiente, cuestionable, bueno, excelente– y otras, como Comunicar, una valoración cuantitativa de cuya suma final sale directamente el rechazo, cambios mayores, cambios menores o aceptación.

Además, y esto es lo más importante, al final debe realizar un informe razonado con argumentos sólidos y, añadiríamos, en sintonía con las valoraciones realizadas en cada ítem. Estos no tienen el mismo valor. Un título poco representativo es fácilmente modificable o un resumen que olvida alguno de los aspectos relevantes también, pero difícilmente se puede decir lo mismo de un texto que adolece de una estructura ordenada, una metodología errónea o un artículo plagado de incoherencias.

Al final de un proceso judicial, el juez redacta un informe a partir de todos las evidencia y pruebas presentadas para emitir una deliberación justa, y la resolución debe ser acorde con todos esos datos. De hecho, el velo en los ojos que lleva la representación de la justicia simboliza lalimitación del juez a los hechos para poder dictar sentencia. De igual manera, el evaluador debe ser coherente con la valoración que de cada ítem ha realizado y emitir un juicio acorde con esas premisas.

Pero algo nos diferencia de los jueces, porque en la investigación científica no hay conflicto de intereses. Al contrario, lo que se está valorando es el trabajo de investigadores, que envían unos trabajos que, con mayor o menor acierto, siempre conllevan muchas horas de dedicación y esfuerzo y por tanto la sentencia final debe ser siempre constructiva. Un rechazo no se debe entender como una condena, sino la manera en la que vamos construyendo la ciencia.

¿Ciego, doble ciego o abierta?

https://doi.org/10.3916/escuela-de-revisores-013

Si hay algo que caracteriza a las revistas científicas es la revisión exhaustiva de sus publicaciones. Aunque el equipo editorial tiene la decisión de publicar o no un trabajo, es fundamental que no sea una decisión discrecional, sino que para cumplir con el rigor científico que se le presupone, todos los artículos deben pasar por la revisión de profesionales investigadores externos al comité editorial del medio, con tal fin de garantizar la calidad, pertinencia, confiabilidad e integridad de la investigación.

Todas las revistas científicas, cuando se crean, tienen que definir qué tipo de revisión externa van a utilizar para los trabajos que les lleguen. Esta decisión determina las políticas de control que se van a llevar a cabo y, para ello, se tiene que tener en cuenta la infraestructura con la que cuenta la revista y adecuar el formato de revisión que mejor se adapte a sus posibilidades.

Existen diferentes tipos de revisiones por pares (o peer review) –no tienen por qué ser dos o múltiplos de dos–. La referencia a pares es en el sentido de revisores semejantes u homólogos, especialistas en el tema a revisar. Veamos los tipos de revisiones que nos podemos encontrar en una revista científica:

Leer más

Cualidades que debe tener un Buen Revisor

https://doi.org/10.3916/escuela-de-revisores-012

La Comunicación es una disciplina dinámica, en la que el cambio es una constante, en consecuencia requiere de la investigación científica seria, que integra nuevos hallazgos, que estudia las distintas perspectivas que se van presentando, los diversos contextos en que se van desarrollando y que permite finalmente que se presente una visión más amplia de las ciencias.

Y en esa tarea investigadora encontramos a los autores, y a sus pares, los revisores, que son los que evalúan la calidad de las comunicaciones presentadas a las revistas científicas. Todas las Revistas de Comunicación buscan, como lo recoge el Journal of Communication, brindar a sus lectores los hallazgos más recientes, amplios e importantes en el campo de los estudios de la comunicación, y esperan que los manuscritos sean contribuciones originales a esa investigación académica.

Los revisores son la piedra angular de las revistas científicas de calidad. Reciben la confianza de los editores para valorar las investigaciones y recomendar la publicación de aquellas que avancen el conocimiento científico. Asisten a los órganos de la revista en la toma de las decisiones editoriales y ayudan a la mejora de los artículos.

Leer más

Publons, el arca de los revisores

https://doi.org/10.3916/escuela-de-revisores-011

La reputación de una revista académica se relaciona formalmente con el impacto de las publicaciones y se expresa de manera tangible en las métricas de las principales bases de datos indexadas. Los indicadores como Journal Citation Reports (JCR) o SCImago Journal Rank (SJR), entre otros, evidencian la calidad de la producción científica de la revista y suponen un constante esfuerzo del equipo editorial por descubrir los mejores artículos y proporcionarles una mayor visibilidad.

En este proceso de publicación científica, la etapa más delicada es el peer review. Por un lado, este depende de la cantidad de trabajo que los Editores invierten en la búsqueda y diálogo con los expertos; por el otro, porque la revisión por pares, en la mayoría de los casos, es una actividad voluntaria, colaborativa y no retribuida. El investigador que acepta la evaluación del manuscrito dedica tiempo y esfuerzo, supeditados por decisiones tan importantes como las métricas de desempeño o las contrataciones laborales.

Leer más

Resultados, discusión y conclusiones: juntos, pero no revueltos

https://doi.org/10.3916/escuela-de-revisores-010

Dentro de la estructura IMRyC, muchos de los manuscritos que llegan a las revistas presentan una serie de errores en estos tres apartados del artículo, por confusión u omisión, que es interesante que los revisores controlen de cara a realizar una buena evaluación.

Es preciso tener en cuenta que Resultados, Discusión y Conclusiones presentan similitudes que, a menudo, provocan repeticiones que nada aportan a la riqueza de un artículo y que van en contra de la necesaria precisión, claridad y brevedad que debe tener la escritura científica.

Imaginemos que entramos a un recinto donde se encuentra una piscina. Podemos realizar distintas acciones con un nivel desigual de compromiso: observarla y describirla (Resultados), sentarnos y meter los pies en ella para comparar su temperatura con la nuestra (Discusión) o, por último, podemos zambullirnos en ella y, en cierta manera, formar parte de esta (Conclusiones). Estas tres maneras de “relacionarnos” con la piscina, que aparentemente están claras, se confunden a menudo. Por ello, es importante que los revisores comprueben si en cada sección se tienen en cuenta las siguientes consideraciones.

Los Resultados (Describimos la piscina que se encuentra en el recinto) En este apartado los revisores tienen que comprobar si se realiza una correcta exposición de los resultados obtenidos. Es decir, si se responde a la pregunta ¿qué se encontró? Y verificar que los autores: 1) No duplican (triplican) la información que presentan, 2) Se alternan las enumeraciones de datos, tablas y figuras (eligiendo la forma más adecuada para cada caso) en su presentación. En definitiva, lo que tienen que hacer los autores en este apartado es mostrar sus resultados sin opiniones o interpretaciones, de la manera más objetiva posible.

Leer más

La estructura de una revisión

https://doi.org/10.3916/escuela-de-revisores-009

No existe un procedimiento único y homogéneo para completar la revisión de un envío, así que el formulario empleado por cada revista determinará la organización y exposición de los comentarios del revisor.

Es importante que la revisión esté estructurada en apartados claramente identificables por autores y revisores. Aunque cada revista emplee una rúbrica diferente, lo habitual es que aparezcan estructuradas en dos grandes bloques: el referido a la evaluación de aspectos formales, y el referido a la evaluación del contenido.

Con ligeras variaciones, los aspectos formales de un manuscrito se refieren básicamente a estos dos criterios:

  1. La estructura y el orden expositivo. Basta una lectura superficial para que cualquier editor y revisor experimentado detecte si el envío tiene la forma esperada en una comunicación científica. Ciertas partes como el título, el resumen y las palabras clave (en español y en inglés), la introducción o encuadre conceptual, el apartado metodológico, los bloques de resultados, discusión y conclusiones, así como las referencias bibliográficas, son estándares formales que debe cumplir todo artículo. Esto es aplicable a cualquier investigación científica, incluidos los ensayos, cuyo estilo más especulativo o teórico no impide la organización del contenido en similares epígrafes a los mencionados.

Leer más

Aceptar una revisión: relevancia para la carrera académica de los/as investigadores/as del campo de la comunicación

https://doi.org/10.3916/escuela-de-revisores-008

En la última década, el profesorado universitario ha podido constatar cómo ha aumentado de forma exponencial la carga de trabajo burocrática y administrativa. A la atención online a los estudiantes y a los diversos órganos de gestión universitaria, multiplicada exponencialmente en los tiempos de la crisis sanitaria por el coronavirus, se ha añadido una nueva tarea: la aceptación o rechazo de la revisión de artículos, que nos demandan los editores de las revistas científicas de comunicación.

El primer impulso, con frecuencia, es valorar esta petición como una nueva tarea que se acumula a las muchas que nos llegan cada día. La cultura de la evaluación, fuertemente arraigada en el mundo anglosajón, tiene todavía un breve recorrido en el contexto español y latinoamericano. Pocas veces somos conscientes que aceptar una revisión abre un amplio abanico de oportunidades. En primer lugar, realizar una revisión supone una oportunidad para conocer, de primera mano, una investigación inédita. La realización de revisiones, con cierta regularidad, nos permite conocer los temas que se están investigando, las estrategias metodológicas que desarrollan los investigadores para abordar los objetos de estudio, las fuentes bibliográficas y documentales de las que se sirven, cómo exponen los resultados de sus investigaciones, etc. De este modo, la aceptación de revisiones nos ayuda a crecer como investigadores, y nos ayuda a estar al día en lo que se está investigando en la actualidad.

Leer más

Entre el reconocimiento de lo tangible e intangible del revisor científico: ¿ser o no ser?

https://doi.org/10.3916/escuela-de-revisores-007

Nuestra recompensa se encuentra en el esfuerzo y no en el resultado. Un esfuerzo total es una victoria completa (Mahatma Gandhi)

La palabra reconocimiento (ser reconocido) en cuanto al experto en ciencia, puede ser un arma de doble filo: por un lado, de ella puede devenirse el egocentrismo de un agente académico (muchas veces nocivo para la ciencia) y por el otro, puede ser la garantía para encontrar ese par académico aportador, noble, perdido y necesitado en la publicación de artículos científicos.

Encontrar a este último, no es trabajo sencillo; pero, hay ciertas pistas que nos permiten dar con un revisor para que comience a ser esa piedra angular de calidad para una revista: su reputación, el voz a voz, las relaciones académicas, su trayectoria medible como autor de textos científicos, su aporte sustancial al manuscrito que revisa, su percepción en la originalidad de un artículo, etcétera.

Leer más

Descubriendo al autor: Consejos para la identificación de los autores en las revisiones ciegas

https://doi.org/10.3916/escuela-de-revisores-006

El sistema de ciego simple y doble ciego en las revistas científicas tiene sus seguidores y detractores, (hay quien propone, el triple, cuádruple y séxtuple ciego ). No es el objeto de este post hablar de las bondades del sistema, sino todo lo contrario. El objetivo de este post es “hacer que los ciegos vean” (Jn 9:39). No obstante, este texto también está dirigido a los autores que deben aprender a mantenerse en el anonimato y editores de revistas que deben velar por el anonimato de los trabajos en revisión.

Un buen científico, en su papel de revisor, debería poder identificar a los autores de los trabajos de su área, especialmente los trabajos de sus compatriotas, o al menos acotar suficientemente el número de «sospechosos». Esto por supuesto tiene sus limitaciones, es muy difícil identificar a los nuevos investigadores del sistema o a los investigadores que cambian de línea de investigación. A veces las identificaciones son erróneas, puesto que se identifican a los maestros y compañeros de los autores, que tienen líneas de investigación y grupos sociales académicos similares. Podemos decir que uno de los objetivos inherentes (aunque no declarado) a toda revisión ciega es la identificación de la fuente (el autor), para ello el trabajo se convierte en un tablero de “cluedo” y el investigador debe ir descubriendo las pistas, ponerlas en contexto y descubrir a Mr. X.

Leer más

Los revisores: piedra angular de una revista científica de calidad

https://doi.org/10.3916/escuela-de-revisores-005

Muchas veces, en los foros universitarios, se reflexiona y discute, a veces acaloradamente, sobre las revistas científicas, especialmente sobre su controvertida calidad. Es cierto que las indexaciones internacionales, con sus rankings famosos, especialmente JCR y Scopus, han clasificado a las publicaciones en función de su factor de impacto en cuartiles y percentiles, como si esta fuera la única manera de medir la “calidad” de una publicación. Sin duda, es este un concepto más amplio que abarca dimensiones vinculadas al proceso de gestión de manuscritos originales, novedosos y significativos, así como la visibilidad de los mismos.

Si algo define, desde mi punto de vista, a una revista científica de calidad, es su capacidad de ser conocida y reconocida por una amplia comunidad científica de lectores y autores, por la pulcritud y rigor en sus procesos, la ética, puntualidad y transparencia de todos sus flujos y, sobre todo, por contar con un amplio cuerpo de revisores científicos internacionales prestigiosos en su campo, que sean capaces sistemáticamente de detectar la mejor ciencia para ser publicada. No hay que olvidar que las revistas científicas, ante todo, han de publicar trabajos que progresen y avancen “ciencia” y esto no es una simple obviedad, viendo el panorama de muchas publicaciones por doquier.

Leer más

Página 1 de 2

Funciona con WordPress & Tema de Anders Norén