Categoría: Revisión científica Página 1 de 2

Relación entre el informe y la valoración final en la ficha de evaluación

Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.

Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?

Aunque no hay una sistematización, principalmente porque existen diferencias importantes entre los diferentes campos, especialmente en un área tan abierta como la comunicación, se han establecido políticas, procesos y principios editoriales que coinciden en lo importante y garantizan, en todos los casos, la integridad de la evaluación.

Todas las revistas, una vez que el evaluador ha aceptado la invitación para informar sobre un artículo, indica los plazos y modos de entregar el dictamen. La forma más habitual es realizar el informe a través de un formulario que cada revista tiene y en la que se determinan aquellos puntos más importantes en cuanto a los aspectos formales y de contenido que todo artículo científico debe tener. Ese sería nuestro código penal.

Como se señaló para una “Publicación de investigación responsable” en la Segunda Conferencia Mundial sobre Integridad de la Investigación de Singapur en 2010, dentro de los estándares internacionales para editores “las revistas deben adoptar políticas que fomenten la presentación de informes completos y honestos”.

Un breve repaso por las revistas nos indica que casi todas coinciden en los mismos aspectos, pues todas inciden en los elementos necesarios que debe tener un trabajo de investigación, y como señala Comunicación y sociedad: “La dirección editorial garantizará, en todos los casos, que los dictámenes entregados a los autores/as contengan argumentos sólidos que respalden la decisión editorial”. Subrayamos argumentos sólidos.

Es importante que las revistas tengan visible sus fichas de evaluación para que los evaluadores los conozcan antes de tomar la decisión de aceptar la invitación para realizar el informe y sobre todo que las sigan al pie de la letra. Sin pretender ser exhaustivos, los siguientes once ítems suelen ser los más habituales:

  • Título (representativo del contenido)
  • Resumen (claridad y presentación de objetivos, metodología, principales resultados y conclusiones)
  • Rigor metodológico
  • Relevancia de la temática
  • Revisión de la literatura
  • Estructura y organización artículo
  • Capacidad argumental y coherencia
  • Redacción científica
  • Aportaciones innovadoras
  • Conclusiones
  • Referencias

En su conjunto vienen a ser el compendio de lo que todo artículo científico debe contener y de la valoración de cada uno de ellos el evaluador debe extraer una resolución final. Aunque muchos se entremezclan, cada uno de los apartados debe considerarse de forma independiente, señalándose sus cualidades positivas o defectos que se detecten. Algunas revistas utilizan el sistema de valoración bajo varios apartados –deficiente, cuestionable, bueno, excelente– y otras, como Comunicar, una valoración cuantitativa de cuya suma final sale directamente el rechazo, cambios mayores, cambios menores o aceptación.

Además, y esto es lo más importante, al final debe realizar un informe razonado con argumentos sólidos y, añadiríamos, en sintonía con las valoraciones realizadas en cada ítem. Estos no tienen el mismo valor. Un título poco representativo es fácilmente modificable o un resumen que olvida alguno de los aspectos relevantes también, pero difícilmente se puede decir lo mismo de un texto que adolece de una estructura ordenada, una metodología errónea o un artículo plagado de incoherencias.

Al final de un proceso judicial, el juez redacta un informe a partir de todos las evidencia y pruebas presentadas para emitir una deliberación justa, y la resolución debe ser acorde con todos esos datos. De hecho, el velo en los ojos que lleva la representación de la justicia simboliza lalimitación del juez a los hechos para poder dictar sentencia. De igual manera, el evaluador debe ser coherente con la valoración que de cada ítem ha realizado y emitir un juicio acorde con esas premisas.

Pero algo nos diferencia de los jueces, porque en la investigación científica no hay conflicto de intereses. Al contrario, lo que se está valorando es el trabajo de investigadores, que envían unos trabajos que, con mayor o menor acierto, siempre conllevan muchas horas de dedicación y esfuerzo y por tanto la sentencia final debe ser siempre constructiva. Un rechazo no se debe entender como una condena, sino la manera en la que vamos construyendo la ciencia.

Cualidades que debe tener un Buen Revisor

La Comunicación es una disciplina dinámica, en la que el cambio es una constante, en consecuencia requiere de la investigación científica seria, que integra nuevos hallazgos, que estudia las distintas perspectivas que se van presentando, los diversos contextos en que se van desarrollando y que permite finalmente que se presente una visión más amplia de las ciencias.

Y en esa tarea investigadora encontramos a los autores, y a sus pares, los revisores, que son los que evalúan la calidad de las comunicaciones presentadas a las revistas científicas. Todas las Revistas de Comunicación buscan, como lo recoge el Journal of Communication, brindar a sus lectores los hallazgos más recientes, amplios e importantes en el campo de los estudios de la comunicación, y esperan que los manuscritos sean contribuciones originales a esa investigación académica.

Los revisores son la piedra angular de las revistas científicas de calidad. Reciben la confianza de los editores para valorar las investigaciones y recomendar la publicación de aquellas que avancen el conocimiento científico. Asisten a los órganos de la revista en la toma de las decisiones editoriales y ayudan a la mejora de los artículos.

Leer más

Publons, el arca de los revisores

La reputación de una revista académica se relaciona formalmente con el impacto de las publicaciones y se expresa de manera tangible en las métricas de las principales bases de datos indexadas. Los indicadores como Journal Citation Reports (JCR) o SCImago Journal Rank (SJR), entre otros, evidencian la calidad de la producción científica de la revista y suponen un constante esfuerzo del equipo editorial por descubrir los mejores artículos y proporcionarles una mayor visibilidad.

En este proceso de publicación científica, la etapa más delicada es el peer review. Por un lado, este depende de la cantidad de trabajo que los Editores invierten en la búsqueda y diálogo con los expertos; por el otro, porque la revisión por pares, en la mayoría de los casos, es una actividad voluntaria, colaborativa y no retribuida. El investigador que acepta la evaluación del manuscrito dedica tiempo y esfuerzo, supeditados por decisiones tan importantes como las métricas de desempeño o las contrataciones laborales.

Leer más

Resultados, discusión y conclusiones: juntos, pero no revueltos

Dentro de la estructura IMRyC, muchos de los manuscritos que llegan a las revistas presentan una serie de errores en estos tres apartados del artículo, por confusión u omisión, que es interesante que los revisores controlen de cara a realizar una buena evaluación.

Es preciso tener en cuenta que Resultados, Discusión y Conclusiones presentan similitudes que, a menudo, provocan repeticiones que nada aportan a la riqueza de un artículo y que van en contra de la necesaria precisión, claridad y brevedad que debe tener la escritura científica.

Imaginemos que entramos a un recinto donde se encuentra una piscina. Podemos realizar distintas acciones con un nivel desigual de compromiso: observarla y describirla (Resultados), sentarnos y meter los pies en ella para comparar su temperatura con la nuestra (Discusión) o, por último, podemos zambullirnos en ella y, en cierta manera, formar parte de esta (Conclusiones). Estas tres maneras de “relacionarnos” con la piscina, que aparentemente están claras, se confunden a menudo. Por ello, es importante que los revisores comprueben si en cada sección se tienen en cuenta las siguientes consideraciones.

Los Resultados (Describimos la piscina que se encuentra en el recinto) En este apartado los revisores tienen que comprobar si se realiza una correcta exposición de los resultados obtenidos. Es decir, si se responde a la pregunta ¿qué se encontró? Y verificar que los autores: 1) No duplican (triplican) la información que presentan, 2) Se alternan las enumeraciones de datos, tablas y figuras (eligiendo la forma más adecuada para cada caso) en su presentación. En definitiva, lo que tienen que hacer los autores en este apartado es mostrar sus resultados sin opiniones o interpretaciones, de la manera más objetiva posible.

Leer más

La estructura de una revisión

No existe un procedimiento único y homogéneo para completar la revisión de un envío, así que el formulario empleado por cada revista determinará la organización y exposición de los comentarios del revisor.

Es importante que la revisión esté estructurada en apartados claramente identificables por autores y revisores. Aunque cada revista emplee una rúbrica diferente, lo habitual es que aparezcan estructuradas en dos grandes bloques: el referido a la evaluación de aspectos formales, y el referido a la evaluación del contenido.

Con ligeras variaciones, los aspectos formales de un manuscrito se refieren básicamente a estos dos criterios:

  1. La estructura y el orden expositivo. Basta una lectura superficial para que cualquier editor y revisor experimentado detecte si el envío tiene la forma esperada en una comunicación científica. Ciertas partes como el título, el resumen y las palabras clave (en español y en inglés), la introducción o encuadre conceptual, el apartado metodológico, los bloques de resultados, discusión y conclusiones, así como las referencias bibliográficas, son estándares formales que debe cumplir todo artículo. Esto es aplicable a cualquier investigación científica, incluidos los ensayos, cuyo estilo más especulativo o teórico no impide la organización del contenido en similares epígrafes a los mencionados.

Leer más

Aceptar una revisión: relevancia para la carrera académica de los/as investigadores/as del campo de la comunicación

En la última década, el profesorado universitario ha podido constatar cómo ha aumentado de forma exponencial la carga de trabajo burocrática y administrativa. A la atención online a los estudiantes y a los diversos órganos de gestión universitaria, multiplicada exponencialmente en los tiempos de la crisis sanitaria por el coronavirus, se ha añadido una nueva tarea: la aceptación o rechazo de la revisión de artículos, que nos demandan los editores de las revistas científicas de comunicación.

El primer impulso, con frecuencia, es valorar esta petición como una nueva tarea que se acumula a las muchas que nos llegan cada día. La cultura de la evaluación, fuertemente arraigada en el mundo anglosajón, tiene todavía un breve recorrido en el contexto español y latinoamericano. Pocas veces somos conscientes que aceptar una revisión abre un amplio abanico de oportunidades. En primer lugar, realizar una revisión supone una oportunidad para conocer, de primera mano, una investigación inédita. La realización de revisiones, con cierta regularidad, nos permite conocer los temas que se están investigando, las estrategias metodológicas que desarrollan los investigadores para abordar los objetos de estudio, las fuentes bibliográficas y documentales de las que se sirven, cómo exponen los resultados de sus investigaciones, etc. De este modo, la aceptación de revisiones nos ayuda a crecer como investigadores, y nos ayuda a estar al día en lo que se está investigando en la actualidad.

Leer más

Entre el reconocimiento de lo tangible e intangible del revisor científico: ¿ser o no ser?

Nuestra recompensa se encuentra en el esfuerzo y no en el resultado. Un esfuerzo total es una victoria completa (Mahatma Gandhi)

La palabra reconocimiento (ser reconocido) en cuanto al experto en ciencia, puede ser un arma de doble filo: por un lado, de ella puede devenirse el egocentrismo de un agente académico (muchas veces nocivo para la ciencia) y por el otro, puede ser la garantía para encontrar ese par académico aportador, noble, perdido y necesitado en la publicación de artículos científicos.

Encontrar a este último, no es trabajo sencillo; pero, hay ciertas pistas que nos permiten dar con un revisor para que comience a ser esa piedra angular de calidad para una revista: su reputación, el voz a voz, las relaciones académicas, su trayectoria medible como autor de textos científicos, su aporte sustancial al manuscrito que revisa, su percepción en la originalidad de un artículo, etcétera.

Leer más

Los revisores: piedra angular de una revista científica de calidad

Muchas veces, en los foros universitarios, se reflexiona y discute, a veces acaloradamente, sobre las revistas científicas, especialmente sobre su controvertida calidad. Es cierto que las indexaciones internacionales, con sus rankings famosos, especialmente JCR y Scopus, han clasificado a las publicaciones en función de su factor de impacto en cuartiles y percentiles, como si esta fuera la única manera de medir la “calidad” de una publicación. Sin duda, es este un concepto más amplio que abarca dimensiones vinculadas al proceso de gestión de manuscritos originales, novedosos y significativos, así como la visibilidad de los mismos.

Si algo define, desde mi punto de vista, a una revista científica de calidad, es su capacidad de ser conocida y reconocida por una amplia comunidad científica de lectores y autores, por la pulcritud y rigor en sus procesos, la ética, puntualidad y transparencia de todos sus flujos y, sobre todo, por contar con un amplio cuerpo de revisores científicos internacionales prestigiosos en su campo, que sean capaces sistemáticamente de detectar la mejor ciencia para ser publicada. No hay que olvidar que las revistas científicas, ante todo, han de publicar trabajos que progresen y avancen “ciencia” y esto no es una simple obviedad, viendo el panorama de muchas publicaciones por doquier.

Leer más

Cuando el ego (y la necesidad de citación) juega en contra de una buena revisión

“Nunca mandar al autor una evaluación de pares sin antes haberla leído en detalle”. Esa lección, que parece obvia, la aprendimos como equipo editorial en la medida en que nuestra revista fue creciendo y aumentando sus índices de impacto. Cada día empezaron a llegar más revisiones de pares que caían en, lo que me parece, son dos vicios que hay que tratar de evitar a toda costa:
1) Por un lado, la tendencia a sugerir como decisión editorial una aceptación (con cambios menores, cambios mayores, o cualquiera de las variantes del R&R que tenga cada revista) de artículos que no cumplen con los estándares para ser publicados, solamente porque dentro de sus referencias aparecían referencias al evaluador(a) en cuestión.
2) Por otro lado, la incorporación en la evaluación de sugerencias innecesarias para extender la revisión teórica. En otras palabras, revisores que piden incluir “nuevas referencias”, las cuales pertenecen a (adivinen) el/la evaluador(a) en cuestión.

Leer más

La revisión de los criterios metodológicos en el aparato empírico de un artículo científico

Un criterio central de la solidez de una revista científica es la calidad empírica de sus artículos. Aunque esto parece innecesario decirlo, por resultar obvio, le verdad es que en el día a día del quehacer editorial este criterio puede desdibujarse con facilidad debido a condiciones mayoritariamente prácticas. Decimos que prácticas, pues, aunque el equipo editorial está siempre consciente de que el trabajo empírico representa la esencia de un artículo científico, los editores no somos y no podemos ser especialistas en cada uno de los modelos de tratamiento metodológico. Esta situación lleva implícita, entonces, que errores metodológicos de origen puedan ser pasados por alto en el proceso de edición; baste decir que en aparatos metodológicos basados en diseños cuantitativos complejos es fácil que los editores con conocimientos estadísticos no especializados podamos perder de vista errores que se diluyen entre tablas de frecuencia y gráficos coloreados.

Leer más

Página 1 de 2

Funciona con WordPress & Tema de Anders Norén