Siguiendo la línea que nuestro compañero Ignacio Blanco adelantó en su post de julio, vamos a incidir un poco más en la importancia de los formularios de evaluación que tienen cada revista para ayudar en la organización y exposición de los comentarios del revisor.
Podríamos establecer un símil entre un evaluador y un juez. Ambos son pertinentes para realizar un juicio sobre la materia que tienen que evaluar. El evaluador emite un dictamen o juicio sobre una materia, al igual que el juez sentencia la causa. En ambos casos el veredicto no se puede establecer por criterios subjetivos, sino que hay elementos que deben sustentar la decisión final. En el juez hay un código penal que rige las normas jurídicas y en el que se sustentan las decisiones judiciales, pero ¿cuál es el código equivalente para el evaluador?
Aunque no hay una sistematización, principalmente porque existen diferencias importantes entre los diferentes campos, especialmente en un área tan abierta como la comunicación, se han establecido políticas, procesos y principios editoriales que coinciden en lo importante y garantizan, en todos los casos, la integridad de la evaluación.
Todas las revistas, una vez que el evaluador ha aceptado la invitación para informar sobre un artículo, indica los plazos y modos de entregar el dictamen. La forma más habitual es realizar el informe a través de un formulario que cada revista tiene y en la que se determinan aquellos puntos más importantes en cuanto a los aspectos formales y de contenido que todo artículo científico debe tener. Ese sería nuestro código penal.
Como se señaló para una “Publicación de investigación responsable” en la Segunda Conferencia Mundial sobre Integridad de la Investigación de Singapur en 2010, dentro de los estándares internacionales para editores “las revistas deben adoptar políticas que fomenten la presentación de informes completos y honestos”.
Un breve repaso por las revistas nos indica que casi todas coinciden en los mismos aspectos, pues todas inciden en los elementos necesarios que debe tener un trabajo de investigación, y como señala Comunicación y sociedad: “La dirección editorial garantizará, en todos los casos, que los dictámenes entregados a los autores/as contengan argumentos sólidos que respalden la decisión editorial”. Subrayamos argumentos sólidos.
Es importante que las revistas tengan visible sus fichas de evaluación para que los evaluadores los conozcan antes de tomar la decisión de aceptar la invitación para realizar el informe y sobre todo que las sigan al pie de la letra. Sin pretender ser exhaustivos, los siguientes once ítems suelen ser los más habituales:
- Título (representativo del contenido)
- Resumen (claridad y presentación de objetivos, metodología, principales resultados y conclusiones)
- Rigor metodológico
- Relevancia de la temática
- Revisión de la literatura
- Estructura y organización artículo
- Capacidad argumental y coherencia
- Redacción científica
- Aportaciones innovadoras
- Conclusiones
- Referencias
En su conjunto vienen a ser el compendio de lo que todo artículo científico debe contener y de la valoración de cada uno de ellos el evaluador debe extraer una resolución final. Aunque muchos se entremezclan, cada uno de los apartados debe considerarse de forma independiente, señalándose sus cualidades positivas o defectos que se detecten. Algunas revistas utilizan el sistema de valoración bajo varios apartados –deficiente, cuestionable, bueno, excelente– y otras, como Comunicar, una valoración cuantitativa de cuya suma final sale directamente el rechazo, cambios mayores, cambios menores o aceptación.
Además, y esto es lo más importante, al final debe realizar un informe razonado con argumentos sólidos y, añadiríamos, en sintonía con las valoraciones realizadas en cada ítem. Estos no tienen el mismo valor. Un título poco representativo es fácilmente modificable o un resumen que olvida alguno de los aspectos relevantes también, pero difícilmente se puede decir lo mismo de un texto que adolece de una estructura ordenada, una metodología errónea o un artículo plagado de incoherencias.
Al final de un proceso judicial, el juez redacta un informe a partir de todos las evidencia y pruebas presentadas para emitir una deliberación justa, y la resolución debe ser acorde con todos esos datos. De hecho, el velo en los ojos que lleva la representación de la justicia simboliza lalimitación del juez a los hechos para poder dictar sentencia. De igual manera, el evaluador debe ser coherente con la valoración que de cada ítem ha realizado y emitir un juicio acorde con esas premisas.
Pero algo nos diferencia de los jueces, porque en la investigación científica no hay conflicto de intereses. Al contrario, lo que se está valorando es el trabajo de investigadores, que envían unos trabajos que, con mayor o menor acierto, siempre conllevan muchas horas de dedicación y esfuerzo y por tanto la sentencia final debe ser siempre constructiva. Un rechazo no se debe entender como una condena, sino la manera en la que vamos construyendo la ciencia.