El proceso de evaluación externa de artículos científicos (peer review en inglés, también denominado arbitraje, evaluación o revisión por pares, por expertos o por colegas) hace referencia a la práctica editorial establecida en muchas revistas científicas consistente en someter los manuscritos que reciben a la revisión por parte de expertos en el tema correspondiente. Estos expertos valoran las cualidades y defectos del manuscrito y sirven de ayuda al editor a la hora de tomar una decisión sobre la conveniencia o no de publicar el manuscrito, contribuyendo también a mejorar la calidad del mismo. Aunque el conocimiento empírico sobre este proceso es todavía limitado, existe consenso en calificarlo como la mejor de las opciones posibles para controlar la calidad de las publicaciones científicas.
Aunque el debate acerca de la idoneidad del proceso no se encuentra ni mucho menos concluido, en Archivos de Prevención de Riesgos Laborales todos los manuscritos originales recibidos, y una buena parte de los manuscritos con otros formatos, se someten a revisión por expertos, una práctica que comparten las principales revistas nacionales e internacionales.
Con el objetivo de optimizar el proceso de revisión en Archivos, se incluyen a continuación las directrices generales que deben seguir los revisores externos de manuscritos para nuestra revista.
1. Aspectos generales
• La evaluación externa de manuscritos es un proceso voluntario que se reconoce con la publicación anual en la revista de los nombres de los evaluadores que han colaborado durante ese periodo. Además, los revisores de Archivosrecibirán a final de año un certificado acreditando su colaboración con la revista.
• La solicitud de evaluación de un manuscrito puede ser aceptada o declinada libremente. Sin embargo, en caso de aceptación es imprescindible cumplir con los plazos establecidos para la realización de la revisión (tres semanas a partir de la recepción del manuscrito) y en caso de rechazo es igualmente imprescindible comunicarlo inmediatamente a la secretaría de la revista (en un plazo máximo de 48 horas). En caso de rechazo resultará útil la sugerencia al editor de otro experto o expertos que pudieran ser apropiados para la evaluación del manuscrito en cuestión, aunque será el editor quién decida en última instancia sobre la remisión del manuscrito a los mismos.
• Pueden ser motivos para declinar una invitación para realizar la evaluación de un manuscrito la imposibilidad de dedicarle el tiempo necesario para completar el trabajo en el plazo previsto, la falta de familiaridad o experiencia con el tema del manuscrito o conflictos de interés que puedan comprometer la neutralidad y el rigor necesarios para el proceso de revisión.
• El manuscrito es un documento confidencial hasta su potencial publicación. Por ello, no se deben comentar sus contenidos ni ningún aspecto relacionado con la evaluación con terceras personas. Los únicos interlocutores autorizados para cualquier cuestión relacionada con el proceso de evaluación son el director y los editores de Archivos.
• El proceso de evaluación en Archivos es anónimo, es decir, el evaluador desconoce la identidad e instituciones de origen del autor o autores del manuscrito. El evaluador puede también mantener su identidad anónima a los autores o, si lo prefiere, firmar sus comentarios a los autores.
• La decisión editorial sobre el manuscrito (aceptación, rechazo condicionado a cambios, rechazo) una vez recibidos los comentarios de los evaluadores externos es tomada por el editor correspondiente de Archivos y comunicada al evaluador externo, que también recibe copia de los comentarios de otros evaluadores que pueda haber tenido en su caso el manuscrito. Esta decisión es responsabilidad última del editor y se apoya tanto en los comentarios y sugerencias de los evaluadores externos como en criterios editoriales propios de la revista.
2. Realización de la evaluación
El proceso de evaluación externa de Archivos conlleva la cumplimentación de tres documentos por parte del evaluador:
a) La hoja de evaluación, que es remitida al evaluador junto con el manuscrito y que debe cumplimentarse en todas las partes que sean relevantes según la naturaleza y características del trabajo (esta hoja no es dada a conocer a los autores y se utiliza sólo a nivel interno por los editores de Archivos).
b) Los comentarios para el editor (al igual que la hoja de evaluación, esta parte tampoco es dada a conocer a los autores).
c) Los comentarios para los autores (esta parte es la única remitida a los autores sin que figure en la misma la identidad del evaluador a menos que éste así lo desee expresamente).
Los pasos necesarios para realizar correctamente la evaluación y poder completar adecuadamente todos estos documentos incluyen:
1. La lectura inicial completa del manuscrito, incluyendo título, resumen, texto, tablas y figuras y bibliografía, tal y como se haría de tratarse de un trabajo publicado. A la vez que se realiza esta primera lectura resultará útil anotar en papel aparte o señalar sobre el propio manuscrito los aspectos principales del estudio (por ejemplo, la declaración de objetivos o detalles fundamentales del método) y las cuestiones dudosas (por ejemplo, frases de difícil comprensión o conclusiones poco fundamentadas). En la segunda lectura ya se estará en disposición de desarrollar los aspectos propios de la evaluación.
2. La evaluación propiamente dicha del manuscrito. Entre las cuestiones que más comúnmente se deberá considerar para la evaluación, aunque su pertinencia puede variar en función del tipo de manuscrito, se incluyen:
• Adecuación para la audiencia de Archivos, presentando y justificando en su caso otras revistas o audiencias más apropiadas para el trabajo.
• Originalidad del trabajo en su campo, estimando su aportación al área de la prevención de riesgos laborales, si es conveniente con la cita de las referencias oportunas.
• Adecuación de título y resumen. El título puede ser demasiado inespecífico, o demasiado largo. Pueden existir inconsistencias entre los datos del resumen y los del texto y tablas. O bien pueden faltar partes esenciales del resumen, como la formulación del objetivo del trabajo, la presentación de datos numéricos, si es relevante, o las conclusiones del trabajo,
que con cierta frecuencia no se ajustan o no coinciden completamente con las que se derivan o desarrollan en el texto.
• Aspectos formales. ¿Tiene el texto una lectura fácil? ¿Es la redacción de las frases y párrafos clara, fácil de seguir? ¿Existen frases de difícil comprensión? El evaluador deberá comprobar si el texto respeta la estructura habitual, por ejemplo en el caso de un artículo original si los contenidos de la Introducción, Métodos, Resultados y Discusión están adecuadamente ordenados. Tablas y figuras deben ser comprensibles sin recurrir al texto y complementar la información del mismo, no repetirla. Conviene valorar también la extensión del texto, y en caso de que sea excesiva se puede sugerir a los autores párrafos o partes del texto prescindibles. El manuscrito debe respetar en todas su partes las “Instrucciones para los autores” de Archivos de Prevención de Riesgos Laborales.
• Aspectos éticos, incluyendo tanto cuestiones éticas de la propia investigación (por ejemplo, privacidad de los sujetos de estudio, consentimiento informado u otros principios éticos de las investigaciones médicas en seres humanos) como aspectos éticos de la publicación propiamente (por ejemplo, relativos a publicación repetitiva o a potenciales conflictos de interés).
• Contenido y validez de la información científica.
Objetivos: ¿Se presentan y definen adecuadamente?
Métodos: ¿Permite el diseño del estudio alcanzar los objetivos planteados? ¿Se describe suficientemente el ámbito, población y muestra utilizada en el estudio? ¿Son adecuados para los objetivos? ¿Se describen suficientemente las herramientas utilizadas para recoger la información? ¿Son adecuadas para los objetivos? ¿Es adecuado el análisis estadístico realizado?
Resultados: ¿Son creíbles? ¿Se ha seleccionado adecuadamente la información a presentar? ¿Se presenta la información relevante para responder la pregunta de investigación? ¿Se presentan datos superfluos o innecesarios?
Interpretación y conclusiones: ¿Se derivan adecuadamente de los datos presentados? ¿Se valoran los resultados del estudio en comparación con otros trabajos? ¿Se discuten las limitaciones del estudio? ¿Se sugieren las implicaciones del trabajo para la investigación futura en su campo?
Referencias bibliográficas: ¿Son relevantes? ¿Son actuales? ¿Se citan correctamente? ¿Hay alguna omisión importante? ¿Son insuficientes? ¿Son innecesariamente numerosas?
3. La redacción del informe de evaluación. Además de completar la hoja de evaluación en todas las partes relevantes según el tipo de manuscrito, el evaluador debe redactar sus comentarios para el editor y para los autores teniendo en cuenta las siguientes guías:
• En los comentarios para el editor se pueden expresar libremente opiniones relacionadas con el manuscrito que no es necesario hacer llegar a los autores, pero se piensa deben saber los editores. Por ejemplo, una recomendación acerca de la conveniencia o no de publicar el manuscrito será más correcto incluirla exclusivamente en los comentarios al editor. Una crítica dura a algún aspecto del manuscrito puede ser expresada más libremente al editor, aunque sea oportuno moderar el tono de esta misma crítica en los comentarios a los autores. Una situación detectada de conflicto ético grave será también más conveniente incluirla exclusivamente en los comentarios al editor. El evaluador puede encontrar también aspectos particulares del trabajo que no puede evaluar adecuadamente porque no dispone del conocimiento o experiencia necesarios (por ejemplo, un análisis estadístico poco común). Lo correcto en estos casos es informar también en los comentarios exclusivos para el editor.
• En los comentarios para los autores es conveniente incluir un primer párrafo resumiendo brevemente el trabajo (una o dos frases como mucho) junto con una evaluación de su relevancia y originalidad dentro del campo de la seguridad y salud en el trabajo y su adecuación para la audiencia de Archivos. En el informe de evaluación propiamente dicho algunos evaluadores prefieren dividir sus comentarios en mayores y menores, lo que suele resultar útil a editor y autores. Los comentarios mayores se refieren a limitaciones importantes en el diseño o contenidos del trabajo, mientras que los comentarios menores recogen cuestiones de más fácil resolución, por ejemplo problemas estructurales o de redacción del texto. En general es preferible una serie de comentarios separados antes que párrafos muy largos tratando diversos aspectos. Siempre que sea relevante, se debe detallar la ubicación en el texto del aspecto relacionado con cada cuestión comentada, haciendo referencia a la página, párrafo y frase y/o apartado donde se encuentra el problema. Si se numera cada comentario, la valoración del editor y la respuesta de los autores se verán altamente facilitadas. Es muy importante fundamentar todos y cada uno de los comentarios planteados, bien sea en base a contenidos específicos del manuscrito o cuando se basen en otro tipo de información, por ejemplo en evidencias de estudios previos. Así, cuando sea necesario, se incluirán citas bibliográficas en la evaluación que refuercen los argumentos planteados. Por último, se debe utilizar siempre un estilo respetuoso y constructivo en los comentarios a los autores. La función del evaluador no es sólo influir en la aceptación o rechazo del manuscrito. El buen evaluador realiza también una función educadora o de ayuda a los autores, a veces menos experimentados, que pueden beneficiarse de los comentarios y recomendaciones recogidos en la evaluación, aunque la decisión de la revista sea no publicar el trabajo. En este sentido, siempre que sea posible es preferible decir cómo se debe corregir o se podría haber corregido un problema que sencillamente indicar la existencia de ese problema.