Resumo: A Tarefa do Árbitro
Alan Jay Smith
``The Task of The Referee'', IEEE Computer, Abril de 1990
Christian Reis
<kiko at async.com.br>
Resumo:
Arbitrar artigos científicos é uma tarefa importante que faz parte das
atribuições comuns de um pesquisador. No entanto, é uma atividade para o
qual não recebem treinamento formal, e em geral aprendem por experiência
e leitura. Este artigo [
Smith, 1990] oferece uma série de recomendações
para arbitragem de artigos científicos e para a criação do relatório de
arbitragem.
Avaliar um artigo é análogo à atividade de um professor ao
corrigir uma prova; deve-se manter uma mente aberta, e avaliar e checar
o artigo sem nenhuma noção pré-concebida de qualidade ou corretitude. A
tarefa do árbitro é decidir se o papel faz uma contribuição
suficiente para o campo de pesquisa ao qual é destinado. É importante,
portanto, evitar ser ou radicalmente crítico, ou radicalmente
permissivo.
O relatório deve conter diversas seções:
- No início, é importante colocar brevemente sua recomendação e as
razões para esta.
- Um resumo de até 5 frases descrevendo a essência do artigo, para
garantir que houve entendimento do assunto.
- Uma avaliação da validade e da significância do objetivo da
pesquisa.
- Uma avaliação da qualidade do trabalho, incluindo metodologia,
técnica utilizada, acuracidade do resultado e apresentação.
- A recomendação para a publicação do artigo, acompanhada de
mudanças sugeridas e necessárias. Pode-se sugerir, adicionalmente,
outras opções de publicação.
É importante ser respeitoso e direcionar sua avaliação ao artigo, e não
ao autor. É importante que a avaliação seja objetiva e justa -- quanto
mais aceitável psicologicamente, maior a chance do relatório cumprir sua
função.
O conjunto básico de metas pode ser atingido se avaliando as seguintes
questões:
- Qual é o propósito do artigo? O problema, os aspectos importantes
e os resultados estão claramente colocados?
- O artigo é apropriado para o fórum escolhido?
- O objetivo é relevante?
- O método aplicado é valido?
- A execução do método está correta?
- As conclusões corretas foram abstraídas dos resultados?
- A apresentação é satisfatória?
Ao final, é importante que o árbitro se coloque na posição do leitor e
avalie o quando o artigo serviu para agregar conhecimento. Se pouco ou
nada foi aprendido, o artigo não é publicável.
Após comparar o artigo a um padrão apropriado -- um bom guia é a média
dos artigos que o árbitro compôs, ou a média dos artigos que são
julgados relevantes -- o árbitro deve colocar o artigo em uma das
seguintes categorias, listadas do mais ao menos publicável.
- Resultados significativos; excepcionalmente importante.
- Trabalho bom, sólido e interessante.
- Contribuição pequena, porém positiva.
- Elegante e tecnicamente correta, porem irrelevante ou inútil.
- Nem elegante e nem útil, mas não incorreto.
- Trabalho incorreto.
- Mal-escrito a ponto de ser impossível avaliar tecnicamente.
Em seguida, deve ser feita uma avaliação dos padrões do periódico ou
conferência. É razoável comparar o artigo avaliado à média dos artigos
publicados naquele veículo, mantendo em mente que pode ser possível que
a média esteja necessitando de um ajuste -- ajuste este que é feito
através de uma arbitragem crítica.
Ao final, uma recomendação clara em relação à publicação é essencial.
Artigos para publicação em geral estarão nas categorias 1 e 2 acima, e alguns
na categoria 3. É possível se colocar uma recomendação dúbia ``talvez'',
mas é importante que seja acompanhada de uma explicação clara dos
motivos. Também pode-se fazer uma recomendação para publicação em outro
periódico ou conferência, caso se julgue o canal inapropriado.
Estes tipos de artigos diferem de artigos de pesquisa por não incluir
material novo, mas reunir uma variedade de resultados menores. Para um
tutorial, é importante analisar a cobertura do assunto, o
escopo escolhido, e a adequação da linguagem e conteúdo ao
público-alvo. Para um levantamento, é importante se analisar a
consistência da integração do material, as citações feitas, e o
equilíbrio e imparcialidade da avaliação do autor.
Uma avaliação de uma proposta deve analisar, além da proposta em si, a
reputação e histórico do pesquisador. O problema principal em se avaliar
uma proposta é que o autor descreve o que se pretende fazer, de
forma que se deve avaliar o resultado provável da pesquisa proposta.
Deve se analisar se o autor tem um histórico de pesquisas de baixo
padrão ou excelente trabalho, levando em consideração a variabilidade
natural da qualidade. É importante, no entanto, não discriminar contra novos
pesquisadores -- neste caso, a avaliação deve se apoiar principalmente
no texto da proposta e do currículo do autor.
- Submissão simultânea, prévia ou inalterada
Se o artigo é enviado para avaliação em diversos periódicos, este fato
deve estar claramente colocado e os árbitros, devidamente notificados.
Se já houve publicação anterior, é importante levar em conta questões de
propriedade intelectual e se existe um motivo significativo para
republicação. Se o artigo é resubmetido para avaliação sem alteração,
deve ser devolvido imediatamente para o autor com a sugestão de não se
ignorar recomendações de arbitragem.
- Crédito e plágio
O autor deve clara e completamente reconhecer trabalho conjunto e
anterior.
- Tempo para resposta e devolução
O relatório deve ser entregue o quanto antes, especialmente para
conferências, onde existem deadlines claros para submissão. Se não será
possível revisar o artigo em uma quantidade de tempo razoável, o editor
deve ser notificado. É importante notar que pesquisadores que nunca
aceitam arbitrar têm dificuldade para publicar seus próprios artigos.
- A reputação do autor
Não há consenso claro se a reputação deve influir ou não na publicação
de um artigo. Na opinião do autor deste artigo, o nome do pesquisador só
deve ser considerado para se avaliar as ambiguidades e pontos menos
claros do artigo: se o autor tem uma reputação por trabalhos ruins, é
provável que estes aspectos representem erros ocultos.
- Confidencialidade
Não se deve usar material de um artigo enviado para avaliação, e não
devem ser publicamente distribuídas cópias deste.
- Conflitos de interesse
Deve ser avisado ao editor qualquer conflito de interesse com o artigo;
se o conflito ou for grande o suficiente, ou for impossível conduzir uma
avaliação informal, este artigo deve ser devolvido.
- A tarefa do editor
Além de receber o artigo e manter correspondência com os autores, o
editor deve escolher os árbitros corretos para aquele artigo, ler os
relatórios, e decidir quais recomendações e alterações são importantes.
- A tarefa do chefe do programa
Para uma conferência, o chefe do programa deve escolher os árbitros para
os artigos e recolher os relatórios. O problema maior com conferências
são as restrições de tempo, e é costume usar notas absolutas para julgar
os artigos; estas notas devem ser atribuídas e avaliadas com bastante
cuidado.
Ao escrever um artigo, é sempre importante manter em mente a questão de
como o artigo será analisado e criticado quando for revisto por um
árbitro. Também deve ser analisado se o periódico ou conferência
escolhidos são os corretos; a forma mais fácil de se fazer isto é olhar
os artigos publicados previamente. Aproveitar bem os relatórios dos
árbitros, e evitar se ofender por sugestões de alterações e correções
torna o trabalho de arbitragem muito mais valioso.
Revisão é uma das bases mais importantes do progresso científico, e
relatórios de arbitragem são essenciais ao processo. As instruções
apresentados no artigo devem ser úteis no treinamento de árbitros; estes
por sua vez, devem se esforçar para continuamente melhorar a qualidade
das suas avaliações.
- Smith, 1990
- Smith, Alan Jay. The Task of the Referee,
IEEE Computer, Abril de 1990.
Christian Reis
2000-09-14