Avaliação e métricas de investigação

Os resultados da investigação e os investigadores são avaliados mediante dois métodos essenciais:
 

Uma das componentes base da Ciência Aberta passa pela ampliação do ciclo de difusão do conhecimento científico, o que permite aos investigadores a disseminação dos resultados da investigação de uma forma mais transparente e aberta, atividade que deve ser medida e fornecer informação adicional e complementar às métricas tradicionais. A proliferação de sistemas de informação para o arquivo e a gestão de informação tem provocado alterações no domínio da avaliação da publicação científica e da aferição do impacto das publicações e dos investigadores.


 

​O impacto da investigação pode revelar-se nos domínios académico, social, económico e outros.

É importante a aferição do impacto por meios sustentáveis e transparentes, já que é relevante para o processo de avaliação em contexto de concursos e progressões, realização de relatórios de projetos, justificação de financiamento e aplicação de futuros investimentos, entre outros.

Face a um conjunto de alterações em curso nos últimos anos, que confluem na Ciência Aberta, existe um impulso para a redefinição dos critérios de avaliação, com base na ideia de que é necessária a existência de diferentes modelos para a avaliação da investigação e sua complementaridade.

Mais informação:
Manual de Formação em Ciência Aberta Foster: Revisão por Pares Aberta, Métricas e Avaliação 

Snowball Metrics
Visa a padronização de métricas nas instituições produtoras ou avaliadoras de ciência de forma a estabelecer estratégias eficazes e abertas para esta área.

Consiste num conjunto de métricas, testadas e consensualizadas entre os parceiros, apresentado sob a forma de “receitas” e visa o benchmarking para as diferentes áreas disciplinares e atividades de investigação.

A versão atual é de 2017. No livro de receitas, cada métrica é identificada pelo símbolo, colocado a seguir ao nome da métrica:


Livro de receitas Snowball Metrics
Lista detalhada Snowball Metrics
. 



A SciVal, plataforma disponível na Universidade de Aveiro para a avaliação da performance na investigação inclui varias métricas Snowball, como por exemplo:

• Field-Weighted Citation Impact
• H-index
• Scholarly Output
• Citation Count

San Francisco Declaration on Research Assessment (DORA)
Declaração redigida em 2012 por um grupo de editores científicos e assinada por milhares de investigadores, instituições, editores e financiadores, que se comprometem a colocar os princípios em prática.



Aponta um conjunto de recomendações, tais como:

• que se evitem as metodologias de avaliação baseadas em indicadores de prestígio de revistas científicas;
• que passem a considerar-se todos os tipos de resultados de investigação;
• que se usem em paralelo várias formas de métricas e métodos de avaliação qualitativa.

Ler a Declaração

Leiden Manifesto
Chama a atenção para os limites da utilização de indicadores exclusivamente quantitativos. Neste manifesto recomendam-se dez princípios que constituem um guia de boas práticas para uma  aplicação de métricas de investigação justa e transparente:

1. A avaliação quantitativa deve suportar a avaliação qualitativa, realizada por especialistas;
2. A aferição da performance deve ser estabelecida de acordo com a missão de investigação da instituição, grupo ou investigador e os distintos outputs;
3. Proteção da excelência da investigação local, medida através de métricas baseadas na excelência e não o idioma;
4. A recolha de dados deve ser aberta, transparente e simples;
5. Os avaliados devem poder verificar os dados usados e as análises realizadas;
6. As práticas de publicação e de citação divergem consoante as áreas disciplinares. Tal variedade de práticas deve ser tida em conta na altura da avaliação;
7. A avaliação de investigadores individuais deve ser qualitativa e baseada na sua carreira;
8. As melhores práticas de avaliação usam diversos indicadores de forma complementar;
9. Quanto maior for o conjunto de indicadores, menor é a possibilidade de serem usados de maneira errada;
10. Os indicadores devem ser escrutinados e atualizados regularmente.

Versão em português

A revisão por pares é usada para avaliar o conteúdo dos resultados de investigação.

Trata-se do mecanismo formal de certificação da qualidade através do qual os manuscritos (por exemplo artigos de revistas, livros, candidaturas a bolsas de financiamento, e comunicações a conferências) são sujeitos ao escrutínio de outros, cujos comentários e feedback em geral são utilizados para melhorá-los e tomar decisões sobre a seleção para publicação.

A modalidade de revisão por pares aberta pode ser definida como “termo abrangente para um conjunto de formas diferentes e sobrepostas em que os modelos da revisão por pares podem ser adaptados em função dos objetivos da Ciência Aberta.”

Tem como características principais:

• as “identidades abertas” em que os nomes do autor e do revisor são conhecidos por ambos (isto é, não se trata de revisão cega). Fomenta uma maior responsabilidade dos revisores e reduz as possibilidades de vieses ou conflitos de interesse não revelados.
• os “comentários abertos” em que os comentários dos revisores são publicados juntamente com o artigo. Adicionam uma garantia de qualidade, permitindo que a comunidade em geral analise as revisões e os processos de tomada de decisão.
• estas práticas podem ainda ser complementadas pela “participação aberta”, na qual os membros da comunidade podem contribuir para o processo de revisão e a interação aberta, onde a discussão entre autores e revisores, e entre diferentes revisores, é permitida e encorajada.

Mais informação: Manual de formação em CIência Aberta 

Copernicus
Frontiers
BioMed Central
eLife
F1000research
ScienceOpen
Publons (plataforma da Clarivate Analytics)

É uma métrica fundamental para a avaliação da publicação científica, sendo a base de cálculo para a maioria dos indicadores bibliométricos. Algumas questões a ter em conta: a primeira citação a um artigo pode levar anos; artigos de relevância para o avanço do conhecimento podem nunca vir a ser citados, a contagem de citações não tem em conta o impacto fora do circuito científico e académico.

Para a contagem de citações:
Web of Science Core Collection

SCOPUS

Google Scholar e Google Scholar Citations

 

É uma das métricas mais comuns para avaliar o impacto de um autor. Fornece dados sobre a produção científica de um investigador, combinando a quantidade (número de artigos) com a qualidade (impacto, número de citações por artigo).

Este indicador foi concebido por Jorge Hirch e não deve ser comparado em áreas temáticas diferentes. Um conjunto de outputs de investigação (de um investigador ou de uma unidade) tem por exemplo um h-index de 17 se 17 desses papers tiverem recebido cada um pelo menos 17 citações e se 18 desses papers não tiverem recebido pelo menos 18 citações. O h-index não deve ser usado como métrica para instituição.

O h-index de um determinado autor altera-se à medida que o autor publica mais artigos, e à medida que os mesmos vão sendo citados.

Mais informação H-index

Considera-se que o desempenho de uma revista não pode ser expresso por uma métrica única. As métricas de impacto das revistas também não devem ser usadas para exprimir o impacto dos artigos de um investigador ou de um grupo de investigação. Devem ser tidas em conta as diferenças nas práticas de comunicação e citação dos distintos campos de investigação.


Na ferramenta Journal of Citation Reports (Clarivate Analytics) é possível consultar métricas de publicações, baseadas nos dados de contagem de citações da base de dados Web of Science Core Collection:

• Fator de impacto (Impact Factor): a fórmula faz a divisão do número de citações correntes a artigos publicados nos últimos dois anos pelo número total de artigos publicados nesse mesmo período.
• Eigenfactor: baseia-se no número de vezes que os artigos publicados numa revista nos cinco anos anteriores foram citados no ano mais recente, levando também em consideração o prestígio da revista. Não contabiliza as autocitações.

Na base de dados Scopus - Sources é possível consultar métricas de publicações, baseadas nos dados de contagem de citações da Scopus:

• CiteScore: indicador desenvolvido pela Elsevier, com uma fórmula de cálculo semelhante ao Factor de Impacto.

• Scimago Journal Rank Indicator: desenvolvido pelo grupo SCImago, baseado no algoritmo Google PageRank​ e calculado anualmente. Mede a “influência científica” média dos artigos de uma revista.

• Source normalized impact per paper (SNIP): contagem de citações de uma revista com base no potencial de citação de um artigo em função da área disciplinar.

A SciVal (Elsevier) é uma plataforma para a avaliação da performance na investigação, com dados de mais de 5500 instituições de ensino e investigação, recolhendo com uma atualização semanal dados da base de dados Scopus.



Fornece dados de impacto da investigação mediante um conjunto vasto de métricas para investigadores, centros ou unidades de investigação e instituições.

Permite análise de benchmarking mediante funcionalidades de análise de coautorias e redes de colaboração de investigadores, centros ou unidades de investigação e instituições.

Facilita o desenvolvimento de novas colaborações e a análise de tendências de investigação.

A Universidade de Aveiro subscreve a plataforma SciVal.

Para acesso:

• Aceda a Scival;
• Crie uma conta na plataforma - create account (se já tem conta na Scopus ou Mendeley, poderá utlizar os mesmos dados de acesso) e sempre que aceder à SciVal preveja que acede com o seu login e password;
• O acesso deve ser realizado na rede da UA ou por VPN. Na página Teletrabalho-VPN está disponível toda a informação necessária para aceder à rede da Universidade.

Os módulos principais da SciVal são:

Overview - fornece uma visão geral da performance da investigação para instituições, grupos de instituições, países e grupos de investigadores baseada em contagem de publicações, citações e colaboração.

Benchmarking – permite a comparação da performance de investigação entre instituições, investigadores e grupos de investigadores, com recurso a um vasto conjunto de métricas.

Collaboration - permite conhecer e analisar as colaborações de investigação por instituição e investigador, facilitando a pesquisa de novas oportunidades de colaboração por áreas de investigação.


Reporting – este módulo permite a criação de relatórios adequados a investigadores, centros ou unidades de investigação e instituições.

São várias as métricas disponíveis na plataforma para instituições, grupos de instituições, países e grupos de investigadores. Muitas destas métricas pertencem ao grupo Snowball Metrics, que consiste num conjunto de indicadores padronizados, resultantes de uma iniciativa para a tornar a avaliação mais transparente e aberta.

Na SciVal, as métricas Snowball estão identificadas pelo símbolo

Mais informação Snowball Metrics


Algumas das métricas na SciVal:  

Se nos dias de hoje é cada vez mais importante para os investigadores aumentar a visibilidade e o impacto das suas publicações, as ações que possam realizar nesse sentido são muitas vezes travadas pela diversidade de plataformas onde as publicações são indexadas e disseminadas, o que dificulta a gestão de uma lista atualizada do número de publicações que desenvolvem a título individual e em co-autoria. A ambiguidade na identificação de autoria é um problema comum na disseminação de resultados de investigação, nomeadamente ao nível da contagem de citações, geração de relatórios de citação e outros.

Neste contexto assume especial relevância a correta atribuição da autoria e afiliação institucional que permite facilitar o processo de gestão e promoção dos resultados de investigação



 

É importante recorrer a ferramentas que permitem uma identificação inequívoca da autoria, através de identificadores únicos.

Permitem:

A ferramenta ORCID (Open Researcher and Contributor Identifier) visa controlar a ambiguidade na identificação da autoria permitindo a criação de um perfil na web para cada investigador - ORCID ID.

Na base de dados Scopus, os outputs do mesmo autor são agregadas no Author ID do autor. 
Permite a pesquisa por autor de uma forma inequívoca já que a funcionalidade determina quais as formas de nome que devem ser agrupadas sob uma identificação única. Esta funcionalidade baseia-se num algoritmo que liga formas de nomes baseados em dados como a afiliação, endereço, área de investigação, datas de publicação.

Esta funcionalidade está ainda presente nas plataformas ScienceDirect e SciVal.

É possível enviar automaticamente dados para a plataforma ORCID