Artigo: Parâmetros para a avaliação da pesquisa em unidades universitárias e departamentos

Por Hamilton Varela, professor do Instituto de Química de São Carlos da USP

Hamilton Varela – Foto: Arquivo pessoal

Questões suscitadas no Formulário de Orientação para o Relatório de Avaliação da Unidade (2018-2022) da USP motivaram a publicação do artigo: Medir, analisar, planejar, acompanhar e prestar contas: a produção científica do IQSC/USP. Este questionário fez parte da autoavaliação das unidades universitárias no quinto ciclo de avaliação institucional, referente às atividades desenvolvidas entre 2018 e 2022. Em particular, este artigo tratou da comparação internacional da pesquisa feita em unidades universitárias e departamentos, utilizando como exemplo o Instituto de Química de São Carlos da USP (IQSC/USP) e os seus dois departamentos.

Entre as discussões que seguiram a publicação deste artigo, o professor Jacques Marcovitch e o dr. Justin Axel-Berg, do Projeto Métricas, ressaltaram a importância de parâmetros como o percentual de artigos entre os mais citados em uma dada área, em adição ao Field-weighted citation impact (FWCI) ou impacto de citação ponderado pela área de conhecimento, que pode, para um número pequeno de artigos, levar a distorções. As discussões com os doutores Marcovitch e Axel-Berg foram muito enriquecedoras e evidenciaram a importância da utilização de parâmetros para classificar as diferentes dimensões do impacto da pesquisa das instituições, em detrimento ao foco nos indivíduos. Nesse sentido, parâmetros como o percentual de publicações entre as mais citadas numa dada área são adotados em classificações internacionais, como o ranking universitário CWTS Leiden contemplam este aspecto.

A tabela a seguir resume o número de artigos, de citações, a razão citações/artigo, o parâmetro FWCI, o percentual das publicações entre as 10% mais citadas e o percentual dos artigos publicados nos periódicos entre os 10% de maior impacto, para o Instituto de Química de São Carlos (IQSC) da USP e os seus dois departamentos, D1 e D2. Os parâmetros são apresentados para a área de química e geral, que engloba todas as áreas classificadas pela base de dados (All subject areas). Todos os dados foram obtidos na base Elsevier-SciVal relativos a artigos publicados entre 2018 e 2022, com informações do Scopus atualizadas até 1º de julho 2023.

Os intervalos de confiança foram calculados com os FWCI de todos os artigos, disponibilizados no Scival.

Números de artigos e citações, razão citações/artigo, parâmetro FWCI, percentual das publicações entre as 10% mais citadas e percentual dos artigos publicados nos periódicos entre os 10% de maior impacto para o IQSC/USP e os seus dois departamentos, D1 e D2. Levantamento feito no dia 11 de julho 2023 na base Elsevier-SciVal relativos a artigos publicados entre 2018 e 2022, com informações do Scopus atualizadas até  1º de julho de 2023 – Imagem: Reprodução/Scival

A combinação entre os quatro parâmetros sombreados na Tabela I seguem a mesma tendência dos resultados antecipados no artigo anterior, inclusive a despeito do intervalo temporal ligeiramente distinto, no caso das citações por artigo e FWCI. Sob diferentes perspectivas, os quatro parâmetros tentam captar a qualidade da pesquisa, utilizando comparações internacionais. Os resultados específicos nos parâmetros adicionais incluídos nesta análise confirmam a, esperada, correlação entre as publicações em periódicos de maior impacto e as mais citadas. Tentar publicar em periódicos de alto impacto não é um fim em si, por óbvio, mas tem o seu papel no alcance dos resultados da pesquisa e das citações recebidas, métricas utilizadas em várias comparações internacionais.

Conforme previsto, a apresentação anterior gerou interessantes discussões que já permitiram ampliar e refinar a comparação, além de fornecer outros parâmetros de comparação da produção científica. Como mencionado na primeira análise, os parâmetros discutidos posicionam a produção científica do IQSC/USP no cenário internacional e estão sendo continuamente acompanhados, de forma que novas comparações e análises serão discutidas e disponibilizadas.

Agradecimento: Agradeço aos colegas pelos comentários sobre a análise publicada anteriormente, particularmente ao professor Jacques Marcovitch e ao dr. Justin Axel-Berg pelas valiosas discussões, e à equipe da Biblioteca do IQSC/USP pela compilação dos dados apresentados: sra. Clelia J. K. Dimário (bibliotecária, Chefia), sra. Bernadete L. C. B. Figueiredo Filho (técnica para assuntos administrativos), sra. Cibele C. David Baldan Del Cura (auxiliar administrativo) e sra. Eliana de C. Aquareli Cordeiro (bibliotecária).

________________

Por Jornal USP

(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)

VEJA TAMBÉM ...