Carta Aberta à CAPES

Escola Bahiana de Medicina e Saúde Pública

Carta Aberta ao Conselho Superior da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior e ao Conselho Técnico-Científico da Educação Superior da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.

Salvador, 04 de setembro de 2019

Prezados conselheiros e demais interessados,

É com apreço que recebemos a iniciativa de modernização da estratificação dos periódicos científicos do QUALIS CAPES, informada por meio do Ofício nº 6/2019-CGAP/DAV/CAPES, de 16 de julho de 2019, e dos canais oficiais de comunicação da CAPES. Compreendemos e somos solidários com o esforço empreendido, advindo da necessidade institucional de padronizar todas as áreas de publicação científica para fins de governança e avaliação institucional. Acreditamos que essa consciência/iniciativa facilitará o trabalho das coordenações de pós-graduação do país e favorecerá, em particular, os programas que reúnem e dependem de corpos docentes interdisciplinares e transdisciplinares. Nós discordamos, porém, da equiparação do Fator de Impacto e do CiteScore com o Índice h5 e da ênfase dada às bases de dados SCOPUS e Web of Science como critérios de internacionalização da produção nacional. Abaixo, explanamos o porquê e, em seguida, damos sugestões no intuito de construir uma solução cientométrica mais alinhada com as metas de internacionalização e desenvolvimento de pessoal preconizadas pela CAPES.

Os indicadores Fator de Impacto e CiteScore são razões simples e, portanto, pouco informam sobre o desempenho de citação e atratividade de uma dada revista, pois há inúmeros motivos para que um artigo seja citado, conforme mapeado na literatura especializada, e nem todos os motivos servem de atestados de qualidade científica para o seu conteúdo. Além disso, não nos foi devidamente explanado quais foram os procedimentos matemáticos adotados para a normalização dos dados e equiparação entre os indicadores (Fator de Impacto e CiteScore com Índice h5 do Google Scholar), sobre os quais gostaríamos de obter esclarecimentos aprofundados. Acreditamos que o aprofundamento dessas questões é fundamental para que se evite a exclusão de revistas emergentes e para que evitemos, na avaliação institucional do QUALIS CAPES, fatores discricionários, tais como “relevância” e “pertinência”, que, até então, têm ficado sob arbítrio subjetivo dos comitês consultivos ad hoc de cada área.

É, certamente, um ganho em qualidade o uso do Índice h5 do Google Scholar, que corresponde ao número máximo h de citações recebidas por h artigos da revista em cinco anos, expresso como um número inteiro. Por outro lado, é arbitrário que se construa paridade entre o h5, o Fator de Impacto e o CiteScore, que são razões simples (expressas em escores com valores decimais), cobrindo, respectivamente, dois e três anos de desempenho de citação. Razões são mais facilmente manipuláveis, resultando em impactos negativos graves para a ciência, como o viés de publicação que, por sua vez, tem impacto na prática da clínica médica e na elaboração de políticas públicas para a saúde coletiva, por exemplo.

No entanto, para equiparar os indicadores citados anteriormente, seria necessário, de antemão, o cálculo de um coeficiente de correlação, o que não é viável quando as distribuições tendem ao zero, como é esperado para o h5 de revistas recém-criadas e/ou emergentes, ou, então, estaríamos presumindo que revistas recém-criadas/emergentes seriam, necessariamente, revistas de baixa qualidade. O que não seria condizente.  Então, como cuidaremos e desenvolveremos essas revistas emergentes visando à internacionalização se, por cinco anos, elas estarão incapazes de captar e reter artigos e avaliadores por possuírem um baixo QUALIS CAPES? Isso nos parece contraproducente à noção que rege esta importante agência governamental, que é a de aperfeiçoar os recursos humanos atuantes no ensino superior. E nos parece injusto com a multiplicidade de vozes emergentes na ciência nacional que servem, inclusive, para fazer a ciência avançar pela discordância e diversidade de abordagens teórico-metodológicas e epistemológicas. Há evidência teórica e empírica de que é nas interfaces que a inovação é, de fato, possível, nas zonas de atrito entre as teorias e áreas, e não no que já está posto.

Ressaltamos, ainda, que o h5, embora possua um cálculo imensamente mais sofisticado que o Fator de Impacto e que o CiteScore, também apresenta as suas limitações, que precisam ser observadas por meio de comparação com indicadores complementares. Por conta dos vieses causados pela publicação exclusivamente para fins de avaliação institucional, revistas podem manter o h5 elevado de forma artificial, a convite ou mediante escolhas ativas dos editores por artigos com achados mediáticos, alimentando práticas de manipulação estatística, tais como p-hackingharkingspin etc., que, por sua vez, geram e mantêm o viés de publicação. Artigos a convite contrabalanceiam falta de políticas editoriais claras ou de baixa atratividade inerentes a um possível escopo pouco especializado de revista, o que é frequente em áreas ou campos de estudos com poucos pesquisadores que acabam por dominar os caminhos teóricos e empíricos e que deixam pouco espaço para vozes dissonantes.

Uma questão que se deve levar em consideração é que o P-hackingharkingspin e derivados, por conta de problemas nas políticas de incentivo à publicação e nos vieses de avaliação institucional, atuam diretamente para a manutenção de poder de revistas de renome, o que não corresponde, necessariamente, à manutenção de boa qualidade científica. Há evidência empírica, por exemplo, de revistas de alto Fator de Impacto que não aderem a checklists de qualidade internacional (como os da Iniciativa EQUATOR Network) e a políticas de transparência e compartilhamento de dados para fins de reprodutibilidade, ou seja, como a nossa meta nacional institucional é evitar o arbítrio, precisamos aproveitar essa oportunidade para promover o aumento da sofisticação das métricas de avaliação do QUALIS CAPES.

A outra questão é que o h5, assim como o h, mensura apenas os artigos do “núcleo h” de citações, no qual há regularidade, ou seja, a incidência de irregularidade de distribuição de citações para mais ou para menos fora do “núcleo h” pode sinalizar indícios de uma gestão precária da revista, e isso é algo que pode ser observado ao se comparar o Índice h (ou o h5) com o Índice e – que monitora exatamente o que está fora do “núcleo h” e é expresso em valores decimais. Não podemos incorrer no problema metodológico de substituir métricas frágeis (FI e CiteScore) por uma outra menos falha, mas também deficiente quando usada em isolamento, porque todas as métricas são frágeis quando usadas isoladamente. Só podemos ter uma boa avaliação quando combinamos boas métricas complementares. Esse é um princípio fundamental de cientometria: é necessário que tenhamos à disposição um sistema de contrapesos que possam garantir que os incentivos à produção não impactem negativamente na qualidade da ciência nacional. Com isso, ressaltamos também a importância do Índice AW, que mensura o potencial de crescimento e a obtenção de citações no tempo, possibilitando, em uso conjugado com o h5 e com o Índice e, um acompanhamento mais aprofundado das práticas editoriais das revistas avaliadas.

Além disso, para que uma revista obtenha Fator de Impacto e/ou CiteScore, ela precisa – obrigatoriamente – ser indexada na Web of Science e/ou no SCOPUS, respectivamente, que são indexadores mantidos por empresas que visam ao lucro. Há evidência empírica de que o lucro gera viés e não é a atividade-fim da ciência, já que a preocupação inicial da ciência há de ser sempre o bem-estar coletivo, com transparência em seus processos investigativos e de indexação. Portanto, partindo desse princípio, é importante destacar que tanto a Web of Science quanto a SCOPUS não possuem critérios de indexação transparentes. Diferentemente do Scientific Electronic Library Online – SciELO, que, embora seja de tecnologia e mão de obra nacionais, é um indexador totalmente transparente e está presente nas Américas, na Europa e na África. Por sua vez, a SCOPUS e a Web of Science são eminentemente europeus e eurocêntricos – basta que se observe a distribuição geográfica das revistas indexadas nas duas bases respectivamente (também há evidência empírica sobre isso). São muito excludentes e explicitamente mercadológicas. Portanto, valorizarmos exclusivamente essas bases, sem atentarmos ao SciELO equivale a submeter as publicações nacionais – contra a vontade de muitos de seus editores – a um projeto de sujeição neocolonial que, além de não necessariamente beneficiar a ciência nacional, pode causar malefícios. Então sugerimos que se abandone completamente o Fator de Impacto e o CiteScore, como preconiza a San Francisco Declaration on Research Assessment – DORA (https://sfdora.org/).

Posto que a indexação no Google Scholar é automática, dotada de critérios objetivos, públicos, reprodutíveis e sem viés mercadológico, sugerimos o emprego exclusivo do h5, mediado por outros índices que gerem contrapesos e observem as sutilezas do comportamento de citação no tempo, fomentando, por meio de índices complementares, as revistas emergentes. Sugerimos, ainda, que o SciELO represente um critério de internacionalização – visto que foi pensado e feito por brasileiros, respeita a realidade nacional e regional e oferece as melhores, mais modernas e mais íntegras práticas em publicação científica contemporânea.

Áreas diferentes possuem demandas diferentes de reconhecimento pelos pares, portanto, recomendamos que as coordenações de área tenham autonomia para agregarem outras bases de dados à indexação no SciELO como critério de internacionalização. Por exemplo, para a Enfermagem, as seguintes bases de dados indexadoras são muito importantes: Cumulative Index to Nursing and Allied Health Literature – CINAHLSistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal – LATINDEX.  A área deve ter autonomia para decidir sobre as referidas bases, como critérios adicionais de internacionalização, segundo suas premissas teórico-metodológicas e epistemológicas. E é por isso que, para a área de Ciências da Saúde, no geral, o MEDLINE/PubMed (National Library of Medicine) e a Literatura Latino-Americana e do Caribe em Ciências da Saúde – LILACS nos parecem fundamentais e podem compor os baremas de alocação nos estratos por área, em complementaridade com os indicadores cientométricos.

Sugerimos que a qualidade metodológica de conteúdo publicado seja avaliada, o que pode ser feito por amostragem (como é feito pelos indexadores na solicitação de indexação), pois há a premissa corrente de que a qualidade, atribuída à revista pela área, isenta o título de publicar um conteúdo metodologicamente frágil – o que não é apropriado, ou não estaríamos vivendo a crise de reprodutibilidade da pesquisa empírica. Para combater essa noção, precisamos avaliar o conteúdo por amostragem, empregar métricas complementares, usadas concomitantemente, e observar a função social da ciência.

É importante mencionar que o Fator de Impacto não mensura impacto social ou científico e não foi feito para avaliar desempenho de citação; foi feito para avaliar a eficácia de compra de periódicos por bibliotecas, na comunicação científica mediada por periódicos, anterior à Internet. E as bases de dados europeias não representam, necessariamente, ganhos em internacionalização da ciência brasileira. Internacionalização é cooperação/colaboração entre pesquisadores, instituições e países, o que é diferente de estar sujeito a projetos comerciais de empresas europeias. Portanto, precisamos observar esse momento como uma oportunidade de melhorarmos a nossa metodologia de avaliação institucional nacional e, com isso, fortalecer o campo de publicação científico brasileiro, à margem dos arbítrios e das pressões de mercado que têm contaminado a ciência nos últimos anos. O caminho escolhido, tal como está posto, pode resultar no silenciamento de vozes emergentes e de qualidade, o que constituiria uma perda irreparável para a ciência nacional.

Com os nossos mais sinceros cumprimentos e votos de estima, na expectativa de melhorarmos a avaliação institucional da ciência brasileira,

Abaixo assinados:

Alena Ribeiro Alves Peixoto Medrado
Journal of Dentistry & Public Health (editora)
Mestrado Profissional em Odontologia da Escola Bahiana de Medicina e Saúde Pública (coordenadora)

Ana Marice Teixeira Ladeia
Journal of Evidence-Based Healthcare (editora)
Programa de Pós-graduação em Medicina e Saúde Humana da Escola Bahiana de Medicina e Saúde Pública (coordenadora)

Atson Carlos de Souza Fernandes
Journal of Dentistry & Public Health (editor de Pesquisa Básica)
Pró-Reitoria de Pesquisa, Inovação e Pós-Graduação Stricto Sensu da Escola Bahiana de Medicina e Saúde Pública (pró-reitor)

Carolina Barreto de Andrade
BAHIANA Journals (editora executiva)

Caroline Alves Feitosa
Núcleo de Projetos em Saúde da Escola Bahiana de Medicina e Saúde Pública (coordenadora)

Cátia Suely Palmeira
Revista Enfermagem Contemporânea (editora)

Cristiane Maria Carvalho Costa Dias
Revista Pesquisa em Fisioterapia (editora)

Edileno Capistrano Filho
BAHIANA Journals (editor executivo)

Gabriela Montenegro Sampaio
BAHIANA Journals (estagiária de editoração científica)

Gilmara Ribeiro Santos Rodrigues
Revista Enfermagem Contemporânea (editora)
Especialização de Enfermagem em Cardiologia da Escola Bahiana de Medicina e Saúde Pública (coordenadora)

Iêda Maria Barbosa Aleluia
Revista Internacional de Educação e Saúde (editora)

João de Deus Barreto Segundo
BAHIANA Journals (editor executivo)

Kátia Nunes Sá
Revista Pesquisa em Fisioterapia (editora)
Núcleo de Comunicação Científica da Escola Bahiana de Medicina e Saúde Pública / BAHIANA Journals (coordenadora)

Luís Cláudio Lemos Correia
Journal of Evidence-Based Healthcare (editor)
Centro de Medicina Baseada em Evidência da Escola Bahiana de Medicina e Saúde Pública (diretor)

Marilda Castelar
Revista Psicologia, Diversidade e Saúde (editora)

Mônica Ramos Daltro
Revista Psicologia, Diversidade e Saúde (editora)
Mestrado Profissional em Psicologia e Intervenções em Saúde da Escola Bahiana de Medicina e Saúde Pública (coordenadora)

Sandra Lúcia Brasil Santos
Revista Internacional de Educação e Saúde (editora) / Programa Institucional de Desenvolvimento Docente (coordenadora)

Urbino da Rocha Tunes
Journal of Dentistry & Public Health (editor)
Graduação em Odontologia da Escola Bahiana de Medicina e Saúde Pública (coordenador)

Leave a Reply

Please log in using one of these methods to post your comment:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: