Avaliação em ciências sociais: você disse "quantificar"?

Laurence Coutrot

Obs.: Este texto é um extrato de artigo publicado por Laurence Coutrot nos Quaderni di Sociologia (n° 49, vol. LII, dezembro 2009. Coutrot é pesquisador do Centre Maurice Halbwachs/Centre Nationale de la Recherche Scientifique e da Ecole Normale Supérieure/Ecole de Hautes Études en Sciences Sociales.

Tradução para o português, mediante autorização do autor, de Tâmara de Oliveira.

O uso da bibliometria como instrumento de avaliação da pesquisa é um tema recorrente desde os anos 1960. Longe de se limitar a um simples problema técnico, a questão dos indicadores bibliométricos pode ser vista como instrumento numa luta de poder entre o corpo político e o mundo universitário. Esse conflito conheceu fases trágicas antes disso, durante a segunda guerra mundial, retornando com força há mais ou menos vinte anos. Estamos numa nova fase e o episódio de «quantofrenia» que a França vive atualmente é apenas um sintoma disso : a esperança de quantificar a produção científica e avaliar «objetivamente» sua qualidade graças a instrumentos bibliométricos também é recorrente. Considerando que a publicação é um traço essencial da atividade científica e que a «notoriedade», o fato de ser citado, é um indicador da «influência» de um autor, observa-se quem cita quem, quem é citado por quem e quantas vezes…Pode-se dessa forma calcular o «fator de impacto» de um autor, de um grupo de autores, de um laboratório, de uma instituição, etc. Enquanto se trata apenas de reparar as vedetes, esse método não põe nenhum problema: em geral, um pesquisador que recebeu o prêmio Nobel foi muito publicado e seus trabalhos foram frequentemente citados. Infelizmente, esses são casos raros, onde a medida bibliométrica é justa mas inútil: todo mundo sabe que a correlação entre a celebridade e o fato de ter recebido o prêmio Nobel (ou mesmo de ser suscetível de recebê-lo) é boa. O problema é mais delicado quando não se fala mais em celebridade mas em qualidade e que se pretende utilizar esse método para avaliar a qualidade de uma produção científica, quer se trate de instituições, de revistas ou de pesquisadores.

Inicialmente desenvolvida para fins de documentação científica, de história e de sociologia das ciências para estudar as «estruturas sociais, culturais e cognitivas latentes da prática científica (Merton, 1979), a principal base de dados que se tornaria mais tarde o Web of Science (WoS) foi criada nos anos 1950 por E. Garfield no Institute for Scientific Information (ISI), comprada posteriormente por Thomson Reuters. O WoS continua sendo um dos principais instrumentos disponíveis para analisar as publicações científicas. Thomson Reuters, baseada em New York e Philadelphia, recensea em torno de 10.000 revistas científicas (das quais 1.865 para o Social Science Citation Index) em 42 línguas diferentes. Ela emprega mais de 50.000 assalariados no mundo inteiro. Uma rápida olhada sobre essa base revela que ela analisa 96 revistas sob a rubrica «sociologia», 57 sob a de «ciências sociais e interdisciplinares» e que, para ser preciso, seria necessário considerar outras categorias. Assim, a Revue française de sociologie está repertoriada na primeira categoria, mas Actes de la Recherche en sciences sociales na segunda. A imensa maioria dessas revistas é americana, existem algumas grandes revistas francesas e alemãs, mas poucas italianas ou espanholas. Grosso modo, tudo o que não é anglofônico é largamente sub-representado. Existem outros instrumentos concorrentes: Scopus, Citeseer, DBLP. O mais conhecido, mais imediatamente disponível em linha e gratuito é sem dúvida o «Google scholar» que, escrutado com o programa livre e bem nomeado «Publish or Perish», permite igualmente reparar os artigos de um autor, o número de citações ligadas a cada publicação e, assim, seu «h-index» (explicação mais abaixo). O número de itens reparados por «Google scholar» é infinitamente superior ao do WoS, sem que se possa discernir quanto há de duplicações ou de erros, salvo manualmente. Por um lado, sabe-se que o WoS repara apenas uma fração da produção científica, por outro, não se sabe muito bem o que recolta Google Scholar. O resultado, evidentemente, é que o «h-index» du WoS e o de Google scholar não têm grande relação.

A avaliação das instituições: vimos florescer uma classificação de tipo «hit parade» dos estabelecimentos escolares e dos hospitais. Não havia nenhuma razão para que as universidades escapassem desse movimento. Apesar disso, um vento de pânico levantou-se na França em 2003, quando a classificação, estabelecida por dois chineses da Jiao Tong University de Shangai, apresentou que as universidades francesas não estavam bem colocadas na competição mundial. O projeto dos chineses era sem malícia: onde devemos enviar nossos jovens estudantes quando eles querem estudar no estrangeiro? Os resultados não surpreendem: as universidades do primeiro pelotão são americanas ou britânicas. Todavia, os métodos utilizados para construir a classificação são discutíveis. Observemos em detalhe os critérios levados em conta : a qualidade da educação conta 10% e é medida pelo número de antigos alunos que receberam um Prêmio Nobel ou uma medalha Fields. («Alumni») ; a qualidade do corpo docente (40%) é medida em parte pelo número de professores com um Nobel ou medalha Fields (Award) e em parte pelo número de pesquisadores muito citados no WoS em 21 disciplinas (HiCi); a produção científica (40%) é medida em parte pelo número de artigos publicados em Nature e em Science (N&S) e em parte pelo número de artigos repertoriados em Science Citation Index e em Social Science Citation Index(SCI); o tamanho da instituição (10%) é a soma dos indicadores precedentes relacionado ao número equivalente de professores com dedicação exclusiva na universidade em questão (Size). Se esse número não for disponível, dispensa-se esse critério e utiliza-se simplesmente os indicadores precedentes, ponderados. A posição modesta das universidades francesas nessa classificação pode ser bem explicada se se considera a estrutura institucional do ensino superior da França. Primeiramente, a balkanização das universidades devida a Maio de 68 as torna muito desfavorecidas, se seguimos os critérios propostos pelos pesquisadores chineses. Em segundo lugar, um prêmio Nobel francês pertence frequentemente a um laboratório ligado a várias instituições: uma universidade e a École Normale, uma universidade e o CNRS, etc. A partir daí, o «peso» desse prêmio Nobel cai para a metade, já que o CNRS não é uma universidade. É preciso, por causa disso, decidir desestruturar totalmente o sistema francês de ensino e de pesquisa para fazer com que a França suba numa classificação que os próprios autores reconhecem repousar sobre critérios discutíveis?

Esses indicadores provêm com efeito do método do poste de luz: procura-se a moeda embaixo do poste não porque se pensa que ela caiu ali, mas porque ali está iluminado. Os indicadores são rústicos, mas, dizem-nos seus autores, eles têm o mérito de ser disponíveis, logo, pratiquemo-los. Pode-se surpreender com uma prática que consiste em tratar as universidades como equipes de rúgbi. A superioridade das segundas sobre as primeiras é que com as segundas há partidas e que, normalmente, uma partida se ganha ou se perde. É preciso ter em mente que uma avaliação só tem sentido em relação a um projeto. O sentido da classificação das universidades é o de detectar os departamentos onde a qualidade do ensino é satisfatória numa disciplina ou sub-disciplina. Esse projeto parece dificilmente compatível com uma classificação mundial. Desde então, classificações concorrentes apareceram. Aqui não é o lugar de entrar no detalhe dessas classificações: pode-se perguntar, particularmente, se o fato de ter produzido um prêmio Nobel é um bom indicador da qualidade do ensino oferecido. Vamos apenas realçar que, na classificação Shangai, o peso das publicações, tais como elas são repertoriadas no WoS e no «Social Science Citation Index», é pesado. Veremos a seguir que isso é um limite grave à pertinência da avaliação.

A classificação dos periódicos: Separar o joio do trigo é uma obsessão recorrente das direções científicas há um certo número de anos. Quanto mais a classificação é feita por pesquisadores especializados no campo que eles devem avaliar e quanto mais eles conhecem o tema e são também utilizadores dos periódicos, menos o procedimento é tóxico. Todos sabemos quais são, em nosso domínio, as revistas que damos atenção, onde podemos esperar encontrar informação importante e fiável. Mesmo que a avaliação seja conduzida por bons profissionais, alguns problemas permanecem. Nós sabemos que essas revistas representam apenas uma parte da informação científica pertinente : nós damos atenção igualmente, além dos livros, às teses, aos «working papers», aos relatórios, às notas de informação e, atualmente, inúmeras informações científicas «frescas» passam por comunicações mais ou menos informais : correio eletrônico, jornadas de estudo, sites internet, etc. Além disso, se olharmos para a base mais «oficial», o Social Science Citation Index, constatamos que as revistas que consideramos maiores estão de fato afogadas na massa – e isso em vários níveis. Olhando as coisas em termos mais gerais, comparando as ciências «duras» às ciências sociais, depois a economia com a sociologia, depois enfim a sociologia anglofônica com a sociologia francofônica, observa-se um curioso fenômeno de funil. Existem assimetrias consideráveis entre as disciplinas no que tange à morfologia dos artigos. O número anual de artigos nas sub-disciplinas das ciências «duras» conta-se por dezenas de milhares e as citações ultrapassam o milhão. Em economia, o número anual de artigos alcança penivelmente dez mil, enquanto que a sociologia no sentido largo (sociologia + ciências sociais interdisciplinares) alcança a metade disso. Visto através do prisma do WoS, o número de artigos, assim como o das citações, aparece infinitamente mais restrito nas rubricas sociologia e ciências sociais do que em todas as outras disciplinas. O fator global de impacto médio dos periódicos é também mais fraco em sociologia do que em economia (0,911 em economia, 0,794 em sociologia). A mesma observação se impõe quando se compara alguns grandes periódicos franceses e americanos da disciplina. Os números de citações, logo, os fatores de impacto, são microscópicos no caso das revistas francesas de sociologia, mesmo se a gente se limita às mais conhecidas.

Entretanto, a ambição de classificar as revistas de ciências sociais reapareceu recentemente, primeiro no CNRS francês em 2004, depois mais recentemente na Fondation européenne de la science (ESF) e, ainda na França, à AERES (Agência para a avaliação da pesquisa e do ensino superior, criada em 2008). Essas classificações provocaram, a cada vez, uma onda de protestos. Quais são as razões disso? Alguns criticam suas lacunas, algumas decisões revelando mal conhecimento do valor das revistas estrangeiras. Outros recusam a própria legitimidade de uma tal classificação. Além disso, há quem se interrogue sobre o uso que se fará de uma tal classificação. Essa mistura de opacidade e de informação imperfeita gera no meio uma viva inquietude. Um representante da AERES declarou que a classificação não é feita para fins de avaliação das pessoas nem para modificar as dotações financeiras das revistas, mas que se trata de «delimitar a perímetro científico das revistas» . Em outra ocasião, o mesmo representante afirmou que se trata de uma operação pedagógica incitando os pesquisadores a se colocarem «na competição internacional». É claro que alguns esperam fazer a economia de uma avaliação dos artigos publicados pelos pesquisadores através de uma classificação das revistas: um artigo publicado numa revista A traria automaticamente a confiança dos avaliadores. Na verdade, encontram-se bons artigos em revistas que nem estão na posição B ou C e artigos medíocres em revistas na posição A. Os comitês de redação também funcionam, pelo menos parcialmente, à base da reputação. As revistas também são sistemas sociais submetidos a lutas de influência e o texto do artigo examinado é igualmente avaliado através do prisma do que se sabe sobre o autor e quem lhe cerca, mesmo se os textos são frequentemente «anônimos» para as necessidades da avaliação. Isso não deve ser entendido como uma crítica do modo de funcionamento das revistas, mas como um dever de cuidado contra uma concepção « coisificadora » das publicações. As revistas não são apenas máquinas de publicação de textos. Elas têm o papel de estimular a vida intelectual: iniciar novos trabalhos, comandando artigos e números especiais, por exemplo.

De fato, a publicação das listas de classificação das revistas provoca uma inquietude profunda e bem fundada na comunidade científica, porque há razões para se pensar que essa classificação é orientada para uma avaliação das pessoas. Com efeito, uma noção apareceu recentemente, a de «pesquisador-publicante». Esta noção recobre duas ideias dissimuladas. A primeira refere-se aos professores do ensino superior que, além de uma carga de ensino às vezes pesada e de tarefas administrativas múltiplas e crescentes, devem assegurar uma produção científica. Para eles, foi fixada uma barra de pelo menos duas publicações em revista A, num período de 4 anos. A segunda refere-se aos pesquisadores do CNRS para os quais, sendo a pesquisa a atividade principal, a barra foi definida a 4 artigos, no mesmo período. Antigamente, os relatórios de pesquisa eram medidos pelo peso, atualmente pesa-se os pesquisadores. Alguém retorquirá : um artigo a cada dois anos (ou todos os anos) não é uma grande exigência. Também foi sugerido que, no final das contas, as publicações B também contavam. Se é assim, porque duas categorias e não apenas uma ? Também foi sugerido que os livros fossem levados em conta na avaliação (mas qual seria a métrica: duas negras valem uma branca, dois artigos valem um livro ?). Pouco importam os detalhes: o que conta é que a classificação das revistas tornou-se um instrumento para instaurar a caça ao professor «preguiçoso», aquele que não é um «pesquisador-publicante». Ora, no CNRS, como no ensino superior, o pesquisador «preguiçoso» é de fato uma espécie extremamente rara. Para lutar contra esta espécie rara, criam-se dispositivos pelos quais o remédio é pior do que o mal. Apesar de todos os desmentidos, é-se obrigado a ver aí um laço entre a avaliação das revistas e a avaliação das pessoas.

A avaliação das pessoas: O instrumento idealizado da avaliação quantitativa foi produzido recentemente por um físico da Universidade da Califórnia em San Diego (Hirsch, 2005). Esse índice é calculado, para um pesquisador dado, contando o número « h » de artigos citados mais de «h» vezes. Se eu escrevi doze artigos e cinco deles foram citados mais de 5 vezes, meu h-index é 5. Rústico, mas eficaz. O autor sustenta que o impacto científico global de dois pesquisadores será idêntico se seus h-index são idênticos, mesmo se o número de artigos que eles publicaram seja diferente. O mérito desse indicador, nos diz seu autor, é o de ser calculável facilmente a partir da base WoS. O que é mais interessante, são as restrições que o próprio autor faz à validade de seu indicador. Primeiramente, ele sublinha que um só indicador não poderia ser suficiente para medir a qualidade de uma produção científica. Em seguida, se ele afirma que, de dois pesquisadores (tendo a mesma antiguidade no mundo científico) tendo índices diferentes, aquele que tem o índice mais elevado é suscetível de ser o pesquisador mais completo, afirma igualmente que a recíproca não é necessariamente verdadeira: melhor dizendo, pode-se encontrar pesquisadores com resultados científicos importantes com um índice pouco elevado. Assim, um pesquisador que produziu um número limitado de artigos muito frequentemente citados, terá um h-index pequeno. Enfim, é evidente que o sentido do indicador a níveis elevados (ele cita h-index de 90 ou mais para pesquisadores célebres maduros) não é o mesmo do indicador situado em níveis muito baixos e com uma amplitude fraca no interior de uma disciplina.

Para explorar essa via, nós tomamos alguns exemplo de sociólogos seniors franceses e americanos e comparamos seus h-index, utilizando duas bases diferentes : WoS e Google Scholar (combinado ao programa livre «Publish or Perish»). Num quadro, foram selecionados um certo número de sociólogos seniors anglo-saxões e franceses. Notou-se que os francofônicos têm um número de publicações comparável ao dos americanos. O resultado é surpreendente, porque várias revistas importantes na disciplina (L’Année sociologique, Sociétés contemporaines, Genèses, etc..) estão ausentes da base WoS. Em compensação, os francofônicos são muito menos frequentemente citados, salvo se são traduzidos – e estes constituem raras exceções. Deve-se assinalar aqui um efeito perverso possível do uso da bibliometria: ela pode levar, da parte de pesquisadores preocupados com sua carreira e assim ansiosos por serem citados, a um recuo massivo da língua francesa nos domínios onde isso não seja nem desejável nem inevitável. É óbvio que os pesquisadores francofônicos com h-index elevado são todos pesquisadores que têm uma estratégia internacional e que publicaram em revistas anglo-saxãs. Notou-se igualmente que o h-index calculado a partir de Google é geralmente mais elevado que o do WoS, mas a relação entre esses dois indicadores é, além disso, extremamente inconstante, já que varia entre 0,8 e 15. Um belo exemplo dessa « grande distância » nos é dado pelo artigo de J.S. Coleman (1988), The Social Capital in the creation of Human Capital, publicado em American Journal of Sociology, citado 637 vezes segundo o WoS, mas 8344 vezes segundo o Google Scholar. Calculado a partir do WoS ou de Google, esse indicador é frequentemente tão pequeno para os francofônicos e varia de maneira tão errática que é legítimo se perguntar se é possível concluir o que quer que seja com ele. É preciso pensar que entre um pesquisador cujo h-index é 1 e outro cujo h-index é 3 existe uma diferença de qualidade incontestável ?

A essa altura, é preciso voltar a uma noção evocada rapidamente no início deste texto, a citação. Num ardente defensor da bibliometria (Cole, 1983), já encontramos uma ressalva importante: a contagem das citações não poderia refletir a qualidade intrínseca dos trabalhos científicos. Pode-se dar mais um passo procurando o que se esconde atrás das citações: porque citamos os trabalhos científicos anteriores? Os sociólogos das ciências, Merton na frente, nos ensinam que o mundo da pesquisa não funciona como um mercado: é a publicação de uma descoberta ou de uma ideia que confere ao seu autor a paternidade ou a propriedade. A citação de um autor de uma publicação é então um ato pelo qual rende-se homenagem ao pai da invenção ou da ideia. Para a moral desse meio, retomar uma ideia nova sem mencionar de quem estamos tomando-a emprestado, é roubo. A citação é um procedimento de reconhecimento de dívida. Nesse sentido, a observação das citações deveria permitir a reconstituição de processos de filiação intelectual. A citação é também muitas outras coisas: alusão retórica destinada a assegurar o leitor e a persuadi-lo da boa fundamentação e interesse do artigo, gesto que se quer elegante para mostrar que se conhece a literatura sobre o tema, etc. Também há a citação negativa: se eu cito Sokal, provavelmente não é porque eu reivindico filiação ou afinidade com ele. Assim, há pelo menos duas faces na citação: ela é ao mesmo tempo signo de reconhecimento e de fidelidade intelectual e, instrumento de persuasão, procedimento retórico. A desgraça é que distinguir uma face da outra não é possível de maneira automática (Cozzens, 1989). A influência, tal qual ela é vista através das referências, sofre processos de deformação tão numerosos que qualquer utilização puramente automática, mesmo para fins exclusivos da sociologia das ciências, parece proibida. Com todo conhecimento de causa, é preciso se resguardar para não esquecer que os artigos citados são resultado de filtragens sucessivas; eles são apenas o último nível, estreito, de uma produção em vários níveis. Os pesquisadores produzem inicialmente comunicações ou relatórios, depois redigem artigos – que submetem a revistas; uma fração variável desses manuscritos chega à publicação, um sobre dez ou sobre vinte, às vezes menos. Finalmente, um artigo publicado, por uma série de processos sociais que conhecemos muito mal, chega a ser citado. A citação é uma medida razoável de um resultado científico. Mas mesmo que se queira distinguir os pesquisadores que trabalham dos que “não trabalham” (supondo que esta expressão tenha um sentido), o critério da citação é uma medida muito rústica. Sob capa de objetividade, esse indicador reintroduz de fato o que ele pretende eliminar, ou seja, o julgamento pelos pares.

Notas conclusivas: Até o presente eu optei por examinar o problema em seu quadro mais estreito, o das ciências sociais e, mais especificamente, o da sociologia francesa. É verdade que a utilização de métodos quantitativos para fins de avaliação é aí particularmente delicado, principalmente por duas razões: a importância dos livros nesse domínio e a pregnância da língua francesa – que limita a disciplina a um espaço restrito de trocas. Entretanto, os especialistas de ciências sociais têm demasiadamente tendência a considerar que eles constituem um caso a parte da comunidade científica. A confrontação com outras disciplinas para vislumbrar se sua percepção da bibliometria é menos crítica do que a nossa, pode revelar-se útil. Gostaria agora de mostrar que essa crítica ultrapassa largamente o quadro francês e não se limita ao campo da sociologia:

1-Nas ciências “duras” a) Biologia – Peter Lawrence (2007), pesquisador de Biologia da Universidade de Cambridge ridiculariza as 48 citações de que um dos seus artigos é objeto: «somente 8 referem-se corretamente ao que eu escrevi. As 40 restantes são ou meras alusões ou erros». Ele sublinha a degradação que a mania da medida faz a atividade científica sofrer; em vinte anos, passou-se de uma atividade de busca da descoberta a uma atividade centrada sobre a necessidade de redigir artigos e fazê-los publicar no melhor periódico possível. Os estragos dessa prática são múltiplos: multiplicação dos comportamentos amorais, porque os casos onde o pesquisador é levado a assinar um artigo para o qual ele quase nada contribuiu se multiplicam; prática de “requentar” temas (em francês, no original: « saucissonnage », encher linguiça), objetivando produzir o maior número possível de artigos com um mesmo resultado; aversão ao risco, atração por temas impostos e fuga dos temas novos, considerados como mais arriscados e menos suscetíveis de avaliação positiva ; multiplicação dos comportamentos predatórios e apagamento dos pesquisadores de valor mais tímidos. Ora, nos diz Lawrence, “não se tem a prova de que pesquisadores mais combativos sejam mais criativos do que os outros ». b) Nas ciências da terra e do universo – no CNRS, na secção competente do comitê nacional, experiências foram conduzidas por Yves Langevin, Presidente de secção. Nessa comissão, os indicadores bibliométricos foram utilizados, ao lado de outros critérios, para o concurso de DR2 (Diretor de pesquisas 2). Uma bateria de indicadores extremamente complexos foi construída: não menos do que 14 indicadores bibliométricos foram aplicados aos candidatos à promoção de Diretor de pesquisas. Os resultados foram em seguida confrontados ao julgamento de promoção final. Se essa bateria de indicadores permite, grosso modo, confirmar se os candidatos se encontram ou não na primeira metade da classificação final, em compensação a correlação com as primeiras posições não é boa. Outros indicadores (julgamento pelos pares, posições de responsabilidade no meio científico, etc.) pesam quando se trata de determinar as primeirs posições. Notar-se-á que nessa secção, todas as revistas científicas são consideradas A. Essa experiência mostra que a utilização da bibliometria para a avaliação penaliza os pesquisadores que têm uma mobilidade temática (porque são necessários muitos anos para se fazer uma reputação no interior de um grupo temático dado). Enfim, aqui como alhures, verifica-se que o sistema gera uma série de efeitos perversos entre os quais a uniformização das práticas científicas, a multiplicação das publicações fatiando resultados, etc. O presidente Langevin, sendo um otimista, prediz que a longo prazo esse sistema de avaliação pela bibliometria autodestruir-se-á pela uniformização das práticas. c) Nas matemáticas – a comunidade dos matemáticos é, sabe-se, particularmente bem organizada e muito internacionalizada. A União internacional dos matemáticos (IMU), em cooperação com o ICIAM (International Council for Industrial and Applied Mathematics) e o IMS (Institute of Mathematical Statistics) publicou um relatório bastante devastador sobre a utilização da bibliometria para a avaliação. O exemplo dessa disciplina é totalmente surpreendente porque poder-se-ia esperar que as publicações das matemáticas, disciplina nobre por excelência, fossem melhor cobertas do que outras nas bases de dados. Nada disso: esse texto sublinha o fato de que as matemáticas têm uma cultura bem particular da citação, que menos de um artigo sobre dois é recenseado no WoS. Ele insiste sobre o caráter instável do fator de impacto, sobre sua falta de fineza na medida, ele lembra que em nenhum caso os indicadores quantitativos devem ser manipulados independentemente de outros critérios. E, mais interessante ainda, o relatório sublinha a ausência de teoria subjacente a todos esses métodos quantitativos : supõe-se simplesmente que um fator de impacto elevado denotaria uma boa qualidade da revista; não há uma teoria permitindo fundamentar essa suposição segundo a qual um e outro seriam correlatos d) Informática – a comissão de avaliação do INRIA produziu sobre o sujeito um relatório muito interessante. Pode-se ler em conclusão: « Se os indicadores podem dar tendências sobre um número reduzido de aspectos da vida científica, convém ser muito circunspecto para com seu uso, em razão da possibilidade de interpretações falsas, de erros de medida(frequentemente consideráveis) e dos viéses que lhes afetam. O uso abusivo dos indicadores é facilitado pela natureza numérica do resultado que introduz a possibilidade de estabelecer na urgência todos os tipos de estatísticas, sem se preocupar em analisar a qualidade e o conteúdo delas, e ocultando o exame de outros elementos da vida científica, como, por exemplo, a inovação e a transferência intelectual e industrial. » (Merlet, Robert, Segoufin, 2007). Segue um certo número de recomendações que convidam à maior prudência no manejo de informações cujo caráter lacunar e manchado de erros é constantemente sublinhado. Esses indicadores bibliométricos podem eventualmente servir para descobrir o “alto da pirâmide”, mas o julgamento pelos pares continua sendo o instrumento mais seguro e, paradoxalmente, o menos subjetivo...

2- Para além das fronteiras : Reino Unido, Austrália, Estados Unidos, Canadá, a lista é longa dos países que, ao lado da França e frequentemente antes dela, foram atingidos pelo vírus da avaliação. A criação de uma sociedade onde o computador substituiria o olho humano para avaliar as produções da pesquisa, parece ser uma ambição bastante generalizada. Um relatório recente anuncia que no Reino Unido os métodos bibliométricos são doravante chamados a subsitutir os métodos tradicionais de avaliação pelos pares. Parece que essa tendência se encontra identicamente em vários países. Muitos são os pesquisadores que denunciam esse pendor pelos indicadores pseudo-quantitativos, mas frequentemente eles consideram que se trata de uma fatalidade à qual não se pode escapar. É urgente para a comunidade científica dos sociólogos se informar e elaborar uma reflexão coletiva a esse sujeito: quer queiramos ou não, por boas ou más razões, esses instrumentos bibliométricos já são utilizados. Alguns desses usos podem ser relativamente razoáveis, mais eles não são nem neutros nem sem efeito sobre as práticas de pesquisa. Outros usos desses instrumentos são ilegítimos. É preciso conseguir que instrumentos que têm algum interesse não sejam utilizados contra o bom senso. As grandes manobras atuais em torno da bibliometria lembram-me estranhamente as querelas passadas em torno da medida da inteligência pelo “Quoeficiente intelectual » : medir assegura, mas não se mede o que se acreditava ou queria medir. Lembremos que Hirsch (2005), o inventor do h-index, sublinhou suficientemente que esse indicador não tem sentido para pesquisadores com pouco tempo de carreira. Antes disso, Merton já tinha afirmado que os resultados bibliométricos não deveriam de maneira alguma servir para avaliar pessoas (Merton, 1979). Nenhuma dessas duas mensagens parece ter sido ouvida. Utiliza-se o instrumento bibliométrico fora do quadro para o qual ele foi concebido. No entanto, como dizia Eric de Dampierre, um piano não foi feito para ser tocado com os pés.

REFERÊNCIAS

Cole J. (1983), The Hierarchy of Science?, American Journal of Sociology, vol. 89, n°1, pp 111-139.

Cozzens S. (1989), What do citations count?, Scientometrics, vol. 15, n. 5-6, pp. 437-447.
Evidence Report (2007) The use of bibliometrics to measure research quality in the UK higher education system.http://bookshop.universitiesuk.ac.uk/downloads/bibliometrics.pdf

Gilbert G.N. (1977), Referencing as Persuasion, Social Studies of Science, Vol 7, 113-122.

Gingras Y. (2008) La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs. CIRST, UQAM. http://www.cirst.uqpam.ca.

Hirsch J.E. (2005), An Index to quantify an individual’s scientific output, Proceedings of the National Academy of Sciences, vol. 102, n. 46, pp. 16569-16572.

Lawrence P. (2007) The mismeasurement of Science, Current Biology, Vol. 17 n°15., pp 583-585.

Liu N.C. et Cheng Y. (2005) Academic Ranking of World Universities- Methodologies and Problems, Higher Education in Europe, Vol. 30, N°2.

Liu N.C., Cheng Y. Liu L. ((2005) Academic Ranking of World Universities using Scientometrics – A comment on Fatal Attraction, Scientometrics, vol. 64, N°1, pp 101-109.
MacRoberts M.H. et MacRoberts B.R., (1986) Quantitative Measures of Communication in Science : A study of the Formal Level, Social Studies of Science, feb., Vol. 16 n°1, pp 151-172.

Merton R. K. (1979). Préface à E. Garfield, Citation Indexing, Its Theory and Application in Science, Technology and Humanities. Wiley. http://www.garfield.library.upenn.edu/cifwd.html

Merlet J.P., Robert P. Segoufin L., (2007) Que mesurent les indicateurs bibliométriques ?, Document d’analyse de la commission d’évaluation de l’INRIA.
http://www.inria.fr/inria/organigramme/ce.fr.html

Van Raan A.F., (2005) Fatal Attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods, Scientometrics, vol 62, n°1, pp 133-143.
Zuckerman H. (1987) Citation analysis and the complex problem of intellectual influence
Scientometrics, 12, n°5-6, pp.329-338.