Crédit Photo : David Parkins - "Robust research: Institutions must do their part for reproducibility" [Nature]
La science et son évaluation
La force de la science vient de l'exigence de son processus de vérification. A la suite de leurs recherches, les scientifiques écrivent un article qu'ils rendent public, y font des propositions réfutables que le reste de la communauté travaille à réfuter, par le débat, la contre-expérience et la recherche du consensus. Ceci assure que les connaissances scientifiques sont solides et dépassent les préjugés de chacun des membres de la communauté. La science s'est développée ainsi, avec nombre de succès remarquables, jusque dans les années 60, période à laquelle les institutions en ont indirectement mais profondément changé les règles. En effet, désireuses de mieux manager leurs chercheurs, elles se sont mises en quête de critères quantitatifs pour en estimer la qualité productive. Un critère unique, aberrant, a été inventé, et progressivement adopté par toutes : le facteur d'impact.Le facteur d'impact est le nombre moyen de citations engendré par les articles parus dans un journal donné dans les deux ans suivant leur publication[1]. Il est pensé plus ou moins comme le "prestige" d'un journal et les institutions estiment que leurs chercheurs ont bien travaillé s'ils arrivent à faire publier un article dans les journaux les mieux cotés de leur discipline. Cette manière d'estimer la qualité scientifique d'un article est en soi absurde, bourrée de défauts[2] et d'effets pervers quant à la manière de devenir un scientifique à succès. Mais là n'est pas le pire: cette manière d'évaluer détruit fondamentalement le processus scientifique en annihilant la communauté scientifique elle-même: le but du scientifique, pour faire carrière, être reconnu et obtenir des financements, n'est en effet plus de convaincre ses semblables mais d'obtenir la faveur d'un éditeur. Tous les scientifiques deviennent alors de fait des concurrents pour obtenir cette faveur qui ne pourra pas être accordée à tout le monde. Le fonctionnement horizontal, communautaire, impliquant critique constructive et recherche du consensus, n'est plus possible. Tout se polarise autour de journaux nouvellement promus comme les faiseurs de rois monopolistiques de leur discipline. Le processus scientifique se retrouve lui-même entièrement privatisé.
Le processus de publication actuel
Lorsqu'un chercheur veut "publier", c'est-à-dire faire connaître le résultat de ses recherches à ses pairs, il envoie son manuscrit à l'éditeur du journal de son choix. En général, il commence par le journal thématique ayant le plus gros facteur d'impact. L'éditeur décide si l'article est éligible pour son journal. Le cas échéant, il organise un tribunal en recrutant une, deux (le plus souvent) ou trois personnes anonymes qui vont, en un temps limité et bénévolement, rendre autant de rapports préconisant le rejet ou l'acceptation de l'article et, dans ce dernier cas, en exigeant certaines modifications. Ces rapports peuvent être contradictoires, mais l'auteur fait ensuite toutes les modifications nécessaires pour recevoir l'imprimatur de ses juges anonymes. Quand il a donné satisfaction, l'article est mis en forme selon la maquette du journal, l'auteur signe un transfert de copyright donnant tous les droits d'exploitation de son article à l'éditeur et ce dernier met le .pdf en vente en ligne sur son site. Dans d'autres nouveaux modèles, lors de cette dernière étape c'est l'auteur qui en plus paye l'éditeur pour que l'article soit accessible au plus grand nombre. Si l'article est refusé, l'auteur recommence autant de fois qu'il le faut auprès d'autres journaux, un par un, ce qui peut durer très longtemps. Si le journal qui accepte l'article a un gros facteur d'impact, le scientifique sabre le champagne car il va pouvoir cocher les bonnes cases dans les rapports d'activité de son institution (ex CNRS : "revues de rang A") et peut-être obtenir bourses européennes et promotion. Jusqu'à la mise en ligne de l'article, l'entièreté du processus est invérifiable et se déroule dans la boîte mail d'un éditeur[3].Ce système a une valeur essentiellement rituelle, sans doute intellectuelle, mais certainement plus scientifique. Pointons rapidement quelques-unes de ses nombreuses faillites:
1) La vérité scientifique est déterminée par deux personnes anonymes en un temps court. Evidemment, cela ne peut pas marcher et la science est majoritairement fausse, à un point où le contribuable peut légitimement douter de l'intérêt de continuer à financer la recherche. Par exemple, 90% des travaux les plus cités dans la recherche sur le cancer ne sont pas reproductibles, c'est-à-dire sans valeur scientifique. Plus généralement, on estime que 50% de la recherche biomédicale ne l'est pas non plus. Imaginons comment l'absence de contrôle sérieux se combinerait avec le volontarisme de l'industrie pharmaceutique à défendre ses intérêts... Aucun domaine n'est épargné, voici un exemple en économie Le but d'un scientifique est de convaincre un éditeur en un temps court, et le storytelling d'un article est souvent plus important que son exactitude ou sa réelle profondeur. Les scientifiques s'astreignant à une éthique impeccable prennent le risque de se faire doubler par d'autres moins regardants.
2) Un système où le but est de satisfaire les attentes de quelques éditeurs a un conservatisme inné qui empêche l'émergence de nouvelles idées. La science ne se renouvelle pas au rythme de sa dynamique propre mais à celui des départs à la retraite ou du décès des éditeurs puissants ou des leaders que ces derniers ont consacré.
3) Le système a un coût exorbitant. Les éditeurs s'arrogent les droits d'exploitation des articles (très majoritairement financés par la recherche publique) et les revendent à la communauté scientifique. Il n'y a pas de pression à la baisse des prix car il n'y a pas de concurrence entre journaux: chaque article scientifique est unique ("biens non-substituables") et le chercheur a besoin de tous les acheter. Des milliers de journaux sont la propriété de multinationales (la plus emblématique étant Elsevier) aux marges souvent aberrantes (1,16 milliard de profit et 36% de marge pour Elsevier). Au final, la communauté scientifique paye globalement 23 milliards d'euros chaque année pour retrouver l'accès à sa propre production. Le contribuable doit lui aussi payer de son côté s'il veut savoir ce qu'ont fait les chercheurs de son argent (le droit de lecture d'un article est en général facturé 35 euros aux particuliers).
Initiatives actuelles
Depuis 20 ans, les efforts institutionnels se concentrent simplement sur la dernière phrase du paragraphe précédent, la question de "l'Open Access"[4]. On voudrait que toute l'humanité puisse avoir accès gratuitement à la science conservatrice et pleine d'erreurs qu'elle a financée, ce qui est moralement irréprochable mais sans doute moins urgent que la résolution des autres problèmes. Les passions se déchaînent : on signe des pétitions, des tribunes enflammées, on n'hésite pas à dénoncer les multinationales, on en appelle au législateur. On investit même des millions dans des projets nationaux menés par des leaders aux vision et discours limpides.En pratique, une analyse macroscopique ne laisse aucune place au suspense. Dans la mesure où ce sont les journaux qui contrôlent la science, l'open access n'adviendra que selon leurs modalités, déjà bien connues des analystes financiers via la généralisation d'un modèle de prélèvement à la source ("gold open access") où le chercheur paye pour donner son article au journal. Ceci coûtera naturellement encore plus cher que le système actuel, et les futures dérives de ce nouveau modèle économique sont évidentes.
Il n'y a actuellement pas de discours audible sur l'éléphant dans le couloir, c'est à dire sur le fait qu'en premier lieu un journal n'a ni la capacité ni la légitimité à évaluer la science (seule la communauté dans son ensemble peut le faire), et qu'elle est devenue obsolète pour en assurer la diffusion à l'heure d'Internet. Le seul mode d'évaluation alternatif qui a réussi à faire parler un peu de lui dernièrement est les "altmetrics", qui proposent de compléter le facteur d'impact par le buzz généré par les articles sur Facebook, Twitter et les médias de masse...
Solution
La solution de fond consiste bien évidemment à revenir à une évaluation scientifique rigoureuse, communautaire et horizontale, après quoi tout se réorganisera mécaniquement. Internet a résolu les problèmes d'espace et de temps de sorte que ce processus peut marcher encore mieux que par le passé. C'est sur ce pillier du "peer-to-peer" que s'est construite la plate-forme "The Self-Journal of Science" (SJS, www.sjscience.org). Il s'agit d'un site de dépôt d'articles où tous les processus associés à la publication (le contrôle qualité, la construction d'une vision collective, la classification) sont pratiqués en autogestion et de manière auto-régulée en toute transparence. Des solutions nouvelles sont trouvées pour résoudre les deux problèmes fondamentaux que sont (1) faire en sorte que la contradiction et le désaccord ne soient pas anti-sociaux (2) faire en sorte que la liberté redonnée individuellement à tous les scientifiques soit toujours utilisée dans le sens de l'excellence scientifique. Le détail de cette solution est expliqué ici et il serait trop long d'en expliquer le principe dans cette colonne (sauf si demande populaire!).Action
Je voudrais conclure en m'adressant en particulier aux (jeunes?) chercheurs qui lisent ces lignes. Le système actuel est insupportable pour qui aime la science. De plus, dans un contexte de réduction de budgets, il sera toujours plus dur et injuste envers le "bas de l'échelle" sociale scientifique que sont les doctorants et les post-docs, surtout ceux qui ne sont pas dans des labos stars. Il faut absolument retrouver un système d'évaluation dont tous les scientifiques sont partie prenante, ainsi que je le propose. Cependant, il est évident qu'une telle redistribution du pouvoir ne peut pas se produire de haut en bas. Ni les politiques étrangement conciliants avec les intérêts des multinationales ni l'infime minorité de scientifiques en vue ayant atteint le sommet de ce système et y ayant trouvé leur compte ne vous y encourageront. Il faut s'emparer des outils offerts par SJS et commencer à donner son avis alors que personne ne vous le demande, afin de lancer la dynamique communautaire qui à un moment fera la démonstration évidente que la science qu'elle produit est meilleure que celle du système actuel. Alors, l'argument décisif qui fera que ce système pourra être adopté (et inéluctablement remplacer l'ancien pour gérer les attributions de financement et promotions) sera qu'il est gratuit : la solution scientifique dont nous chercheurs avons besoin coïncide avec la solution économique que recherchent activement les institutions.Lisez cet article, débattons, rassemblons-nous et passons à l'action ! Je ne vois personnellement aucun autre scénario par lequel le système actuel évoluerait dans le sens de l'intérêt de la science et de la majorité des scientifiques.
[1] La définition d'une « citation scientifique » étant laissée à la discrétion d'une entreprise privée, Thomson Reuters, via son service "the Web of Science" qui en fait le décompte. Tout est invérifiable, mais on peut déjà remarquer que ne sont pas comptabilisés les travaux rédigés dans une autre langue que l'anglais...
[2] Pêle-mêle : le facteur d'impact ne se rapporte pas à un article mais à un journal, citer un article ne signifie pas qu'il est bon (au contraire je peux le citer pour le réfuter), il est très facile de manipuler le nombre de citations d'un article avec quelques complices, la moyenne des citations n'a statistiquement aucune pertinence car la distribution des citations n'est pas gaussienne, il ne tient pas compte de la taille des communautés, il privilégie le court terme et les effets d'annonce, etc.
[3] Dans certaines disciplines, comme la physique, il est à noter que s'est développée la pratique du "pre-print", à savoir que des sites comme arXiv.org permettent aux scientifiques d'au moins déposer leur manuscrit initial pour que tout le monde y ait immédiatement accès et pour se protéger dans une certaine mesure des divers abus pouvant avoir lieu au sein du tribunal (ex: le vol des idées de l'article par les juges anonymes, qui peuvent ralentir au maximum le processus et publier ces idées en leur nom avant).
[4] Le lecteur pourra constater lui-même l'abondance d'information et d'initiatives associées à ce mot-clé
