Vous n'êtes pas membre (devenir membre) ou pas connecté (se connecter)
Captain Economics

Captain Economics

Captain', ça te sert à quoi de faire un site comme celui là? Trois options : (1) se faire de l'argent en masse et encaisser des dolls', (2) progresser dans son domaine et se faire plaisir en écrivant et en partageant ses idées, (3) se faire connaître un peu et faire parler de soi.

En ce qui concerne la première option, le Captain' voit passer chez lui environ 1200 visiteurs uniques par jour ! C'est plutôt pas mal du tout pour un début (site crée en décembre 2011), mais avant de payer l'impôt à 75%, il y a une belle petite marge ("comment ça avec aucune pub sur le site, c'est de toute façon pas gagné..."). Je compte tout de même sur vous pour faire connaître le site autour de vous, "liker" sur Facebook et "retweeter" sur Twittos... Objectif : 2.000 visiteurs uniques par jour à la fin de l'année 2013 !

L'option numéro 2, cela n'a aucun intérêt pour vous, mais voilà je suis content d'apprendre de nouvelles choses tous les jours et de le partager avec vous, ce qui me permet en plus d'avoir un échapatoire m'évitant de geeker sur ma thèse 24 heures sur 24. Bref ! Viens donc la troisième option, celle où je dois "parler de moi". Une sorte de lettre de motivation et CV tout en un, afin de (1) me la raconter mais sans en faire trop, (2) justifier mon droit d'écrire des conneries en montrant que je fais de temps en temps des trucs sérieux, (3) ne pas être chômeur trop longtemps après ma thèse. C'est parti !

Il était une fois, dans magnifique ville de province réputée pour la qualité de son football et son jeu à la nantaise, un petit garçon nommé Thomas... Hmmm, je m'emballe un peu là, on va faire plus simple. Nom et Prénom: Renault Thomas - Sexe: Masculin - Age : 25 ans - Profession : Thésard & quelques autres trucs.

Depuis un stage de 8 mois pour l'Organisation des Nations Unies à Bangkok en 2009 (UNESCAP - division stat'), j'ai un rêve dans ma petite tête "devenir tout pareil que DSK***, ou bien au moins l'assistant de l'assistant de l'assistant de DSK". 

*** Après avoir reçu deux / trois mails me disant "Captain' tu es vraiment un con de vouloir ressembler à DSK, ce mec n'a pas de morale..." ou encore "Ah elle est belle la jeunesse. Bravo l'exemple !", je tiens à préciser pour les personnes ayant du mal avec le second degré que ceci est ironique...

Après avoir validé mon Master of Sciences in Finance en 2009 (IESEG Lille), je me suis replongé dans les études, cette fois-ci à l'Université Paris 1 Panthéon-Sorbonne, avec les grands méchants du "M2 Recherche en Finance de Marché" (major de la promotion 2011, pour le côté "j'me la raconte un peu"...). Un nouveau stage au sein de la recherche économique de Natixis à Paris, ainsi qu'un mémoire réalisé sous la direction de M. Patrick Artus, me confortent dans mon idée de départ : "économiste, c'est plutôt stylé comme taff". Mais pour devenir comme DSK, il est préférable d'avoir le Graal nommé "PH D in Economics". Et voilà comment je me retrouve à travailler en thèse, comme un petit fou sur le thème de l'efficience des marchés. Moi, ça me plait, si vous me prenez pour un névrosé psychorigide, je ne vous en tiendrais pas rigueur non plus...


 http://www.captaineconomics.fr/

promospeciale

Publier ou Périr (ou Payer) : Les dérives de la publication académique et du monde de la recherche

Audience de l'article : 746 lectures
Nombre de commentaires : 0 réactions
La vie d'un chercheur dans le monde académique est rythmée par un processus relativement peu connu pour les non-initiés : la publication. Un chercheur passe en effet une partie de son temps à faire de la recherche (jusque là OK), mais consacre aussi énormément de temps à rédiger des papiers de recherche et à essayer de publier ses papiers dans des revues académiques. Si vous n'êtes pas dans ce petit monde de la recherche, vous n'avez sûrement jamais entendu parler du "Journal of Finance", de "Management Science" ou de l'"American Economic Review" (non non, publier dans "Capital", ça ne compte pas vraiment...). Mais si vous êtes chercheurs en économie / gestion/ finance, ces revues représentent pour vous le Graal. Un article dans un journal de top qualité, et hop votre carrière est lancée ! Pas de publication (ou bien uniquement dans des "petites revues"), et c'est la mort assurée. Le fameux "Publish or Perish" ! Bien que le système de publication académique ait sur le papier de nombreux avantages (évaluation de la qualité de la recherche par les pairs, structuration de la recherche...), la "course à la publication" peut malheureusement engendrer certaines dérives et faire oublier ce qui devrait être l'objectif numéro 1 : faire avancer la recherche.

Le fond du problème n'est pas spécifique à la recherche académique. En fait, à partir du moment où un indicateur quelconque, censé permettre de répondre à une problématique donnée, prend une place prépondérante dans un système, alors l'Homme peut avoir tendance à optimiser son travail pour satisfaire à cet indicateur en oubliant la problématique sous-jacente. Cela ne veut cependant pas dire que l'indicateur est mauvais ! Mais un indicateur doit être considéré avec toutes ses limites, et non pas comme une "mesure quantitative et 100% objective" permettant de répondre parfaitement à une problématique. Par exemple, si vous mettez en place une norme anti-pollution basée sur une mesure spécifique, alors les constructeurs automobiles vont optimiser ce paramètre pour répondre à un test donné (voire même tricher... le Captain' ne vise personne), et votre objectif initial de baisse de la pollution à long-terme ne sera pas forcément rempli. Et bien pour la recherche académique, c'est la même chose : à partir du moment où "la publication" devient au centre du système, l'objectif de "faire avancer" la recherche peut en partie disparaître. 

Attention : il ne s'agit absolument pas de dire que tous les chercheurs ne pensent qu'à "publier pour publier", en réfléchissant uniquement à leurs petites carrières personnelles. Loin de là ! Mais à l'inverse, il ne faut pas non plus faire preuve d'angélisme : comme dans de nombreux secteurs, il existe des fraudes, des manipulations et des tricheries dans le monde académique. Le dernier scandale à ce sujet a eu lieu il y a quelques semaines semaines, avec l'identification d'un vaste schéma de fraude à la publication concernant 64 "faux papiers" de recherche (source : Washington Post "Major publisher retracts 64 scientific papers in fake peer review outbreak"). Selon un article publié en 2010 dans "Nature" (justement un "top-journal / Graal" du chercheur), "Publish or perish in China", un chercheur sur trois dans les grandes universités chinoises serait coupable de plagiat, de falsification ou de "fabrication de données".  Un chercheur sur trois !!! 

"In other studies, one in three researchers surveyed at major universities and research institutions admitted to committing plagiarism, falsification or fabrication of data [..] However, several sources revealed to Nature that roughly one-third of more than 6,000 surveyed across six top institutions admitted to plagiarism, falsification or fabrication." - Nature

Plus récemment, une enquête de "Science" (top-journal again) "China's Publication Bazaar" a montré l'existence d'un véritable "marché noir de la publication académique" en Chine, où des chercheurs payent plusieurs milliers d'euros pour ajouter leurs noms sur des papiers de recherche et ainsi être publié sans même connaître le sujet, et ce histoire de rajouter une ligne importante sur un CV. Pourquoi spécialement en Chine ? Et bien simplement car, face à une forte concurrence, les jeunes chercheurs chinois cherchent par tous les moyens à "percer dans le système". Et pour percer, il n'y a pas 10.000 solutions : il faut publier dans des top-revues ! De plus, de nombreuses universités chinoises offrent des primes colossales aux chercheurs publiant dans les meilleurs journaux : selon certains chiffres, un chercheur chinois recevrait une prime d'environ 30.000 dollars s'il publie un papier dans "Nature" ou "Science" ! Autant vous dire qu'étant donné le salaire moyen d'un chercheur en Chine, l'incitation financière n'est pas négligeable... Pour finir, les sanctions sont encore très "lights" : alors que l'on pourrait imaginer une interdiction de publier ou d'enseigner pendant plusieurs années et/ou des sanctions financières/pénales, certains cas de fraudes avérés en Chine se sont simplement terminés par un renvoi du chercheur. High-Reward / Low-Risk : et hop le système devient rapidement un peu bancal.

Pour diminuer le risque de "fabrication de données" (et de "fabrication de beaux résultats") et permettre une meilleure réplicabilité, certains journaux exigent que l'ensemble des données, programmes et scripts utilisés dans le cadre d'un papier de recherche soit publique. C'est le cas par exemple pour l'"American Economic Review" (source : "Data Availability Policy") ou "PLOS" (source : "Data Policy"). Mais c'est une pratique qui est (malheureusement) encore trop peu répandue. Avec le déluge de nouvelles données "big-data", le problème de "fabrication des données" sera de plus en plus présent : plus de données = plus de facilité à truquer ses datasets pour un chercheur et plus de difficulté lors du processus d'évaluation pour vérifier la véracité des résultats avant publication (temps et puissance de calcul, connaissance spécifique en big-data...).

De nombreuses études sont désormais basées sur des données privées ou payantes, ce qui implique par définition moins de transparence et une quasi-absence de réplicabilité. Par exemple, le Captain' travaille sur la thématique "Twitter et Marchés Financiers" (sentiment des investisseurs et détection d'évènements), et a créé un robot qui tourne en permanence depuis des mois pour aller extraire des données en temps-réel sur Twitter. La base de données de plusieurs millions de tweets est donc privée, et selon les Termes d'Utilisation de Twitter, le Captain' n'a pas le droit de transmettre ou de revendre cette base. Dans une configuration telle que celle-ci, le risque (sur le papier) de falsification de données est énorme. Autant vous le dire tout de suite, ayant un minimum d'éthique et aimant réussir à se regarder correctement dans sa glace le matin, le Captain' ne va bien évidemment pas "truquer ses données" ni aller consciemment vers "l'overfitting". Mais face à une pression extérieure croissante poussant à la "publication à tout prix" (ce qui n'est pas le cas pour le Captain', merci @LaSorbonne et @IESEG de me laisser le temps de mener ma recherche sérieusement et consciencieusement), la balance entre "éthique" et "si je publie pas je suis mort" ne penchera malheureusement pas pour tout le monde du bon côté.

Il y aura forcément, parmi l'énorme majorité de chercheurs "honnêtes", quelques tricheurs... et malheureusement les tricheurs risquent de gagner à ce petit jeu, car la probabilité de se faire "prendre" est très faible. Même si, comme dirait Patrick Bruel,  "That's poker", il est important pour éviter autant que possible cela (1) que le processus de "peer-review" (évaluation par les pairs) avant publication soit irréprochable, (2) que, dès que cela est possible, les données soient disponibles afin de permettre une réplicabilité (et vérification) après publication par d'autres chercheurs, (3) que les sanctions en cas de fraude soient bien plus importantes (4) que les chercheurs déclarent qui a financé la recherche et s'ils ont été payés pour écrire ce papier ("Disclosure Policy" déjà imposée dans pas mal de journaux) et (5) (avis personnel) que des critères autres que la "publication académique pure" soient davantage pris en compte pour une évolution de carrière dans le monde académique, comme par exemple la participation au débat public, la présence dans les médias, la qualité de l'enseignement, la publication d'ouvrages, et même, soyons fous, la création d'un blog (le Captain' ne vise personne... ;) ).

Conclusion : Le système de "publication à comité de lecture" et l'évaluation de la qualité de la recherche en fonction des publications a de nombreux avantages, et l'objectif de cet article n'est absolument pas de remettre en cause tout le système. Cependant, et étant donné les dérives et fraudes avérées (qui ne sont d'ailleurs sûrement que la partie émergé de l'iceberg), il est important de voir s'il est possible d'améliorer le système, même de manière infinitésimale, pour essayer de revenir vers l'objectif de base : "faire avancer la recherche". C'est un peu #Bisounours comme vision il est vrai, mais si chaque chercheur essayait par exemple d'améliorer la transparence et de faciliter la réplicabilité en mettant à disposition simplement et gratuitement l'ensemble des données utilisées lorsqu'un papier est publié, alors cela serait déjà une belle avancée. Allez pour la peine, le Captain' s'engage à publier toutes les données et indicateurs utilisés lors de sa thèse (lorsque cela est légal) sur son site de recherche http://www.thomas-renault.com (site en construction). Dictionnaire et scripts pour l'analyse de sentiment, liste d'experts au sein d'un réseau, séries temporelles de tweets (agrégé, car sinon pas légal)... Tout sera disponible gratuitement une fois mes papiers publiés. Sur ce, en route vers le Graal !
Poster un commentaire