AccueilL'évaluation de la recherche, pour une réouverture des controverses

L'évaluation de la recherche, pour une réouverture des controverses

Research evaluation: reopening the controversy

Appel à contributions de la revue Quaderni

Call for papers to be published in Quaderni

*  *  *

Publié le mardi 18 janvier 2011 par Loïc Le Pape

Résumé

La revue Quaderni lance un appel à contributions pour un dossier thématique intitulé : « L’évaluation de la recherche : pour une réouverture des controverses / Research evaluation: reopening the controversy ». Ce dossier est coordonné par Séverine Louvel (UMR PACTE, CNRS et Grenoble Université). Date limite d’envoi des résumés de 8000 signes : 1er février 2011

Annonce

L’évaluation de la recherche : pour une réouverture des controverses

Argumentaire

L’évaluation est aujourd'hui consubstantielle aux politiques de recherche publique. Elle se rattache à ces « technologies à distance » par lesquelles les Etats contemporains pilotent, orientent, régulent ou contrôlent les activités de groupes sociaux[1].
En tant que telle, l’évaluation repose sur trois piliers :
  1. Des agencements socio-techniques (standards, procédures, critères, indicateurs, mesures, etc.) qui visent à atteindre une « objectivité mécanique»[2] supposée exempte de la subjectivité des jugements interpersonnels ;
  2. Une figure du pouvoir fondée sur l’adhésion contractuelle (auto-évaluation, inversion des rôles entre évaluateur et évalué) et sur le savoir plutôt que sur la contrainte[3] ; 
  3. Enfin une Weltanschauung, à la fois vision du monde et système de valeurs destinée à orienter l’action, structurée autour des valeurs de compétition, de rentabilité et de performance.
Ainsi définie, l’évaluation de la recherche est le produit de mouvements historiques aujourd'hui bien connus : dans la longue durée, l’avènement du règne de la mesure dans les politiques publiques[4] ; au vingtième siècle, l’apparition dans l’ordre industriel et la diffusion dans le secteur public des mots d’ordre de « qualité totale », « démarche qualité » et de « benchmarking » où la compétition devient un principe d’organisation[5] ;  enfin, à partir des années 1980, l’adoption de la doctrine du Nouveau Management Public (dans l’enseignement supérieur et la recherche, mais aussi la santé, la justice, etc.) par les Etats occidentaux et par la Commission Européenne. Ses principes de rentabilité et d’accountability (à la fois « rendre des comptes » et « être responsable »)[6] s’inspirent directement du management des entreprises.
Ce numéro de la revue Quaderni est motivé par le constat d’un déficit d’analyse des usages et les effets de l’évaluation, qui conduit d’une certaine manière à clore les controverses que des dispositifs plus ou moins récents[7] pourraient susciter. L’affaire semble en effet entendue :  

  • les agencements sociotechniques : La production « d’objectivité mécanique » a été décrite comme une activité à visée ontologique. Les dispositifs d’évaluation feraient advenir un monde peuplé d’entités nouvelles (« taux de publication », « rayonnement de la recherche », « part des financements contractuels », etc.) et ils définiraient le mode d’être au monde (survie ou disparition) des entités existantes. Cette thèse véhicule toutefois une vision monolithique des agencements sociotechniques produits par l’évaluation, très diversifiés à l’échelle internationale[8] ou selon l’objet considéré (revues, scientifiques, laboratoires ou établissements). Elle postule qui plus est une supériorité du jugement collectif des pairs, au prix peut-être d’une simplification voire d’une idéalisation de celui-ci[9].  
  • Le pouvoir est vu comme tyrannique[10] : il s’arrogerait un droit sur le savoir et l’assujettirait à son projet de domination. Cette affirmation tend à opérer un « grand partage » entre savoir et pouvoir, et à présenter seulement l’évaluation comme une entreprise de mise au pas des communautés scientifiques. Le pouvoir est ici impersonnel (l’Europe, la bureaucratie) ; les « scientifiques experts » ou les « experts gestionnaires »[11], pourtant maîtres d’œuvre de l’évaluation, quasiment invisibles.    
  • Enfin, la Weltanschauung ou « vision du monde » portée par l’évaluation est supposée comporter un ensemble de prescriptions anthropologiques. Elle appellerait à la « fabrication d’un chercheur nouveau »[12], dépourvu de sens critique, relais d’une pensée conformiste, et largement consentant aux injonctions gestionnaires. Corollaire probable du « grand partage » entre savoir et pouvoir, les mécanismes disciplinaires restent ici dans l’ombre, et avec eux la résistance, la contrainte, mais aussi la satisfaction et la réappropriation stratégique.
Les articles qui composeront ce dossier thématique de Quaderni dépasseront des interprétations relativement mécaniques ou manichéennes, de manière à rouvrir les controverses autour de l’évaluation de la recherche. Pour ce faire, ils analyseront la variété de ses usages et de ses effets par et sur les différentes parties prenantes de la recherche publique : scientifiques (en tant que chercheurs, membres de comités de rédaction d’une revue, directeurs de thèse, coordinateurs de projet, etc.) ; experts évaluateurs ; gestionnaires d’établissements de recherche ; instances ministérielles ; médias, etc.
Les articles attendus relèvent de plusieurs disciplines : science politique, sociologie, sciences de la communication, anthropologie, etc.
  • Ils développeront une analyse empirique d’un ou plusieurs dispositifs d’évaluation : critères, notes, indicateurs, bibliométrie, classements, recommandations, appréciations, délibérations en jury, comités de visite, etc. Ceux-ci pourront être développés pour des chercheurs, des équipes ou des départements, des revues, des établissements, des comités de programmes, etc. 
  • Ils retraceront la généalogie du dispositif étudié, afin de préciser les modalités de diffusion et les voies de standardisation des formes d’évaluation.
  • Ils interrogeront les formes de clôture des controverses autour de l’évaluation et ce qu’elles doivent en particulier à la persistance de schémas classiques de la décision politique, linéaires et rationnels[13].
  • Ils cerneront les usages et les effets de l’évaluation en privilégiant l’un ou l’autre (ou plusieurs) des trois piliers de l’évaluation.
    • Les agencements sociotechniques. L’avènement, la stabilisation et la circulation d’entités sociomatérielles ou discursives se font-ils à marche forcée ? « Revues de rang A », départements « quatre étoiles », recherche à « forte retombée socioéconomique », etc. Les auteurs sont invités à comparer la carrière de ces entités (entre dispositifs, disciplines, établissements, etc.) afin de réintroduire des processus, de l’aléa, de la dépendance au sentier, du découplage entre pratiques et discours, en lieu et place d’interprétations déterministes. Les comparaisons dans le temps, et en particulier avec les dispositifs plus anciens d’évaluation par les pairs, permettront également de discuter de « l’objectivité mécanique » visée par les nouveaux dispositifs d’évaluation.
    • Le pouvoir. La recomposition des relations entre parties prenantes de la recherche signe-t-elle un diktat du politique ? Les articles du dossier thématique restitueront la complexité des enjeux de pouvoir soulevés par l’évaluation de la recherche, ils incarneront les acteurs engagés dans ce processus et la manière dont ils exercent leurs prérogatives. Plutôt que de conclure en toute généralité à un accroissement unilatéral du contrôle des managers sur les scientifiques, les auteurs s’intéresseront aux déplacements des sphères d’influence dans l’espace public (instances ministérielles, hiérarchie des établissements, collectivités scientifiques et leurs représentants, comités de programmes, agences d’évaluation, comités de programmes, etc.) et au-delà (monde socioéconomique, agences de notation, think tanks et médias)[14].
    • La Weltanschauung, ou la vision du monde et les valeurs portées par les nouveaux mots d’ordre de l’évaluation. Suscitent-elles normalisation des comportements et conformité, ou consentement et conversions stratégiques ? Historiquement, des professionnels ont refondé leur légitimité[15] en défendant auprès des politiques des mesures quantifiées de leur activité. Les collectivités scientifiques sont loin de parler à l’unisson[16] en matière d’évaluation, et certains chercheurs devancent leurs évaluateurs en calculant leurs scores individuels (« H Index », citations dans Google Scholar, etc.). Les articles du dossier thématique pourront s’intéresser à ces scientifiques qui prennent une part active à l’avènement d’un « chercheur nouveau » acquis aux nouvelles formes d’évaluation et en particulier aux indicateurs chiffrés. Les analyses pourront aussi porter sur la montée en puissance d’experts ou de « scientifiques – évaluateurs » (souvent membres des instances décisionnelles des agences d’évaluation, etc.), ou sur le déploiement de nouvelles « écologies de pratiques » pour répondre à l’évaluation[17], observables dans le lancement de programmes de recherche, les réponses aux appels d’offre, la conclusion de partenariats, etc.
Enfin, les contributions pourront envisager comment l’évaluation conforte ou bouscule les rhétoriques professionnelles des chercheurs. Les réformes poussent certains à produire un discours de la dénonciation qui décrit l’évaluation comme une attaque en règle contre la légitimité professionnelle des chercheurs et comme un dévoiement de l’ethos scientifique. Mais à l’inverse, d’autres scientifiques trouveront dans les réformes de nouvelles ressources de légitimation. Ces déplacements des pratiques et des discours renouvellent-il les anciennes lignes de partage au sein du monde académique ? Les articles pourront notamment retracer comment les réformes récentes de l’évaluation ont recomposé les rapports de pouvoir et de légitimité entre spécialités, disciplines, établissements, générations, etc.

Modalités de soumission des propositions

Les auteurs intéressés sont invités à soumettre un résumé qui ne dépassera pas 8000 signes. Ce résumé indiquera : l’argument proposé, la matière empirique, le cadre théorique, les cinq références bibliographiques essentielles.
Les propositions seront évaluées par un comité scientifique désigné par le comité de rédaction de la revue Quaderni pour cet appel à propositions.

Composition du comité scientifique :

  • Nicolas Dodier (Inserm et GSPM, CNRS-EHESS),
  • Lars Engwall (Université d’Uppsala),
  • Frédéric Forest (Chercheur associé au CRPMS, Paris 7 et Administrateur civil, DGS de l'Université de Rouen),
  • Olivier Godechot (CMH – CNRS et Ecole Normale Supérieure),
  • Michèle Lamont (Université de Harvard),
  • Liudvika Leišytė (CHEPS, Université de Twente),
  • Séverine Louvel (PACTE, CNRS et Université de Grenoble),
  • Christine Musselin (CSO – Sciences Po Paris et CNRS). 
Les résumés peuvent être indifféremment rédigés en anglais ou en français. Ils seront accompagnés du nom de leur(s) auteur(s), ainsi que des affiliations professionnelles et des coordonnées de ce(s) dernier(s).
Ils doivent être envoyés dans un même courriel aux adresses suivantes : severine.louvel@iep-grenoble.fr ou quaderni_researchevaluation@yahoo.fr
Tout renseignement peut être demandé aux mêmes adresses.
Date limite d’envoi des résumés de 8000 signes :

1er février 2011

Déroulement de la sélection

  • Sélection des résumés par le comité scientifique : 15 mars 2011
  • Pour les résumés acceptés, date limite d’envoi des textes (français ou anglais, environ 35000 signes) : 1er octobre 2011.

Références

[1] Porter, T. M. Trust in Numbers: The Pursuit of Objectivity in Science and Public Life Princeton, NJ, Princeton University Press, 1995.
[2] Ibid.
[3] Miller, J.-A. et Milner, J.-C. Voulez-vous être évalué ? Paris, Grasset 2004.
[4] Desrosières, A. La politique des grands nombres. Histoire de la raison statistique. Paris, La découverte, 1993.
[5] Bruno, I. A vos marques, prêts… cherchez ! La stratégie européenne de Lisbonne, vers un marché de la recherche. Collection Savoir/Agir. Paris, Editions du croquant, 2008.
[6] Garcia, S. "L'évaluation des enseignements : une révolution invisible." Revue d'Histoire Moderne et Contemporaine,  volume 55-4bis, numéro 5, 2008, p. 46-60. Ferlie, E., Musselin, C., et al. "The steering of higher education systems: a public management perspective." Higher Education, volume 56, numéro 3, 2008, p. 325-348.
[7] On pense ici à la création de dispositifs nationaux d’évaluation (Research Assessment Exercice britannique, Valutazione triennale della ricerca italien, Standard Evaluation Protocol for Public Research Organizations néerlandais, Agence de la Recherche et de l’Enseignement Supérieur française, etc.), à la multiplication des classements des établissements (Shanghai, du Times Higher Education, etc.) et des revues (classement des revues de sciences sociales ‘European Reference Index for the Humanities’ (ERIH) de la Fondation Européenne de la Science, etc.)
[8] Whitley, R. et Gläser, J. (dir.). The Changing Governance of the Sciences. Sociology of the Sciences Yearbook. Dordrecht, Springer, 2008.
[9] Lamont, M. How Professors Think: Inside the Curious World of Academic Jugdment. Cambridge, Harvard University Press, 2009.
[10] Zarka, Y.-C. "L'évaluation : un pouvoir supposé savoir." Cités,  volume 37, numéro 1, 2009, p. 113-123.
[11] Vilkas, C. "Des pairs aux experts : l'émergence d'un « nouveau management » de la recherche scientifique ?" Cahiers internationaux de sociologie,  volume 126, numéro 1, 2009, p. 61-79. Garcia, S. "L'expert et le profane : qui est juge de la qualité universitaire ?" Genèses,  volume 70, numéro 1, 2008, p. 66-87.
[12] Gori, R. "Les scribes de nos nouvelles servitudes." Cités,  volume 37, numéro 1, 2009, p. 65-76.
[13] SFEZ, L. Critique de la décision, Presses de Sciences Po.1ère édition 1973, 4ème édition 1992. SFEZ, L. "Evaluer: de la théorie de la décision à la théorie de l'institution" à paraitre dans les Cahiers Internationaux de Sociologie.
[14] Whitley, R., Gläser, J., et Engwall, L. (dir.). Reconfiguring Knowledge Production: Changing Authority Relations in the Sciences and Their Consequences for Intellectual Innovation. Oxford, Oxford University Press, 2010.
[15] Porter (1995) op. cit.
[16] Mérindol, J.-Y. "Comment l'évaluation est arrivée dans les universités françaises." Revue d'Histoire Moderne et Contemporaine,  volume 55-4bis, numéro 5, 2008, p. 7-27.
[17] Stengers, I. La vierge et le neutrino. Les scientifiques dans la tourmente Paris, Les empêcheurs de penser en rond, 2006.

Dates

  • mardi 01 février 2011

Mots-clés

  • évaluation, controverses, politiques de la recherche

Contacts

  • Séverine Louvel
    courriel : severine [dot] louvel [at] iepg [dot] fr

Source de l'information

  • Séverine Louvel
    courriel : severine [dot] louvel [at] iepg [dot] fr

Pour citer cette annonce

« L'évaluation de la recherche, pour une réouverture des controverses », Appel à contribution, Calenda, Publié le mardi 18 janvier 2011, http://calenda.org/203086