HomeThe stakes and challenges of the evaluation function in ITC sciences

HomeThe stakes and challenges of the evaluation function in ITC sciences

The stakes and challenges of the evaluation function in ITC sciences

Les enjeux et les défis de la fonction d’évaluation en sciences de l’information et de la communication

*  *  *

Published on Monday, January 27, 2020 by Anastasia Giardinelli

Summary

Quels sont les bénéfices ou les inconvénients de l’implication de plusieurs acteurs dans l’évaluation ? Quelles compétences doivent posséder les professionnels de l’information et de la communication pour mettre de l’avant un tel processus ? Sont-ils considérés comme des acteurs importants et/ou influents ? Quelles stratégies peuvent-ils mettre en œuvre pour assurer la défense de leur champ d’expertise (advocacy) en gestion de l’information et de la communication ? Ce numéro de la revue COSSI propose de s’interroger tant sur les modalités de la fonction d’évaluation en gestion de l’information et de la communication que sur les rôles des professionnels impliqués dans celle-ci.

Announcement

Numéro coordonné par Natasha Zwarich, Dominique Maurel et Lise Verlaet

Argumentaire

Les organisations sont actuellement confrontées à de nombreux enjeux informationnels et communicationnels qui ont des incidences importantes sur leurs capacités à documenter leurs processus d’affaires et leurs prises de décisions (Smallwood, 2014), à manager le personnel et conduire le changement (Benoit et al., 2019), à communiquer avec les différentes parties prenantes. De plus, les organisations font face à des exigences normatives toujours plus nombreuses et de plus en plus strictes, qu’il s’agisse de conformité et de reddition de compte, de responsabilité sociale ou environnementale, du RGPD[1], etc. Pour répondre à ces préoccupations, la mise sur pied de processus d’évaluation est souvent requise pour s’assurer de l’atteinte d’objectifs organisationnels (Moran et al., 2013, p. 414) et de la mise en place de pratiques durables répondant aux besoins évolutifs des organisations, de leurs personnels, de leurs fournisseurs et prestataires, ainsi que de leurs clientèles. 

Comme le soulignent Le Moënne et Parrini-Alemanno (2010, p. 7), la question de l’évaluation remonte à la fin du XIXe siècle corrélativement au contexte scientiste et à la « "raison statistique" [qui] s’efforce[nt] de classer et de contrôler les populations dont les mouvements de masse effraient. Elle prendra une dimension clairement gestionnaire à mesure du développement des logiques d’évaluation de la performance financière et capitalistique des firmes, […] s’étendra à l’évaluation pédagogique avec le temps de la scolarisation de masse et l’invention des tests d’intelligence et de performance individuelle. L’évaluation […] prétend produire des méthodes d’analyse et des jugements à prétention scientifique concernant des processus et des pratiques sociales, dont la caractéristique est qu’ils sont, par leur complexité, pour l’essentiel irréductibles à des modalités simples de description ou de mesure. »

Néanmoins, l’on observe depuis quelques années, en sciences de l’information et de la communication comme dans d’autres disciplines, un intérêt grandissant pour cette pratique : l’évaluation de programmes, de projets et services en milieu organisationnel, des salariés. L’évaluation se définit comme une « démarche rigoureuse de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique, un processus, une activité ou un projet pour aider à la prise de décision » (Gouvernement du Québec, Secrétariat du Conseil du trésor, 2013, p. 9). L’évaluation est un processus continu visant à vérifier la réalisation efficiente et efficace de ce que l’on doit faire : mission, buts, objectifs, plans (Moran et al., 2013). Elle implique l’élaboration d’objectifs et une infrastructure pour mesurer l’atteinte de ceux-ci. Il s’agit d’une étape essentielle afin de déterminer la valeur, la fonction et l'utilité de l’information pour exploiter son potentiel (ARMA International, 2014; Laney, 2017). Le recours à des indicateurs constitue une composante essentielle de tout système organisationnel dans lequel on veut mesurer l’atteinte d’objectifs ainsi que l’impact de programmes et services offerts sur la performance de l’organisation (Brophy, 2006; Voyer, 2008). Un indicateur est défini comme une « mesure qui sert à évaluer ou à apprécier les résultats, l’utilisation des ressources, l’état d’avancement des travaux, le contexte, etc. » (Gouvernement du Québec, Secrétariat du Conseil du trésor, 2013, p. 12). Les mesures utilisées doivent permettre de mesurer les intrants (ex. : les ressources), les extrants (ex. : les résultats), l’atteinte des résultats ainsi que toutes autres données permettant d’expliquer ces résultats. Dans une perspective d’efficience et de productivité, l’évaluation s’immisce de plus en plus au sein même des processus d’effectuation, normalisant et rationnalisant ainsi toutes les étapes du travail des salariés.

La pertinence de la fonction d’évaluation semble reconnue et s’implante graduellement dans les organisations. Évaluer certes, mais pourquoi et surtout, comment ? Les objectifs visés par la mise en place d’un processus d’évaluation sont nombreux et varient selon les contextes organisationnels : reddition de compte, amélioration des programmes et services, promotion des activités, comparaison entre organismes ou contrôle des ressources allouées aux activités (Behn, 2003; Dugan et al., 2009; Duff et al., 2010).

Des statistiques sont principalement utilisées pour évaluer la performance des activités d’une organisation (McLeod et Childs, 2007; Bailey, 2011; Poll, 2012; Smallwood, 2014). Or, la littérature montre l’importance d’utiliser également des données qualitatives pour documenter le contexte des activités et mesurer les actifs intangibles de l’organisation (Brophy, 2006; Dugan et al., 2009; Duff et al., 2010; Gainor et Bouthillier, 2014). Récemment, les recherches effectuées sur les indicateurs en gestion des connaissances et en intelligence d’affaires montrent, malgré les différences dans la gestion des organisations, l’importance de procéder à des évaluations pour soutenir la planification stratégique des organisations et faciliter la prise de décision organisationnelle (Cohen, 2009; Chen et al., 2009; Gainor et Bouthillier, 2014; Laney, 2017). Par conséquent, le processus d’évaluation de la performance doit être documenté, tant la marche à suivre que la définition et l’interprétation des indicateurs de performance, systématique et connu dans l’organisation (Gainor, 2014). Cependant, des études menées en sciences de l’information montrent qu’évaluer la performance d’actifs intangibles pose certaines difficultés d’ordre méthodologique et conceptuel rendant ainsi la normalisation des pratiques plus complexe (Corona, 2009; Dalkir et McIntyre, 2011; Gainor, 2014; Laney, 2017). Précisons qu’un actif informationnel est défini comme « tout élément qui représente de la valeur pour l’organisation » (ISO 30300, 2011, p. 1). Un actif peut donc être « un document produit ou reçu dans le cadre d’un processus de travail, un système d’information sur lequel est stockée ou transite de l’information, ou encore un logiciel » (Maurel, 2013, p. 178-179). Les actifs informationnels peuvent être tangibles ou intangibles. Par conséquent, les actifs intangibles peuvent être difficilement perceptibles et reposer sur une expérience subjective rendant ainsi leur quantification difficile (Gainor, 2014). L’on peut d’ailleurs s’interroger sur le principe même d’indicateur et de mesure dès lors qu’il s’agit d’évaluer les actions humaines voire l’humain. Tout est-il quantifiable ? Le faut-il ? Quels effets pervers cela peut-il engendrer ? Rappelons que le détournement de certains indicateurs de leur périmètre d’action initial peut conduire à des situations absurdes ou contre-productives par rapport aux objectifs. Déterminer la valeur réelle des activités en sciences de l’information et de la communication est souvent ardu en raison de la nature intangible des actifs informationnels qui sont en cause, et en raison de la nature des systèmes qui ne mesurent bien souvent que les coûts de fonctionnement (Portugal, 2000; Saffady, 2011; Laney, 2017). L’évaluation renvoie donc le plus souvent à une dimension fonctionnaliste par conséquent très éloignée d’une dimension humaniste. La prolifération des évaluations s’accompagne également de méthodes de management privilégiant des modèles clé-en-main qui tendent à normaliser et contraindre les formes organisationnelles, sclérosant ainsi les pratiques et les acteurs. Ces indicateurs peuvent être davantage perçus comme des indicateurs de soumission aux normes bien plus que comme de nouvelles modalités de travail produisant au sein des équipes tensions et frustrations (Le Moënne et Parrini-Alemanno, 2010). Cette rationalisation des activités introduit également de multiples outils censés faciliter le travail quotidien des acteurs de l’organisation mais qui sont autant de dispositifs de contrôle des activités (Gallot et Verlaet, 2016). La publication récente de normes internationales (ISO 15489, ISO 30300, ISO 30302) sur la gestion des documents d’activité met en évidence l’importance de la mise en place d’un processus systématique d’évaluation de la performance pour assurer une gestion efficace de l’information. Cependant, plusieurs de ces normes demeurent, pour l’instant, théoriques et fournissent peu d’indicateurs permettant d’opérationnaliser et d’uniformiser l’évaluation des activités en gestion de l’information et de la communication. Les normes en sciences de l’information et de la communication s’ajoutent souvent aux normes de gestion qualité des organisations qui présentent des exigences importantes. Est-ce que le recours aux normes offre des avantages dans le processus d’évaluation ? Au contraire, est-ce que les normes sont trop contraignantes ? Quels sont les critères utilisés pour mener les évaluations en sciences de l’information et de la communication ? 

Plusieurs outils et méthodes d’évaluation sont à la disposition des professionnels de l’information et de la communication pour assurer le suivi des activités et mesurer tant les actifs tangibles que les actifs intangibles d’une organisation. L’audit sert à évaluer les activités et systèmes de gestion de l’information d’une organisation pour s’assurer qu’ils répondent aux obligations légales et réglementaires ainsi qu’aux objectifs organisationnels (ARMA International, 2014). L’étalonnage concurrentiel (benchmarking) consiste à comparer les produits et les services entre diverses organisations (Moran et al., 2013) afin de dégager les meilleures pratiques. Le tableau de bord de gestion offre une représentation graphique de plusieurs indicateurs, dont la vue d’ensemble permet de prendre rapidement une décision (Voyer, 2008, p. 67). Pour mesurer les actifs tangibles, Portugal (2000) et Saffady (2011) proposent deux méthodes d’évaluation, soit le retour sur investissement (ROI – Return on investment) qui consiste à évaluer l’efficacité de l’utilisation des capitaux investis dans une organisation, un service ou un projet et l’analyse coût-bénéfice (Cost-benefit analysis) qui vise à déterminer si la valeur d’un service est plus ou moins élevée que son coût de réalisation, permettant ainsi d’évaluer si un programme ou un service est justifié. L’évaluation qualité (Allan, 2017) est l’ensemble des actions mises en place par une organisation pour mesurer le niveau de satisfaction des clientèles, tant internes qu’externes, afin d’améliorer les services offerts. Or, ces divers outils et méthodes ne permettent, bien souvent, d’évaluer qu’une facette de la gestion de l’information et de la communication sans nécessairement offrir de vision globale. Quelles sont les pratiques actuelles et les méthodologies utilisées pour procéder à l’évaluation ? Quelles sont les informations dont disposent les professionnels de l’information pour mener de telles évaluations ? L’évaluation peut avoir une connotation positive ou négative selon la culture organisationnelle, l’objectif visé par celle-ci ou encore selon la méthodologie choisie. Ainsi, quels sont les facteurs critiques du succès d’une telle démarche ? Au contraire, quels sont les facteurs qui peuvent influencer négativement l’évaluation ? Quelle est la perception de ces méthodes et outils dans les pays de la francophonie ?

La mise en œuvre d’un processus d’évaluation requiert l’implication de professionnels de divers horizons (Allan, 2017; Marchand, 2018). Ces professionnels ont souvent des préoccupations et des enjeux bien distincts des professionnels de l’information et de la communication. Dans ce numéro, nous nous interrogeons aussi sur les rôles et les responsabilités des divers acteurs et parties prenantes impliqués dans l’évaluation des activités de gestion de l’information et de la communication. En effet, quels sont les bénéfices ou les inconvénients de l’implication de plusieurs acteurs dans l’évaluation ? Quelles compétences doivent posséder les professionnels de l’information et de la communication pour mettre de l’avant un tel processus ? Sont-ils considérés comme des acteurs importants et/ou influents ? Quelles stratégies peuvent-ils mettre en œuvre pour assurer la défense de leur champ d’expertise (advocacy) en gestion de l’information et de la communication ? 

Ce numéro de la revue COSSI propose de s’interroger tant sur les modalités de la fonction d’évaluation en gestion de l’information et de la communication que sur les rôles des professionnels impliqués dans celle-ci.


[1] Règlement général sur la protection des données, le règlement n°2016/679 de l’Union Européenne constitue un texte de référence en matière de protection des données personnelles.

Coordinatrices du numéro

  • Natasha ZWARICHProfesseure, Département d’histoire, Université du Québec à Montréal
  • Dominique MAUREL Professeure agrégée, École de bibliothéconomie et des sciences de l’information, Université de Montréal
  • Lise VERLAETMaître de conférences en sciences de l’information et de la communication, Université Paul-Valéry Montpellier 3, LERASS-Céric (EA-827)

Directives 

Les propositions anonymisées et rédigées en français prendront la forme d’un résumé (environ 5000 caractères espaces compris) présentant le contexte, la problématique, la méthodologie employée, les principaux résultats, la conclusion/apport de la recherche. Le résumé doit être complété par une bibliographie qui récapitulera les principales références mobilisées dans le texte pour soutenir l’argumentaire. 

Les résumés seront à déposer sur Numerev. Vous devez vous connecter/inscrire sur la plateforme avant de pouvoir accéder à l’espace de dépôt.

Merci de respecter les normes de rédaction de la revue.

Calendrier du numéro

  • 10 mars 2020 : soumission des résumés

  • 15 avril 2020 : retour aux auteurs
  • 19 juillet 2020 : envoi des articles complets
  • 27 septembre 2020 : retour des évaluateurs
  • 18 octobre 2020 : correction par les auteursNovembre 2020 : publication

Bibliographie

Allan, B. (2017). Evaluation and dissemination. In B. Allan, The no-nonsense guide to project management. London : Facet Publishing, 111-135.

ARMA International. (2014). ARMA TR-25: 2014 – Auditing for records and information management program compliance. Lenexa, KS : ARMA International. 

Bailey, S. (2011). Measuring the impact of records management : Data and discussion from the UK higher education sector. Records Management Journal, 21(1), 46-68.

Behn, R. D. (2003). Why measure performance ? Different purposes require different measures. Public Administration Review, 63, 586-606.

Benoit, D., L. Verlaet et S. Gallot (dir.). (2019). Développement, changement personnel-organisationnel, management et communication [Numéro thématique]. Communication & Management, 16(1). 

Brophy, P. (2006). Measuring library performance : Principles and techniques. London : Facet Publishing.

Carton, R. B. et C. W. Hofer. (2006). Measuring organizational performance : Metrics for entrepreneurship and strategic management research. Northampton, MA : Edward Elgar Publishing.

Chen, M-Y., M.-J. Huang et Y.-C. Cheng. (2009). Measuring knowledge management performance using a competitive perspective : An empirical study. Expert Systems with Applications, 36(4), 8449-8459.

Cohen, C. (2009). Business intelligence : Evaluation and impact on performance. Hoboken, NJ : Wiley & Sons.

Corona, C. (2009). Dynamic performance measurement with intangible assets. Review of Accounting Studies, 14(2), 314-348.

Dalkir, K. et S. McIntyre. (2011). Measuring intangible assets : Assessing the impact of knowledge management in the S&T fight against terrorism. In B. Vallejo-Alonso, A. Rodriguez-Castellanos et G. Arregui-Ayastuy (dir.), Identifying, measuring, and valuing knowledge-based intangible assets : New perspectives. Hershey, PA : Business Science Reference, 156-176.

Duff, W. M., E. Yakel, H. R. Tibbo, J. M. Cherry, A. McKay, M. G. Krause et R. Sheffield. (2010). The Development, testing, and evaluation of the archival metrics toolkits. The American Archivist, 73(2), 569-599. 

Dugan, R. E., P. Hernon et D. A. Nitecki. (2009). Viewing library metrics from different perspectives : Inputs, outputs and outcomes. Santa Barbara, CA : ABC-CLIO.

Gainor, R. et F. Bouthillier. (2014). Competitive intelligence insights for intelligence measurement. International Journal of Intelligence and Counter Intelligence, 27(3), 590-603.

Gainor, R. (2014). Measuring competitive intelligence outcomes and impact. Université McGill, Thèse de doctorat (Sciences de l’information). 

Gallot, S. et L. Verlaet. (2016). Les logiques managériales confrontées à la mutation numérique : Étude de cas. Revue Management des technologies organisationnelles, 6, 31-44.

Gouvernement du Québec, Secrétariat du Conseil du trésor. (2013). Glossaire des termes usuels en mesure de performance et en évaluation. Pour une gestion saine et performante. Québec : Secrétariat du Conseil du trésor [En ligne] : https://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/glossaire_termes_usuels.pdf

Laney, D. B. (2017). Infonomics : How to monetize, manage and measure information as an asset for competitive advantage. New York, NY : Routledge.

Le Moënne, C. et S. Parrini-Alemanno. (2010). Management de l’évaluation et communication. Communication & organisation, 38, 7-14.

Marchand, M.-P. (2018). Où en sommes-nous avec l’implication des parties prenantes ? Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme, 33(2), 189-201. doi: 10.3138/cjpe.42202

Maurel, D. (2013). Gouvernance informationnelle et perspective stratégique. In V. Clavier et C. Paganelli (dir.). L’information professionnelle. Paris : Lavoisier, 175-198.

McLeod, J., S. Childs et S. Heaford. (2007). Records management capacity and compliance toolkits : A critical assessment. Records Management Journal, 17(3), 216-232.

Moran, B. B., R. D. Stueart et C. J. Morner. (2013). Library and information center management. 8e éd. Santa Barbara, CA : Libraries Unlimited.

Organisation internationale de normalisation. (2011). ISO 30300 -- Information et documentation -- Systèmes de gestion des documents d’activité -- Principes essentiels et vocabulaire. Genève : ISO. 

Organisation internationale de normalisation. (2015). ISO 30302 -- Information et documentation -- Systèmes de gestion des documents d’activité -- Lignes directrices de mise en oeuvre. Genève : ISO.

Organisation internationale de normalisation. (2016). ISO 15489 -- Information et documentation -- Gestion des documents d’activité – Partie 1: Concepts et principes. Genève : ISO.

Parlement européen et Conseil de l’Union européenne. (2016). Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données)https://eur-lex.europa.eu/eli/reg/2016/679/oj 

Poll, R. (2012). Can we quantify the library’s influence ? Creating an ISO standard for impact assessment. Performance Measurement and Metrics, 13(2), 121-130. 

Portugal, F. H. (2000). Valuating information intangibles : measuring the bottom-line contribution of librarians and information professionals. Washington, DC : Special Libraries Association.

Saffady, W. (2011). Cost analysis concepts and methods for records management projects. 2e éd. Overland Park, KS : ARMA International. 

Smallwood, R. F. (2014). Information governance : concepts, strategies and best practices. Hoboken, NJ : Wiley.

Voyer, P. (2008). Tableaux de bord de gestion et indicateurs de performance. 2e éd. Québec : Presses de l’Université du Québec.

Date(s)

  • Tuesday, March 10, 2020

Attached files

Keywords

  • évaluation, organisation, performance, normes, information, communication

Contact(s)

  • Lise Verlaet
    courriel : lise [dot] verlaet [at] univ-montp3 [dot] fr
  • Natasha Zwarich
    courriel : zwarich [dot] natasha [at] uqam [dot] ca
  • Dominique Maurel
    courriel : dominique [dot] maurel [at] umontreal [dot] ca

Information source

  • Lise Verlaet
    courriel : lise [dot] verlaet [at] univ-montp3 [dot] fr

To cite this announcement

« The stakes and challenges of the evaluation function in ITC sciences », Call for papers, Calenda, Published on Monday, January 27, 2020, https://calenda.org/734023

Archive this announcement

  • Google Agenda
  • iCal
Search OpenEdition Search

You will be redirected to OpenEdition Search