Étude de la fonction d'évaluation au sein du gouvernement fédéral
Avis aux lecteurs
La Politique sur les résultats est entrée en vigueur le 1er juillet 2016 et elle a remplacé la Politique sur l’évaluation et ses instruments.
Depuis 2016, le Centre d’excellence en évaluation a été remplacé par la Division des résultats.
Pour de plus amples renseignements sur les évaluations et les sujets connexes, veuillez consulter la section Évaluation du site Web du Secrétariat du Conseil du Trésor du Canada.
Préparé par le Centre d'excellence en évaluation
avril 2004
Table des matières
Avant de proposer la politique révisée d'évaluation, le Secrétariat du Conseil du Trésor a mené un examen de la fonction afin de déterminer quel est l'état de pratiques en matière d'évaluation au sein du gouvernement du Canada. L'examen est fondé sur un sondage auprès de la collectivité de l'évaluation, des entrevues stratégiques, diverses études de cas d'évaluation internationales ainsi qu'un examen de documents pertinents en matière d'évaluation.
L'Étude de la fonction d'évaluation au gouvernement fédéral (mars 2000) a permis de formuler des recommandations en matière d'évaluation au sein du gouvernement fédéral et a mené à l'élaboration de la politique révisée d'évaluation.
La problématique
Le SCT achève actuellement un examen de la fonction d'évaluation de programmes. La présidente du Secrétariat du Conseil du Trésor a récemment présenté un cadre de gestion du gouvernement du Canada, Résultats pour les Canadiens et les Canadiennes, à la Chambre des communes. Ces deux activités soulèvent la question de l'utilité de l'évaluation de programmes aux fins de la gestion. La présente note fait état des principales conclusions de l'étude et contient des recommandations en ce qui a trait au rôle et à la position de l'évaluation de programmes au sein du gouvernement fédéral.
Contexte
- Le gouvernement fédéral a instauré officiellement la fonction d'évaluation en 1977 pour aider à améliorer les pratiques et contrôles de gestion. L'adoption du Système de gestion des secteurs de dépenses (SGSD) représentait un pas important vers un plus grand contrôle et une meilleure reddition de comptes dans la fonction publique ainsi que vers l'amélioration de l'élaboration de politiques et de l'établissement de priorités par le gouvernement. Les renseignements qui sous-tendent ces décisions revêtent une importance capitale pour la prise de décisions judicieuses. Une véritable amélioration du processus de prise de décision n'est possible que si les fonctionnaires et les ministres disposent de renseignements fiables, pertinents et objectifs. L'évaluation de programmes est considérée comme une importante source de renseignements répondant à ces critères.
- Le cadre de gestion a évolué depuis l'adoption de cette politique. L'accroissement du déficit et le manque de confiance de plus en plus évident des citoyens en leur gouvernement ont abouti à un certain nombre de réformes dans la fonction publique dans de nombreuses sphères de compétences, l'accent étant mis sur les résultats. Cette orientation modifie la façon dont le gouvernement conçoit, exécute et évalue les programmes et les services et en fait rapport.
- Le Conseil du Trésor et son Secrétariat collaborent avec les ministères et organismes à un certain nombre d'initiatives visant à moderniser les pratiques de gestion à l'échelle de la fonction publique. Le processus se poursuit depuis plusieurs années et vise à permettre aux ministères de se concentrer sur l'atteinte des résultats voulus tout en leur assurant le soutien nécessaire, c'est-à-dire les outils dont ils ont besoin pour devenir plus efficients, efficaces, réceptifs et innovateurs.
- C'est dans ce contexte que l'on examine actuellement l'évaluation de programmes. Les conclusions de l'étude montrent comment l'évaluation peut le mieux aider les gestionnaires à pratiquer une gestion axée sur les résultats.
Méthodologie
Diverses sources d'information ont été utilisées afin de recueillir les renseignements nécessaires aux fins de cette étude :
- Recension des écrits : L'examen a porté sur l'évolution de l'évaluation dans le contexte canadien ainsi que dans d'autres sphères de compétences.
- Études de cas : L'examen a aussi porté sur les méthodes d'évaluation employées dans d'autres pays membres de l'OCDE. On a accordé une attention particulière aux activités menées en Australie et en Nouvelle-Zélande.
- Sondage auprès de la collectivité : Des entrevues ont été menées avec un échantillon représentatif des chefs de l'évaluation dans la fonction publique fédérale pour connaître leurs vues et leurs expériences.
- Entrevues stratégiques : Des entrevues ont été menées auprès d'un échantillon de SMA ainsi qu'auprès d'un groupe choisi de spécialistes de l'extérieur pour connaître leurs vues sur le rôle de l'évaluation dans le contexte de la modernisation de la fonction de contrôleur et de la gestion axée sur les résultats.
Constatations
Situation actuelle
- L'évaluation retient de nouveau l'attention des pays membres de l'OCDE. On reconnaît « l'importance de l'évaluation aux fins de l'obtention des résultats voulus en ce qu'elle fournit une rétroaction sur l'efficacité, l'efficience et le rendement des politiques publiques et donc peut être d'importance capitale sur les plans de la prise de mesures novatrices et de l'amélioration des politiques. » (OCDE, 1999)
- Ce point de vue était également celui des décideurs supérieurs dans la fonction publique fédérale ainsi que des spécialistes à l'extérieur du gouvernement qui considèrent qu'il existe un lien d'importance capitale entre les politiques, l'élaboration de programmes et l'évaluation.
- L'évaluation vise à améliorer la prise de décisions à tous les niveaux. Cependant, elle s'est souvent révélée d'utilité limitée sur le plan pratique, particulièrement en ce qui a trait aux décisions stratégiques et aux affectations budgétaires.
- Une partie du problème tient à la faible demande de renseignements sur l'efficacité. « Par le passé, les gouvernements ont mis l'accent sur les intrants (ce qu'ils dépensent), les activités (ce qu'ils font) et les extrants (ce qu'ils produisent). S'il est important de disposer d'informations précises dans ces domaines, cela ne suffit pas pour concrétiser l'orientation axée sur les résultats qu'impose ce cadre de gestion. » (Résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada, février 2000)
Contribution et utilité
- Selon les études de l'évaluation dans la fonction publique effectuées dans le passé, la fonction d'évaluation n'a pas donné le résultat attendu lorsque la politique a été adoptée en 1977, qui était de mesurer l'efficacité des programmes. En fait, les évaluations ont surtout abouti à l'apport d'améliorations opérationnelles aux programmes et au suivi de ces derniers plutôt qu'à la modification des politiques. Cela tient peut-être à ce que les renseignements que les évaluateurs ont été priés de recueillir n'étaient pas ceux dont les gestionnaires avaient besoin.
- Étant donné le nouvel accent mis sur les résultats, les activités d'évaluation retiennent davantage l'attention. Les gestionnaires préposés à l'évaluation signalent une plus forte demande d'élaboration de cadres d'évaluation et de mesures du rendement.
- Le cadre d'évaluation est un outil de planification utilisé par les évaluateurs. Il fait état des questions à examiner pour évaluer le rendement d'un programme ainsi que les indicateurs de rendement et les stratégies à appliquer pour recueillir les renseignements nécessaires. Jusqu'à tout récemment encore, un cadre était élaboré aux fins de l'évaluation future d'un programme. Les cadres d'évaluation ont été présentés comme un outil utile aux fins de la planification et de la conception de programmes; aujourd'hui, peut-être à cause de l'accent mis davantage sur les résultats, les gestionnaires de programmes trouvent que les cadres d'évaluation leur permettent de mieux concevoir, gérer et contrôler le rendement des programmes à tous les niveaux.
- Les liens directs et continus entre les évaluateurs et les gestionnaires sont perçus comme une évolution positive. L 'évaluation est davantage perçue comme un outil pour une bonne gestion plutôt que la vérification de la gestion.
- Le cadre d'évaluation est aussi un outil utile aux fins de la gestion des initiatives horizontales. Il permet d'établir la structure logique d'une initiative, de déterminer les questions qui permettront de juger du rendement et les mesures de celui-ci et de montrer comment les différents intervenants contribuent aux résultats.
- Afin de maximiser l'investissement du gouvernement dans la fonction d'évaluation, il est nécessaire d'utiliser l'évaluation au-delà qu'une simple initiative au sein d'un seul ministère.
Évaluation et gestion stratégique
- L'évaluation de programmes est une composante de la gestion stratégique. Elle a pour but d'aider à la prise de décisions et à la gestion. Par conséquent, elle est une source de renseignements utiles aux fins de l'amélioration des programmes et de l'apprentissage organisationnel.
- Elle est aussi une source de renseignements utiles pour les gestionnaires qui doivent rendre compte de l'exécution des programmes. Les premières évaluations effectuées au moyen du SGSD, semble-t-il, servaient surtout à cette fin. L'évaluation était perçue davantage comme un moyen de contester l'efficacité des programmes de l'extérieur et moins comme un outil d'apprentissage organisationnel. C'est peut-être pourquoi les gestionnaires dans les ministères y ont eu peu souvent recours à des fins stratégiques.
- L'évaluation a lieu à différents niveaux. Les écrits sur l'évaluation de programmes font une distinction entre l'évaluation formative et l'évaluation sommative. De façon générale, on procède à une évaluation formative durant l'exécution d'un programme pour fournir aux gestionnaires des renseignements qui permettront d'améliorer le programme. On procède à une évaluation sommative, par contre, lorsque le programme est en place depuis assez longtemps pour permettre de porter des jugements sur son utilité ou son mérite qui seront utiles aux décisionnaires.
- Selon les études faites, les évaluations effectuées ont été principalement de nature formative. Toutefois, mesurer l'efficacité du programme selon les résultats concrets obtenus est un élément essentiel du nouveau régime de gestion axée sur les citoyens. Ces aspects des programmes seraient précisément ceux qui se prêtent particulièrement bien à une évaluation (sommative).
Processus d'évaluation
- Pour exercer une gestion axée sur les résultats, les gestionnaires doivent disposer des renseignements et outils adéquats. L'évaluation est au nombre de ces outils. Toutefois, il convient de déterminer le but de l'évaluation et les compétences requises. Selon une étude de l'OCDE, il y aurait quatre types d'évaluations, selon le but de l'étude et le niveau de compétence requis :
- L'autoévaluation ou l'évaluation interne par les gestionnaires ou par l'organisation est indiquée lorsque les principaux objectifs visés sont d'en apprendre davantage sur le programme, l'apprentissage organisationnel et une meilleure mise en oeuvre. Certes, les employés préposés au programme connaissent celui-ci beaucoup mieux qu'une personne de l'extérieur. Toutefois, leurs compétences et le temps qu'ils peuvent y consacrer peuvent être insuffisants, la gamme des questions abordées peut être limitée et la crédibilité des conclusions peut être mise en doute.
- Une évaluation par des organismes de gestion centrale est indiquée lorsque le but visé est d'améliorer les priorités budgétaires et lorsqu'il importe que l'évaluateur ait des liens étroits avec le processus décisionnel.
- L'évaluation indépendante est indiquée lorsque le but visé est d'améliorer la reddition de comptes et d'accroître la transparence.
- Les évaluations externes (p. ex., par des organismes de recherche et des conseillers en gestion) sont indiquées lorsque le but visé est d'obtenir de nouvelles perspectives ou de nouveaux points de vue sur les politiques publiques ou lorsqu'il faut faire appel à des compétences spécialisées en évaluation.
- Dans la fonction publique du Canada, il est possible d'accroître la capacité des gestionnaires de procéder à des évaluations de leurs programmes (c.-à-d. des autoévaluations). Ceci a commencé lorsqu'on a mis l'accent sur la mesure du rendement. Les évaluateurs dans les ministères collaborent avec les gestionnaires à l'élaboration de mesures destinées à contrôler le rendement des programmes.
- Comme on l'a déjà indiqué, on s'intéresse davantage aux cadres d'évaluation (ou de rendement) avant de procéder à la mise en oeuvre d'un programme nouveau ou rétabli. Ces cadres n'ont pas toujours été établis même si les politiques l'exigeaient, ou bien ils n'ont pas toujours été mis en oeuvre. Ils aident à exposer la structure logique du programme et les résultats attendus (intrants, extrants, engagements à l'égard des résultats clés). L'aide fournie aux gestionnaires aux fins de l'élaboration de ces outils peut aboutir à une meilleure conception des programmes et à une meilleure gestion générale axée sur les résultats.
- On a soutenu de façon éloquente qu'il est possible de créer un système de mesure du rendement capable de montrer comment un programme contribue à l'atteinte des objectifs plus généraux du gouvernement. Il ne s'agit pas de remplacer l'évaluation par un autre mécanisme, mais peut-être de l'utiliser de façon plus stratégique. Cette analyse de la « contribution » est particulièrement utile lorsqu'on exerce un contrôle direct sur les résultats, mais elle l'est moins lorsque le lien entre les interventions du gouvernement et les résultats concrets recherchés s'estompent à mesure que de nombreux intervenants ou facteurs entrent en cause.
- Le besoin d'évaluations de l'efficacité et d'un rôle pour les évaluations indépendantes ou de l'externe au sein d'un ministère ou organisme demeurent et continuent de retenir l'attention. Étant donné les coûts qu'entrave ce type d'activités, il convient de procéder à ces évaluations d'une manière plus sélective et d'y affecter les compétences spécialisées voulues. Des programmes bien conçus et des renseignements sur les mesures constituent le fondement de pareilles études.
- Les organismes centraux ont un rôle important à jouer dans l'évaluation des activités mettant en cause plus d'un ministère. Le Secrétariat du Conseil du Trésor a aidé les principaux ministères intéressés à élaborer des cadres d'évaluation (p. ex., LSPA, Violence familiale). L'élaboration d'un cadre est un processus collaboratif auquel participent des gestionnaires, des spécialistes de l'évaluation ainsi que des représentants de groupes intervenants clés.
- Ces arrangements horizontaux d'exécution des programmes sont de plus en plus nombreux et exigeront une plus grande participation du centre afin de garantir que les mesures et les stratégies de mesure de l'efficacité sont en place.
Politique d'évaluation
- La politique d'examen adoptée en 1994 réunissait les divers « outils » destinés à garantir la gestion efficace des programmes dans les ministères et visait à clarifier le rôle des gestionnaires et des spécialistes à l'externe dans le processus de mesures du rendement.
- On craint que la politique d'examen, au lieu de clarifier les différents rôles, n'ait eu l'effet contraire. En effet, il est devenu impossible de distinguer clairement les rôles de vérification et d'évaluation, et les gestionnaires font peu de différence entre les divers outils d'examen et accordent peu d'attention à la nature des compétences spécialisées requises.
- L'examen des programmes auquel on a procédé par la suite a aussi abouti à une réduction importante de la capacité des fonctions d'évaluation.
Conclusions
« Les évaluations sont utiles principalement en ce qu'elles permettent de procéder à un examen à fond du rendement et à une évaluation indépendante de l'efficacité des interventions gouvernementales. Les évaluations visent principalement à améliorer la prise de décisions, l'affectation de ressources et la reddition de comptes... Les évaluations doivent faire partie d'un cadre plus vaste de gestion du rendement. Elles peuvent s'y ajouter utilement et y apporter des améliorations, mais elles ne peuvent le remplacer. » (OCDE, 1999)
Manifestement, il convient de renouveler le mandat de l'évaluation dans le nouveau régime de gestion. L'évaluation a été officialisée dans la fonction publique fédérale comme une source clé de renseignements aux fins de l'élaboration de politiques, d'établissement de priorités et de reddition de comptes. Le contexte dans lequel l'évaluation est effectuée a évolué. L'étude montre que la fonction a un rôle clé à jouer dans une culture de gestion axée sur les résultats pour améliorer la prise de décisions à tous les niveaux.
- Dans une culture qui vise à habiliter les gestionnaires à exercer une gestion axée sur les résultats, il importe d'accroître leur capacité de mesurer et de contrôler le rendement de leurs programmes. Les cadres d'évaluation (de rendement) et les modèles de structure logique sont des outils dont se servent les évaluateurs pour planifier d'éventuelles évaluations. Trop souvent élaborés après la mise en oeuvre d'un programme, ils sont réellement utiles lorsqu'ils sont élaborés de concert avec les gestionnaires des programmes et les intervenants avant la mise en oeuvre du programme, de manière à optimiser la conception de ce dernier.
- De bons systèmes de mesure du rendement sont essentiels au contrôle ou suivi permanent des programmes. Lorsqu'ils sont bien conçus, ils peuvent souvent montrer comment le programme contribue à l'atteinte des objectifs plus généraux du gouvernement et ainsi appuie des décisions stratégiques et démontre la reddition de comptes. Toutefois, il demeure nécessaire de procéder à des évaluations de l'efficacité lorsque, par exemple, les nombreux aspects probants permettent de tirer différentes conclusions et il importe au plus haut point d'obtenir des renseignements fiables sur l'attribution. En pareil cas, il peut être nécessaire de faire appel à des compétences spécialisées en évaluation.
- La gestion axée sur les résultats passe outre aux limites établies en ce qui a trait aux programmes et initiatives du gouvernement. Les gestionnaires oeuvrent dans un milieu moins limité, c'est-à-dire sans s'en tenir aux frontières ministérielles ou en association avec d'autres gouvernements, avec les entreprises ou avec le secteur à but non lucratif. Comme ces accords de collaboration dépassent le cadre de responsabilisation d'une seule entité, le centre peut être appelé à intervenir. Cette intervention peut prendre plusieurs formes, que ce soit jouer un rôle de leadership pour faciliter l'élaboration de cadres de mesure et de suivi de l'initiative ainsi que de présentation de rapports, ou procéder à une évaluation.
- La capacité d'effectuer des évaluations s'est beaucoup affaiblie au cours des dernières années. De nombreux évaluateurs chevronnés soit ont pris une retraite anticipée, soit sont allés travailler à l'extérieur du gouvernement. L'examen des programmes a eu une incidence importante sur la fonction d'évaluation dans les ministères. La fonction a subi des coupures et n'a pu recruter de nouvelles compétences. Même si la situation change, elle le fait lentement et il y a un écart sur le plan des compétences entre les évaluateurs supérieurs et les « nouvelles recrues ».
Recommandations
Les recommandations ci-dessous semblent découler tout naturellement des résultats de l'étude. Il s'agit de permettre de nouveau à l'évaluation d'assurer le soutien voulu à la gestion axée sur les résultats et ce, conformément aux principes de la modernisation de la fonction de contrôleur.
Essentielle à la gestion de la performance et l'amélioration des programmes
Recommandation 1 : L'évaluation de programmes devrait être davantage liée à la conception améliorée et à la gestion de la performance des programmes, tout en appuyant l'apprentissage des gestionnaires.
Il est manifestement nécessaire pour les gestionnaires et leurs employés dans la fonction publique fédérale de mieux connaître le processus de mesure et d'évaluation du rendement afin de procéder effectivement à une gestion axée sur les résultats. Les spécialistes de l'évaluation ont un rôle à jouer comme courtiers du savoir. Les outils de l'évaluation, comme les modèles de structure logique, les cadres et les mesures, sont aussi des outils qui servent à la bonne conception des programmes. Les gestionnaires doivent apprendre à les utiliser ainsi que d'autres méthodes d'évaluation de manière à améliorer le rendement des programmes et à assurer une meilleure gestion axée sur les résultats.
Les connaissances peuvent être inculquées aux gestionnaires de différentes façons. Outre la formation traditionnelle en salle de classe, on peut jumeler les évaluateurs et les gestionnaires de programmes ainsi que leur personnel aux fins de l'élaboration de cadres d'évaluation et de mesures du rendement pour leurs programmes. Cela se fait déjà dans certains ministères et il convient de les encourager tous à prendre cette initiative. Le Secrétariat du Conseil du Trésor élabore un ensemble de directives pour ces cadres, qui ne manqueront pas d'être utiles aux gestionnaires.
Évaluation de l'efficacité
Recommandation 2 : Que l'évaluation de l'efficacité fasse partie intégrante du plan de gestion du rendement global d'un ministère ou organisme.
De bons systèmes de mesure du rendement sont nécessaires à la gestion axée sur les résultats et au rapport des résultats obtenus. Toutefois, ces systèmes n'éliminent pas la nécessité d'une évaluation, plus particulièrement sur le plan de l'efficacité. Au contraire, ils sont nécessaires à l'évaluation. Des évaluations (sommatives) de l'efficacité fournissent des renseignements sur les résultats généraux et les répercussions d'une initiative, contrairement aux évaluations formatives qui portent davantage sur les aspects opérationnels. Les évaluations de l'efficacité doivent faire partie intégrante du plan global de gestion du rendement du ministère.
Les experts en évaluation ont encore un rôle à jouer dans les organisations, qui est de procéder à des évaluations méthodologiques et indépendantes. Cela n'exclut pas la participation des gestionnaires. En effet, les gestionnaires connaissent les programmes. Ils sont les « experts en la matière ». Les études menées révèlent que les évaluations donnent de meilleurs résultats si elles sont effectuées en collaboration avec les participants clés (évaluateurs, utilisateurs et intervenants).
Évaluation faite au centre
Recommandation 3 : Que le Secrétariat du Conseil du Trésor participe plus activement à l'élaboration de stratégies de mesure, de contrôle et d'évaluation des initiatives de programmes qui dépassent les frontières et les obligations en matière de reddition de comptes des organisations.
À mesure que le gouvernement évolue vers une approche davantage « sans frontières » de la prestation de programmes et de services aux citoyens, une plus grande collaboration s'impose en ce qui a trait à la conception, à la mesure et à l'évaluation de ces initiatives. Le centre peut assurer un plus grand leadership à cet égard, de manière à garantir que les outils voulus soient en place pour les activités de contrôle et d'évaluation des initiatives prises à l'échelle du gouvernement. Le Conseil du Trésor a besoin de ces renseignements pour remplir ses fonctions à titre du comité du Cabinet, car il se fonde sur cette information aux fins de ses analyses des ressources et des résultats « à l'échelle du gouvernement ».
Développement de la capacité
Recommandation 4 : Que la capacité d'effectuer des évaluations des programmes du gouvernement fédéral soit rétablie. À cette fin, il convient de déterminer les compétences de base et de mettre au point un plan de recrutement et d'élaboration.
Il est nécessaire de rétablir la capacité du gouvernement fédéral de procéder à des évaluations. Auparavant en tête de peloton pour ce qui est de l'évaluation de ses programmes, le gouvernement du Canada est maintenant à la traîne de pays comme l'Australie.
Cette capacité doit être développée aussi bien au sein des ministères et agences mais également au centre. Il faudra procéder à une étude pour déterminer notre capacité actuelle et les besoins dans l'immédiat et à l'avenir. À long terme, il convient d'examiner la possibilité d'élaborer un programme de recrutement et de perfectionnement semblable au programme FORD (Programme de recrutement et de perfectionnement des agents financiers) et au PRPVI (Programme de recrutement et de perfectionnement des vérificateurs internes).
Révision de la politique
Recommandation 5 : La politique d'examen courante qui embrouille la distinction entre vérification et évaluation doit être révisée afin de repositionner l'évaluation au sein du nouveau cadre de gestion du gouvernement.
Les normes actuelles doivent également être révisées.