Évaluation du Programme de soutien d'initiatives stratégiques et de recherche

i. Besoin continu du programme

Le Programme de SISR répond aux besoins des bénéficiaires dans une grande mesure. Les bénéficiaires ont exprimé leur intérêt à continuer de participer au programme s’il est prolongé. Le programme a également répondu aux besoins des parrains, même si seulement deux secteurs l’ont utilisé au cours des cinq dernières années.

ii. Conformité avec les priorités gouvernementales et le résultat stratégique du Secrétariat

Les résultats finaux du programme sont conformes avec les priorités du gouvernement et celles du Secrétariat, compte tenu de l’objectif commun de saines pratiques de gestion, d’une plus grande responsabilisation et de la gestion des risques. Les objectifs et les initiatives du Programme de SISR ont été harmonisés par thèmes avec les priorités gouvernementales visant le retour à l’équilibre budgétaire et l’accroissement de l’efficacité des opérations gouvernementales.

iii. Conformité avec les rôles et responsabilités du gouvernement fédéral

Il y a un rôle pour le gouvernement à renforcer l’efficacité des pratiques dans la fonction publique et d’améliorer la prestation de services au public. Les preuves ont permis d’établir que le Programme de SISR est conforme à ce rôle en soutenant des initiatives de recherche spéciales et de petite envergure qui ont contribué à l’avancement de la gestion dans la fonction publique.

i. Efficacité

Des preuves ont permis d’établir que le Programme de SISR a généré des résultats immédiats dans une certaine mesure. Une approche plus systématique à l’égard de la présentation des répercussions des initiatives permettrait de démontrer clairement la capacité globale qu’a le programme d’atteindre les résultats fixés.

Le programme a atteint ses résultats intermédiaires. Grâce à ses initiatives, il a permis d’élargir les connaissances du Secrétariat dans les domaines du leadership, de l’innovation et de la gestion des risques. Le Secrétariat a profité de solides partenariats avec des organisations nationales et internationales de premier plan.

ii. Économie et efficience

Les résultats ont été obtenus de la manière la plus économique possible. Comparativement à des programmes semblables dans la fonction publique, le Programme de SISR est celui qui a affiché les coûts indirects les plus bas. Il a également permis de mobiliser des ressources (financières et professionnelles) d’organismes tiers, et des dons provenant d’autres entités^{Voir la note en bas de page 1}. Même si peu de ressources ont été dépensées pour administrer le programme, une approche de gestion de programme plus ciblée, conforme à la faible importance relative et aux risques peu élevés du programme, permettrait de favoriser une efficacité accrue des opérations.

Certains aspects du Programme de SISR nuisent à son efficacité, à savoir les modalités qui imposent de lourdes exigences administratives aux parrains et aux bénéficiaires, ainsi que les exigences qui obligent le chef de secteur, le dirigeant principal des finances et l’administrateur général à approuver toutes les initiatives.

iii. Conceptions de rechange

La conception du Programme de SISR est souple, mais une approche de financement fondée sur le risque (p. ex., suppression de l’obligation pour le dirigeant principal des finances et l’administrateur général d’approuver les initiatives à faible risque et importance relative menées de concert avec des organismes tiers de longue date) pourrait alléger le fardeau administratif des gestionnaires, des parrains et des bénéficiaires, et aboutir à une mise en œuvre plus rapide des initiatives^{Voir la note en bas de page 2}.

1. Examen des documents

Les évaluateurs ont examiné les 11 initiatives parrainées au cours de la période d’évaluation de cinq ans. Ils ont également examiné les documents de gestion de projet, les produits de communication, les modalités du programme ainsi que la présentation au Conseil du Trésor qui avaient été préparés au moment où le programme a été créé et prolongé.

Pour faciliter leur analyse, les évaluateurs ont élaboré une matrice d’examen des documents, qui a donné un résumé par document et par question d’évaluation. En outre, ils ont examiné les modalités du Programme de SISR par rapport aux versions de 2000 et de 2008 de la Politique sur les paiements de transfert. Les constatations de l’évaluation quant à la pertinence et au rendement ont été résumées dans un rapport technique.

Les évaluateurs ont consulté des documents comme la Loi sur la gestion des finances publiques et des politiques et des rapports ministériels afin de déterminer la pertinence et le besoin du programme, ainsi que sa conformité avec les priorités du gouvernement et du Secrétariat.

2. Entrevues en groupes

Pour simplifier la démarche d’évaluation et adapter l’évaluation à l’importance relative limitée et aux faibles risques du Programme de SISR, les évaluateurs ont mené des entrevues en groupes selon le type de répondant dans la mesure du possible. Ils ont formé sept groupes d’entrevue regroupant les répondants en trois catégories : les gestionnaires de programme, les parrains de contributions et les experts techniques^{Voir la note en bas de page 6}. Les entrevues étaient semi-structurées, avec des questions ouvertes qui permettaient aux personnes travaillant dans des secteurs semblables de s’appuyer mutuellement sur leurs observations. Pour assurer la prise en considération des personnes absentes lors des entrevues en groupes, les évaluateurs ont interviewé les répondants individuellement. Afin de simplifier les rapports, toutes les preuves des entrevues ont été rapportées au niveau du groupe plutôt qu’au niveau individuel et un poids égal a été accordé à tous les groupes.

L’équipe d’évaluation a recueilli des preuves par question d’évaluation en utilisant une matrice d’entrevue, qui a soutenu l’équipe lors de l’analyse et de la présentation des rapports. Le tableau 3 décrit la structure des entrevues ainsi que le nombre total et le type de personnes interviewées.

L’échelle suivante exprime le poids relatif des réponses groupées :

• « La totalité » désigne les points de vue de chacun des groupes de répondants.
• « La majorité » désigne les points de vue d’au moins quatre, mais de moins de sept, groupes d’entrevues.
• « Quelques-uns » désigne les points de vue d’au moins deux, mais de moins de quatre, répondants.

3. Questionnaire à l’intention des bénéficiaires (organismes tiers)

En collaboration avec les parrains du programme, les évaluateurs ont effectué une enquête par courrier électronique auprès des six organismes bénéficiaires ayant reçu des fonds du Programme de SISR de 2008‑2009 à 2012‑2013. Les questionnaires ont permis de connaître les points de vue des bénéficiaires sur les répercussions du programme, leur niveau de satisfaction à l’égard du programme, sa facilité d’utilisation, sa visibilité et la capacité pour les bénéficiaires de profiter d’autres ressources. Cinq des six bénéficiaires ont répondu au questionnaire.

4. Questionnaire au Comité de coordination des directeurs

L’équipe de recherche d’évaluation a envoyé un questionnaire aux directeurs principaux et exécutifs du Secrétariat par l’entremise du Comité de coordination des directeurs. Les évaluateurs ont désigné les membres de ce comité comme étant les utilisateurs principaux et éventuels du Programme de SISR. Le questionnaire visait à déterminer la mesure dans laquelle le Programme de SISR était nécessaire, compris, accessible et efficace. Neuf des vingt et un directeurs y ont répondu.

5. Examen auprès des institutions fédérales

Cet élément de preuve a permis d’évaluer d’autres programmes fédéraux ayant les mêmes objectifs de gestion dans la fonction publique et de recherche sur les politiques publiques. L’examen auprès des institutions fédérales visait à déterminer les améliorations possibles ou les solutions de rechange à la conception actuelle qui pourraient permettre de réduire les coûts tout en augmentant la probabilité d’obtenir des résultats. L’examen a révélé trois programmes entièrement comparables et cinq autres partiellement comparables.

4.1.1 Besoin continu du programme

Cette question d’évaluation visait à examiner la mesure dans laquelle le Programme de SISR continue de répondre à un besoin continu et satisfait aux besoins des Canadiens.

La majorité des bénéficiaires ayant répondu aux questionnaires ont indiqué que leurs projets ont contribué à l’atteinte des résultats immédiats du Programme de SISR dans une grande mesure ou dans une très grande mesure.

Répondre à un besoin continu

L’examen des documents a confirmé le besoin pour le gouvernement de travailler à la simplification des opérations afin de les rendre plus efficaces. Plus précisément, l’initiative Objectif 2020 encourage le gouvernement fédéral à réfléchir à la façon dont le gouvernement fait des affaires afin de poursuivre l’amélioration continue. Dans le Plan d’action économique de 2013, on demande aux ministères de poursuivre l’examen des moyens de simplifier les opérations du gouvernement. Étant donné que le résultat final du Programme de SISR consiste à faire progresser la gestion dans la fonction publique et à la rendre plus efficace, le Programme de SISR a soutenu ces grands thèmes.

L’examen des documents du programme a révélé que le Programme de SISR répond à un besoin continu qu’a le gouvernement d’élaborer et de trouver des moyens de simplifier les opérations et d’améliorer l’efficacité des pratiques de gestion dans la fonction publique. Le Programme de SISR a répondu à ce besoin en fournissant un mécanisme pour soutenir les initiatives spéciales de recherche qui visent à améliorer les politiques publiques, la prestation de services au public et les pratiques de gestion dans la fonction publique.

Le besoin continu du Programme de SISR a été exprimé par la majorité des personnes interrogées, qui ont convenu que le programme avait permis aux secteurs d’établir des initiatives spéciales avec des organismes externes, de créer des réseaux et de susciter au sujet de la recherche stratégique une réflexion critique qui profite aux Canadiens. Seulement deux secteurs ont utilisé le Programme de SISR au cours de la période d’examen, mais cette utilisation limitée pourrait être attribuée à la faible sensibilisation au programme; dans le questionnaire administré aux administrateurs, cinq des neuf répondants ont déclaré ne pas être au courant de son existence^{Voir la note en bas de page 8}.

Tous les organismes bénéficiaires ayant répondu au questionnaire ont déclaré que le programme leur avait fourni l’information et les résultats de recherche nécessaires dans une grande mesure ou dans une très grande mesure.

4.1.2  Conformité avec les priorités gouvernementales et le résultat stratégique du Secrétariat

Cette question d’évaluation a permis d’évaluer la conformité des objectifs du Programme de SISR avec les priorités du gouvernement et le résultat stratégique du Secrétariat.

Un examen des documents de programme a montré que les objectifs du Programme de SISR consistent à soutenir les initiatives qui font progresser la recherche sur les politiques publiques et l’efficacité des pratiques de gestion dans la fonction publique. Ces objectifs sont conformes aux priorités du Secrétariat, comme il est énoncé dans ses Rapports annuels sur les plans et les priorités, qui visent à renforcer la gouvernance, la reddition de comptes et les pratiques de gestion; à veiller à ce que le régime de gestion fonctionne efficacement, à favoriser la prise de décisions fondée sur le risque et à permettre l’innovation; à renforcer les capacités de gestion des risques et à adopter des approches fondées sur le risque au titre de la gestion des activités quotidiennes; à optimiser les ressources; et à faire progresser les initiatives visant à moderniser les opérations du gouvernement.

L’examen des documents a également montré que les objectifs du Programme de SISR étaient conformes aux priorités visant le retour à l’équilibre budgétaire et la mise en place d’un gouvernement plus efficace. Le Plan d’action économique de 2013 plaide en faveur de nouvelles façons d’uniformiser, de consolider et de transformer le fonctionnement du gouvernement pour améliorer la prestation des services et réaliser des gains d’efficience.

L’examen des dossiers du Programme de SISR a démontré que les projets financés par le SISR appuyaient la recherche et les objectifs d’atelier en matière de reddition de comptes; les pratiques exemplaires de gestion des risques, l’innovation et le leadership; ainsi que la progression de la réforme de la réglementation. Ces objectifs étaient conformes aux priorités du Secrétariat.

La majorité des groupes d’entrevue ont également convenu que le Programme de SISR est pertinent au Secrétariat, étant donné que les objectifs du programme correspondent aux mandats des secteurs parrains et aux objectifs du Secrétariat en ce qui concerne la gestion de l’administration publique.

4.1.3  Conformité avec les rôles et responsabilités du gouvernement fédéral

Cette question d’évaluation portait sur les rôles et les responsabilités du gouvernement fédéral dans l’exécution du Programme de SISR.

Les évaluateurs ont conclu de l’examen des documents que le gouvernement fédéral a un important rôle à jouer afin d’améliorer, de faire avancer et de promouvoir les pratiques de gestion dans la fonction publique qui contribuent à l’avancement des recherches sur les politiques publiques et de la gestion au sein de la fonction publique. Dans le Plan d’action économique de 2012 et le Plan d’action économique de 2013, le gouvernement précise que le rôle du gouvernement fédéral consiste à transformer la façon dont le gouvernement fait des affaires. À l’appui des ministres du Conseil du Trésor, le Secrétariat renforce la façon dont le gouvernement est géré et il optimise les dépenses publiques ainsi que les résultats obtenus pour les Canadiens.

Dans son Plan d’activités intégré pour 2013‑2016, le Secrétariat stipule qu’il « joue un rôle central dans les réformes clés visant à accroître l’efficacité et la productivité de la fonction publique, y compris dans les domaines de la gestion des ressources humaines, de la gestion financière et de la gestion des dépenses et de l’exploitation de la technologie de l’information ». Les objectifs du Programme de SISR visent à appuyer l’avancement des pratiques de gestion dans la fonction publique en soutenant les initiatives de recherche qui contribuent à l’avancement de la recherche sur les politiques publiques et de la gestion dans la fonction publique, et qui améliorent l’efficacité des pratiques de gestion dans la fonction publique, les rapports et la prestation de services au public.

4.2.1  Efficacité

Cette question d’évaluation a permis d’évaluer la mesure dans laquelle le Programme de SISR a atteint les résultats attendus en ce qui concerne la conception des programmes et les objectifs de rendement, la portée et la contribution des extrants aux résultats.

Même si les gestionnaires interrogés ont souligné que le Secrétariat n’a jamais pu profiter directement des contributions, ils ont déclaré avoir peu d’occasions d’observer les répercussions du programme parce que leurs rôles n’englobaient pas la mise en œuvre des initiatives. Pour les gestionnaires, les indicateurs de la valeur du programme résidaient dans la stabilité de la demande d’une année à l’autre, les utilisateurs à répétition du programme, et la grande visibilité des organismes tiers bénéficiaires.

4.2.2 Économie et efficience

Cette question d’évaluation clé porte sur l’utilisation des ressources du programme par rapport à la production d’extrants et à la progression vers les résultats attendus.

L’examen auprès des institutions fédérales a montré que le Programme de SISR était aussi économique que possible. Le Programme de SISR a affiché des coûts indirects minimaux, car il n’a pas compté d’employés exclusifs (équivalents temps plein) et qu’il a appliqué des processus de candidature et de sélection relativement simples. Parmi les programmes entièrement comparables^{Voir la note en bas de page 14} pris en considération dans le cadre de l’examen auprès des institutions fédérales, le Programme de SISR est celui qui a affiché les coûts indirects les plus bas^{Voir la note en bas de page 15}. Le nombre d’équivalents temps plein participant à la gestion du Programme de SISR a été minime, et un groupe de gestionnaires a signalé que le volume actuel des demandes était gérable. Cette constatation est cohérente avec le plan initial décrit dans les documents d’information de programme. L’éventail des ressources exclusives des programmes comparables variait de zéro, comme on a pu le voir au Secrétariat, à quatre équivalents à temps plein, comme on l’a vu au Conseil de recherches en sciences humaines^{Voir la note en bas de page 16} du Canada.

Selon quelques groupes d’entrevue, les résultats ont été obtenus de la manière la plus économique possible et le programme a fonctionné de façon plus efficiente que le processus antérieur au Programme de SISR, qui exigeait une présentation au Conseil du Trésor pour chaque initiative de SISR. L’évaluation a néanmoins révélé que le Programme de SISR n’a pas été administré de manière aussi efficiente que possible.

La majorité des groupes de parrains ont indiqué que le Programme requiert un niveau élevé de participation administrative des secteurs, s’ils veulent bien comprendre son fonctionnement et satisfaire aux exigences du programme. Par exemple, il n’y a pas de documents écrits ou de documents d’orientation expliquant les étapes nécessaires. Le programme se fonde uniquement sur les parrains pour mobiliser des partenaires, plutôt que de faire de la publicité sur le site Web externe du Secrétariat, permettant aux organismes tiers de s’adresser aux parrains.

Même si le programme octroie des fonds dans un court laps de temps^{Voir la note en bas de page 17}, les parrains ont perçu le programme comme étant exagérément lourd et rigide pour les bénéficiaires, notamment les organisations internationales, et pour des initiatives de faible valeur. Selon les groupes d’entrevue, les montants de financement peu élevés (de 4 000 $ à 5 000 $) n’ont pas été traités efficacement pour les parrains, les gestionnaires ou les bénéficiaires. Dans un cas, un partenaire international a choisi de se retirer du programme parce que le fardeau des rapports était disproportionné par rapport à la valeur (5 000 $) de l’initiative.

Selon un autre facteur d’inefficience signalé par un bénéficiaire, l’obligation pour l’État, en vertu des modalités du programme, de maintenir la propriété intellectuelle des produits livrables a constitué un obstacle pour les organisations internationales. « Les exigences du Programme de SISR diffèrent de celles qui ont été adoptées et acceptées par les organisations internationales, et elles requièrent des va‑et‑vient incessants entre les pays pour résoudre un problème » [traduction].

Un groupe de parrains a souligné que le programme serait plus efficient si les approbations déléguées étaient simplifiées. À l’heure actuelle, les modalités doivent être approuvées par le chef de secteur, le dirigeant principal des finances et l’administrateur général. Un examen de la Politique sur les paiements de transfert a toutefois révélé que ces approbations n’étaient pas nécessaires. L’examen auprès des institutions fédérales a montré qu’il y avait peu de cohérence entre les processus d’approbation utilisés par les divers programmes. À titre d’exemple, on constate que le niveau le plus élevé d’approbation varie, soit l’administrateur général au Secrétariat, à Sécurité publique Canada et au ministère des Finances Canada, et le directeur général à l’Agence promotion économique du Canada atlantique.

Dans le cadre de leurs entrevues, une majorité des groupes de parrains ont indiqué que les initiatives ont produit des contributions en espèces supplémentaires d’autres partenaires. L’examen des documents a également montré que les fonds du Programme de SISR ont donné lieu à des contributions en nature, comme des salles de réunion fournies gratuitement et des heures de bénévolat de la part des organismes bénéficiaires. Dans quelques cas, les initiatives du Programme de SISR ont permis d’attirer de nouveaux partenaires pour le programme. Les avantages intangibles clés ont été des partenariats renforcés avec les organismes bénéficiaires et de nouveaux partenariats.

4.2.3 Conceptions de rechange

Cette question d’évaluation portait sur les aspects de conception du programme du point de vue des principaux informateurs ayant le potentiel d’accroître l’efficacité du Programme de SISR.

Les processus administratifs du programme sont les mêmes pour les initiatives d’une valeur de 500 000 $ et de 5 000 $. Certains organismes bénéficiaires ont indiqué que le temps et les efforts requis pour des initiatives de faible valeur ne permettent pas d’optimiser les ressources par rapport au fardeau administratif du programme. Des parrains ont recommandé que les modalités relatives aux initiatives de faible valeur soient simplifiées.

Afin d’alléger le fardeau administratif imposé aux gestionnaires, aux parrains et aux bénéficiaires et d’accélérer le traitement des accords de contribution, il y aurait lieu de revoir l’obligation pour le dirigeant principal des finances et pour l’administrateur général d’approuver les initiatives à faible risque et de faible importance relative avec des partenaires réputés de longue date^{Voir la note en bas de page 18}.

Pour faciliter l’accès aux organisations internationales, les modalités du programme doivent être simplifiées et précisées. Comme il a été indiqué aux parrains, les bénéficiaires ont caractérisé les demandes comme étant difficiles à comprendre. En particulier, parce que les demandes renfermaient une terminologie juridique canadienne, les organisations internationales ont signalé des retards attribuables à des préoccupations exprimées par leurs services juridiques. Les retards attribuables à l’interprétation et à la négociation des formulaires du programme ont été monnaie courante.

i. Besoin continu du programme

Le Programme de SISR répond aux besoins des bénéficiaires dans une grande mesure. Les bénéficiaires ont exprimé leur intérêt à continuer de participer au programme s’il est prolongé. Le programme a également répondu aux besoins des parrains, même si seulement deux secteurs l’ont utilisé au cours des cinq dernières années.

ii. Conformité avec les priorités gouvernementales et le résultat stratégique du Secrétariat

Les résultats finaux du programme sont conformes avec les priorités du gouvernement et celles du Secrétariat, compte tenu de l’objectif commun de saines pratiques de gestion, d’une plus grande responsabilisation et de la gestion des risques. Les objectifs et les initiatives du Programme de SISR ont été harmonisés par thèmes avec les priorités gouvernementales visant le retour à l’équilibre budgétaire et l’accroissement de l’efficacité des opérations gouvernementales.

iii. Conformité avec les rôles et responsabilités du gouvernement fédéral

Il y a un rôle pour le gouvernement à renforcer l’efficacité des pratiques dans la fonction publique et d’améliorer la prestation de services au public. Les preuves ont permis d’établir que le Programme de SISR est conforme à ce rôle en soutenant des initiatives de recherche spéciales et de petite envergure qui ont contribué à l’avancement de la gestion dans la fonction publique.

i. Efficacité

Des preuves ont permis d’établir que le Programme de SISR a généré des résultats immédiats dans une certaine mesure. Une approche plus systématique à l’égard de la présentation des répercussions des initiatives permettrait de démontrer clairement la capacité globale qu’a le programme d’atteindre les résultats fixés.

Le programme a atteint ses résultats intermédiaires. Grâce à ses initiatives, il a permis d’élargir les connaissances du Secrétariat dans les domaines du leadership, de l’innovation et de la gestion des risques. Le Secrétariat a profité de solides partenariats avec des organisations nationales et internationales de premier plan.

ii. Économie et efficience

Les résultats ont été obtenus de la manière la plus économique possible. Comparativement à des programmes semblables dans la fonction publique, le Programme de SISR est celui qui a affiché les coûts indirects les plus bas. Il a également permis de mobiliser des ressources (financières et professionnelles) d’organismes tiers, et des dons provenant d’autres entités^{Voir la note en bas de page 19}. Même si peu de ressources ont été dépensées pour administrer le programme, une approche de gestion de programme plus ciblée, conforme à la faible importance relative et aux risques peu élevés du programme, permettrait de favoriser une efficacité accrue des opérations.

Certains aspects du Programme de SISR nuisent à son efficacité, à savoir les modalités qui imposent de lourdes exigences administratives aux parrains et aux bénéficiaires, ainsi que les exigences qui obligent le chef de secteur, le dirigeant principal des finances et l’administrateur général à approuver toutes les initiatives.

iii. Conceptions de rechange

La conception du Programme de SISR est souple, mais une approche de financement fondée sur le risque (p. ex., suppression de l’obligation pour le dirigeant principal des finances et l’administrateur général d’approuver les initiatives à faible risque et importance relative menées de concert avec des organismes tiers de longue date) pourrait alléger le fardeau administratif des gestionnaires, des parrains et des bénéficiaires, et aboutir à une mise en œuvre plus rapide des initiatives^{Voir la note en bas de page 20}.

1.0 Pertinence

2.0 Rendement