Évaluation du Programme de soutien d'initiatives stratégiques et de recherche

Question d’évaluation clé : Dans quelle mesure la refonte du programme a-t-elle amélioré ou entravé l’exécution du programme et la réalisation des résultats?

Conclusion : La refonte du programme a facilité et entravé l’exécution du programme et la réalisation des résultats immédiats dans une certaine mesure.

Au début de la relance du programme, le bureau du PSISR a élaboré le tout premier processus opérationnel et a offert un accès en ligne à des documents descriptifs et des modèles de demande. Selon les entrevues, bon nombre de secteurs ont aimé cette initiative, mais ils ont indiqué également qu’elle était trop lourde. Les secteurs ont ajouté que les documents étaient trop longs à lire et que, dans certains cas, ces documents ne communiquaient pas toute l’information dont ils avaient besoin avant de s’engager dans le processus de demande complet.

Certains informateurs ont fait remarquer que le processus avait eu des effets négatifs sur les relations avec des organisations partenaires. Dans certains cas, les dates de début des projets ont été retardées, et à une occasion, il a fallu reporter une conférence au complet.

Les secteurs dont les projets concernaient de plus petites organisations ont indiqué que le processus de demande du programme nécessitait plus de ressources, ce qui a exacerbé la capacité organisationnelle limitée. Selon eux, les plus petites organisations disposent de très peu de budget et d’employés pour participer à un processus opérationnel si coûteux (demande et production de rapports). Ces constatations sont particulièrement importantes, puisque l’un des objectifs premiers du PSISR était d’offrir un mécanisme de financement agile et efficient aux secteurs.

Le bureau du PSISR a aussi adopté une approche fondée sur le risque concernant l’approbation des projets en déléguant le pouvoir de signer des documents financiers au titulaire du poste situé à l’échelon immédiatement inférieur à celui de secrétaire.^{Note en bas de page 10} Cette approche permettrait de simplifier le processus de demande pour les projets de faible valeur tout en veillant à ce que le secrétaire soit tenu informé des contributions de plus de 100 000 $. Cependant, aucune donnée n’indiquait que l’approche avait réduit le niveau d’effort ou le temps de traitement des demandes.

La refonte du programme visait également à centraliser le bureau du PSISR au sein du SPP et à adopter un modèle d’administration conjointe entre le SPP et la DGF du SMM.

Toutefois, des informateurs clés ont soulevé que les employés du SPP ne détenaient pas une vaste expérience des programmes de subventions et de contributions (S et C), ce qui a nécessité beaucoup de temps et de ressources pour mettre sur pied le bureau du PSISR au départ. Selon une personne interviewée, comme il y avait peu d’options de rechange, personne au SPP n’avait de connaissances sur les programmes de S et C et elle se demandait à qui d’autre ce programme aurait été confié.

D’après des personnes interrogées du bureau du PSISR, établir le bureau de l’administration centrale au sein du SPP avait pour principal avantage d’exercer une plus grande rigueur sur l’analyse des politiques, la fonction de remise en question et la surveillance. Certains ont signalé que l’administration conjointe du programme avait contribué à améliorer son exécution et sa visibilité, comme les demandes de projets étaient évaluées par deux communautés fonctionnelles distinctes.

Question d’évaluation clé : Que serait-il arrivé si le PSISR n’avait pas existé?

Conclusion : Beaucoup de projets n’auraient pas vu le jour sans le PSISR, ce qui aurait entraîné des conséquences négatives importantes.

La majorité des bénéficiaires ont indiqué que les projets n’auraient probablement pas vu le jour sans le financement du PSISR, même sous une forme modifiée. Dans bien des cas, il était difficile de distinguer si ces effets avaient été causés précisément par une absence de financement du PSISR ou une absence d’engagement et de parrainage d’un projet de la part du SCT. Certains bénéficiaires ont déclaré qu’il aurait fallu beaucoup plus de temps, même des années, pour atteindre les résultats des projets, voire pas du tout, si d’autres scénarios de financement avaient été mis de l’avant.

Par exemple, plusieurs informateurs clés des secteurs ont fait remarquer qu’ils auraient pu mettre en œuvre leurs projets s’ils avaient conclu un contrat, mais qu’ils auraient dû modifier des caractéristiques et des objectifs importants, ce qui aurait entraîné une perte de qualité du produit final ou une perte de partenariats. Plus précisément, presque tous les informateurs clés des secteurs ont déclaré qu’il était nécessaire de choisir des bénéficiaires de financement particuliers pour réaliser les objectifs des projets.

Question d’évaluation clé : Quels obstacles freinent actuellement l’efficience du programme?

Conclusion : Le modèle de gestion et le niveau des ressources en place sont inadéquats pour administrer le programme d’après son niveau d’utilisation actuel. L’efficience globale du programme a diminué et elle est inférieure à celle des programmes comparables.

On a estimé que le niveau d’effort nécessaire pour le bureau du PSISR se chiffrait à cinq heures par mois (0,25 ETP) au niveau EC‑03. Cependant, en raison des modifications apportées à la conception^{Note en bas de page 11} et de la participation accrue des secteurs au programme, les niveaux d’effort requis pour administrer le programme sont supérieurs aux estimations initiales. Presque tous les employés du bureau du PSISR, actuels ou anciens, ont précisé que ces ressources étaient largement sous-estimées.

Beaucoup de secteurs promoteurs ont souligné que le fardeau administratif du programme était lourd. Quelques secteurs remettent en question leur participation future au programme, car l’investissement en temps est disproportionné par rapport à la somme du financement. À l’instar des constatations issues de l’évaluation précédente, certains organismes bénéficiaires ont indiqué que le temps et les efforts requis pour des initiatives de faible valeur ne permettent pas d’optimiser les ressources par rapport au fardeau administratif du programme .

La plupart (70 %) des secteurs promoteurs et certains (33 %) bénéficiaires du financement ont déclaré que le délai de traitement des demandes, y compris l’élaboration de l’accord de contribution, était plus long que prévu.^{Note en bas de page 12} L’examen des documents a révélé que seulement deux projets ont terminé le processus plus rapidement que les 8 à 10 semaines indiquées dans le PSISR^{Note en bas de page 13}. En revanche, le temps de traitement des demandes d’un programme comparable (deux programmes comparables, l’un du ministère des Finances Canada et l’autre d’Innovation, Sciences et Développement économique Canada [ISDE] ont été examinés lors de l’évaluation) était estimé à un mois environ.

« Le manque d’efficience du processus est l’un des principaux objets de critique que nous soulevons, tout comme nos clients. Il est devenu beaucoup plus clair et l’élargissement des critères d’admissibilité a permis [au programme] de mieux répondre aux besoins, mais il n’est toujours pas efficient ».

D’après les constatations de l’évaluation précédente, le PSISR du SCT était le programme le plus efficient des trois programmes comparables.^{Note en bas de page 14} À cette période, aucun de ces programmes, même le PSISR, n’avait de ressources dédiées. Contrairement aux deux programmes comparables^{Note en bas de page 15} dans la présente évaluation, le PSISR du SCT a enregistré une augmentation des ressources pour l’administration. La présente évaluation a démontré que les deux ministères ont beaucoup moins utilisé leur programme que le SCT et qu’ils n’en ont pas fait activement la promotion.^{Note en bas de page 16} Les deux programmes comparables disposaient d’un processus plus simple que celui du SCT en matière de demande et d’évaluation. En tenant compte de tous ces éléments, on peut constater que le PSISR est moins efficient que les programmes comparables.

Des facteurs contextuels qui s’appliquent davantage au SCT auraient pu aider à mieux faire la distinction entre le PSISR du SCT et les programmes comparables. Plus précisément, le SCT n’a aucun autre programme de S et C qui finance ce genre de travail. Plusieurs informateurs clés ont souligné que cet élément pourrait avoir une incidence sur la comparaison des programmes de deux façons :

1. les ministères comparables ont d’autres programmes;
2. l’absence d’une autre programme au SCT et le roulement élevé des employés font en sorte que les secteurs ont moins d’expérience que les ministères comparables en ce qui concerne l’utilisation et l’administration du PSISR et d’autres programmes de S et C en général.

De plus, plusieurs secteurs promoteurs ont souligné que le PSISR était différent de la majorité des autres programmes de S et C, car il finançait des projets de recherche, ce qui est le cas pour la grande majorité des projets du PSISR. Plusieurs secteurs promoteurs et bénéficiaires du financement ont fait mention des difficultés bien connues qui résident dans la démonstration des résultats de recherches.

Les informateurs clés ont ajouté également d’autres facteurs contextuels au SCT qui nuisent à l’efficience du programme :

• le roulement fréquent des employés dans les secteurs, ce qui force le Bureau du PSISR à former de nouveau les secteurs sur l’utilisation des accords de contribution;
• la nature ponctuelle de programme;
• l’absence d’un poste ou d’un rôle réservé au Bureau du PSISR dont le titulaire détient l’expérience nécessaire en matière de S et C.

Selon les données des entrevues, pour renforcer les mesures de responsabilisation et de rendement du programme dans le cadre de sa refonte, il fallait établir les mêmes mécanismes que ceux des autres programmes de S et C en matière de responsabilisation, de suivi et de rendement. Toutefois, les programmes de S et C ne sont pas habituellement utilisés pour financer des projets de recherche^{Note en bas de page 17} et il peut être difficile de mesurer leurs résultats de façon précise.Par conséquent, il a fallu mettre en place un processus opérationnel qui ressemblait davantage à celui d’un programme de S et C représentant un risque plus élevé ou une valeur plus élevée.

La stratégie liée à la mesure du rendement qui a été adoptée lors de la refonte du programme est plus complexe que celle des deux programmes comparables, qui effectuent encore seulement suivi minimal du rendement.

Plusieurs informateurs clés, qu’ils aient ou non utilisé le PSISR avant 2014, ont déclaré que la refonte a alourdi les processus opérationnels et administratifs et les a rendus plus fastidieux.

En dépit des inefficacités, presque tous les secteurs se sont dits très satisfaits ou extrêmement satisfaits des conseils et des directives qu’ils ont reçus du Bureau du PSISR et de la DGF du SSM. Seulement 25 % des secteurs^{Note en bas de page 18} ont affirmé avoir été très satisfait ou extrêmement satisfait de la facilité à laquelle ils ont utilisé le PSISR et accédé à celui-ci.

La clarté des rôles et des responsabilités du PSISR n’a pas obtenu un résultat aussi satisfaisant, surtout au début de la refonte. Moins de la moitié (45 %) des secteurs ont estimé que les rôles et les responsabilités étaient très clairs ou extrêmement clairs, même si les niveaux de satisfaction se sont accrus grâce aux plus récents projets.

Les secteurs promoteurs ont suggéré d’apporter les améliorations suivantes au programme :

• élaborer des documents d’orientation et des outils d’aide à la décision plus clairs et succincts afin de permettre aux gestionnaires des secteurs de déterminer si le PSISR est le choix indiqué pour un projet, y compris les répercussions possibles liées à l’autorisation de contribution;
• réexaminer le processus opérationnel pour cibler les domaines à simplifier;
• créer une évaluation fondée sur le risque pour mieux équilibrer les coûts et le risque d’un projet donné, ainsi que le niveau d’effort requis pour conclure l’accord de contribution.

Question d’évaluation clé : Pour quelles raisons et de quelles façons la demande du PSISR a-t-elle changé depuis 2017?

Conclusion: Les activités annuelles de sensibilisation et de communication ont réussi à accroître la participation au programme. Même si le PSISR répondait aux besoins de bien des façons, plusieurs obstacles ont été relevés.  

Répercussions de la refonte du programme sur sa visibilité et son utilisation

Au cours des évaluations précédentes, on a souligné que la faible connaissance et visibilité du PSISR constituaient des obstacles importants qui empêchaient le programme de s’adapter aux besoins. Par conséquent, le Bureau du PSISR a mis au point des activités annuelles de sensibilisation et de communication. 

« La refonte a influencé la demande [du programme]. Le fait d’avoir publié le programme sur l’Infosite et d’écrire un article sur le sujet dans SCT En bref une fois par année a contribué à accroître la demande. Le marketing change les choses », a déclaré une personne interrogée du Bureau du PSISR.

Depuis octobre 2017, les secteurs ont eu recours au PSISR pour financer 14 initiatives et 10 bénéficiaires tiers (voir l’Annexe B pour la liste des initiatives et des bénéficiaires financés et les contributions aux projets du SCT). Les secteurs promoteurs ont versé en moyenne 63 000 $ par initiative, avec des contributions du SCT totalisant 881 998 $.

Il s’agit d’une augmentation importante depuis la dernière évaluation et elle représente le double du volume anticipé. Les évaluateurs ont indiqué que le nombre de secteurs ayant utilisé le programme a plus que triplé et que la plupart (71 %) n’avaient jamais eu recours au PSISR auparavant. Ils ont ajouté que le nombre et le type^{Note en bas de page 19} d’organisations financées ont doublé.

Les activités annuelles de sensibilisation et de communication ont eu une incidence sur la visibilité et l’utilisation du programme. Selon plusieurs personnes interrogées du Bureau du PSISR, le fait que le programme soit dirigé conjointement avec la DGF du SSM a permis de mieux faire connaître le programme au sein de leurs secteurs clients. On a d’ailleurs constaté une participation accrue au programme, puisque certains secteurs consultent leur conseiller en gestion financière pour trouver des moyens de mobiliser les intervenants externes.

L’augmentation de la limite sur le cumul constitue un autre changement apporté au programme. La limite a été fixée à 100 % des coûts admissibles,^{Note en bas de page 20} alors qu’elle était à 50 % auparavant. L’examen des documents n’a fourni aucune justification pour expliquer ce changement. Par contre, d’après les données des entrevues, la limite sur le cumul a été augmentée pour les deux raisons suivantes :

1. réduire les obstacles financiers potentiels pour les partenariats et les projets;
2. favoriser des projets plus ambitieux davantage centrés sur les intérêts du Ministère.

Les informateurs clés n’ont pas précisé si les modifications effectuées à la limite sur le cumul avaient influencé leur décision d’avoir recours au programme. Pourtant, l’examen des documents a révélé que le SCT avait contribué à plus de la moitié des coûts admissibles pour plus du tiers des projets, ce qui ne s’était pas produit avant 2017. Conformément au raisonnement qui justifie le changement, plusieurs informateurs clés étaient d’avis que l’augmentation de la limite sur le cumul aurait moins contraint les secteurs à établir d’autres partenariats et à obtenir du financement supplémentaire pour leurs projets. L’incidence de cette augmentation sur la capacité du programme à atteindre ses résultats immédiats est traitée dans la section Rendement.

Dans le cadre de la refonte du PSISR, une troisième catégorie a été ajoutée aux types de projets admissibles. Environ un tiers (36 %) des projets financés au moyen du programme concernaient la nouvelle catégorie Innovation et expérimentation (voir figure 1).

Les informateurs clés des secteurs ont indiqué qu’ils n’avaient eu aucun problème à classer les projets dans les différentes catégories. D’après plusieurs personnes interrogées des secteurs et du Bureau du PSISR, les catégories étaient suffisamment larges et flexibles pour couvrir un grand éventail de projets et de sujets touchant l’administration publique.

« Le PSISR a financé beaucoup de projets différents en raison de sa polyvalence. Presque tous les sujets peuvent correspondre à l’administration publique », a déclaré une personne interrogée qui travaillait au Bureau du PSISR.

Mécanisme polyvalent, flexible et nécessaire

« Un plus grand nombre de ministères devraient utiliser ce genre de programme. Il peut répondre très rapidement aux besoins et permettre aux organisations [externes] de contribuer [par exemple] avant la fin d’une période législative. Sans ce genre de programme, il serait plus difficile globalement de réagir rapidement aux problèmes à mesure qu’ils se présentent », a indiqué un bénéficiaire du financement du PSISR.

Les informateurs clés interrogés ont indiqué que le PSISR constitue, dans son ensemble, un mécanisme de financement polyvalent, flexible et nécessaire pour le SCT.

La grande majorité des secteurs promoteurs estiment que les modalités et les critères d’admissibilité du PSISR correspondaient bien à leurs projets, comme ils étaient suffisamment souples pour être largement appliqués. Les secteurs promoteurs ont ajouté que le programme et ses objectifs étaient cohérents. La plupart des personnes interrogées ont également souligné qu’un programme de contribution comme le PSISR était nécessaire pour qu’elles atteignent les objectifs de leur projet et, selon elles, le PSISR est le seul mécanisme approprié mis à leur disposition.

Toutefois, selon la prochaine section sur les obstacles empêchant le programme de répondre aux besoins, les secteurs se demandaient si une contribution était le meilleur mécanisme de financement. Ils s’interrogeaient également sur le niveau d’effort nécessaire afin d’harmoniser le projet avec les modalités du PSISR pour un peu moins de la moitié des projets financés.

Quelques secteurs dont les échéanciers des projets étaient serrés ont déclaré que le PSISR était la seule option disponible, et que sans ce programme, des projets auraient probablement été reportés ou annulés.

Réponse à la COVID‑19

Les entrevues menées auprès de plusieurs secteurs ont démontré que le PSISR s’adaptait aux contextes changeants, notamment aider le SCT à répondre à la pandémie de COVID‑19.

Par exemple, dans le cadre d’un projet, on a réuni des cadres supérieurs du SCT et des experts de la fonction publique pour trouver des solutions permettant de relever les défis posés par la pandémie. Un deuxième projet portait principalement sur l’élaboration des leçons apprises de la pandémie. Le bénéficiaire du financement a fait remarquer que le PSISR a permis de devancer cette discussion, qui n’aurait probablement pas eu lieu sans ce programme.

Le bénéficiaire du financement a aussi indiqué que le programme l’avait aidé à s’adapter rapidement lors de la pandémie. Grâce au PSISR, il a pu acquérir des compétences sur l’organisation de l’événement virtuel. D’ailleurs, cet événement comptait le plus grand nombre de pays participants de son histoire.^{Note en bas de page 22}

Correction des lacunes dans les domaines prioritaires émergents

Dans certains cas, le PSISR a aidé les secteurs à assurer rapidement une mobilisation intersectorielle grandement nécessaire pour appuyer leurs nouveaux mandats ou leurs mandats élargis.

Par exemple, le fait de recourir au PSISR pour financer le projet « Risques liés aux changements climatiques auxquels le Canada est confronté » du Centre pour un gouvernement vert était une initiative déterminante et novatrice. D’un côté, elle était déterminante pour bénéficier de la mobilisation et des ressources d’autres ministères fédéraux. De l’autre côté, elle était novatrice puisqu’elle versait une contribution à la communauté élargie des intervenants dans le domaine des changements climatiques. Selon les personnes interrogées, en l’absence du PSISR, il aurait fallu créer un nouveau programme de contribution pour entreprendre des projets similaires. Ce genre d’initiatives essentielles à la mission nécessitaient un programme de S et C.

De même, un des ministères comparateurs a précisé que son programme avait comblé une importante lacune entre l’émergence de nouvelles priorités et l’établissement de nouveaux programmes de S et C. Dans cette organisation, le programme répond aux besoins des secteurs en matière de projets ponctuels et constitue un moyen de travailler sur des priorités nouvelles et émergentes.

Dans un autre exemple de projet, des informateurs clés ont indiqué que le PSISR avait aidé (ou pourrait aider) à réduire le fossé qui existait depuis longtemps entre les chercheurs et les spécialistes des politiques publiques dans la fonction publique. Selon eux :

« Il n’y a pas de réelles occasions où nous pouvons bien collaborer avec les chercheurs. Le PSISR est une bonne façon de combler le fossé entre le milieu universitaire et les spécialistes de la fonction publique… Les 15 000 $ [contribution du PSISR] étaient un atout pour instaurer une collaboration si fructueuse pour diriger les recherches en général et les rendre pertinentes pour la fonction publique. Beaucoup de participants à l’événement veulent répéter l’expérience plus souvent? »

Obstacles empêchant le programme de répondre aux besoins

« Le Bureau du programme a répondu à nos besoins, mais nous avons été victimes du processus… Il [Bureau du PSISR] a répondu à nos besoins, contrairement au processus. » a déclaré un secteur promoteur du PSISR.

Même si la grande majorité des secteurs promoteurs et des bénéficiaires du financement ont affirmé que le PSISR répondait à leurs besoins et correspondait bien à leurs projets, bon nombre ont signalé d’importants obstacles freinant sa capacité à répondre aux besoins.

Les données ressorties des entrevues ont révélé les obstacles suivants :

1. un questionnement sur la pertinence de la contribution à titre de mécanisme de financement pour certains projets;
2. le niveau d’effort requis pour harmoniser certains projets avec les modalités du PSISR.

Un certain nombre de secteurs ont affirmé qu’ils s’étaient rendu compte que leurs projets n’étaient pas bien adaptés pour le PSISR. Même si les résultats obtenus étaient positifs, ils croient qu’un mécanisme de financement plus adéquat aurait été préférable, mais ils n’en ont précisé aucun. D’après leurs réponses, il faudrait peut-être communiquer plus efficacement avec les secteurs promoteurs au sujet des projets qui seraient financés adéquatement au moyen d’une contribution. Les évaluations précédentes ont aussi soulevé ce problème, ce qui démontre que le Bureau du PSISR a encore beaucoup à faire pour aider les secteurs et les éduquer sur les différences entre les contributions et les contrats.   

Harmonisation des propositions de projets avec les modalités du PSISR

Nombre d’informateurs clés ont parlé du niveau d’effort nécessaire pour harmoniser les projets avec les modalités du PSISR, ce qui donnait lieu souvent à plusieurs séries de commentaires et de questions avec le Bureau du PSISR et la DGF du SSM. Cette tendance était surtout observée pour les secteurs qui n’avaient jamais utilisé le PSISR, les projets qui étaient plus axés sur la recherche fondamentale sur les politiques et les projets de mobilisation avec des organisations internationales, plus particulièrement lorsqu’il était question de déterminer les coûts admissibles et les activités des projets ou d’établir si les projets présentaient un grand intérêt au-delà du SCT.

Cette constatation était particulièrement prononcée pour les demandes qui ont été reçues lors des deux premières années de la relance du programme. En effet, cette période coïncidait avec le nouveau rôle d’administrateur du programme confié au SPP. Des informateurs clés de cette période ont indiqué qu’ils ont composé avec une courbe d’apprentissage abrupte pour être en mesure d’administrer le programme, comme cette activité ne correspondait pas vraiment à leur domaine d’expertise.^{Note en bas de page 23} De plus, il fallait immédiatement offrir un soutien important aux secteurs avec le processus de demande, car un bon nombre d’entre eux n’avaient jamais préparé des accords de contribution ni utilisé le PSISR ou tout autre programme de S et C.

Les secteurs ont reconnu la légitimité des critères d’admissibilité et des limites du programme. Pourtant, à plusieurs reprises, ils ont eu du mal à déterminer si les engagements informels de contribution se situaient à l’intérieur des limites des critères d’admissibilité du programme avant que le Bureau du PSISR ne procède à l’évaluation des projets.

Néanmoins, presque tous les secteurs ont affirmé qu’un mécanisme de contribution, comme le PSISR du SCT, était nécessaire.

Autres obstacles entravant l’accès au programme et son utilisation

Aucune explication sur les motifs entourant l’abandon du processus de demande et d’approbation du PSISR n’a été trouvée à la suite de l’examen des documents, des entrevues avec les informateurs clés ou du sondage mené auprès des secteurs qui se sont renseignés auprès du Bureau du PSISR, qui ont présenté une demande incomplète ou qui ont une demande inactive. Les données du sondage mené auprès des secteurs laisseraient entendre que les motifs d’abandon échappent au contrôle direct du programme (par exemple, les projets sont annulés ou reportés en raison des priorités changeantes des secteurs). Cependant, il est ressorti des entrevues avec les informateurs clés que le nouveau processus opérationnel et les délais de traitement des demandes auraient poussé certains secteurs à remettre en question l’utilisation du programme, du moins au début de la relance du programme.

Enfin, l’examen des documents et les données des informateurs clés ont démontré que les secteurs qui n’avaient jamais eu recours au programme étaient beaucoup plus disposés à participer à l’ensemble du processus de demande et d’approbation dans les conditions suivantes :

1. soutien offert par des personnes ayant de l’expérience avec le PSISR;
2. collaboration précédente avec le Bureau du PSISR ou le groupe des politiques stratégiques du SPP;
3. utilisation antérieure de programmes similaires dans d’autres ministères.

Question d’évaluation : Dans quelle mesure le PSISR a-t-il atteint ses résultats immédiats?

Conclusion : Le PSISR a permis d’accroître l’accès à une base de connaissance élargie dans les domaines de la fonction publique ou des politiques publiques. Toutefois, il n’a pas réussi à accroître l’optimisation de ressources provenant de sources externes.