Évaluation du Programme de contributions pour les politiques en matière de soins de santé de 2013-2014 à 2017-2018

Listes de tableaux

• Tableau 1 : Nombre de projets financés par type de bénéficiaire de 2013-2014 à 2017-2018
• Tableau 2 : Fonds de contribution du PCPSS de 2013-2014 à 2017-2018

Liste des acronymes

CCAI

Cadre canadien d'analyse des incidents

ECE

évaluation de la capacité à exercer

FISSS

Fonds d'innovation dans le système de soins de santé

IPRMF

Initiative de postes de résidence en médecine familiale

IPSFE

Initiative relative aux professionnels en santé formés à l'étranger

ISMP

Institut pour la sécurité des médicaments aux patients du Canada

LGFP

Loi sur la gestion des finances publiques

PCPSS

Programme de contributions pour les politiques en matière de soins de santé

PSFE

professionnels en santé formés à l'étranger

PT

provinces et territoires / provinciaux et territoriaux

SCDPIM

Système canadien de déclaration et de prévention des incidents médicamenteux

SRHS

Stratégie en matière de ressources humaines en santé

Sommaire

Cette évaluation a examiné la pertinence et l'efficacité du Programme de contributions pour les politiques en matière de soins de santé (PCPSS) pour la période de 2013-2014 à 2017-2018. L'évaluation est exigée par la Loi sur la gestion des finances publiques et la Politique sur les résultats (2016) du Conseil du Trésor du Canada. En raison des changements en cours au sein du programme pendant la période de l'évaluation, il a été convenu que cette dernière aurait une portée ciblée et suivrait une approche méthodologique.

Lancé en 2002, le PCPSS est un programme national qui verse des fonds de contribution aux projets qui traitent des priorités du système de soins de santé. Les secteurs prioritaires actuels du PCPSS comprennent les soins palliatifs, les soins à domicile, la santé mentale et l'innovation dans le système de soins de santé.

Conclusions de l'évaluation

En ce qui concerne la pertinence, l'évaluation a révélé que les priorités du PCPSS avaient évolué avec le temps et des besoins continus se présentent dans le système de soins de santé concernant les secteurs prioritaires actuels, notamment dans les soins palliatifs, les soins à domicile, la santé mentale et l'innovation dans le système de soins de santé.  

Des progrès ont été constatés dans les trois secteurs de résultats du programme (les intervenants connaissent les produits et les outils de connaissance, les intervenants utilisent les produits et les outils de connaissances, et il y a des améliorations dans le système de soins de santé). Bien qu'une mesure directe du niveau de sensibilisation était limitée, il avait d'autres données concernant la sensibilisation des intervenants, notamment la participation de certains publics cibles à l'élaboration de produits de connaissances et l'utilisation de certains de ces produits par la suite. L'utilisation était variée, allant de l'élaboration des cadres et des documents d'orientation d'après les produits de connaissances à la participation aux programmes de formation. 

Certains projets ont permis d'apporter des améliorations dans le système de santé, allant de l'adoption de pratiques, de politiques et de normes professionnelles à la hausse du nombre de médecins possédant de l'expérience en milieu rural ou éloigné. Toutefois, il y a peu de données probantes sur les répercussions de ces changements. Plusieurs des projets qui ont enregistré des progrès vers l'atteinte de résultats à long terme étaient la suite de projets financés précédemment, qui ont parfois eu plusieurs phases antérieures.

Éléments à prendre en considération

Puisque le remaniement du PCPSS est toujours en cours, l'évaluation n'a pas servi à formuler des recommandations; elle a plutôt servi à relever des éléments à prendre en considération sur lesquels on pourra continuer à s'appuyer ou dont on pourra tenir compte à mesure qu'on va de l'avant avec le programme.

• Au niveau du projet, une collaboration entre les organisations partenaires pertinentes et une direction de projet solide semblaient être les éléments les plus importants pour la réussite des projets, tout comme les accords de contribution à long terme, la planification fondée sur des données probantes et le soutien de Santé Canada (p. ex., encourager la participation des intervenants et fournir une orientation et des conseils sur les projets).
• Au niveau du programme, l'évaluation a désigné le rôle de Santé Canada dans l'application des connaissances et l'orientation stratégique comme des éléments à améliorer, y compris une plus grande utilisation des rapports sur le rendement et l'avancement des projets et le suivi des projets terminés pour mieux évaluer l'atteinte des résultats à long terme, ainsi que le soutien offert par le programme aux projets innovateurs.  

1.0 Objet de l'évaluation

L'objectif de l'évaluation était de vérifier la pertinence et l'efficacité du Programme de contributions pour les politiques en matière de soins de santé (PCPSS) pour la période de 2013-2014 à 2017-2018. L'évaluation a été réalisée conformément à la Loi sur la gestion des finances publiques (LGFP) et à la Politique sur les résultats (2016) du Conseil du Trésor du Canada.

2.0 Aperçu du programme

Lancé en 2002, le PCPSS est un programme national qui verse des fonds de contributions aux projets qui traitent des priorités du système de soins de santé. La gestion du PCPSS est assurée par la Direction des programmes et des politiques de soins de santé de la Direction générale de la politique stratégique de Santé Canada.

Le PCPSS a été élaboré comme l'un des nombreux mécanismes visant à régler les questions soulevées par le Comité sénatorial permanent des affaires sociales, des sciences et de la technologie et par la Commission sur l'avenir des soins de santé au Canada en 2002. Le PCPSS visait aussi à répondre aux priorités du système de soins de santé, telles que définies dans l'Accord de 2003 des premiers ministres sur le renouvellement des soins de santé et dans le Plan décennal des premiers ministres pour consolider les soins de santé (2004), souvent désignés collectivement comme les Accords sur la santé.

Le PCPSS vise à appuyer le rôle du gouvernement du Canada dans le domaine des soins de santé en soutenant l'élaboration de politiques et de stratégies permettant de faire face aux priorités en constante évolution du système de soins de santé. Le PCPSS est fondé sur une théorie du changement, y compris le concept d'application des connaissances, qui est le processus actif de synthèse, de diffusion, d'échange et de mise en œuvre des connaissances dans le but d'améliorer la santé des Canadiens. 

Au cours de la période visée par l'évaluation, le PCPSS a financé des projets dans le cadre de trois volets : 1) la Stratégie en matière de ressources humaines en santé (SRHS); 2) l'Initiative relative aux professionnels de la santé formés à l'étranger (IPSFE); et 3) le Fonds pour l'innovation dans le système de soins de santé (FISSS). Les bénéficiaires du financement comprenaient les gouvernements provinciaux et territoriaux (PT) et les organisations non gouvernementales (ONG), tels que les établissements d'enseignement et les organismes sans but lucratif (voir le tableau ci-dessous).

Tableau 1 : Nombre de projets financés par type de bénéficiaire de 2013-2014 à 2017-2018^{Note a}

Année	PT	ONG	Total
2013-14	13	8	21
2014-15	14	14	28
2015-16	12	11	23
2016-17	2	13	15
2017-18	0	12	12
Tableau 1 - Note a Pour chaque exercice financier, ces chiffres comprennent tous les projets actifs, y compris les nouveaux accords de contribution, ainsi que les projets en cours, dont bon nombre ont reçu du financement sur plusieurs années. Tableau 2, Retour à la référence de la note a

Résultats prévus

En collaboration avec les représentants du programme, les évaluateurs ont examiné les divers résultats du PCPSS et les ont regroupés dans trois secteurs de résultats clés ^{Référence i} :

• Les intervenants connaissent les produits et outils de connaissances;
• Les intervenants utilisent des produits et des outils de connaissances;
• Améliorations dans le système de soins de santé

Ressources du programme

Le tableau ci-dessous présente les données financières du PCPSS pour 2013-2014 à 2017-2018.

Tableau 2 : Fonds de contribution du PCPSS de 2013-2014 à 2017-2018

ANNÉE	Prévu	Réel	Écart	% d'écart
2013-14	34 504 000	19 712 535	14 791 465	42,9
2014-15	26 359 000	20 382 789	5 976 211	22,7
2015-16	25 709 000	17 839 928	7 869 072	30,6
2016-17	25 509 000	9 284 670	16 224 330	63,6
2017-18	26 874 000	8 737 838	18 136 162	67,5
TOTAL	138 955 000	75 957 760	62 997 240	45,3

Les écarts entre les dépenses prévues et les dépenses réelles au cours de la période visée par l'évaluation s'expliquent par un certain nombre de raisons, dont :

• les délais prolongés requis pour établir des accords de contribution avec les provinces et territoires (PT);
• la sous-utilisation des fonds par certains bénéficiaires dans le cadre de l'IPSFE, ainsi que la réduction progressive de cette initiative à compter de 2015-2016;
• le remaniement du programme, qui a commencé en 2013 et qui était en cours au moment de l'évaluation, afin de déterminer et de traiter les nouvelles priorités.

3.0 Description de l'évaluation

La portée de cette évaluation couvrait la période de 2013-2014 à 2017-2018 et comprenait toutes les activités dans le cadre du PCPSS. Étant donné que les activités de remaniement du programme ont été entreprises en même temps que l'évaluation, celle-ci a été calibrée et axée sur le respect des exigences de la LGFP, y compris l'examen des questions fondamentales de pertinence et d'efficacité, tout en explorant les facteurs qui ont favorisé ou entravé la réussite du programme. Les questions ci-dessous ont guidé l'évaluation.

Pertinence

• Comment le programme a-t-il évolué au fil du temps pour répondre aux besoins démontrés et aux priorités changeantes?

Efficacité

• Quels progrès le PCPSS a-t-il accomplis dans l'obtention des résultats prévus?
• Quels éléments ou facteurs ont contribué à la réussite des projets et des programmes, ou l'ont entravée?

Les données de l'évaluation ont été recueillies au moyen de diverses méthodes, notamment les suivants :

• une analyse documentaire ciblée;
• un examen documentaire qui comprenait un examen approfondi de 10 dossiers de projet. Un échantillon représentatif de projets a été sélectionné en tenant compte de l'année, du volet de financement et de la valeur des accords de contribution. L'accent a aussi été mis sur les projets achevés ou qui ont été en cours depuis plusieurs années;
• des entrevues avec des informateurs clés qui comprenaient neuf personnes interviewées (cinq à l'interne et quatre à l'externe);
• des études de cas de deux projets :
  • L'Initiative sur les soins palliatifs intégrés à la communauté : « Aller de l'avant », qui comprenait un examen approfondi des dossiers de projet et deux entrevues avec des répondants clés (un externe et un interne);
  • L'Évaluation de la capacité à exercer (ECE) de la Collaboration nationale en matière d'évaluation pour les diplômés internationaux en médecine au Canada, qui comprenait un examen approfondi des dossiers de projet et trois entrevues avec des répondants clés (deux externes et un interne).

Les principales limites auxquelles cette évaluation a été confrontée étaient le manque d'information recueillie sur le rendement, des données minimales sur les répercussions à long terme et une méthodologie limitée. De plus, la majorité des données sur les résultats ont été autodéclarées par les projets ou les experts-conseils embauchés dans le cadre des projets. Pour répondre à ces limites, l'évaluation a utilisé de multiples sources de données pour recueillir divers points de vue auprès de Santé Canada et des bénéficiaires de financement. Des preuves documentaires aux niveaux des programmes et des projets ont été incluses. En raison du nombre de dossiers de projets examinés (12 au total), les résultats ne sont pas représentatifs de tous les projets du PCPSS. Par conséquent, des exemples illustratifs sont fournis plutôt que des rapports sur les proportions de projets.

4.0 Constatations

4.1 Pertinence – Comment le programme a-t-il évolué au fil du temps pour répondre aux besoins démontrés et aux priorités changeantes?

L'évaluation a révélé que les priorités du PCPSS avaient évolué avec le temps et qu'il a des besoins constants liés aux secteurs prioritaires actuels du système de santé, notamment dans les soins palliatifs, les soins à domicile, la santé mentale et l'innovation dans le système de soins de santé.  

Évolution des priorités

Au cours de la période visée par l'évaluation, le PCPSS a financé des projets par l'entremise de trois volets de programme : la Stratégie en matière de ressources humaines en santé (SRHS), l'Initiative relative aux professionnels de la santé formés à l'étranger (IPSFE), et le Fonds pour l'innovation dans le système de soins de santé (FISSS). Ces volets étaient fondés sur les domaines prioritaires découlant des engagements fédéraux pris dans les Accords sur la santé de 2003 et de 2004.

L'évaluation précédente du PCPSS a noté qu'avec l'expiration des Accords sur la santé en 2014, le programme serait à un « tournant décisif en l'absence d'énoncé similaire des priorités fédérales pour guider les prochains financements sous forme de contribution dans le domaine des soins de santé^{Note de bas de page 1} ». En prévision de la fin des Accords sur la santé, le PCPSS a lancé un exercice visant à remanier les politiques et les priorités de financement et à redéfinir le cadre opérationnel global et l'approche de gestion du programme^{Note de bas de page 2}. Les représentants du programme ont élaboré une charte de projet détaillée pour guider le processus de remaniement. Ce processus a tenu compte d'un large éventail de questions et de renseignements, notamment les suivants : 

• les nouvelles priorités du gouvernement du Canada concernant les politiques en matière de soins de santé;
• les priorités des gouvernements provinciaux et territoriaux;
• d'autres points de vue d'intervenants nationaux (y compris le Conseil canadien de la santé, l'Association médicale canadienne et l'Association des infirmières et infirmiers du Canada, le Collège des médecins de famille du Canada et la Fédération canadienne des infirmières);
• les rapports d'experts^{Note de bas de page 3}.

En 2015, les domaines stratégiques suivants ont été confirmés comme priorités du PCPSS : les grands utilisateurs des soins de santé, l'adaptation du système aux besoins de la population vieillissante, l'optimisation des effectifs de la santé et le soutien à l'évolution du rôle des patients. Le PCPSS a continué de financer des projets dans le cadre des trois volets de programme existants, mais les nouvelles priorités ont été utilisées pour la sélection des projets^{Note de bas de page 4}.

Les priorités du PCPSS ont été mises à jour de nouveau en 2017 pour tenir compte des domaines clés définis dans l'Énoncé de principes communs sur les priorités partagées en santé. Le programme a aussi tenu compte d'autres programmes gouvernementaux afin d'éviter les chevauchements et d'assurer la complémentarité^{Note de bas de page 5}. Selon le plus récent plan ministériel de Santé Canada, les priorités actuelles du PCPSS comprennent l'innovation dans le système de soins de santé, ainsi que les soins palliatifs et de fin de vie. De plus, d'autres documents sur le programme et des répondants clés internes ont cité les soins à domicile et la santé mentale comme des priorités. Pour soutenir ces priorités, les objectifs de la demande de propositions de 2018 étaient les suivants : 

• optimiser la santé, le bien-être et l'indépendance fonctionnelle des clients des soins à domicile;
• favoriser l'intégration des services communautaires de santé mentale aux soins primaires;
• améliorer l'accès aux soins palliatifs et de fin de vie.

Le volet du FISSS est maintenant la principale source de financement des projets du PCPSS, en raison de l'élimination progressive du volet de l'IPSFE. Selon les répondants clés internes, il a été décidé d'exclure les PT de la demande de propositions actuelle, en partie parce que les PT recevront onze milliards de dollars sur dix ans en vertu de l'Énoncé de principes communs sur les priorités partagées en santé pour les engagements liés aux soins à domicile et à la santé mentale. Plusieurs répondants clés ont aussi souligné les défis que pose la gestion des projets avec les bénéficiaires des PT, en raison des retards associés aux processus d'approbation au sein de multiples bureaucraties qui ont entraîné l'annulation de fonds. Il convient de noter que, même si les PT n'étaient pas admissibles à la demande de propositions de 2018, ils demeurent des bénéficiaires admissibles en vertu des modalités du programme et il est possible qu'ils le soient à nouveau à l'avenir.

Preuves du besoin

La documentation et la littérature examinées dans le cadre de cette évaluation ont révélé qu'il a des besoins continus dans le système de soins de santé liés aux secteurs prioritaires actuels du PCPSS, notamment les soins palliatifs, les soins à domicile, la santé mentale et l'innovation dans le système de soins de santé.

En ce qui concerne les soins à domicile et les soins palliatifs, des preuves montrent qu'il y a des besoins non comblés pour les Canadiens. Par exemple, une étude récente a révélé qu'au cours d'une période de 12 mois, 2,2 millions de Canadiens ont reçu de l'aide ou des soins à domicile en raison d'un problème de santé de longue durée, d'une incapacité ou d'un problème lié au vieillissement, les aînés étant les plus susceptibles de recevoir ces soins à domicile. Environ 15 % de ceux qui ont reçu des soins à domicile n'ont pas reçu toute l'aide nécessaire, et près d'un demi-million de Canadiens qui avaient besoin d'aide ou de soins pour une maladie chronique au cours des 12 mois précédents n'en ont pas reçu^{Note de bas de page 6}. Une autre étude a révélé que près de la moitié de tous les décès par cancer chez les adultes au Canada (45 %) surviennent dans les hôpitaux de soins actifs, bien que de nombreuses personnes auraient bénéficié de soins palliatifs à domicile ou dans des centres de soins palliatifs^{Note de bas de page 7}.

De plus, étant donné le vieillissement de la population canadienne (les personnes âgées de 85 ans et plus constituent le groupe d'âge qui croît le plus rapidement au Canada et, pour la première fois, il y a plus de personnes âgées de 65 ans et plus que d'enfants de 0 à 14 ans)^{Note de bas de page 8}, ces besoins non comblés sont susceptibles d'augmenter.

En ce qui concerne la santé mentale, un nombre important de Canadiens sont touchés par une mauvaise santé mentale et la maladie mentale. Selon l'Association canadienne pour la santé mentale, chaque année une personne sur cinq au Canada connaîtra personnellement un trouble mental ou une maladie mentale, et la maladie mentale touche indirectement tous les Canadiens à un moment donné à cause d'un membre de sa famille, d'un ami ou d'un collègue^{Note de bas de page 9}. Une autre étude a conclu qu'il existe toujours des lacunes dans les services de santé mentale et que des solutions stratégiques et pratiques sont nécessaires pour répondre aux besoins non comblés^{Note de bas de page 10}.

Un groupe consultatif récent a souligné la nécessité des innovations dans le système de santé en indiquant que l'action fédérale était importante pour promouvoir l'innovation et améliorer la qualité et la durabilité des soins de santé au Canada^{Note de bas de page 11}. La nécessité d'innover a également été soulignée dans les récents budgets du gouvernement du Canada^{Note de bas de page 12,Note de bas de page 13,Note de bas de page 14} et dans l'Énoncé de principes communs sur les priorités partagées en santé^{Note de bas de page 15}.

Bien que le Système canadien de déclaration et de prévention des incidents médicamenteux (SCDPIM) ne fasse pas partie des domaines prioritaires ciblés, il s'agit d'un projet du PCPSS qui reçoit un financement continu. Par conséquent, l'évaluation a examiné les données probantes liées à ce projet et a constaté qu'il existe un besoin continu. Par exemple, l'Organisation mondiale de la Santé a indiqué que les erreurs de médication sont un problème mondial^{Note de bas de page 16}, et une étude récente a révélé que des cas de dommages associés aux médicaments (y compris recevoir le mauvais médicament) se produisaient fréquemment pendant les séjours hospitaliers au Canada^{Note de bas de page 17}. Le Réseau universitaire de santé a indiqué que les erreurs médicales évitables ont tué plus de 30 000 Canadiens en 2014, ce qui signifie que les décès évitables en soins actifs tuent plus de Canadiens que l'ensemble des accidents vasculaires cérébraux, du diabète, de la maladie d'Alzheimer et des maladies rénales^{Note de bas de page 18}.

4.2 Efficacité – Quels progrès le programme a-t-il accomplis dans l'obtention des résultats visés?

4.2.1 Les intervenants sont au courant des produits et outils de connaissances

De façon générale, les projets étaient efficaces pour produire et distribuer des produits de connaissances. Bien que les mesures directes de la sensibilisation soient limitées, d'autres données probantes permettent d'évaluer cet aspect, notamment la participation de certains publics cibles à l'élaboration de produits de connaissances et l'utilisation subséquente de certains de ces produits.

Dans l'ensemble, les projets examinés dans le cadre de l'évaluation ont réussi à générer les produits de connaissances planifiés. Toutefois, certains projets ont pris du retard et, au moment de la production de leurs rapports d'étape définitifs, un petit nombre d'entre eux n'avaient pas produit tous les livrables comme prévu. Une variété de produits de connaissances a été élaborée, y compris les suivants : 

• cadres, normes et lignes directrices sur les approches du système de soins de santé;
• recommandations et guides sur des questions de soins de santé précises;
• normes et processus d'accréditation;
• analyses de l'environnement et documents de discussion;
• données sur les incidents médicaux, bulletins et recommandations concernant l'innocuité des médicaments;
• perfectionnement des formations, modules d'apprentissage et soutiens à l'apprentissage;
• outils d'évaluation;
• réseaux de connaissances officialisés.

Les projets ont diffusé des produits de connaissances à l'aide d'une grande variété de mécanismes, y compris des webinaires, des ateliers, des réunions, des bulletins d'information, des réseaux, des séances de mobilisation, des forums virtuels, Twitter, Facebook, des listes de diffusion par courriel, ainsi que des présentations, des kiosques et des affiches ayant lieu à des conférences. Certains projets ont mesuré le type et le nombre d'activités de sensibilisation et de diffusion, y compris l'accès, et ont fourni des chiffres dans leurs rapports d'étape relatifs à ces activités. Il y avait peu de données globales ou combinées, bien que quelques projets aient mesuré la portée. Par exemple, le projet « Recherche et éducation intégrées » de ProfessionsSantéOntario pour les professionnels de la santé formés à l'étranger (PSFE), qui visait à accélérer et à élargir l'évaluation et l'intégration des PSFE, a indiqué avoir atteint « un large public de PSFE (1408 rencontres avec les clients) et d'organisations (1850 rencontres avec les organisations)^{Note de bas de page 19} ». Aucune analyse des tendances n'était disponible pour aucun des projets.

La mesure de la sensibilisation aux produits de connaissances était limitée. Quelques projets n'incluaient pas la « sensibilisation » dans leurs énoncés de résultats ou leurs objectifs, de sorte qu'on n'aurait pas dû s'attendre à une mesure de la sensibilisation pour ces projets. Certains rapports d'étape sur les projets indiquaient qu'ils avaient l'intention de sensibiliser davantage le public cible et que cette sensibilisation avait été mesurée; toutefois, les renseignements à l'appui ne fournissaient pas nécessairement une mesure de la sensibilisation. Par exemple, un projet a indiqué le résultat que « les intervenants continuent d'être mobilisés », tandis qu'un autre a indiqué le résultat « d'une satisfaction globale élevée à l'égard du contenu et des modules de prestation », les deux sans autre explication ou renseignements sur la sensibilisation.

Les données disponibles sur la sensibilisation comprenaient les suivantes :

• Le projet « Aller de l'avant », qui visait à faire progresser le système de santé vers une approche communautaire intégrée des soins palliatifs et des soins de fin de vie, a mesuré la sensibilisation du public cible, ainsi que diffuser des documents de discussion et le Cadre national : Feuille de route pour l'intégration de l'approche palliative. Ils ont constaté que 96 % des répondants étaient au courant des documents de discussion et que 88 % des répondants avaient lu le Cadre. De plus, on a demandé aux participants à un atelier de 2013 si leur compréhension de l'intégration d'une approche palliative s'était améliorée après l'atelier et 60 % ont donné une note de 4 ou 5, tandis que 34 % ont donné une note de 3 (où 1 signifie « pas du tout » et 5 signifie « beaucoup »)^{Note de bas de page 20}.
• Le Projet postdoctoral sur l'avenir de l'éducation médicale au Canada visait à faciliter et à rendre plus efficace la transition de la faculté de médecine à la résidence, et de la résidence à la pratique clinique. L'évaluation au niveau du projet a révélé, qu'en moyenne, 69 % des répondants étaient au courant des projets liés à la transition de la résidence à la pratique clinique, les niveaux de connaissance allant de 31 % pour une initiative à 100 % pour une autre^{Note de bas de page 21}.

La nature collaborative des projets signifiait que, pour certains, les principaux acteurs faisaient aussi partie du public cible du projet. Comme tels, ils étaient au courant des produits de connaissances. Par exemple :

• L'Association canadienne de soins palliatifs et la Coalition pour des soins de fin de vie de qualité du Canada (qui est composée de 34 organismes membres) ont dirigé le projet « Aller de l'avant », et comprenait d'autres intervenants, dont les gouvernements fédéral, provinciaux et territoriaux, des décideurs, des professionnels de la santé, des associations de soins à domicile, des associations de soins primaires et actifs et de soins prolongés, et des organismes représentant les Premières Nations du Canada.
• Le projet Évaluation de la capacité à exercer (ECE) pour les diplômés internationaux en médecine de la Collaboration nationale en matière d'évaluation visait à élaborer un processus pancanadien pour évaluer l'état de préparation des diplômés internationaux en médecine à la pratique sous permis d'exercice provisoire. Un comité directeur composé d'organismes de réglementation médicale, de collèges d'agrément, de la Fédération des ordres des médecins du Canada et du Conseil médical du Canada a dirigé le projet. Le projet comportait également des groupes de travail dans des domaines de spécialité médicale (p. ex., médecine familiale, psychiatrie, médecine interne) et a compris des intervenants représentant les programmes ECE, les ministères PT de la Santé, l'Association des facultés de médecine au Canada et l'Association médicale canadienne. Le rapport final du projet indiquait que « les programmes participaient à toutes les activités de priorisation, de conception et de recherche et développement. En faisant participer les programmes à la création de normes, on a accru le transfert des connaissances sur ce que signifiaient les normes^{Note de bas de page 22}. » [Traduction]

Il convient également de noter que la sensibilisation est une condition préalable à l'adoption et à l'utilisation, et de nombreux projets examinés dans le cadre de l'évaluation ont été en mesure de démontrer l'utilisation de certains des produits de connaissances qu'ils avaient générés (voir la section 4.2.2 ci-dessous). 

4.2.2 Les intervenants utilisent des produits et des outils de connaissances

L'évaluation a trouvé des preuves que certains publics cibles utilisaient les produits de connaissances découlant des projets. L'utilisation variait, allant de la préparation de cadres et de documents d'orientation jusqu'à la participation à des programmes de formation. 

Étant donné que pas tous les produits de connaissances ont été générés ou complétés au moment de la présentation du rapport de projet, les données probantes sur l'utilisation sont limitées à certains produits de connaissances seulement. Toutefois, de nombreux rapports d'étape, évaluations de projets et rapports définitifs de projets contenaient des renseignements sur l'adoption et l'utilisation des produits de connaissances par les publics cibles. Les exemples d'utilisation allaient de l'utilisation de cadres et de ressources jusqu'à la participation à des programmes de formation en médecine familiale.

Plusieurs rapports de projet contenaient des données probantes vagues ou non spécifiques et semblaient fondés sur la rétroaction informelle des intervenants. Par exemple, la preuve d'utilisation notée dans un rapport de projet était définie comme « un rapport utilisé par divers intervenants pour éclairer les discussions sur les politiques », tandis qu'un autre rapport de projet indiquait « données anecdotiques et changements au programme de surveillance ».

Toutefois, des données probantes plus concrètes sur l'utilisation étaient disponibles pour de nombreux projets. L'étude de cas du projet « Aller de l'avant » a révélé qu'en 2017, les membres de la Coalition pour des soins de fin de vie de qualité et les représentants des PT ont été sondés pour évaluer l'adoption et l'utilisation des produits de connaissances du projet « Aller de l'avant », y compris le Cadre national : Feuille de route pour l'intégration de l'approche palliative. Quatre-vingt-neuf pour cent des répondants de la Coalition pour des soins de fin de vie de qualité et 83 % des répondants des PT ont indiqué qu'ils avaient utilisé le Cadre national comme guide^{Note de bas de page 23}. Des exemples précis de l'utilisation des produits de connaissances tirés du projet « Aller de l'avant » comprenaient les suivants :

• La Nouvelle-Écosse a utilisé une première version du Cadre national pour l'aider à élaborer une ébauche de cadre provincial.
• Le Comité directeur des soins palliatifs de l'Ontario s'est servi des documents de discussion et du Cadre comme contribution à son travail sur les soins palliatifs.
• L'Ontario a utilisé le cadre et le document de discussion sur les indicateurs de la qualité pour informer le tableau provincial « Déclaration de partenariat » afin d'élaborer des indicateurs de rendement pour l'Ontario.
• L'Alberta a utilisé le cadre et les résultats du sondage pour informer les activités de son comité directeur provincial.

En ce qui concerne le Projet postdoctoral sur l'avenir de l'éducation médicale au Canada, l'évaluation du projet a révélé que trois collèges (le Collège des médecins de famille de l'Ontario, le Collège des médecins du Québec et le Collège royal des médecins et chirurgiens du Canada) avaient commencé à réaligner leurs normes d'agrément en éducation médicale postdoctorale lors de l'évaluation du projet^{Note de bas de page 24}.

Des données probantes étaient également disponibles pour le projet Choisir avec soin Canada, une campagne visant à aider les cliniciens et les patients à engager des discussions sur les tests et les traitements inutiles et à faire des choix de soins intelligents et efficaces. Deux trousses d'outils pratiques de Choisir avec soin Canada ont été utilisées par les hôpitaux et une a été utilisée dans le cadre d'un essai randomisé :

• L'Hôpital général de North York a utilisé « Donner du lest au test », une trousse d'outils pour réduire les tests de laboratoire inutiles dans les services d'urgence.
• « Less is More with T3 and T4 », une trousse d'outils sur la réduction du dépistage gratuit des hormones thyroïdiennes, a été utilisée par le Women's College Hospital.
• « Somnoler sans être assommé », une trousse d'outils pour la « déprescription » des benzodiazépines et d'autres hypnotiques sédatifs en soins primaires, a été utilisée dans un essai randomisé en grappes à Montréal, auquel ont participé des patients dans diverses pharmacies.

Le rapport définitif du projet ECE pour les diplômés internationaux en médecine de la Collaboration nationale en matière d'évaluation a noté que : « Avec leur participation [des intervenants] à l'élaboration de matériel commun, l'adoption de ce matériel dans les pratiques actuelles a augmenté. En plus du soutien en nature que les programmes ont apporté à l'initiative en consacrant du temps de professionnels, ils ont partagé des documents et des outils qui ont été adoptés et adaptés pour être utilisés dans l'ensemble des programmes et qui se trouvent maintenant dans la bibliothèque de ressources^{Note de bas de page 25}. » [Traduction]

L'évaluation a examiné deux projets d'initiatives de postes de résidence en médecine familiale (IPRMF) qui visaient à améliorer la formation des résidents de médecine familiale dans les régions rurales et mal desservies, l'un à Terre-Neuve et l'autre au Nunavut. Dans le cadre de ces projets, l'utilisation portait sur la participation aux programmes de formation. Dans l'ensemble, les deux projets ont appuyé la formation de 44 résidents. Un projet était légèrement en dessous de son nombre cible de résidents formés, car aucun résident n'a été formé au cours de la première année, en raison, semble-t-il, du moment où le financement initial de Santé Canada a été reçu. Le deuxième projet dépassait le nombre cible de résidents formés; toutefois, cela s'explique par le fait qu'un plus grand nombre de résidents ont été envoyés sur le site de formation pour des périodes plus courtes, plutôt que d'avoir un plus petit nombre de résidents sur les sites pour des périodes plus longues, comme était prévu. 

Quelques répondants aux entrevues internes et externes ont indiqué que Santé Canada est un utilisateur des produits de connaissances créés par certains projets. Par exemple :

• Les données du Répertoire canadien sur l'éducation postdoctorale (RCEP), qui fournit des données longitudinales sur le nombre et le type de médecins qui suivent une formation médicale postdoctorale au Canada, ont été utilisées par Santé Canada pour un programme de main-d'œuvre en santé et par le Comité fédéral, provincial et territorial sur les effectifs en santé pour la planification de ressources.
• Santé Canada a utilisé les produits de connaissances du SCDPIM et a collaboré avec l'Institut pour la sécurité des médicaments aux patients du Canada (ISMP) à l'élaboration d'une politique pour la dénomination des médicaments, ainsi que pour l'étiquetage et l'emballage des médicaments sur ordonnance et sans ordonnance et des produits de santé naturels.
• Santé Canada utilise actuellement les produits de connaissances du projet « Aller de l'avant » pour informer le travail législatif et la stratégie fédérale sur les soins palliatifs.

4.2.3 Améliorations dans le système de soins de santé

Des données probantes montrent que certains projets ont mené à des améliorations dans le système de soins de santé, qu'il s'agisse de l'adoption de pratiques, de politiques et de normes professionnelles, ou de la hausse du nombre de médecins possédant de l'expérience en milieu rural ou éloigné. Toutefois, il y a peu de données probantes sur les répercussions de ces changements. Il importe de noter que plusieurs projets qui ont démontré des progrès vers l'atteinte de résultats à plus long terme étaient des prolongements de projets ayant déjà été financés, certains comportant plusieurs étapes antérieures.

Parmi les projets examinés, la durée moyenne des accords de contribution était d'environ trois ans. Par conséquent, certains rapports définitifs de projet et rapports d'évaluation contenaient peu de données probantes sur l'atteinte des résultats à long terme. Ceux qui ont pris fin il y a plusieurs années pourraient seulement démontrer maintenant des répercussions au niveau du système; cependant, même si Santé Canada avait la permission de revoir l'atteinte des résultats à long terme deux ou trois ans après l'achèvement du projet (conformément à une question du modèle de rapport d'étape requis pour la plupart des projets examinés par l'évaluation), rien ne permettait de conclure que cela a été fait. Plusieurs répondants clés internes ont indiqué qu'il s'agissait d'un secteur sur lequel le programme devrait se concentrer pour l'améliorer. Toutefois, le modèle de rapport d'étape (élaboré par le Bureau des subventions et des contributions) a été mis à jour et ne comprend plus une telle question. Cela pourrait poser un défi si Santé Canada voulait assurer le suivi des résultats à long terme des projets à l'avenir. Les représentants du PCPSS ont indiqué qu'ils examineront cette question plus à fond pour voir s'il existe des moyens de renforcer les rapports des bénéficiaires sur l'atteinte des résultats et des répercussions à long terme, au-delà de la période de financement du projet. Quelques répondants clés internes ont aussi noté que les projets financés sur une plus courte période ne dépassent pas nécessairement le niveau des extrants ou des résultats immédiats. De plus, ils ont fait remarquer que, compte tenu du montant global du financement des projets par rapport au financement global du système de soins de santé, il est très difficile de mesurer l'impact spécifique des projets.

Cependant, il y avait des données probantes sur les améliorations du système de soins de santé portés par certains projets. Il est à noter qu'un certain nombre de projets examinés dans le cadre de l'évaluation étaient des prolongements de projets antérieurs financés par le PCPSS; par exemple, le SCDPIM, le ECE pour les diplômés internationaux en médecine de la Collaboration nationale en matière d'évaluation, Choisir avec soin Canada, et Pour une meilleure intégration au Québec des médecins diplômés hors du Canada et des États-Unis. Pour ces projets, les données probantes sur les résultats à plus long terme peuvent avoir été, du moins en partie, le résultat de travaux qui ont commencé plusieurs années auparavant. Par exemple, l'étude de cas de l'ECE de la Collaboration nationale en matière d'évaluation a révélé que le projet a été en mesure de démontrer les changements apportés au système de soins de santé en ce qui a trait au nombre supplémentaire de professionnels de la santé ayant un permis d'exercice provisoire. Le projet a révélé qu'en 2016 et 2017, 428 personnes ont réussi à obtenir un permis d'exercice provisoire grâce à une ECE harmonisée, à un coût moindre et dans un délai plus court que la résidence traditionnelle. En même temps, l'un des autres objectifs clés de l'ECE était que les médecins formés à l'étranger soient « sûrs et compétents » pour exercer au Canada. Toutefois, des données n'étaient pas disponibles pour déterminer si la sécurité des patients s'en était trouvée améliorée.

Dans le cadre du projet de SCDPIM, une étude de cas récente menée par un entrepreneur indépendant a révélé que le meilleur exemple d'adoption était celui où les recommandations de l'ISMP du Canada et les produits et outils de sécurité des médicaments ont influencé les normes professionnelles. Les normes d'agrément exigent la conformité, de sorte que l'influence de l'ISMP du Canada a des effets à l'échelle du système quand ses recommandations et stratégies de sécurité des médicaments sont intégrées à ces normes. En 2016, l'ISMP a confirmé que 72 recommandations issues d'analyses d'incidents ont continué d'être incluses dans les normes d'agrément et les pratiques organisationnelles requises. Par exemple, le Guide des pratiques organisationnelles requises d'Agrément Canada pour 2014 comprend deux sujets liés aux travaux de l'ISMP du Canada sur les opioïdes. Voici d'autres exemples d'améliorations du système de soins de santé provenant du SCDPIM :

• Nouveaux « Community Pharmacy Assessment Criteria » de l'Ordre des pharmaciens de l'Ontario, qui aident à s'assurer que les pharmacies ont des processus opérationnels en place pour assurer la sécurité, et qui comprennent deux critères qui dirigent l'utilisateur vers les bulletins sur l'innocuité du SCDPIM (2018);
• Guide des bonnes pratiques d'étiquetage et d'emballage pour les médicaments d'ordonnance, les médicaments sans ordonnance et les produits de santé naturels, qui fournit à l'industrie une direction sur la façon de se conformer aux nouvelles exigences énoncées dans le Règlement sur l'étiquetage en langage clair et qui ont contribué aux changements dans l'emballage et l'étiquetage (2017);
• Liste des abréviations acceptables pour les étiquettes des produits de santé sur ordonnance au Canada, ce qui permet une uniformité dans l'utilisation d'abréviations choisies sur les étiquettes des produits de santé d'ordonnance au Canada (2017).
• Formulaires de commande pour les médecins intégrant les recommandations d'un Bulletin de sécurité du SCDPIM qui indique aux prescripteurs les abréviations à utiliser ou non dans la rédaction des ordonnances (2017).
• Le Cadre canadien d'analyse des incidents (CCIA), coécrit par l'ISMP en 2012, est une ressource visant à appuyer l'apprentissage individuel et organisationnel, ainsi que l'amélioration de la qualité, en réponse aux incidents liés à la sécurité des patients. Bien que l'élaboration du CCIA était hors de la portée de cette évaluation, elle a été prise en considération étant donné que la mise en œuvre du Cadre est en cours. Une évaluation entreprise par l'Institut canadien pour la sécurité des patients en 2017 a souligné les effets du CCIA^{Note de bas de page 26}. Elle a trouvé que, parmi les organisations qui avaient eu recours au CCIA, une grande proportion a apporté des changements aux pratiques, aux politiques ou aux procédures, et la plupart ont indiqué que cela avait eu une incidence importante ou modérée sur la sécurité des patients. Les utilisateurs du CCIA ont signalé des changements dans divers secteurs comme les enquêtes sur les incidents des patients, l'élaboration de mesures d'intervention en cas d'incidents, la déclaration des incidents liés à la sécurité des patients, la communication avec les patients au sujet des incidents liés à la sécurité et la participation des patients aux rapports et aux enquêtes.

« Choisir avec soin Canada » est un autre projet qui a démontré des résultats à long terme. Depuis octobre 2017, le projet a signalé 61 cas de réduction du nombre de tests et de traitements inutiles découlant des ressources produites par le projet^{Note de bas de page 27}. Par exemple : 

• En utilisant l'approche de la trousse d'outils « Donner du lest au test », l'Hôpital général de North York en Ontario a réussi à réduire de 23 % le nombre de tests de laboratoire en deux ans.
• En utilisant l'approche de la boîte à outils « Less is More with T3 and T4 », le Women's College Hospital a réduit de 54 % les tests hormonaux thyroïdiens gratuits.
• La Cumming School of Medicine a signalé que pour une intervention, « une réduction de 4 % des ordonnances de tests a été observée après l'intervention, ce qui équivaut à des économies annuelles de 4600 $, avec des économies provinciales prévues de 40 000 $ pour tous les services d'urgence en Alberta ». [Traduction]
• Le Centre universitaire de santé McGill a indiqué que pour une intervention, « le coût moyen par patient admis est passé de 117 $ à 66 $, ce qui représente une économie estimée à 50 657 $ par rapport aux 985 admissions. Après ajustement pour l'exercice financier et la présence de notre intervention, il y a eu une réduction significative du nombre total de tests par patient, d'hémogrammes complets et d'ionogrammes effectués. La durée du séjour a diminué pendant l'intervention, passant de sept à cinq jours. » [Traduction]

Le projet « Aller de l'avant » a mené un sondage de suivi en 2017 et a révélé que, dans neuf des 12 juridictions qui ont répondu au sondage, il existe maintenant un cadre stratégique provincial pour les soins palliatifs, appuyé par des stratégies de formation et de perfectionnement des compétences pour les fournisseurs de soins de santé (en C.-B., en Alb., en Sask., au Man., en Ont., en N.-É., à l'Î-P-É, aux T. N.-O. et au Yn)^{Note de bas de page 28}.

Les deux projets de l'IPRMF examinés dans le cadre de l'évaluation ont mené à l'embauche de médecins supplémentaires ayant de l'expérience en milieu rural ou éloigné. Le programme de résidence en médecine familiale de l'Université Memorial a produit seize diplômés en médecine familiale ayant reçu une formation en milieu rural ou éloigné pendant la durée du projet. L'évaluation des projets a révélé que 54 % des diplômés se sont orientés vers la pratique rurale, cinq d'entre eux sont retournés exercer dans la collectivité où ils ont été formés ou dans les collectivités voisines, et deux ont signé des contrats à long terme. Toutefois, il a également été noté que les deux sites pilotes ne représentaient qu'une faible proportion de la population de la province et qu'il n'y avait pas d'impact observable sur le recrutement des médecins dans les régions rurales et éloignées de Terre-Neuve^{Note de bas de page 29}. Le projet de résidences en médecine familiale du Nunavut a produit 28 résidents supplémentaires ayant une expérience en milieu rural ou éloigné. Cependant, huit stagiaires étaient destinées à s'engager pour un service de deux ans^{Note de bas de page 30}, et seuls deux diplômés semblent avoir signé des contrats (un pour un an et un autre pour trois ans)^{Note de bas de page 31}.

L'IPRMF était le seul secteur de programme à avoir fait l'objet d'un examen interne par le programme. Cet examen de 2015 a permis de constater que l'IPRMF a réussi à augmenter le nombre de places en résidence et à répondre aux besoins des juridictions, estimant que 144 des 145 places en résidence ciblées avaient été créées, améliorant ainsi l'accès aux soins de santé, surtout dans les régions mal desservies. Toutefois, l'examen a noté que, même si les résultats étaient positifs et généralement conformes aux accords de contribution, il était difficile de déterminer l'incidence du financement fédéral sur l'atteinte de ces résultats, car certains des projets de l'IPRMF faisaient partie d'initiatives plus vastes des PT visant le recrutement et le maintien en poste des médecins en région rurale ou éloignée. Dans certains cas, les PT ont aussi financé les résidents dans le cadre du projet et ils ont fait rapport sur toutes les activités, plutôt que seulement sur celles qui étaient financées par le fédéral.

4.3 Efficacité : Quels éléments et facteurs ont contribué à la réussite du projet ou l'ont entravée?

L'évaluation a identifié plusieurs secteurs qui ont favorisé ou entravé le succès des projets, notamment la collaboration, la direction de projets et la durée des accords de contribution. Dans de nombreux cas, le même facteur était considéré comme un obstacle ou un facteur contributif, selon la situation ou le point de vue.

Un certain nombre de thèmes sont ressortis pour les facteurs qui ont favorisé ou entravé la réussite des projets. L'évaluation s'est concentrée sur les facteurs dont tous les projets pourraient en tirer des leçons, plutôt que sur ceux qui ne seraient pertinents que pour des projets très similaires. Les principaux thèmes sont décrits ci-dessous.

Collaboration

L'importance de la collaboration avec les organisations partenaires pertinentes tout au long de la planification et de la mise en œuvre des projets a été le point le plus souvent mentionné dans les rapports définitifs des projets, les évaluations, les rapports d'étape de projets et par les répondants clés externes, ainsi que par une majorité de répondants clés internes. Dans certains projets, il a été dit que les activités de collaboration ont ralenti ou entravé les progrès, mais en fin de compte, la collaboration a été considérée comme l'élément le plus crucial pour la réussite du projet. Les questions liées à la collaboration comprenaient l'importance de faire participer un large éventail de perspectives et de disciplines,    l'établissement des relations solides avec les intervenants pertinents, notamment par des interactions en personne, et des communications transparentes.

Direction de projets

Le thème de la direction de projets était le facteur cité par le plus grand nombre de répondants clés internes, et par un grand nombre de répondants clés externes, comme contribuant au succès ou l'entravant, selon l'efficacité de la direction. Les questions liées à la direction comprenaient l'importance pour l'organisation qui dirige le projet d'avoir un chef ou une équipe de projet dédié, des structures de gouvernance et une capacité adéquate en termes de temps et de connaissances ou d'expérience.

Durée et flexibilité des accords de contribution

Les répondants clés internes et externes s'entendaient généralement pour dire que les accords de contribution à long terme favorisaient la réussite des projets, tandis que les accords de contribution à court terme constituaient un obstacle au succès. Presque tous les répondants clés internes et externes qui ont commenté sur la durée des accords de contribution ont indiqué qu'une entente de cinq ans serait idéale. De plus, quelques répondants clés ont fait remarquer qu'une approche en plusieurs étapes pour les accords de contribution des projets qui connaissent du succès mènerait à de meilleurs résultats. Un rapport de projet et quelques répondants clés internes ont aussi noté le potentiel d'innovation accru avec les accords de contribution à long terme. En plus de la durée des accords de contribution, plusieurs répondants clés externes et quelques rapports d'étape de projets ont indiqué qu'il serait préférable d'avoir une plus grande flexibilité dans les accords de contribution, par exemple, pour donner aux bénéficiaires plus de latitude quant au calendrier des dépenses.   

Planification fondée sur des données probantes

Un certain nombre de rapports de projet et de nombreux répondants clés externes ont discuté de questions liées à la disponibilité des données probantes pour la planification. Ils ont cité le manque de données pertinentes comme un obstacle pour certains projets. Toutefois, plusieurs projets ont surmonté cet obstacle en menant des recherches et des analyses de l'environnement pour combler les lacunes dans les connaissances et améliorer la planification des projets à mesure qu'ils progressaient. Un plan de projet clair avec des objectifs et résultats définis était considéré comme important pour la réussite du projet, en particulier par les répondants clés internes. Enfin, quelques répondants clés externes ont discuté de l'importance d'utiliser les leçons apprises ou les résultats des évaluations pour éclairer la planification future.

Contribution du PCPSS 

Selon quelques répondants clés externes et internes, l'engagement du personnel du PCPSS à harmoniser les projets aux priorités et aux besoins du programme ou de Santé Canada a été un facteur de réussite pour certains projets, car il a contribué à assurer leur pertinence et leur utilité. De plus, plusieurs répondants clés externes, de nombreux rapports d'étape de projets et un rapport définitif de projet ont souligné que la participation et le soutien du PCPSS étaient utiles pour les projets. Des exemples comprennent encourageant l'adhésion des intervenants et fournissant des conseils et des avis sur le projet. Toutefois, un certain nombre de rapports d'étape de projets indiquaient que Santé Canada pourrait diffuser plus d'information, tel qu'en ce qui concerne d'autres activités du projet du PCPSS et les leçons apprises.

4.4 Efficacité : Quels éléments ou facteurs ont contribué à la réussite du programme ou l'ont entravée?

La recentralisation du PCPSS et le soutien du Bureau des subventions et des contributions ont été ciblés comme les principaux facteurs contribuant au succès du programme. Le rôle du programme à l'égard du transfert des connaissances et de l'orientation stratégique, y compris l'utilisation des rapports sur le rendement et les progrès des projets, ainsi que le soutien du programme aux projets novateurs, ont été relevés comme des points à améliorer.

Quelques thèmes clés sont ressortis comme facteurs qui ont affecté la réussite du programme. Ils sont décrits ci-après.

Structure et soutien du programme

Quelques répondants clés internes ont parlé de la structure du PCPSS, indiquant que sa recentralisation en 2016 était une mesure positive pour le programme. Ces répondants clés considéraient la recentralisation comme un facteur clé pour améliorer l'uniformité de l'exécution des programmes et consolider la gestion des projets et des programmes. Dans le cadre de la recentralisation, le PCPSS a remanié son plan et son orientation stratégiques et a apporté des changements aux processus opérationnels afin d'assurer l'intégrité et la cohérence de la gestion. Ce remaniement comprenait la mise à jour des processus de gouvernance, l'identification de nouvelles priorités stratégiques qui sont conformes aux priorités ministérielles et l'approbation de nouvelles modalités. Les responsables du programme ont conçu une demande de propositions à des fins d'harmonisation avec les nouvelles priorités et pour étendre la portée du programme aux bénéficiaires partout au pays. Pour donner suite à la demande de propositions, de nouveaux processus et outils opérationnels ont été élaborés et mis en œuvre. Les représentants du programme ont indiqué que le programme mettait l'accent sur la mesure du rendement et fournissait un soutien aux bénéficiaires pour les aider à s'assurer que les responsabilités étaient respectées et que les livrables étaient atteints. De plus, ils ont indiqué qu'il y aura un exercice sur les leçons apprises après l'achèvement du processus de demande de propositions, afin de permettre d'examiner et d'améliorer les pratiques de gestion du programme.

Le Bureau des subventions et des contributions est un groupe de Santé Canada chargé d'améliorer la mesure du rendement et l'application des connaissances dans un certain nombre de programmes de subventions et de contributions. De nombreux répondants clés internes ont cité le Bureau comme un important soutien à la réussite du programme, parce qu'il est en mesure de fournir de l'aide et des conseils au programme et aux bénéficiaires de financement sur des enjeux tels que la mesure du rendement et l'évaluation. De nombreux répondants clés externes et rapports d'étape de projets ont aussi mentionné la valeur des ateliers offerts par le Bureau des subventions et des contributions (dont il est question plus loin).

Rôle du programme dans l'application des connaissances et l'orientation stratégique

Le rôle du programme dans l'application des connaissances et l'orientation stratégique est apparu comme un secteur à améliorer. La plupart des répondants clés internes ont souligné la sous-utilisation de l'information sur le rendement des projets, certains indiquant qu'il faudrait l'utiliser davantage afin d'améliorer l'application des connaissances et d'informer l'élaboration des politiques et la détermination des priorités stratégiques et des investissements.

Les rapports d'étape sont obligatoires pour tous les projets financés par le PCPSS, bien que des exigences précises soient fondées sur le risque, qui, selon les représentants du programme, est évalué chaque année, conformément à la stratégie de tolérance au risque de l'organisation. Par exemple, les projets à risque élevé peuvent exiger des rapports trimestriels, tandis que les projets à faible risque peuvent n'exiger que des rapports annuels, et les rapports d'évaluation définitifs ne sont exigés que pour certains projets. Toutefois, l'évaluation a relevé des problèmes liés à l'information contenue dans certains des rapports d'étape, y compris des rapports incomplets et un manque de renseignements vérifiables sur les résultats. De plus, le programme ne semblait pas faire un suivi systématique, par exemple, dans une base de données commune, des exigences en matière de la production de rapports pour divers projets..

Il n'y avait aussi que très peu de données probantes indiquant que le programme rassemblait les conclusions tirées des évaluations de projets et des rapports d'étape de projets. De tels renseignements pourraient servir à rendre compte des résultats de la planification stratégique ou à déterminer les thèmes des leçons apprises et des pratiques exemplaires, tant au niveau des projets qu'en ce qui concerne le soutien de Santé Canada. L'IPRMF, qui comprenait neuf projets pour la période de 2009-2010 à 2016-2017, a été le seul cas où le programme a rassemblé les rapports de projets. Pour cet ensemble de projets, le programme a utilisé des rapports d'étape, des évaluations de projets et d'autres documents pertinents afin d'évaluer ce  qui suit :

• les activités menées dans le cadre d'accords de contribution;
• l'atteinte des résultats;
• les plans de viabilité suivant le financement par Santé Canada;
• les pratiques exemplaires;
• les leçons apprises.

Des versions provisoires du rapport et un sommaire connexe de deux pages ont été fournis aux fins de cette évaluation, mais il était impossible de confirmer que ces documents étaient complets ou comment le programme les avait utilisés. 

Plusieurs répondants clés externes ont commenté les modèles de rapports de projets, indiquant qu'ils étaient généralement à l'aise avec eux, même s'ils prenaient beaucoup de temps. Certains rapports d'étape de projets ont aussi suggéré des modifications au modèle, comme la rationalisation des questions et l'inclusion de certaines questions seulement dans les rapports d'étape annuels ou définitifs. Une personne interviewée a demandé ce que Santé Canada avait fait de l'information contenue dans les rapports, surtout compte tenu du temps investi par les bénéficiaires pour la remplir, et un rapport définitif de projets a indiqué que les modèles étaient difficiles à utiliser et que, même si Santé Canada avait demandé de la rétroaction, il ne semblait pas s'en servir.

L'un des secteurs où le programme semble avoir assumé un rôle d'application des connaissances est l'offre de séances ou d'ateliers aux bénéficiaires de financement. Selon les représentants du programme, les séances ont surtout été offertes au personnel de Santé Canada et aux bénéficiaires de financement travaillant dans le cadre de l'IPSFE, bien que, d'après les commentaires des répondants clés externes, l'auditoire comprenait également des bénéficiaires de projets financés dans le cadre de la SRHS et du FISSS. Les représentants du programme ont indiqué que le Bureau des subventions et des contributions a organisé la plupart des séances à la demande du programme. Les exemples récents comprennent une séance intitulée « Mise en pratique des connaissances, des programmes et des politiques dans le contexte des subventions et des contributions » tenue le 5 octobre 2017 et une activité d'apprentissage sur la mesure du rendement qui a eu lieu le 13 février 2018. Plusieurs répondants clés externes et de rapports d'étape de projets ont mentionné que ces séances étaient positives et encourageantes. Les bénéficiaires considéraient les séances, ainsi que les réunions annuelles, comme de bonnes occasions d'application des connaissances et d'apprentissage sur des sujets précis, tels que la mesure et l'évaluation du rendement et l'analyse comparative entre les sexes. Les bénéficiaires ont aussi vu ces événements comme des opportunités pour communiquer avec les autres bénéficiaires de financement.

Outre la tenue de telles séances, il y avait peu d'indications que le programme jouait un rôle proactif dans l'application des connaissances. Plusieurs répondants clés externes et rapports d'étape de projets, ainsi qu'un rapport définitif de projet, ont souligné que le programme pourrait améliorer son orientation stratégique et sa contribution à l'application des connaissances. Les suggestions d'amélioration ont compris le financement de projets qui ont été explicitement conçus pour être reproduits dans l'ensemble du pays, et le fait d'être plus stratégique et opportun dans l'échange de l'information sur d'autres projets afin de prévenir les chevauchements et encourager l'apprentissage. Plusieurs répondants clés internes partageaient ces points de vue, indiquant que le programme pourrait être moins opérationnel et plus stratégique s'il améliorait l'application et l'échange des connaissances, offrait plus de direction et diffusait des renseignements tels que les résultats des projets. Quelques répondants clés internes ont aussi suggéré que le programme devrait élaborer une stratégie d'application des connaissances.

Cet accent sur l'application des connaissances et l'utilisation de l'information sur le rendement est conforme à la théorie du changement sur laquelle repose la conception du programme. Une caractéristique clé de cette théorie est la rétroaction et les boucles d'apprentissage entre les intrants, les activités, les extrants et les résultats. Les boucles illustrent des occasions où les renseignements sur le rendement peuvent être utilisés pour augmenter la probabilité que les résultats soient atteints^{Note de bas de page 32}.

Encourager l'innovation

Quelques répondants clés internes ont suggéré que le programme pourrait en faire davantage pour encourager l'innovation, citant ce qu'ils perçoivent comme une approche de sélection de projets opposé au risque, ce qui étouffe l'innovation. Ils ont suggéré que le programme devrait aider à mettre à l'essai et à constituer la base de données probantes en accordant du financement aux projets plus novateurs.

5.0 Conclusions et éléments à prendre en considération

5.1 Conclusions

Les priorités du PCPSS ont évolué avec le temps, et des besoins continus se présentent dans le système de soins de santé concernant les secteurs prioritaires actuels, notamment dans les soins palliatifs, les soins à domicile, la santé mentale et l'innovation dans le système de soins de santé.  

De façon générale, les projets étaient efficaces pour produire et distribuer des produits de connaissances et des progrès ont été constatés dans les trois secteurs de résultats du programme. Bien que les mesures directes de la sensibilisation étaient limitées, il aviat d'autres données probantes liés à la sensibilisation, notamment la participation de certains publics cibles à la préparation de produits de connaissances et l'utilisation subséquente de certains de ces produits. Leurs utilisations étaient variées, de la préparation de cadres et de documents d'orientation à la participation à des programmes de formation. 

Certains projets ont permis d'apporter des améliorations dans le système de soins de santé, qu'il s'agisse de l'adoption de pratiques, de politiques et de normes professionnelles ou de la hausse du nombre de médecins possédant de l'expérience en milieu rural ou éloigné. Toutefois, il y a peu de données probantes sur les répercussions de ces changements. Il importe de noter que plusieurs projets qui ont été capable de démontrer leurs progrès vers l'atteinte de résultats à plus long terme étaient des prolongements de projets ayant déjà été financés, certains comportant plusieurs étapes antérieures.

5.2 Éléments à prendre en considération

Puisque le remaniement du PCPSS est toujours en cours, l'évaluation n'a pas servi à formuler des recommandations; elle a plutôt servi à relever des éléments à prendre en considération sur lesquels on pourra continuer à s'appuyer ou dont on pourra tenir compte à mesure qu'on va de l'avant avec le programme.

• Au niveau du projet, une collaboration entre les organisations partenaires compétentes et une direction de projet solide semblaient être les éléments les plus importants pour la réussite des projets, tout comme les accords de contribution à long terme, la planification fondée sur des données probantes et le soutien de Santé Canada (c.-à-d., encourager la participation des intervenants et fournir de l'orientation et des conseils sur les projets).
• Au niveau du programme, le rôle de Santé Canada dans l'application des connaissances et l'orientation stratégique, qui comprend une plus grande utilisation des rapports sur le rendement et l'avancement des projets et le suivi des projets terminés pour mieux évaluer l'atteinte des résultats à long terme, ainsi que le soutien offert par le programme aux projets innovateurs, ont été désignés comme des éléments à améliorer.

Référence