ARCHIVÉE - Résumé

 

Renseignements généraux

Le budget fédéral de 2005 annonçait le versement de 300 millions de dollars sur cinq ans et de 74,4 millions de dollars par année par la suite à l’Agence de la santé publique du Canada (ASPC) à l’égard de la Stratégie intégrée en matière de modes de vie sains et de maladies chroniques (SIMVSMC ou « la Stratégie »). Ce financement a permis au Canada d’adopter une approche intégrée pour lutter contre les principales maladies chroniques en s’attaquant aux facteurs de risque, et en exécutant des travaux complémentaires axés sur des maladies particulières.

Cette initiative globale comporte six volets fonctionnels, dont le volet fonctionnel de la surveillance. La présente évaluation formative porte sur le volet fonctionnel de la surveillance de la SIMVSMC de l’ASPC.

Le volet fonctionnel de la surveillance se compose de trois champs d’action qui guident les activités ainsi que les objectifs généraux : 1-) améliorer l’analyse, l’interprétation et l’utilisation des sources de données actuelles pour la surveillance; 2-) élargir la portée des sources de données pour la surveillance; et 3-) coordonner, planifier et évaluer les activités de surveillance. Le budget du volet fonctionnel de la surveillance est de 36,5 millions de dollars sur cinq ans, et de 10,5 millions de dollars par la suite.

Contexte

La présente évaluation a pour objet d’appuyer l’exigence du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) de procéder à l’évaluation des volets fonctionnels de la SIMVSMC. L’objet global de cette évaluation formative est de guider et d’informer les intervenants à savoir « jusqu’à quel point et à quel rythme » la mise en oeuvre des programmes du volet fonctionnel de la surveillance a avancé, et quels premiers résultats ont été atteints relativement aux champs d’action.

Étant donné que la mise en oeuvre de la SIMVSMC est axée depuis son lancement en 2007 sur l’amélioration de la mobilisation externe et de la matrice fonctionnelle de la SIMVSMC, la présente évaluation a examiné les concepts de mobilisation et d’intégration. Les questions suivantes concernant la pertinence, la conception, la prestation et la réussite des programmes ont été abordées :

  • Le volet est-il aussi compatible avec les priorités du ministère et de l'ensemble du gouvernement et répond-il à un besoin réel de manière réaliste?
  • Les moyens les plus appropriés et les plus efficaces sont-ils utilisés pour atteindre les objectifs poursuivis?
  • Le volet fonctionnel de la surveillance produit-il des extrants, compte tenu des ressources qui y sont affectées, et sans produire des résultats non souhaités?

Méthodologie

Puisqu’il s’agissait d’étudier la mise en oeuvre, y compris les principaux concepts de programme relatifs à la mobilisation et à l’intégration, on a déterminé que le recours à une approche qualitative faisant appel à des informateurs clés, contrebalancée par une études des documents pertinents, permettrait le mieux d’éclairer la présente évaluation formative. Trente-cinq (35) informateurs clés internes et externes ont été interrogés. Les critères de sélection des personnes interrogées visaient notamment à s’assurer que celles-ci connaissaient suffisamment la SIMVSMC, et à établir un équilibre entre les domaines de maladies chroniques. Des documents clés, qui ont été cernés par le biais de la validation de documents internes/externes clés auprès des intervenants, ont également été examinés dans le cadre de l’évaluation.

Étant donné qu’il s’agit d’une évaluation qualitative du rendement des programmes, les préoccupations relatives à la validité et à la fiabilité des données ont été neutralisées au moins partiellement au moyen des mesures suivantes :

  • tenue d’entrevues auprès de répondants internes et externes;
  • triangulation des données par le biais d’examens de documents, et d’entrevues auprès d’informateurs clés;
  • élaboration de pratiques d’entrevue et de transcription uniformes;
  • utilisation d’un progiciel d’analyse qualitative afin d’aider à établir une piste de vérification de codage pour appuyer la reproduction éventuelle des principaux résultats.

Principaux résultats

En ce qui concerne le volet fonctionnel de la surveillance, les questions d’évaluation portent sur les points suivants :

  • pertinence du programme par comparaison aux besoins, ainsi qu’aux priorités gouvernementales;
  • efficacité du programme comme moyen d’atteindre ses objectifs;
  • efficacité du programme à produire des extrants, sans produire des résultats non souhaités, compte tenu des ressources qui y sont affectées.

Pertinence

On a constaté que le volet fonctionnel de la surveillance est très conforme aux exigences fédérales ainsi qu’aux priorités, directives et plans fédéraux, provinciaux et territoriaux (FPT) conjoints visant à accroître la capacité de surveillance des maladies chroniques. Les principaux résultats de la présente évaluation indiquent que l’ASPC fait preuve de sensibilité et de respect à l’égard des rôles d’autres organismes de santé publique dans un contexte stratégique national en évolution, dans lequel les changements de gouvernement et la création d’un organisme non gouvernemental qui s’intéresse à une maladie particulière ont présenté des défis pour la mise en oeuvre de la vision initiale de la SIMVSMC.

La Division de la surveillance et ses partenaires ont fait face au défi lié à l’augmentation des attentes simultanées à l’égard de l’accroissement de la portée et de la profondeur des données de surveillance. L’établissement d’initiatives axées sur des maladies particulières dans le contexte élargi des modes de vie sains et de la prévention des maladies chroniques exige un leadership continu de la part de l’ASPC en vue du suivi d’un nombre croissant de partenariats, et d’exigences en matière de données de surveillance.

Conception et prestation

La mise en oeuvre du volet fonctionnel de la surveillance a été retardée par rapport à l’échéancier initial établi par le Conseil du Trésor, mais ce retard était en grande partie attribuable à des contraintes internes et externes indépendantes de la volonté des gestionnaires de programmes. Le fait que le volet fonctionnel de la surveillance soit susceptible de permettre d’accélérer la mise en oeuvre des programmes au cours des quelques exercices financiers à venir de manière à respecter l’échéancier constituera une réalisation de programme importante.

L’approche systématique de documentation et de suivi utilisée pour appuyer la gestion du processus de subventions et de contributions pourrait fournir un modèle pour la détermination et la coordination de la gestion des autres extrants du volet fonctionnel de la surveillance. Mis à part le programme de subventions et de contributions, la plupart des extrants ne sont pas mesurés systématiquement (par ex., seulement la moitié des personnes qui répondent aux demandes d’information contribuent au suivi de ces demandes). L’élaboration et la mise en oeuvre continues du cadre d’indicateurs de surveillance à titre d’outil de planification de la surveillance et de présentation de rapports de surveillance devraient être considérées comme une ressource importante dans la planification d’un système de mesure du rendement.

Les progrès réalisés vers la concrétisation des extrants décrits dans le modèle logique de surveillance ont été signalés au moyen d’un certain nombre de mécanismes. Plus précisément, plusieurs rapports épidémiologiques exhaustifs portant sur des maladies chroniques particulières ont été produits dans le cadre de la Stratégie. De même, des activités visant à améliorer les capacités d’analyse des données actuelles sur les maladies chroniques sont présentement en cours, mais des retards dans la mise en oeuvre ont eu une incidence sur la concrétisation de certains extrants.

Parmi les leçons retenues au cours de la mise en oeuvre du volet fonctionnel de la surveillance, l’une est qu’il serait clairement avantageux pour la Stratégie d’améliorer la communication avec les intervenants afin d’aider à gérer leurs attentes à l’égard des données de surveillance, et de cerner et communiquer les nombreuses mesures requises pour coordonner et offrir une capacité de surveillance accrue.

Réussite et progrès

L’un des défis que présente la mesure des progrès du volet fonctionnel de la surveillance est lié à la question de la définition conceptuelle et de la mesure de la mobilisation. Compte tenu de la nécessité d’élaborer et de mettre à l’essai une mesure qualitative de la mobilisation afin d’appuyer l’évaluation du seul résultat immédiat, l’évaluation de la mobilisation effectuée dans le cadre de la présente évaluation est préliminaire et a pour objet d’appuyer les efforts futurs qui seront déployés pour évaluer ce concept. Les résultats de cette évaluation indiquent que la mobilisation à l’égard du volet fonctionnel de la surveillance avec les intervenants a permis d’accroître la confiance, ainsi que l’échange d’information.

Bien que cela dépasse la portée de la présente évaluation, le fait que l’opérationnalisation de tous les volets fonctionnels de la SIMVSMC est fondée sur la mise en application des concepts de gestion matricielle (c.-à-d., la matrice fonctionnelle de la SIMVSMC) exige que toute évaluation future de la SIMVSMC indique les réussites décisives biens connues, les facteurs limitatifs, et toutes les mesures normalisées des fonctions de gestion matricielle. Les répondants ont signalé des défis liés à la mise en oeuvre de cette approche matricielle, précisant que le travail avait été exécuté de façon « cloisonnée », « compartimentée », ou que le lien entre l’approche matricielle de la SIMVSMC et la hiérarchie organisationnelle était ténu.

Parmi les résultats à court terme décrits dans le modèle logique, les répondants ont noté des progrès dans les domaines de la qualité des données et de la communication des données de surveillance des maladies chroniques, et des tendances relatives aux maladies chroniques, aux facteurs de risque et aux issues des maladies. Les répondants internes ont exprimé des perceptions plus positives que les répondants externes. Cette constatation fait ressortir encore plus la nécessité de communiquer à un plus vaste auditoire d’intervenants les progrès réalisés en matière de capacité de surveillance des maladies chroniques.

En dernier lieu, on peut considérer qu’il est trop tôt pour évaluer les résultats à long terme, notamment l’incidence de la surveillance sur la prise de décisions, compte tenu du peu de temps dont on disposait pour mettre en oeuvre les travaux du volet fonctionnel de la surveillance. Il faudrait en outre que les travaux futurs soient éclairés par les pratiques exemplaires relevées par le biais du volet fonctionnel du développement, de l’échange et de la diffusion des connaissances (DEDC) de la SIMVSMC.

Recommandations

Les recommandations du volet fonctionnel de la surveillance visent à tirer profit de la réussite des initiatives de surveillance existantes et de la collaboration permanente avec les partenaires provinciaux et territoriaux dans trois domaines : programmes, évaluation, et ensemble de la SIMVSMC.

Programmes

1. Communication

  • Accroître la sensibilisation des intervenants à la surveillance des maladies chroniques, ainsi qu’au rôle et aux priorités de l’ASPC en matière de surveillance. Profiter du lancement de produits et de services de surveillance comme moyen de communication.
  • Travailler avec le personnel interne et les intervenants concernés afin de clarifier et de communiquer les rôles et les responsabilités dans le domaine de la surveillance du cancer, plus particulièrement entre l’ASPC et le Partenariat canadien contre le cancer (PCC).
  • Améliorer la communication avec les intervenants externes (y compris les gouvernements provinciaux et territoriaux, les organisations non gouvernementales (ONG), les partenaires éventuels et les bénéficiaires de fonds) au sujet des progrès réalisés dans la concrétisation des extrants liés au volet fonctionnel de la surveillance. Cela permettra de pallier le manque de sensibilisation actuel aux priorités et aux progrès du volet.

2. Conformité à l’initiative d’harmonisation des subventions et contributions

  • Bien que la gestion des subventions et contributions semble être conforme aux procédures opératoires normalisées et puisse être excellente dans certains domaines (notamment en ce qui a trait à l’utilisation d’une matrice de commentaires des évaluateurs, et d’une page Web unique pour fournir de l’information aux demandeurs et diffuser des rapports), il faudra veiller à ce que la gestion des subventions et contributions soit conforme aux constatations et recommandations à venir qui découleront de l’initiative d’harmonisation des subventions et contributions.

3. Développement et échange des connaissances (DEC)

  • Définir le développement et l’échange des connaissances dans le cadre de la surveillance. Établir des liens entre les volets fonctionnels et avec le soutien et les ressources organisationnels à l’égard des activités de DEC à l’échelle de l’ASPC.

Évaluation

4. Élaboration d’un système de surveillance du rendement

  • Établir un système de surveillance du rendement, en fonction du cadre d’évaluation des systèmes de surveillance utilisé par l’ASPC et du cadre de mesure du rendement de la SIMVSMC relatif au DEC, afin d’établir un système de surveillance du rendement pour assurer le suivi des activités, des extrants, et des résultats immédiats du volet fonctionnel de la surveillance.

5. Élaboration d’outils ayant trait aux résultats

  • Afin de recueillir des données plus loin dans la chaîne de résultats du modèle logique, il faut élaborer des approches et des instruments pour mesurer les résultats à court terme du volet fonctionnel de la surveillance de la SIMVSMC en vue de faciliter la prise de décisions et d’appuyer les exigences de mesure liées aux futurs modèles d’évaluation.

6. Groupe de travail d’évaluation

  • Créer un groupe de travail d’évaluation, composé de représentants du personnel responsable des évaluations et des programmes, afin d’éclairer l’élaboration du système de surveillance du rendement et des outils d’évaluation, et d’assurer l’utilité du système. On assurera la représentation des bureaux régionaux de l’ASPC au sein du comité s’il y a lieu.

SIMVSMC globale

7. Élaboration d’outils de mobilisation

  • Compte tenu de l’importance critique du concept de mobilisation pour la Stratégie globale (en tant que résultat immédiat commun de tous les volets fonctionnels de la SIMVSMC), il sera essentiel, aux fins de la surveillance et de l’évaluation de la Stratégie, d’élaborer une approche et des outils pour évaluer systématiquement le résultat immédiat de la mobilisation dans l’ensemble des volets fonctionnels.

8. Mesure du rendement de la Stratégie

  • L’établissement d’un cadre de mesure du rendement et d’un système de surveillance du rendement cohérents visant l’ensemble des volets fonctionnels de la SIMVSMC exige un soutien au niveau de l’organisation. Cela permettra de surveiller les contributions des volets fonctionnels et de la Stratégie dans l’ensemble.

9. Fonctionnement matriciel

  • Cerner, évaluer et communiquer les mécanismes de coordination interne et externe de la SIMVSMC qui reflètent les pratiques exemplaires de gestion matricielle, ainsi qu’une approche intégrée. Par exemple, le DEC est indispensable pour toutes les composantes, y compris le volet fonctionnel de la surveillance, et il y aurait lieu de renforcer les liens entre les composantes et les activités de DEC dans le cadre de la SIMVSMC.

Détails de la page

Date de modification :