ARCHIVÉE - Évaluation formative du programme des centres de collaboration nationale en santé publique (CCNSP)

 

Annexe A : Matrice de données

Matrice des données de l’évaluation formative
QUESTIONS D’ÉVALUATION INDICATEURS/MESURES MÉTHODES SOURCES DE DONNÉES
Question 1 – Conception et exécution : Dans quelle mesure la conception et l’exécution du Programme des CCNSP sont-elles appropriées?
Comment les mécanismes de conception et d’exécution du Programme des CCNSP (c.-à-d., la structure de gouvernance, les ressources, les processus et les mécanismes de soutien) contribuent-ils à l’atteinte des objectifs du Programme? 

Conception : Modèle de programme

Description du modèle du Programme des CCNSP ainsi que toutes les mises à jour, y compris les justifications relatives à l’élaboration et à la sélection du modèle et des priorités du Programme. 

Conception : Gouvernance et responsabilités

Description et perceptions des structures de gouvernance

Description et perceptions des responsabilités et des structures et processus de prises de décisions

Conception : Particularités des CCN

Description et perception de la conception du modèle de programme relativement aux CCN (différences régionales et thématiques)

Description de la manière dont les domaines d’intervention du Programme des CCN ont été déterminés.

Conception : Ressources

Spécification des ressources (en espèce et en nature)

Examen des documents

Entrevues ou groupe de discussion



Recherche documentaire

- Documents des CCNSP

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Représentants du site de commanditaires

- Détermination des meilleures pratiques et comparaison du modèle de programme avec celui d’autres organisations de structure, de mandat et de contenu similaires (centres d’excellence géographiquement dispersés; synthèse, application et échange de connaissances (SAEC); santé publique).

Quels sont les défis, les contraintes ou les obstacles systématiques relatifs à la mise en œuvre du Programme des CCNSP?

Conception : Mise en œuvre

Obstacles à la mise en œuvre du Programme par type

Nombre et type de contraintes opérationnelles

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées
- Représentants du site de commanditaires

Les différents CCN font-ils face à des défis différents? Obstacles propres à chaque CCN dans le cadre de la mise en œuvre du Programme

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Comment les centres s’attaquent-ils à ces défis? Types de solutions applicables aux défis ciblés mises en place à l’échelle : a) du Programme; b  des CCN.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Quels sont les éléments du Programme des CCNSP qui fonctionnent bien?

Exécution : Satisfaction

Satisfaction perçue

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées
- Représentants du site de commanditaires

Le Programme dispose-t-il de stratégies de mesure du rendement et de présentation de rapports adéquates?

Responsabilité

Éléments de preuve de l’existence de stratégies de mesure du rendement et de présentation de rapports : a) Secrétariats du Programme des CCN et de l’ASPC; b) Conseil consultatif; c) Comités consultatifs; d) CCN; e) Projet collaboratif entre les CCN.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Les CCN produisent-ils des rapports sur les résultats prévus?

Les exigences relatives à la production de rapports sur les résultats pour les CCN ont été déterminées. 

Éléments prouvant que les CCN présentent des rapports sur les résultats.

Examen des documents - Documents des CCNSP et des CCN
Dans quelle mesure les CCN respectent‑ils les exigences des accords de contribution? Éléments prouvant que les CCN respectent les exigences des accords de contribution. Examen des documents - Documents des CCNSP et des CCN
Les CCN recueillent-ils des données sur les résultats immédiats? 

Évaluation

Éléments prouvant que les CCN recueillent des données sur les résultats immédiats.

Examen des documents - Documents des CCNSP et des CCN
Des options ou solutions de rechange en vue d’améliorer la conception ou  l’exécution du Programme ont-elles été envisagées ou recommandées?

Amélioration continue

Éléments prouvant la mise en place de mécanismes d’amélioration continue à l’échelle du Programme.

Recommandations d’améliorations de la conception ou de l’exécution du Programme.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Question 2 – Réalisations et réussites : Quelle est la situation du Programme des CCNSP par rapport à l’atteinte des buts et des objectifs immédiats?
De quelle manière et dans quelle mesure les activités prévues dans le cadre du  Programme des CCNSP ont-elles été mises en œuvre?

Activités

Éléments prouvant que les activités prévues ont été mises en place, p. ex. mandats des CCNSP et de l’ASPC, création d’un modèle logique, formation d’un Conseil consultatif, prestation d’un soutien de secrétariat au Conseil, établissement des CCN, réalisation d’une évaluation des risqué liés aux CCN, complétion des formulaires d’approbation du financement, fourniture des plans et documents relatifs à l’établissement des priorités, nombre et types de réunions par année.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP
- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres du Conseil consultatif
Les activités prévues permettent-elles de produire a) les extrants escomptés à l’échelle de la direction et b) les extrants escomptés à l’échelle du Programme (CCN)?

Extrants

Nombre et types d’extrants à l’échelle de la direction; p. ex. :

  • Accords de contribution signés
  • Mandat et protocole du Conseil consultatif
  • Documents de soutien
  • Réunions avec les CCN
  • Documents relatifs à l’établissement des priorités
  • Outils promotionnels
  • Rapports de rétroaction
  • Examen financier

Nombre et types d’extrants à l’échelle des CCN; p. ex :

  • Rapports d’étape
  • Évaluation des besoins
  • Plans stratégiques
  • Plans d’évaluation

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Dans quelle mesure le Programme des CCNSP réussit‑il à atteindre ses résultats immédiats liés à l’augmentation des possibilités de collaboration?

Résultats immédiats : Collaboration

Éléments prouvant l’accroissement de la collaboration entre les CCN, p. ex : nombre, types et diversité des liens entre les CCN, établissement des CCN de collaboration, nombre de réunions des CCN de collaboration par année, organisation d’un atelier d’été.

Éléments prouvant l’accroissement de la collaboration avec le portefeuille de la Santé, p. ex : types et diversité des liens au sein du portefeuille de la Santé.

Les CCN ont élaboré un plan ou une stratégie pour accroître la collaboration avec les parties intéressées ou impliquées ciblées. Les activités à réaliser ont été déterminées.

Les CCN ont ciblé de principales parties intéressées ou impliquées avec lesquelles collaborer.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction des CCNSP et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées

Dans quelle mesure le Programme des CCNSP réussit‑il à atteindre ses résultats immédiats liés à l’application des connaissances?

Résultats immédiats : Application des connaissances

Nombre et types de produits et de ressources a) en cours d’élaboration; b) élaborés; et c) diffusés/fournis.

Nombre et types d’activités, de mécanismes ou de voies utilisés pour appliquer les connaissances.

Nombre et types d’activités d’échange des connaissances.

Nombre d’organisations participant à la conception collaborative de produits.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction et du personnel des CCN
- Membres des comités consultatifs
- Parties intéressées ou impliquées

Dans quelle mesure le Programme des CCNSP réussit‑il à atteindre ses résultats immédiats liés à la détermination des lacunes en matière de connaissances?

Résultats immédiats : Détermination des lacunes en matière de connaissances 

Nombre d’analyses réalisées pour cerner les lacunes en matière de connaissances

Description des lacunes non prévues en matière de connaissances.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction et du personnel des CCN
- Membres des comités consultatifs
- Parties intéressées ou impliquées

Comment ces lacunes en matière de connaissances sont-elles traitées?

Les enseignements tirés ont-ils été déterminés et appliqués dans le cadre des activités courantes?

Nombre et types d’initiatives et de plans relatifs au traitement des lacunes en matière de connaissances. 

Éléments prouvant que les enseignements tirés sont appliqués dans le cadre des activités courantes.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction et du personnel des CCN
- Membres des comités consultatifs
- Parties intéressées ou impliquées

Dans quelle mesure des partenariats et des liens importants ont-ils été établis?

Résultats immédiats : Réseautage

Nombre et type de partenariats de CCN avec des organisations externes. 

Les CCN ont élaboré des plans de communications pour promouvoir la reconnaissance du Centre au sein des partenaires clés, des parties intéressées et des bénéficiaires potentiels.

Les partenaires clés, les parties intéressées et les bénéficiaires potentiels connaissent le CCN en question.

Les partenaires clés, les parties intéressées et les bénéficiaires potentiels déterminent l’acceptabilité et la crédibilité des CCN.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées

Les meilleures pratiques ont-elles été précisées et partagées au sein des CCN?

Nombre et types de mécanismes élaborés pour partager l’information parmi les CCN.

Nombre et types d’efforts de collaboration, de partenariat et de coordination parmi les CCN.

Nombre et types d’activités de communications et de réseautage, p. ex. : ateliers d’été.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Sites Web des CCN

- Membres de la direction et du personnel des CCN
- Membres des comités consultatifs

Dans quelle mesure le Programme réussit-il à atteindre a) ses résultats intermédiaires et b) ses résultats à long terme?

Résultats intermédiaires et à long terme

Éléments prouvant l’accroissement de la disponibilité des connaissances pour la prise de décisions fondées sur des données probantes.

Exemples de décisions fondées sur des données probantes guidant les programmes, les politiques et les pratiques de santé publique.

Éléments prouvant l’existence de mécanismes et de processus permettant l’accès aux connaissances.

Nombre et types de demandes de renseignements.
Nombre et durée d’appels de fichiers effectués sur les sites Web.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées
- Bénéficiaires potentiels

Question 3 – Rapport coût-efficacité perçu : Dans quelle mesure la  quantité des ressources humaines et financières convient-elle à l’exécution efficace du Programme des CCNSP? 
Les ressources allouées (c.-à-d., humaines, financières, etc.) sont-elles suffisantes et disponibles pour réaliser les résultats immédiats escomptés du Programme des CCNSP étant donné la portée prévue?

Rapport coût-efficacité : Convenance des ressources 

Type et niveau de ressources apportées

Description et perception du caractère adéquat des types et des niveaux d’infrastructures créés (p. ex. : installations, systèmes, etc.)

Perception de la convenance des ressources

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Représentants du site de commanditaires

Comment l’efficience et l’efficacité du Programme des CCNSP pourraient-elles être améliorées?

Rapport coût-efficacité : Efficience et efficacité

Exemples de réussites, de meilleures pratiques et d’enseignements tirés en matière de rapport coût‑efficacité.

Perception des améliorations possibles en matière d’efficience et d’efficacité.

Exemples de contributions en espèce et en nature dont ont bénéficié les CCN. 

Examen des documents

Entrevues ou groupe de discussion


Recherche documentaire

- Documents des CCNSP et des CCN

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

- comparaison du  modèle de programme avec celui d’autres organisations de structure, de mandat et de contenu similaires (centres d’excellence géographiquement dispersés; synthèse, application et échange de connaissances (SAEC); santé publique).

Question 4 – Pertinence : Dans quelle mesure le Programme permet-il de répondre aux priorités du gouvernement fédéral et de l’ASPC?
Dans quelle mesure le Programme des CCNSP permet-il de répondre a) aux priorités du gouvernement du Canada; b) aux priorités de l’ASPC; et c) aux besoins des Canadiens?

Pertinence

Preuves ou perception que le Programme est harmonisé avec les priorités et le mandat actuels du GC.

Preuves ou perception que le Programme est harmonisé avec les résultats et les buts stratégiques de l’ASPC.

Preuves ou perception que le Programme est harmonisé avec l’architecture des activités de programme de l’ASPC.

Preuves ou perception que le Programme est harmonisé avec les indicateurs relatifs à la population et à la santé publique.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN
- Documents du gouvernement

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Représentants de l’ASPC

Le Programme des CCNSP respecte‑t‑il encore le modèle logique initial?  Éléments prouvant l’harmonisation du programme actuel avec la justification à l’origine de la création du Programme des CCNSP fournie dans le cadre de l’évaluation formative.

Examen des documents

Entrevues ou groupe de discussion

- Modèle logique

- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif

Le Programme des CCNSP répond-il aux objectifs de santé publique plus généraux? Exemples et perception que le Programme est harmonisé avec les objectifs de santé publique plus généraux. Entrevues ou groupe de discussion - Représentants de l’ASPC
- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
Le modèle du Programme est-il toujours pertinent? Perception que le modèle logique est pertinent

Entrevues ou groupe de discussion



Recherche documentaire

- Représentants de l’ASPC
- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs
- Parties intéressées ou impliquées

- comparaison du modèle de programme avec celui d’autres organisations de structure, de mandat et de contenu similaires (centres d’excellence géographiquement dispersés; synthèse, application et échange de connaissances (SAEC); santé publique).

Les priorités en santé publique sont-elles toujours les mêmes?

D’autres Centres de collaboration nationale (CCN) devraient-ils être créés?

Perception que le programme des CCNSP répond aux priorités de santé publique actuelles. 

Impression qu’il faudrait créer d’autres CCN.

Examen des documents

Entrevues ou groupe de discussion

- Documents des CCNSP et des CCN

- Représentants de l’ASPC
- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Membres des comités consultatifs

Quelles modifications permettraient d’améliorer la pertinence du Programme des CCNSP, le cas échéant? Éléments prouvant l’apport d’améliorations fondées sur les meilleures pratiques.

Entrevues ou groupe de discussion



Recherche documentaire

- Représentants de l’ASPC
- Secrétariat du Programme des CCNSP et personnel de l’ASPC
- Membres de la direction et du personnel des CCN
- Membres du Conseil consultatif
- Répondants d’autres administrations

- comparaison du modèle de programme avec celui d’autres organisations de structure, de mandat et de contenu similaires (centres d’excellence géographiquement dispersés; synthèse, application et échange de connaissances (SAEC); santé publique).


Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :