Page 4 : Évaluation du Programme d’aide préscolaire aux Autochtones dans les collectivités urbaines et nordiques de l’Agence de santé publique du Canada

1. Introduction

1.1 But et portée de l'évaluation

Le PAPACUN a été évalué la dernière fois par le Centre de promotion de la santé  au cours de l'exercice 2005–06. La Loi sur la gestion des finances publiques^{Footnote 22} et la Politique sur les paiements de transfert du Secrétariat du Conseil du Trésor exige que les ministères effectuent tous les cinq ans un examen de la pertinence et de l'efficacité de leurs programmes de subventions et de contributions, et la Politique sur l'évaluation de 2009 du Secrétariat du Conseil du Trésor exige que la portée des évaluations couvre toutes les dépenses de programmes pendant une période de cinq ans. Par conséquent, le PAPACUN a été réévalué pour la période de 2006–07 à 2010–11.

Les questions de l'évaluation portent sur la pertinence (nécessité de poursuivre le Programme et harmonisation avec les rôles et les priorités du gouvernement fédéral) et le rendement (atteinte des résultats attendus et preuve d'efficience et d'économie) de l'ensemble du PAPACUN, y compris son volet concernant les subventions et les contributions.

Le but de l'évaluation est d'examiner l'efficacité du Programme et de recommander des améliorations à apporter afin de mieux atteindre les résultats souhaités pour les enfants, les familles et les collectivités autochtones. Depuis ses débuts il y a 15 ans, les objectifs fixés et la portée du PAPACUN sont demeurés assez constants. L'évaluation comprend un examen de l'intention et des plans originaux du Programme visant à déterminer si ce dernier est exécuté comme prévu, s'il existe de meilleurs moyens de l'exécuter et si son exécution devrait être remaniée afin qu'il corresponde mieux aux nouvelles priorités du gouvernement du Canada et de l'Agence de santé publique. L'évaluation constitue une occasion d'apprendre des expériences, des pratiques exemplaires et des autres modèles d'exécution de programme actuels.

1.2 Méthodologie

L'évaluation a été effectuée par les Services d'évaluation, un groupe interne de l'Agence de santé publique qui est indépendant du PAPACUN.

Les Services d'évaluation ont analysé de l'information provenant de diverses sources :

• documents internes importants, y compris :
  • des évaluations du PAPACUN effectuées à l'échelle régionale, ainsi que des vérifications et des examens antérieurs du PAPACUN
  • des comptes rendus de décisions provenant de réunions de divers comités internes
  • la correspondance et les communications liées au PAPACUN.
• études de cas de divers centres du PAPACUN au Canada, ainsi que de centres ne relevant pas du PAPACUN; il est possible d'obtenir, sur demande, auprès des Services d'évaluation de l'Agence de santé publique, un rapport technique complet sur les études de cas (evaluation@phac-aspc.gc.ca)
• entrevues avec des cadres supérieurs et des employés clés de l'Agence de santé publique, d'autres organismes gouvernementaux sélectionnés, des organisations non gouvernementales et le Conseil national du Programme d'aide préscolaire aux Autochtones
• analyses documentaires, notamment des leçons apprises d'expériences internationales.

La présente évaluation utilise la triangulation afin de valider les sources de renseignements. Une combinaison de mesures qualitatives et quantitatives est aussi employée dans le but d'assurer une analyse équilibrée de la pertinence et du rendement du PAPACUN. Pour obtenir une description détaillée de la méthodologie, veuillez vous reporter à l'annexe A. Pour sa part, l'annexe B explique la méthodologie du volet consacré aux études de cas. On peut également trouver à l'annexe C deux matrices d'évaluation qui exposent les questions de l'évaluation, les sources de renseignements, de même que les constatations.

Limites

La plupart des évaluations sont assujetties à des contraintes susceptibles d'avoir des répercussions sur la validité et la fiabilité de ses résultats, de ses conclusions et de ses recommandations. La présente section énumère les limites concernant la conception et les méthodes de cette évaluation en particulier. Elle précise également les stratégies d'atténuation que l'équipe d'évaluation a mises en place pour faire en sorte que les constatations de l'évaluation puissent être utilisées en toute confiance pour guider la planification du Programme et la prise de décisions connexe.

Collecte de données limitée

La portée du processus de collecte de données ayant été définie selon la disponibilité des ressources et l'allocation du temps, un nombre limité d'entrevues a été menée auprès des intervenants externes, soit les représentants provinciaux et territoriaux ainsi que les experts externes. En réalisant un plus grand nombre d'entrevues avec ces intervenants, il aurait peut-être été possible de donner un meilleur aperçu de l'harmonisation des rôles et de l'exécution du Programme. Cependant, grâce aux analyses documentaires, aux entrevues réalisées à l'interne et aux études de cas, les évaluateurs sont parvenus à une compréhension générale de ces questions.

Validité des sources de données qualitatives

Les entrevues et les groupes de discussion étaient en partie rétrospectifs. On pourrait mettre en doute la validité des données recueillies en raison d'éléments comme le roulement de personnel et l'impossibilité de se rappeler les événements antérieurs. Dans certains cas, en raison du roulement, le personnel du Programme au siège social détenait peu de connaissances sur l'histoire du PAPACUN. Afin d'atténuer cette difficulté, les évaluateurs ont mené des entrevues avec du personnel et intervenants externes qui étaient présents au commencement du Programme.

Absence d'un cadre commun pour les évaluations régionales

Bien que l'analyse des données secondaires ait permis d'intégrer à l'examen du rendement du Programme de multiples rapports d'évaluation du PAPACUN rédigés à l'échelle régionale, la conception et l'intention des évaluations différaient. Ce manque d'uniformité limite la mesure dans laquelle il est possible d'appliquer les constatations des évaluations régionales au Programme dans l'ensemble du pays.

Malgré les éventuelles limites méthodologiques, l'équipe responsable de l'évaluation a mis en œuvre un certain nombre de stratégies en vue d'assurer la validité des constatations, plus particulièrement l'utilisation de multiples sources de renseignements. En outre, le cadre utilisé pour mesurer la maturité scolaire et les données nationales en vue d'orienter les constatations sur la littératie culturelle était uniforme dans l'ensemble du pays. En conséquence, les Services d'évaluation sont persuadés que la haute direction peut se fier au présent rapport à des fins de planification et de prise de décisions.

Portée des études de cas

La collecte de données pour les études de cas réalisées dans les collectivités a été limitée aux centres du projet et n'a pas été effectuée auprès d'autres sources communautaires. Bien que les études de cas n'aient pas été réalisées dans les centres administrés par le Secrétariat du Nord (Santé Canada), deux projets auxquels participent des enfants inuits ont été inclus dans l'échantillon, et toutes les régions de l'Agence de santé publique ont été représentées.