Page 3 : Évaluation du Programme d’aide préscolaire aux Autochtones dans les collectivités urbaines et nordiques de l’Agence de santé publique du Canada

Résumé

Le présent rapport expose les constatations d’une évaluation sur la pertinence et le rendement du Programme d’aide préscolaire aux Autochtones dans les collectivités urbaines et nordiques (PAPACUN) de l’Agence de la santé publique du Canada. Il a été réalisé par les Services d’évaluation de l’Agence de santé publique.

But de l’évaluation et méthodologie

Le but de la présente évaluation est d’examiner la pertinence et le rendement du Programme. La dernière évaluation du PAPACUN a été menée par le Centre de promotion de la santé au cours de l’exercice 2005–06. La Loi sur la gestion des finances publiquesFootnote 11 et la Politique sur les paiements de transfert du Conseil du Trésor exigent que les ministères effectuent tous les cinq ans un examen de leurs programmes de subventions et de contributions, et la Politique sur l’évaluation de 2009 du Conseil du Trésor exige que la portée des évaluations couvre toutes les dépenses de programmes pendant une période de cinq ans.

Les Services d’évaluation ont analysé de l’information provenant de diverses sources, notamment des documents internes importants, des études de cas, des entrevues et des analyses documentaires.

Le PAPACUN

Le PAPACUN constitue une initiative de développement de la petite enfance s’adressant aux  enfants autochtones d’âge préscolaire ainsi qu’à leur famille vivant à l’extérieur d’une réserve. Grâce à un financement sous forme de contribution provenant de l’Agence de santé publique, des organismes communautaires autochtones conçoivent et exécutent des programmes holistiques visant à améliorer le bien-être spirituel, émotionnel, physique et social des enfants autochtones de moins de six ans ainsi que celui de leur famille. Le Programme cible trois groupes distincts d’Autochtones vivant dans les collectivités urbaines et nordiques : les Premières nations vivant hors réserve, les Métis et les Inuits. Le PAPACUN est mis en œuvre par l’entremise des Opérations régionales de l’Agence de santé publique grâce à des accords de contribution conclus avec les bénéficiaires du projet (communément appelé « promoteurs »), qui sont habituellement des organismes autochtones.

Conçu à l’origine comme un programme pilote quadriennal, le PAPACUN a débuté durant l’exercice 1994–95. Il a été renouvelé en tant qu’initiative permanente au cours de la période 1999‑2000, où il recevait un financement annuel de services votés de 24 millions de dollars. Depuis, il a fait l’objet d’une hausse permanente en 2002–03 et a reçu 2 allocations stratégiques à durée limitée (augmentations financières) : un financement annuel de 5 millions de dollars, se terminant en 2015–16, a été approuvé en 2005–06 et en 2010–11. Au total, le PAPACUN reçoit une allocation d’environ 41,3 millions de dollars par année.

Le PAPACUN est généralement un programme préscolaire en établissement destiné à des enfants âgés de trois à cinq ans et offert trois ou quatre demi-journées par semaine, neuf mois par année, soit de septembre à juin.

Voici les principales caractéristiques du PAPACUN :

  • Il s’adresse aux populations vulnérables d’enfants autochtones les plus susceptibles de présenter de faibles résultats en matière de développement de la petite enfance.
  • Il cible non seulement les enfants, mais également leur famille et leur collectivité.
  • Il met un accent très prononcé sur la participation des parents.
  • La culture et la langue autochtones font partie intégrante de sa conception et de son exécution. Il est fondé sur un modèle holistique qui reconnaît les aspects multidimensionnels du bien-être des enfants autochtones.
  • Dans la mesure du possible, le personnel des projets provient de la collectivité autochtone.
  • Il est fondé sur un modèle de renforcement du pouvoir qui encourage et favorise la prise en charge et la prise de décisions à l’échelle locale.

Le Centre de promotion de la santé , administré par la Direction générale de la promotion de la santé et de la prévention des maladies chroniques de l’Agence de santé publique, est chargé de la programmation et de l’autorisation budgétaire du PAPACUN, ainsi que de la surveillance continue de la reddition de comptes et de l’administration financière.

Chacun des bénéficiaires administre un ou plusieurs projets du PAPACUN, désignés sous le nom de « centre ». Depuis 2011–12, l’Agence de santé publique a signé 94 accords de contribution avec 91 bénéficiaires (dont 3 détiennent 2 accords distincts) qui exploitent un total de 128 centres du PAPACUN. La participation des enfants d’âge préscolaire est demeurée assez constante au cours des cinq dernières années, allant de 4 530 à 4 831 enfants par année.

Conclusions et recommandations de l’évaluation

L’analyse de l’information recueillie aux fins de l’évaluation a donné lieu à des constatations et à des conclusions concernant la pertinence et le rendement (résumées à la figure 1), qui à leur tour ont mené à six recommandations.

Conclusions

Pertinence

Le PAPACUN a non seulement toujours sa raison d’être, mais il est de plus en plus nécessaire. Au Canada, on dénombre environ 47 910 enfants autochtones âgés de 3 à 5 ans. Environ 4 640 enfants âgés de 6 ans et moins (dont 86 % sont âgés de 3 à 5 ans) participent au PAPACUN chaque année. La population autochtone présente un taux de croissance plus élevé que celui du reste de la population canadienne; de plus, il y a un besoin plus grand de mettre en œuvre les programmes de développement de la petite enfance à l’extérieur des réserves, car la population autochtone se déplace davantage vers les milieux urbains.

L’exécution du PAPACUN s’inscrit bien dans le rôle du gouvernement fédéral et de l’Agence de santé publique. Bien que ce soit les provinces et les territoires qui assument principalement la responsabilité du développement de la petite enfance, le gouvernement du Canada joue un rôle de soutien et peut investir dans un domaine de compétence partagée si on lui demande de traiter une question de portée nationale, de combler des écarts touchant une population vulnérable ou de compléter des activités provinciales ou territoriales. Le PAPACUN répond à tous ces critères.

Rendement

Le Programme est très respecté et apprécié par tous les groupes qui participent à son exécution (collectivités, enfants, parents, personnel du projet et de l’Agence de santé publique à tous les niveaux). Le Programme a eu une incidence positive sur la maturité scolaire, surtout pour ce qui est d’accroître les aptitudes sociales, motrices, langagières et scolaires des enfants. Selon les résultats en matière de rendement, le Programme s’est révélé efficace pour améliorer la littératie culturelle et accroître l’exposition aux cultures et aux langues autochtones. Le Programme a également eu des effets positifs sur les comportements favorables à la santé, notamment l’accès à des activités physiques quotidiennes, et les déterminants de la santé, notamment l’accès à des services de santé. Même si l’incidence du Programme sur les parents et les collectivités n’a pas fait l’objet d’un suivi constant, certaines données indiquent que des centres participant au projet sont devenus des « noyaux » dans leur collectivité, créant ainsi un sentiment d’appartenance chez les enfants autochtones et leurs familles.

Cependant, il est possible de faire mieux. Il existe des lacunes liées à l’échange et à l’enrichissement des connaissances ainsi que la nécessité d’accroître la coordination et la collaboration avec les autres organismes fédéraux, les provinces et territoires, et les autres intervenants. En outre, le Programme pourrait joindre davantage d’enfants.

L’évaluation a révélé que le Programme n’a pas été soumis à l’examen complet de sa conception et de ses modèles d’exécution. En outre, différentes sources ont indiqué qu’il est opportun d’examiner la fonction consultative qui appuie la mise en œuvre et la gouvernance du Programme, puisqu’elle n’a pas été évaluée d’un œil critique depuis la création de ce dernier; le Programme pourrait profiter du renouvellement de cette fonction au cours de l’examen de son orientation stratégique.

Le Programme a bénéficié du dévouement de nombreux employés. Les résultats des entrevues indiquent que malgré le roulement de personnel qui pose problème dans un grand nombre de centres, beaucoup de personnes demeurent impliquées dans le Programme depuis les débuts et constituent des piliers de sa mise en œuvre.

Recommandations

Comme nous l’avons mentionné plus haut, ce programme existe depuis plus de 15 ans. Par conséquent, le temps est venu de discuter de son orientation future et d’élaborer des stratégies pour résoudre les problèmes afin d’améliorer son rendement. Les 6 recommandations suivantes découlent des constatations et des conclusions.

Portée

Il semble que le PAPACUN bénéficierait de l’examen systématique de l’emplacement de ses centres. Bien que certains centres aient des listes d’attente pour l’inscription, d’autres ne fonctionnent pas à plein rendement de façon régulière, ce qui donne à penser que la portée du Programme pourrait être améliorée.

À l’heure actuelle, divers modèles d’exécution du PAPACUN sont utilisés au pays. Certains d’entre eux semblent favoriser davantage l’établissement de partenariats, l’optimisation des ressources et l’élargissement de la portée. Il existe des moyens d’augmenter le nombre de partenariats et d’optimiser les ressources grâce à certains de ces modèles.

Recommandation 1

À la lumière des changements démographiques dans les populations autochtones, évaluer les modèles d’exécution, l'emplacement des centres et les partenariats afin de déterminer si la portée peut être étendue.

Coordination et collaboration

La situation des investissements fédéraux, provinciaux et territoriaux dans les programmes de développement de la petite enfance a changé considérablement depuis les débuts du PAPACUN. L’évaluation a fait ressortir le besoin d’accroître la coordination et la collaboration à l’échelle nationale pour s’adapter à ce contexte en évolution, tirer profit des progrès en matière de savoir et transmettre les connaissances du PAPACUN dans le but d’influencer d’autres programmes.

La coordination nationale entre les intervenants de l’éducation des jeunes enfants autochtones a été qualifiée de lacune stratégique. En comblant ce manque, on pourrait accroître la capacité du Programme à atteindre plusieurs résultats escomptés, et surtout, faciliter la transition des enfants autochtones vers les systèmes d’éducation réguliers.

Les résultats du Programme liés à l’échange et à l’enrichissement des connaissances, à l’aide offerte aux parents et aux familles ainsi qu’à la collaboration avec d’autres responsables de programmes de développement de la petite enfance n’ont pas été évalués de façon systématique. Il est nécessaire d’examiner les conditions qui favorisent l’atteinte des résultats souhaités, par exemple en tentant de déterminer les contextes et facteurs qui encouragent la participation des parents et leur incidence sur les résultats pour l’enfant et sa famille. Par conséquent, nous manquons de connaissances sur ce qui fonctionne, pour qui et dans quelles conditions, c’est‑à‑dire les connaissances qui faciliteraient notre compréhension du potentiel et de l’incidence du Programme.

Recommandation 2

Améliorer la coordination et la collaboration avec les autres ministères fédéraux, les gouvernements provinciaux et territoriaux ainsi que les principaux intervenants.

Résultats à long terme des enfants

Des études pilotes sur les résultats à long terme des enfants ont été menées dans certaines provinces; mais aucune étude nationale n’a eu lieu. Afin d’orienter les mesures d’amélioration du Programme ainsi que les évaluations subséquentes de ce dernier, il serait utile de recueillir des données sur les résultats à long terme des enfants. Cependant, les études longitudinales sont exigeantes en termes de ressources, et la faisabilité d’une telle méthode devrait être soumise à un examen.

Recommandation 3

Examiner la nécessité et la possibilité d’assurer le suivi des résultats à long terme des enfants, par exemple au moyen d’une étude de cohorte longitudinale ou d’une recherche interventionnelle.

Mesure du rendement

Il est nécessaire d’élaborer une méthode de mesure du rendement qui tient compte des résultats prévus à moyen et à long terme du Programme, de sorte que les efforts de collecte de données soient intégrés et simplifiés et que des études périodiques soient réalisées afin de mieux comprendre le plein potentiel du Programme.

Le personnel du Programme a consacré des efforts à la mise en œuvre d’études de rendement qui ont démontré que le PAPACUN a une incidence positive sur les aptitudes sociales, motrices, langagières et scolaires ainsi que la littératie culturelle des enfants participants.

De plus, une grande quantité de données ont été recueillies concernant le rendement des activités communautaires, les processus et la portée. Toutefois, ces données ne sont pas diffusées aux intervenants en temps opportun et n’ont pas toujours été recueillies au moyen d’un cadre commun.

Recommandation 4

Faire en sorte que la méthode de mesure du rendement à l’échelle du Programme soit complète tout en étant intégrée et simplifiée.

Fonction consultative soutenant la structure de gouvernance

Le Conseil national du Programme d’aide préscolaire aux Autochtones a été formé à l’origine afin de fournir des conseils à l’Agence de santé publique. Cependant, des entrevues réalisées à l’interne et à l’externe ont révélé des inquiétudes quant au rôle actuel du Conseil. De plus, la composition actuelle du Conseil cause des préoccupations sur la possibilité de conflits d’intérêts étant donné que les membres du Conseil sont des bénéficiaires directs des fonds du projet. Bien qu’aucun conflit d’intérêts n’ait été observé, aucune stratégie d’atténuation à l’égard de cette possibilité de conflit d’intérêts ne semble exister.

Recommendation 5

Revoir la structure de gouvernance du Programme, notamment sa fonction consultative, afin que l’Agence de santé publique puisse bénéficier de conseils équilibrés, stratégiques et opportuns.

Fonds stratégique national

Depuis les cinq dernières années, la mise en œuvre du fonds stratégique national a connu des difficultés. D’après l’évaluation, la conception de ce fonds n’est peut-être pas favorable à la sélection d’initiatives novatrices qui ont une portée nationale et qui visent à améliorer la programmation destinée aux enfants qui participent au PAPACUN et à leur famille. Ce financement à durée limitée a été récemment renouvelé pour les cinq prochaines années, soit jusqu’en 2014–15.

Recommandation 6

Examiner les objectifs et les critères d’admissibilité du fonds stratégique national et évaluer l'approche actuelle en matière de gestion du fonds.
Figure 1 : Résumé des constatations, des conclusions et des recommandations
  Constatations Conclusions Recommandations
Pertinence Le PAPACUN a non seulement toujours sa raison d'tre, mais il est de plus en plus nécessaire. Dans les collectivités urbaines et nordiques, le besoin de mettre en œuvre des programmes de développement de la petite enfance chez les Autochtones est continu et important.

L'administration du PAPACUN est un rôle approprié pour le gouvernement fédéral et l'Agence de santé publique.

Le PAPACUN s'inscrit dans les priorités actuelles de l'Agence de santé publique.
1. À la lumière des changements démographiques dans les populations autochtones, évaluer les modèles d'exécution, l'emplacement des centres et les partenariats afin de déterminer si la portée peut être étendue.

2. Améliorer la coordination et la collaboration avec les autres ministères fédéraux, les gouvernements provinciaux et territoriaux ainsi que les principaux intervenants.

3. Examiner la nécessité et la possibilité d'assurer le suivi des résultats à long terme des enfants, par exemple au moyen d'une étude de cohorte longitudinale ou d'une recherche interventionnelle.

4. Faire en sorte que la méthode de mesure du rendement à l'échelle du Programme soit complète tout en étant intégrée et simplifiée.

5. Revoir la structure de gouvernance du Programme, notamment sa fonction consultative, afin que l'Agence de santé publique puisse bénéficier de conseils équilibrés, stratégiques et opportuns.

6. Examiner les objectifs et les critères d'admissibilité du fonds stratégique national et évaluer l'approche actuelle en matière de gestion du fonds.
L'exécution du PAPACUN s'inscrit bien dans le rôle du gouvernement fédéral et de l'Agence de santé publique.
Le PAPACUN cadre avec le mandat et les priorités stratégiques de l'Agence de santé publique, particulièrement en ce qui a trait à la santé publique des Autochtones et des habitants du Nord.
Rendement Efficacité Le Programme a eu une incidence positive sur la maturité scolaire, surtout pour ce qui est d'accroître les aptitudes sociales, motrices, langagières et scolaires des enfants. Selon les résultats en matière de rendement, le Programme s'est révélé efficace pour améliorer la littératie culturelle et accroître l'exposition aux cultures et aux langues autochtones. Le Programme a également eu des effets positifs sur les comportements favorables à la santé, notamment l'accès à des activités physiques quotidiennes, et les déterminants de la santé, notamment l'accès à des services de santé. Les résultats concernant l'enrichissement et l'échange des connaissances, la collaboration avec les responsables de programmes de développement des jeunes enfants autochtones ou les mesures de soutien offertes aux parents et aux familles n'ont pas été systématiquement évalués. Le Programme entraîne des résultats positifs chez les enfants. Il est possible d'en apprendre davantage au sujet de l'incidence du Programme sur les autres effets souhaités.
Efficience et Économie Il existe différents modèles d'exécution du PAPACUN dans l'ensemble du pays. Il serait possible d'accroître l'efficacité en améliorant le modèle d'exécution.

Les bénéficiaires ont réussi à mobiliser des ressources auprès d'autres ordres de gouvernement et du secteur privé, mais une coordination et une collaboration accrues avec d'autres organismes fédéraux qui offrent des programmes analogues pourraient améliorer le rapport coût-efficacité de ce programme.

La conception du fonds stratégique national n'est peut-être pas favorable à la sélection d'initiatives novatrices qui ont une portée nationale et qui visent à améliorer la programmation destinée aux enfants qui participent au PAPACUN et à leur famille.

Bien que ce programme ait permis l'atteinte de résultats pour les enfants, il manque de perspective stratégique. Bien que le modèle logique du Programme présente une vision à long terme, le plan cohérent concernant l'orientation future de ce programme est plutôt limité.
Depuis les cinq dernières années, la mise en œuvre du fonds stratégique national a connu des difficultés.
La mobilisation de ressources et l'établissement de partenariats à l'échelle des centres sont les points forts du Programme. Cependant, l'on constate des lacunes en matière d'exécution du Programme au chapitre des ententes de financement à court terme, du roulement du personnel et du taux d'inscription.
La fonction consultative qui soutient la gouvernance du Programme pourrait être améliorée.
La portée du Programme est restreinte; cela peut être attribuable en partie à la conception ou au modèle d'exécution du Programme.
La coordination avec des programmes analogues de développement de la petite enfance de l'Agence de santé publique est harmonieuse, mais elle devrait tout de même être renforcée avec d'autres organismes fédéraux et avec les provinces et les territoires.
La mesure du rendement de ce programme est exhaustive, mais elle pourrait être améliorée grâce à la mise en œuvre d'initiatives régionales plus cohérentes et complètes et à l'utilisation d'approches et d'outils intégrés et simplifiés.

Détails de la page

Date de modification :