ARCHIVÉE - Évaluation sommative du Programme canadien de nutrition prénatale 2004-2009

 

Vue d’ensemble

1.0  Introduction et contexte

1.1 Vue d’ensemble du PCNP

Contexte et description

Lors du Sommet mondial pour les enfants des Nations Unies de 1990, le Canada s’est engagé à investir dans le bien-être des enfants vulnérables. En 1992, le gouvernement du Canada lançait Grandir ensemble: Plan d’action canadien pour les enfants, qui met en place un certain nombre d’initiatives visant à promouvoir la santé et le bien-être des enfants. Le Programme d’action communautaire pour les enfants (PACE) qui vise à offrir des projets de prévention et d’intervention précoce complets et adaptés aux différences culturelles afin de promouvoir la santé et le développement social des jeunes enfants âgés de zéro à six ans et de leurs familles qui vivent dans des conditions à risque. Deux ans plus tard, en 1994, le gouvernement fédéral annonçait le Programme canadien de nutrition prénatale (PCNP), qui étendait le soutien offert par le PACE jusque dans la période prénatale.

Le PCNP octroie un financement à long terme aux organismes et aux coalitions communautaires afin qu’ils mettent sur pied ou améliorent des services qui répondent aux besoins des femmes enceintes à risque et de leurs bébés. Exécuté par l’Agence de la santé publique du Canada (ASPC)Note de bas de page 1, le programme finance les services communautaires complets et est conçu pour faire fond sur les programmes de santé prénatale existants ou en établir lorsqu’il n’en existe pas. Le PCNP fonctionne sous l’autorité de l’ASPC. Un volet distinct du PCNP est exécuté par Santé Canada afin d’offrir des programmes propres aux populations autochtones nordiques et vivant dans les réserves. Le présent rapport évalue uniquement le volet du PCNP exécuté par l’ASPC.

Objectifs et cadre du PCNP

Le but du PCNP est d’atteindre les femmes enceintes qui vivent dans des conditions à risque augmentant les probabilités de résultats défavorables pour leurs enfants et elles. Ces conditions à risque incluent: la pauvreté, la grossesse chez les adolescentes, l’isolement social ou géographique associé à un mauvais accès aux services, l’arrivée récente au Canada, l’abus d’alcool ou d’autres drogues et la violence familiale. Le PCNP accroît également la disponibilité d’un soutien prénatal adapté aux différences culturelles pour les femmes autochtones qui vivent hors des réserves.

Le PCNP est une initiative qui prend appui sur la collectivité et sur le fait que c’est elle qui est la mieux placée pour définir les besoins en santé maternelle et infantile et trouver les ressources nécessaires pour répondre à ces besoins. Les six principes directeurs suivants régissent la conception, la mise en œuvre, le fonctionnement, la gouvernance et l’évaluation du programme. Ces principes directeurs sont axés sur la promotion de la santé:

  • Les mères et les enfants d’abord
  • Renforcement et soutien des familles
  • Équité et accessibilité
  • Partenariats
  • Action communautaire
  • Souplesse

En tant que programme complet, le PCNP fournit des services incluant les suppléments alimentaires et vitaminiques, le counselling sur la nutrition, la formation à la préparation d’aliments, l’éducation et le soutien en matière d’allaitement maternel, de soins aux bébés et de développement de l’enfant, et les aiguillages ou le counselling en matière de santé et de mode de vie. Le PCNP est conçu pour faire fond sur les programmes de santé prénatale existants ou pour établir de tels programmes lorsqu’ils n’existent pas en utilisant une approche axée sur la santé de la population. La pierre angulaire de la théorie du programme est que la santé et le développement des enfants même les plus vulnérables peuvent être protégés des conditions à risque en finançant des mesures d’intervention précoce. Selon les spécialistes, les modèles communautaires sont ceux qui sont les plus efficaces pour la prestation des services, partiellement en raison de la compréhension qu’a la collectivité de sa culture et de ses besoins particuliers (Ressources humaines et Développement des compétences Canada (RHDCC), 2004).

En utilisant une approche axée sur la santé de la population, les objectifs du PCNP sont les suivants:

  • Réduire l’incidence des bébés dont le poids à la naissance est trop élevé ou trop faible
  • Améliorer la santé des femmes enceintes et de leurs bébés
  • Promouvoir et soutenir la pratique et la durée de l’allaitement
  • Améliorer l’accès aux services et soutiens communautaires pour les femmes enceintes
  • Établir des partenariats, des réseaux et des collaborations entre les collectivités

La relation entre les activités mises en œuvre par le PCNP et les résultats à court et à long terme du programme est présentée dans le modèle logique du PCNP (figure 1), qui fait partie du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) qui guide l’évaluation nationale du PCNP.

Ressources du PCNP

Le PCNP a un budget annuel de 30,8 millions de dollars. Sur cette somme, près de 27,2millions de dollars sont directement octroyés aux collectivités pour le financement de projets locaux. Le reste des fonds est affecté à l’exploitation, à la gestion, aux salaires et à un fonds stratégique national. Les niveaux de financement assurés par le PCNP sont établis en par province et territoire en tenant compte du nombre d’enfants de zéro à six ans qui y habitent. Le tableau 1 donne la ventilation du financement et du nombre de projets par province.

Tableau 1 – Répartition des fonds du PCNP par province et territoire (2008-2009Note de bas de page 2)
Province ou territoire Fonds affectés Nombre de projets du PCNP
OntarioNote de bas de page 3 8 371 000 $ 78
Québec 5 506 000 $ 123
Colombie-Britannique 2 802 000 $ 44
Alberta 2 612 000 $ 23
Manitoba 1 265 000 $ 6
Saskatchewan 1 195 000 $ 8
Nouvelle-Écosse 1 073 000 $ 8
Nouveau-BrunswickNote de bas de page 4 933 000 $ 1
Terre-Neuve-et-Labrador 811 000 $ 9
Territoires du Nord-Ouest 725 500 $ 6
Nunavut 725 500 $ 4
Territoire du Yukon 633 000 $  8
Île-du-Prince-Édouard 535 000 $ 7
Canada 27 187 000 $ 331

(ASPC, DEA, 2008-2009)

Gouvernance du PCNP

Le PCNP est conjointement administré par le gouvernement fédéral, les gouvernements provinciaux et territoriaux, la collectivité et d’autres intervenants par l’entremise de comités de gestion mixtes (CGM). Il y a un CGM dans chacune des sept régions du PCNP: région du Nord, région de la Colombie-Britannique, région de l’Alberta, région de la Saskatchewan et du Manitoba, région de l’Ontario, région du Québec et région de l’Atlantique. Des coalitions composées de coordonnateurs de projets et de représentants de l’ASPC travaillent également dans certaines régions du PCNP. Des protocoles administratifs établis pour le PCNP fixent les modalités de gestion du programme dans chaque province et territoire.

Au sein de l’ASPC, l’Équipe de l’évaluation nationale pour les enfants (EENE), composée d’évaluateurs provenant à la fois des bureaux national et régionaux, travaille en collaboration à soutenir l’évaluation du PCNP. L’EENE est structurée de façon à incorporer les perspectives et l’expérience des bureaux national et régionaux de l’ASPC et a le mandat d’offrir des conseils en matière d’évaluation en ce qui concerne toute la gamme des investissements consentis par l’ASPC au chapitre de la santé des enfants. Les membres de l’EENE ont collaboré à la conception, l’intégration et l’application des processus de mesure du rendement et d’évaluation aux échelons national, régional et local afin d’appuyer les décisions en matière de politique, d’évaluation et de recherche concernant le PCNP. Un système de communication efficace relie le bureau national au personnel du PCNP des bureaux régionaux, qui est à son tour directement relié aux collectivités. Cette structure organisationnelle permet au personnel national et régional de répondre aux divers besoins des groupes communautaires.

1.2 Contexte de l’évaluation du PCNP

Objet de l’évaluation

La réalisation de la présente évaluation sommative satisfera à un engagement en matière de production de rapport précisé dans le CGRR du PCNP. Le CGRR constitue une exigence redditionnelle pour les contributions financières du gouvernement fédéral. Les engagements en matière de production de rapports sont également bien décrits dans le CGRR pour la promotion de la santé de la population (CGRR PSP) qui est le CGRR de l’ASPC. Le mandat des programmes de promotion de la santé de l’ASPC doit être renouvelé en 2010; par conséquent, chaque programme appuyant les résultats du CGRR PSP doit satisfaire à ses engagements en matière de production de rapport dans le cadre du processus de renouvellement de 2010. Ainsi, les constatations de la présente évaluation sommative satisferont également à des engagements en matière de production de rapport pour le CGRR PSP.

Comme c’est le cas pour toutes les évaluations sommatives, le présent rapport analysera le rendement du programme par rapport à la réalisation des résultats escomptés. Étant donné que le programme est exécuté avec succès depuis de nombreuses années, la présente évaluation pourra également se pencher sur la rentabilité et la valeur d’ensemble du programme. La présente évaluation contient des constatations et offre des leçons qui aideront les décideurs à planifier pour le futur en faisant fond sur l’expérience du passé.

L’auditoire cible du présent rapport inclut: les membres du Comité d’évaluation de l’ASPC, le personnel d’autres secteurs de l’ASPC, les participants au programme, les intervenants, les chercheurs et les auditoires nationaux et internationaux intéressés par la santé publique, particulièrement par les programmes de santé communautaires.

Portée de l’évaluation

La portée de la présente évaluation est limitée aux constatations sur le programme recueillies au cours de la période de 2004 à 2009 (cinq ans), étant donné que la dernière évaluation complète remonte à 2004. L’évaluation vise à examiner des questions sélectionnées tel qu’indiqué dans le CGRR du PCNP et parvient à une série de conclusions qui décrivent: la pertinence continue du programme, son incidence et sa rentabilité. La Politique sur l’évaluation de 2001 du Conseil du Trésor exige que ces trois secteurs de l’évaluation soient pris en charge. Les questions de l’évaluation sont les suivantes:

Pertinence
  • Dans quelle mesure la santé des femmes enceintes, de leurs bébés et de leurs familles continue-t-elle à être menacée?
  • Le PCNP est-il conforme aux engagements intérieurs et internationaux du gouvernement fédéral concernant la santé de la population et les disparités existant sur ce plan pour les femmes enceintes, leurs bébés et leurs familles?
  • D’autres intervenants continuent-ils à attacher de la valeur au rôle que peut jouer le gouvernement fédéral dans la lutte contre les disparités sur le plan de la santé pour les femmes enceintes, leurs bébés et leurs familles?
Incidence
  • Dans quelle mesure les projets du PCNP atteignent-ils avec succès les femmes enceintes confrontées à des situations à risque?
  • Quelle a été la contribution du PCNP à l’amélioration de la santé et à la réduction des disparités existant sur ce plan pour les femmes enceintes et les bébés confrontés à des situations à risque?
  • Dans quelle mesure les projets du PCNP adoptent-ils une approche axée sur la santé de la population?Note de bas de page 5
Rentabilité
  • Ce programme en donne-t-il aux contribuables canadiens pour leur argent?

Le CGRR du PCNP a été créé en 2004 afin de relier plus concrètement les activités du programme à son objectif ultime de contribuer à l’amélioration de la santé et à la réduction des disparités existant sur ce plan pour les femmes enceintes et les bébés confrontés à des situations à risque. Les questions d’évaluation du CGRR, énumérées ci-dessus, seront évaluées en fonction d’indicateurs complets qui illustreront l’incidence du PCNP sur les résultats escomptés immédiats et intermédiaires suivants:

  • Capacité accrue pour le PCNP de fournir des données pour les politiques et programmes visant les populations confrontées à des situations à risque.
  • Les projets mettent en œuvre avec succès une approche axée sur la santé de la population.
  • Les projets du PCNP atteignent avec succès les femmes enceintes et les bébés vivant dans des conditions à risque et leur ouvre l’accès à des services appropriés.
  • Les femmes enceintes confrontées à des situations à risque obtiennent un meilleur soutien communautaire.
  • Les participantes au PCNP ont amélioré leurs pratiques de santé personnelle.

Le modèle logique du PCNP tel que présenté dans le CGRR est présenté à la figure 1.

Figure 1 – Modèle logique du PCNP

Le modèle logique du PCNP tel que présenté dans le CGRR est présenté à la figure 1

2.0  Méthodologie

2.1 Approche et conception générales

La présente évaluation sommative repose sur les instruments de mesure de rendement du PCNP qui ont été mis au point pour recueillir des données annuelles pendant toute la période du CGRR du programme. Les instruments ont été conçus pour réaliser des objectifs uniques mais aussi pour se compléter les uns les autres dans le but primordial d’effectuer une collecte de données complète et de solides analyses. La puissance de ces instruments et leurs liens les uns avec les autres ont servi de base aux analyses qui ont mené aux constatations sur la pertinence, l’incidence et la rentabilité du programme.

Instruments d’évaluation nationale

Questionnaire de projet (QP):

Le QP consistait d’une enquête annuelle conçue pour recueillir des données sur l’administration des projets individuels, la prestation et l’utilisation des services, ainsi que sur les participantes et sur l’issue de leur grossesse.

Le QP a été utilisé pour recueillir des données sur les projets du PCNP de 1996-1997 à 2005-2006. L’information a été communiquée au niveaux national et régional et au niveau des projets.

Questionnaire du client (QC2):

Le QC2 était un instrument axé sur les participantes qui était conçu pour mesurer l’incidence du programme. Il a permis de recueillir des données sur la santé et les caractéristiques socio-démographiques des participantes, l’utilisation des services du PCPN et l’issue de la grossesse. Cet instrument était relié par le biais d’un processus d’échantillonnage à un second instrument axé sur les participantes appelé la carte d’accueil qui est décrite ci-dessous.

En 2006, l’utilisation du QC2 a été suspendue afin de permettre l’évaluation de l’incidence du PCNP sur les pratiques de santé et l’issue de la grossesse. La section 2.3 traite de l’analyse de l’incidence effectuée à partir des données du QC2

Carte d’accueil (CA):

La carte d’accueil a permis de recueillir des données agrégées d’ensemble sur toutes les participantes au PCNP. La carte consistait d’une courte série de questions auxquelles devaient répondre les participantes au moment de leur admission au programme dans le cadre du processus d’accueil. Elle était utilisée pour déterminer le nombre de participantes, cerner des échantillons de participantes et dresser le profil des clientes à leur admission.

En 2008-2009 la carte d’accueil a été remaniée pour inclure des données démographiques supplémentaires afin de produire de meilleures données sur la portée du programme et sa correspondance avec les objectifs en matière de santé publique.

2.2 Cadre d’évaluation nationale du PCNP

L’utilisation des instruments de collecte de données QP et QC2 a été suspendue en 2006 afin de permettre la réalisation d’une analyse portant sur la pertinence, l’incidence et la rentabilité du programme. La collecte de données détaillées par le biais de cette série d’instruments d’évaluation nationale interreliés a créé un solide ensemble de données nationales qui a permis de réaliser plusieurs analyses détaillées portant sur des questions d’évaluation particulières du CGRR. Les rapports, produits entre 2004 et 2009, sont décrits plus en détails ci-dessous. Ces études d’évaluation ont été menées en utilisant diverses méthodes et ont tenu compte de données quantitatives tant que qualitatives. Les rapports produits ont servi de base à méta-analyse des constatations d’évaluation du PCNP qui a été essentielle à la réalisation de la présente évaluation sommative.

2.3 Données et limites

La présente évaluation sommative a utilisé une approche combinant plusieurs méthodes afin de consolider les constatations des rapports d’évaluation nationale indiqués ci-dessous; toutefois, chaque méthode a utilisé les données brutes communes produites par les trois instruments de collecte de données nationales décrits ci-dessus. Les méthodes et les limites propres à chaque rapport d’évaluation nationale sont précisées ci-dessous. Veuillez noter que les projets n’ont pas tous participé à l’évaluation nationale du PCNP. En ce qui concerne les décisions de gestion conjointe régionale, les projets du PCNP au Québec et les projets desservant les collectivités autochtones de l’Ontario hors des réserves sont pris en charge par d’autres systèmes de collecte de données et ne sont pas inclus dans l’analyse des constatations. Sauf indication contraire, l’analyse des données du QP, du QC2 et de la CA exclut le Québec et les projets dans les collectivités autochtones de l’Ontario.

Rapports d’évaluation nationale

1. Profil des participantes au PCNP – (PRA Inc., 2007)

Méthodologie: Des analyses quantitatives ont été effectuées en utilisant les données sur la portée et les résultats du programme qui ont été comparées à un sous-groupe de la population générale en utilisant la Statistique de l’état civil de Statistique Canada – CANSIM 2004-2005; la Base de données sur les naissances de 2004; et l’Enquête sur la santé dans les collectivités canadiennes de 2005. Le but de ce rapport était de décrire la population des participantes au PCNP et de les comparer à la population générale des femmes enceintes et des nouvelles mères au Canada.

Limites: Les deux facteurs suivants peuvent limiter la comparabilité des données. Premièrement, il y a des différences entre les participantes au PCNP et la population repère (p.ex., limites d’âge dans la population repère et limites de temps dans la population du PCNP). Deuxièmement, il y a des différences dans les instruments de collecte des données, telle que la formulation des questions, qui créent certaines limites en ce qui concerne l’analyse.

2. Rapport sur les questionnaires du projet (QP) nationaux du PCNP (2005 à 2006) – (PRA Inc., 2007)

Méthodologie: La méthodologie était centrée sur les données brutes quantitatives et qualitatives reçues et analysées provenant du QP du PCNP; et du Tableau 106-9001 du CANSIM de Statistique Canadasur la grossesse chez l’adolescente, selon l’issue des grossesses, femmes de 15 à 19 ans, Canada, provinces et territoires.

Limites: Les projets n’ont pas tous participé à l’enquête du QP. Les projets au Québec et les projets desservant les collectivités autochtones de l’Ontario hors des réserves n’ont pas utilisé le QP et aucunes données sur ces projets n’ont donc été incluses dans les analyses.

3. Investments in Children’s Health: Systematic review of evidence – (Shiell, 2007)

Méthodologie: Cette méta-analyse a évalué les résultats d’études antérieures dans le domaine du développement de la petite enfance afin de déterminer les similitudes entre le PCNP et d’autres initiatives ayant fait l’objet d’évaluations plus détaillées. La stratégie de recherche a été peaufinée puis appliquée aux bases de données Cochrane, Medline et à plusieurs autres bases de données importantes. Un processus de filtrage à deux étapes a ensuite été suivi.

Limites: La conception de l’étude et la présence d’un groupe témoin n’ont pas été utilisés comme critère d’admissibilité pour cette méga-analyse. Il est donc difficile d’estimer la qualité des études et de déterminer si les constatations étaient applicables au PCNP.

4. Assessment of the Economic Impact of CPNP – (McMurchy, 2008)

Méthodologie: La méthodologie consistait d’un examen exhaustif de la littérature; de l’élaboration d’un plan d’examen et d’analyse des documents de projets et des données (Statistique Canada, Dossier prénatal de l’Ontario, Statistique de l’état civil); de la collecte, la préparation et l’analyse des données.

Limites: Il y avait des lacunes dans certaines données concernant les coûts et la rentabilité du programme. Toutefois lorsqu’il y avait des lacunes, les résultats ont été déduits à partir de la littérature publiée et d’ensembles de données sur la population.

5. Qualitative Analysis of CPNP Success Stories – (Estable, 2008)

Méthodologie: Des méthodes qualitatives ont principalement été appliquées pour analyser les parties narratives des documents (« histoires ») qui ont été systématiquement recueillies par les QP sur une période de dix ans. Une conception de trains de données multiples combinant une analyse thématique et une analyse quantifiée du contenu a été appliquée aux données disponibles. La section de ce rapport portant sur l’incidence inclut des citations sélectionnées de participantes et du personnel des projets qui sont présentées dans des encadrés.

Limites: Les histoires donnent des aperçus qui se concentrent sur les activités des projets et la réaction des participantes ou les observations du personnel des projets. Étant donné que ces histoires ont été produites en réponse à une demande du bailleur de fonds des projets, les expériences négatives n’ont pas été relatées.

6. CPNP Relevance Literature Review – (McGuire, 2009)

Méthodologie: On a utilisé des méthodes qualitatives et quantitatives, y compris: (1) un examen complet des publications académiques et de la littérature grise et (2) des analyses de données de Statistique Canada, du Recensement ainsi que de la carte d’accueil et du QP. Ce rapport a été intentionnellement conçu pour appuyer l’évaluation sommative en abordant les questions relatives à la pertinence du programme.

Limites: La littérature sur les menaces à la santé associées aux déterminants de la santé, particulièrement chez les femmes enceintes, leurs bébés et leurs familles, est très limitée. Par conséquent, dans certains cas, il a fallu faire référence à des articles et des données qui ne correspondaient pas à la période couverte par le CGRR (les années antérieures à 2004). Certaines données quantitatives n’étaient pas accessibles en raison de restrictions en matière d’autorisation et n’ont donc pas été incluses.

7. Application des pratiques exemplaires du PCNP – (ASPC, 2009a)

Méthodologie: Des données ont été recueillies auprès d’informateurs clés (employés de l’ASPC seulement) de juin à août 2008 en utilisant quatre modèles différents de questionnaires, selon le type de travail et le niveau de gestion de l’informateur clé. Des analyses qualitatives ont ensuite été effectuées pour produire des constatations s’appliquant à l’ensemble du programme.

Limites: Les exemples particuliers des consultants de programme régionaux et des évaluateurs de programme régionaux pourraient ne pas s’appliquer à d’autres régions et ne peuvent donc pas être généralisés pour le programme dans son ensemble. Étant donné le roulement de l’effectif dans les régions, les réponses des régions peuvent refléter diverses autres sources du PCNP.

8. Understanding the Impact of the CPNP: A Quantitative Evaluation – (Muhajarine, 2009)

Méthodologie: On a effectué des analyses quantitatives y compris de la modélisation statistique et plusieurs types d’analyses de régression sur la participation des clientes au programme, leurs comportements liés à la santé et l’issue de leur grossesse. La principale source de données était un ensemble de données de quatre ans provenant du QC2.

Limites: Bien que des analyses contrôlées pour les facteurs de risque socio-démographiques aient été disponibles, il est difficile d’attribuer les effets uniquement à l’exposition au PCNP. Les projets au Québec et les projets desservant les collectivités autochtones de l’Ontario hors des réserves n’ont pas administré le QC2, et aucunes données sur ces projets n’ont donc été incluses dans les analyses.

Dans chaque rapport d’évaluation national, les constatations sont appuyées par des éléments probants provenant de plusieurs sources, étant donné qu’on utilise typiquement une technique de « sources de données multiples » pour confirmer ou infirmer les constatations de l’évaluation et assurer une reddition de compte équilibrée au public. Conformément aux normes du Conseil du Trésor, les questions de la validité, la crédibilité et la fiabilité des données ont été systématiquement examinées afin d’assurer la qualité.

Détails de la page

Date de modification :