Évaluation formative : l'initiative comprendre la petite enfance, juin 2009

Titre Officiel : Évaluation formative de l'initiative comprendre la petite enfance - juin 2009

Sommaire

Le présent rapport présente les conclusions de l’évaluation formative de l’initiative Comprendre la petite enfance (CPE). L’évaluation a été menée dans le but d’examiner les problèmes de mise en œuvre et de conception, les progrès réalisés initialement dans l’atteinte des objectifs à court terme et les enjeux liés à la responsabilisation. L’équipe d’évaluation a également été chargée de fournir des conseils préliminaires sur la conception d’une évaluation sommaire de l’initiative.

Description du programme

L’initiative CPE est assurée par Ressources humaines et Développement des compétences Canada (RHDCC) afin d’aider les collectivités à produire et à utiliser de l’information locale à propos de leurs enfants dans le but de :

  • reconnaître des lacunes dans les services et programmes destinés aux jeunes enfants et leurs familles, et
  • favoriser les partenariats entre les groupes communautaires et les intervenants individuels afin de prendre des décisions éclairées sur les programmes et les services exemplaires dans le domaine du développement des jeunes enfants.

L’initiative CPE a été annoncée en 2004 en tant qu’initiative nationale qui s’étend sur sept ans (de 2003-2004 à 2010-2011) dans le but d’aider jusqu’à 100 collectivités dans l’ensemble du Canada. Elle offre trois ans de financement aux organismes parrains, qui agissent de concert avec leurs collectivités pour utiliser les outils de recherche CPE afin de recueillir des renseignements locaux sur :

  • le développement des enfants de la maternelle;
  • les facteurs familiaux et communautaires ayant une incidence sur le développement de l’enfant;
  • les programmes et les services qui visent les jeunes enfants et leurs familles;
  • les caractéristiques socio-économiques locales.

Ces renseignements permettent aux membres des collectivités financées de travailler ensemble dans le but de cerner les lacunes dans les services et les programmes qui visent les jeunes enfants et leurs familles et afin d’élaborer un plan d’action communautaire qui guidera les décisions de la collectivité vers les meilleurs choix pour appuyer les familles avec de jeunes enfants.

Méthodes et limites de l’évaluation

L’évaluation formative ciblait les 21 collectivités retenues pour recevoir le financement de l’initiative CPE au cours de l’appel de propositions de 2005. Elle a été réalisée environ à mi-chemin au cours des ententes de financement de 3 ans avec ces collectivités. L’approche mise sur pied pour l’évaluation a été basée sur l’utilisation de multiples sources de données, dont ces trois principales : un examen de la documentation et des dossiers (y compris un examen des dossiers administratifs pour chacun des 21 sites CPE); un examen de la documentation; des entrevues auprès de 44 informateurs clés (personnel de la gestion du programme (n=6), représentants du gouvernement provincial ou des territoires et des experts en développement de l’enfance (n=5), représentants de la collectivité CPE (n=24), demandeurs non financés (n=5) et autres (n=4)). Les conclusions tirées de l’examen de la mise en œuvre initiale ont également été utilisées pour compléter l’évaluation formative. Note de bas de page 1

L’ensemble de ces sources combinées fournit une base d’informations utiles à partir de laquelle des conclusions peuvent être tirées sur le développement global de l’initiative CPE. Certaines limites s’appliquent toutefois. Par exemple, le roulement du personnel au sein des collectivités CPE signifiait qu’il était parfois difficile de joindre les informateurs clés les plus appropriés. Une autre limite potentielle est que les entrevues avec les informateurs clés ont été menées sur seulement 10 des 21 sites CPE. Il convient cependant de relativiser les conséquences de cette limite en soulignant le fait que la collecte de données était concentrée en grande partie sur la totalité des 21 sites (c.-à-d. l’étude des dossiers et de la documentation et les autres entrevues auprès d’informateurs clés).

Résultats de l’évaluation sur les questions liées à la conception et à la mise en œuvre

i) Objectifs CPE

L’étude des dossiers et de la documentation a révélé que le mandat, les objectifs et les résultats escomptés de l’initiative ont été communiqués de façon uniforme . Cette conclusion correspond à l’examen de la mise en œuvre initiale, qui avait conclu que les divers éléments de la planification stratégique pour l’initiative, y compris le mandat, les objectifs et les résultats escomptés, appuient la vision, les buts et les priorités du Ministère.

Le caractère mesurable de certains des résultats escomptés de l’initiative ainsi que la priorité accordée à ceux-ci pourraient être améliorés, surtout dans le cas des résultats à long terme et des résultats finaux. Les responsables du programme, notamment les informateurs clés, avaient des opinions partagées sur le fait que les résultats de l’initiative étaient bien définis et atteignables. Quelques personnes, par exemple, jugeaient que l’objectif principal (c.-à-d. consolider les familles canadiennes avec enfants en leur donnant des choix et du soutien qui reconnaissent la diversité de leurs besoins) est trop vaste et devrait être plus ciblé.

Les informateurs clés ont indiqué que les participants semblent avoir une compréhension claire des objectifs immédiats du projet et des résultats escomptés de l’initiative CPE. L’étude des dossiers et les entrevues auprès des informateurs clés avec les responsables du programme ont indiqué que les 21 collectivités CPE ont fait des progrès dans la mise en œuvre de leur projet et vers leurs objectifs immédiats et résultats escomptés. Même si la plupart des sites ont éprouvé certaines difficultés aux premiers stades, les premières difficultés provenaient en grande partie des défis ou caractéristiques au sein des collectivités individuelles (c.-à-d. les défis en matière d’adhésion au programme et de dotation en personnel) plutôt que de défauts précis dans la conception de l’initiative CPE.

ii) Souplesse et sélection de projet

Les données provenant de l’examen de la documentation et des dossiers ainsi que les entrevues auprès des informateurs clés indiquent que le modèle CPE inclut une vaste gamme de collectivités et est suffisamment souple pour accommoder leur participation. En outre, les 21 sites CPE sélectionnés dans le cadre de l’appel de propositions de 2005 sont très variés du point de vue de la densité de population, du statut socio-économique, de la composition ethno-culturelle et de la langue.

En analysant le processus utilisé pour sélectionner des projets pour le financement CPE, l’examen de la mise en œuvre initiale a conclu que les évaluations menées par les représentants du gouvernement des provinces ou des territoires et par les experts en développement de la petite enfance sont conçues afin d’assurer une objectivité dans la prise de décisions et afin de réduire le plus possible le risque d’erreur, d’abus ou de fraude. L’évaluation formative a révélé que le processus d’examen des propositions CPE est généralement considéré comme fonctionnant bien et incluant adéquatement la participation des représentants et experts régionaux. Les informateurs clés qui connaissent bien le processus ont constaté un bon équilibre entre le personnel CPE et les représentants des provinces et des territoires. L’expérience des demandeurs non financés laisse penser, toutefois, que les exigences obligatoires (conçues pour assurer la capacité de la collectivité d’être un site CPE et l’intégrité des données) n’étaient pas uniformément bien comprises par les demandeurs.

iii) Rôles et responsabilités

Les données des informateurs clés ont indiqué que les rôles et les responsabilités des intervenants clés de l’initiative CPE sont bien compris et ont été mis en œuvre comme prévu, même si des précisions ont été fournies pour résoudre certains problèmes initiaux.

iv) Conception de CPE et méthodes de recherche clé

Les points forts clés de la conception de CPE comprendraient la collaboration, l’accent mis sur la collectivité, la crédibilité et la communication. L’inquiétude principale relative à la conception soulignée par les informateurs clés était un manque de liens suffisants entre deux des principaux ensembles de données de recherche. Les améliorations suggérées pour la conception CPE ciblaient l’amélioration des processus, plutôt qu’une reformulation de l’initiative (c.-à-d. améliorer la coordination avec les programmes et projets des provinces ou des territoires). De nombreuses suggestions ont été la cible de l’initiative CPE dès le début.

L’initiative CPE utilise trois méthodes de collecte de données : l’instrument de mesure du développement de la petite enfance (IMDPE), l’Enquête fondée sur des entrevues de parents et des évaluations directes d’enfants (EEPEDE), et la collecte et l’analyse de données pour le rapport sur le profil de la collectivité.

Les informateurs clés ont indiqué qu’ une force clé de l’IMDPE est qu’il s’agit d’un instrument normalisé qui est utilisé et reconnu dans l’ensemble du pays. La plupart des défis à relever/limites identifiés de l’IMDPE étaient liés au processus de l’IMDPE (c.-à-d. certains aspects de la communication, de la production de rapports et du partage des données) plutôt qu’à l’instrument IMDPE comme tel. Les améliorations suggérées ciblaient en grande partie ces défis.

De la même façon, une force clé de l’EEPEDE est qu’il s’agit d’un instrument validé et normalisé basé sur l’Enquête longitudinale nationale sur les enfants et les jeunes. Une autre force clé est que l’instrument peut être personnalisé afin d’accommoder les différences entre les sites CPE. Le défi le plus fréquemment mentionné était le retard dans la mise en œuvre de l’EEPEDE. Ainsi, une des inquiétudes exprimées était que la cohorte pour les données de l’EEPEDE, à cause de ce retard, est différente de la cohorte pour les données de l’IMDPE. Certaines des améliorations suggérées pour l’EEPEDE étaient semblables aux suggestions apportées pour l’IMDPE. D’autres suggestions comprenaient des modifications au processus liées précisément à l’EEPEDE (c.-à-d.plus de souplesse afin d’accommoder les différences entre les collectivités et recruter des personnalités connues ou locales comme administrateurs de l’EEPEDE).

Les forces clés des profils des collectivités sont l’approvisionnement de données et de renseignements utiles et la mise à contribution des ressources locales afin d’effectuer la recherche, qui renforce les capacités dans ce domaine. Dans ce cas précis, les défis ou limites sont liés aux problèmes de ressources au sein de la collectivité (c.-à-d. des ressources limitées pour mettre sur pied le profil) et aux défis dans l’obtention de données pertinentes. Quelques informateurs clés ont affirmé que l’exercice du profil de la collectivité pourrait être amélioré en encourageant le partage de l’information entre les collectivités CPE et en aidant davantage et en conseillant mieux les collectivités lorsqu’elles préparent le profil de la collectivité.

L’examen de la documentation révélait que l ’initiative CPE a été proactive dans sa réponse aux défis ou limites dans la conception et la livraison. Cette proactivité se manifestait par tout un travail pour régler des problèmes liés au processus dans les domaines de la planification ou des retards, de la clarté, des conseils ou outils et de la communication.

Progrès vers les objectifs à court terme

i) Soutien accru aux collectivités

Les données provenant de l’examen des dossiers et des informateurs clés indiquent que des progrès ont été réalisés dans l’apport d’un soutien de financement aux collectivités. Même s’il est trop tôt pour évaluer la possibilité d’attirer du soutien supplémentaire, l’examen des dossiers a indiqué que l’initiative CPE a permis aux coalitions communautaires de définir les priorités des subventions, d’incorporer l’initiative CPE dans les propositions de financement et de demander et d’obtenir du financement. Les données indiquent également que des progrès ont été réalisés dans la prestation de soutien technique aux collectivités , avec l’établissement du profil de la collectivité cité comme étant le catalyseur principal.

ii) Disponibilité et partage accrus de l’information

L’examen des dossiers du projet et les informateurs clés ont révélé que les collectivités CPE ont réussi à former ou à consolider des partenariats par suite de l’initiative. De plus, des preuves provenant de l’étude des dossiers et de la documentation et des informateurs clés laissent penser que l’initiative a augmenté le nombre d’occasions et d’outils pour le partage des connaissances et le réseautage au sein des collectivités sur le rôle des familles et des collectivités dans le développement de l’enfant .

iii) Sensibilisation accrue par rapport au développement de l’enfant

La plupart des informateurs clés, notamment les responsables du programme, jugeaient qu’il y a eu du progrès pour ce qui est de l’augmentation de la sensibilisation et des connaissances des parents et de la collectivité en matière de développement de l’enfant , bien qu’il soit encore trop tôt pour que ce progrès soit complètement évident. Des exemples mentionnés des progrès réalisés incluaient la création de dépliants et de présentations dans le cadre d’ateliers.

Questions liées à la responsabilisation

Malgré la pléthore de programmes provinciaux ciblant les enfants, l’examen du programme mené dans le cadre de l’évaluation formative n’a trouvé aucune preuve de chevauchement ou de double-emploi avec l’initiative CPE. De plus, plusieurs mesures de protection ont été mises en place afin d’éviter ou de réduire le potentiel de chevauchement ou de double emploi (c.-à-d les responsables CPE fournissent des mises à jour du programme aux réunions bi-annuelles du Comité fédéral/provincial/territorial sur les connaissances, les renseignements et les pratiques exemplaires concernant le développement de la petite enfance.).

L’opinion générale partagée par les informateurs clés est que les stratégies de rapports basées sur les résultats pour l’initiative CPE sont appropriées et conformes aux exigences de responsabilisation du gouvernement fédéral. La plupart des informateurs clés, notamment les représentants de la collectivité, ont dit avoir confiance en la capacité de leur collectivité à produire les rapports nécessaires, même si la plupart ont également exprimé un désir pour plus de clarté et de rétroaction de la part de RHDCC pour appuyer la production de rapports sur les résultats de la collecte de données. Tous les informateurs clés, notamment les responsables du programme, ont indiqué que les rapports de surveillance du rendement des sites CPE étaient envoyés en temps opportun. L’examen des dossiers a révélé par contre qu’il manquait au moins un rapport trimestriel dans deux tiers des fichiers de projet.

Quelques conseils préliminaires pour l’évaluation sommaire

Plusieurs caractéristiques de l’initiative CPE (c.-à-d. une structure de financement multi-sites avec des interventions à l’échelle communautaire) ont été identifiées comme des considérations importantes afin de déterminer la meilleure façon de réaliser une évaluation sommaire. En tenant compte de ces caractéristiques et des spécificités de chaque collectivité CPE, l’équipe d’évaluation a estimé qu’une approche basée sur la théorie du changement Note de bas de page 2 serait la plus appropriée pour l’évaluation sommaire .

Certains faits semblent indiquer que toutes les données de base nécessaires pour l’évaluation sommaire ne sont pas toutes recueillies de façon uniforme. Par exemple, il est nécessaire de préciser plus clairement les renseignements ou les données demandées des sites CPE (c.-à-d. clarifier ce que veut dire la notion de partenariats). Aussi, les mesures identifiées au sein du Cadre de mesure du rendement pour l’initiative CPE doivent idéalement être conçues pour être continues, plutôt que de fournir un seul échantillon.

Conclusions générales

L’évaluation formative estime que l’initiative CPE a été bien conçue de façon générale. En outre, les faits recueillis indiquent que le modèle CPE est inclusif, ainsi que suffisamment souple pour permettre la participation d’une vaste gamme de collectivités. Les forces clés de la conception CPE comprennent la collaboration, l’accent mis sur la collectivité, la crédibilité et la communication.

L’évaluation a montré que l’IMDPE et l’EEPEDE sont perçus de façon positive comme des outils normalisés reconnus dans l’ensemble du pays. Les forces clés du rapport sur le profil de la collectivité incluent la capacité de fournir des données utiles et de mettre les ressources locales à contribution pour entreprendre les recherches et ainsi renforcer la capacité dans ce domaine.

L’évaluation a indiqué que les participants semblent avoir une compréhension claire des résultats immédiats et escomptés de leur projet pour l’initiative CPE et ont fait des progrès dans la mise en œuvre de celle-ci. Les premières données laissent penser que des progrès ont été réalisés dans l’apport de soutien à la collectivité tant au point de vue financier que pour ce qui est du soutien technique. De plus, les données indiquent que les collectivités CPE forment et consolident leurs partenariats. Des preuves de progrès ont également été dénotées sur le plan de la sensibilisation et des connaissances des parents et de la collectivité en ce qui concerne le développement de l’enfant.

Les domaines suivants ont été identifiés aux fins d’amélioration :

  • Certains des objectifs à long terme du programme CPE peuvent être trop vastes par rapport à la portée et la taille de l’initiative CPE. Ces objectifs doivent être clarifiés ou modifiés afin de mieux les relier aux ressources et à la portée de l’initiative CPE.
  • Des efforts sont apportés au sein de l’initiative CPE afin de résoudre des problèmes liés au processus (c.-à-d. liés à la planification, aux retards) et ces efforts doivent continuer.
  • Il serait intéressant de simplifier les entrevues avec les parents.
  • Le fait de lier les données de recherche de l’IMDPE et de l’EEPEDE permet des recherches plus poussées sur les relations possibles entre les résultats du jeune enfant et un certain nombre de facteurs familiaux et communautaires. De plus, les responsables du programme doivent mieux communiquer avec les coordonnateurs et autres intervenants de la collectivité à propos de la cohorte utilisée pour l’EEPEDE et sur la pertinence de ces données. L’inquiétude qui persiste parmi les représentants de la collectivité dans ce domaine souligne la nécessité de valider les résultats de l’EEPEDE lorsqu’ils sont disponibles.
  • Il serait utile d’apporter un soutien supplémentaire aux collectivités pour les aider à terminer le rapport sur le profil de la collectivité. Ce soutien pourrait être apporté de différentes façons (p. ex., des séances de formation en personne supplémentaires, un module de formation en ligne ou une ligne d’assistance).
  • Afin de mieux appuyer l’évaluation sommative, l’initiative doit recueillir des données de façon uniforme à l’échelle communautaire sur la manière dont les connaissances apprises au sein des collectivités CPE sont appliquées dans le domaine du développement de l’enfant. Les collectivités auront besoin de conseils sur la façon de mieux recueillir ces données.
  • Afin de mieux appuyer l’évaluation sommative, l’initiative CPE et les sites CPE doivent s’assurer que les résultats sont liés à des indicateurs mesurables et que les données nécessaires doivent être, et sont, recueillies de manière uniforme. Une attention particulière doit être portée sur l’amélioration du modèle de rapport d’activité afin de faciliter la quantification et l’analyse du rendement ou des progrès réalisés dans le cadre du projet de l’initiative CPE. De plus, des données quantitatives de base améliorées sont nécessaires afin d’agir à titre d’indicateurs des résultats à moyen et long terme.

Réponse de la direction

Introduction

Le but de la réponse de la direction est de cibler les zones du programme à améliorer, cernées au moyen de l’évaluation formative de l’initiative Comprendre la petite enfance(CPE). La réponse de la direction donne aux représentants de RHDCC la chance de communiquer leurs réponses aux conclusions clés de l’évaluation, d’indiquer si des politiques de programme ont été modifiées et d’élaborer des plans pour des changements futurs.

L’évaluation formative a été entreprise par RHDCC afin de satisfaire aux exigences de responsabilisation du gouvernement du Canada et de fournir au Ministère des points à examiner quant aux décisions en matière de gestion et de conception des politiques du programme. L’évaluation a été menée dans le but d’examiner les problèmes de mise en œuvre et de conception, les progrès récents réalisés dans l’atteinte des objectifs à court terme et les enjeux liés à la responsabilisation.

L’évaluation ciblait les 21 projets des collectivités CPE retenus pour recevoir du financement dans le cadre de l’appel de propositions 2005. Elle a été réalisée environ à mi-chemin au cours des ententes de financement de 3 ans avec ces collectivités qui se terminaient à la fin de 2008. Les résultats de l’évaluation sont utilisés pour donner tous les détails sur la livraison de l’ensemble des 15 projets finaux CPE, qui a commencé au printemps 2007 et qui doit se terminer en mars 2010. La clôture de l’initiative aura lieu en 2010-2011.

Principales conclusions

Les conclusions de l’évaluation indiquent que l’initiative CPE est bien conçue et que des progrès en vue de la mise en œuvre complète des projets 2005 ont été réalisés. Par exemple, le mandat, les objectifs et les résultats escomptés de l’initiative ont été communiqués de façon uniforme et appuient les objectifs et les priorités du Ministère.

Les données indiquent que le modèle CPE est inclusif et suffisamment souple pour permettre la participation d’une vaste gamme de collectivités. Les principales forces de l’initiative CPE sont la collaboration, l’accent mis sur la collectivité, la crédibilité et la communication.

L’évaluation a permis de relever sept améliorations pour l’initiative CPE qui nécessitaient une action de la part du secteur de programme. Elles sont répertoriées ci-après avec la réponse du programme correspondante.

Points à considérer et à améliorer et mesures prises

1. Certains des objectifs à long terme du programme CPE peuvent être trop vastes par rapport à la portée et la taille de l’initiative CPE. Ces objectifs doivent être clarifiés ou modifiés afin de mieux les relier aux ressources et à la portée de l’initiative CPE.

Le programme accepte cette recommandation :

  • Des responsables du Ministère ont entrepris une refonte du Cadre intégré de vérification et de responsabilisation axé sur les risques (CGRR/CVAR) de l’initiative, le cadre de mesure du rendement, la stratégie d’évaluation, l’évaluation des risques et les exigences de vérification.
  • Les objectifs à long terme ont été modifiés afin de révéler un lien plus clair avec les ressources et la portée de l’initiative CPE.
    • Les résultats à long terme qui « ont augmenté la responsabilisation des politiques et programmes sociaux par l’intégration des connaissances et des données locales » et qui « ont amélioré le système de soutien au sein des collectivités en se basant sur les initiatives communautaires efficaces et durables » ont été révisés afin d’énoncer que « Ies collectivités inclusives sont attentives aux besoins des enfants et des familles. »

2. Des efforts sont apportés au sein de l’initiative CPE afin de résoudre des problèmes liés au processus (c.-à-d. liés à la planification et aux retards) et ces efforts doivent continuer.

Le programme accepte cette recommandation. Les représentants de RHDCC ont été proactifs dans les mesures qu’ils ont prises pour résoudre les problèmes liés au processus relativement à la planification et aux retards dans les deux collectes de données, à la clarté de certains outils de collecte de données et à la communication entre RHDCC et les projets, et s’assureront que ces efforts ne se relâchent pas :

  • Les deux collectes de données CPE, l’Enquête fondée sur des entrevues de parents et des évaluations directes d’enfants (EEPEDE) et l’Instrument de mesure du développement de la petite enfance (IMDPE), ont été déplacées à la deuxième année du cycle de vie du projet afin de donner plus de temps aux organisations bénéficiaires pour établir des relations au sein de la collectivité et travailler avec leurs partenaires communautaires afin de s’assurer que les objectifs et les activités de recherche du projet étaient bien compris. L’inventaire des programmes et des services a été déplacé à la première année du cycle de vie du projet pour permettre au coordonnateur de projet d’établir des relations avec les fournisseurs de services principaux de la collectivité.
  • Les représentants de RHDCC ont travaillé de concert avec les représentants de l’Accès à l’information et protection des renseignements personnels (AIPRP) afin de concevoir une lettre explicative et un formulaire de consentement pour les parents, pour mieux décrire la collecte de données de l’EEPEDE et obtenir le consentement pour leur enfant pour l’achèvement des activités d’évaluation directe. En collaboration avec l’AIPRP, un processus de partage des données a également été mis sur pied pour permettre aux organisations bénéficiaires de demander leurs fichiers de données de projet EEPEDE et IMDPE, pour une utilisation conforme aux conditions de leur entente.
  • La communication avec les destinataires du projet a été grandement améliorée. En 2007, les représentants de RHDCC ont rencontré individuellement le dernier ensemble des projets CPE afin de les familiariser avec les processus et exigences de RHDCC et pour permettre aux organisations de mieux planifier leurs budgets et plans de travail. Ces visites de sites ont également été l’occasion de discuter du rôle clé des conseils scolaires dans les collectes de données et de l’importance de transmettre l’information tôt dans le cycle de vie du projet. Deux séances d’information ont été tenues à Ottawa pour informer les projets 2007 sur la recherche CPE; une séance a eu lieu avant le début des collectes de données afin que les projets comprennent mieux le processus et leur rôle.

3. Il serait intéressant de simplifier les entrevues avec les parents.

Le programme accepte cette recommandation :

  • Les représentants de RHDCC ont révisé et simplifié le questionnaire pour les parents pour la collecte de données de l’EEPEDE dans les projets communautaires CPE 2007. Ce processus a tenu compte de la rétroaction reçue des projets communautaires CPE 2005. La durée de l’entrevue des parents a été écourtée pour passer de 90 minutes à 60 minutes en moyenne.

4. Le fait de lier les données de recherche de l’IMDPE et de l’EEPEDE permet des recherches plus poussées sur les relations possibles entre les résultats du jeune enfant et un nombre de facteurs familiaux et communautaires. De plus, les responsables du programme doivent mieux communiquer avec les coordonnateurs et autres intervenants de la collectivité à propos de la cohorte utilisée pour l’EEPEDE et sur la pertinence de ces données. L’inquiétude qui persiste parmi les représentants de la collectivité dans ce domaine souligne la nécessité de valider les résultats de l’EEPEDE lorsqu’ils sont disponibles.

Le programme accepte la recommandation concernant les liens avec les données de l’IMDPE et de l’EEPEDE. Les représentants de RHDCC peuvent incorporer cet élément dans la conception d’initiatives futures pour permettre l’exécution de recherches sur les relations possibles entre les résultats du développement de l’enfant analysés par l’IMDPE et les facteurs familiaux et communautaires étudiés par l’EEPEDE.

  • Dans le contexte de l’initiative CPE nationale en cours, le lien entre les données ne faisait pas partie de la conception du programme et les deux ensembles de données ont de la valeur pour les collectivités respectives.
  • Les données de l’IMDPE et de l’EEPEDE pour les projets 2005 ne peuvent être colligées, car elles ont été recueillies pour deux cohortes différentes d’enfants de maternelle (2006 et 2007). Les données recueillies pour les projets CPE 2007 ne seront pas colligées, car RHDCC ne sera pas le bénéficiaire des données de l’IMDPE. Les projets communautaires obtiennent leurs données de l’IMDPE grâce à des contrats directs avec l’organisation chargée de la collecte et de l’analyse ou à des collectes de données provinciales de l’IMDPE.
  • Ensemble, sans les mettre en lien, les différentes perspectives sur les jeunes enfants et leur vie familiale présentées par l’IMDPE et l’EEPEDE enrichissent les résultats. L’IMDPE présente les évaluations des professeurs de maternelle quant aux résultats des enfants dans les domaines d’apprentissage clés, alors que l’EEPEDE offre les résultats de trois différentes évaluations sur le développement cognitif des enfants et les perspectives des parents sur le bien-être de leurs enfants. L’EEPEDE propose également le point de vue des parents sur de nombreuses caractéristiques familiales et expériences des enfants.

Le programme accepte la recommandation sur la nécessité d’une meilleure communication ayant trait à la cohorte utilisée pour l’EEPEDE et à son utilité.

  • Les responsables du Ministère et les contractants en recherche ont rencontré en personne les représentants de chaque projet communautaire afin d’expliquer que les données de l’EEPEDE, recueillies dans le cadre d’une cohorte d’enfants différente de celle de l’IMDPE, ne compromettent pas les objectifs de ces deux études : évaluer le degré de réussite des jeunes enfants dans une collectivité de l’initiative CPE dans des domaines clés du développement comme la santé physique, le développement cognitif et les comportements sociaux (IMDPE) et mieux comprendre les caractéristiques de leurs familles et leurs expériences (EEPEDE).
  • Les rapports de recherche communautaire produits par le contractant de l’EEPEDE, fondés sur les ensembles de données IMDPE et EEPEDE et tirés de deux cohortes différentes d’enfants de maternelle, ont permis de donner une représentation détaillée des jeunes enfants qui grandissent dans la collectivité. Les rapports ont été bien reçus et jugés utiles pour les collectivités dans leurs activités de planification.
  • Les représentants du Ministère reconnaissent qu’il y a toujours une certaine incertitude à propos de l’utilité des données étant donné qu’elles ont été recueillies dans le cadre d’une cohorte d’enfants différente. Les données fournies aux projets CPE sont complexes et, dans la plupart des cas, c’est la première fois que les collectivités ont accès à des renseignements si complets et opportuns sur leurs jeunes enfants et les familles. Pour appuyer les projets 2007, les responsables de RHDCC ont tenu une séance de deux jours en janvier 2009 afin d’expliquer la recherche plus en détails et de souligner comment elle peut être utilisée au sein des collectivités CPE. Les responsables du Ministère s’engagent à aider les projets à utiliser les données de l’EEPEDE lorsqu’elles seront disponibles, notamment par des ententes de partage de données.

Le programme convient que les données EEPEDE doivent être validées.

  • Le chercheur de l'EEPEDE a confirmé que les données de l'EEPEDE pour les projets 2005 étaient représentatives de chaque collectivité avant de produire le rapport de recherche de chaque collectivité. Les données de l'EEPEDE pour les projets 2007 seront validées en vérifiant qu'elles représentent bien la population des enfants à la maternelle dans chaque projet communautaire CPE. La même approche sera adoptée pour les projets communautaires 2007.

5. Il serait utile d’apporter un soutien supplémentaire aux collectivités pour les aider à terminer le rapport sur le profil de la collectivité. Ce soutien pourrait être apporté de différentes façons (p. ex., des séances de formation en personne supplémentaires, un module de formation en ligne ou une ligne d’assistance).

Le programme accepte cette recommandation. Les représentants de RHDCC ont entrepris les activités suivantes afin d’appuyer les projets CPE :

  • Des ateliers d’établissement de profil préliminaires ont été donnés aux représentants des projets CPE de 2005 et de 2007. Les ressources de formation incluaient les cahiers de travail des participants et une webémission de suivi pour les projets communautaires 2007.
  • Les représentants de RHDCC ont encouragé tous les projets CPE à recruter des chercheurs qui ont de l’expertise en matière de logiciel de systèmes d’information géographique (SIG) afin d’établir le profil des données locales. De plus, les représentants de RHDCC dotés d’une expertise en établissement de profils sont prêts à offrir un soutien supplémentaire.

6. Afin de mieux appuyer l’évaluation sommative, l’initiative doit recueillir des données de façon uniforme à l’échelle communautaire sur la façon dont les connaissances apprises au sein des collectivités CPE sont appliquées en matière de développement de l’enfant. Les collectivités auront besoin de conseils sur la façon de mieux recueillir ces données.

Le programme accepte cette recommandation :

  • Les représentants de RHDCC ont rencontré en personne les représentants de tous les projets CPE afin de donner un aperçu des résultats escomptés et des indicateurs clés de l’initiative, de fournir des conseils sur la façon dont ces données peuvent être recueillies et pour expliquer les modèles de rapports finaux et d’activités. De plus, l’expertise sur les rapports de rendement CPE de RHDCC est disponible afin d’offrir un soutien supplémentaire dans la détermination des méthodes de collecte et de production de rapports sur les indicateurs de rendement identifiés.
  • Le résultat à moyen terme de l’initiative, « une sensibilisation accrue envers le développement de l’enfant », a été révisé afin d’énoncer : « les familles et les collectivités comprennent l’importance du développement de l’enfant ». Des indicateurs ciblés ont également été élaborés comme une partie intégrante du cadre révisé de mesure du rendement de l’initiative.

7. Afin de mieux appuyer l’évaluation sommative, l’initiative CPE et les sites CPE doivent s’assurer que les résultats sont liés à des indicateurs mesurables et que les données nécessaires doivent être, et sont, recueillies de manière uniforme. Une attention particulière doit être accordée à l’amélioration du modèle de rapport d’activité afin de faciliter la quantification et l’analyse du rendement ou l’évolution de l’initiative CPE. De plus, des données quantitatives de base améliorées sont nécessaires afin d’agir à titre d’indicateurs des résultats à moyen et long terme.

Le programme accepte cette recommandation :

  • Comme mentionné précédemment, les responsables du Ministère ont entrepris une refonte du CGRR/CVAR de l’initiative, y compris le modèle logique, le cadre de mesure du rendement, la stratégie d’évaluation, l’évaluation des risques et les exigences en matière de vérification.
  • Dans le but de soutenir la collecte des données de base sur les indicateurs afin de mesurer le rendement des résultats à moyen et long terme, les représentants de RHDCC ont mis sur pied un système de production de rapports qui permet de s’assurer que les progrès et les résultats escomptés des projets sont recueillis et liés à des indicateurs mesurables.
  • Afin de faciliter la quantification et l’analyse des progrès réalisés et du rendement du projet de l’initiative CPE, les représentants de RHDCC ont révisé les modèles de rapport final et d’activité trimestriel qui doivent être remplis par chaque projet.
    • Deux ateliers interactifs d’un jour ont été tenus en 2008, pour informer les représentants de projet dans le cadre de l’initiative CPE sur l’approche de RHDCC en matière de mesure et d’évaluation du rendement afin de s’assurer que les rapports de projet satisfont aux exigences de RHDCC et qu’ils sont également bénéfiques pour les organismes bénéficiaires.
  • Les représentants du Ministère travailleront de concert avec la Direction de l’évaluation, afin de finaliser la conception de l’évaluation sommative et des indicateurs quantitatifs qui seront utilisés dans l’évaluation sommative pour mesurer les efforts ou impacts de l’initiative CPE à moyen et long terme.

Conclusion

Les conclusions présentées dans l’évaluation formative incluent plusieurs résultats positifs ainsi que les points à améliorer. Ces observations fourniront des conseils judicieux pour la haute direction et ont aidé à la mise en œuvre et à la gestion des 15 projets CPE qui ont commencé en 2007. Des modifications ont été apportées à l’initiative depuis la période d’étude afin de se prononcer sur ces observations et les représentants de RHDCC sont déterminés à veiller à l’amélioration continue de l’initiative.

1. Aperçu du programme et contexte de l'évaluation

1.1 Objet et organisation du rapport

Le présent rapport présente les conclusions tirées de l'évaluation formative de l'initiative Comprendre la petite enfance (CPE). L'évaluation formative a été réalisée afin d'évaluer l'évolution de l'initiative en examinant les problèmes de conception et de mise en œuvre, les progrès rapides réalisés dans l'atteinte des résultats (c.-à-d. les progrès dans la réalisation des objectifs immédiats) et les enjeux liés à la responsabilisation. Ce rapport fournit également quelques conseils ou suggestions préliminaires sur la conception d'une évaluation sommative de l'initiative CPE. Les renseignements fournis dans ce rapport sont divisés en six sections :

  • La section 1 donne un aperçu de l'initiative CPE, en plus du contexte et de la méthodologie d'évaluation;
  • La section 2 examine les problèmes de conception et de mise en œuvre;
  • La section 3 analyse les progrès dans la réalisation des objectifs immédiats;
  • La section 4 étudie les enjeux liés à la responsabilisation;
  • La section 5 présente quelques suggestions pour la conception d'une évaluation sommative;
  • La section 6 présente les conclusions principales.

1.2 Aperçu de l'initiative CPE

1.2.1 Description du programme

L'initiative CPE aide les collectivités à rassembler et à utiliser les informations locales sur leurs enfants afin de :

  • reconnaître des lacunes dans les services et programmes destinés aux jeunes enfants et leurs familles,
  • favoriser les partenariats entre groupes communautaires et intervenants individuels afin de prendre des décisions éclairées sur les programmes et les services exemplaires dans le domaine du développement des jeunes enfants.

L'initiative CPE a été annoncée en 2004 et est une initiative nationale qui s'étend sur sept ans (de 2004-2005 à 2010-2011) afin d'aider jusqu'à 100 collectivités dans l'ensemble du Canada. L'initiative s'inspire du succès et des leçons apprises dans le cadre de 12 projets pilotes CPE, qui ont commencé en 1999 et se sont terminés en 2007. L'objectif des projets pilotes était d'améliorer les connaissances à propos des facteurs communautaires qui influencent le développement de la petite enfance.

Le budget de 2004 a prévu 68 millions de dollars pour l'initiative CPE sur sept ans (34,5 millions de dollars en fonds d'exploitation et 33,5 millions de dollars en financement sous forme de contribution). L'examen des dépenses effectué en septembre 2006 a entraîné une réduction dans le budget original de l'initiative pour arriver à 45,3 millions de dollars (23,9 millions de dollars pour l'exploitation et 21,4 millions de dollars pour les contributions).

L'initiative CPE fournit des contributions pendant trois ans aux organismes parrains qui agissent de concert avec leurs collectivités afin de produire de l'information locale (comme mentionné dans les sections 1.2.3 et 1.2.4). Cette information permet aux membres des collectivités financées de travailler ensemble dans le but de relever les lacunes dans les services et les programmes qui visent les jeunes enfants et leurs familles, et afin d'élaborer un plan d'action communautaire qui orientera les décisions de la collectivité vers les meilleurs choix pour encadrer les familles avec de jeunes enfants. L'initiative inclut les zones urbaines et rurales et préconise la participation des collectivités avec des enfants de différents milieux incluant des collectivités des Premières nations, inuit et métis, des enfants provenant de familles immigrantes et de collectivités de langue officielle en situation minoritaire et les enfants de familles à faible revenu.

1.2.2 Conception et livraison de l'initiative CPE

L'initiative CPE est livrée par l'administration centrale de Ressources humaines et Développement des compétences Canada (RHDCC) et est gérée par la Direction du développement communautaire et des partenariats. L'équipe CPE comprend des analystes de projet qui coordonnent les ententes de contribution détenues par les organismes parrains dans les collectivités CPE et le personnel de recherche qui est responsable de la gestion de deux vastes collectes de données et des activités connexes. Les représentants de Service Canada offrent de l'aide dans la réalisation des activités de sensibilisation et participent à l'examen interne des propositions soumises dans le cadre du processus de sélection de collectivité CPE.

Les collectivités CPE sont sélectionnées au moyen d'un processus d'appel de propositions. Les propositions soumises sont d'abord examinées pour déterminer si elles satisfont aux exigences obligatoires de l'initiative.

  • L'organisme demandeur doit être un organisme à but non lucratif légalement constitué Note de bas de page 3 et poursuivre activement ses activités sur le plan du développement social.
  • La collectivité proposée doit être située à l'intérieur d'une certaine région géographique définie par des limites comprises par les résidents. La géographie doit être continue ou adjacente. Les résidents partagent un sentiment d'appartenance et s'identifient à au moins une partie de la collectivité géographique. Note de bas de page 4 Cette exigence est conçue pour encourager la responsabilisation et la participation de la collectivité dans le développement de la petite enfance.
  • La collectivité proposée doit avoir une coalition communautaire existante avec de l'expérience et un historique de réalisations dans la gestion des enjeux sociaux. Note de bas de page 5
  • Les demandeurs doivent identifier (à l'avance) toutes les écoles et conseils scolaires participants (ou leurs équivalents), Note de bas de page 6 car les conseils scolaires jouent un rôle clé dans la collecte de certaines des données locales.
  • Au sein de la collectivité, il doit y avoir des candidats potentiels adéquats (avec un ensemble de compétences approprié et des qualités en matière de direction) pour le poste de coordonnateur de la collectivité CPE.
  • La collectivité proposée doit compter au moins 300 enfants de cinq ans qui entrent à la maternelle (ou l'équivalent) au cours de l'année scolaire qui vient. 7

Les propositions qui satisfont aux exigences obligatoires subissent une évaluation interne par l'administration centrale de RHDCC et par le personnel régional ainsi qu'une évaluation externe par les représentants du gouvernement provincial. À la suite du processus d'évaluation interne et externe et de l'approbation du Ministère, RHDCC conclut une entente de contribution de trois ans avec chaque organisation à but non lucratif qui a déposé une demande acceptée au nom de sa collectivité. Chacune de ces organisations devient un organisme parrain du projet pour la collectivité CPE.

Grâce au financement CPE, l'organisme parrain engage un coordonnateur de la collectivité afin de gérer tous les aspects de l'initiative CPE. Le financement peut également être utilisé pour engager un chercheur en milieu communautaire qui effectuera des recherches sur les services et programmes de la collectivité et qui sera en mesure d'interpréter et de synthétiser les résultats de sa recherche. Le promoteur et le coordonnateur de la collectivité travaillent avec la coalition communautaire CPE (qui comprend les parents, les éducateurs, les fournisseurs de services et autres participants intéressés par le bien-être des enfants). De concert, ils mobilisent la collectivité autour de l'importance du développement de la petite enfance et d'un plan d'action communautaire (comme mentionné aux sections 2.1.3, 2.1.4 et 2.1.5). De plus, le personnel de la collectivité CPE organise et coordonne les activités de partage et de diffusion de l'information afin de promouvoir les activités CPE au sein de leur collectivité et de consolider les partenariats entre les divers intervenants (c.-à-d. les parents, les écoles, les fournisseurs de services et le secteur privé) afin de répondre aux besoins des jeunes enfants.

À l'automne 2005, 21 projets communautaires dans l'ensemble du pays ont été sélectionnés comme sites CPE (voir annexe A). Ces projets font l'objet de la présente évaluation. En vertu des ententes de contribution CPE de trois ans, les sites CPE ont reçu entre 350 000 dollars et 375 000 dollars en financement pour leur projet communautaire. Les collectivités CPE ont également reçu une formation et un soutien technique (c.-à-d. une séance d'orientation, un atelier sur l'établissement de profil des collectivités, un atelier sur l'IMDPE). Un deuxième groupe de 15 collectivités est ajouté à l'initiative provenant de l'appel de propositions 2006.

1.2.3 Recherche CPE

La recherche CPE génère plusieurs types d'information locale qui est rendue disponible pour chaque projet dans le cadre de l'initiative CPE. L'information locale comprend le point de vue des parents et des enseignants sur le développement des enfants de la maternelle, des évaluations directes des capacités cognitives des enfants de la maternelle, le point de vue des parents sur les circonstances familiales et les expériences des enfants, de l'information sur les programmes et services locaux, et des caractéristiques socio-économiques locales. Chacun de ces types d'information est décrit plus en détail ci-après.

Les enseignants remplissent l'instrument de mesure du développement de la petite enfance (IMDPE)

Les enseignants de la maternelle remplissent l'instrument de mesure du développement de la petite enfance (IMDPE) pour tous les enfants en maternelle (ou l'équivalent) dans les écoles qui participent à l'initiative CPE.

  • L'IMDPE est une mesure basée sur la population utilisée pour évaluer le développement des enfants de maternelle en tant que groupe distinct. Il fournit les évaluations des enseignants sur le comportement et les capacités des enfants dans cinq domaines : santé et bien-être, maturité émotionnelle, aptitude sociale, langue et cognition ainsi que communication et connaissances générales.
  • L'IMDPE a été élaboré sous la direction des Drs M. Janus et Dan Offord à l'Offord Centre for Child Studies de l'Université McMaster. Lié par contrat à RHDCC, l'Offord Centre était responsable des évaluations de l'IMDPE pour les 21 projets CPE, y compris les rapports propres au site pour chaque collectivité.

Enquête fondée sur des entrevues de parents et des évaluations directes d'enfants (EEPEDE)

L'Enquête fondée sur des entrevues de parents et des évaluations directes d'enfants (EEPEDE) est composée de plusieurs éléments. L'élément des entrevues des parents donne de l'information sur le contexte et les processus familiaux, y compris la situation socio-économique, le style d'éducation parentale et l'utilisation des ressources communautaires. Les parents font également état du développement et des expériences de leur enfant de maternelle ainsi que des activités à la maison et dans la collectivité. Les éléments qui évaluent directement l'enfant comprennent un examen des mots compris, de l'alphabétisme et des connaissances cognitives générales ainsi que les notions de calcul de base.

  • Les instruments utilisés par l'EEPEDE sont fondés sur ceux qu'utilise l'Enquête longitudinale nationale sur les enfants et les jeunes (ELNEJ) depuis 2000. Ces instruments permettent d'évaluer un échantillon d'enfants de la maternelle dans chaque collectivité et la personne qui connait le plus chaque enfant (habituellement un parent).
  • Lié par contrat à RHDCC, le cabinet R.A. Malatest and Associates s'est chargé de la collecte de données de l'EEPEDE dans les 21 projets CPE, y compris un rapport de recherche communautaire pour chaque collectivité.
  • Une lettre d'information et un formulaire de consentement standards pour les parents ont été fournis par RHDCC et utilisés dans chaque collectivité de l'initiative CPE (avec des renseignements locaux supplémentaires ajoutés au besoin), afin de s'assurer que les parents étaient tenus bien informés sur la recherche de l'EEPEDE et ont consenti à la réception, par leur projet local dans le cadre de l'initiative CPE, d'un fichier de données utilisé au nom des jeunes enfants de la collectivité.

Inventaire des programmes et des services

Chaque projet dans le cadre de l'initiative CPE a élaboré son propre inventaire des programmes et services locaux offerts aux jeunes enfants et à leurs familles. Les programmes et services pertinents comprennent notamment des cliniques de santé, des écoles, des centres de ressources familiales, des installations récréatives (y compris les parcs et les piscines) et des établissements de service de garde.

Données socio-économiques

Chaque projet compile également des données sur les caractéristiques socio-économiques comme les niveaux d'emploi, d'éducation et d'accession à la propriété. Ces renseignements se fondent habituellement sur les données propres au quartier du dernier Recensement du Canada, mais peuvent également inclure des renseignements administratifs locaux. RHDCC a fourni les données du Recensement 2001 aux promoteurs sur demande en vertu de son contrat de licence avec Statistique Canada.

1.2.4 Utilisation et diffusion de l'information

Les objectifs de l'initiative comprennent la sensibilisation accrue des collectivités sur la situation de leurs jeunes enfants et sur la façon dont la collectivité leur vient en aide. Certains rapports sont produits par chaque collectivité CPE afin de permettre l'utilisation et le partage des résultats de leur recherche CPE.

  • Le Rapport de recherche communautaire présente les résultats sur le développement des enfants de maternelle tels que fournis par leurs parents, enseignants et les enfants. Ce rapport présente également des renseignements sur les familles et la collectivité fournis par les parents. Chaque rapport de recherche propre à chaque collectivité est conçu par le cabinet spécialisé en recherches responsable de la collecte de données de l'EEPEDE.
  • L'organisme parrain de chaque collectivité financée produit un rapport sur le profil de la collectivité afin d'illustrer les résultats de la recherche CPE pour les membres de la collectivité. Le rapport inclut des cartes qui donnent une « image » des relations entre les divers facteurs communautaires (p. ex., emplacement des parcs, bibliothèques et établissements de service de garde), les caractéristiques socio-économiques communautaires (p. ex., taux d'emploi et d'accession à la propriété) et les résultats du développement des enfants (p. ex., compétence sociale). Ces renseignements proviennent de l'inventaire des programmes et des services, des données du Recensement sur les quartiers et des données des enseignants sur le développement des enfants.
  • Un plan d'action communautaire est mis sur pied par l'organisme parrain de concert avec les individus et organisations de la collectivité. Le plan d'action est basé sur les résultats tirés de la recherche CPE. Il identifie des mesures qui visent à améliorer les services et les programmes pour les jeunes enfants. Il propose également des mesures pour encourager les membres de la collectivité à travailler ensemble afin de répondre aux besoins des jeunes enfants. Il propose aussi des façons de pallier les lacunes dans les moyens de soutien communautaires pour les enfants et agit à titre de plan d'action directeur de la collectivité.

Le processus d'élaboration du plan d'action communautaire et les événements et activités qui servent à diffuser les informations de recherche (aux parents, fournisseurs de services, éducateurs et autres) sont utilisés par l'organisme parrain de l'initiative CPE et la coalition communautaire afin de mobiliser la collectivité quant à l'importance du développement de la petite enfance.

1.2.5 Intervenants clés dans un projet de l'initiative CPE

En plus de RHDCC, de nombreux intervenants clés participent à la mise en œuvre d'un projet de l'initiative CPE.

  • L' organisme parrain ou le promoteur communautaire est chargé de la gestion et de l'exécution du projet (en tant qu'agent responsable dans l'entente de contribution avec RHDCC). L'organisme parrain a la responsabilité globale des réalisations du projet et des résultats. Il est également chargée de fournir les rapports financiers et rapports d'activités ou de progrès ainsi qu'un rapport final à RHDCC. De plus, il doit également veiller à engager le coordonnateur communautaire et le chercheur en milieu communautaire (au besoin).
  • Le coordonnateur communautaire gère tous les aspects des activités en lien avec l'initiative CPE au sein d'un site CPE et doit travailler en collaboration avec les chercheurs (internes et indépendants) et avec la coalition communautaire. Le coordonnateur communautaire relève de l'organisme parrain/du promoteur communautaire et est chargé de l'achèvement des réalisations du projet, de l'établissement des relations et de susciter l'intérêt de la collectivité sur les activités CPE et sur l'importance du développement de la petite enfance. Le coordonnateur travaille de concert avec l'organisme parrain, le chercheur en milieu communautaire et la coalition communautaire afin de mettre sur pied le plan d'action communautaire fondé sur des données probantes, et doit faciliter la collecte des données, les recherches locales et la mise en commun de l'information. Le coordonnateur communautaire doit également former les enseignants afin de préparer leur participation à l'initiative CPE.
  • Le chercheur en milieu communautaire Note de bas de page 8 compile l'inventaire des programmes et services communautaires, interprète les données, fait la liaison avec les entrepreneurs en collecte de données pour les rapports et produit le rapport sur le profil de la collectivité.
  • La coalition communautaire agit à titre de conseiller. Elle travaille conjointement avec le coordonnateur communautaire et l'organisme parrain afin de comprendre les données CPE, de mobiliser la collectivité et de mettre sur pied le plan d'action communautaire.
  • Les entrepreneurs indépendants recueillent les données de l'IMDPE et de l'EEPEDE. Ils produisent également les rapports IMDPE, les rapports de recherche en milieu communautaire et les fichiers de données IMDPE et EEPEDE.
  • Les responsables des provinces et des territoires , bien qu'ils ne soient pas des intervenants clés dans le projet de l'initiative CPE, participent à l'examen externe des propositions et font partie de quelques coalitions communautaires.

1.3 Portée et méthode de l'évaluation

L'évaluation formative portait sur l'analyse du déroulement de l'initiative CPE en examinant les problèmes de mise en œuvre et de conception, les progrès réalisés dans l'atteinte des résultats immédiats et les enjeux liés à la responsabilisation Note de bas de page 9 . De plus, il a été demandé à l'équipe d'évaluation de donner des conseils préliminaires sur la conception de l'évaluation sommative.

L'évaluation formative a ciblé plus particulièrement les 21 collectivités sélectionnées pour recevoir le financement CPE en 2005 (c.-à-d. les sites CPE participants en 2005). Elle a été réalisée environ à mi-chemin au cours des ententes de financement de 3 ans avec ces collectivités.

1.3.1 Approche de l'évaluation

L'approche mise sur pied pour l'évaluation formative a été fondée sur l'utilisation de multiples sources de données, dont ces trois principales :

  • L' examen de la documentation et des fichiers comprenait les documents et fichiers administratifs CPE existants pour chacune des 21 collectivités sélectionnées en 2005. La plupart des documents examinés ont été fournis par RHDCC et comprennent : le contexte de l'initiative CPE, des renseignements sur la collecte de données CPE et sur le soutien aux sites, les propositions communautaires, les ententes de contribution, les rapports d'évaluation et fondés sur les résultats ainsi que les fichiers administratifs. L'examen de la mise en œuvre initiale produite par le groupe de vérification interne de RHDCC était également inclus. Note de bas de page 10
  • Un examen de la documentation a été mené afin d'évaluer comment l'évaluation sommative CPE pouvaient reposer sur les recherches et les évaluations de programmes semblables. De plus, l'examen de la documentation a analysé des programmes communautaires semblables au Canada et dans d'autres pays pour trouver des façons d'améliorer la conception, la collecte de données et les méthodes d'analyse de l'initiative CPE. Un examen de la documentation de recherche récente sur le rôle des collectivités dans la promotion du développement de la petite enfance était également inclus. Note de bas de page 11
  • Des entrevues approfondies auprès d'informateurs clés (n=44) ont été réalisées au printemps et à l'été 2007 (environ à mi-chemin au cours des ententes de financement de trois ans avec les 21 collectivités CPE) avec des représentants des groupes suivants :
    • personnel de gestion du programme CPE (n=6);
    • entrepreneurs indépendants incluant les personnes des cabinets liés par contrat avec RHDCC qui participent à la collecte et à l'analyse des données (n=3);
    • un expert de l'Accès à l'information et de la protection des renseignements personnels qui connaît l'initiative CPE (n=1); Note de bas de page 12
    • les représentants de la collectivité CPE (n=24) (c.-à-d. les organismes parrains/promoteurs communautaires de l'initiative CPE (n=9), les coordonnateurs de la collectivité CPE (n=9) et les membres de la coalition communautaire de l'initiative CPE (n=6));
    • les demandeurs de la collectivité qui n'ont pas obtenu de financement pour leur demande CPE (n=5);
    • les représentants des ministères du gouvernement provincial et des territoires et les experts dans le domaine des influences communautaires sur le développement de l'enfant (n=5).

Dix des 21 collectivités CPE ont été sélectionnées pour faire partie des entrevues auprès des informateurs clés. Note de bas de page 13 Ces collectivités ont été sélectionnées afin de donner une représentation mixte d'une population petite ou grande, urbaine ou rurale, ainsi qu'en fonction de la région et de l'ethnicité. Toutes les entrevues auprès des informateurs clés ont été réalisées par téléphone. Note de bas de page 14

Dans le but d'étoffer les résultats présentés dans le rapport d'évaluation, un ensemble de directives a été utilisé afin de décrire de quelle façon les informateurs clés ont répondu à la question donnée :

  • Aucun : aucun informateur clé n'a exprimé d'opinion particulière.
  • Quelques-uns : un ou deux informateurs clés ont une opinion particulière.
  • Certains : entre le quart et la moitié des informateurs clés ont la même opinion.
  • La plupart : la plupart (plus de la moitié), mais pas la totalité, des informateurs clés ont la même opinion.
  • Tous : tous les informateurs clés ont exprimé les mêmes opinions ou des opinions semblables.

1.3.2 Défis et limites méthodologiques

Même si l'utilisation combinée de ces trois sources d'informations donne une base de renseignements utile pour l'évaluation formative, il convient de noter certaines limites.

  • Malgré le fait que certaines données sur les résultats étaient tirées du processus d'examen des dossiers, ces données doivent être traitées avec soin, car certains obstacles liés aux définitions ont été constatés au moment de regrouper les données de tous les projets. Par exemple, la production de rapports sur les données/informations quantitatives par les sites CPE est, dans une certaine mesure, ouverte à l'interprétation de chaque site des indicateurs proposés par l'initiative CPE. De plus, des problèmes dans la définition de ce qui constitue un partenariat ont rendu difficile l'interprétation des données des partenaires des collectivités.
  • En raison d'un certain roulement du personnel au sein des collectivités CPE, il était parfois difficile de joindre les informateurs clés les plus aptes à répondre.
  • Afin de s'assurer qu'une seule opinion n'influence pas trop les résultats, une « approche représentative » a été utilisée pour quantifier les résultats provenant de l'informateur clé. Cette approche a toutefois le défaut de réduire parfois l'importance des opinions exprimées par des personnes ayant des connaissances irremplaçables sur un enjeu (selon leur domaine d'expertise). Ainsi, l'équipe d'évaluation a tout fait en son pouvoir pour s'assurer que ce type de connaissances était pris en compte dans les résultats de l'évaluation.
  • Une autre limite potentielle est que les entrevues auprès des informateurs clés ont été menées avec des représentants de seulement 10 des 21 sites CPE. Il convient cependant de relativiser cette difficulté méthodologique, car la plus grande partie de la collecte des données ciblait l'ensemble des 21 sites CPE. En outre, les fichiers de programme ont été passés en revue pour chacun des 21 sites. Les autres catégories d'informateurs clés ont également apporté une perspective plus large de l'initiative CPE.

2. Conclusions sur la conception et la mise en œuvre

La présente section traite d'enjeux touchant les domaines suivants :

  • objectifs de l'initiative CPE;
  • souplesse et sélection de projet;
  • rôles et responsabilités des intervenants de l'initiative CPE;
  • forces, défis et améliorations proposées dans le cas de la conception et des outils de recherche CPE;
  • leçons apprises (en particulier, ce qui a bien fonctionné dans le cadre de la participation des sites CPE en 2005, dans quel domaine des modifications sont nécessaires et quelles améliorations ont été apportées).

2.1 Objectifs de l'initiative CPE

Cette partie a pour mission d'évaluer si les objectifs CPE sont clairs et atteignables. Elle examine également si les 21 sites CPE ont éprouvé des difficultés à comprendre ou à atteindre les objectifs immédiats de leurs projets et les résultats escomptés pour l'initiative CPE.

2.1.1 Les objectifs de l'initiative CPE sont-ils clairs et atteignables?

La documentation du programme CPE indique que les objectifs généraux de l'initiative CPE sont : de renforcer la capacité des collectivités à utiliser les données locales afin de les aider à prendre des décisions qui améliorent la vie des enfants ainsi que de permettre aux membres de la collectivité de s'entraider afin de répondre aux besoins des enfants. Les résultats (objectifs) escomptés du programme sont illustrés dans le tableau 2.1.

Tableau 2.1 : Résumé des résultats escomptés du programme
Type de résultat Résultat escompté
Résultats (objectifs) immédiats anticipés dans la première année de la mise en œuvre de l'initiative
  • soutien accru aux collectivités
  • disponibilité et partage accrus de l'information sur le rôle des familles et des collectivités dans le développement de l'enfant
  • accroître la sensibilisation et l'utilisation des connaissances des parents et de la collectivité au sujet du développement de l'enfant
Résultats (objectifs) à moyen terme attendus dans les deux à trois premières années de la mise en œuvre
  • capacité accrue de la collectivité d'établir des partenariats dans divers secteurs afin de répondre aux questions liées au développement de l'enfant
  • capacité accrue des collectivités d'aider les parents à faire des choix pour leurs enfants basés sur les connaissances et données locales
Résultats (objectifs) à long terme attendus dans quatre ans ou plus
  • système de soutien amélioré au sein des collectivités fondé sur des initiatives communautaires durables et efficaces
  • responsabilisation accrue des politiques et programmes sociaux grâce à l'intégration de connaissances et de données locales
Objectif principal de l'initiative CPE
  • encadrer les familles canadiennes avec enfants en fournissant des choix et du soutien qui reconnaissent la diversité de leurs besoins
  • Source : examen de la documentation.

Conclusion : Le mandat, les objectifs et les résultats escomptés de l'initiative CPE ont été communiqués de manière uniforme.

Cette conclusion correspond à l'examen de la mise en œuvre initiale, qui avait permis de constater que les divers éléments de la planification stratégique pour l'initiative (y compris le mandat, les objectifs et les résultats escomptés) appuient la vision, les buts et les priorités du Ministère. Les dossiers et la documentation examinés pour l'évaluation formative appuyaient la conclusion que le mandat, les objectifs et les résultats escomptés de l'initiative CPE ont été communiqués de façon uniforme.

Conclusion : Le caractère mesurable de certains des résultats escomptés de l'initiative ainsi que la priorité accordée à ceux-ci pourraient être améliorés, surtout dans le cas des résultats à long terme et des résultats finaux.

Les responsables du programme interviewés à titre d'informateurs clés avaient des opinions partagées sur le fait que les résultats de l'initiative (immédiats, à moyen terme et à long terme) étaient bien définis et atteignables.

  • Quelques informateurs clés étaient d'avis que le résultat à long terme en lien avec « une responsabilisation accrue des politiques et programmes sociaux par l'intégration des connaissances et des données locales » est difficile à mesurer et donc que l'initiative CPE ne peut avoir d'impact mesurable dans ce domaine.
  • De la même façon, quelques informateurs clés avaient comme opinion que l'objectif principal (c.-à-d. encadrer les familles canadiennes avec enfants en fournissant des choix et du soutien qui reconnaissent la diversité de leurs besoins) est trop vaste et devrait être plus ciblé.

Les commentaires suggérés ciblaient l'amélioration des processus, plutôt qu'une reformulation de l'initiative. Ils correspondaient également aux révisions apportées au modèle logique CPE au moment de l'évaluation formative.

2.1.2 Compréhension des participants et première expérience

Conclusion : Les participants semblent avoir une compréhension claire des objectifs immédiats du projet et des résultats escomptés de l'initiative CPE.

Les entrevues réalisées auprès des représentants de la collectivité (promoteurs, coordonnateurs et membres de la coalition) et les responsables du programme ont démontré que chaque site CPE a une compréhension claire des résultats immédiats et escomptés pour l'initiative CPE. Tous les informateurs clés de la collectivité ont été en mesure de donner une description des objectifs de leur projet, qui reflétaient les résultats de l'initiative CPE.

Conclusion : Les données indiquent que l'ensemble des 21 collectivités CPE ont fait des progrès dans la mise en œuvre de leur projet et vers l'atteinte de leurs objectifs immédiats et des résultats escomptés pour l'initiative CPE.

L'examen des dossiers a révélé que les 21 collectivités ont fait des progrès dans la mise en œuvre de leur projet de l'initiative CPE et vers l'atteinte de leurs objectifs immédiats et des résultats escomptés. Par exemple, au moment de l'évaluation, toutes les collectivités avaient terminé leur collecte de données de l'IMDPE et avaient reçu le rapport des résultats de l'IMDPE de leur entrepreneur indépendant. Tous les sites avaient développé des produits de mise en commun de l'information sur l'initiative CPE pour leur collectivité. La plupart d'entre eux avaient commencé ou terminé leur inventaire des programmes et des services, et plus de la moitié avaient commencé les activités de préparation en vue du rapport du profil de la collectivité.

La plupart des informateurs clés qui étaient des responsables du programme croyaient que les collectivités de l'initiative CPE étaient en mesure de faire de réels progrès dans l'atteinte de leurs résultats escomptés. Quelques informateurs clés ont toutefois noté que certaines collectivités avaient fait plus de progrès que d'autres.

Conclusion : La plupart des sites ont éprouvé certaines difficultés préliminaires qui découlaient en grande partie des défis au sein des collectivités individuelles (c.-à-d. les défis liés à l'adhésion au programme et en matière de dotation en personnel) plutôt que de défauts précis dans la conception de l'initiative CPE.

Même si les sites participants à l'initiative en 2005 étaient en voie d'atteindre leurs résultats immédiats, les données révèlent que la plupart des sites ont éprouvé quelques difficultés préliminaires. Ces difficultés reflètent les réalités et les défis au sein de chaque collectivité plutôt que des problèmes dans la conception ou l'exécution de l'initiative même. Les défis préliminaires suivants ont été relevés par les informateurs clés et appuyés par l'étude des dossiers et de la documentation.

  • Facteurs géographiques ou démographiques : Certaines collectivités ont connu des difficultés liées à la composition de la population ou à leur emplacement géographique. Les données indiquent, par exemple, qu'en raison des différences langagières et culturelles, l'intégration de groupes immigrants et autochtones dans le projet peut s'avérer difficile. Certains sites ont révélé que le temps et la distance entre les collectivités présentaient un défi pour la mise en œuvre du projet.
  • Collaboration des écoles et conseils scolaires : Quelques projets ont éprouvé des problèmes à obtenir l'adhésion de certaines écoles ou conseils scolaires. Parfois les écoles participaient à différents projets qui n'étaient pas liés directement à l'initiative CPE, ce qui a entraîné une certaine confusion et surcharge de travail pour les enseignants. Dans d'autres cas, différentes écoles sans conseil directeur participaient au projet de l'initiative CPE. Les promoteurs communautaires devaient donc composer avec de nombreux décideurs ou niveaux de bureaucratie pour chaque école. Dans certaines collectivités, les écoles ou les conseils scolaires composés de populations ethniques ou multiculturelles étaient réticentes à participer aux processus de collecte des données (IMDPE et EEPEDE). Elles ont toutefois participé à des activités découlant de l'initiative (p. ex., les programmes de déjeuners scolaires). Des détails supplémentaires sur la participation des écoles et des conseils scolaires sont présentés aux sections 2.4.2 et 2.4.3.
  • Adhésion de la collectivité : Certains représentants des collectivités ont constaté qu'il s'avérait difficile initialement d'obtenir l'adhésion des membres et des organisations de la collectivité lorsqu'ils ne comprennent pas l'objectif ou les avantages potentiels de l'initiative CPE. Un des premiers défis consistait à mobiliser divers types d'intervenants, comme les organisations à but lucratif et non lucratif ainsi que les politiciens locaux.
  • Dotation : Quelques représentants des collectivités ont évoqué les défis en matière de dotation au sein de leur collectivité, comme le roulement du personnel ou le fait de trouver les personnes compétentes qui possèdent les connaissances et compétences nécessaires pour occuper un poste de coordonnateur ou de chercheur en milieu communautaire. Pour certaines personnes, le roulement du personnel à RHDCC représentait un défi pour les collectivités, car les nouveaux analystes de projet de RHDCC avaient besoin de temps pour se familiariser avec les projets CPE. Même si un certain roulement du personnel est à prévoir étant donné que les projets CPE s'étalent sur trois ans, la direction de l'initiative CPE s'efforce de réduire le plus possible l'impact des changements de personnel à RHDCC sur les collectivités.
  • Retards : Ils ont souvent été cités comme les premiers défis à relever. Des exemples fréquents incluaient des retards dans la collecte, la réception ou la mise en commun des données. D'autres retards sont survenus en raison des difficultés d'obtenir la collaboration des conseils scolaires, des défis liés à la dotation au sein de la collectivité (p. ex., l'embauche d'un coordonnateur communautaire) ou des difficultés d'obtenir l'adhésion de la collectivité. Dans certains cas, le démarrage du projet a été retardé en raison d'un retard entre l'étape de la demande et celle du financement. Cette situation avait d'autres répercussions lorsque le roulement du personnel durant la période d'attente nécessitait de trouver des remplacements (ce qui entraînait des retards supplémentaires). Il y avait également un important retard dans le démarrage de la collecte de données de l'EEPEDE (comme mentionné aux sections 2.4.1 et 2.4.3).

Il doit être précisé que l'étude des dossiers et de la documentation a révélé que le processus de sélection ou l'appel de propositions s'intéressent particulièrement aux facteurs qui peuvent contribuer fortement à la capacité d'une collectivité d'atteindre ses objectifs de projet dans le cadre de l'initiative CPE. L'étude des dossiers et de la documentation a également révélé que le processus d'appel de propositions encourage les collectivités à anticiper et à résoudre certains de ces défis à l'étape de la demande. Par exemple, les collectivités doivent planifier et identifier clairement les limites géographiques de leur projet dans le cadre de l'initiative CPE (comme mentionné à la section 1.2.2). De la même façon, les collectivités doivent fournir des preuves de l'adhésion et de la participation de la collectivité et du conseil scolaire au projet. L'expérience des sites de l'initiative CPE participants en 2005 laisse penser qu'il serait utile de trouver une façon concrète d'attirer l'attention des demandeurs potentiels sur les différents types de défis à surmonter initialement et de les informer sur des solutions qui ont bien fonctionné dans d'autres collectivités de l'initiative CPE.

2.2 Souplesse et sélection de projet

La présente section examine si le modèle de l'initiative CPE est souple, autrement dit s'il permet d'accommoder les différences entre les collectivités et s'il tient compte des besoins des diverses collectivités. Cette section analyse également si le processus d'examen de proposition comprenait une représentation régionale adéquate. Elle présente aussi l'expérience des demandeurs non financés.

2.2.1 Souplesse et intégration du modèle

Conclusion : Le modèle de l'initiative CPE tient compte des besoins d'une vaste gamme de collectivités et est suffisamment souple pour accommoder leur participation. L'inclusion est contrebalancée toutefois par les exigences obligatoires de l'initiative (qui permettent d'assurer que les collectivités qui reçoivent le financement de l'initiative CPE ont la possibilité d'atteindre leurs objectifs).

L'étude des dossiers et de la documentation a révélé que l'initiative CPE s'engage à fournir un financement à un large éventail de collectivités. L'appel de propositions a été grandement publicisé dans l'ensemble du Canada et les collectivités ont eu de nombreuses occasions d'en apprendre plus sur l'initiative et de soumettre une proposition. De plus, les critères pour le financement ont favorisé la participation d'un large éventail de collectivités. Les propositions étaient également examinées de près afin de favoriser une représentation régionale dans la mesure du possible et pour s'assurer que les collectivités urbaines et rurales faisaient partie des candidats choisis. Des efforts ont aussi été déployés afin d'inclure dans les projets sélectionnés les enfants de communautés marginalisées ou défavorisées.

Le profil des 21 sites sélectionnés en 2005 pour recevoir un financement CPE indique que ces collectivités sont très diversifiées, notamment sur le plan de la densité de population, de la situation socio-économique, de la composition ethno-culturelle, des langues et du nombre de nouveaux Canadiens. Huit des 21 sites sont urbains, 6 sont ruraux et les 7 autres sont mixtes. Les renseignements sur la population disponibles pour 16 des 21 sites indiquent que les populations comptent de 12 000 à 774 072 habitants. La distribution régionale des 21 sites est la suivante : Ontario (sept sites); Colombie-Britannique (six sites); Nouvelle-Écosse (trois sites); Québec (deux sites); Saskatchewan, Manitoba et Nouveau-Brunswick (un site chacun).

Les responsables du programme, notamment les informateurs clés, étaient unanimes sur le fait que l'initiative CPE est inclusive des diverses collectivités du pays et la plupart des représentants du gouvernement des provinces ou des territoires et les experts étaient du même avis. Les membres de la collectivité, notamment les informateurs clés, ont fortement appuyé le point de vue des responsables du programme. Par exemple, certaines collectivités CPE, surtout les sites ruraux, sont décrites comme étant très homogènes, alors que d'autres sites sont caractérisés par une certaine diversité culturelle et sociale. De la même façon, certaines collectivités ont une proportion considérable de familles à faible revenu ou de familles monoparentales, alors que d'autres sont généralement bien nanties.

La plupart des informateurs clés des collectivités financées et certains informateurs clés des collectivités non financées (c.-à-d. les collectivités qui ont demandé, mais qui n'ont pas obtenu le financement CPE) souscrivent à l'énoncé selon lequel le modèle CPE est inclusif des enfants et familles de milieux et circonstances diversifiés. Ils ont donné comme exemple les groupes inclus dans l'initiative (p. ex., autochtone, francophone, ethnique/minoritaire, rural, à faible revenu). Certains informateurs clés de la collectivité ont également décrit une vaste gamme d'efforts entrepris par leur collectivité afin de favoriser l'inclusion, tels que la traduction des outils de collecte de données, l'utilisation de supports médiatiques multiculturels ou ethniques (c.-à-d. ni anglais, ni français) pour la communication et la tenue des entrevues des parents en d'autres langues que le français et l'anglais.

Malgré ces preuves de diversité, l'examen de la mise en œuvre initiale (2007) a repéré certaines lacunes dans la couverture régionale dans l'appel de propositions 2005. L'évaluation formative a déterminé que certains responsables de programme et représentants du gouvernement des provinces ou des territoires croyaient que les collectivités plus vulnérables ainsi que les collectivités autochtones avaient plus de chance d'être exclues, car elles ne satisfaisaient pas aux exigences obligatoires. Note de bas de page 15 Cette inquiétude est également exprimée par certains demandeurs non financés (voir Section 2.2.3). Ces informateurs clés reconnaissent toutefois qu'il est peu probable que les collectivités qui ne satisfont pas aux exigences obligatoires de l'appel de propositions réussissent à mettre en œuvre un projet de l'initiative CPE.

2.2.2 Pertinence de la participation régionale dans le processus de sélection

Conclusion : Le processus d'examen des propositions a généralement été considéré comme efficace. Le processus est perçu comme incluant de manière adéquate la participation des représentants et des experts régionaux, et comme incorporant leur rétroaction de façon juste et appropriée.

L'examen de la mise en œuvre initiale a conclu que les évaluations menées par les représentants du gouvernement des provinces ou des territoires et les experts régionaux en développement de la petite enfance sont conçues pour assurer l'objectivité dans la prise de décision et réduire le plus possible le risque d'erreur, d'abus ou de fraude.

L'examen de la documentation mené pour l'évaluation formative a indiqué que le processus d'examen des propositions utilisé pour sélectionner les sites CPE participants en 2005 incluait des évaluations internes et externes effectuées par les responsables des gouvernements provinciaux, le personnel du Ministère et les représentants régionaux. Note de bas de page 16 Au cours du processus d'évaluation, les représentants de Service Canada et les représentants des gouvernements provinciaux ou des territoires ont partagé leurs connaissances des organisations à but non lucratif régionales et locales qui ont fait une demande pour le financement CPE. Une fois les évaluations terminées, chaque proposition était évaluée au moyen d'une note pondérée générale (en utilisant une pondération de 60 pour cent pour les évaluations internes et une pondération de 40 pour cent pour les évaluations externes). Des évaluations environnementales et des risques de chaque proposition ont été réalisées et une justification pour la recommandation a été préparée.

Le processus d'examen des propositions et la participation des représentants régionaux sont tous deux perçus de manière positive. Les informateurs clés connaissant bien le processus (c.-à-d. les responsables du programme, les représentants des gouvernements provinciaux ou des territoires et les experts en développement de la petite enfance) ont noté qu'un équilibre sain régnait entre le personnel CPE et le personnel du gouvernement provincial ou des territoires. Chaque partie fournissait des commentaires dans son domaine d'expertise propre. Ils ont également conclu que les modifications apportées au guide d'examen de l'évaluateur ont simplifié le processus, ont réduit ce qui faisait double emploi et cadrent avec la proposition. Ils ont remarqué aussi que le modèle pour l'évaluation des propositions est bien conçu, produit une meilleure proposition et un processus d'examen plus efficace.

Conclusion : Même si la participation des représentants régionaux dans le processus d'examen des propositions a été perçue positivement, un manque d'information sur le contexte général et des problèmes possibles de conflits d'horaires ou de charge de travail ont été décrits comme deux défis du processus d'évaluation externe.

Bien que peu de défis associés au processus interne d'examen des propositions aient été signalés, les représentants du gouvernement provincial ou des territoires et les experts ont identifié deux défis clés en lien au processus d'évaluation externe.

  • Manque d'information sur le contexte : chaque province ou territoire effectue les évaluations en vase clos. Par conséquent, les examinateurs n'ont pas une bonne idée de l'équilibre (en termes des collectivités sélectionnées) dans tout le pays. Par exemple, les examinateurs ont indiqué qu'ils ne savaient pas combien de sites CPE au total seraient approuvés pour chaque province et, ainsi, ils ne connaissaient pas le nombre de propositions à recommander pour du financement par province ou territoire.
  • Charge de travail ou conflit d'horaires : les examinateurs externes participent au processus d'examen des propositions en plus de leurs occupations régulières. Quelques informateurs clés ont constaté que cela ajoute à leur charge de travail habituelle et peut entraîner des conflits d'horaires, même s'ils savent que l'initiative CPE ne peut rien faire pour corriger ce problème.

2.2.3 Expérience des demandeurs non financés

Conclusion : Les demandeurs non financés n'étaient pas unanimes dans leurs impressions, ce qui reflète la situation et les défis uniques auxquels chaque collectivité doit faire face. Leur rétroaction détaillée laisse penser que les exigences obligatoires (conçues pour s'assurer que la collectivité participe à l'initiative et pour assurer l'intégrité des données) n'étaient pas bien comprises de tous.

On a demandé aux informateurs clés qui étaient des demandeurs non financés (n=5) leurs opinions sur ce qui avait bien fonctionné selon eux, en se fondant sur leurs impressions du processus de demande CPE. La plupart d'entre eux ont affirmé que le processus de proposition CPE les a aidés à unir la collectivité et que, par conséquent, ils ont pu établir des réseaux qui continuent de s'attaquer aux problèmes liés au développement de la petite enfance (sans financement de l'initiative CPE, par contre). Certains informateurs clés ont également signalé que les réseaux formés les aideraient à développer des idées et à soumettre une proposition plus solide la prochaine fois.

On a également demandé aux demandeurs non financés les leçons qu'ils ont apprises sur l'initiative CPE, en fonction de leurs propres impressions du processus de demande.

  • Un informateur clé a souligné qu'il y avait un manque d'information disponible pendant le processus de demande, ce qui ne permettait pas de corriger les lacunes possibles dans la proposition de la collectivité. Un autre représentant de la collectivité a toutefois exprimé un point de vue différent et a expliqué de quelle manière la rétroaction des responsables CPE pendant le processus a permis à la collectivité de modifier la proposition et, par conséquent, de soumettre une deuxième demande qui a été acceptée.
  • Une autre personne interrogée a signalé que, pendant le processus de demande, les responsables avaient découvert qu'ils avaient mal interprété le but de l'initiative CPE. Ils ont retiré leur proposition lorsqu'ils ont réalisé qu'ils avaient déjà participé à une initiative semblable dans leur collectivité.
  • Un autre informateur clé a expliqué que les responsables de sa collectivité avaient conclu, au stade du processus de demande, que l'initiative CPE était mieux adaptée aux grandes collectivités urbaines et ont estimé que leur collectivité était trop petite pour être acceptée comme site CPE.

On a également demandé aux demandeurs non financés leurs opinions sur ce qui ne fonctionnait pas selon eux et ce qui devait être modifié.

  • Exigences obligatoires : la plupart des répondants avaient des inquiétudes au sujet des exigences qu'ils devaient respecter dans le processus de demande (c.-à-d. la plupart d'entre eux aimeraient que l'initiative soit plus inclusive). Un informateur clé a expliqué de quelle manière, par exemple, la collectivité a choisi une coalition comme commanditaire, mais a été rejetée, car cette organisation commanditaire n'exerçait pas ses activités depuis au moins trois ans, ce qui constitue une exigence minimale de l'initiative. De la même façon, un autre informateur clé a mentionné que le critère exclut les petites collectivités (p. ex. , comptant moins de 300 enfants à la maternelle) et qu'il conviendrait de modifier les règles afin d'être inclusif des collectivités des Premières nations.
  • Description de leur collectivité : un informateur clé a indiqué que le modèle de demande ne permettait pas de donner une description complète de la collectivité (alors qu'une description plus détaillée aurait pu les aider au stade de l'examen). Un autre a mentionné qu'il était difficile d'expliquer de quelle façon leur collectivité fonctionnait et était d'avis que les responsables de RHDCC devraient faire preuve d'une plus grande souplesse.

2.3 Rôles et responsabilités

La présente section examine si les rôles et les responsabilités des intervenants clés de l'initiative CPE sont clairement compris et sont intégrés comme prévu.

Conclusion : Les données indiquent que les rôles et les responsabilités des intervenants clés ont été bien compris au moment de l'évaluation et ont été intégrés comme prévu, même si des précisions ont été nécessaires pour surmonter des difficultés initiales.

Les rôles et les responsabilités des intervenants clés ont été décrits à la section 1.2.5. Selon les responsables du programme CPE et la documentation du programme, les rôles et les responsabilités des intervenants clés ont été expliqués et précisés par les séances d'orientation CPE et par les communications écrites. La plupart des informateurs clés, notamment les représentants de la collectivité, les responsables du programme et les entrepreneurs indépendants, jugeaient que les rôles et les responsabilités étaient bien compris au moment de l'évaluation. Comme pour d'autres aspects de l'initiative CPE, il y a eu quelques différences entre les collectivités pour ce qui est de la manière dont les rôles et les responsabilités ont été intégrés. Toutefois, ces différences s'inscrivaient dans les paramètres de l'initiative CPE.

L'étude des dossiers et de la documentation et les informateurs clés ont indiqué qu'il y a eu initialement quelques difficultés à surmonter (surtout propres à chaque site et qui reflétaient les différences entre les sites CPE). Les données ont également montré que ces difficultés ont été surmontées en grande partie. Les difficultés initialement rencontrées pour chaque intervenant clé sont décrites ci-dessous.

  • Dans certains cas, certaines attentes de RHDCC devaient être précisées en fonction du degré de participation des organismes parrains/promoteurs communautaires . Un informateur clé responsable du programme a noté que ces précisions ont été apportées pendant le processus de la mise en œuvre de l'entente de contribution dans chaque collectivité, ce qui a dissipé toute confusion préliminaire.
  • Le besoin de préciser le rôle des coordonnateurs de la collectivité en ce qui concerne leur relation avec les entrepreneurs indépendants (c.-à-d. que les coordonnateurs ne travaillent pas pour les entrepreneurs indépendants) s'est fait sentir très tôt. Les entrepreneurs indépendants agissant à titre d'informateurs clés ont constaté que certains coordonnateurs de la collectivité avaient des relations de travail plus étroites au sein de la collectivité que d'autres et pouvaient mettre à profit leurs relations et ainsi jouer un rôle plus déterminant dans leur collectivité.
  • Dans certains cas, il était nécessaire de préciser que la coalition communautaire avait un rôle de conseiller et non un rôle directeur dans le projet de la collectivité. Ainsi, certains coordonnateurs de la collectivité qui agissaient à titre d'informateurs clés ont observé une baisse marquée du nombre de membres de la coalition ou de la collectivité qui participaient aux réunions au cours du projet. Les entrepreneurs indépendants ont relevé certaines différences entre les collectivités, notamment le rôle plus prépondérant de certaines coalitions communautaires comparativement à d'autres dans les projets CPE.
  • Tous les 21 sites CPE n'ont pas engagé un chercheur en milieu communautaire . Dans les collectivités où un chercheur en milieu communautaire a été engagé, aucun manque de compréhension ou de clarté n'a été dénoté relativement au rôle des chercheurs.
  • Le besoin de préciser les rôles et les responsabilités des entrepreneurs indépendants dans les processus de production de rapports et de collecte des données IMDPE et EEPEDE s'est manifesté. Les commanditaires et les coordonnateurs de certaines collectivités ont signalé que les entrepreneurs indépendants avaient de la difficulté à saisir ce qui était exigé d'eux. Quelques cas de problèmes découlant d'une mauvaise communication entre les entrepreneurs indépendants et les conseils scolaires sont survenus, mais un informateur clé a observé que ces cas étaient survenus en raison de changements au sein du personnel ou de la direction dans les conseils scolaires. Des difficultés en matière de coordination ont également été observées, et quelques collectivités étaient d'avis que les entrepreneurs indépendants s'attendaient à un niveau déraisonnable de soutien de la part de la collectivité.

Conclusion : Les avis étaient partagés sur la clarté et la mise en œuvre du rôle du Ministère, surtout en raison du roulement de personnel au sein de RHDCC.

Même si certains commanditaires et coordonnateurs ont signalé avoir eu une relation de travail positive avec RHDCC, d'autres ont déclaré avoir eu des problèmes considérables en raison du roulement du personnel et des retards. Selon certains représentants de la collectivité, le roulement du personnel au sein de RHDCC signifiait que de nouveaux analystes de projet devaient faire des efforts considérables pour se familiariser en peu de temps avec les dossiers, ce qui a entraîné des problèmes de communication entre RHDCC et les collectivités. Parallèlement, d'autres représentants de la collectivité ont fait l'éloge du professionnalisme démontré et de l'aide fournie par les analystes de projet de RHDCC. Les entrepreneurs indépendants avaient également des avis partagés au sujet du Ministère, et un entrepreneur a aussi remarqué les difficultés que constitue le roulement de personnel de RHDCC pour les collectivités.

2.4 Outils de recherche clés et conception de l'initiative CPE

La présente section commence par examiner les forces clés et les défis/limites principaux de la conception de l'initiative CPE. Elle donne également quelques suggestions afin d'améliorer la conception de l'initiative CPE. Le reste de la section présente les conclusions sur les forces, défis/limites et améliorations suggérées pour l'IMDPE, l'EEPEDE et le rapport sur le profil de la collectivité. Les domaines où des modifications/améliorations ont déjà été apportées au moment de l'évaluation sont mentionnés à la section 2.5.2.

2.4.1 Évaluation du modèle de conception global

Perception des points forts de la conception CPE

Conclusion : Les forces clés de la conception comprennent, entre autres, la collaboration, l'accent mis sur la collectivité, la crédibilité et la communication

Il y a peu de données provenant de l'étude des dossiers et de la documentation quant aux forces et limites précises de la conception de l'initiative. Des données tirées de l'examen de la mise en œuvre initiale ont toutefois indiqué que le modèle CPE fonctionne mieux lorsque les collectivités utilisent une approche collaborative et inclusive (participation du gouvernement et des organisations sans but lucratif), ont une forte direction et produisent des produits d'information accessibles.

On a demandé aux informateurs clés agissant à titre de responsables de programme, aux représentants des gouvernements provinciaux ou des territoires et aux experts quelles étaient les principales forces clés de la conception CPE. Même en l'absence d'un consensus clair, il est possible de relever les quatre catégories de forces suivantes :

  • La collaboration, qui comprend :
    • le fait de réunir les ressources et les forces de la collectivité et les ressources du gouvernement fédéral;
    • la relation entre les partenaires provinciaux et les partenaires du CPE (c.-à-d. l'évaluation des propositions et les comités fédéraux/provinciaux/des territoires), qui permet de s'assurer que les efforts sont complémentaires;
    • Le personnel de RHDCC et le soutien (c.-à-d. le soutien logiciel) et la formation (c.-à-d. pour l'établissement du profil) fournis aux sites;
  • L'accent mis sur la collectivité , qui comprend :
    • l'utilisation des postes affectés (c.-à-d. coordonnateur de la collectivité et chercheur en milieu communautaire) à chaque site CPE plutôt que d'utiliser les postes existants au sein de chaque collectivité, une approche qui permet de s'assurer que les compétences du titulaire cadrent avec les besoins de l'initiative CPE;
    • la participation de la collectivité dans la collecte de données (permet à la collectivité dans son ensemble d'avoir une meilleure compréhension des facteurs qui favorisent le développement de l'enfant ou qui lui nuisent et qui encouragent des changements au sein de la collectivité);
    • le renforcement des capacités de la collectivité au moyen du travail de la collectivité sur la collecte de données, la préparation de l'inventaire des programmes et des services et le travail en collaboration avec Recensement Canada pour établir le profil communautaire;
  • La crédibilité , qui comprend :
    • un processus rigoureux d'appel de propositions et d'évaluation;
    • des instruments et des approches solides de collecte de données (p. ex., IMDPE, EEPEDE, profil communautaire) et une utilisation d'entrepreneurs indépendants pour assurer une collecte de données normalisée pour l'IMDPE et l'EEPEDE, tout en permettant assez de souplesse pour s'adapter aux besoins propres à la collectivité;
    • la fourniture de données de recherche crédibles provenant de sources multiples en tant que catalyseur de l'action communautaire et du développement d'un plan d'action communautaire;
    • pour l'ensemble de l'initiative CPE, des données valides (crédibles) provenant d'une vaste gamme de sources et de collectivités dans l'ensemble du pays;
  • La communication, qui comprend :
    • une sensibilisation à l'égard du développement de la petite enfance et un encouragement aux collectivités pour qu'elles donnent une place importante aux enfants;
    • les mesures pour favoriser le transfert de connaissances.

Défis constatés ou limites et modifications suggérées pour la conception CPE

Conclusion : L'inquiétude principale relative à la conception mentionnée par les informateurs clés était un manque de liens établis entre les données de recherche de l'IMDPE et l'EEPEDE.

Le nombre et la portée des forces de la conception CPE observés par les informateurs clés démontrent les succès continus et la satisfaction générale de l'initiative au sein des sites CPE. Toutefois, les informateurs clés étaient d'avis qu'il y avait un manque évident de liens entre les données de recherche de l'IMDPE et de l'EEPEDE. La conception CPE exigeait initialement que les évaluations de l'IMDPE et de l'EEPEDE soient effectuées sur la même cohorte d'enfants. Toutefois, en raison des retards administratifs dans la passation des marchés, la collecte de données pour l'EEPEDE a été interrompue pendant presque un an. Par conséquent, une cohorte différente a été utilisée pour l'IMDPE et l'EEPEDE. Certains des informateurs clés avaient des doutes sur l'exactitude et l'utilité de données obtenues de deux cohortes différentes. La section 2.4.3 examine en détail l'utilisation de deux cohortes différentes.

Conclusion : Les améliorations suggérées pour la conception CPE ciblaient l'amélioration des processus, plutôt qu'une refonte de l'initiative. Plusieurs des suggestions formulées par les informateurs clés (p. ex., améliorer la coordination entre les projets et programmes de développement de la petite enfance des provinces ou territoires) sont la préoccupation centrale de l'initiative CPE depuis le début. L'examen de la documentation semblerait justifier l'adoption d'une approche à plus long terme et encourager les collectivités à planifier également pour les besoins des enfants plus vieux.

Une des questions posées aux informateurs clés, notamment les responsables du programme, les représentants du gouvernement provincial ou des territoires et les experts, visait à déterminer s'ils croyaient que des changements devaient être apportés à la conception de l'initiative CPE. Pour la plupart, les aspects à améliorer qui ont été mentionnés coïncidaient avec les aspects qui ont été ciblés aux fins d'amélioration dès le début de l'initiative CPE. Leurs suggestions incluaient :

  • améliorer le processus d'examen des propositions en déployant plus d'efforts dans l'évaluation de la capacité des sites demandeurs de l'initiative CPE afin de s'assurer que le financement n'est accordé qu'aux collectivités qui ont réellement la capacité d'entreprendre le projet de l'initiative CPE;
  • améliorer la coordination entre les projets et les programmes de développement de la petite enfance des gouvernements provinciaux ou des territoires;
  • étudier des possibilités d' amélioration du transfert des connaissances (c.-à-d. faire participer le milieu des affaires à l'initiative CPE).

L'examen de la documentation a révélé que les caractéristiques générales de l'initiative CPE étaient très semblables à celles de nombreuses initiatives communautaires qui étaient mises en œuvre dans d'autres pays. Ces caractéristiques peuvent également être considérées comme des principes et des stratégies de fonctionnement dont l'efficacité a été démontrée dans l'ensemble des initiatives de développement de la petite enfance des collectivités. Par exemple, toutes les initiatives :

  • sont dirigées localement et répondent aux besoins locaux, tels qu'ils sont perçus par les membres de la collectivité;
  • accordent une priorité à un processus communautaire qui définit les objectifs du programme, les stratégies d'intervention et la détermination des objectifs de projet locaux;
  • semblent avoir abordé leurs collectivités de façon semblable (c.-à-d. une invitation ouverte à participer, une détermination claire des exigences des participants, l'attente selon laquelle les organismes clés participeront et l'utilisation des commanditaires locaux responsables);
  • soutiennent un processus d'évaluation sous une forme ou une autre.

L'examen de la documentation a également révélé que les différences parmi les programmes reflètent des choix de valeur ou des priorités du gouvernement plutôt que des lacunes (comme indiqué au tableau 2.2).

Tableau 2.2 : Résumé des différences parmi d'autres programmes
Programme Caractéristiques principales
Communities for Children (Australie) et Success by Six (États-Unis)*
  • Cible les jeunes enfants et souligne l'importance d'enrichir l'expérience des enfants d'âge préscolaire.
  • Les documents de la politique se rapportent à l'importance du développement du cerveau et de fournir des environnements stimulants.
Partir d'un bon pas pour un avenir meilleur (Canada)
  • Cible deux groupes : les très jeunes enfants (de la naissance à quatre ans) et les enfants plus vieux (de quatre ans à huit ans).
Children's Trusts (Angleterre)
  • Vise tous les enfants et les jeunes.
  • Se préoccupe également de certaines conditions (c.-à-d. la violence et la négligence envers les enfants, le faible rendement scolaire et le comportement antisocial chez les adolescents).
Collectivités dynamiques (Canada) et Social Inclusion Partnerships (Écosse)
  • Des stratégies qui ciblent l'amélioration des conditions de vie pour tous les membres de la collectivité.
  • Vise l'amélioration des vies des enfants, des adultes et des familles entières.
  • * Veuillez prendre note que l'initiative CPE ferait partie de ce groupe de programmes.
  • Source : Examen de la documentation.

Pour ce qui est des suggestions pour améliorer la conception CPE, l'examen de la documentation a montré que l'initiative (qui ciblait les enfants plus jeunes) est différente d'autres types de programmes semblables ailleurs dans le monde, car elle fait une distinction entre les enfants plus jeunes et plus vieux. Cette caractéristique laisse penser que la logique de l'initiative CPE pourrait être améliorée en développant plus en détail l'enjeu de la continuité dans le développement. Par exemple, il serait possible de demander aux collectivités CPE d'anticiper et de planifier explicitement les besoins des enfants lorsqu'ils deviennent plus vieux.

2.4.2 Évaluation de l'IMDPE

Comme mentionné à la section 1.2.3, l'IMDPE est une mesure basée sur la population utilisée pour évaluer dans des classes de maternelle le désir d'apprendre des enfants de quatre et cinq ans. Les données sont recueillies des enseignants de la maternelle (avant la première année) dans les écoles participant au projet de l'initiative CPE. Note de bas de page 17 Des fonds sont requis pour engager des enseignants remplaçants pendant que les enseignants participants suivent les séances de formation sur la manière de remplir le questionnaire IMDPE et pendant qu'ils remplissent le questionnaire pour chaque enfant. Les fonds pour les remplaçants sont gérés par l'organisme parrain, au moyen des ententes de contribution.

Participation des conseils scolaires dans l'IMDPE

Conclusion : Quelques informateurs clés ont remarqué que certaines collectivités ont éprouvé initialement des problèmes à obtenir l'adhésion des services d'administration du personnel du district scolaire (p. ex., certaines écoles/conseils scolaires étaient inquiets du mauvais usage possible des résultats).

Comme mentionné à la section 1.2.5, les écoles/conseils scolaires jouent un rôle clé dans la mise en œuvre de l'IMDPE. Ainsi, chaque collectivité CPE devait inclure des lettres de soutien de chaque conseil scolaire participant qui démontraient leur volonté de : a) fournir des listes d'enfants et les coordonnées de leurs familles; et b) faciliter la collecte des données CPE dans leur école avec les enfants de la maternelle (ou l'équivalent). En demandant des lettres d'engagement signées, l'initiative CPE cherchait à assurer la pleine participation des conseils scolaires à l'initiative CPE.

Comme mentionné à la section 2.1.2, certains représentants de la collectivité et entrepreneurs indépendants ont indiqué que des problèmes ont été initialement observés au sein de quelques collectivités lorsqu'il a fallu obtenir l'adhésion des administrations du personnel des districts scolaires. Par exemple, certains conseils scolaires étaient inquiets que les résultats puissent être utilisés à mauvais escient ou être mal interprétés, ce qui donnerait une mauvaise image du conseil ou de l'école en question. De plus, des écoles de certaines des provinces où l'IMDPE avait déjà été appliqué (Colombie-Britannique, Manitoba et Ontario) se sont demandé pourquoi l'IMDPE devait être répété. Quelques informateurs clés ont également observé des difficultés précoces en matière de remboursement des écoles/conseils scolaires pour les coûts de remplacement d'enseignants associés à l'exécution de l'IMDPE.

Perception des forces de l'IMDPE

Conclusion : Une force clé de l'IMDPE est qu'il s'agit d'un instrument normalisé qui est utilisé et reconnu dans l'ensemble du pays. D'autres forces perçues comprenaient les processus instaurés pour aider à appuyer la qualité des données recueillies.

Une des questions posées aux informateurs clés, notamment les représentants de la collectivité, les entrepreneurs indépendants et les responsables du programme, visait à recueillir leurs commentaires sur les forces de l'IMDPE. Ils ont indiqué qu'une force clé de l'IMDPE est qu'il s'agit d'un instrument normalisé qui est utilisé et reconnu dans l'ensemble du pays. Note de bas de page 18 D'autres forces clés ont également été identifiées par les informateurs clés et l'examen des dossiers du projet.

  • Formation : la formation fournie aux enseignants pour l'achèvement de l'IMDPE a augmenté le niveau de confort des enseignants participants, a permis une approche plus normalisée en ce qui a trait à l'achèvement de l'IMDPE et a atténué (dans une certaine mesure) la nature potentiellement subjective de l'IMDPE.
  • Rémunération : Le fait de rembourser les écoles ou conseils scolaires pour le temps qu'ont passé les enseignants à effectuer l'IMDPE a augmenté le niveau d'adhésion et de participation de la part des conseils scolaires et des écoles individuelles.
  • Personnel de recherche : le fait d'avoir un entrepreneur indépendant chargé de l'IMDPE a permis de fournir un soutien aux collectivités et de rendre les résultats disponibles dans un délai opportun.
  • Méthodes analytiques : l'établissement du profil des résultats de l'IMDPE a aidé à mieux illustrer les données et à augmenter la compréhension des données par la collectivité.

Difficultés observées ou limites et modifications suggérées pour la conception CPE

Conclusion : La plupart des difficultés ou limites identifiées de l'IMDPE étaient liées au processus de l'IMDPE (c.-à-d. certains aspects de la communication, de la production de rapports et du partage des données) plutôt qu'à l'instrument IMDPE comme tel. Les améliorations suggérées reflétaient en grande partie les difficultés rencontrées dans l'exécution de l'IMDPE et découlaient, dans certains cas, des spécificités de la collectivité de l'informateur clé.

Une des questions posées aux informateurs clés, notamment les représentants de la collectivité, les entrepreneurs indépendants et les responsables du programme, visait à connaître leurs avis sur les limites ou difficultés de la collecte de données, des méthodes d'analyse et de la qualité des données de l'IMDPE. Il s'agissait également de déterminer s'ils pensaient que des améliorations devaient être apportées à la collecte et à l'analyse des données de l'IMDPE.

En général, l'IMDPE était considéré comme un instrument crédible et sa mise en œuvre globale a été généralement reconnue comme étant réussie. La rétroaction a également révélé que certaines collectivités ont éprouvé quelques difficultés à mettre en œuvre l'IMDPE, alors que d'autres ont dû faire face à de sérieux obstacles. Le tableau 2.3 illustre les difficultés ou limites liés au processus de l'IMDPE identifiés par les informateurs clés et l'examen des dossiers du projet. Les suggestions offertes par les informateurs clés en vue d'améliorer l'IMDPE correspondaient généralement à ces domaines (comme indiqué au tableau 2.3).

Tableau 2.3 : Difficultés ou limites et modifications suggérées pour l'IMDPE
Domaine général Difficultés ou limites Modifications suggérées
Communication
  • Entre le coordonnateur de la collectivité et l'entrepreneur indépendant : il y avait une interaction insuffisante et peu de contacts directs entre l'entrepreneur indépendant et les coordonnateurs de la collectivité, car la communication passait par RHDCC.
  • Améliorer les communications : afin d'assurer une compréhension commune parmi tous les intervenants clés de la façon dont l'IMDPE sera mis en œuvre. Les rôles et les responsabilités de chaque intervenant clé et du processus de collecte des données doivent être communiqués à toutes les personnes intéressées.
Production de rapports
  • Insatisfaction initiale en raison d'une mauvaise communication : quelques coordonnateurs de la collectivité ont indiqué que leur manque d'interaction avec l'entrepreneur indépendant a entraîné initialement une insatisfaction à l'égard des rapports de l'IMDPE.
  • Pas assez convivial : les premiers rapports IMDPE n'étaient pas conviviaux et étaient difficiles à comprendre. Les rapports ont depuis été modifiés, ce qu'ont apprécié les coordonnateurs de la collectivité.
  • Améliorer la clarté des rapports : la clarté générale des rapports IMDPE doit être améliorée. De plus, les rapports doivent donner plus d'explications pour appuyer les tableaux de données pour que le lecteur comprenne bien les conclusions.
  • Plus d'information est requise sur ce que les collectivités peuvent faire avec le rapport ou les données IMDPE (c.-à-d. les aider à cerner les besoins et à fournir les services).
Participation
  • Problèmes de participation pour certains groupes : certaines écoles ou conseils scolaires comptaient des populations ethniques ou multiculturelles qui étaient réticentes à participer à l'IMDPE. Ces populations participent toutefois aux activités locales du projet de l'initiative CPE.
Communication des données
  • Les données ne pouvaient pas initialement être communiquées : la lettre aux parents expliquant la collecte des données IMDPE n'était pas aussi exhaustive qu'elle aurait pu l'être en ce qui a trait aux utilisations des données. L'examen initial du Ministère de la documentation et des lois concernant la divulgation des renseignements personnels a mené à un refus d'accès, pour les projets, aux fichiers de données personnelles IMDPE. Un second examen des lois a déterminé que, dans des circonstances précises et limitées, les données personnelles peuvent être divulguées. Cette décision a engendré un processus d'entente et de proposition de communication des données qui permettait aux projets de recevoir leur propre fichier de données IMDPE pour la durée de leur projet de l'initiative CPE afin d'effectuer des analyses précises tel que souligné dans leur proposition.
  • Précisions sur le consentement à la communication des données : la lettre aux parents (répondants) doit être claire en ce qui a trait à ce qui est recueilli et par rapport à la façon dont les données seront utilisées pour que leur consentement à la participation soit décidé en connaissance de cause et pour que les collectivités participantes puissent accéder plus facilement aux données personnelles pour les analyses propres aux collectivités.
Durée de l'évaluation
  • L'évaluation est trop longue : quelques informateurs clés de la collectivité étaient d'avis que la durée de l'évaluation IMDPE (c.-à-d. la durée nécessaire pour utiliser l'instrument) était trop longue.
Crédibilité
  • Certaines des inquiétudes liées à la recherche : quelques informateurs clés étaient préoccupés par le fait que l'IMDPE a été mené sur seulement une cohorte d'enfants et étaient d'avis que les résultats étaient influencés par l'opinion subjective des enseignants de maternelle sur les capacités individuelles des enfants. La documentation du programme a toutefois indiqué que l'IMDPE a été sélectionné pour être utilisé en se basant sur les conseils des chercheurs universitaires reconnus dans le domaine du développement de la petite enfance.
  • Inquiétudes sur les préjugés géographiques ou culturels : certains représentants des collectivités étaient d'avis que l'IMDPE privilégiait les collectivités urbaines et anglophones, ce qui les a amené à se poser des questions sur la validité des résultats à l'égard des collectivités rurales ou multiethniques.
  • Meilleure identification/inclusion des enfants ayant des besoins spéciaux : certains informateurs clés croyaient que les enfants ayant des besoins spéciaux étaient en grande partie laissés pour compte par l'IMDPE.
  • Source : Informateurs clés et examen des dossiers.

2.4.3 Évaluation de l'EEPEDE

Comme mentionné à la section 1.2.3, l'élément de l'entrevue de parent de l'EEPEDE donne de l'information sur le contexte de la famille et les processus familiaux, y compris la situation socio-économique, le style d'éducation parentale et l'utilisation des ressources communautaires. Les éléments qui évaluent directement l'enfant analysent les mots compris au moyen de l'Échelle révisée de vocabulaire en images Peabody, l'alphabétisme et les connaissances cognitives générales avec l'instrument « Qui suis-je? » et les notions de calcul de base grâce au Test de connaissances numérales. L'EEPEDE a été conçue afin d'être appliquée à un échantillon de la cohorte IMDPE d'enfants dans chaque collectivité CPE. En raison des retards dans la mise en œuvre de l'EEPEDE, elle a été toutefois appliquée à une cohorte différente.

Participation des conseils scolaires dans l'EEPEDE

Conclusion : Les informateurs clés ont indiqué de grandes variations dans le niveau de collaboration des différents conseils scolaires.

Les informateurs clés, notamment les entrepreneurs indépendants et les responsables du programme, ont constaté de grandes variations en matière de niveau de collaboration parmi les divers conseils scolaires. Les entrepreneurs indépendants ont senti que la participation et la coopération des conseils scolaires ont eu un impact direct sur le taux de participation des parents. Par exemple, les conseils scolaires coopératifs étaient plus proactifs pour ce qui est d'encourager la participation des parents dans le processus. En effectuant un suivi auprès des parents, celles-ci ont augmenté le taux de réponse et de participation pour la collectivité.

Perception des forces de l'EEPEDE

Conclusion : Une force clé de l'EEPEDE est qu'il s'agit d'un instrument validé et normalisé basé sur l'Enquête longitudinale nationale sur les enfants et les jeunes (ELNEJ). Une autre force clé est que l'instrument et la collecte de données peuvent être personnalisés afin d'accommoder les différences entre les sites CPE.

Les informateurs clés, notamment les représentants de la collectivité, les entrepreneurs indépendants et les responsables du programme, ont estimé qu'une force clé de l'EEPEDE est qu'elle est un instrument validé et normalisé basé sur l'Enquête longitudinale nationale sur les enfants et les jeunes (ELNEJ). Une autre force clé est que l'instrument peut être personnalisé afin de tenir compte des différences entre les 21 sites CPE (c.-à-d. la langue des entrevues, l'utilisation d'entrevues en personne). Note de bas de page 19 De plus, certains des informateurs clés ont mentionné qu'une autre force réside dans le fait que l'EEPEDE recueille des données sur les parents ainsi que les enfants et mesure les facteurs familiaux et communautaires.

De plus, certains facteurs ont été identifiés comme facilitant la mise en œuvre de l'EEPEDE.

  • Souplesse pour tenir compte des différences entre les collectivités : le processus a été adapté afin de répondre aux besoins de la collectivité (c.-à-d. les entrevues des parents ont été menées dans la langue de prédilection de la famille, les entrevues ont été réalisées en personne lorsqu'il était difficile de mener une entrevue téléphonique).
  • L'utilisation de gens de la collectivité pour mener les évaluations directes sur les enfants a aidé à augmenter l'adhésion de la collectivité et à répondre aux divers besoins linguistiques de celle-ci. Des enquêteurs locaux ont également été utilisés pour les entrevues en personne dans une collectivité.
  • Formation et ateliers : les représentants de la collectivité ont jugé que l'atelier CPE sur l'EEPEDE était extrêmement utile. La formation de l'évaluateur/enquêteur a été considérée comme bien conçue et normalisée.

Difficultés observées relativement à l'EEPEDE et améliorations suggérées

Conclusion : La difficulté la plus fréquemment mentionnée était le retard dans la mise en œuvre de l'EEPEDE. Les représentants de la collectivité et les entrepreneurs indépendants ont également exprimé leurs inquiétudes au sujet de certaines des conséquences de ce retard.

La plupart des représentants de la collectivité à qui avait été posé des questions sur les éventuelles difficultés ont mentionné le retard dans l'exécution de la collecte de données de l'EEPEDE. Le retard a été causé par des retards administratifs dans la mise en œuvre de l'initiative CPE et dans la sélection de l'entrepreneur responsable de la collecte des données de l'EEPEDE. Les représentants de la collectivité et les entrepreneurs indépendants ont également mentionné certaines conséquences du retard.

  • L'EEPEDE et l'IMDPE ont été menés sur deux cohortes différentes : une conséquence du retard était que l'EEPEDE et l'IMDPE ont été menés sur des cohortes d'enfants différentes. Les responsables CPE ont demandé des conseils méthodologiques sur ce problème et les données ont prouvé que tous les résultats de l'EEPEDE et de l'IMDPE sont valides (indépendamment de l'utilisation des cohortes différentes). Malgré ce fait, des informateurs clés ont dit qu'ils restent sceptiques et qu'un dialogue approfondi avec les collectivités à ce sujet serait souhaitable.
  • Collaboration avec les écoles et les conseils scolaires : il y a eu quelques cas de confusion dans certaines écoles et certains conseils scolaires à propos de leur entente de participation. En raison du retard, des gens qui avaient consenti à l'étape de la demande avaient quitté les écoles ou conseils scolaires au moment du démarrage du projet. Il fallait donc former du nouveau personnel sur le projet et sur les avantages de leur participation. Cela demandait un investissement considérable de temps de la part des coordonnateurs de la collectivité.

Les limites suivantes ont également été mentionnées :

  • Fardeau du répondant : la durée de l'entrevue du parent est trop longue. Un informateur clé a indiqué que les entrevues de parent duraient initialement 90 minutes. La durée a été écourtée à 60 minutes, mais était toujours perçue comme étant trop longue.
  • Communication des données : Les responsables CPE ont signalé qu'une lettre de base a été approuvée par RHDCC afin d'informer les parents sur la collecte de données, les utilisations et la communication des données et pour demander leur consentement au nom de leurs enfants afin d'effectuer les activités d'évaluation et demander leur accord pour partager leurs données avec l'organisme parrain. Il était possible pour les organismes parrains de modifier les sections de la lettre qui n'étaient pas liées à la divulgation et à la communication des données. Dans quelques cas, l'impossibilité de réviser la lettre dans son intégralité était problématique pour certains projets de collectivité.

Conclusion : Certaines des améliorations suggérées de l'EEPEDE avaient tendance à être semblables aux suggestions faites pour l'IMDPE (c.-à-d. réduire la durée de l'entrevue, préciser le contenu de partage des données, éliminer les préjugés, fournir plus de temps de préparation et améliorer la communication).

Les informateurs clés ont suggéré plusieurs modifications à apporter à l'EEPEDE qui étaient semblables à celles suggérées pour l'IMDPE.

  • Gagner en concision : quelques représentants de collectivité ont jugé que la durée des entrevues était trop longue.
  • Préciser l'approbation parentale pour la communication des données : remplir le formulaire en personne selon une méthode améliorée afin de s'assurer que des familles ne sont pas oubliées et que les parents comprennent de quelle façon l'information sera utilisée. Quelques informateurs clés estimaient que certains parents ne comprennent peut-être pas les formulaires de consentement envoyés, même s'ils ont été envoyés dans la langue choisie de la famille.
  • Dissiper les inquiétudes sur les préjugés géographiques ou culturels : quelques informateurs clés étaient d'avis que l'EEPEDE privilégiait certains milieux culturels et d'autres, les collectivités urbaines.
  • Plus de temps de préparation, une meilleure planification et une communication améliorée des rôles des intervenants clés : y compris une stratégie qui définit les rôles et les attentes pour les intervenants clés, les échéanciers pour la mise en œuvre de l'EEPEDE et ce qui contribue à son succès.

Conclusion : Les améliorations suggérées pour l'EEPEDE englobaient également certaines modifications de processus qui se rapportaient précisément à l'EEPEDE (c.-à-d. ajouter davantage de souplesse afin de tenir compte des différences entre les collectivités et engager des personnes connues ou de la collectivité à titre d'administrateurs de l'EEPEDE).

Les informateurs clés ont également suggéré des modifications au processus liées précisément à l'EEPEDE.

  • Souplesse pour s'adapter aux différences entre les collectivités : les entrevues en personne doivent continuer d'être tenues dans la langue choisie par la famille afin d'améliorer le confort et la compréhension des parents. C'est particulièrement important dans le cas des collectivités ethniques et des nouveaux immigrants. Cette approche s'est avérée efficace dans les collectivités où d'autres langues que l'anglais et le français sont utilisées.
  • Engager des personnes connues ou de la collectivité : quelques répondants jugeaient que d'avoir des administrateurs de l'EEPEDE qui étaient connus et des personnes de confiance au sein de la collectivité augmentait les taux de participation de la collectivité. Cette approche, qui a été intégrée avec succès dans chaque collectivité, devait également augmenter l'adhésion de la collectivité et le sentiment d'appartenance envers le projet de l'initiative CPE.

2.4.4 Évaluation du rapport sur le profil de la collectivité

Comme mentionné à la section 1.2.4, l'initiative CPE exige de chaque collectivité de mener un exercice de profil communautaire afin d'illustrer les résultats de la recherche pour les membres de la collectivité. Le rapport sur le profil de la collectivité donne de l'information sur les liens qui existent entre les caractéristiques de la collectivité (y compris les données socio-économiques, les programmes et les services) et les résultats de l'enfant.

Perception des forces du rapport sur le profil de la collectivité

Conclusion : Les forces clés du rapport sur le profil de la collectivité sont la fourniture de données et d'informations utiles et le renforcement de la capacité des ressources locales en matière de recherche.

Au moment de l'évaluation formative, la plupart des collectivités CPE avaient entamé le processus d'établissement du profil de la collectivité, mais n'avait pas terminé l'exercice d'établissement du profil. Ainsi, tous les représentants de la collectivité n'ont pas pu donner leurs commentaires sur le rapport sur le profil de la collectivité. Ceux qui étaient en mesure de donner leurs commentaires, ainsi que les responsables du programme, ont cité les forces suivantes liées au rapport sur le profil de la collectivité :

  • fournir des informations utiles : Le rapport sur le profil donne des renseignements utiles et pratiques sur les services et les programmes dans la collectivité, donne une évaluation de la portée du programme et aide à l'identification des chevauchements et des lacunes dans les services et la programmation;
  • développement de la capacité : les processus d'établissement de profil a permis aux sites CPE de développer leur capacité en matière de compétences et de connaissances des ressources humaines. Dans certains cas, les représentants de la collectivité ont signalé que les sites CPE sont devenus un centre de connaissances pour l'établissement de profil dans la région.

Difficultés observées ou limites et améliorations suggérées pour le rapport sur le profil de la collectivité

Conclusion : Les difficultés observées pour le rapport sur le profil de la collectivité étaient liées aux problèmes de capacité au sein de la collectivité (c.-à-d. une capacité limitée à produire le rapport) et aux difficultés relatives à l'obtention des données pertinentes.

Même s'il semble y avoir des indications que l'exercice d'établissement de profil de la collectivité était difficile pour certaines collectivités, il y a également eu un haut niveau de satisfaction à l'égard des rapports produits (surtout pour ce qui est de la capacité de cerner les programmes et services offerts et les lacunes dans la programmation). Certains défis ont été mentionnés au sein de collectivités qui avaient terminé ou étaient en cours d'achèvement de l'exercice sur le profil de la collectivité.

  • Capacité limitée : La plupart des collectivités CPE ont signalé qu'ils avaient une capacité limitée de recueillir et d'analyser les données et de produire le rapport sur le profil. Les représentants de la collectivité ont identifié l'accès à l'expertise requise pour effectuer le profil comme un des défis majeurs et l'étude des dossiers a corroboré cette évaluation. Ce défi était particulièrement apparent dans le cas des petites collectivités. Note de bas de page 20 Il fallait trouver les compétences nécessaires à l'extérieur de la collectivité, ce qui a parfois pris plus de temps que prévu. Il n'y avait pas de preuves toutefois que les collectivités CPE ne pouvaient pas recruter le personnel nécessaire pour entreprendre l'exercice d'établissement de profil.
  • Les données : certains points de données dans le rapport sur le profil ne s'appliquent pas aux zones rurales (p. ex., les terrains de jeux, car les enfants des zones rurales n'ont pas tendance à jouer dans des terrains de jeux). De plus, certaines difficultés à obtenir les informations géographiques et les données nécessaires ont été observées.

2.5 Leçons apprises

La présente section examine les leçons apprises en analysant ce qui a bien fonctionné pour les sites CPE participants en 2005. Elle examine également des aspects ciblés pour le changement et certaines améliorations apportées pour la participation 2006 des sites CPE. Les leçons apprises peuvent s'appliquer aux 21 sites, car la majorité de la collecte de données ciblait l'ensemble de ces sites, y compris l'étude des dossiers et de la documentation et les entrevues des informateurs clés avec les responsables de programme et entrepreneurs indépendants.

2.5.1 Aspects de l'initiative CPE qui ont bien fonctionné

Conclusion : Les informateurs clés ont identifié cinq aspects principaux de l'initiative CPE qui, selon eux, ont bien fonctionné : le fait de donner des conseils et de la formation, l'utilisation d'agents de projet, l'accent mis sur les relations ou partenariats communautaires, le fait d'avoir un coordonnateur de la collectivité et l'accent mis sur le transfert des connaissances et sur les activités de communication.

Une des questions posées aux informateurs clés, notamment les représentants de la collectivité et les responsables du programme, visait à déterminer quelles leçons clés ils ont tirées jusqu'ici de leur participation à l'initiative CPE. Certains ont parlé de leçons apprises relatives à la mise en œuvre de l'initiative alors que d'autres ont mis l'accent sur les résultats. En général, cinq aspects principaux de l'initiative CPE ont été mentionnés comme ayant bien fonctionné (avec quelques informateurs clés identifiant chacun d'eux).

  • Donner des conseils ou de la formation : l'orientation, la formation et les conseils fournis par RHDCC aux collectivités CPE a permis aux sites d'en apprendre davantage sur l'initiative et de rencontrer la direction, le personnel et les représentants du programme CPE des autres sites CPE. Cette façon de faire a favorisé l'établissement de relations entre les intervenants clés impliqués dans l'initiative CPE à l'échelle nationale.
  • Utilisation d'agents de projet : le fait d'avoir un agent de projet de RHDCC affecté à chaque site CPE qui est bien informé au sujet de l'initiative CPE a été considéré comme une bonne approche.
  • Accent mis sur les relations ou partenariats communautaires : L'accent mis sur les relations ou partenariats communautaires pour les sites CPE, et les efforts déployés dans ce domaine, a été considéré comme une bonne approche.
  • Le fait d'avoir un coordonnateur de la collectivité : le fait d'avoir un poste affecté et une personne qui est connue de la collectivité en tant que coordonnateur ou directeur de projet a été considéré comme bénéfique.
  • Accent mis sur le transfert des connaissances et sur les activités de communication : les activités entreprises par les sites CPE dans ces domaines comprennent les brochures, les sites Web, les séances de formation, les ateliers, les articles de journaux ainsi que la mise en commun des données entre les partenaires de la collectivité.

2.5.2 Aspects ciblés pour le changement

Conclusion : Les informateurs clés ont cerné certains aspects liés au processus méritant d'être améliorés (c.-à-d. donner plus de temps afin de préparer et de planifier la collecte des données, les retards qui doivent être évités ou réduits, un consentement plus éclairé en ce qui a trait à la communication des données et une communication plus claire avec les conseils scolaires). La plupart de ces aspects à améliorer correspondent aux aspects auxquels on avait apporté des améliorations lors de la participation 2006 des sites CPE.

Le tableau 2.4 indique les aspects qui, selon les informateurs clés, devraient être modifiés.

L'examen de la documentation du programme a révélé que les mécanismes de prestation du programme et les plans pour l'initiative CPE sont revus régulièrement, ce qui veut dire que les risques et les occasions d'amélioration, ainsi que les mesures à prendre au besoin, sont définis. Des exemples des améliorations à la conception et à la livraison de l'initiative CPE sont affichés dans le tableau 2.4, basé sur l'étude des dossiers et de la documentation et les entrevues des informateurs clés avec les responsables du programme. De façon générale, les données indiquent que l'initiative CPE a une bonne réactivité en ce qui concerne les défis ou limites dans la conception et la prestation de l'initiative CPE lorsqu'ils surviennent, et dans sa modification des aspects de la conception ou de la prestation du programme, au besoin.

Tableau 2.4 : Aspects ciblés pour le changement et les améliorations apportées jusqu'à maintenant
Domaine général Modifications suggérées Améliorations apportées jusqu'à maintenant
Planification/échéanciers
  • Davantage de temps est nécessaire afin de planifier et de préparer la collecte de données de l'IMDPE et de l'EEPEDE
  • Les retards doivent être évités ou réduits : l'échéancier sur trois ans de l'initiative CPE sera difficile à respecter à cause des retards dans la mise en œuvre du projet. En raison du retard, une certaine adhésion de la collectivité a été perdue, un ralentissement a été enregistré dans certaines collectivités et il a fallu investir de nouveaux efforts pour susciter l'engagement des écoles et des enseignants.
  • Les améliorations apportées aux échéanciers comprennent :
    • la collecte de données de l'IMDPE et de l'EEPEDE doit être effectuée pendant la deuxième année du projet (anciennement, la collecte pour l'IMDPE s'effectuait la première année, alors que celle pour l'EEPEDE, la deuxième année);
    • l'inventaire des programmes et des services communautaires doit être terminé au courant de la première année du projet (anciennement, elle commençait au cours de la deuxième année);
    • l'établissement du plan d'action communautaire commence durant la deuxième année du projet.
  • Modification aux exigences obligatoires : l'organisme demandeur (commanditaire potentiel du projet) doit être légalement constitué.
Contact avec RHDCC
  • Davantage de contact et de communication avec les analystes de projet de RHDCC : quelques informateurs clés ont indiqué que la communication avec leurs analystes de projet était insuffisante.
  • Soutien accru aux projets financés : apporter un soutien continu aux projets par le biais de modèles et de formation, en plus de contacts fréquents pour la surveillance du projet.
  • Orientation accrue : un élément en lien à la production de rapport financier a été ajouté à la séance d'orientation fournie pour les nouveaux sites CPE.
  • Rencontre avec les promoteurs de projets réussis : certaines demandes semblaient avoir été écrites par des entrepreneurs ayant reçu peu de rétroaction des personnes responsables de la mise en œuvre du projet de l'initiative CPE. Par conséquent, une décision a été prise afin de rencontrer les promoteurs de projets réussis avant de commencer la prochaine ronde d'ententes de contribution. Cette mesure permet au personnel CPE d'aider les promoteurs participant au projet de l'initiative CPE 2006 de prendre connaissance des processus et exigences de RHDCC. Un autre avantage est de permettre aux promoteurs du projet de planifier de façon réaliste les exigences et plans de travail financiers de leur projet.
Communication/ compréhension/ participation/ adhésion
  • Les données ne peuvent pas être initialement communiquées : la lettre aux parents expliquant la collecte des données IMDPE n'était pas aussi exhaustive qu'elle aurait pu l'être en ce qui concerne les utilisations des données. L'examen initial du Ministère de la documentation et des lois concernant la divulgation des renseignements personnels a mené au refus d'accès, pour les projets, aux fichiers de données personnelles IMDPE. Un second examen de la loi a déterminé que, dans des circonstances précises et limitées, les données personnelles peuvent être divulguées. Cette décision a débouché sur un processus d'entente de communication des données qui permettait aux projets de recevoir leur propre fichier de données IMDPE pour la durée de leur projet IMDPE afin d'effectuer des analyses précises tel que souligné dans leur proposition.
  • Communication plus claire avec les conseils scolaires concernant ce qui est attendu d'eux en fait de participation à l'IMDPE et l'EEPEDE.
  • Davantage de clarté/orientation/outils : des outils et des éléments d'ateliers ont été mis sur pied afin d'éduquer les participants et de réduire la confusion liée aux exigences de collecte des données. Des outils spécialement conçus (élaborés ou améliorés) comprenaient des modèles pour une lettre et un formulaire de consentement clairs pour les parents qui participent à la collecte de données de l'EEPEDE
  • Source : Étude des dossiers et de la documentation et informateurs clés.

3. Progrès relativement aux objectifs à court terme

La présente section examine les progrès réalisés par l'initiative CPE dans l'atteinte de ses objectifs au moment de l'évaluation (c.-à-d. environ 18 mois après le début des projets communautaires). Elle s'intéresse également aux impacts imprévus. Comme souligné à la section 2.1, l'initiative a trois objectifs immédiats :

  • soutien accru aux collectivités;
  • disponibilité et mise en commun accrus de l'information sur le rôle des familles et des collectivités dans le développement de l'enfant;
  • sensibilisation accrue et utilisation des connaissances des parents et de la collectivité sur le développement de l'enfant.

3.1 Soutien accru aux collectivités

Conclusion : Les données laissent penser que des progrès ont été réalisés dans le soutien de financement apporté aux collectivités. Bien qu'il soit trop tôt pour évaluer la possibilité d'attirer un soutien supplémentaire, l'initiative CPE a permis aux coalitions communautaires de définir les priorités en matière de subventions, d'incorporer l'initiative CPE dans les propositions de financement et de demander et d'obtenir du financement.

Les informateurs clés, notamment les responsables de programme, ont remarqué que des progrès avaient été réalisés dans le soutien de financement apporté aux collectivités. Même si les objectifs CPE donnent peu d'indications des sources anticipées de soutien accru, les rapports d'activité trimestriels analysés par le biais de l'examen des dossiers du projet ont indiqué que l'initiative CPE a permis aux coalitions communautaires de définir les priorités en matière de subventions, d'incorporer l'initiative CPE dans les propositions de financement et de demander et d'obtenir du financement.

Même si la capacité d'attirer du financement supplémentaire est importante, la plupart des informateurs clés, notamment les représentants de la collectivité, ont indiqué qu'il était trop tôt pour déterminer l'impact d'un tel financement. Certains informateurs clés ont affirmé qu'ils recueillaient encore les données, alors que d'autres étaient optimistes qu'un soutien financier accru découlerait de l'initiative CPE.

Conclusion : Les entrevues de l'informateur clé indiquent également que des progrès ont été réalisés dans la prestation de soutien technique aux collectivités, avec l'établissement du profil communautaire cité comme étant le catalyseur principal.

Les informateurs clés, notamment les représentants de la collectivité et les responsables du programme, étaient d'avis que des progrès avaient été réalisés dans le soutien technique apporté aux collectivités.

La plupart des informateurs clés, notamment les représentants de la collectivité, ont signalé qu'un soutien technique accru a été apporté à leurs collectivités par suite de leur participation à l'initiative CPE. Ils ont cité l'établissement du profil communautaire comme étant le catalyseur principal de ce processus. Des progrès démontrés dans certaines collectivités incluent la consultation sur la collecte et l'utilisation des données et la transmission des connaissances. Dans d'autres collectivités, l'établissement du profil des collectivités a été cité comme augmentant la sensibilisation relative au besoin en matière de soutien technique. Les données laissent penser également que l'exercice d'établissement de profil communautaire, bien qu'exigeant pour certaines collectivités, a entraîné le développement de la capacité au sein des collectivités.

3.2 Disponibilité et mise en commun accrue de l'information

3.2.1 Les partenariats

Conclusion : Les données provenant de l'examen des dossiers et des entrevues des informateurs clés démontrent que les collectivités CPE ont réussi à former ou à consolider des partenariats à la suite de l'initiative.

Les informateurs clés, notamment les représentants de la collectivité et les responsables du programme, estimaient généralement que le nombre de partenariats a augmenté et que ceux-ci ont été consolidés par suite de l'initiative. L'examen des dossiers du projet a également indiqué que les collectivités CPE ont réussi à former ou à consolider les partenariats. Par exemple, l'information tirée des dossiers de projet a indiqué que tous les sites CPE ont formé des partenariats, allant de 19 partenariats pour une collectivité, à un partenariat pour une autre (avec une moyenne de dix). Comme mentionné à la section 1.3.2, toutefois, les données disponibles sur les partenariats de la collectivité doivent être traitées avec soin, car des problèmes dans la définition de ce qui constitue un partenariat ont rendu difficile l'interprétation de ces données.

Conclusion : Le partenariat le plus souvent signalé était celui avec les écoles/conseils scolaires/districts scolaires, suivi de ceux établis avec les gouvernements provinciaux et les administrations municipales, les fournisseurs de services communautaires et les réseaux de services de santé et de services sociaux.

Le tableau 3.1 donne un résumé des types d'organisations participant aux partenariats avec les collectivités CPE. Le tableau 3.1 affiche également le nombre de collectivités CPE qui ont signalé un partenariat pour chaque type d'organisation. Ces données sont tirées des dossiers de projet de l'initiative CPE et doivent être traitées avec soin (comme mentionné plus tôt). Le partenariat signalé le plus souvent était celui avec les écoles/conseils scolaires/districts scolaires (rapportés par 17 sites CPE), suivi de ceux établis avec les gouvernements provinciaux et les administrations municipales, les fournisseurs de services communautaires et les réseaux de services de santé et de services sociaux. D'autres types d'organisations ont signalé qu'elles participaient à des partenariats avec d'autres organisations à but non lucratif ou non gouvernementales, d'autres sites CPE et des collèges. Note de bas de page 21

Tableau 3.1 : Organisations liées par un partenariat avec les sites CPE
Type d'organisation Nombre de sites CPE qui rapportent un partenariat
Écoles/conseils scolaires/districts scolaires 17
Administration municipale 16
Gouvernement provincial 15
Fournisseurs de services communautaires 14
Réseaux de services de santé et de services sociaux 13
Autres organisations à but non lucratif ou non gouvernementales 11
Autres sites CPE 10
Collèges 9
Chercheurs/instituts de recherche 7
Organisations autochtones 6
Universités 4
Organisations religieuses (p. ex., église locale) 3
Parents/groupes de parents 3
Secteur privé 3
Gouvernement fédéral (autre que RHDCC) 2
Autre (précisez) 5
  • Source : Dossiers de projet CPE, 2007.

Bien qu'on puisse déceler une hausse dans le nombre de partenariats, au moment de l'évaluation, il n'y avait pas de preuve d'un impact sur le niveau de soutien aux familles avec des enfants.

3.2.2 Réseaux et mécanismes de mise en commun de l'information

Conclusion : Des données provenant de l'examen des dossiers laissent penser que des réseaux et des mécanismes ont été élaborés afin de mettre en commun de l'information entre RHDCC et les collectivités CPE.

Les données provenant de l'examen des dossiers indiquent qu'il y a eu une hausse de la mise en commun de l'information entre RHDCC et les collectivités. Selon les dossiers de projet, 15 des 21 sites CPE ont signalé une participation dans des réseaux ou des mécanismes de mise en commun de l'information avec RHDCC.

Conclusion : Les données provenant de l'étude des dossiers et de la documentation, de même que des informateurs clés, permettent de penser que l'initiative CPE a augmenté le nombre d'occasions et d'outils pour la mise en commun de l'information et le réseautage au sein des collectivités sur le rôle des familles et des collectivités dans le développement de l'enfant, les types et le nombre d'activités variant entre les sites CPE.

L'initiative CPE a fourni un soutien et des conseils sur la mise en commun de l'information au sein de la collectivité. Par exemple, l'initiative a élaboré un guide pour les collectivités intitulé Sharing the Knowledge: Maximizing the Impact of Your Project (Transmission des connaissances : maximiser l'incidence de votre projet).

La plupart des informateurs clés, notamment les représentants de la collectivité et les responsables du programme, étaient d'avis qu'un certain progrès avait été réalisé vers un plus grand nombre d'occasions de partager les connaissances et de faire du réseautage avec les collectivités. Un promoteur communautaire a formulé le commentaire suivant : « Je crois que cela a été le résultat le plus spectaculaire jusqu'ici. » Les informateurs clés ont cité divers mécanismes par lesquels la mise en commun de l'information et le réseautage se réalisaient (p. ex., groupes de travail, sites Web, présentations, ateliers, diverses collaborations et les médias locaux).

L'examen des dossiers a révélé que tous les sites CPE ont signalé soit l'élaboration de réseaux/mécanismes de mise en commun de l'information au sein de la collectivité, soit leur participation dans de tels réseaux ou mécanismes. L'examen des dossiers a également indiqué que les activités de mise en commun de l'information variaient en fonction des sites (voir tableau 3.2), mais incluaient souvent les participations aux conférences (rapportées par 19 sites CPE), les présentations aux conseils ou districts scolaires (rapportés par 15 sites CPE) et une participation aux comités locaux pertinents (rapportés par 15 sites CPE).

Tableau 3.2 : Types d'activités de mise en commun de l'information
Activité de mise en commun de l'information Nombre de sites CPE qui signalent une participation à des activités de mise en commun de l'information
Participation à une conférence 19
Présentations aux conseils/districts scolaires 15
Participation aux comités locaux pertinents 15
Présentations sur l'initiative CPE 11
Partage des données de l'IMDPE avec les conseils/districts scolaires 11
Participation à des séances de planification communautaire 11
Consultation des collectivités 10
Participation àdes événements communautaires 10
Séances d'information pour les dirigeants de la collectivité sur l'initiative CPE 9
Autre (précisez) 8
Présentation à une conférence 7
Séance d'information sur la collectivité/journée portes ouvertes 5
Visites des sites/présentations aux collectivités locales 5
Tenue d'un événement public lié à l'initiative CPE 3
Rencontre avec les enfants et la famille 3
Entrevues avec les médias 2
Distribution des rapports de recherche CPE 1
Présentation d'un conférencier à l'université 1
  • Source : Dossiers de projet CPE

La plupart des informateurs clés, notamment les représentants de la collectivité, ont pu nommer divers réseaux, mécanismes et outils créés dans la collectivité afin de mettre en commun l'information sur le développement de l'enfant depuis le début du projet de l'initiative CPE. Les exemples donnés couvraient des sites Web, des réunions communautaires, des rapports et communiqués de recherche présentant des conclusions et des sondages. Même si l'IMDPE et l'EEPEDE ont été mentionnés fréquemment comme des outils clés favorisant l'accroissement des connaissances et des données, les informateurs clés ont également fait état d'autres documents et informations qui avaient été produits et communiqués à la collectivité entière.

L'étude des dossiers a également révélé que les collectivités CPE ont produit divers outils de transmission des connaissances (voir tableau 3.3). Les outils les plus fréquemment cités étaient les listes ou guides des ressources (rapportés par 15 sites CPE), les sites Web ou pages Web visant àprésenter l'information des CPE (rapportés par 14 sites CPE) et les présentations PowerPoint (rapportées par 12 sites CPE). L'étude de la documentation et les entrevues des informateurs clés ont indiqué qu'une grande partie du travail effectué à ce jour peut être considéré comme du travail préparatoire (c.-à-d. faire connaître le projet et les intervenants à l'ensemble de la collectivité). Au cours du premier trimestre de 2007, un certain nombre d'activités liées aux produits de transmission des connaissances ont eu lieu.

Tableau 3.3 : Types d'outils de transmission des connaissances
Outil de transmission des connaissances Nombre de sites CPE qui signalent l'utilisation de l'outil
Liste ou guides des ressources 15
Site Web ou page Web pour présenter l'information CPE 14
Présentation PowerPoint 12
Dépliant/documentation CPE 10
Bulletin d'information CPE 10
Communiqué de presse 10
Dépliant/documentation sur l'IMDPE 9
Article CPE 8
Stratégie de communications/plan de marketing social 8
Affiches 8
En-tête de lettre 5
Rapports CPE 4
Communiqué de recherche 3
Rapport sur le profil de la collectivité 3
Bibliothèque des ressources 1
Autre (précisez) 14
  • Source : Dossiers de projet CPE

3.3 Sensibilisation accrue au développement de l'enfant

Conclusion : Les données laissent penser que l'initiative CPE a augmenté la sensibilisation et les connaissances des parents et de la collectivité en matière de développement de l'enfant dans une certaine mesure, bien qu'il soit encore trop tôt pour voir clairement l'étendue de ces progrès.

La plupart des informateurs clés qui étaientresponsables du programme, étaient d'avis que des progrès avaient étéréalisés sur le plan de l'augmentation de la sensibilisation et des connaissances des parents et de la collectivité dans le domaine du développement de l'enfant. Ils ont cité la création de dépliants et de présentations lors d'ateliers en tant qu'exemples de progrès réalisés. La plupart des informateurs clés qui étaient représentants de la collectivité, ont indiqué qu'un certain progrès avait été réalisé sur le plan de la sensibilisation parentale et communautaire, même si certains jugeaient qu'il était trop tôt pour évaluer ce domaine. Note de bas de page 22 Nombre d'entre eux ont souligné comme exemple de progrès un dialogue plus actif avec les parents.

Conclusion : Au moment de l'évaluation formative, les données sur une éventuelle augmentation des connaissances sur le développement de l'enfant n'étaient pas concluantes.

La plupart des informateurs clés qui étaient responsables du programme, ne savaient pas si des progrès avaient été réalisés dans l'utilisation des connaissances par les parents et la collectivité concernant le développement de l'enfant. Certains d'entre eux ont mentionné qu'il était trop tôt pour savoir. Ces informateurs clés ont malgré tout observé un progrès lié au fait que la mise en commun de l'information sur le développement de l'enfant a été facilité. En exemple, ils ont cité les activités de mise en commun de l'information ainsi que les dépliants.

Les informateurs clés qui étaientreprésentants de la collectivité avaient des avis partagés sur le fait qu'il y ait eu ou non une utilisation accrue des connaissances par les parents et la collectivité. Ils ont jugé que cela était difficile à déterminer et qu'il était trop tôt dans le cycle de vie du projet de l'initiative CPE locale. Quelques-uns ont remarqué que des parents demandaient plus d'informations, ce qui suggère que les parents utilisent ces informations.

L'équipe d'évaluation a constaté que les dossiers et la documentation du programme pour cet indicateur étaient limités. Le nombre de demandes pour de l'information CPE sur le développement de la petite enfance n'apparaît pas dans les dossiers du projet. De plus, comme mentionné à la section 3.2.2, les types et le nombre d'outils et d'activités pour le transfert des connaissances ou le partage de l'information ont varié parmi les sites CPE.

3.4 Impacts imprévus

Conclusion : Les informateurs clés ont relevé un nombre d'impacts imprévus.

Les informateurs clés qui étaientresponsables du programme, représentants de la collectivité, entrepreneurs indépendants, représentants du gouvernement provincial ou des territoires et les experts, ont relevé les impacts imprévus positifs suivants :

  • les coordonnateurs et coalitions communautaires ont participé aux activités de développement social au sein de la collectivité au-delà du domaine du développement de la petite enfance;
  • les enjeux liés à la garde d'enfants, en général, ont été ramenés au premier plan;
  • certains coordonnateurs de la collectivité sont maintenant perçus comme des experts dans la collectivité ou dans d'autres domaines pertinents;
  • il y a une sensibilisation accrue et un intérêt plus marqué que prévu dans les enjeux liés à la petite enfance (c.-à-d. plus de demandes d'information);
  • la collectivité démontre une capacité améliorée de faire participer les dirigeants locaux;
  • il y a eu un échange de connaissances avec les autres collectivités participant à l'initiative CPE ayant la même vision et la même motivation;
  • les demandeurs non financés ont souvent l'impression que le processus des propositions CPE les aide à unir la collectivité et à établir des réseaux qui continuent de cibler les problèmes liés à la petite enfance (même en l'absence de financement).

Les informateurs clés ont également relevé les impacts imprévus négatifs suivants :

  • en raison de retards, les collectes de données IMDPE et EEPEDE ont utilisé des cohortes différentes d'enfants, ce qui a mené certains intervenants à se questionner sur la crédibilité des résultats;
  • les demandes qui exigent une utilisation importante du temps de travail des coordonnateurs de la collectivité (p. ex., faire des présentations à d'autres groupes cibles) sont des fardeaux considérables;
  • comme les ramifications des lois sur la confidentialité ont été reconnues assez tard, les collectivités ont eu initialement accès aux données regroupées seulement (ce qui limite l'analyse et la compréhension des données locales). Un examen subséquent des dispositions législatives a permis de déterminer que, dans des circonstances spécifiques et limitées, les données personnelles peuvent être divulguées. Cette décision a débouché sur un processus d'entente et de proposition de communication des données qui permettait aux projets de demander leur propre fichier de données IMDPE pour la durée de leur projet de l'initiative CPE afin d'effectuer des analyses précises tel que souligné dans leur proposition.
  • certains conseils scolaires se sont sentis dépassés par les demandes d'assistance administrative pour l'exécution de l'EEPEDE.

L'étude des dossiers et de la documentation n'a pu fournir aucune donnée probantesur les impacts imprévus (positifs ou négatifs).

4. Problèmes de responsabilisation

La présente section porte sur :

  • la pertinence des mesures de protection du programme afin d'éviter le chevauchement;
  • la pertinence des stratégies en matière de rapports;
  • la pertinence des rapports pour la surveillance du programme.

La disponibilité des données appropriées pour l'évaluation sommative est analysée à la section 5.

4.1 Pertinence des mesures de protection pour éviter le chevauchement

Conclusion : Malgré la pléthore de programmes provinciaux ciblant les enfants, l'examen du programme mené dans le cadre de l'évaluation formative n'a révélé aucune preuve de chevauchement ou de double emploi dans le cas de l'initiative CPE.

L'examen de la documentation a inclus une analyse des programmes au Canada. L'analyse n'a pas révélé de programmes disponibles universellement qui seraient compromis par l'initiative CPE. Par exemple, les programmes mentionnés comme ayant une approche ou visée similaire (Success by Six, Partir d'un bon pas pour un avenir meilleur, et Collectivités dynamiques) n'étaient disponibles que sur une base très limitée ou dépendaient des sources de financement volontaires ou éphémères. La plupart des autres initiatives de petite enfance (telles que Best Start en Ontario) adoptent des approches très différentes et visent des objectifs différents. Note de bas de page 23

Conclusion : Plusieurs mesures de protection ont été mises en place afin d'éviter ou de réduire le potentiel de chevauchement et de double emploi.

De nombreuses mesures ont été prises afin d'éviter ou de réduire le potentiel de chevauchement et de double emploi.

  • Le Comité fédéral/provincial/territorial sur les connaissances, les renseignements et les pratiques exemplaires concernant le développement de la petite enfance se rencontre bi-annuellement et assure la coordination des activités fédérales/provinciales et territoriales afin d'éviter le double emploi.
  • Les sites CPE doivent aviser l'analyste du programme s'ils reçoivent un financement de toute autre source fédérale, provinciale ou municipale qui chevauche le financement CPE (c.-à-d. qui couvre les mêmes activités). Si un autre financement est reçu, le financement CPE du site est rajusté en conséquence afin d'empêcher le double emploi.
  • Le processus d'examen externe demande aux évaluateurs externes s'ils connaissent toute activité semblable ou en lien à l'initiative CPE prévue pour la collectivité telle que la collecte de données semblables aux données CPE, le travail d'établissement de profil des données, et l'établissement d'une coalition par l'entremise d'autres projets.

Aussi, les agents de l'initiative CPE étaient certains que leurs activités, par le biais des réseaux et des conférences, les aident à les tenir informés d'autres programmes ou initiatives en cours d'élaboration. Tous les informateurs clés qui sont responsables de programme, ont confiants que les mesures de protection sont adéquates et n'ont pas besoin d'être améliorées.

Conclusion : Les données indiquent qu'une mauvaise communication était à l'origine des situations qui présentaient un chevauchement ou un double emploi. Ce point dénote la nécessité de miser sur une meilleure communication entre les représentants de la collectivité et les responsables du programme avant la mise en œuvre du projet.

Contrairement à leurs homologues fédéraux, la plupart des informateurs clés qui étaient des représentants des gouvernements provinciaux ou des territoires et des experts, ignoraient l'existence des mesures de protection en place afin d'éviter le chevauchement et le double emploi. Voici quelques exemples de conflit. Par exemple, un informateur clé a expliqué comment une évaluation provinciale entrait en conflit direct avec un projet dans le cadre de l'initiative CPE en utilisant le temps et les ressources des enseignants et des parents. Note de bas de page 24 Cependant, comme on l'a mentionné plus tôt, les propositions de la collectivité pour le financement CPE incluront de l'information sur d'autres programmes ou projets qui peuvent entrer en conflit avec l'initiative CPE ou faire double emploi. Toutefois, la plupart des informateurs clés ont affirmé que la meilleure façon d'éviter le chevauchement et le double emploi est de s'assurer que la communication est adéquate (surtout lorsqu'il y a un grand roulement de personnel).

4.2 Pertinence des stratégies en matière de rapports

Conclusion : L'opinion générale partagée par les informateurs clés est que les stratégies de rapports basées sur les résultats pour l'initiative CPE sont appropriées et conformes aux exigences de responsabilisation du gouvernement fédéral.

À partir d'une suggestion de l'examen de la mise en œuvre initiale, un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) a été mis sur pied pour l'initiative CPE. Tous les informateurs clés qui étaient responsables du programme étaient certains que les stratégies de rapports requises sont adéquates et efficaces et conformes aux exigences en matière de responsabilisation du gouvernement fédéral pour les ententes de contribution. La plupart des informateurs clés qui étaient représentants de la collectivité étaient d'avis que les stratégies de rapports basés sur les résultats sont appropriées et efficaces.

Conclusion : La plupart des informateurs clés qui étaient représentants de la collectivité, ont dit avoir confiance en la capacité de leur collectivité à produire les rapports nécessaires, même si la plupart ont également exprimé un désir de plus de clarté et de rétroaction de la part de RHDCC pour appuyer la production de rapports sur les résultats de la collecte de données.

Toutes les collectivités CPE doivent soumettre des rapports d'activité trimestriels afin de recevoir un financement et être remboursées pour les activités de projet. De plus, l'initiative a mis sur pied une séance de formation pour la production de rapports sur les résultats CPE. Ce guide ou séance de formation est conçu pour encourager l'uniformité dans la production de rapports du projet.

On a demandé aux informateurs clés qui étaient représentants de la collectivité de donner leurs commentaires sur ce que la production de rapports a eu comme impact sur les résultats du projet pour l'initiative CPE. Certains ont indiqué qu'ils ne pourraient pas procéder à la production de rapports sur les résultats de la collecte de données avant que le rapport de recherche communautaire leur soit donné en janvier 2008. La plupart d'entre eux, toutefois, ont mentionné un nombre d'activités de production de rapports qui allaient au-delà des rapports d'activité trimestriels requis. La plupart des informateurs ont également témoigné de leur confiance envers la capacité de leur collectivité à produire les rapports nécessaires.

Les informateurs clés qui étaient représentants de la collectivité ont également constaté que les stratégies de rapports (rapports trimestriels) sont efficaces pour les aider à suivre leurs progrès et à donner à RHDCC une capacité de surveillance. En même temps, la plupart ont également exprimé un désir pour plus de clarté et de rétroaction de la part de RHDCC pour appuyer la suite de la production de rapports sur les résultats de la collecte de données. Cela s'appliquait surtout à ceux qui affrontaient des problèmes en matière d'échéanciers. Ce groupe a également suggéré qu'il serait utile que RHDCC formule des attentes en matière de production de rapports qui soient plus clairs et raisonnables.

4.3 Pertinence des rapports sur la surveillance du rendement

Conclusion : Même si les informateurs clés qui étaient responsables du programme, étaient d'avis que les rapports de surveillance des sites CPE étaient envoyés de manière opportune, l'examen des dossiers de projet a révélé qu'il manquaitau moins un rapport trimestriel aux deux tiers des dossiers de projet .

Tous les informateurs clés, notamment les responsables de programme, estimaient que les rapports pour la surveillance continue du rendement des sites CPE étaient reçus habituellement en temps opportun. L'examen des dossiers a révélé par contre qu'il manquait au moins un rapport trimestriel aux deux-tiers des dossiers de projet .

Les responsables du programme étaient satisfaits que les informations contenues dans les rapports étaient utiles et suffisantes pour la surveillance du rendement. Un responsable a expliqué que le personnel de RHDCC doit effectuer le suivi et obtenir les renseignements nécessaires (c.-à-d. une description narrative du progrès et des informations financières) si l'information initiale ne semble pas être utile.

5. Directives pour une évaluation sommative

La présente section donne des suggestions ou conseils préliminaires en prévision de la conception d'une évaluation sommative de l'initiative CPE. Ces suggestions peuvent servir de rétroaction en vue de l'élaboration du cadre d'évaluation pour l'évaluation sommative. Cette section fournit également quelques suggestions basées sur les données afin d'améliorer le soutien apporté à l'évaluation sommative.

Conclusion : Plusieurs caractéristiques de l'initiative CPE (c.-à-d. une structure de financement multi-sites avec des interventions à l'échelle communautaire) sont considérées comme des facteurs importants en vue de déterminer la meilleure façon de réaliser une évaluation sommative.

L'équipe d'évaluation chargée d'effectuer l'évaluation formative a relevé plusieurs caractéristiques clés de l'initiative CPE qui peuvent avoir une forte influence sur les approches à utiliser dans le cadre d'une évaluation sommative.

  • L'initiative CPE n'est pas typique des types de programmes dont il est question dans la documentation de l'évaluation de programme. C'est plutôt un cadre de financement destiné à fournir aux collectivités des données locales et la capacité d'élaborer de l'information afin de cerner les lacunes dans les services et les programmes et d'encourager les partenariats liés au développement de l'enfant.
  • L'initiative CPE reconnaît que les familles et les enfants dans diverses collectivités doivent surmonter des défis. Les activités du projet découlant de l'initiative seront conçues spécialement pour répondre aux besoins précis de chaque collectivité, mais il se pourrait tout de même qu'une bonne partie du contenu se ressemble d'une collectivité à l'autre.
  • L'initiative CPE est conçue pour permettre un haut niveau de maîtrise locale sur les caractéristiques et le fonctionnement du programme. Il peut s'avérer difficile, a priori, de préciser quels seront les résultats spécifiques et de quelle façon ils doivent être évalués.
  • L'initiative est fondée sur la théorie psychosociale actuelle qui énonce que les résultats pour l'enfant et la famille sont le produit des processus complexes du système social où plusieurs effets culturels et communautaires sont combinés afin de déterminer les résultats sur les individus (enfants).

Ces caractéristiques de l'initiative CPE indiquent que l'approche élaborée pour l'évaluation sommative devra prendre en compte le caractère unique de chaque collectivité ainsi que les impacts généraux de l'initiative. Cela laisse penser fortement que les stratégies d'évaluation doivent être mises en œuvre au niveau de chaque collectivité en prévision de l'évaluation sommative afin de garantir que les données des résultats soient disponibles au niveau de la collectivité ainsi qu'au niveau de l'ensemble de l'initiative.

Conclusion : Une fois que l'on a tenu compte des caractéristiques de l'initiative CPE et du caractère unique de chaque collectivité, une approche basée sur la théorie du changement semble être l'approche la plus appropriée pour l'évaluation sommative. Note de bas de page 25

L'examen de la documentation a permis d'identifier des modèles d'évaluation appropriés pour les programmes nationaux de services sociaux multi-sites qui partagent de nombreuses caractéristiques avec l'initiative CPE. Note de bas de page 26 Sept approches différentes pour mener les évaluations ont été considérées comme étant particulièrement pertinentes aux besoins des évaluations multi-sites : évaluation basée sur des agrégats, évaluation basée sur le développement, évaluation menée sur une période prolongée, évaluation au moyen d'une méthode mixte, évaluation à cinq volets, évaluation-initiative, approches des systèmes dans l'évaluation, et théorie du changement. En fonction de son analyse, la Dre Lilley a conclu qu'une approche basée sur la théorie du changement était la plus appropriée pour les initiatives du programme national de services sociaux multi-sites et surtout pour celles impliquant des interventions en milieu communautaire avec un haut niveau de maîtrise locale sur les interventions faites à l'échelle de la collectivité.

Conclusion : L'équipe d'évaluation a également suggéré des façons de mieux appuyer l'évaluation sommative (c.-à-d. en faire plus pour s'assurer que les données de base sont recueillies de façon uniforme).

L'équipe d'évaluation a examiné la disponibilité des données aux fins d'une évaluation sommative basée sur les résultats des consultations préliminaires et l'examen de la capacité de collecte des données menées dans le but d'aider à planifier l'évaluation formative. Elle a remarqué que ce ne sont pas toutes les données de base qui sont recueillies de façon uniforme. Par exemple, il est nécessaire de clarifier les renseignements ou les données demandées des sites CPE (c.-à-d. préciser ce que sous-tend la notion de partenariats). Aussi, les mesures déterminées dans le Cadre de mesure du rendement dans le CGRR pour l'initiative CPE doivent idéalement être conçues pour être continues, au lieu de fournir un seul échantillon.

Les données font également ressortir qu'il est nécessaire d'améliorer le modèle logique et de définir plus clairement un ensemble de résultats et d'indicateurs mesurables. Les résultats escomptés doivent être assez ciblés pour que les changements soient attribués à l'initiative. Aussi, il est possible que la portée de certains résultats soit trop vaste pour être influencée par l'initiative (comme indiqué à la section 2.1).

6. Conclusions générales

La présente section souligne les conclusions générales fournies par l'évaluation formative. Elle met aussi en évidence les domaines principaux qui doivent être améliorés.

6.1 Conception et mise en œuvre de l'initiative CPE

L'évaluation formative estime que l'initiative CPE a été bien conçue de façon générale. Les données ont démontré que le modèle CPE est inclusif d'une vaste gamme de collectivités et est assez souple pour accommoder leur participation. Les points forts clés de la conception CPE comprennent normalement la collaboration, l'accent mis sur la collectivité, la crédibilité et la communication.

Les objectifs et les résultats escomptés de l'initiative CPE ont été communiqués de manière uniforme et les participants semblent avoir une compréhension claire des objectifs à court terme du projet et des résultats escomptés de l'initiative CPE. En même temps, le caractère mesurable de certains des résultats escomptés de l'initiative ainsi que la priorité accordée à ceux-ci pourraient être améliorés, surtout dans le cas des résultats à long terme et des résultats finaux.

L'inquiétude principale en lien avec la conception identifiée par les informateurs clés était un manque de liens établis entre les données de recherche de l'IMDPE et l'EEPEDE. La conception CPE exigeait initialement que les évaluations de l'IMDPE et de l'EEPEDE soient effectuées sur la même cohorte d'enfants. En raison des délais administratifs dans les contrats toutefois, la collecte de données pour l'EEPEDE a été interrompue pendant presque un an. Par conséquent, une cohorte différente a été utilisée pour l'IMDPE et l'EEPEDE. Même si RHDCC a assuré les collectivités que cela n'aurait pas d'incidence sur l'utilité des données, certains informateurs clés doutent que l'information obtenue de deux cohortes différentes permettra d'arriver à des données utiles et exactes.

Les améliorations suggérées quant à la conception de l'initiative CPE ciblaient l'amélioration des processus (c.-à-d. l'amélioration de la coordination entre les projets et les programmes de développement de la petite enfance des provinces et territoires) plutôt que la refonte de l'initiative . L'examen de la documentation laisse entendre que l'initiative pourrait être améliorée en adoptant une approche à plus long terme et en encourageant les collectivités à tenir compte également des besoins des enfants plus âgés.

Les 21 collectivités CPE ont réalisé des progrès vers la mise en œuvre de leur projet et vers l'atteinte de leurs objectifs immédiats et des résultats escomptés pour l'initiative CPE. Même si la plupart des sites ont éprouvé certaines difficultés préliminaires, ces difficultés découlaient en grande partie des défis ou des caractéristiques propres aux collectivités individuelles (c.-à-d. les défis en matière de dotation et les défis liés à l'adhésion au programme de certains groupes et conseils scolaires), plutôt que de failles précises dans la conception de l'initiative CPE.

Les rôles et les responsabilités des intervenants clés dans l'initiative CPE étaient bien compris au moment de l'évaluation, et ont été intégrés comme prévu, bien que des précisions furent nécessaires en réponse aux défis initiaux . Une certaine différence dans l'intégration des rôles et des responsabilités a été notée entre les collectivités CPE, mais ces variations s'inscrivaient dans les paramètres établis par l'initiative CPE.

L'IMDPE, l'EEPEDE et le rapport sur le profil de la collectivité ontété généralement bien vus de tous les intervenants clés de l'initiative CPE. En même temps, des défis ou limites liés au processus ont toutefois été relevés pour chacun de ces outils de recherche CPE, en plus de quelques suggestions de modifications à apporter.

  • Par exemple, comme il est mentionné précédemment, des préoccupations ont été exprimées quantà l'utilisation de cohortes d'enfants différentes pour l'IMDPE et l'EEPEDE.
  • De plus, le fait d'avoir reconnu sur le tard les répercussions des lois sur la confidentialité et le manque de clarté des informations destinées aux parents ont signifié que l'accès aux données de l'IMDPE n'était pas possible, comme prévu à l'origine. Au moment des entrevues, des représentants de la collectivité ont exprimé leur déception sur l'accès aux données individuelles. Cependant, un second examen de la loi a déterminé que dans des circonstances spécifiques et limitées, les données personnelles peuvent être divulguées. Cette décision a engendré un processus d'entente et de proposition de partage des données qui permettait aux projets de recevoir leur propre fichier de données IMDPE pour la durée de leur projet dans le cadre de l'initiative CPE afin d'effectuer des analyses spécifiques tel que souligné dans leur proposition.
  • Les conseils scolaires ou écoles appartenant à certaines communautés ethniques ou multiculturelles étaient hésitantes à participer au processus de collecte de données (IMDPE et EEPEDE). Ces populations participent toutefois aux activités locales du projet de l'initiative CPE.
  • Certaines collectivités ont éprouvé des difficultés à trouver les ressources nécessaires afin de produire le rapport sur le profil de la collectivité, bien que les données indiquent que les collectivités sont ou seront en mesure d'engager les ressources nécessaires.

L'examen de la documentation a indiqué que l'initiative CPE a été proactive dans sa réponse aux défis découlant de la conception et de la livraison de l'initiative CPE. Cela incluait de travailler pour régler des problèmes liés au processus dans les domaines de la planification/délais, de la clarté/conseils/outils et de la communication.

6.2 Progrès vers les objectifs à court terme

Les premières données indiquent que des progrès ont été réalisés vers l'atteinte des trois objectifs immédiats de l'initiative CPE.

Soutien accru aux collectivités

Les données provenant de l'examen des dossiers et des informateurs clés indiquent que des progrès ont été réalisés dans l'apport du soutien de financement aux collectivités. Bien qu'il soit trop tôt pour évaluer la possibilité d'attirer du soutien supplémentaire, l'examen des dossiers a indiqué que l'initiative CPE a permis aux coalitions communautaires de déterminer les priorités des subventions, d'incorporer l'initiative CPE dans les propositions de financement et de demander et d'obtenir du financement. Les données indiquent également que des progrès ont été réalisés dans la prestation de soutien technique aux collectivités , avec l'établissement du profil communautaire cité comme étant le catalyseur principal de ce progrès.

Disponibilité et partage accrus de l'information

L'examen des dossiers du projet et les informateurs clés ont révélé que les collectivités CPE ont réussi à former ou à consolider des partenariats à la suite de l'initiative. De plus, des preuves provenant de l'étude des dossiers et de la documentation et des informateurs clés laissent penser que l'initiative a augmenté le nombre d'occasions et d'outils pour le partage des connaissances et le réseautage au sein des collectivités sur le rôle des familles et des collectivités dans le développement de l'enfant . Les données ont également révélé qu'il y avait un partage de l'information entre les collectivités CPE.

Sensibilisation accrue par rapport au développement de l'enfant

La plupart des informateurs clés qui étaient responsables du programme jugeaient qu'il y avait eu du progrès pour ce qui est de l'augmentation de la sensibilisation et des connaissances des parents et de la collectivité en matière de développement de l'enfant , bien qu'il soit encore trop tôt pour que ce progrès soit complètement évident. Comme exemples de progrès, on a mentionné notamment la création de dépliants et de présentations dans le cadre d'ateliers.

6.3 Problèmes de responsabilisation

Malgré la pléthore de programmes provinciaux ciblant les enfants, l'examen du programme mené dans le cadre de l'évaluation formative n'a révélé aucune preuve de chevauchement ou de double emploi avec l'initiative CPE. De plus, plusieurs mesures de protection ont été mises en place afin d'éviter ou de réduire le potentiel de chevauchement ou de duplication (p. ex., le Comité fédéral/provincial/territorial sur les connaissances, les renseignements et les pratiques exemplaires concernant le développement de la petite enfance).

L'opinion générale partagée par les informateurs clés est que les stratégies de rapports basées sur les résultats pour l'initiative CPE sont appropriées et conformes aux exigences de responsabilisation du gouvernement fédéral. La plupart des informateurs clés qui étaient représentants de la collectivité ont dit avoir confiance en la capacité de leur collectivité à produire les rapports nécessaires, même si la plupart ont également exprimé un désir de plus de clarté et de rétroaction de la part de RHDCC pour appuyer la production de rapports sur les résultats de la collecte de données. L'examen des dossiers a révélé par contre que dans les deux tiers des fichiers de projet manquait au moins un rapport trimestriel.

6.4 Directives pour l'évaluation sommaire

Certaines caractéristiques de l'initiative CPE ont été identifiées comme des points importants à prendre en compte dans la conception de l'évaluation sommative. En outre, l'initiative CPE n'est pas typique des types de programmes auxquels on réfère dans la documentation de l'évaluation de programme. C'est plutôt un cadre de financement destiné à fournir aux collectivités des données locales et des ressources pour développer de l'information afin d'identifier des lacunes dans les services et les programmes et d'encourager les partenariats en lien avec le développement de l'enfant. De plus, l'initiative CPE est conçue pour permettre un haut niveau de contrôle local sur les caractéristiques et le fonctionnement du programme.

Ces caractéristiques de l'initiative CPE indiquent que l'approche élaborée pour l'évaluation sommative devra prendre en compte le caractère unique de chaque collectivité ainsi que les impacts généraux et propres à chaque collectivité de l'initiative CPE. Cela implique fortement que les stratégies d'évaluation doivent être mises en œuvre au niveau de chaque collectivité en prévision de l'évaluation sommative afin de garantir que les données des résultats sont disponibles au niveau de la collectivité ainsi qu'au niveau de l'ensemble de l'initiative.

6.5 Domaines principaux à améliorer

L'évaluation formative a identifié les domaines principaux suivants à améliorer :

  • Certains des objectifs à long terme du programme CPE peuvent être trop vastes par rapport à la portée et la taille de l'initiative CPE. Ces objectifs doivent être clarifiés ou modifiés afin d'ëtre mieux les reliés aux ressources et à la portée de l'initiative CPE.
  • Des efforts sont apportés au sein de l'initiative CPE afin de résoudre des problèmes liés au processus (c.-à-d. liés à la planification, aux retards) et ces efforts doivent continuer.
  • Il serait intéressant de simplifier les entrevues avec les parents.
  • Le fait de lier les données de recherche de l'IMDPE et de l'EEPEDE permet des recherches plus poussées sur les relations possibles entre les résultats du jeune enfant et un nombre de facteurs familiaux et communautaires. De plus, les responsables du programme doivent mieux communiquer avec les coordonnateurs et autres intervenants de la collectivité à propos de la cohorte utilisée pour l'EEPEDE et sur la pertinence de ces données. L'inquiétude qui persiste parmi les représentants de la collectivité dans ce domaine fait ressortir la nécessité de valider les résultats de l'EEPEDE lorsqu'ils sont disponibles.
  • Il serait utile d'apporter un soutien supplémentaire aux collectivités pour les aider à terminer le rapport sur le profil de la collectivité. Ce soutien pourrait être apporté de différentes façons (p. ex., des séances de formation en personne supplémentaires, un module de formation en ligne ou une ligne d'assistance).
  • Afin de mieux appuyer l'évaluation sommaire, l'initiative doit recueillir des données de façon uniforme au niveau communautaire sur la façon dont les connaissances apprises au sein des collectivités CPE sont appliquées en lien au développement de l'enfant. Les collectivités auront besoin de conseils sur comment mieux recueillir ces données.
  • Afin de mieux appuyer l'évaluation sommaire, l'initiative CPE et les sites CPE doivent s'assurer que les résultats sont liés à des indicateurs mesurables et que les données nécessaires doivent être, et sont, recueillies de manière uniforme. Une attention particulière doit être portée sur l'amélioration du modèle de rapport d'activité afin de faciliter la quantification et l'analyse du rendement ou progrès du projet de l'initiative CPE. De plus, des données quantitatives de base améliorées sont nécessaires afin d'agir à titre d'indicateurs des résultats à moyen et plus long terme.

Annexe A : Collectivités de l'initiative CPE

Tableau A:1 Les 21 projets communautaires CPE financés à l'automne 2005.
Province Collectivité CPE
C.-B. CPE Grand Victoria
CPE Mission
CPE Okanagan Similkameen
CPE Sunshine Coast
CPE Campbell River
CPE North Shore (Vancouver Nord et Ouest)
SK CPE Nord-est de la Saskatchewan
Man. CPE Division scolaire franco-manitobaine
ON CPE Région du Niagara
CPE Ottawa
CPE Région du nord-Ontario
CPE Kawartha Lakes & Haliburton County
CPE Lower Hamilton
CPE Northumberland County
CPE Milton
QC CPE Pointe-de-l'île
CPE Montréal Chassidic and Orthodox Community
N.-B. CPE Greater Saint John
N.-É. CPE Conté de Cumberland
CPE Région de l'ouest de la Nouvelle-Écosse
CPE Région ouest de Halifax
  • Source : Études des dossiers et de la documentation.

Un deuxième groupe de 15 collectivités est ajouté à l'initiative provenant de l'appel de propositions 2006.

Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :