Section 1 : Évaluation des activités de l'agence de la santé publique liées à l'initiative de lutte contre la violence familiale – Introduction

1. Introduction

1.1 Objet et portée de l’évaluation

La haute direction a demandé cette évaluation afin d’appuyer la planification des programmes et la prise de décisions. L’évaluation a pour objet d’explorer la pertinence et le rendement actuels des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale établie de longue date et, s’il y a lieu, de faire des recommandations visant à améliorer la conception et l’exécution du programme.

L’évaluation porte sur les activités que l’Unité de prévention de la violence familiale (Centre pour la promotion de la santé, Direction générale de la promotion de la santé et de la prévention des maladies chroniques) a réalisées entre 2004 et 2011 en rapport avec l’Initiative de lutte contre la violence familiale.

Les questions d’évaluation abordent à la fois la pertinence (besoin continu du programme, conformité aux priorités du gouvernement et harmonisation avec les rôles et responsabilités du gouvernement) et le rendement (réalisation des résultats escomptés et démonstration d’efficience et d’économie) des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale.

Pertinence 

1. Les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale continuent‑elles de répondre à un besoin démontrable?

2. Les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale sont‑elles adaptées aux besoins des Canadiens?

3. Les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale demeurent‑elles une priorité pour le gouvernement fédéral?

4. Quel est le rôle fédéral en matière de santé publique dans la lutte contre la violence familiale?

5. Quels sont les liens entre les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale et le rôle de l’Agence de la santé publique en matière de santé publique?

6. En quoi l’Agence de la santé publique est‑elle la mieux placée pour contribuer à la prévention de la violence familiale au Canada?

7. Quels sont les objectifs des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale? Quelles sont les réalisations issues des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale?

8. Quelles sont les priorités et la vision relatives aux activités liées à l’Initiative de lutte contre la violence familiale que réalisera l’Agence de la santé publique dans l’avenir? Devons‑nous réorienter les activités de prévention de la violence familiale que réalise l’Agence de la santé publique?

Rendement

9. Les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale ont‑elles été gérées efficacement afin de faciliter la réalisation de son rôle officiel?

10. Ces activités ont‑elles permis de tirer profit des relations avec les intervenants afin de contribuer aux connaissances fondées sur des données probantes?

Ceci n’est pas une évaluation de l’intégralité de l’Initiative horizontale de lutte contre la violence familiale du gouvernement fédéral. Cette évaluation n’examine pas le rôle et les activités des 14 autres ministères qui participent à l’Initiative de lutte contre la violence familiale du gouvernement fédéral. Par conséquent, elle n’examine pas la question à savoir si l’Initiative de lutte contre la violence familiale du gouvernement fédéral devrait ou non continuer d’exister et, si tel est le cas, quel ministère devrait en être responsable. L’hypothèse faite au début de cette évaluation était que l’Agence de la santé publique du Canada allait poursuivre en tant que ministère responsable de l’Initiative de lutte contre la violence familiale du gouvernement fédéral dans l’avenir immédiat.

En outre, cette évaluation n’explore pas les impacts immédiats ou à long terme des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale. Il n’existe aucune stratégie de mesure du rendement (aucun modèle logique, aucun résultat de défini du programme) pour ce programme. En raison du délai de livraison critique de cette demande provenant de la haute direction afin de soutenir la prise de décision, cette évaluation accélérée est centrée sur la pertinence et le rendement des activités actuelles de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale. Les données sur le rendement, bien que limitées, ont été analysées et intégrées dans la portion du rapport traitant du rendement.

Le présent rapport décrit les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale, ainsi que leur historique et leur contexte actuel. Il présente une évaluation des liens, précise les défis et les possibilités, et se termine par sept conclusions qui, à leur tour, donnent lieu à trois recommandations. Les annexes A et B fournissent des détails supplémentaires au sujet d’activités internationales connexes.

La direction et le personnel devraient se fonder sur les conclusions et les recommandations de cette évaluation aux fins de la planification des programmes et de la prise de décisions.

1.2 Méthodologie

Approche et conception

Cette évaluation a été effectuée par les Services d’évaluation, un groupe qui fait partie de l’Agence de la santé publique, mais qui n’intervient pas dans le secteur de programmes responsable de l’administration des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale.

L’approche globale de cette évaluation intègre deux modèles conceptuels : axé sur les buts et axé sur les processus.

• Le modèle axé sur les buts a permis aux évaluateurs de déterminer si l’initiative atteint les buts et les objectifs prédéterminés qui sont énoncés dans son mandat initial. Des changements apportés à l’approche de prévention de la violence familiale au Canada au cours des 30 dernières années ont nécessité un examen de : a) la pertinence de l’initiative et de la question à savoir s’il y aurait lieu ou non de modifier les buts de l’initiative, et b) la façon dont les buts de l’initiative devraient être établis dans l’avenir.
• Il convenait d’utiliser un modèle axé sur les processus aux fins de l’autre objectif de l’évaluation, qui consistait à comprendre pleinement le rendement actuel des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale. Cette initiative de longue date a évolué depuis sa mise en œuvre initiale vers la fin des années 1980, mais la présente évaluation a donné l’occasion d’explorer l’amélioration de l’exécution de son mandat au sein de l’Agence de la santé publique.

Compte tenu du bref délai imparti à l’exécution de l’évaluation, les Services d’évaluation ont eu recours à une conception transversale non expérimentale pour examiner rétrospectivement ce programme établi de longue date. Puisque peu de données de base sont disponibles, cette conception a permis aux chercheurs d’analyser des renseignements provenant de plusieurs sources, par rapport à un moment particulier. Ils ont exploré la mesure dans laquelle les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale correspondent aux rôles et aux priorités de l’Agence de la santé publique et y ajoutent de la valeur, ainsi que le rendement des divers volets de ces activités.

La haute direction a demandé cette évaluation afin d’examiner à fond la pertinence de l’Initiative de lutte contre la violence familiale ainsi que le rendement des activités qui y sont liées. Les facteurs de risque étaient les suivants :

• le manque de données à jour sur la mesure du rendement concernant l’initiative
• le long historique de l’initiative (près de 30 ans), et l’analyse évaluative minimale qui a été effectuée au cours de cette période
• le changement considérable survenu dans le contexte mondial de la violence familiale depuis l’établissement de l’initiative.

En plus des points de vue d’un large éventail des cadres supérieurs et du personnel de programmes, l’évaluation a pris en compte les points de vue de certains des principaux intervenants; plus particulièrement ceux de certains autres ministères.

Méthodes

Cette évaluation a été menée à partir de multiples sources de données probantes, y compris une analyse documentaire et un examen de documents. Il était important de trianguler ces sources de données avec les entrevues menées auprès d’intervenants compétents. Afin d’obtenir un point de vue international, les évaluateurs ont également examiné les approches de lutte contre la violence familiale qui sont utilisées dans trois autres pays (annexe B).

Les outils d’évaluation, tels que des guides d’entrevue, sont disponibles sur demande.

1. Analyse documentaire

Les évaluateurs ont réalisé une analyse documentaire simplifiée afin d’étudier la nature de la violence familiale et la prévention de la violence familiale au Canada et à l’étranger. Plus particulièrement, les évaluateurs ont recherché des renseignements sur le lien entre la violence familiale et les déterminants sociaux de la santé. L’analyse documentaire a surtout porté sur les points soulevés dans l’évaluation en ce qui concerne la pertinence (questions d’évaluation n^o 1, n^o 2 et n^o 4). Cette analyse avait pour objet d’obtenir des renseignements à savoir si l’Initiative de lutte contre la violence familiale représente un rôle légitime et nécessaire pour le gouvernement du Canada et, le cas échéant, de déterminer les pratiques exemplaires qui pourraient permettre d’améliorer la conception et l’exécution de l’initiative.

Les 49 documents analysés comprennent de la documentation suggérée par le personnel de programme (dont des documents inédits) ainsi que des documents repérés dans le cadre de recherches sur Internet. De plus, les évaluateurs ont effectué des recherches bibliographiques au moyen de mots clés concernant les documents de recherche universitaire en anglais et en français ayant été publiés au cours des dix dernières années; la documentation ainsi dégagée porte surtout sur la prévention de la violence familiale et le rôle de la santé publique. Les bases de données suivantes ont été consultées : Scopus (qui renferme le contenu de Medline et d’Embase) et CINAHL (Cumulative Index to Nursing and Allied Health Literature) ainsi que Global Health.

Les évaluateurs ont examiné les approches relatives au leadership et à la coordination de la prévention de la violence familiale et à la diffusion de renseignements dans trois autres pays. Ces examens portent sur les points soulevés dans l’évaluation en ce qui concerne la pertinence (question d’évaluation n^o 4) et le rendement (questions d’évaluation n^o 8 et n^o 9).

Les autres pays visés par l’examen sont les suivants :

• États‑Unis : Centers for Disease Control and Prevention (CDC), Division of Violence Prevention
• Australie : Australian Domestic and Family Violence Clearinghouse
• Nouvelle‑Zélande : stratégie de prévention de la violence familiale et ministère du Développement social.

Cette stratégie d’échantillonnage dirigé est axée sur les pratiques exemplaires internationales. Les évaluateurs ont effectué un examen des renseignements disponibles sur Internet et de la documentation fournie par chacune des organisations et en ont fait la synthèse.

2. Examen des documents

Les Services d’évaluation ont examiné la documentation disponible sur les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale. Le personnel responsable de l’Initiative de lutte contre la violence familiale au sein de l’Agence de la santé publique a fait ressortir un grand nombre des documents. Cet examen a porté sur les points soulevés dans l’évaluation en ce qui concerne la pertinence (questions d’évaluation n^o 3, n^o 5 et n^o 6) et le rendement (questions d’évaluation n^o 7, n^o 8, n^o 9 et n^o 10). Au total, les évaluateurs ont examiné 130 documents.

Les types de documents examinés comprennent les suivants :

• rapports de rendement et évaluations antérieurs de l’Initiative de lutte contre la violence familiale du gouvernement fédéral
• mandats de divers comités internes et externes et comptes rendus de décisions des réunions de ceux‑ci
• correspondance et communications portant sur les activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale
• statistiques sur la diffusion de renseignements par l’intermédiaire du Centre national d’information sur la violence dans la famille
• examens d’autres initiatives horizontales fédérales.

3. Entrevues auprès de cadres supérieurs et d’employés clés (actuels et anciens) de l’Agence de la santé publique, d’experts d’autres ministères fédéraux, et d’un expert international du domaine de la prévention de la violence familiale

Les entrevues avaient pour objectif d’obtenir une description plus poussée de la façon dont divers éléments du programme ont été mis en œuvre, et de recueillir des observations quant à la pertinence des activités de l’Agence de la santé publique liées à l’Initiative de lutte contre la violence familiale et sur la question à savoir si l’Initiative a donné ou non les résultats attendus. Les entrevues portaient sur des points particuliers soulevés dans l’évaluation en ce qui concerne la pertinence (questions d’évaluation n^o 5 et n^o 6) et le rendement (questions d’évaluation n^o 7, n^o 8, n^o 9 et n^o 10).

Les évaluateurs ont mené les entrevues en se fondant sur des guides d’entrevue dirigée qui ont été élaborés en collaboration avec des experts internes et externes du domaine de la prévention de la violence familiale. Les évaluateurs avaient l’intention de procéder à l’enregistrement sonore et à la transcription des entrevues, mais il a été impossible de transcrire les entrevues en raison de contraintes temporelles et budgétaires.

Les gestionnaires et le personnel affectés à l’Initiative de lutte contre la violence familiale au sein de l’Agence de la santé publique ont dressé la liste des informateurs clés. Les évaluateurs ont eu recours à une approche d’échantillonnage dirigé. Les Services d’évaluation ont mis les informateurs clés au courant de l’évaluation et leur ont demandé d’y participer. Du 11 avril au 22 juillet 2011, 21 personnes ont participé à 15 entrevues d’une heure. Plusieurs entrevues ont été tenues auprès de plus d’un informateur clé. Chacun des informateurs clés a abordé une ou plusieurs des questions d’évaluation.

Limites

La plupart des évaluations font face à des contraintes pouvant avoir des implications sur la validité et la fiabilité des constatations d’évaluation, des conclusions et des recommandations. Cette section traite des limites en ce qui a trait à la conception de cette évaluation et à la méthodologie employée. Il est également question des stratégies d’atténuation mises en place par l’équipe d’évaluation afin d’assurer que les constatations d’évaluation puissent être utilisées avec confiance afin d’appuyer la planification des programmes et la prise de décisions.

Ampleur et profondeur de l’analyse limitées

Compte tenu du bref délai imparti (avril à juillet 2011) à la collecte de données aux fins de la présente évaluation, il a été impossible d’analyser certaines données, dont les suivantes : un examen financier approfondi, les points de vue provinciaux et territoriaux, et la relation avec les activités des autres ministères participant à l’Initiative de lutte contre la violence familiale du gouvernement fédéral. Toutefois, les entrevues menées auprès d’informateurs clés des ministères et provenant de l’externe ont donné un aperçu de chacun de ces domaines. Le délai imparti a également limité le nombre de comparateurs internationaux et nationaux examinés. Plus particulièrement, les examens internationaux n’étaient pas destinés à servir d’échantillon représentatif des administrations; ils constituaient plutôt un échantillon dirigé et ont été sélectionnés en raison des pratiques exemplaires que l’on prévoyait en tirer.

Questions relatives à la fiabilité et à validité des sources de données

En raison du grand nombre d’informateurs potentiels (internes et externes), les évaluateurs se sont fondés sur les recommandations du personnel de l’Agence de la santé publique affecté à l’Initiative de lutte contre la violence familiale. Certains de ces informateurs ont travaillé avec le personnel affecté à l’Initiative de lutte contre la violence familiale et il se peut qu’ils aient eu un intérêt direct dans l’Initiative de lutte contre la violence familiale.

Plusieurs questions touchant la validité concernent les sources de données qualitatives. Les entrevues étaient en partie rétrospectives et leur exactitude peut être remise en question. Deuxièmement, des notes détaillées ont été consignées au cours des entrevues, mais des contraintes opérationnelles ont empêché la transcription textuelle des entrevues. Troisièmement, en raison du roulement de personnel au sein des effectifs de l’Initiative de lutte contre la violence familiale, la connaissance de l’historique des activités liées à l’Initiative était restreinte (mais les entrevues réalisées auprès d’anciens membres du personnel ont compensé le manque de savoir collectif).

Données quantitatives restreintes sur le rendement

Les données quantitatives disponibles sur le rendement étaient restreintes. En raison des différences entre les systèmes de suivi électronique des données sur les ressources du Centre national d’information, la diffusion des ressources n’a pas fait l’objet d’un suivi uniforme. Les évaluateurs ont été en mesure d’examiner certains renseignements fournis par le Centre national d’information au sujet des tendances relatives à la diffusion des ressources sur la violence familiale, mais on dispose de peu de données sur le rendement d’autres aspects du programme aux fins d’analyse.

L’équipe d’évaluation a tenté d’atténuer le déséquilibre entre les données qualitatives et les données quantitatives en intégrant les nombreuses sources de données probantes présentées ci‑dessus (c.‑à‑d. l’analyse documentaire, l’examen de documents et les entrevues auprès d’informateurs clés) à son approche méthodologique.