Rapport d’évaluation conjointe du Plan d’action Saint-Laurent, 2016 à 2022

Septembre 2024

Liste des tableaux

• Tableau 1. Contraintes et incidence sur l’évaluation
• Tableau 2. Communications externes du PASL 2016-2021 : enjeux, objectifs et publics cibles
• Tableeau 3. Dépenses prévues et réelles en communication, 2016-2017 à 2021-2022 (en milliers de dollars)

Liste des figures

• Figure 1. Les décisions des comités de gouvernance sont prises en temps opportun pour appuyer les opérations
• Figure 2. Les décisions des comités de gouvernance sont communiquées en temps opportun pour appuyer les opérations
• Figure 3. Proportion des informations recueillies au moyen de la reddition de comptes qui est utilisée pour soutenir la prise de décisions ou l’atteinte des objectifs du PASL
• Figure 4. Opinions des utilisateurs sur la facilité d’utilisation et la convivialité de la plateforme Oproma
• Figure 5. Correspondance des activités du PASL avec les besoins des participants
• Figure 6. Correspondance des activités du PASL avec les besoins des participants, par type de besoin
• Figure 7. Intérêt à être informé sur les activités et résultats du PASL
• Figure 8. Qualité de l’expérience des utilisateurs du site Web du PASL

Liste des acronyms et des abréviations

CDE

Comité directeur de l’Entente

CE

Comité exécutif de l’Entente

CS

Comité de suivi

CSB

Comité de suivi Conservation de la biodiversité

CSU

Comité de suivi Pérennité des usages

CSQE

Comité de suivi Amélioration de la qualité de l’eau

ECCC

Environnement et Changement climatique Canada

Entente

Entente Canada-Québec sur le Saint-Laurent 2011-2026 et les avenants 1 et 2

GT

Groupe de travail

GTPNE

Groupe de travail de prévision numérique environnementale

GTSÉSL

Groupe de travail de suivi de l’état du Saint-Laurent

MELCCFP

Ministère de l’Environnement, de la Lutte aux changements climatiques, de la Faune et des Parcs du Québec

PASL

Plan d’action Saint-Laurent 2011-2026

PGIR

Plan de gestion intégré régional

PIC

Programme Interactions communautaires

Liste des définitions

Actions conjointes

Les projets développés dans le cadre de la présente Entente auxquels prennent part au moins un ministère du Québec et un ministère ou une agence du Canada et à valeur ajoutée par rapport aux activités régulières des participants.

Collaborateurs

Toutes entités, autres que les participants, avec lesquelles ceux-ci collaborent pour l’atteinte d’objectifs communs.

Décideurs

Parties à la présente Entente ainsi que toute personne physique ou morale exerçant un pouvoir de décision en matière de conservation.

Participants

Ministères et agences gouvernementales pouvant prendre part aux actions conjointes réalisées dans le cadre de la présente Entente, énumérés à l’article 8 de l’annexe A – Gestion de l’Entente.

Représentants ministériels

Représentants officiels des participants à l’Entente.

Responsables de projets

Membres du personnel des participants qui prennent part à la réalisation des projets de la programmation des actions conjointes.

Usagers

Personnes physiques ou morales qui, à des fins commerciales, de subsistance, récréatives, spirituelles ou autres, utilisent une ressource ou bénéficient d’un service écologique du Saint-Laurent.

Introduction

Ce rapport présente les résultats de l’évaluation conjointe du Plan d’action Saint-Laurent (PASL), un partenariat entre Environnement et Changement climatique Canada (ECCC), le ministère de l’Environnement, de la Lutte contre les changements climatiques, de la Faune et des Parcs du Québec (MELCCFP) et d’autres ministères et agences du Gouvernement du Canada et du Gouvernement du Québec participants.

L’évaluation conjointe du PASL porte sur les enjeux de gouvernance, de reddition de comptes et de communications externes au cours de la période s’étendant de 2016-2017 à 2021-2022. L’évaluation a été réalisée conformément aux exigences de la Politique sur les résultats (2016) du Conseil du Trésor du Canada et de la Directive concernant l’évaluation de programmes dans les ministères et les organismes (PDF) du Gouvernement du Québec. Elle présente des recommandations pour saisir les occasions d’amélioration. L’évaluation conjointe est complémentaire à l’évaluation fédérale du PASL, réalisée en parallèle par la Division de l’évaluation d’ECCC.

1. Portée

Une analyse préliminaire de documents et données ainsi que des entrevues exploratoires (menées avec des représentants des organisations prenant part à la gouvernance et à la coordination du PASL) avaient révélé les champs d’intérêt suivants pour l’évaluation :

1. La prise de décisions et l’exercice du leadership, notamment la composition des comités et groupes de travail dans le PASL;
2. La reddition de comptes;
3. Les communications externes.

Les travaux exploratoires avaient aussi permis de confirmer que les activités de coordination et les communications internes ne seraient pas évaluées. Lors de la planification, l’équipe conjointe a aussi confirmé que le Programme Interactions communautaires (PIC) serait exclu de l’évaluation conjointe.

2. Questions d’évaluation

Les questions d’évaluation sont présentées ci-dessous.

• Q1. La structure de gouvernance du PASL assure-t-elle une prise de décisions efficace?
• Q2. La reddition de comptes est-elle efficace?
• Q3. Les communications externes du PASL sont-elles efficaces?
  • a) Les objectifs et les activités de communication externe du PASL sont-ils définis et connus des participants?
  • b) Les communications externes du PASL reflètent-elles les réalisations des participants?
  • c) Les communications externes du PASL sont-elles réalisées de manière à rejoindre les publics cibles?

3. Méthodes

L’évaluation s’est appuyée sur une méthodologie mixte comprenant l’utilisation de multiples sources de données quantitatives et qualitatives, de nature primaire et secondaire.

Revue de documents et de données : La revue de documents et de données consistait à examiner la documentation fournie par le Secrétariat du PASL. Elle portait notamment sur les documents de gestion du PASL, les plans de travail et bilans, les données analytiques Web et des médias sociaux, ainsi que des données sur le rendement, les finances et les aspects administratifs. Une recherche sur le Web a également permis d’identifier tout autre document public ou site pertinent.

Entrevues avec intervenants clés : Au total, 11 entrevues ont été réalisées avec des membres du Comité directeur de l’Entente (CDE). Les personnes rencontrées ont répondu à des questions relatives à la gouvernance, à la reddition de comptes et aux communications.

Sondage : Le sondage a été réalisé entre le 28 novembre et le 20 décembre 2022. Un total de 123 réponses ont été reçues et analysées, dont 59 réponses de membres du personnel des participants du PASL et 64 réponses de collaborateurs et usagers. Le personnel des participants a répondu à des questions relatives à la gouvernance, à la reddition de comptes et aux communications. Les collaborateurs et usagers n’ont répondu qu’à des questions portant sur les communications.

Étude de cas : L’étude de cas portait spécifiquement sur la prise de décisions au CDE. Elle comprenait une revue documentaire et trois entrevues de groupe menées avec 11 personnes au total, y compris des membres du Secrétariat du PASL, les coprésidents des trois comités de suivi et les coprésidents du Groupe de travail de suivi de l’état du Saint-Laurent (GTSÉSL).

4. Limites et contraintes

Le tableau 1 présente les principales contraintes qui ont eu une incidence sur l’évaluation du PASL.

Conclusions et principales constatations

5. Gouvernance

• partage d’informations, la concertation et le suivi de la réalisation des projets de la programmation. Les comités de suivi et les groupes de travail s’acquittent bien de leur rôle.
• Toutefois, plusieurs membres du Comité directeur de l’Entente (CDE) sont d’avis que le comité n’exerce pas efficacement son rôle stratégique. D’une part, il est peu utilisé pour discuter d’enjeux ou de problématiques émergents, ce qui est pourtant attendu selon le cadre de gestion du PASL. D’autre part, les absences récurrentes de représentants des ministères et agences partenaires diminuent la capacité du CDE d’exercer pleinement son rôle stratégique.
• Le suivi des rencontres du CDE peut être renforcé afin d’améliorer l’efficacité de la prise de décisions et des opérations visant à livrer la programmation des actions conjointes du PASL.
• Les possibilités de contribution au PASL sont limitées pour les Premières Nations et les secteurs municipal et communautaire.

5.1. La structure de gouvernance du PASL fonctionne généralement bien

La structure de gouvernance du PASL est définie par l’Entente. Elle permet la représentation de tous les partenaires du PASL et prévoit leur participation au sein des divers comités. Les participants du PASL sont les ministères et agences du Gouvernement du Canada et du Gouvernement du Québec qui contribuent aux travaux conjoints du PASL et à son administration avec des ressources humaines et financières. La gouvernance du PASL soutient notamment :

• le partage d’informations;
• l’examen des sujets et enjeux qui nécessitent parfois l’intervention de plusieurs intervenants des gouvernements du Canada et du Québec;
• la concertation entre partenaires du Gouvernement du Canada et du Gouvernement du Québec

La gestion du PASL est effectuée par le Comité directeur de l’Entente (CDE), qui en est imputable. Le CDE est l’instance de gestion qui réunit le plus de personnes. En plus des participants réguliers du PASL, des collaborateurs peuvent participer à ces rencontres sur invitation des coprésidents. En comptant les membres en règle et les personnes invitées, le CDE a réuni entre 32 et 44 personnes par rencontre durant la période 2016 à 2021. Le CDE se réunit deux fois par an.

Le Comité exécutif de l’Entente (CE) doit se réunir avant chacune des rencontres du CDE afin d’en faire la préparation et d’approuver l’ordre du jour. Le CE se réunit au moins deux fois par an pour assurer le suivi de la planification annuelle des produits et activités de communication, régler les questions administratives et rendre opérationnelles les décisions du CDE. Entre 2016 et 2021, le CE a réuni en moyenne entre 6 et 10 personnes par rencontre.

Les trois comités de suivi (CS) et les deux groupes de travail (GT) ont chacun deux coprésidents et se réunissent environ deux fois par an. Les CS et les GT sont chargés de veiller à l’avancement des actions conjointes, de rendre compte de l’atteinte des objectifs fixés ainsi que d’identifier les contraintes à la réalisation des projets et les occasions de développer d’autres projets dans le but d’en faire rapport au CDE.

La structure de gouvernance complexe du PASL fonctionne généralement bien et permet une représentation adéquate. En outre, les décisions prises au CDE répondent efficacement aux préoccupations et aux intérêts des participants : la grande majorité (87 %) des participants ayant répondu au sondage sont d’avis que les décisions prises au sein du PASL répondent aux préoccupations, enjeux et intérêts de l’organisation ou du groupe qu’ils représentent. Les participants qui ne partagent pas cet avis indiquent que la définition des enjeux et orientations prioritaires du PASL pourrait être élargie afin de mieux refléter des enjeux existants ou de refléter des enjeux additionnels. Au nombre des enjeux que les représentants des participants du PASL souhaitent voir mieux intégrés, on compte la pérennité des usages (n=1), la relation entre la qualité de l’eau et la santé humaine (n=1), les enjeux agroenvironnementaux (n=3) et le recoupement avec les enjeux liés aux changements climatiques en général (n=3).

Le succès du PASL repose en grande partie sur l’établissement, le maintien et le renouvellement d’un réseau professionnel interministériel et intergouvernemental. En raison de la pandémie de COVID-19, les réunions du CDE sont maintenant organisées en mode virtuel. Plusieurs participants sont d’avis que le retour aux réunions en personne est souhaitable puisque selon eux, le mode présentiel favorise les discussions et l’établissement de réseaux professionnels.

5.2. Les comités de suivi et les groupes de travail sont généralement efficaces

Les CS et les GT encadrent efficacement les projets de recherche associés au PASL. Certains répondants y voient un bon moyen de gérer les activités de projet et de collaborer avec leurs collègues de l’autre gouvernement. Selon l’Entente, les CS et GT peuvent prendre quelques décisions, notamment celles en lien direct avec les projets mis en œuvre ou certaines problématiques spécifiques. Cependant, certains participants sont d’avis que les CS et GT pourraient avoir plus de pouvoir décisionnel. Ces suggestions semblent découler d’une méconnaissance de l’Entente, laquelle permet les principales initiatives suggérées par les intervenants, à savoir : a) obtenir du financement ou une capacité scientifique supplémentaire auprès d’autres ministères et b) se greffer à des projets d’autres ministères (p. ex., des projets d’infrastructure ou de mesure).

Enfin, par le passé, les délais et le niveau d’approbation requis pour des projets étaient parfois problématiques. Selon les informations obtenues, cela est dû aux processus internes des gouvernements participants plutôt qu’à la structure de gouvernance du PASL. Selon les répondants au sondage, la situation n’est pas la même pour tous les CS et GT. Alors que la grande majorité (82 %) des répondants sont d’avis que les décisions des comités de gouvernance^{Note de bas de page 1} sont prises en temps opportun pour appuyer les opérations, près de la moitié (5 sur 11) des répondants sont d’avis que les décisions du Groupe de travail de prévision numérique environnementale (GTPNE) n’ont jamais été prises à temps ou l’ont été seulement à l’occasion (figure 1).

Figure1 : Les décisions des comités de gouvernance sont prises en temps opportun pour appuyer les opérations

Source : Sondage mené auprès des participants du PASL en 2022

En outre, des intervenants ont souligné que l’expertise professionnelle de certains membres des comités de gouvernance n’était pas alignée sur les exigences de leur rôle dans le PASL. Cette situation est due notamment à des réaffectations ou à des départs à la retraite.

5.3. Le Comité directeur de l’Entente n’exerce pas efficacement son rôle stratégique

L’Annexe A de l’Entente définit le rôle et les responsabilités du CDE. Celui-ci a pour mandat de veiller aux échanges entre participants, de prendre les décisions de gestion stratégique du PASL et de diriger l’exercice de reddition de comptes des projets et activités. Les rencontres du CDE prévoient un tour de table lors duquel les enjeux, les dossiers et les problématiques émergentes peuvent être soulevés. En outre, à l’occasion de leurs présentations au CDE, les coprésidents des CS et des GT ont la responsabilité de mentionner les obstacles auxquels sont confrontés les projets en cours, les occasions de collaboration, ainsi que toute autre préoccupation ou tout autre sujet d’intérêt pour le PASL.

Toutefois, plusieurs participants sont d’avis que les rencontres du CDE ne permettent pas de discuter d’enjeux ou d’introduire des dossiers et problématiques émergentes qui correspondent aux intérêts des participants. D’autres participants restent quant à eux « en mode écoute », puisque les organisations qu’ils représentent ne sont pas engagées dans des projets ou n’ont pas affecté de ressources au PASL. Le CDE a également connu un important roulement de personnel au cours de la période évaluée, ce qui s’est traduit par une baisse de l’engagement des participants et un recours récurrent à des remplaçants lors de rencontres. Certaines rencontres se sont déroulées sans la représentation de plusieurs ministères et agences. Les rencontres se sont également tenues en mode virtuel en raison de la COVID-19, ce qui a eu une incidence négative sur l’engagement et la participation.

Les participants indiquent en outre que les suggestions d’améliorations au PASL qu’ils font lors des réunions du CDE restent parfois sans réponse. Plus spécifiquement, certaines lacunes observées dans le fonctionnement du PASL ou certaines occasions de renforcer sa mise en œuvre ne font pas l’objet de discussions ou de décisions, en dépit du fait que ces enjeux soient soulevés explicitement et parfois de manière récurrente. En réponse au sondage, 16 participants ont mentionné avoir identifié des occasions d’amélioration du PASL. Parmi les 13 participants ayant communiqué ces occasions au CDE, sept (54 %) considèrent qu’un suivi a été effectué et six (46 %) considèrent que leur intervention est restée sans réponse adéquate. Parmi les raisons avancées pour l’absence de réponse adéquate, les participants ont relevé le manque de ressources financières, la difficulté d’obtenir les autorisations nécessaires en temps opportun, ainsi que le manque de leadership de la part du CDE. Les longs délais dans la prise de décisions et les suivis sont également mentionnés.

Il est à noter que le rôle et les responsabilités stratégiques du CDE ne sont pas connus de tous les participants. Cette méconnaissance a probablement une incidence sur la difficulté qu’a le CDE à remplir son rôle stratégique. Cela porte à croire que le renforcement du rôle stratégique du CDE passe moins par une révision de la structure de gouvernance que par des ajustements sur le plan du déroulement des rencontres et l’amélioration de la connaissance et de la compréhension qu’ont les participants du cadre de gestion du PASL, y compris de leur rôle dans celui-ci.

En outre, il serait avantageux que les représentants ministériels qui siègent au CDE aient un substitut attitré de niveau hiérarchique ou décisionnel équivalent qui les remplace lorsqu’ils ne sont pas disponibles. Les substituts doivent non seulement avoir une compréhension de la structure de gouvernance du PASL, mais également être habilités à prendre des décisions pour l’organisation représentée au même titre que le membre remplacé. Bien qu’un tel système de substituts attitrés soit prévu dans le cadre de la gestion de l’Entente, en pratique soit il n’y a pas de substitut, soit les substituts présents ont seulement une capacité d’observateur.

5.4. Les changements organisationnels ont une incidence sur les suivis des rencontres de deux comités

Les rencontres du CDE, des CS et des GT sont l’occasion de surveiller l’avancement des projets, de saisir les occasions de collaboration et d’apporter des solutions pour éliminer les divers obstacles qui peuvent affecter le calendrier et les objectifs de travail.

Une majorité des participants du PASL (plus de 70 %) est d’avis que les décisions des comités de gouvernance sont prises en temps opportun pour appuyer les opérations. En outre, plus de 75 % des participants sont d’avis que les décisions du CDE, du CE, du CSU, du GTSÉSL et du GTPNE sont toujours ou la plupart du temps communiquées en temps opportun (figure 2).

Le CSB et le CSQE sont deux exceptions notables à cette tendance. Presque tous les répondants au sondage (85 %) sont d’avis que les décisions des comités ne sont jamais communiquées en temps opportun ou le sont seulement à l’occasion. Ce résultat s’explique principalement par un déficit de personnel au sein des équipes de projet, causé par des changements organisationnels au sein de certains ministères jouant un rôle clé dans les activités supervisées par ces CS.

Bien que les décisions prises au CDE donnent souvent lieu à des actions de suivi, pendant plusieurs années, les comptes rendus des rencontres étaient transmis aux participants plusieurs mois après la tenue des rencontres. Selon certains participants, cette diffusion tardive a eu une incidence sur leur capacité à donner suite aux actions en temps opportun. La situation causée par les communications tardives a néanmoins été corrigée récemment, à la suite de la rencontre du CDE de juin 2022. Les participants sont d’avis que ce changement a un effet positif sur les CS et GT et, plus largement, sur la gestion du PASL.

Figure 2 : Les décisions des comités de gouvernance sont communiquées en temps opportun pour appuyer les opérations

Source : Sondage mené auprès des participants du PASL en 2022

5.5. Les possibilités de contribution au PASL sont limitées pour les Premières Nations et les secteurs municipal et communautaire

Selon l’Entente Canada-Québec, seuls les ministères et agences participants qui consacrent des fonds aux activités du PASL sont représentés officiellement dans la structure de gestion. Ainsi, les Premières Nations dont le territoire traditionnel s’étend au Saint-Laurent ou qui ont un intérêt dans la gestion durable de son écosystème n’ont pas de représentation à ce niveau dans le PASL.

Des représentants consultés sont d’avis que les possibilités de participation des Premières Nations sont limitées. Cependant, les représentants du PASL ayant exprimé cet avis n’ont pas précisé quel type de participation des Premières Nations leur semble souhaitable. En outre, une Première Nation a signifié aux évaluateurs son intérêt à collaborer avec le PASL.

Par ailleurs, les participants du PASL ont également indiqué que les préoccupations et intérêts des secteurs municipal et communautaire pourraient être mieux reflétés dans la programmation des actions conjointes.

6. Reddition de comptes

• De façon générale, le processus de reddition de comptes est efficace et permet de constater l’avancement et les réalisations des projets.
• Les responsables de projets estiment que la charge de travail associée à la reddition de comptes du PASL est importante.
• Les informations colligées ne sont pas toutes utilisées pour soutenir la prise de décisions ou l’atteinte des objectifs du PASL.
• Plusieurs utilisateurs sont d’avis que la plateforme informatique utilisée pour la reddition de comptes est difficile à utiliser.

6.1. Le processus de reddition de comptes permet un suivi efficace des projets

Les exigences de la reddition de comptes du PASL sont établies dans l’Entente. La reddition vise à fournir au CDE des informations sur l’avancement et les réalisations des projets. Les coprésidents des CS et GT ont pour rôle de recueillir auprès des responsables de projets des informations sur l’avancement et les réalisations de leurs projets et de présenter ces informations au CDE. Coordonnée par le Secrétariat du PASL, la reddition de comptes comporte trois principales étapes, à savoir :

• faire le point sur l’avancement à la mi-exercice;
• faire le point sur l’avancement à la fin de l’exercice et présenter le bilan annuel;
• présenter la planification de l’exercice suivant.

À la fin de l’exercice financier, les responsables de projets doivent consigner dans la plateforme informatique Oproma des informations sur l’avancement de leurs projets. Les renseignements portent sur les activités, les produits livrables, les produits de communication et le budget. Les responsables de projets doivent également mettre à jour le code de couleur (vert, jaune ou rouge) attribué à l’état d’avancement. Ce faisant, ils facilitent la compilation de l’avancement de l’ensemble des projets sur une base annuelle.

De façon générale, les personnes rencontrées indiquent que le processus de reddition de comptes est efficace et permet de constater les réalisations des différents projets grâce aux divers bilans. La reddition de comptes effectuée deux fois l’an devant le CDE permet de présenter un portrait qualitatif des réalisations des projets, ce qui peut servir à faire état de résultats concrets auprès des publics cibles du PASL.

6.2. Les informations recueillies ne sont pas toutes utilisées

En entrevue, quelques participants n’étaient pas en mesure de se prononcer sur l’utilisation des informations recueillies pour la reddition de comptes, ni au sujet de leur utilité pour soutenir les objectifs du PASL. D’autres encore sont d’avis que l’utilité des nombreuses informations colligées n’est pas claire. Les répondants au sondage, eux, en voyaient plutôt l’utilité. En effet, la majorité des répondants (54 %, n=41) est d’avis qu’une forte ou très forte proportion des informations recueillies grâce à la reddition de comptes soutient la prise de décisions ou l’atteinte des objectifs du PASL. En contrepartie, près d’un répondant sur cinq (17 %) est d’avis que seule une faible proportion des informations recueillies est effectivement utilisée (figure 3).

Figure 3 : Proportion des informations recueillies au moyen de la reddition de comptes qui est utilisée pour soutenir la prise de décisions ou l’atteinte des objectifs du PASL

Source : Sondage mené auprès des participants du PASL en 2022

Plus de la moitié des participants (n= 32 à 47) sont d’avis que la plupart ou la totalité des informations recueillies sont utilisées pour : 1) permettre aux participants du PASL d’identifier des risques à l’atteinte des objectifs du PASL (68 %), 2) soutenir la prise de décisions des coprésidents des Comités de suivi, groupes de travail et comités de concertation (63 %), et 3) soutenir la prise de décisions des responsables de projets (60 %).

Plus de la moitié des participants (n= 32 à 47) sont d’avis qu’aucune information recueillie n’est utilisée, ou seulement certaines, pour : 1) permettre aux participants du PASL d’identifier des occasions de collaboration (58 %), 2) soutenir la prise de décision des coprésidents de l’Entente (56 %) et 3) soutenir la prise de décisions des membres du Secrétariat de l’Entente (53 %).

6.3. La charge de travail associée à la reddition de comptes est importante

Les heures consacrées à la reddition de comptes varient selon le rôle occupé dans le PASL. Les principaux membres du Secrétariat du PASL^{Note de bas de page 2} consacrent en moyenne 328 heures par personne par année à la reddition de comptes, soit près de 18 % des heures travaillées. La grande majorité (85 %) des responsables de projets et les coprésidents de CS et GT consacrent quant à eux 20 heures ou moins par année à cette tâche. En entrevue, certains participants ont mentionné qu’ils considèrent que la charge de travail associée à la reddition de comptes est importante et que cela réduit le temps qu’ils sont en mesure de consacrer aux projets.

En outre, presque tous les partenaires du PASL doivent effectuer des exercices de reddition de comptes additionnels pour les mêmes activités : 72 % indiquent qu’ils doivent effectuer deux exercices de reddition de comptes et 25 % indiquent qu’ils doivent réaliser trois exercices ou plus. Les exercices additionnels sont des exigences propres aux processus internes de chaque ministère ou agence partenaire. Des informations différentes sont recueillies lors de ces exercices et il ne semble pas être possible d’en diminuer le nombre.

Considérant que la reddition de comptes exige un temps précieux et que toutes les informations recueillies ne semblent pas soutenir la prise de décisions, le PASL a la possibilité de rationaliser ces informations en s’attardant uniquement à ce qui est aligné clairement sur les besoins d’information des décideurs et les objectifs du PASL. Une telle rationalisation pourrait alléger la charge de travail des participants et libérer du temps pour l’exécution des projets de la programmation des actions conjointes et l’administration du PASL dans son ensemble.

6.4 La plateforme Oproma est difficile à utiliser pour plusieurs participants

Avant la mise en service de la plateforme Oproma, le Secrétariat du PASL devait compiler manuellement les informations sur les projets pour effectuer les exercices de reddition de comptes. Bien que l’adoption de la plateforme ait amélioré l’efficacité du processus dans son ensemble, plusieurs intervenants ont de la difficulté à utiliser la plateforme Oproma. En effet, plusieurs utilisateurs (n=31) ont de la difficulté à trouver l’information recherchée (23 %) et les fonctions recherchées (31 %). Une part plus importante encore des utilisateurs a de la difficulté à effectuer les opérations voulues facilement (39 %) et rapidement (42 %). En outre, la majorité (61 %) des utilisateurs n’apprécient jamais ou apprécient seulement à l’occasion leur expérience avec le système Oproma (voir la figure 4).

Figure 4 : Opinions des utilisateurs sur la facilité d’utilisation et la convivialité de la plateforme Oproma

Source : Sondage mené auprès des participants du PASL en 2022

Au nombre des causes sous-jacentes des difficultés d’utilisation, on compte notamment le roulement élevé de personnel chez les participants du PASL et l’absence d’un transfert de connaissances efficace, que ce soit entre collègues d’un ministère ou d’une agence, ou entre le Secrétariat et les nouveaux participants – notamment au moyen d’un accueil personnalisé lors de l’arrivée en fonction au PASL.

7. Communications externes

• Les communications externes du PASL sont encadrées par une stratégie globale, mais celle-ci ne comporte pas de cadre de mesure du rendement. Il n’est pas possible de savoir si les objectifs sont atteints.
• Les partenaires du PASL considèrent que les activités de communication externe ne répondent pas à leurs besoins. Les ressources allouées ne sont pas utilisées en entier.
• Quoiqu’ils aient un intérêt élevé pour les activités et les résultats du PASL, les collaborateurs et les usagers estiment n’être que peu ou pas informés.
• Malgré les efforts et la refonte du site Web, la navigation demeure difficile, certains contenus sont périmés et les actualités sont peu utilisées. Le PASL ne dispose pas de comptes propres sur les plateformes des médias sociaux et utilise seulement à l’occasion les médias sociaux gouvernementaux. De plus, les partenaires n’amplifient pas les publications du PASL.

7.1. Les communications externes du PASL sont encadrées par une stratégie

Le Protocole de communication en annexe de l’Entente définit les règles en matière de communication, les rôles et responsabilités des gestionnaires et conseillères en communication et les normes d’image de marque du PASL. En 2017, le PASL s’est doté d’une stratégie de communication pour la phase VI 2016-2021. La stratégie 2016-2021 identifie cinq enjeux prioritaires en matière de communication et des objectifs associés, ainsi que sept publics cibles (voir le tableau 2).

Source : Stratégie de communication quinquennale 2016-2021 du PASL

Selon la stratégie 2016-2021, l’utilisation des médias sociaux vise à publier des messages lors de journées thématiques et d’annonces plus spécifiques pour promouvoir les activités, les réalisations et les programmes du PASL. Les plateformes favorisées sont Facebook, X (anciennement Twitter) et LinkedIn.

Les contenus publiés de 2016 à 2022 étaient variés et comprenaient des mentions pour marquer des journées ou semaines thématiques particulières liées au PASL, des annonces de nouveaux financements en lien avec les activités du PASL, des appels à projets pour le financement du PIC, des informations générales sur le Saint-Laurent et sa biodiversité ainsi que des jeux-questionnaires et anecdotes sur l’écosystème du Saint-Laurent.

En 2017, les conseillères en communication du PASL ont créé un « Guide de publication dans les médias sociaux ». À l’automne 2022, elles ont également créé des formulaires pour faciliter la collecte d’information auprès des responsables dont les projets pourraient faire l’objet de communications sur les médias sociaux ou sur le site Web du PASL.

7.2. Le rendement des communications externes du PASL est inconnu

Chaque année, les conseillères en communication du PASL déterminent le plan de travail et produisent un bilan en fin d’exercice. Le bilan des activités de communication de 2016-2017 à 2021-2022 fait état des activités selon quatre volets : le volet Communications stratégiques (Plan de communication pour la nouvelle programmation, réorganisation du site Web, etc.), le volet Web, le volet Publications générales (Rapport quinquennal du PASL, etc.) et le volet sectoriel (les produits liés aux projets du PASL). La grande majorité des activités inscrites dans les plans de travail annuels ont été réalisées.

La stratégie 2016-2021 ne définit pas de plan d’action spécifique pour chacun des canaux de communication et des publics cibles. L’approche retenue par les conseillères en communication consiste à développer des stratégies de communication ad hoc, en concertation avec les membres du Secrétariat, les coprésidents des CS et des GT et les responsables de projets.

Les activités de communication externe n’ont pas d’indicateurs ni de cibles de résultats et leur rendement n’est pas mesuré, à l’exception de certaines mesures de fréquentation du site Web et d’engagement avec les publications sur les réseaux sociaux. Il est donc impossible de savoir si elles améliorent la visibilité et le rayonnement du PASL et rejoignent les publics cibles efficacement, par exemple en rendant le contenu accessible et en le vulgarisant.

7.3. Les communications externes ne correspondent pas aux besoins des participants

Les activités de communication externe du PASL sont définies chaque année en concertation avec les partenaires du PASL. Les bilans annuels indiquent que la grande majorité des activités inscrites au plan de travail annuel sont réalisées en cours d’année. Malgré la livraison des produits et services attendus, les participants s’accordent pour dire que les activités de communication du PASL ne correspondent pas à leurs besoins tels que décrits dans la stratégie de communication 2016-2021.

En entrevue et en réponse au sondage, une forte proportion des participants mentionne que les activités de communication sont trop peu nombreuses et que le PASL continue de manquer de visibilité. En particulier, ils soulignent dans le cadre du sondage (n=23) que les communications externes ne sont pas suffisamment fréquentes (31 %), que les produits de communication manquent de visibilité (19 %), que les délais sont trop longs (12 %) et qu’ils manquent de soutien de la part de l’équipe des communications (12 %).

Près des deux tiers (60 %) des participants sont d’avis que les activités ne correspondent pas ou sont inférieures à leurs besoins (voir la figure 5), et ce, pour tous les objectifs (voir la figure 6). Les participants ne savent pas si les publics cibles sont bien rejoints et certains d’entre eux souhaitent être davantage soutenus par les conseillères en communication. Les communications externes ont aussi fait l’objet de discussions au sein du CDE à plusieurs reprises; neuf membres du CDE sur onze (82 %) sont d’avis que le PASL manque de visibilité et ont souligné l’importance de la vulgarisation.

Figure 5 : Correspondance des activités du PASL avec les besoins des participants

Source : Sondage mené auprès des participants du PASL en 2022

Figure 6 : Correspondance des activités du PASL avec les besoins des participants, par type de besoin

Source : Sondage mené auprès des participants du PASL en 2022

Ce sont encore près des deux tiers (64 %) des participants qui sont d’avis que les communications externes du PASL ont rarement ou seulement parfois lieu en temps opportun. Les délais d’approbation et de diffusion des produits de communication sont les principales raisons mentionnées pour expliquer les difficultés rencontrées. En particulier, les délais d’approbation de certains produits, comme les rapports, sont notamment attribués au fait que leur diffusion nécessite l’approbation de deux gouvernements.

Les participants ont offert quelques suggestions pour renforcer les communications externes du PASL. Des présentations plus régulières de l’équipe des communications du Secrétariat et un plan de communication pour mieux rejoindre les différents partenaires (par exemple, les experts dans les différents ministères et les acteurs locaux) ont été suggérés. Ceci afin de pallier la méconnaissance de la stratégie, qui est au moins en partie due au roulement de personnel chez les partenaires du PASL. De plus, selon eux, des ateliers spécifiquement pour le grand public et des forums semblables au Forum Saint-Laurent (ayant eu lieu pour la dernière fois avant la pandémie de COVID-19) pourraient être utiles. Certains participants ont identifié des enjeux ou défis spécifiques aux communications externes :

• des informations plutôt scientifiques qui sont difficiles à communiquer au grand public;
• l’absence de résultats concrets sur le terrain à communiquer;
• le défi de communiquer les actions et les résultats des projets auprès de plusieurs publics cibles, dont les organisations municipales et communautaires et les comités de citoyens.

7.4. Le financement octroyé aux communications externes n’a pas été utilisé en entier

Pour la période 2016-2017 à 2021-2022, le MELCCFP avait prévu un budget de 580 800 $ pour les communications du PASL, tandis qu’ECCC avait prévu un budget de 681 200 $. Ces sommes représentent l’engagement financier total des deux ministères pour les communications, y compris les produits de communication et les dépenses en ressources humaines. Un dixième (10 %) de ce financement total n’a pas été dépensé. Les participants perçoivent un manque de ressources consacrées aux communications, alors qu’en réalité une partie des ressources n’a pas été utilisée, tant au niveau des opérations qu’au niveau des ressources humaines. Le tableau 3 présente les dépenses prévues et réelles liées aux produits de communication et aux ressources humaines, pour les deux ministères.

Source : Données fournies par le Secrétariat du PASL

Les dépenses réelles du MELCCFP pour les activités de communication sont inférieures de 23 700 $ aux dépenses planifiées. Cet écart est de 95 900 $ pour ECCC et il s’explique notamment par l’incidence de la COVID-19 sur les activités de recherche scientifique, dont certaines n’ont pas pu être réalisées comme prévu. Pour cette raison, le volume réel de travail en communications a été moindre que prévu, tout comme le recours à des fournisseurs de services externes. En termes de dépenses en salaires, le MELCCFP a dépensé autant que prévu et ECCC ne laisse que 7 600 $ (1 %) sur la table par rapport aux ressources affectées.

7.5. Le niveau d’intérêt des collaborateurs et des usagers envers le PASL est élevé, mais ils estiment être peu informés

Les collaborateurs et les usagers ont exprimé un intérêt élevé envers les communications externes du PASL. Presque tous les collaborateurs et usagers (98 % de 59 répondants) sont modérément ou très intéressés par les informations sur les activités et les résultats du PASL – en particulier au sujet des informations scientifiques, des actions sur le terrain, du suivi de l’état du Saint-Laurent et des outils d’aide à la prise de décisions. Une moindre proportion (66 %) est intéressée par les informations portant sur la gouvernance du PASL (figure 7).

Figure 7 : Intérêt à être informé sur les activités et résultats du PASL

Source : Sondage mené auprès des participants du PASL en 2022

Toutefois, une majorité des collaborateurs et usagers (54 %) indiquent ne pas être informés ou être peu informés des activités et résultats du PASL. Il y a donc là une indication que les activités de communication actuelles ne rejoignent pas efficacement certains publics cibles.

7.6. L’usage du site Web du PASL et des médias sociaux pourrait être renforcé

Le lancement du nouveau site Web du PASL en février 2021 était l’aboutissement de plusieurs années de travail pour moderniser la présence numérique du PASL. La stratégie quinquennale de communications 2016-2021 a introduit la publication en ligne de fiches et de résumés vulgarisés afin d’améliorer le partage des réalisations des projets. La stratégie prévoyait ainsi que ces publications soient sur le site Web du PASL et que les médias sociaux puissent s’y référer. Des gabarits de diffusion des résultats ont été développés pour garantir une uniformité des produits.

Le site Web du PASL héberge effectivement une variété de fiches et résumés vulgarisés. Au moment de la rédaction du rapport, le site Web comptait une centaine de fiches et résumés. Les gabarits sont utilisés et les produits sont généralement uniformes. L’examen de la documentation et du site Web confirme que l’onglet « Publications » du site Web donne un accès facile à diverses publications liées au PASL. Il est d’ailleurs possible de filtrer le catalogue de publications selon plusieurs critères de recherche, comme l’année de publication, l’ordre alphabétique ou le secteur géographique. 

La grande majorité des usagers et collaborateurs (97 %, n=62) d’une part et des participants d’autre part (86 %, n=50) ne consultent pas le site Web du PASL régulièrement (au total 92 %, n=112). Parmi ceux qui le consultent à l’occasion, une majorité (n=73 à 78, selon l’énoncé) se dit globalement satisfaite. Toutefois, un utilisateur sur quatre (25 %) n’apprécie qu’à l’occasion ou jamais son expérience d’utilisation et plus d’un utilisateur sur trois (37 %) ne trouve qu’à l’occasion ou jamais de l’information à jour (voir la figure 8).

Figure 8 : Qualité de l’expérience des utilisateurs du site Web du PASL

Source : Sondage mené auprès des participants du PASL en 2022

Malgré les efforts consacrés à la refonte du site Web afin de le rendre plus performant et plus accessible, des améliorations sont toujours souhaitables pour en améliorer la qualité et la convivialité. La moitié des participants (50 %, n=32) sont d’avis que des changements devraient être apportés au site Web pour en améliorer l’expérience utilisateur. La navigation sur le site Web demeure difficile pour les non-initiés en raison des nombreux sous-embranchements et du nombre de clics requis afin d’accéder à l’information. Certains contenus sont répétitifs ou périmés; par exemple, l’information sur le GTPNE n’est plus à jour au moment de la préparation du présent rapport, celui-ci ayant terminé ses activités en 2019. Par ailleurs, les publications dans la section « Actualités » du site Web sont peu fréquentes. Au total, dix articles ont été publiés entre 2020 et 2022, soit quatre articles en 2020, quatre en 2021 et deux en 2022. Les pages ne comportent pas de dates de publication ou de modification, ni n’offrent la possibilité de communiquer avec un webmestre pour signaler un problème ou une information erronée. Pour ce faire, les visiteurs du site Web du PASL doivent plutôt transiter par la page « Nous joindre » afin de choisir parmi des options de communication. Aucune de ces options n’est clairement liée à la gestion du site Web.

La refonte du site Web ne s’est pas traduite par une hausse du nombre de pages visitées. À l’exception des années 2017 et 2022 pour lesquelles on dispose de données partielles, la fréquentation du site Web mesurée par le nombre de pages visitées est restée relativement stable de 2018 à 2021 inclusivement, soit entre 54 000 et 64 000 pages visitées par année. Le taux de rebond^{Note de bas de page 3} moyen pour les principales pages du site Web se situe entre 51 % et 66 % par année, ce qui est considéré comme moyen-élevé. Cela veut dire qu’en moyenne, entre 51 % et 66 % des visites n’ont pas donné lieu à l’exploration du site Web. Les données disponibles ne permettent pas de savoir combien de temps les visites à rebond ont duré, ce qui aurait permis d’estimer combien de personnes ont visité une page Web sans réel intérêt ou par erreur (courte durée) ou de manière délibérée pour y trouver des renseignements et s’informer (longue durée).

Le PASL mise principalement sur son site Web pour assurer sa présence en ligne. Il y a toutefois lieu de se demander si cette décision est bien avisée. En effet, la grande majorité des participants, des collaborateurs et des usagers (92 %, n=112) ayant répondu au sondage ne consultent pas le site Web du PASL régulièrement et la refonte du site Web n’a pas entraîné une augmentation du nombre de pages visitées.

Par ailleurs, le PASL n’est pas autorisé à détenir de comptes propres sur les plateformes des médias sociaux. Pour faire connaître ses activités, ses réalisations et ses résultats, il prend appui occasionnellement sur les comptes ministériels d’ECCC et du MELCCFP. Contrairement à ce qui est inscrit dans la stratégie 2016-2021, les publications d’ECCC et du MELCCFP portant sur le PASL n’ont pas été relayées par les autres participants.

Recommandtions et réponse conjointe des coprésidents de l’entente

Les recommandations suivantes s’adressent aux coprésidents de l’Entente Canada-Québec sur le Saint-Laurent, respectivement la directrice générale de la gestion de l’eau douce d’ECCC et le sous-ministre adjoint à l’expertise et aux politiques de l’eau et de l’air du MELCCFP, lesquels sont les hauts fonctionnaires responsables du Plan d’action Saint-Laurent.

Recommandations

Réponse des coprésidents de l’Entente

Nous avons pris connaissance du rapport d’évaluation conjointe du Plan d’action Saint-Laurent pour la période entre 2016-2017 et 2021-2022 ainsi que des recommandations formulées.

Les gouvernements du Canada et du Québec collaborent depuis maintenant 35 ans à la conservation et à la mise en valeur du Saint-Laurent par le biais d’Ententes successives qui regroupent une dizaine de ministères de chaque gouvernement.

Le mandat de l’évaluation conjointe du PASL portait sur les enjeux de gouvernance et des communications externes.

Les deux gouvernements accordent une grande importance à une bonne gouvernance des instances du PASL ainsi qu’à la communication et au rayonnement des résultats qui découlent de l’Entente vers l’ensemble des partenaires, collaborateurs et usagers.

Ainsi, les recommandations formulées seront étudiées par les équipes des deux gouvernements afin d’identifier les possibilités de leur prise en compte d’ici la fin de l’Entente actuelle (2011-2026) et considérer celles qui peuvent alimenter l’élaboration d’une prochaine Entente.

Nous souhaitons, en terminant, souligner le travail effectué par l’équipe d’évaluation conjointe et remercier l’ensemble des membres du personnel, des partenaires du PASL et des usagers qui ont fourni leurs observations.