Évaluation du Programme Expérience de la Marine

Évaluation développementale du Programme Expérience de la Marine

La présente évaluation a été menée entre mars 2023 et mai 2024 et fournit une évaluation ciblée par rapport à des questions clés de l’évaluation relatives à l’efficacité initiale du programme. L’accent a été mis sur les premières étapes du processus de recrutement : l’attraction et l’enrôlement (programme 3.1 Recrutement). Les données probantes ont été recueillies et analysées à l’aide de méthodes mixtes. Une assistance consultative a été fournie au programme au cours de la première année de mise en œuvre du projet pilote en utilisant une approche d’évaluation développementale (ED) et en mettant l’accent sur l’élaboration de mesures de rendement clés. Des produits d’ED ont été élaborés en collaboration avec le programme, notamment :

• Cadre de mesure du rendement : élaboration en collaboration d’indicateurs de rendement immédiats, intermédiaires et finaux, conformément au modèle logique du programme, afin de guider le programme dans la collecte des données. Cela a permis au programme de définir des points de référence pour la première année du projet pilote, de suivre les progrès accomplis et de rendre compte des principales mesures à la haute direction.
• Théorie du changement : élaboration de la « logique et des processus du programme », en tenant compte des hypothèses du programme validées par les entrevues, ainsi que des facteurs d’influence internes et externes. Cela a permis aux responsables du programme de visualiser les nombreux facteurs ayant un effet sur les progrès du projet pilote et de commencer à les traiter en apportant des modifications concrètes au Programme.

À propos du Programme Expérience de la Marine

Le Programme Expérience de la Marine (PEM) est un programme pilote de cinq ans qui s’inscrit dans le cadre du programme de recrutement de la Marine royale canadienne (MRC). Le PEM s’attaque aux faibles niveaux de recrutement et répond à la recommandation du rapport Arbour de « restructurer et simplifier [les] processus de recrutement, d’enrôlement et d’instruction de base [des Forces armées canadiennes]. » S’inspirant du programme Australian Defence Force Gap Year (année sabbatique des forces de défense australiennes), le PEM attire les participants par le biais de campagnes de marketing, les enrôle grâce à un processus d’entrée simplifié, puis les forme avant de leur offrir une expérience sans engagement qui les expose à divers métiers de la MRC. À l’issue du PEM, les participants peuvent postuler à un métier spécifique qui les intéresse au sein de la MRC ou dans d’autres environnements, ou ils peuvent quitter les Forces armées canadiennes, et ce, « sans conditions ».

Tendances et résultats des campagnes de marketing

• Dans l’ensemble, la campagne du PEM a donné lieu à de nombreuses campagnes publicitaires et à la production de matériel sur des plateformes de marketing traditionnelles et en ligne, touchant 180 000 comptes sur cinq plateformes de médias sociaux. La participation sur Facebook reste la plus élevée par rapport aux autres plateformes (comme l’indique le graphique suivant); cependant, le groupe démographique cible du programme, soit les 18 à 24 ans, est le moins atteint sur Facebook.
• La majorité des personnes interrogées ont indiqué que la campagne de sensibilisation (dans les médias sociaux et traditionnels) s’était bien déroulée et avait été efficace.
• À la suite de la baisse d’intérêt anticipée depuis mars 2023, le contenu du PEM se stabilise au niveau du rendement moyen des autres contenus de la Marine.

Défis et mises en garde concernant les mesures

• Les Affaires publiques de la Marine et le PEM collaborent aux efforts de marketing, tandis que les Affaires publiques de la Marine suivent les données de marketing du PEM. Les rapports sur les médias sociaux et traditionnels des Affaires publiques de la Marine ont recommandé d’incorporer davantage de résultats tangibles et de succès du programme dans le contenu numérique du PEM, ainsi que d’adapter le contenu futur du PEM au groupe démographique cible identifié comme étant les 18 à 24 ans.
• Les personnes interrogées ont indiqué que le manque de ressources a eu un effet sur la capacité du PEM à cibler de manière appropriée et à suivre le succès de ses recrues idéales dès le début de la campagne.
• En outre, le PEM n’a pas encore défini d’objectifs concernant ses indicateurs d’attraction/de marketing.
• Il convient de noter que le délai de 101 jours relatif à l’enrôlement (Principal point à retenir 4) n’est pas actuellement un indicateur de la capacité du PEM ou du recrutement et, par conséquent, ne devrait pas influencer la campagne de marketing.

« L’exposition des familles et du public indiquerait que le [PEM] est plus efficace que de nombreuses initiatives [de la MRC] en termes de compréhension du public. »

Personne interrogée

Défis et mises en garde concernant les mesures

• L’équipe du Directeur – Personnel de la Marine (personnel, psychologie et attraction) élabore une approche plus aboutie de l’orientation du processus de recrutement, ainsi que des méthodes d’attraction et des mesures de rendement plus efficaces afin de mieux cibler, en toute discrétion, les populations canadiennes. Il s’agit notamment des activités et des domaines d’intervention suivants :
  • Des résultats plus tangibles/la réussite du programme sont intégrés dans le contenu numérique du PEM.
  • La Directeur – Personnel de la Marine (attractions) a dirigé des groupes de travail en décembre 2023 afin de planifier des événements de promotion du PEM et a déjà commencé à planifier le Grand salon des carrières maritimes du Canada en 2024. Elle continue également à rechercher de nouveaux partenariats avec des établissements d’enseignement afin d’informer les lycéens, collégiens et universitaires potentiels sur le programme et a commencé à offrir un service de conseillers, dans le cadre duquel les membres de l’équipe contactent directement les prospects générés lors d’événements afin de leur fournir des conseils de recrutement individuels dans le but de générer de nouvelles perspectives de recrutement.
• Les enquêtes sont conçues par le PEM afin d’informer les plans d’attraction et le rendement du programme et seront communiquées au fur et à mesure que les tendances se dessinent.

• D’après les statistiques du 1^er mars sur les candidats au PEM, avec 160 candidats actuellement enrôlés (dont 7 candidats transférés du Programme Raven), le PEM a dépassé son objectif initial de 144 recrues en décembre 2023 (comme l’indique le graphique suivant). Par la suite, le plafond du plan de recrutement stratégique (PRS) a été porté à 150 recrues, puis à 160 afin de tenir compte de l’augmentation du nombre de recrues.
• Le PEM gérera l’admission continue au programme, avec des variations basées sur la capacité d’absorption de la Marine. Compte tenu des besoins de recrutement actuels de la MRC, il est peu probable que sa capacité d’absorption plafonne pendant la durée du projet pilote.
• Le PRS concernant le PEM fluctuera donc en fonction du flux naturel d’admissions et d’enrôlement au programme, et non en fonction de l’objectif. Il est à noter que du fait que la Marine n’atteint pas ses PRS dans d’autres GPM, le PEM bénéficie d’une certaine flexibilité dans ce domaine.

Dossiers préexistants et taux d’enrôlement

• Bien que l’on ait réussi à atteindre l’objectif fixé pour la première année, près de la moitié des dossiers du PEM concernaient des personnes qui avaient déjà un dossier auprès du GRFC et qui sont passées au PEM lorsqu’il a été mis à leur disposition.

  46 % des dossiers de PEM concernaient des personnes qui avaient déjà un dossier auprès du GRFC.

• Historiquement, la Marine a toujours eu un ratio de 8 candidats par personne enrôlée (8 : 1). Les données actuelles du PEM indiquent que le ratio candidats/enrôlés au PEM est de 9 : 1; cependant, il a tendance à diminuer, comme le montre le graphique suivant.

  

  Résumé de la figure 5

• Ces données suggèrent qu’un objectif similaire pourrait ne pas être réalisable dans les années à venir. Ces difficultés peuvent être dues à l’absence de facteurs internes favorables, tels qu’une phase tronquée de conception du programme.

Pendant l’enrôlement

• Au 1^er mars 2024, 35 % des dossiers de PEM sont actuellement ouverts auprès du GRFC et se trouvent à différents stades du processus d’enrôlement.
• Cinquante-quatre pour cent des dossiers ont été fermés. La majorité des dossiers (66 %) ont été fermés à la demande du candidat ou pour cause d’inactivité (c’est-à-dire que les recruteurs n’ont pas été en mesure de rétablir le contact avec le candidat pendant 30 jours ou plus). Cette situation est illustrée par le graphique suivant.

66 % des dossiers sont fermés pendant l’enrôlement en raison de l’absence de suivi ou de retrait volontaire.

Lors de la QMB

• Selon le PEM, le taux d’abandon lié à des libérations volontaires du PEM lors des qualifications militaires de base (QMB) est actuellement de 8 %. D’autres données collectées au cours de la prochaine année du projet pilote permettront d’établir une base de référence, l’objectif étant de réduire les taux d’abandon.

• Les personnes interrogées dans les centres de recrutement et les quartiers généraux du GRFC et de la Réserve navale ont été interrogées sur leur expérience en matière de fermeture de dossiers. Tous ont noté que les raisons et les taux de fermeture des dossiers du PEM étaient conformes au recrutement général; toutefois, une légère augmentation des fermetures de dossiers du PEM a été observée récemment.
• Les facteurs environnementaux externes qui peuvent influencer cette augmentation des taux d’abandon, selon les rapports de données saisonnières d’attraction/marketing des Affaires publiques de la Marine, comprennent la perception par le public des efforts de changement de culture des FAC en matière d’inconduite sexuelle.
• L’analyse des dossiers clôturés et la validation des hypothèses qui en découlent grâce à la collecte d’indicateurs clés au cours du processus d’enrôlement peuvent permettre de valider les hypothèses du programme concernant les participants. Dans le cadre de l’ED, une collaboration continue entre le PEM et le Directeur général – Évaluation est prévue dans ce domaine pour le printemps 2024.

Test d’aptitude des Forces canadiennes

Bien que le test d’aptitude des Forces canadiennes (TAFC) soit l’une des raisons les plus fréquemment citées (lors des entrevues) pour expliquer l’abandon des participants, il ne représente, selon les données de recrutement, que 4 % des raisons connues des fermetures de dossiers.

Efforts en cours concernant le TAFC :

• Le CPM collabore avec le Bureau de la transformation numérique et travaille à l’introduction d’un TAFC en ligne, non surveillé, afin de réduire les obstacles pour les candidats et d’accélérer la vérification de l’aptitude.
• À partir de décembre 2023, pour certaines professions, le TAFC est retardé jusqu’à la QMB, y compris pour les recrues du PEM.

• Malgré l’élément clé du programme, à savoir la simplification du processus d’enrôlement, toutes les personnes interrogées ont confirmé qu’il n’y avait pas eu de changement dans le processus d’enrôlement au PEM par rapport à d’autres programmes de recrutement, à l’exception de la priorité accordée aux dossiers verts (dossiers ayant des implications minimales en matière de sécurité). Le PEM est l’un des nombreux dossiers prioritaires, ce qui complique l’établissement des priorités. Les personnes interrogées ont déclaré que cette priorité s’accompagnait de compromis pour d’autres dossiers.
• Le délai moyen de traitement d’un dossier du PEM est de 104 jours pour le GRFC et de 97 jours pour les divisions de la Réserve navale (DRN). Il s’agit d’une amélioration par rapport à la moyenne de 200 jours mentionnée dans le rapport du vérificateur général de 2016; toutefois, cette amélioration est due à un récent exercice de réduction de l’arriéré de dossiers mené par le GRFC, qui n’était pas lié au projet pilote PEM.
• Il convient de noter que le calendrier de la procédure d’habilitation de sécurité n’est pas actuellement suivi par le PEM, l’accent étant mis sur les dossiers verts.
• Presque toutes les personnes interrogées ont déclaré que l’objectif de 21 jours était difficile à atteindre et ont suggéré des délais réalistes allant de trois à neuf mois.

Processus médicaux et de sécurité

• Sur la base des données du PEM de mars 2024, le délai moyen pour que les dossiers passent du TAFC à l’achèvement du processus médical est de 40 jours. Bien que la plupart des délais de traitement restent liés au traitement des dossiers médicaux, il convient de noter qu’il s’agit d’une baisse significative (39 %) par rapport aux données de janvier 2024 du PEM, où la moyenne était de 66 jours.
• En ce qui concerne les processus de sécurité, le traitement des dossiers ayant des implications à l’étranger prend actuellement 18 à 24 mois. Le PEM a mis en œuvre des mesures d’efficacité concernant le processus de sécurité, notamment en permettant au Directeur général – Sécurité de la défense d’approuver la sécurité (alors que le GRFC était le seul habilité à le faire). Le PEM a également veillé à ce que les participants en attente d’autorisation puissent continuer à observer tous les métiers, les commandants assumant le risque associé à cette situation.

Soutien au détachement de la Réserve navale

La capacité des DRN à soutenir le PEM est un facteur influençant la simplification du processus d’enrôlement; cependant, de nombreuses personnes interrogées n’étaient pas au courant de ce soutien au recrutement dans le cadre du PEM et ont noté que les DRN manquaient de personnel et que les dossiers étaient souvent réacheminés vers le GRFC. Une personne interrogée occupant un poste de direction a noté que les ressources et le temps nécessaires afin que les équipes de recrutement du GRFC forment les DRN ont conduit à des compromis et à un rendement insuffisant dans de nombreux autres domaines du recrutement du GRFC.

Efforts en cours

• Le GRFC collabore activement avec les services de santé des Forces canadiennes sur les aspects sanitaires, tandis que le CPM apporte actuellement son soutien à la réalisation d’essais et d’ajustements concernant les normes médicales communes à l’enrôlement.
• Des progrès positifs continuent d’être observés au niveau du temps de réponse du Bureau médical des recrues, qui a considérablement diminué.
• Le GRFC collabore activement avec le Directeur général – Sécurité de la défense ainsi qu’avec Immigration, Réfugiés et Citoyenneté Canada sur les aspects liés à la sécurité. Ce partenariat vise à élaborer des solutions innovantes et à simplifier les processus.
• Le PEM est en train d’élaborer un système permettant de mesurer le temps du processus d’entrée qui est sous le contrôle du PEM/GRFC. Le compteur s’arrêtera lorsque le processus sera entre les mains du demandeur, ce qui permettra de mieux évaluer la durée du processus d’enrôlement.

Durabilité du projet pilote

La durabilité du PEM est actuellement affectée par la priorité accordée aux dossiers verts (par opposition aux changements apportés au processus d’enrôlement lui-même), la disponibilité des ressources et des soutiens tels que les DRN, et les processus d’enrôlement qui ne relèvent pas de la compétence du PEM. Il convient de noter que le délai de 101 jours nécessaire au traitement des dossiers d’enrôlement n’est pas actuellement un indicateur de la capacité du PEM ou du recrutement.