Évaluation formative : programme Nouveaux Horizons pour les aînés, juin 2009

Contexte

Le PNHA offre des subventions pouvant aller jusqu'à 25 000 $ à des organismes communautaires (organismes sans but lucratif, coalitions, réseaux, comités spéciaux, administrations municipales, conseils tribaux et de bande et autres organismes autochtones). Les fonds octroyés servent à mettre sur pied un large éventail de projets dans l'ensemble du Canada, qui encouragent les aînés à transmettre leurs connaissances, leur expérience et leur sagesse pour favoriser le mieux-être social de leur collectivité, renforcer les capacités communautaires et accroître la participation sociale et l'inclusion des aînés. Le PNHA voit à ce que les aînés puissent profiter de la qualité de vie de leur collectivité et y contribuer en menant une vie active au sein de la société.

Dans sa première année (2004-2005), le programme a versé environ 5 millions de dollars en subventions. En 2005-2006, le budget des subventions est passé à 11,7 millions de dollars, et en 2006-2007, il a augmenté de nouveau pour atteindre 15,6 millions de dollars.

À la suite des changements annoncés dans le budget de 2007, le programme offre maintenant aux organismes trois types de financement : participation communautaire et leadership, aide à l'immobilisation et sensibilisation aux mauvais traitements envers les aînés.

Portée et méthodologie de l'évaluation

L'évaluation formative visait les trois premières années de financement pour le volet Participation communautaire et leadership : 2004-2005, 2005-2006 et 2006-2007. Elle portait sur six enjeux en particulier :

• déterminer si le programme est conçu de façon à ce qu'il puisse atteindre les objectifs énoncés et les résultats attendus;
• déterminer si le programme a été mis en œuvre et exécuté tel que prévu;
• les efforts déployés pour sensibiliser davantage les intervenants au programme;
• le caractère adéquat des systèmes en place relatifs à l'information sur la gestion et le rendement, notamment la collecte des données appropriées pour appuyer l'évaluation sommative;
• la production des résultats attendus;
• l'atteinte des résultats à court terme.

La collecte et l'analyse des données en vue de l'évaluation se sont déroulées entre février et avril 2008. Quatre grandes sources d'information ont servi à mener l'évaluation formative : un bilan documentaire; un examen des données administratives (à partir de la base de données du programme et d'un échantillon aléatoire tiré des fichiers d'application sur papier du PNHA); des entrevues auprès d'informateurs clés (personnel et gestionnaires du PNHA de partout au pays, membres de comités d'examen régionaux (CER), et personnes faisant partie de groupes qui représentent les aînés ou qui traitent des questions relatives aux aînés à l'échelle nationale dans chacune des régions); et un examen des résultats d'une enquête menée auprès de demandeurs ayant reçu ou non du financement. Le présent rapport résume les résultats des quatre champs d'enquête.

Résultats clés

Mise en œuvre et exécution

En grande partie, le PNHA est mis en œuvre tel que prévu. Chaque région est dotée d'un CER ou l'équivalent, et chacune dispose d'une certaine marge de manœuvre pour l'exécution du programme. Cette souplesse permet au PNHA de mieux répondre aux besoins et à la situation des différentes collectivités.

Les demandeurs qui ont reçu du financement semblaient satisfaits de la plupart des éléments du programme. Ceux qui n'ont pas obtenu de fonds l'étaient moins, estimant qu'ils n'avaient pas reçu des explications claires quant aux raisons qui avaient mené au refus du financement. Cependant, la plupart d'entre eux ont indiqué qu'ils présenteraient de nouveau une demande.

Tant les demandeurs qui ont reçu du financement que ceux qui n'en ont pas reçu se montraient de plus en plus insatisfaits du temps requis pour l'examen des demandes.

Il semble y avoir relativement peu de programmes similaires au PNHA au Canada. Il existe des programmes semblables au niveau provincial en Nouvelle-Écosse et au Québec, ainsi qu'en Colombie-Britannique pour les groupes des Premières nations, mais dans la plupart des cas, le PNHA s'inscrit dans un créneau unique en favorisant la participation des aînés dans les collectivités.

Sensibilisation et promotion

Les efforts de sensibilisation et de promotion du programme semblent adéquats. Le personnel des régions a utilisé un large éventail de méthodes pour inciter les collectivités de leur région à s'investir, notamment l'envoi de trousses de demande par la poste, des présentations à l'intention des collectivités ou des groupes, de la publicité et des communications directes. Au fil du temps, la proportion de demandes qui respectaient les conditions d'admissibilité a augmenté de façon importante, ce qui indique que les efforts du personnel des régions en matière de communication et de promotion ont porté fruit.

Les informateurs clés étaient d'avis que les efforts de sensibilisation étaient les plus efficaces lorsqu'il y avait une rencontre en personne et qu'une aide était apportée pour la demande. Cette façon de faire a cours dans toutes les régions.

Les répondants au sondage ont indiqué que les méthodes les plus utiles pour informer les demandeurs au sujet du programme étaient d'envoyer des trousses d'information par la poste et d'afficher l'information dans le site Web du PNHA. L'ensemble des demandeurs, qu'ils aient reçu du financement ou non, considéraient le site Web comme un outil de communication très efficace.

Mesure du rendement et contrôle

Dans l'ensemble, le PNHA dispose de renseignements adéquats sur la gestion et le rendement ainsi que des données et des systèmes administratifs nécessaires pour assurer l'efficacité de la gestion du programme. Un cadre de mesure du rendement (CMR) est en place, cernant les indicateurs de rendement et décrivant la manière dont la surveillance périodique du programme sera effectuée. Cependant, le manque de souplesse du Système commun pour les subventions et les contributions (SCSC) nécessite la collecte manuelle de certaines mesures du rendement à même les dossiers papier.

Le PNHA recueille présentement les renseignements nécessaires à la production d'un rapport sur les indicateurs de résultats, à l'exception du nombre d'envois postaux ciblés pour faire la promotion du programme.

Les indicateurs de rendement portant sur les extrants du programme sont adéquats et instructifs. Cependant, ceux qui se rattachent aux résultats ne donnent pas une image complète des résultats attendus du PNHA. Bon nombre de ces indicateurs se rapportent aux extrants plutôt qu'aux résultats. On observe aussi certains recoupements entre les indicateurs pour différents niveaux de résultats, et entre les différents résultats d'un même niveau, ce qui sème la confusion quant aux caractéristiques déterminantes de chacun des résultats. Ces problèmes pourraient avoir une incidence sur l'obtention des données nécessaires à la réalisation d'une évaluation sommative.

La base de données du SCSC contient des données qui sont suffisamment exactes et complètes pour répondre à la plupart des besoins en matière de gestion et pour orienter les indicateurs de rendement du programme vers les extrants, à quelques exceptions près.

Production des extrants

Les éléments probants provenant des documents, des informateurs clés et des données administratives confirment que le PNHA a produit la plupart des extrants attendus. Les comités d'examen régionaux ou leurs équivalents ont été mis sur pied dans chaque région, et ils établissent chaque année les priorités régionales en matière de financement. Même si certaines régions n'ont pas de plans officiels de promotion et de sensibilisation, elles entreprennent toutes néanmoins différentes activités de promotion en vue d'inciter les collectivités ciblées à participer.

Au total, 1 730 projets qui étaient conformes aux objectifs du programme et aux priorités régionales ont été approuvés au cours des trois premiers cycles de financement. La seule préoccupation est que, à mesure que s'accroît le nombre de demandes admissibles, le temps requis pour examiner et approuver ces demandes augmente également.

Un rapport cumulatif sommaire est produit chaque année. On prévoit que la majorité des projets financés présenteront un rapport final dans l'année suivant l'achèvement du projet ^{Note de bas de page 1} . Les projets exemplaires ont été déterminés d'après les renseignements tirés des demandes et communiqués aux demandeurs potentiels. Certaines régions ont commencé à constituer des exemples de réussite à partir des résultats décrits dans les rapports de projet finals.

Atteinte des résultats à court terme

Certaines données préliminaires viennent confirmer que le PNHA atteint ses résultats à court terme. Tous les informateurs clés ont indiqué que, dans la plupart des cas, les décisions relatives au financement correspondaient aux priorités et aux besoins des collectivités. Le programme favorise l'engagement des aînés en établissant les priorités communautaires et en choisissant les projets qui s'y rapportent.

Tant les demandeurs qui ont reçu du financement que les informateurs clés étaient d'avis que le programme favorisait le recours à l'expérience, aux connaissances et à la sagesse des aînés. La plupart des projets impliquaient de 30 à 150 aînés et, selon les premières indications, ceux-ci ont participé à tout le moins à l'organisation de quelques projets.

La plupart des projets financés se poursuivent même lorsque le financement prend fin. Le programme semble accroître la capacité de nombreux organismes à répondre aux besoins de la collectivité en leur permettant d'améliorer leurs programmes et leurs services.

Des réseaux et des partenariats sont établis grâce au PNHA. Environ les trois quarts des organismes subventionnés ont mis en place de nouveaux partenariats par l'entremise des projets financés par le PNHA. Plus de la moitié des projets avaient des partenaires de financement autres que l'organisme responsable (habituellement, entre un et quatre), ce qui peut contribuer à la durabilité des projets. Les demandes de financement ont souvent été présentées en partenariat, dans certains cas avec de nouveaux partenaires, et dans d'autres cas, avec des partenaires existants.

Les organismes ayant reçu du financement estimaient que des contributions en espèces et en nature, d'une valeur totale de 52,46 millions de dollars, seraient versées par les organismes responsables et les partenaires de financement, dont 37,85 millions de dollars en espèces et 14,61 millions de dollars en contributions en nature. Ces contributions renforceraient, semble-t-il, la capacité organisationnelle et seraient également susceptibles d'avoir favorisé la poursuite des projets au-delà de la période de financement.

Résumé des recommandations

1. Accroître la transparence du processus décisionnel en fournissant par écrit des explications claires et détaillées concernant les projets qui n'obtiennent pas de financement.
2. Mettre en place des mesures en vue de réduire le temps requis pour prendre des décisions relatives au financement et simplifier le processus d'approbation ministériel.
3. Examiner et mettre à jour les indicateurs de rendement du programme en ce qui a trait aux extrants, aux résultats immédiats, aux résultats intermédiaires et aux résultats à long terme.
4. Faciliter la saisie et le regroupement des données sur les résultats à court terme du programme.
5. Veiller à ce que les données du SCSC soient complètes dans tous les champs qui seront utilisés pour le suivi du rendement ou pour l'évaluation sommative.

Introduction

À l'automne 2007, le programme Nouveaux Horizons pour les aînés (PNHA) a fait l'objet d'une évaluation formative pour respecter un engagement énoncé en 2004 dans une présentation au Conseil du Trésor portant sur le PNHA. L'évaluation du PNHA a été réalisée par Ressources humaines et Développement des compétences Canada (RHDCC). Nous tenons à remercier les personnes qui ont pris part à cette évaluation formative : le personnel de RHDCC, les membres des comités d'examen régionaux, les intéressés au PNHA (tant ceux qui ont reçu des subventions que ceux qui ont présenté une demande sans obtenir de financement), ainsi que les intervenants. C'est avec plaisir que nous vous communiquons la présente réponse de la direction.

L'évaluation formative du PNHA devait porter sur trois aspects précis : la conception, la prestation et la gestion du PNHA, notamment les progrès réalisés en vue d'atteindre les résultats (c.-à-d. résultats à court terme). Quatre principales sources d'information ont servi à mener cette évaluation formative : l'examen des documents et des fichiers; l'examen des données administratives; des entrevues menées auprès d'informateurs clés (hauts fonctionnaires, employés et gestionnaires du PNHA et de Service Canada, membres de comités d'examen, et personnes qui représentent les personnes âgées ou qui traitent des questions relatives aux aînés); et les résultats d'un sondage mené auprès de demandeurs subventionnés et non subventionnés.

Les subventions du PNHA permettent aux organismes sans but lucratif du Canada de mener à terme des projets qui encouragent les aînés à demeurer actifs au sein de leur collectivité en partageant leurs compétences, leur sagesse et leur expérience. L'objectif global consiste à faire en sorte que les aînés puissent profiter de la qualité de vie de leur collectivité et y contribuer en menant une vie sociale active. Cette évaluation conclut que le PNHA est mis en œuvre comme prévu et que le programme est conçu de manière à pouvoir atteindre, d'un point de vue réaliste, les objectifs et les résultats attendus. Dans l'ensemble, l'évaluation formative du PNHA a donné à la direction l'assurance que la conception et la prestation du programme correspondent aux résultats visés. Nous avons pris note des observations que renferme cette évaluation formative et nous avons l'intention de tenir compte des principales conclusions et suggestions qu'on y trouve. Bien qu'on ait relevé quelques points à améliorer, dans l'ensemble, les principales conclusions présentées dans l'évaluation formative sont très positives.

L'évaluation formative contient cinq recommandations à l'intention des responsables du PNHA. Ces recommandations sont énoncées ci-après et sont suivies par la réponse de la direction du PNHA.

Mise en ouvre et prestation du programme

Recommandation 1 : Accroître la transparence du processus décisionnel en fournissant par écrit des explications claires et détaillées concernant les projets qui n'obtiennent pas de financement. À l'heure actuelle, les responsables de ces projets peuvent demander un compte rendu qui leur précise pourquoi ils n'étaient pas admissibles ou qui leur indique quel était leur classement par rapport à d'autres projets qui ont reçu du financement. Selon les représentants du programme, bon nombre des demandeurs qui n'ont pas reçu de financement n'ont pas exigé de compte rendu.

• Le Ministère reconnaît qu'il est important d'adopter un processus décisionnel transparent.À cette fin, des mesures ont été prises pour veiller à la transparence, en préparant notamment des modèles de lettres de décision détaillées qui sont adaptés aux raisons du refus d'un projet. De plus, on encourage les demandeurs à communiquer avec le ministère pour obtenir des explications précises auprès d'un agent du programme, et ceux dont la demande est refusée reçoivent une liste de questions et réponses – sur le site Web du programme – qui renferment des renseignements sur les étapes à suivre pour obtenir plus de détails sur le refus de la demande et/ou qui proposent des idées en vue de projets futurs.
• Bien qu'il incombe au demandeur de communiquer avec le ministère s'il veut discuter de sa demande, l'équipe du programme fait également des efforts pour travailler avec les candidats refusés. Ainsi, le personnel formule des suggestions sur les façons d'améliorer leurs propositions en vue d'un prochain appel d'offres, une tâche qui s'inscrit dans le plan annuel de rayonnement et de promotion.
• L'un des critères essentiels à la réussite d'un processus de demande consiste à faire en sorte que les demandeurs comprennent parfaitement les critères d'admissibilité au programme lorsqu'ils présentent une demande de financement. En faisant la promotion du programme, les agents proposent aux organismes de communiquer avec eux pendant qu'ils élaborent une idée de projet afin d'obtenir de la rétroaction quant à leur admissibilité éventuelle. Nous avons modifié la documentation du programme (formulaire de demande et directives) pour renforcer ce message.

Recommandation 2 : Mettre en place des mesures en vue de réduire le temps requis pour prendre des décisions relatives au financement et simplifier le processus d'approbation ministériel. Par exemple, on pourrait envisager de recevoir des demandes de façon continue, que les CER examineraient quatre fois par année (plutôt qu'une seule fois).Cette façon de faire réduirait sans doute le temps nécessaire à la prise de décisions lors de n'importe quelle séance. Les organismes auraient également moins de pression pour respecter les dates limites, ce qui pourrait, en théorie, se traduire par des demandes de meilleure qualité.

• Le Ministère admet le principe de cette recommandation, qui serait d'explorer des façons d'accélérer la prise de décisions en matière de financement. Depuis le lancement du programme, les demandeurs sont avisés du moment auquel ils peuvent s'attendre à obtenir une réponse. Cette information se trouve dans la trousse de demande, sur le site Web et dans l'accusé de réception envoyé aux organismes lorsqu'ils présentent leur demande. Nous les informons que, en règle générale, le processus décisionnel ou d'approbation prend environ cinq mois à compter de la date de clôture de la demande de propositions.
• Nous cherchons continuellement des moyens d'améliorer le processus de demande. Par exemple, l'équipe du programme a simplifié le processus d'approbation interne en utilisant des modèles et en accélérant le traitement des documents le plus possible, de façon à ce que le rendement à l'interne soit plus efficace. Ces processus ont été adoptés par d'autres programmes de RHDCC en tant que pratiques exemplaires. Toutefois, le nombre élevé de demandes à traiter et la nécessité d'établir un calendrier d'évaluation en fonction de la disponibilité des membres des comités d'examen externes limite en quelque sorte notre capacité de raccourcir les délais pour la prise de décisions.
• En 2008-2009, les employés de l'AC et des régions ont envisagé la possibilité de mettre en place un processus permanent d'acceptation des demandes sous forme de projet pilote, en créant un groupe de travail chargé d'examiner cette avenue. Le groupe de travail régional a conclu que cette mesure n'était pas réaliste pour l'instant. Le programme fonctionne avec un réseau de comités d'examen externes, dont les membres sont des fonctionnaires, des personnes âgées et des représentants d'organismes communautaires ou de personnes âgées. Les membres du comité, qui sont surtout des bénévoles, évaluent et recommandent les propositions. Pour assurer l'efficacité d'un processus permanent, les comités devraient se réunir plus fréquemment pour évaluer les demandes et en recommander l'approbation.
• L'une des principales préoccupations a trait à la capacité et à la disponibilité des membres des comités d'examen de prendre part à des séances d'évaluation supplémentaires. Ces comités ont été formés en 2004, à l'époque où le programme était de moindre envergure, tant sur le plan du budget que du nombre de voies de financement. Les comités examinent aujourd'hui un nombre important de demandes de financement, à la fois pour les volets PCL et AI – plus de 2 200 demandes ont été examinées en 2008-2009. Les membres des comités d'examen investissent beaucoup de temps pour se réunir deux fois par année afin d'évaluer les demandes de PCL et d'AI. Plusieurs d'entre eux se sont dits préoccupés par le niveau d'engagement qu'exige ce travail de leur part désormais, et se montrent réticents à assister à d'autres rencontres.
• Le processus de réception et d'évaluation des demandes fera l'objet d'un examen en 2009-2010 à la lumière des conclusions tirées de l'examen de la mise en œuvre des voies de financement pour le volet AI. Cet examen a été réalisé à l'aide d'entrevues auprès d'informateurs clés avec des membres des comités d'examen.

Mesure du rendement et contrôle

Recommandation 3 : Examiner et mettre à jour les indicateurs de rendement du programme en ce qui a trait aux extrants, aux résultats immédiats, aux résultats intermédiaires et aux résultats à long terme. Les indicateurs devraient être directement liés aux extrants ou aux résultats, mesurables avec le temps, et présenter en outre suffisamment d'avantages pour justifier le fardeau que représenterait une évaluation continue.

• Le Ministère appuie cette recommandation. Le cadre de mesure du rendement (CMR) actuel comporte des indicateurs de rendement clés (IRC) qui sont pertinents par rapport aux extrants et aux résultats immédiats et intermédiaires que contient le modèle logique du programme. Ces IRC sont alimentés tous les ans pour chaque vague de financement, après le processus d'approbation des projets, et des rapports sont produits annuellement. Les IRC sont d'importants indicateurs des extrants; toutefois, l'élaboration d'indicateurs de résultats solides pour le CMR s'est révélée difficile. Après avoir examiné les recommandations du rapport d'évaluation formative (c.-à-d. l'évaluation des mesures de rendement du PNHA à l'intérieur du Rapport technique sur le bilan documentaire), le personnel du programme a analysé plus à fond le CMR. Il a ajouté quelques indicateurs selon les recommandations des évaluateurs et a peaufiné la définition des autres indicateurs. Cette activité a été achevée à l'automne 2008.
• Il est très difficile pour la plupart des programmes axés sur le développement social de mesurer l'atteinte des résultats à long terme. Dans le cas du PNHA, le résultat prévu à long terme est de rendre les « collectivités dynamiques et inclusives et de faire en sorte qu'elles profitent de la participation accrue des aînés à la vie communautaire ». La mesure du niveau d'atteinte de ce résultat est complexe en raison de l'effet d'attribution, c'est-à-dire qu'il existe d'autres initiatives de développement social (mises de l'avant par différents ordres de gouvernement) qui contribuent également de façon positive à l'accomplissement de ce résultat. Les évaluateurs ont proposé quelques indicateurs de résultats. Ces derniers méritent d'être étudiés davantage, tout comme d'autres indicateurs éventuels, pour qu'on puisse déterminer s'il est possible d'établir de bons indicateurs qui permettraient aux parrains des projets de mesurer les résultats de manière pratique, rentable et continue tout au long du processus d'évaluation (p. ex., le réseautage « réel » des aînés visés par les projets subventionnés peut être difficile à évaluer).
• L'évaluation des effets du volet PCL est en cours et les premiers résultats seront connus à l'automne 2009. Ceux-ci fourniront des détails supplémentaires sur les résultats et les mesures du programme. Dans l'attente des résultats de cette évaluation, nous entreprendrons à l'automne 2009 un examen du modèle logique du PNHA, de ses résultats et des mesures qui s'y rattachent pour veiller à ce que les relations de cause à effet soient conformes à l'intention du programme et faire en sorte d'établir des résultats, des indicateurs et des mesures appropriés. Nous ferons appel à des experts du domaine de l'évaluation des programmes de développement social pour nous aider dans cet exercice, qui vise à réduire le nombre d'indicateurs de rendement clés pour le PNHA, mais à en améliorer la qualité.

Recommandation 4 : Faciliter la saisie et le regroupement des données sur les résultats à court terme du programme. Ces renseignements sont disponibles dans les rapports de projet finals, mais ils ne sont pas saisis dans une base de données pouvant être facilement analysée. Une possibilité serait d'adapter le SCSC afin de permettre la saisie de ce type de données.

• Le Ministère appuie cette recommandation. L'AC reconnaît que les rapports de projet finals fournissent des données quantitatives et qualitatives précieuses, qui sont essentielles à la production de comptes rendus sur plusieurs IRC. La base de données actuelle relative à la gestion de projet, à savoir le Système commun des subventions et des contributions (SCSC) du ministère, saisit une partie des données du rapport final dans l'écran sommaire à la fermeture du dossier. Toutefois, cette base de données ne répond pas aux exigences du PNHA lorsqu'il s'agit de rendre compte du programme et de son rendement de façon continue, puisqu'elle n'a pas été conçue de manière à saisir l'ensemble de l'information utile extraite des rapports finals. Une analyse est en cours pour déterminer s'il est possible de modifier le sommaire à la fermeture du dossier du SCSC.
• Pour contrer cette faiblesse par rapport au SCSC, les représentants du PNHA ont élaboré un processus de collecte des données pour saisir un groupe fixe d'indicateurs de succès à partir des données des rapports finals pour le volet Participation communautaire et leadership (PCL). Les représentants du programme dans les régions ont été priés d'extraire et d'enregistrer les données provenant des rapports finals dans un outil de conception nationale. Cette information sera intégrée dans une base de données Microsoft Access, qui permettra ensuite de colliger les données et de les utiliser à des fins d'analyse. Cette activité est en route et doit se terminer au printemps 2009. En 2009-2010, nous l'élargirons de façon à saisir l'information des projets subventionnés en vertu des volets Aide à l'immobilisation (AI) et Sensibilisation aux mauvais traitements envers les aînés (SMTA) du programme.

Recommandation 5 : Veiller à ce que les données du SCSC soient complètes dans tous les champs qui seront utilisés pour le suivi du rendement ou pour l'évaluation sommative (p. ex., le nombre de participants et d'aînés, la date d'approbation, les CLOSM, le montant du financement demandé, l'état du projet).

• Le Ministère appuie cette recommandation. Ces activités sont en cours et les représentants du programme continueront d'insister sur l'importance d'une saisie de données précises et complètes. L'AC conseille les employés régionaux du programme en ce qui a trait aux formulaires et aux modèles du PNHA, ainsi qu'aux procédures et aux délais de saisie des données dans le SCSC. À l'été 2008, l'AC a mis à jour le guide opérationnel de saisie des données du SCSC. On rappelle aux employés régionaux les nouvelles exigences en matière de saisie des données et/ou les nouvelles mesures par l'intermédiaire de courriels, de conférences téléphoniques et de bulletins. La saisie des données dans le SCSC et l'importance de remplir les champs – y compris les champs non obligatoires servant à classer les projets – sont également des points abordés lors de forums d'apprentissage et de séances d'orientation et de formation.
• Le nouveau modèle de structure de Service Canada pour la prestation des programmes combine les programmes du marché du travail et de développement social en une structure organisationnelle uniforme dans l'ensemble des régions. Cette mesure devrait aussi permettre d'uniformiser davantage les processus et la formation.

Application future des recommandations de l'évaluation formative du PNHA

En résumé, les premières conclusions de l'évaluation sont assez positives et donnent de bonnes recommandations pour améliorer la gestion du programme au ministère. Cette évaluation, qui s'est également révélée profitable au ministère sur le plan de la reddition de comptes, s'est traduite par l'amélioration des indicateurs de rendement clés et par l'élaboration d'une stratégie de collecte de données pour faciliter la préparation des rapports finals. Les conclusions et recommandations de l'évaluation continueront à orienter la planification, les priorités et les investissements futurs du PNHA pour ce qui est de rendre compte des résultats.

1.1 Description du programme

Le PNHA verse aux organismes communautaires des subventions pouvant aller jusqu'à 25 000 $ pour un vaste éventail de projets mis sur pied dans l'ensemble du Canada. Les projets visent à encourager les aînés à transmettre leurs compétences, leur expérience et leur sagesse pour favoriser le mieux-être social dans leur collectivité, à renforcer la capacité des collectivités et à réduire le risque d'isolement social chez les personnes âgées. Les objectifs spécifiques énoncés dans les modalités du programme pour l'année 2004 étaient les suivantes :

• Tirer profit des compétences, de l'expérience et de la sagesse des aînés en vue d'aider leur collectivité et de les aider également;
• Réduire le risque d'isolement social chez les aînés;
• Renforcer les assises sociales à l'échelle communautaire et investir dans le mieux-être social;
• Veiller à ce que les aînés puissent profiter de la qualité de vie de leur collectivité et y contribuer, en participant aux activités sociales et en maintenant une vie active;
• Élaborer une approche de gouvernance qui incite les administrations provinciales, territoriales et municipales, de même que le secteur bénévole, l'économie sociale et les organismes sans but lucratif à collaborer avec les collectivités afin de répondre adéquatement aux besoins actuels et émergents.

1.1.1 Intrants

Le PNHA a été mis en œuvre dans la foulée du budget de 2004, qui annonçait 8 millions de dollars en financement pour 2004-2005. En réponse à la très forte demande, le gouvernement du Canada a annoncé une augmentation du financement alloué au PNHA. Il a donc injecté une somme de 5 millions de dollars de plus (pour un budget total de 13 millions de dollars) en 2005-2006, et 10 millions de dollars supplémentaires (pour un budget total de 18 millions de dollars) en 2006-2007. Le tableau 1 affiche la ventilation du budget pour chaque exercice.

• La source du tableau ci-dessus Sources : Budget des subventions tiré des rapports récapitulatifs annuels; budget total établi au moyen du Guide des opérations et du modèle d´allocation du PNHA; budget de F&S calculé en soustrayant le budget des subventions du budget total.

1.1.2 Activités et extrants

La figure 1 illustre le modèle logique du PNHA en date d'avril 2007, qui rend compte des activités et des résultats du programme pendant la période d'évaluation ^{Note de bas de page 2} . Le modèle logique reflète les activités, les extrants et les résultats du programme, à une exception près : l'élément « Réseaux et partenariats » a par la suite été éliminé des extrants ^{Note de bas de page 3} , et n'est donc pas inclus dans la présente évaluation.

Les activités particulières du PNHA sont les suivantes :

• Engagement communautaire: Information des intervenants et des collectivités ciblées au sujet de ce que le PNHA tente d'accomplir et de la façon dont les organismes peuvent obtenir du financement (p. ex., au moyen de réunions, d'allocutions, de consultations auprès des intervenants, de la diffusion de documentation écrite et du site Web du PNHA). Cela comprend également la création des comités d'examen régionaux (CER) et l'établissement des priorités pour orienter les appels de demandes.
• Administration des subventions: L'administration des accords de subvention comprend différentes activités, dont l'élaboration de l'appel d'offres, la présélection des propositions, l'évaluation et la recommandation des demandes, la préparation des avis de subvention, le suivi et les rapports concernant les retombées des projets financés, ainsi que la clôture des projets une fois qu'ils sont achevés.
• Gestion du rendement: Gestion et amélioration continues du programme comprenant l'examen des rapports finals des projets afin d'en dégager les histoires de réussite qui pourraient être partagées avec les groupes d'intervenants du PNHA; production d'un rapport sur les pratiques exemplaires; examen et amélioration continus des processus du programme; et détermination des problèmes émergents qui pourraient porter atteinte à la réussite du programme.

Les extrants découlant de ces activités sont les suivants :

• Établissement des priorités en matière de financement propres à chacune des régions.
• Élaboration et mise en œuvre des plans régionaux de promotion et de sensibilisation, pour faire en sorte que les groupes susceptibles de présenter une demande et d'être admissibles à du financement soient informés du programme et comprennent l'objectif du financement et les critères de sélection.
• Attribution des fonds aux projets qui répondent aux critères du programme et aux priorités régionales.
• Production de rapports sommaires annuels relatifs au programme, amélioration continue du programme et exemples de réussite pouvant servir d'outil de promotion pour l'élaboration de projets semblables dans d'autres collectivités.

1.1.3 Admissibilité aux subventions

Les activités admissibles au financement du PNHA comprennent : la participation active des aînés au mieux-être social de leur collectivité; la promotion de la citoyenneté sociale; le renforcement du capital social grâce à l'établissement de partenariats et de réseaux; les investissements dans l'infrastructure communautaire sociale; ainsi que la création du savoir et l'apprentissage menant à des innovations sociales.

Les activités doivent être complémentaires, apporter des éléments nouveaux et ne pas reprendre les activités qui existent déjà dans la collectivité. Elles doivent être sans but lucratif; répondre aux priorités et aux intérêts de la collectivité locale; être conformes aux objectifs du PNHA; et répondre aux priorités ministérielles. De plus, les activités doivent être proposées et mises en œuvre par des aînés et leur être profitables.

1.1.4 Résultats du programme

L'ensemble des projets financés devrait contribuer aux résultats à court terme du PNHA, dont l'atteinte est prévue d'ici un à trois ans. Ces résultats sont les suivants :

• Réponse aux priorités communautaires;
• Recours à l'expérience, aux compétences et à la sagesse des aînés;
• Capacité accrue des organismes financés à répondre aux besoins de la collectivité;
• Établissement de liens entre les aînés par l'entremise de réseaux et de partenariats.

Les résultats à court terme devraient mener à des résultats intermédiaires qui seront obtenus sur une période de trois à cinq ans. Les résultats intermédiaires du PNHA sont les suivants :

• Capacité de la collectivité à relever les défis existants ou émergents dans le domaine social;
• Participation sociale, renforcement de l'autonomie et inclusion des aînés;
• Engagement des aînés dans la collectivité.

À long terme, le PNHA devrait mener à des collectivités dynamiques et inclusives qui profitent de la participation accrue des aînés à la vie communautaire.

1.1.5 Gestion et exécution du programme

C'est la division de l'AC du programme Nouveaux Horizons pour les aînés qui est responsable de sa gestion. Elle a notamment pour tâche de contrôler toutes les dépenses et activités du programme, tant à l'administration centrale que dans les régions, et de suivre de près les projets et leurs résultats. Les résultats du programme sont examinés dans le cadre des évaluations.

Le personnel de Service Canada dans les régions est chargé de la prestation continue du PNHA. Ces employés sonts également responsables de l'engagement communautaire et de la liaison, de la mise en place et du soutien des opérations de leur CER, ainsi que de l'établissement et du maintien de partenariats avec les agents provinciaux et territoriaux pour traiter des questions relatives au PNHA. Des ressources financières sont allouées aux régions pour appuyer ces fonctions. L'exécution du programme varie selon la région

(p. ex., différentes méthodes sont employées dans les diverses régions pour inciter les intervenants à s'engager; chacune des régions établit son propre ensemble de priorités en matière de financement, etc.).

Toutes les régions, à l'exception du Québec, ont mis sur pied des CER formés de bénévoles représentant les trois ordres de gouvernement, les organismes qui s'adressent aux aînés et d'autres personnes qui traitent des questions relatives aux aînés. Cette approche vise à permettre de tenir compte des différences régionales dans l'exécution du programme. Appuyés par le personnel des régions, les CER de chaque province et territoire ont comme mandat d'établir les priorités pour la sollicitation des projets, d'élaborer des critères pour l'évaluation des différents projets et de recommander et de coter les projets soumis à l'approbation de RHDSC.

Au Québec, un Comité conjoint de gestion (CCG) remplace le CER. Le CCG est formé de représentants régionaux du PNHA et de représentants du Secrétariat aux aînés du Québec. Cette entente permet à la province de coordonner le processus de financement du PNHA avec le programme provincial Du cœur à l'action pour les aînés du Québec/ Heartfelt Action for Québec's Seniors (anciennement Engagés dans l'action pour les aînés), dont les objectifs sont semblables en ce qui a trait à la participation sociale des aînés.

1.2 Contexte de l'évaluation

L'évaluation formative visait à appuyer l'amélioration du programme. Elle était axée sur la conception, la prestation et la gestion du programme, et elle a permis d'examiner les activités, les extrants et les résultats à court terme du PNHA. Les questions suivantes ont servi à orienter l'évaluation.

Conception du programme

1. Le programme est-il conçu de façon à pouvoir atteindre, d'un point de vue réaliste, les objectifs énoncés et les résultats attendus?

• Est-ce que le modèle logique reflète la façon dont le programme fonctionne à l'heure actuelle?
• Est-ce que le modèle logique démontre bien les liens du programme entre les activités et les résultats attendus?

Mise en ouvre et prestation du programme

2. Le PNHA est-il mis en œuvre et exécuté comme prévu?

• Des changements devraient-ils être apportés au mode d'exécution du programme afin d'en améliorer l'efficience et l'efficacité?
• Les ressources sont-elles suffisantes?

3. Quels efforts a-t-on déployés pour sensibiliser davantage les intervenants communautaires au programme?

• Quels ont été les moyens de sensibilisation employés?
• Quelle en était l'efficacité?
• Quels ont été les obstacles, le cas échéant?

4. Le programme dispose-t-il de renseignements adéquats sur la gestion et le rendement et de données et/ou systèmes administratifs pour que sa gestion soit efficace et efficiente?

• Les indicateurs de rendement sont-ils adéquats?
• Quelle est la qualité des données disponibles sur le rendement?
• Les données requises pour mener une évaluation sommative sont-elles recueillies?
• Y a-t-il des lacunes à combler?

Premiers résultats

5. Jusqu'à quel point le programme a-t-il produit les extrants attendus?

• Quel est le profil des projets dans chacune des régions?
• Quels sont les obstacles qui nuisent à l'obtention des extrants attendus?
• Qu'est-ce qui favorise l'obtention des extrants attendus?

6. Dans quelle mesure le programme a-t-il atteint les résultats prévus à court terme?

• Quels sont les obstacles qui nuisent à l'atteinte des résultats attendus?
• Qu'est-ce qui favorise l'atteinte des résultats attendus?
• Y a-t-il eu des résultats imprévus?

2.1 Bilan documentaire

Les documents liés au programme ont été examinés aux niveaux national et régional. Au niveau national, les documents comprenaient le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR), le Cadre de mesure du rendement (CMR), les modalités du programme, le rapport d'examen de la mise en œuvre initiale, le Guide des opérations, les budgets, les rapports annuels, les formulaires utilisés dans le cadre du programme et les communications avec les régions. Ces documents ont permis l'élaboration d'une description du programme. Les documents régionaux comprenaient les plans de sensibilisation et de promotion, les dossiers portant sur la sensibilisation et les communications, les dossiers des comités d'examen régionaux, les exemples de projets innovateurs et tous les outils propres aux régions qui ont servi à la sélection et à l'évaluation des propositions. Ces documents, qui ont fourni des renseignements sur le fonctionnement du programme à l'échelle régionale, ont été utiles en faisant ressortir les similitudes et les différences entre les régions.

Les renseignements tirés des documents ont été analysés à l'aide de l'analyse du contenu fondée sur les questions d'évaluation. Les données pertinentes contenues dans chacun des documents ont été regroupées en fonction des questions d'évaluation, et l'ensemble des constatations et des conclusions ont été résumées pour chaque question, en relevant les éléments qui concordaient ou qui divergeaient entre les divers documents.

2.2 Entrevues auprès des informateurs clés

Les entrevues ont été menées en février et en mars 2008 auprès de 58 informateurs clés, y compris deux hauts fonctionnaires du gouvernement, 22 employés et gestionnaires du PNHA (tant au niveau national que régional), 14 membres des comités d'examen régionaux (CER) de toutes les régions sauf les Territoires du Nord-Ouest, et 20 représentants des groupes d'intervenants (c.-à-d. les groupes qui représentent les aînés ou qui traitent des questions liées aux aînés au niveau national et dans chaque région; certains de ces groupes ont reçu du financement du PNHA). La répartition des entrevues par groupe et par région est présentée au tableau 2.

Les entrevues ont été menées par téléphone, en raison des grandes distances liées au projet. Cette méthode a permis de réaliser un grand nombre d'entrevues tout en respectant le budget affecté à l'évaluation, et les évaluateurs ont pu fixer l'horaire des entrevues selon le moment qui convenait aux répondants.

Les informateurs clés n'ont pas été choisis au hasard, de sorte que les personnes interviewées étaient celles qui connaissaient le mieux, dans leur groupe respectif, le programme tel qu'il a été mis en œuvre entre 2004-2005 et 2006-2007. Les gestionnaires au niveau national ont déterminé quels employés et hauts fonctionnaires étaient aptes à être interviewés, tandis que le personnel du programme dans les régions a déterminé les membres des CER et les groupes d'intervenants qu'il convenait d'interviewer.

Selon leur niveau de participation au programme, les informateurs clés devaient répondre à des questions sur la conception et la prestation du programme, la communication et la sensibilisation, les données administratives et liées au rendement, le processus décisionnel en matière de financement et les améliorations apportées au programme. Les entrevues avec le personnel du programme, les gestionnaires et les membres des CER duraient environ une heure. Les entrevues avec les hauts fonctionnaires et d'autres groupes d'intervenants duraient de 20 à 30 minutes. Toutes les entrevues, sauf une, ont été menées par téléphone.

Une clé de codage a été mise au point après un examen préliminaire des notes d'entrevue. Cette clé comprenait les thèmes généraux qui ressortaient des notes. Les données des entrevues ont ensuite été analysées de façon thématique à l'aide du logiciel d'analyse qualitative NVivo. Les réponses ont été codées selon le type d'informateur clé et la région, de façon à pouvoir dégager les thèmes de chaque groupe, le cas échéant. Chacun des thèmes a ensuite été résumé dans les termes du répondant si la chose était possible.

On a été intégré dans la description narrative un indicateur du nombre de fois qu'un thème a été mentionné, à l'aide des éléments descriptifs suivants :

• Non/aucun : personne n'a mentionné le thème ou l'enjeu en question.
• Peu/très peu : une ou deux personnes ont exprimé leur opinion.
• Une minorité : entre le quart et la moitié des personnes interviewées ont exprimé leur opinion.
• Une majorité : la majorité des personnes étaient du même avis ou avaient la même perception concernant un enjeu ou un thème donné.
• Tous : Toutes les personnes interrogées sur ce thème étaient du même avis ou avaient la même opinion ou une opinion semblable.

2.3 Examen des données administratives

L'examen des données administratives portait sur les données mémorisées sur support électronique dans le Système commun pour les subventions et les contributions (SCSC), et sur les renseignements contenus dans les dossiers papier d'un échantillon aléatoire stratifié des demandes et des projets financés.

Le SCSC contient des données sur les activités et les dépenses du PNHA, ainsi que des renseignements sur les propositions de projet et les rapports de projet. L'examen des données du SCSC a porté sur toutes les demandes reçues entre 2004-2005 et 2006-2007 inclusivement. Les champs pertinents ont été extraits de la base de données et importés et analysés à l'aide du SPSS.

Les dossiers papier comprenaient les formulaires de demande, les documents relatifs à la sélection et à l'évaluation et, dans le cas des projets financés, les rapports finals de projet. Un échantillon aléatoire de ces dossiers a été examiné et stratifié selon l'année de financement et l'état de la demande (inadmissible, rejetée ou acceptée). L'objectif était de recueillir des données pour les besoins de l'évaluation, et d'évaluer la qualité des données du SCSC. Pour chaque cycle de financement et chaque région, l'échantillon comprenait :

• 5 % des demandes jugées inadmissibles (taille de l'échantillon = 81);
• 5 % des demandes qui étaient admissibles, mais qui ont été rejetées (taille de l'échantillon = 37);
• 10 % des demandes qui ont reçu du financement (taille de l'échantillon = 173, mais seulement 168 dossiers ont été transmis par les régions).

L'échantillon a été constitué par les évaluateurs, et le personnel des régions a fourni des copies des dossiers papier pour les projets choisis. Les renseignements pertinents provenant des dossiers ont été entrés dans la base de données du SPSS et analysés. Les données qualitatives ont été codées à l'aide d'une clé de codage, avant d'être saisies dans la base de données.

L'exactitude et l'exhaustivité des données du SCSC ont également été évaluées, l'échantillon de dossiers papier ayant servi de point de référence pour évaluer l'exactitude.

2.4 Enquête auprès des demandeurs

Une enquête par téléphone a été menée en août et en septembre 2007 auprès de deux principaux groupes :

• les organismes qui ont reçu du financement du PNHA;
• les organismes qui ont demandé du financement, mais qui n'en ont pas reçu (c.-à-d. les propositions jugées inadmissibles au financement ou rejetées).

Les échantillons de l'enquête ont été stratifiés par région, par composante de projet, par montant et par année de financement. Dans le cas des demandes de financement qui ont été refusées, l'état de la demande (rejetée ou inadmissible) a également été pris en compte. Les échantillons comprenaient les demandeurs qui ont demandé du financement entre 2004-2005 et 2006-2007 inclusivement.

Les questionnaires de l'enquête ont été conçus en collaboration avec la Direction de l'évaluation de RHDSC. Les questionnaires demandaient des renseignements au sujet des caractéristiques des organismes ayant reçu des subventions, des résultats des projets financés et des perceptions par rapport à différents éléments du programme. Les enquêtes ont été menées pendant les heures normales de travail, c'est-à-dire le jour, à l'aide du logiciel d'interview téléphonique assistée par ordinateur (ITAO).

Au total, 1 745 entrevues ont été menées, dont 958 entrevues auprès des groupes subventionnés et 787 auprès des demandeurs qui n'ont pas reçu de financement. Le taux de réponse pour l'échantillon des projets financés a été de 56 %, alors que celui pour l'échantillon des projets non financés a été de 69 %. La marge d'erreur approximative pour un échantillon de cette taille est de +/-2,8 dans le cas des projets financés et de +/-3,1 dans le cas des projets non financés, avec un intervalle de confiance de 95 %.

Les réponses aux questions ouvertes ont été codées par thème. La fréquence a été établie pour les questions ouvertes et les questions fermées, et calculée séparément pour les demandeurs qui avaient reçu du financement et pour ceux qui n'en avaient pas reçu. Les données ont été pondérées pour veiller à ce que l'échantillon agrégé soit représentatif de l'ensemble statistique, selon la région, le cycle de financement et le montant du financement.

2.5 Forces et limites de la méthodologie

L'évaluation a permis de recueillir des données provenant de différentes sources à l'aide de diverses méthodes; la triangulation des données permet d'accroître la confiance envers les résultats.

Il existe de nombreux documents concernant le PNHA et ceux-ci sont en grande partie conformes les uns par rapport aux autres, ce qui accroît notre confiance envers les résultats du bilan documentaire.

Le nombre important de sujets abordés pendant les entrevues téléphoniques présente à la fois des forces et des limites : il a permis aux intervieweurs d'obtenir des opinions sur un large éventail de questions, mais ceux-ci disposaient de peu de temps pour chercher à obtenir des réponses plus approfondies. Le type d'entrevue (par téléphone) comportait également certains inconvénients, puisqu'il était impossible pour l'intervieweur de relever des indices non verbaux.

Le PNHA recueille des renseignements dans la base de données du Système commun pour les subventions et les contributions (SCSC) au sujet de toutes les demandes qu'il reçoit. Dans la plupart des cas, les données pertinentes contenues dans le système étaient complètes et exactes. L'évaluation profite ainsi d'une source de données extrêmement fiable. Cependant, les données étaient incomplètes pour certains éléments (p. ex., le nombre de participants aux projets financés n'était pas consigné pour chaque projet). De plus, dans certains cas, il y avait de légères différences entre les rapports produits par le programme et les résultats obtenus par l'entremise du SCSC, et les responsables de l'évaluation n'avaient pas pour tâche de déterminer quelles étaient les données les plus exactes. Ces cas ont été annotés dans le texte du rapport, et la source employée est clairement indiquée.

L'examen des dossiers papier est venu étoffer les données tirées du SCSC, puisque les dossiers comprenaient des renseignements plus complets au sujet des projets, y compris les résultats fondés sur les rapports finals. Les contraintes liées au temps et au budget ont fait en sorte qu'un échantillon relativement restreint de dossiers papier a pu être prélevé. En particulier, seulement 10 % des projets ayant reçu du financement ont fait l'objet d'un examen. Il ne s'agit pas d'un échantillon statistiquement représentatif. Ainsi, les résultats provenant des dossiers papier (particulièrement des rapports de projet finals) devraient être traités comme une estimation approximative plutôt que comme une image précise de ce qui se passait dans tous les projets.

Enfin, les renseignements concernant les résultats à court terme du programme sont surtout fondés sur des perceptions et doivent donc être interprétés avec prudence. Les informateurs clés ont souvent mentionné que les renseignements qu'ils fournissaient au sujet des résultats du programme n'étaient que des spéculations.

3.1 Conception du programme

Question d'évaluation 1 : Le programme est-il conçu de façon à pouvoir atteindre, d'un point de vue réaliste, les objectifs énoncés et les résultats attendus?

• Est-ce que le modèle logique reflète la façon dont le programme fonctionne à l'heure actuelle?
• Est-ce que le modèle logique démontre bien les liens du programme entre les activités et les résultats attendus?
• Les ressources sont-elles suffisantes?

Exactitude du modèle logique

La figure 1 (voir la page 3) illustre le modèle logique du PNHA en date d'avril 2007; celui-ci rend compte des activités et des résultats du programme au moment de sa mise en œuvre, en 2004. Les activités et les résultats sont décrits à la section 2.1 du présent rapport.

Le modèle logique est conforme à d'autres documents du programme qui ont été examinés pour les besoins de l'évaluation. Il reflète avec exactitude les activités, les extrants et les résultats à court terme du programme, à une exception près : l'élément « Réseaux et partenariats » a été éliminé en tant qu'extrant pour être inscrit au nombre des résultats ^{Note de bas de page 4} .

On observe des recoupements entre plusieurs résultats figurant dans le modèle logique. Par exemple, le résultat intermédiaire lié à l'engagement des aînés dans la collectivité recoupe de façon importante celui de la participation sociale et de l'inclusion des aînés. Ce chevauchement rend le modèle logique moins utile en tant qu'outil pour a) clarifier les buts du programme, et b) orienter l'évaluation sommative.

Caractère adéquat des ressources du programme

Les fonds de subventions du PNHA sont attribués aux régions à l'aide d'un modèle national d'affectation. Le tableau 3 présente les renseignements financiers concernant les fonds octroyés dans chaque région, tel qu'indiqué dans les rapports récapitulatifs annuels. L'examen de ces données a permis d'éclaircir avec le temps la question concernant la suffisance des ressources.

Le total des fonds de subventions affectés aux régions, ainsi que le total des fonds approuvés, ont augmenté de façon constante au cours de la période de trois ans, comme le montre le tableau 3, ainsi que la figure 2. En 2004-2005, les fonds de subventions étaient de 5 millions de dollars, tout comme le montant total approuvé. Dans les années qui ont suivi, le budget des subventions a augmenté de façon importante. Chaque année pendant cette période, le budget dépassait les montants des subventions approuvées. Le budget des subventions a permis au PNHA de financer 1 730 projets, dont 338 en 2004-2005, 614 en 2005-2006, et 778 en 2006-2007.

Le montant moyen de la subvention par projet était de 17 232 $.

La majorité du personnel, des gestionnaires, des hauts fonctionnaires et des membres des CER qui ont été interviewés dans le cadre de l'évaluation étaient d'avis que le budget du programme était suffisant. Quelques répondants estimaient que le budget était insuffisant pour financer tous les projets qu'ils souhaitaient appuyer.

Les divergences d'opinion concernant la suffisance du budget du programme s'expliquent sans doute par les écarts dans l'affectation des fonds entre les régions. Selon le rapport d'examen de la mise en œuvre initiale, le modèle d'affectation des ressources pour l'octroi des subventions du PNHA a été élaboré en fonction du nombre d'aînés dans chaque région, et appliqué de façon uniforme dans l'ensemble du pays. Les fonds de subventions ont été alloués de la façon suivante : chaque région a d'abord reçu une allocation de base de 50 000 $ (60 000 $ en 2005-2006 et 70 000 $ en 2006-2007), à laquelle s'est ajouté un supplément calculé en fonction de la proportion d'aînés dans la région. On peut voir au tableau 3 que la somme des dépenses de certaines régions était supérieure au montant de la subvention qu'elles avaient reçue, ce qui donne à penser que les ressources affectées étaient de fait insuffisantes. Cependant, il arrive souvent que les fonds inutilisés dans les grandes régions soient redistribués dans les petites régions en fonction des besoins. Par exemple, les dépenses en Saskatchewan ont toujours été moindres que le budget qui lui était alloué, alors que Terre-Neuve-et-Labrador a déboursé 30 % de plus que le budget établi pour les deuxième et troisième cycles de financement. L'excédent des dépenses au niveau régional a surtout été observé en 2005-2006 dans les territoires et dans les provinces de l'Est.

Vingt pour cent des projets financés ont obtenu moins de fonds que ce qu'ils avaient demandé ^{Note de bas de page 5} , ayant reçu, en moyenne, environ 7 000 $ de moins. Dans certaines régions, une forte proportion de projets ont obtenu moins de financement que la somme demandée au départ, comme les Territoires du Nord-Ouest (69 %), l'Île-du-Prince-Édouard (64 %), le Manitoba (48 %), et le Québec (40 %). L'évaluation n'a pas permis d'en expliquer les raisons, mais les responsables du programme voudront peut-être examiner ce phénomène plus en profondeur ^{Note de bas de page 6} .

Montant des subventions

La majorité des informateurs clés interviewés étaient d'avis que le montant des subventions était suffisant. Cependant, une minorité estimait que les subventions étaient trop modestes, surtout dans les secteurs éloignés comme les Territoires du Nord-Ouest ou le Nunavut (les personnes interviewées ont souligné que le matériel requis pour le programme était plus coûteux dans ces régions, en raison des coûts d'expédition et de transport élevés). Il a également été mentionné que même si 25 000 $ permettaient de soutenir les projets locaux, la limite imposée empêchait de financer des projets dans l'ensemble d'une province. Cependant, le financement de projets à l'échelle d'une province ne fait pas partie des objectifs du programme.

Un examen des demandes enregistrées dans la base de données du SCSC a révélé que 69 % des demandeurs réclamaient moins de 25 000 $. En moyenne, les demandeurs souhaitaient recevoir 18 691 $. De concert avec les réponses des entrevues, ces résultats portent à croire que la subvention de 25 000 $ était suffisante pour la plupart des demandeurs ciblés par le programme.

Caractère adéquat des activités et des extrants du programme

On a demandé aux informateurs clés de s'exprimer quant à la probabilité que les objectifs du programme soient atteints, compte tenu des activités et des ressources disponibles. La majorité d'entre eux ont mentionné que le programme allait sans doute atteindre ses objectifs. Parmi ceux-ci, la plupart étaient d'avis qu'il était important que le programme soit fondé sur des subventions, dont la simplicité du processus pour l'administration, la présentation des demandes et la production de rapports faisait en sorte que même les plus petits organismes pouvaient demander du financement. Une majorité croyait également que le recours aux CER pour l'examen des demandes était particulièrement efficace, puisque les membres de ces comités ont une expérience et des connaissances étendues au sujet de la collectivité et de ses besoins, et qu'ils sont en mesure de prendre de meilleures décisions que des personnes qui ne connaîtraient pas aussi bien les besoins de la région.

Une minorité de répondants étaient d'avis que le programme allait peut-être atteindre ses objectifs, alors que très peu croyaient la chose possible. Certaines des préoccupations soulevées étaient que les projets ne pourraient se poursuivre sans un financement continu, surtout dans le cas des organismes qui avaient déjà des projets en cours nécessitant du financement. Une autre inquiétude était que les projets seraient nécessairement à court terme, puisque le financement ne couvrait qu'une seule année.

D'autres personnes interviewées ont souligné que le programme fournissait les fonds de démarrage permettant aux organismes de mettre sur pied des projets qui répondent aux besoins de la collectivité, et que les organismes en question seraient peut-être en mesure de les maintenir à long terme s'ils fonctionnaient bien.

Résultats attendus des projets

L'examen d'un échantillon de formulaires de demande a permis de dégager ce qui suit :

• 84 % des demandeurs prévoyaient que leur projet permettrait d'accroître l'inclusion des aînés et de briser leur isolement;
• 64 % s'attendaient à ce que le projet permette aux aînés de s'exprimer ou de transmettre leurs connaissances, leurs compétences et leurs valeurs à d'autres;
• 54 % s'attendaient à favoriser la compréhension et le respect entre les générations;
• 44 % escomptaient que les aînés amélioreraient leurs connaissances et leurs compétences.

Ces résultats attendus sont conformes aux objectifs du programme.

Sommaire

• Le modèle logique est conforme aux autres documents du programme et reflète en grande partie les activités, les extrants et les résultats du programme. Cependant, les recoupements entre les résultats réduisent la clarté du modèle.
• Les fonds attribués et le nombre de projets financés ont augmenté de façon importante au cours des trois années, à mesure que le budget du programme augmentait.
• En 2006-2007, il semble que les fonds octroyés à l'échelle nationale ont permis de financer tous les projets jugés acceptables selon les CER, même si certaines régions ont eu besoin d'un financement supérieur à l'allocation régionale.
• Le montant des subventions était suffisant selon la plupart des personnes interviewées (mais non pas de l'ensemble). Plus des deux tiers des demandes sollicitaient un financement dont le montant était inférieur à la subvention maximale de 25 000 $.
• Les principales forces de la conception du programme, selon les personnes interviewées, résident dans le fait qu'il s'agit d'un programme de subventions et qu'on a recours à des CER pour l'examen des demandes.
• Les résultats prévus des projets semblent conformes aux objectifs du programme, ce qui accroît la probabilité que ses objectifs soient atteints.

3.2 Mise en ouvre du programme

Question d'évaluation 2 : Le PNHA est-il mis en œuvre et exécuté comme prévu?

• Des changements devraient-ils être apportés au mode d'exécution du programme afin d'en améliorer l'efficience et l'efficacité?

Mise en ouvre prévue et réelle

Tel que décrit à la section 2.1.5, l'Administration centrale (AC) doit gérer le PNHA à l'échelle nationale, ce qui comprend la planification générale, les communications avec les régions, le maintien du site Web du PNHA, la formation du personnel, le suivi et l'amélioration continue du programme. Le programme est exécuté par le personnel de RHDSC/Service Canada dans les régions. Chaque année, les étapes suivantes doivent être observées :

1. Les priorités régionales établies par les CER en ce qui a trait au financement constituent les éléments de base de l'appel de propositions.
2. Le personnel des régions communique avec les organismes locaux pour les informer de l'appel de demandes et leur offre de l'aide pour la préparation des propositions (notamment pour comprendre ce qui est requis et les types de projets admissibles au financement).
3. Les demandes sont présentées à la date limite pour la réception des demandes, ou avant cette date.
4. Les renseignements que renferment les demandes sont saisis dans la base de données du SCSC. Ces renseignements sont mis à jour à mesure que les demandes sont traitées et que se déroulent les projets financés jusqu'à leur clôture.
5. Le personnel des régions étudie les demandes pour s'assurer qu'elles répondent aux critères d'admissibilité du programme. Dans certains cas, le personnel peut demander des renseignements supplémentaires au demandeur.
6. Les membres des CER se réunissent pour examiner les propositions admissibles et les évaluer plus à fond, afin de déterminer si les demandes permettront de réaliser les objectifs du programme.
7. Les CER formulent des recommandations quant à l'approbation ou au rejet des demandes.
8. L'approbation finale est donnée par l'autorité déléguée au sein de Service Canada ou de RHDSC (un directeur régional ou le ministre).
9. Des lettres sont envoyées aux demandeurs choisis pour les informer du montant qu'ils recevront. Les demandeurs qui n'ont pas été retenus sont informés des raisons pour lesquelles le financement n'a pas été accordé.
10. Le financement est distribué et les projets sont mis en œuvre.
11. Les députés locaux font des annonces dans leur collectivité.
12. Le personnel des régions fait le suivi des projets financés (en téléphonant au moins une fois un mois après le versement du financement et un mois avant la date de fin prévue du projet).
13. Les responsables de projet présentent un rapport final lorsque le projet a pris fin.
14. Le personnel des régions examine les rapports finals et en dégage les histoires de réussite.
15. Un rapport récapitulatif annuel et un rapport sur les pratiques exemplaires sont produits.
16. Le personnel du programme détermine les améliorations à y apporter avant le prochain cycle de financement.

Tant les entrevues que l'examen de la documentation ont révélé que le programme est mis en œuvre tel que prévu, avec certaines variations mineures. Les processus de travail sont bien documentés, et les outils et modèles élaborés par l'AC pour la prestation du programme sont utilisés de façon uniforme dans les régions. L'exécution du programme dans chaque région comporte certaines variations et témoigne d'une souplesse manifeste, ce qui concorde avec le but du PNHA de répondre aux besoins et à la situation unique des collectivités.

Les seules variations importantes par rapport au processus prévu sont les suivantes :

• Les projets exemplaires sont déterminés à partir des demandes. Les responsables du programme semblent vouloir documenter les réussites en se fondant sur les rapports de projet finals, mais cette façon de faire n'a pas cours dans toutes les régions.
• Même si aucun rapport sur les pratiques exemplaires n'a été produit, les représentants du programme ont mentionné que ces pratiques ainsi que les améliorations à apporter font l'objet de discussions avec toutes les régions lors du Forum d'apprentissage annuel.

La mise en œuvre du programme est quelque peu différente au Québec, où un Comité conjoint de gestion (CCG), formé de représentants des gouvernements fédéral et provincial, a été mis sur pied et tient lieu de CER. Les points de vue des collectivités sont recueillis par l'intermédiaire du réseau québécois des Tables de concertation des aînés. Ces dispositions sont officialisées dans un protocole d'entente intervenu entre le gouvernement du Québec et le gouvernement du Canada. Le CCG tient compte des objectifs du PNHA et des objectifs du programme Du cœur à l'action pour les aînés du Québec/Heartfelt Action for Québec's Seniors (anciennement le programme Engagés dans l'action pour les aînés, un programme très semblable au Québec) au moment de faire ses recommandations.

Changements apportés avec le temps

Les informateurs clés ont mentionné plusieurs améliorations qui ont été apportées au programme avec le temps :

• L'AC a amélioré progressivement les outils et les formulaires employés pour l'exécution du programme, de façon à ce qu'ils soient plus faciles à utiliser et à ce qu'ils fournissent des renseignements plus utiles pour la gestion du programme. Ces changements étaient perçus comme ayant apporté seulement des retombées positives pour le programme.
• Le budget affecté au programme a augmenté de façon importante. Cela a permis au programme de financer davantage de projets, mais la hausse simultanée du nombre de demandes a exercé certaines contraintes sur le personnel et les CER.
• Le personnel et les CER se sont améliorés pour ce qui est de promouvoir le programme et de prendre des décisions au sujet des demandes, ce qui s'est traduit par des demandes plus adéquates et par une meilleure utilisation des fonds.
• De nouvelles priorités régionales et nationales ont été établies chaque année, de sorte que le PNHA a pu être élargi et viser d'autres groupes.

Satisfaction à l'égard du programme et de ses éléments

Selon l'enquête menée auprès des demandeurs, 98 % de ceux qui ont obtenu du financement du PNHA étaient satisfaits de leur expérience dans l'ensemble, 97 % ont dit qu'ils étaient susceptibles de présenter une nouvelle demande à l'avenir, et la presque totalité ont affirmé qu'ils recommanderaient à des organismes similaires de demander du financement. Les demandeurs qui n'ont pas reçu de financement étaient légèrement moins enthousiastes; 79 % ont affirmé qu'ils recommanderaient à des organismes similaires de demander du financement et 69 % ont affirmé qu'ils feraient une nouvelle demande à l'avenir.

Dans l'ensemble, les demandeurs qui ont reçu du financement étaient beaucoup plus satisfaits des différents éléments du programme que ceux qui n'avaient pas reçu de financement. Les cotes moyennes relatives au niveau de satisfaction sont présentées à la figure 3.

Selon l'enquête menée auprès des demandeurs, les éléments qui satisfaisaient le plus les répondants étaient les suivants :

• 89 % des demandeurs qui ont reçu du financement et 46 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits de la clarté des critères d'admissibilité du programme en matière de financement. Le degré de satisfaction à l'égard des critères d'admissibilité a légèrement augmenté avec le temps dans le cas des demandeurs qui ont reçu du financement (85 % chez les demandeurs subventionnés en 2004-2005 comparativement à 90 % en 2006-2007). On n'a pas observé de tendance similaire chez les demandeurs qui n'ont pas reçu de financement.
• 89 % des demandeurs qui ont reçu du financement étaient satisfaits ou très satisfaits des exigences relatives aux rapports finals.
• 88 % des demandeurs qui ont reçu du financement et 54 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits de la clarté des lignes directrices du PNHA pour ce qui est de la préparation des propositions.
• 83 % des demandeurs qui ont reçu du financement et 41 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits de l'aide offerte par Service Canada pendant le processus de demande. Le degré de satisfaction à l'égard de l'aide obtenue auprès de Service Canada a augmenté avec le temps dans le cas des demandeurs qui n'ont pas reçu de financement (38 % chez les demandeurs qui n'ont pas obtenu de financement en 2004-2005 comparativement à 47 % en 2006-2007). On n'a pas observé de tendance similaire chez les demandeurs qui ont reçu du financement.
• 82 % des demandeurs qui ont reçu du financement étaient satisfaits ou très satisfaits des critères utilisés pour l'examen des propositions et la prise de décisions. Cependant, seulement 31 % des demandeurs qui n'ont pas reçu de financement étaient satisfaits ou très satisfaits.
• 78 % des demandeurs qui ont reçu du financement et 53 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits de la simplicité du processus de demande.

Les demandeurs étaient moins satisfaits des éléments suivants du programme :

• 75 % des demandeurs qui ont reçu du financement et 35 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits de la transparence du processus d'examen des propositions.
• 63 % des demandeurs qui ont reçu du financement et 32 % de ceux qui n'en ont pas reçu étaient satisfaits ou très satisfaits du délai d'attente précédant l'envoi de l'avis concernant la décision de financement. Le degré de satisfaction à l'égard du délai a diminué avec le temps pour les deux catégories de demandeurs (74 % chez les demandeurs qui ont reçu du financement en 2004-2005 comparativement à 59 % en 2006-2007, et 38 % chez les demandeurs ayant présenté une demande en 2004-2005 sans obtenir de financement comparativement à 30 % en 2006-2007) ^{Note de bas de page 7} .
• 28 % des demandeurs dont la proposition n'était pas admissible au financement étaient satisfaits ou très satisfaits du niveau de clarté des explications indiquant pourquoi l'organisme n'était pas admissible à du financement.
• 26 % des demandeurs dont la demande a été rejetée étaient satisfaits ou très satisfaits du niveau de clarté des explications indiquant pourquoi l'organisme n'avait pas reçu de financement. Le degré de satisfaction par rapport au niveau de clarté de ces explications a diminué avec le temps (46 % chez les demandeurs ayant présenté une demande en 2004-2005 comparativement à 29 % en 2006-2007).

Lorsqu'on leur a demandé pourquoi ils étaient satisfaits de leur expérience, près du tiers des répondants ayant reçu du financement ont affirmé que leur satisfaction était liée aux résultats du programme, et moins du quart l'ont justifiée par le montant du financement obtenu. Un cinquième des demandeurs qui ont reçu du financement ont affirmé que leur satisfaction était liée au personnel du programme, particulièrement au nombre de renseignements fournis ou à l'aide qui a été offerte, ainsi qu'à la rapidité avec laquelle l'aide a été offerte. Les autres éléments qui ont contribué à la satisfaction de certains demandeurs comprenaient la souplesse de la conception du programme et la facilité ou clarté des processus de demande et de production de rapports.

Dans le cadre des entrevues menées auprès des informateurs clés, les membres des CER devaient indiquer s'ils avaient reçu un soutien suffisant pour exercer leurs responsabilités. En règle générale, une majorité de répondants étaient d'avis que le niveau d'appui était adéquat. Ils ont encensé le personnel des régions pour son empressement à répondre à toutes les questions et préoccupations.

Changements suggérés

Les informateurs clés devaient suggérer des changements qui pourraient améliorer le programme. Les suggestions les plus fréquentes étaient les suivantes :

• Prolonger la période des projets au-delà d'un an, de façon à ce qu'ils aient plus de temps pour démarrer et pour accomplir ce pourquoi ils ont été créés;
• Améliorer les activités de sensibilisation et de promotion;
• Accorder plus de temps aux organismes pour présenter une demande, de façon à consacrer davantage de temps à l'engagement communautaire;
• Simplifier le processus de demande afin que les aînés aient plus de facilité à présenter une demande;
• Réduire le temps de traitement des demandes une fois qu'elles ont été présentées. Il faut souligner que, selon les membres des CER, l'examen des demandes exige beaucoup de travail pendant une courte période. On a suggéré de simplifier le processus d'approbation ministériel plutôt que de diminuer le temps consacré à l'examen.

Les demandeurs qui ont répondu à l'enquête ont aussi mentionné qu'une rétroaction plus rapide au sujet de leur demande serait appréciée, de même que la simplification du processus de demande. Les demandeurs qui n'ont pas reçu de financement souhaitaient également obtenir des explications plus claires quant aux raisons qui justifiaient le refus de leur demande.

Programmes analogues

Les informateurs clés devaient cerner d'autres programmes dont les groupes visés ou les objectifs étaient analogues. Une majorité d'entre eux ont déclaré qu'il n'en existait aucun dans leur région à leur connaissance, ou qu'il y avait quelques programmes qui n'étaient pas comparables au PNHA et qui ne ciblaient pas les aînés en particulier. Les projets qui semblaient similaires au PNHA comprenaient :

• Le Positive Aging Fund en Nouvelle-Écosse : Ce programme, qui a été lancé en 2008, est très semblable au PNHA sur le plan des activités (financement de démarrage au moyen de subventions pour les nouvelles activités), de la population cible (organismes communautaires), des objectifs (qui comprennent la valorisation des aînés, une indépendance accrue, l'amélioration de la santé et du bien-être et la participation communautaire des aînés de la Nouvelle-Écosse), et des critères (activités conformes aux objectifs, implication des aînés au niveau de la planification et de l'exécution). Le montant maximal de la subvention est de 10 000 $. Les organismes qui reçoivent du financement des deux programmes sont en mesure d'entreprendre des projets plus ambitieux.
• Du cœur à l'action pour les aînés du Québec/Heartfelt Action for Québec's Seniors (anciennement le programme Engagés dans l'action pour les aînés) : Ce programme est très similaire au PNHA sur le plan des activités (financement de démarrage au moyen de subventions pour les nouvelles activités), de la population cible (organismes communautaires), des objectifs (qui consistent notamment à améliorer les conditions de vie des aînés au Québec et à favoriser/mettre en valeur la contribution des aînés au développement du Québec) et des critères (activités conformes aux objectifs, plus particulièrement des projets intergénérationnels et des projets qui permettent de réduire l'isolement des aînés vulnérables). Le montant maximal de la subvention est de 30 000 $. On assure une coordination efficace entre ce programme et le PNHA au Québec. Les organismes qui reçoivent du financement des deux programmes sont en mesure d'entreprendre des projets plus ambitieux.
• L'Initiative des collectivités amies des aînés de l'Organisation mondiale de la Santé : Ce programme remet 2 000 $ pour l'établissement d'une collectivité favorable aux aînés. L'objectif est d'améliorer la participation, la santé et la sécurité des aînés, et d'accroître leur indépendance. Des subventions distinctes sont offertes dans les villes et les collectivités rurales ou éloignées. Il semble que le programme soit à l'essai au Manitoba à l'heure actuelle. On dispose de peu de renseignements au sujet du programme et les groupes admissibles à ces subventions ne sont pas clairement définis. Les objectifs semblent quelque peu similaires à ceux du PNHA, mais les recoupements entre les deux programmes sont peu probables en raison du petit montant de la subvention que prévoit l'Initiative des collectivités amies des aînés.
• Le First Citizens Fund en Colombie-Britannique : Ce programme diffère du PNHA puisqu'il n'est pas axé sur les aînés. L'objectif général consiste à promouvoir la qualité de vie (y compris la protection de la langue et de la culture) de tous les membres des Premières nations. Cependant, un des volets du programme offre aux aînés une certaine somme pour couvrir les frais de déplacement en vue d'assister au Annual Elders Gathering, qui leur donne l'occasion de partager leur culture et leur tradition orale autochtones. La valeur des subventions n'est pas divulguée dans le site Web du fonds. Il semble y avoir peu de chevauchement avec le PNHA.

Sommaire

• Le programme est en grande partie mis en œuvre tel que prévu. On observe deux variations : les histoires de réussite n'ont pas encore été cernées dans toutes les régions et le rapport sur les pratiques exemplaires a été remplacé par un Forum d'apprentissage annuel.
• L'exécution du programme dans chaque région comporte certaines variations et témoigne d'une souplesse manifeste, ce qui concorde avec le but du PNHA de répondre aux besoins et à la situation unique des collectivités.
• Les demandeurs qui ont reçu du financement étaient satisfaits de la plupart des éléments du programme. Ils étaient surtout satisfaits des critères d'admissibilité, des exigences relatives aux rapports finals et des lignes directrices pour la présentation des demandes. Ils étaient moins satisfaits du délai d'attente précédant l'envoi de l'avis concernant la décision de financement.
• Les demandeurs dont les demandes ont été rejetées ou jugées inadmissibles au financement étaient beaucoup moins satisfaits de chacun des éléments du programme. Ils étaient surtout satisfaits de la clarté des lignes directrices pour la présentation des demandes et de la simplicité du processus de demande. Cependant, dans les deux cas, il ne s'agit que d'environ la moitié des demandeurs qui n'ont pas reçu de financement. Ils étaient moins satisfaits de la clarté des raisons expliquant pourquoi leur demande de financement avait été refusée et des critères utilisés pour l'examen des propositions.
• Les changements proposés pour la mise en œuvre du programme concernaient la prolongation de l'échéancier du projet au-delà d'un an, l'amélioration des activités de sensibilisation et de promotion et la prolongation de la période de présentation des propositions.
• Il semble y avoir relativement peu de recoupements ou de chevauchement entre les programmes offerts aux organismes canadiens. Il existe des programmes semblables au PNHA au Québec et en Nouvelle-Écosse, mais pas dans les autres provinces et territoires. Au Québec, il y a une coordination entre les programmes provinciaux et fédéraux.

3.3 Engagement communautaire

Question d'évaluation 3 : Quels efforts a-t-on déployés pour sensibiliser davantage les intervenants communautaires au programme?

• Quels ont été les moyens de sensibilisation employés?
• Quelle en était l'efficacité?
• Quels ont été les obstacles, le cas échéant?

Types d'activités de promotion

L'AC offre un soutien aux régions pour ce qui est des communications et des moyens de sensibilisation. Elle met à jour les renseignements dans le site Web du PNHA, où sont affichés les appels de demande et les exemples de projet réussis. Elle fournit également divers documents types relatifs aux communications pour veiller à ce que les renseignements qui sont communiqués aux intervenants au sujet du PNHA soient uniformes dans l'ensemble du pays.

Les activités visant l'engagement communautaire et la promotion du programme sont surtout la responsabilité du personnel des régions. Le tableau 4 montre les types d'activités de promotion et d'engagement communautaire qui ont été relevés dans chaque région lors des entrevues menées auprès des informateurs clés et de l'examen des documents régionaux. Ces activités comprenaient à la fois des mesures prévues (p. ex., envois postaux de trousses de demande) et d'autres qui ont été menées selon les occasions (p. ex., participation à des foires commerciales et à des déjeuners-causeries), et qui variaient selon les besoins des régions.

• La source du tableau ci-dessus Source : Entrevues menées auprès des informateurs clés et examen des documents de promotion régionaux.

Le tableau 4 présente certains moyens de communication qui sont sans doute sous-utilisés et que les régions pourraient envisager d'adopter, comme les entrevues dans les médias, les communications avec les agents gouvernementaux et les liens vers le site Web du PNHA à partir du site Web d'autres organismes.

La plupart des régions avaient au moins certaines activités de promotion qui ciblaient des groupes particuliers, comme les communautés de langue officielle en situation minoritaire, les groupes autochtones, les résidents des régions rurales, les organismes non retenus lors des cycles précédents ou les collectivités qui n'avaient toujours pas reçu de financement.

Caractère adéquat des activités de promotion

Tous les informateurs clés ont mentionné que les activités de sensibilisation menées par le personnel des régions étaient adéquates ou plutôt adéquates. Selon les réponses obtenues, le niveau de sensibilisation au PNHA variait d'une région à l'autre de même qu'au sein des régions, et n'était pas nécessairement lié directement aux efforts du personnel du PNHA.

Presque tous les demandeurs interrogés qui ont reçu du financement (90 %) ont coté les communications concernant le PNHA comme étant efficaces ou très efficaces. Parmi ceux qui n'ont pas reçu de financement, seulement 56 % estimaient que les communications étaient efficaces. Ceux qui ont coté les communications comme étant inefficaces ont mentionné qu'ils auraient aimé avoir davantage de contacts ou de renseignements ou des explications plus claires au sujet des exigences.

Le nombre, les sources et la qualité des demandes reçues sont des indicateurs potentiels de l'efficacité des moyens de sensibilisation. Théoriquement, si les efforts de sensibilisation sont efficaces, le nombre de demandes devrait augmenter avec le temps, tout comme la diversité des groupes ou organismes qui présentent les demandes, et les communautés d'intérêts particuliers devraient être représentées. De plus, à mesure que les organismes comprennent mieux les critères d'admissibilité du programme, il devrait y avoir moins de demandes jugées inadmissibles et une plus grande proportion de demandes devraient recevoir du financement. Un examen des données que renferme la base de données du SCSC a révélé ce qui suit :

• Le nombre de demandes reçues est demeuré relativement stable avec le temps : 1 421 en 2004-2005, 1 254 en 2005-2006 et 1 415 en 2006-2007 ^{Note de bas de page 8} .
• La proportion de demandes qui respectaient les conditions d'admissibilité a augmenté de façon constante depuis la première année de financement : 41 % en 2004-2005, 65 % en 2005-2006 et 77 % en 2006-2007. Cette tendance a été observée dans la plupart des régions ^{Note de bas de page 9} .
• Le PNHA sensibilise de nouvelles collectivités chaque année. Environ 230 collectivités différentes ont reçu du financement en 2004-2005; près de 300 nouvelles collectivités (c.-à-d. des collectivités qui n'avaient pas reçu de financement auparavant) ont reçu des subventions en 2006-2007, et 280 nouvelles collectivités en ont reçu en 2006-2007.
• Le PNHA sensibilise également de nouveaux organismes au fil des ans. Environ 330 organisations différentes ont reçu du financement en 2004-2005; 575 nouvelles organisations (c.-à-d. des organisations qui n'avaient pas reçu de financement auparavant) ont reçu des subventions en 2006-2007 et 630 nouvelles organisations ont reçu du financement en 2006-2007.
• Exactement 10 % des projets financés au cours de chaque année du programme concernaient des communautés de langue officielle en situation minoritaire.
• La proportion de demandes provenant des régions rurales a légèrement augmenté avec le temps (25 % provenaient des régions rurales en 2004-2005 contre 31 % en 2006-2007).
• La majorité des demandes (86 %) provenaient d'organismes communautaires, sans but lucratif et bénévoles locaux. Une minorité de demandes a été présentée par des groupes autochtones sans but lucratif (5 %), des gouvernements et organismes municipaux (2 %), des organisations non gouvernementales provinciales (2 %) et des conseils de bande à but non lucratif (2 %). Ces proportions n'ont pas changé de façon significative au cours des trois années du programme.

Types d'activités de promotion qui sont efficaces

Les informateurs clés étaient d'avis que les efforts de sensibilisation étaient plus efficaces lorsqu'il y avait des rencontres en personne (individuelles ou en groupe) et qu'une aide était offerte pour la présentation des demandes.

L'enquête menée auprès des demandeurs qui ont reçu du financement a révélé que 42 % des répondants ont appris l'existence du PNHA grâce aux trousses de sensibilisation sur le programme (dont 18 % par l'entremise du site Web, 11 % par l'entremise de la trousse d'information envoyée par la poste et 7 % par l'entremise d'avis publics ou des journaux), 24 % des organismes en ont appris l'existence grâce au bouche-à-oreille et 7 % en ont entendu parler par leur député.

Les répondants de l'enquête ont mentionné que la meilleure façon de les informer au sujet du programme à l'avenir serait d'envoyer une trousse d'information par la poste (mentionnée par 58 % des demandeurs qui ont reçu du financement et par 64 % des demandeurs qui n'en ont pas reçu) ou d'afficher les renseignements dans le site Web du PNHA (46 % des demandeurs qui ont reçu du financement et 36 % des demandeurs qui n'en ont pas reçu). Les autres méthodes mentionnées par les répondants comprenaient :

• les avis publics et les journaux (27 % des demandeurs qui ont reçu du financement et 23 % de ceux qui n'en ont pas reçu);
• les dépliants ou affiches (25 % des demandeurs qui ont reçu du financement et 20 % de ceux qui n'en ont pas reçu);
• les présentations par un agent de programme du PNHA (20 % des demandeurs qui ont reçu du financement et 20 % de ceux qui n'en ont pas reçu);
• les bulletins d'information publiés par un organisme partenaire (18 % des demandeurs qui ont reçu du financement et 16 % de ceux qui n'en ont pas reçu);
• le député (15 % des demandeurs qui ont reçu du financement et 15 % de ceux qui n'en ont pas reçu).

L'enquête auprès des demandeurs a révélé qu'environ les trois quarts des demandeurs, qu'ils aient reçu ou non du financement, avaient consulté le site Web. Parmi ceux-ci, 91 % des demandeurs qui avaient reçu du financement et 76 % de ceux qui n'en avaient pas reçu ont coté le site Web comme étant efficace ou très efficace.

Défis liés à la promotion du programme

Le personnel des régions a mentionné que les distances présentaient un défi en ce qui a trait à la diffusion de l'information dans les collectivités rurales et éloignées, car les déplacements vers les communautés éloignées, particulièrement dans le Nord, sont coûteux.

Un informateur clé dans l'une des régions a mentionné qu'il hésitait à faire trop de publicité parce qu'il devait par la suite refuser des demandeurs admissibles.

Sommaire

• Un vaste éventail de moyens de communication et de sensibilisation est utilisé dans les régions. La plupart des régions ont recours à différentes méthodes.
• La plupart des demandeurs qui ont reçu du financement et des informateurs clés ont mentionné que les communications concernant le PNHA étaient efficaces. Les demandeurs qui n'ont pas reçu de financement ont été moins nombreux à coter les communications comme étant efficaces. Ils auraient souhaité avoir davantage de contacts ou de renseignements ou obtenir des explications plus claires au sujet des exigences.
• Les informateurs clés étaient d'avis que la sensibilisation était la plus efficace lors des rencontres en personne et lorsqu'une aide était offerte pour la préparation de la demande.
• Les demandeurs ont indiqué que la meilleure façon de les informer au sujet du programme était de leur envoyer une trousse d'information par la poste et d'afficher les renseignements dans le site Web du PNHA.

3.4 Systèmes d'information de gestion

Question d'évaluation 4 : Le programme dispose-t-il de renseignements adéquats sur la gestion et le rendement et de données et/ou systèmes administratifs pour que sa gestion soit efficace et efficiente?

• Les indicateurs de rendement sont-ils adéquats?
• Quelle est la qualité des données disponibles sur le rendement?
• Les données requises pour mener une évaluation sommative sont-elles recueillies?
• Y a-t-il des lacunes à combler?

Indicateurs de rendement

Les indicateurs de rendement sont des moyens par lesquels le PNHA peut planifier, contrôler et évaluer l'atteinte des résultats du programme. La stratégie de mesure du rendement que renferme le Cadre de mesure du rendement (CMR) du programme, décrit la façon dont les renseignements requis pour contrôler le programme efficacement seront recueillis de façon périodique. Cette stratégie de mesure est directement liée au modèle logique du PNHA axé sur les résultats. Elle comprend les activités continues de mesure du rendement ainsi que les activités périodiques.

Les évaluateurs se sont penchés sur le caractère adéquat des indicateurs de rendement que renferme le CMR. L'évaluation a révélé que les indicateurs d'extrants étaient adéquats et instructifs. Bon nombre des indicateurs de résultats du programme semblent rattachés aux conséquences directes du programme et devraient donc être considérés comme des indicateurs d'extrants plutôt que comme des indicateurs de résultats. Certains exemples comprennent :

• les priorités annuelles en matière de financement, qui sont établies et documentées par les CER;
• le nombre de projets financés, selon le type de projet ou le type d'activité;
• le nombre total de collectivités qui ont reçu du financement pour des projets;
• le nombre de nouveaux organismes qui ont reçu du financement pour des projets.

De plus, certains indicateurs de résultats ne semblent pas liés explicitement aux résultats. Les exemples comprennent :

• Le nombre (estimatif) de participants liés aux projets financés n'est pas un bon indicateur pour les résultats suivants : mise à contribution de l'expérience, des compétences et de la sagesse des aînés, ainsi que participation sociale et inclusion des aînés. Il est important de noter que le mot « participants » désigne à la fois des aînés et des personnes qui n'en sont pas, et que l'estimation n'est peut-être pas représentative de ce qui s'est réellement produit.
• La somme totale des fonds provenant des partenaires de financement, classés selon le type de partenaire, ne reflète pas avec exactitude les résultats atteints à court terme. Les aînés peuvent établir des liens par l'entremise de réseaux et de partenariats.

Les indicateurs entre les différents niveaux de résultats se recoupent parfois. Logiquement, les résultats à long terme devraient être différents des résultats intermédiaires, qui devraient eux-mêmes être différents des résultats immédiats, et les indicateurs devraient refléter ces différences.

De plus, plusieurs indicateurs sont utilisés de nombreuses fois pour différents résultats à un même niveau. Cette situation n'est pas étonnante compte tenu du fait que les résultats se recoupent les uns les autres. Par exemple, trois des quatre résultats immédiats se rapportent à une participation accrue des aînés, et trois se rapportent également aux partenariats entre l'organisme financé et d'autres partenaires. Une définition plus claire des résultats permettrait de déterminer les caractéristiques propres à chacun, ce qui simplifierait les indicateurs de rendement. Il serait toutefois important de continuer à reconnaître les liens entre les résultats si on adopte cette approche.

Selon l'avis des évaluateurs, les indicateurs actuels ne permettent pas de saisir la complexité des résultats à long terme du programme. Le lecteur qui n'examinera que les renseignements liés aux indicateurs de résultats du programme, obtiendra simplement un aperçu des éléments suivants :

• la documentation au sujet des priorités annuelles en matière de financement;
• le nombre de projets financés (selon le type et l'activité);
• le nombre de collectivités qui ont reçu du financement;
• le nombre de participants (estimé) qui ont participé aux projets (aînés et ensemble des participants);
• le nombre d'organismes ayant des partenaires de financement;
• le nombre de partenaires;
• le nombre d'organismes qui ont signalé l'établissement de nouveaux partenariats grâce au financement;
• le montant des contributions (en espèces ou en nature) des partenaires;
• le nombre d'organismes qui ont mentionné que l'activité financée se poursuivra.

Le regroupement des indicateurs actuels ne donne pas une image complète des résultats attendus du PNHA, qui comprennent : le renforcement des capacités des collectivités à relever les défis sociaux actuels ou émergents, l'inclusion et la participation accrues des aînés au sein de la société, l'engagement des aînés dans la collectivité, et des collectivités dynamiques et inclusives qui profitent de la participation des aînés à la vie communautaire. D'autres indicateurs de résultats peuvent être liés aux éléments suivants :

• le nombre de projets financés pour lesquels des aînés ont participé à la planification ou au fonctionnement;
• le recours permanent aux aînés de la part d'un organisme (en tant que leaders, bénévoles, etc.) lorsque le projet financé a pris fin;
• le réseautage réel parmi les aînés dans le cadre des projets financés;
• les partenariats établis entre les organismes financés et les groupes qui ne sont pas formés d'aînés;
• le nombre d'aînés qui participent aux différents types d'activités au sein de l'organisme (et non seulement aux projets financés);
• l'inclusion ou la participation des aînés vulnérables.

Disponibilité et qualité des données

Le PNHA a fixé des exigences administratives liées à la production de rapports pour veiller à la gestion efficiente et efficace du programme. Au niveau national, il existe deux sources de données administratives pouvant servir à la gestion, au contrôle et à l'évaluation :

• La base de données du Système commun pour les subventions et les contributions (SCSC), qui contient des renseignements de base au sujet de chaque demande. Elle fournit aussi des renseignements plus complets sur les projets financés, mais non pas sur ceux qui n'ont pas obtenu de financement. Le personnel des régions met à jour les données du SCSC lorsque des demandes sont présentées et tout au long de la durée de vie des projets.
• Les bureaux régionaux conservent des dossiers papier pour chaque demande. Ces dossiers comprennent notamment le formulaire de demande, les formulaires de sélection, les évaluations, les décisions relatives au financement et les rapports de projet finals. Ils contiennent davantage de renseignements au sujet des demandes que le SCSC ^{Note de bas de page 10} , mais ceux-ci sont plus difficiles à rassembler puisqu'ils ne se trouvent pas dans une base de données.

Les régions de la Colombie-Britannique/Yukon, du Québec et de l'Ontario ont créé des bases de données pour leurs régions afin de leur permettre de trouver des renseignements plus rapidement et plus facilement. Au niveau national, on prévoit élaborer une base de données supplémentaire qui sera mieux adaptée aux besoins du programme en matière d'information que le SCSC.

L'exactitude des données du SCSC a été évaluée au moyen d'une comparaison avec les données d'un échantillon aléatoire de dossiers papier (10 % des demandes qui ont obtenu du financement et 5 % de celles qui ont été jugées inadmissibles ou qui ont été rejetées). L'ensemble des données du SCSC a également été évalué en établissement la proportion de dossiers qui contenaient des données. En comparant les renseignements contenus dans les dossiers de projet avec les données du SCSC, on a constaté que ces dernières étaient pour la plupart complètes et exactes. Cependant, dans certains cas, les renseignements contenus dans les dossiers de projet n'étaient pas consignés dans le SCSC ou avaient été saisis de façon erronée :

• Le nombre estimatif de participants n'a pas été consigné pour tous les projets. Dans le cas des projets non financés, ce champ n'était rempli que pour 56 % des projets sur une période de trois ans.
• Le nombre d'aînés n'a pas été indiqué dans bon nombre de projets (33 % des projets ayant reçu du financement sur une période de trois ans et 25 % dans le cas des projets n'ayant pas reçu de financement au cours de la même période) ^{Note de bas de page 11} .
• La date d'approbation dans le SCSC ne correspond pas toujours à celle indiquée sur les formulaires papier (19 % sur trois ans).
• Le SCSC contenait très peu d'information au sujet de la date à laquelle une décision a été prise dans le cas des projets non financés, de sorte qu'il est difficile d'évaluer le temps requis pour la prise de décisions relatives au financement.
• Certaines demandes semblent avoir été classées de façon erronée, (p. ex., elles sont enregistrées dans le SCSC comme étant rejetées, alors qu'on aurait dû les classer comme étant inadmissibles).
• Les renseignements indiquant qu'une demande provenait d'une communauté de langue officielle en situation minoritaire n'ont pas été consignés dans le SCSC dans le cas des projets non financés.
• Le montant du financement demandé n'était pas consigné pour certains projets inadmissibles, notamment pour les deux premières années du programme. Cette situation a fait en sorte qu'il était difficile de calculer les montants totaux demandés.

Un échantillon aléatoire des demandes de projet a été examiné et classé selon l'année de financement et l'état de la demande (inadmissible, rejetée ou approuvée). Pour les 168 demandes qui avaient obtenu du financement et qui ont fait l'objet d'un examen, nous ne disposions des rapports finals que dans 57 % des cas.

Les rapports de projet finals représentent une source importante de données pour l'évaluation sommative. D'après l'échantillon examiné, des rapports finals ont été présentés par 88 % des projets financés en 2004-2005, par 85 % des projets financés en 2005-2006 et par 23 % des projets financés en 2006-2007 ^{Note de bas de page 12} .

La majorité des employés et des gestionnaires interviewés dans les régions n'étaient pas préoccupés par l'exactitude et l'exhaustivité des données dans les systèmes de gestion et d'information. Une minorité de répondants manifestaient certaines inquiétudes, surtout parce qu'il est impossible de corriger les erreurs dans le SCSC de façon rétroactive. Si une erreur est suffisamment grave, le personnel du programme doit recréer le dossier en entier et supprimer le dossier original. S'il s'agit d'une erreur mineure (comme une erreur typographique dans le nom d'un organisme), on la laisse habituellement telle quelle, ce qui rend les recherches dans la base de données plus difficiles puisqu'elles se font selon l'orthographe et la ponctuation.

Caractère adéquat des données pour la gestion, le contrôle et l'évaluation

Lors des entrevues menées auprès des informateurs clés, le personnel et les gestionnaires du programme devaient indiquer si les renseignements que contiennent les systèmes de données administratives étaient suffisants pour appuyer leur travail. Il y avait des divergences d'opinion parmi le personnel et les gestionnaires, certains d'entre eux estimant que les données étaient suffisantes, tandis que d'autres étaient d'avis qu'elles ne l'étaient pas. La plupart du temps, le personnel et les gestionnaires étaient en mesure d'obtenir les renseignements dont ils avaient besoin, mais certains gestionnaires ont parfois mentionné qu'ils recevaient des demandes de renseignements et de rapports auxquelles ils ne pouvaient répondre à l'aide du SCSC.

Le principal problème de la base de données du SCSC tient au fait qu'elle a été conçue pour un type de programme très différent et qu'elle n'est pas suffisamment souple pour saisir et pour fournir le type de renseignements dont le PNHA a besoin. Par exemple, le SCSC ne comprend pas de champ pour la description des projets. Le personnel doit contourner ces limites en trouvant des champs non utilisés où il peut saisir les renseignements, mais la longueur de champ impose une contrainte. Dans d'autres cas, le SCSC exige une réponse pour des éléments qui ne s'appliquent pas au PNHA, ce qui mène à la saisie de renseignements sans intérêt dans la base de données.

Malgré ces problèmes, le SCSC, les dossiers du programme et les dossiers papier semblent renfermer des données adéquates qui permettent d'obtenir les renseignements requis pour le fonctionnement du programme et d'évaluer les extrants et la plupart des résultats immédiats. La seule exception concerne le nombre d'envois postaux ciblés visant à promouvoir le programme; cette information ne semble pas faire l'objet d'un suivi de façon constante. De plus, le nombre estimatif d'aînés qui devaient participer aux projets financés n'était pas saisi à partir des formulaires de demande en 2004-2005 et en 2005-2006.

L'évaluation de certains indicateurs d'extrants peut nécessiter beaucoup de temps parce que les renseignements devront être rassemblés à partir des formulaires de demande sur support papier (p. ex., les renseignements relatifs aux projets non financés des communautés de langue officielle en situation minoritaire, le statut d'admissibilité des projets qui n'ont pas reçu de financement et le nombre estimé d'aînés ou de participants dans les projets financés ne sont pas toujours complets ou précis dans la base de données du SCSC).

Par ailleurs, l'évaluation de certains des résultats immédiats peut exiger beaucoup de temps parce que les renseignements ne se trouvent pas dans le SCSC et qu'il faudra les obtenir à partir des rapports de projet finals, qui sont sur support papier. De plus, environ 15 % des projets financés semblent ne pas avoir présenté de rapport final au cours des deux premières années de financement ^{Note de bas de page 13} , de sorte qu'une évaluation des résultats fondée sur les rapports finals ne sera pas toujours précise.

Parce qu'ils sont présentés peu de temps après la fin d'un projet, les rapports finals des projets financés ne renferment pas les renseignements requis pour l'évaluation des résultats intermédiaires et à long terme. Les projets financés ne semblent pas faire l'objet d'un suivi, ce qui permettrait d'obtenir des renseignements concernant ces résultats à long terme.

Lacunes dans les données

Un certain nombre de questions ne sont pas examinées à l'heure actuelle au moyen des données administratives du programme. On pourra y répondre de façon plus adéquate par l'entremise de l'évaluation sommative à venir. Ces questions sont les suivantes :

• Dans quelle mesure les compétences et la sagesse des aînés sont-elles réellement mises à contribution dans le cadre des projets financés?
• Quel est l'apport des aînés aux organismes financés (pendant et après le projet)?
• Quelles contributions les aînés apportent-ils à leurs pairs vulnérables et à d'autres groupes?
• Quelles sont les contributions des aînés à la vie communautaire?
• Dans quelle mesure la contribution des aînés est-elle valorisée par les dirigeants communautaires?
• Dans quelle mesure les aînés ont-ils développé et étendu leurs propres réseaux sociaux?
• Dans quelle mesure les aînés vulnérables participent-ils davantage aux activités communautaires?
• Quels sont les nouveaux partenariats qui ont été formés entre les organismes financés et d'autres groupes (y compris les groupes non constitués d'aînés)?
• Comment ces partenariats ont-ils été maintenus?
• Que font les organismes financés pour déterminer les nouveaux défis que devra relever leur collectivité sur le plan social?
• Jusqu'à quel point les organismes financés et leurs partenaires sont-ils en mesure de mieux coordonner leurs interventions face aux défis sociaux?

Sommaire

• Les indicateurs de rendement pour les extrants sont adéquats et instructifs.
• Les indicateurs de rendement pour les résultats ne donnent pas une image complète des résultats attendus du PNHA. Bon nombre des indicateurs de rendement se rattachent aux extrants plutôt qu'aux résultats, et plusieurs ne semblent pas liés aux résultats. Dans certains cas, l'essence du résultat n'est pas du tout saisie. On observe également certains recoupements entre les indicateurs pour différents résultats.
• La base de données du SCSC contient des données suffisamment précises et complètes pour répondre à la plupart des besoins en matière de gestion et pour étayer les indicateurs de rendement du programme en ce qui a trait aux extrants. Cependant, certaines données importantes sur les extrants étaient incomplètes dans le SCSC (p. ex., le nombre d'aînés participants, les CLOSM dans le cas des projets non financés, le montant du financement demandé pour les projets inadmissibles), alors que d'autres étaient erronées (p. ex., l'état des projets, la date d'approbation) lorsqu'on les comparait aux données figurant sur les documents papier.
• Le nombre d'envois postaux ciblés visant à faire la promotion du programme, qui représente l'un des indicateurs d'extrants, ne semble pas faire l'objet d'un suivi.
• L'évaluation de certains des indicateurs de résultats immédiats exigera beaucoup de temps parce que les renseignements ne sont pas saisis dans le SCSC et qu'ils devront être rassemblés à partir des formulaires de demande sur support papier. De plus, environ 15 % des projets financés semblent ne pas avoir présenté de rapport final au cours des deux premières années de financement, de sorte qu'une évaluation des résultats fondée sur les rapports finals ne sera pas toujours précise.

3.5 Extrants du programme

Question d'évaluation 5 : Jusqu'à quel point le programme a-t-il produit les extrants attendus?

• Quel est le profil des projets dans chacune des régions?
• Quels sont les obstacles qui nuisent à l'obtention des extrants attendus?
• Qu'est-ce qui favorise l'obtention des extrants attendus?

Les extrants attendus du PNHA sont les suivants :

• les priorités en matière de financement sont établies par les CER;
• les plans de promotion et de sensibilisation sont élaborés et mis en œuvre;
• les projets sont financés;
• les rapports du programme sont produits pour l'année précédente afin de permettre l'apprentissage continu.

Priorités en matière de financement

Les priorités en matière de financement doivent être établies chaque année par les CER, qui ont été constitués de façon à être représentatifs de la diversité dans leur région. Les CER (ou le CCG au Québec) ont été mis sur pied dans chaque province et territoire. Les listes de membres des CER montrent que la taille de ces derniers varie, de quatre à 13 membres, et qu'ils témoignent habituellement d'une représentation transversale, y compris les représentants du gouvernement, les aînés, les organismes communautaires et les populations ciblées (p. ex., des groupes culturels particuliers, les communautés de langue officielle en situation minoritaire). La majorité des employés et des gestionnaires du PNHA et des membres des CER étaient d'avis que la composition des CER était représentative ou plutôt représentative des intervenants et des groupes cibles de leur région.

Les priorités régionales pour chaque cycle de financement ont été établies puis affichées dans le site Web du PNHA. Les priorités varient d'une région à l'autre et d'une année à l'autre. La majorité des informateurs clés étaient d'avis que les priorités reflétaient adéquatement les besoins régionaux.

Plans de promotion et de sensibilisation

Le personnel des régions doit sensibiliser davantage au programme les collectivités géographiques ciblées et les communautés d'intérêt, et faire participer les aînés et d'autres bénévoles qui n'ont toujours pas participé au programme. Chacune des régions doit élaborer un plan de promotion qui décrit les types d'activités qu'elle entend mener pour sensibiliser les collectivités ciblées.

Seulement sept des régions ont produit des plans de promotion et de sensibilisation officiels que l'évaluation permettra d'examiner, mais certains indices démontrent que différentes activités de promotion se déroulent dans chaque région (voir le tableau 4 à la p. 28). Bien que l'ensemble des provinces et territoires, à l'exception du Québec, aient expressément fait mention des envois ciblés visant à promouvoir le PNHA, l'évaluation n'a pas permis de déterminer le nombre exact de ces envois pour l'ensemble des régions.

Le nombre, la source et la qualité des demandes reçues sont de bons indicateurs de l'efficacité des efforts de promotion. Ces éléments sont abordés en détail à la question d'évaluation 3 et ne sont pas répétés ici.

Projets financés

Après la période de demande, les CER doivent évaluer les demandes et recommander l'approbation ou le refus du financement. Les approbations sont données par l'entremise d'un processus d'examen ministériel, et les projets approuvés reçoivent ensuite du financement. Les projets financés par le PNHA devraient profiter aux aînés, mais ils peuvent également mettre à contribution l'expérience, les compétences et la sagesse des aînés pour répondre aux besoins de la collectivité.

Au cours des trois années visées par l'examen, 4 090 demandes ont été reçues et 1 730 d'entre elles ont été approuvées ^{Note de bas de page 14} . Comme le montre la figure 4, le nombre et la proportion de demandes approuvées ont augmenté au cours des trois premiers cycles de financement. Cette tendance a été observée dans la plupart des régions.

À mesure que le nombre de demandes admissibles augmentait au cours des années, le temps requis pour examiner et approuver les demandes s'est accru également. Selon les données du SCSC, il fallait en moyenne neuf semaines pour examiner et approuver les demandes qui ont été financées en 2004-2005. Le temps de traitement est passé à environ 13 semaines en 2004-2005 et à environ 18 semaines en 2006-2007. L'examen des dossiers papier donne à penser qu'il fallait de deux à quatre semaines de plus avant d'envoyer aux demandeurs les avis concernant la décision.

Un des indicateurs d'extrants pour les projets ayant reçu du financement est la répartition des projets par thème (vie active des aînés, contribution à la collectivité, établissement de partenariats ou participation sociale). Le personnel des projets a mentionné que cet indicateur n'était pas particulièrement utile puisque la plupart des projets touchent plus d'un thème, mais le processus de saisie dans le SCSC exige qu'un seul thème soit choisi. La proportion de projets portant sur chacun des thèmes est répartie comme suit :

• Vie active des aînés : 35 %;
• Contribution à la collectivité : 33 %;
• Participation sociale : 29 %;
• Établissement de partenariats : 3 %.

L'examen de 10 % des formulaires de demande pour les projets financés a révélé que pratiquement tous ces projets étaient conformes aux priorités régionales ou nationales, et que la grande majorité d'entre eux était conforme aux deux. La plupart des informateurs clés étaient d'avis que les décisions liées au financement correspondaient bien aux priorités régionales.

Les types d'activités de projet les plus fréquents, tels qu'enregistrés dans le SCSC, étaient l'apprentissage intergénérationnel (30 %), le renforcement des capacités communautaires (19 %), les loisirs (19 %), le réseautage (17 %), la sensibilisation (16 %), la santé et les services sociaux (13 %) et l'éducation (12 %).

Rapport du programme de l'année précédente

Les rapports du programme de l'année précédente visent à assurer l'amélioration continue du programme ainsi que la reddition de comptes. Les extrants devraient comprendre un rapport récapitulatif sommaire pour chaque cycle de financement, la détermination des « histoires de réussite » pour favoriser l'élaboration de projets semblables, et la présentation d'un rapport final pour les projets financés.

Des rapports récapitulatifs sommaires annuels ont été produits pour chacun des trois cycles de financement.

Des « projets exemplaires » ont été dégagés pour chaque région et affichés dans le site Web du PNHA. Selon les informateurs clés, les projets exemplaires ont été déterminés à partir des formulaires de demande. Ils constituent donc des exemples de « bonnes idées » plutôt que des « projets ayant mené aux résultats attendus ». Il semble qu'à l'heure actuelle certaines régions soient allées encore plus loin, et qu'elles déterminent les « histoires de réussite » en se fondant sur les résultats du projet tels que décrits dans les rapports de projet finals. Le but visé est de faire en sorte que toutes les régions fassent de même éventuellement. Dans certaines régions, le personnel cherche activement à repérer les réussites, tandis que dans une région, le personnel de Service Canada produit un rapport qui résume les projets et leur niveau de réussite respectif. Cette pratique varie selon les régions.

Les projets exemplaires et les histoires de réussite sont communiqués par divers moyens :

• Le personnel des régions ou les représentants des projets financés partagent des exemples de projet avec des demandeurs potentiels (soit en personne, lors d'ateliers et de visites dans les collectivités, soit par de la publicité dans les journaux, des dépliants ou feuillets d'information, des DVD, le bouche-à-oreille).
• Les projets exemplaires sont affichés dans le site Web national. Les demandeurs sont encouragés à visiter le site Web pour obtenir des suggestions.
• Alors que dans certaines régions le personnel a commencé à regrouper les histoires de réussite, il semble qu'à l'heure actuelle aucune méthode uniforme ne soit prévue pour les faire connaître.

Obstacles et éléments favorisant l'obtention des extrants attendus

Les informateurs clés ont cerné très peu d'obstacles ou d'éléments favorisant l'obtention des extrants attendus.

Au nombre des obstacles invoqués par les informateurs clés, mentionnons : des intervenants qui ne travaillaient pas bien ensemble, un manque de sensibilisation au programme, un manque de compréhension à l'égard de la diversité culturelle, des collectivités ou des groupes particuliers favorisés par rapport à d'autres, et un délai trop court pour l'appel de demandes. Aucun de ces obstacles n'a été relevé comme thème récurrent lors des entrevues menées auprès des informateurs clés.

Une minorité d'informateurs clés ont mentionné des facteurs qui, selon eux, favorisaient l'obtention des extrants du PNHA, y compris la visibilité du PNHA au sein de la collectivité, le financement disponible et le soutien du personnel du PNHA. Là encore, aucun de ces facteurs n'a été relevé comme thème récurrent lors des entrevues menées auprès des informateurs clés.

Sommaire

• Des comités d'examen régionaux ont été formés et ils sont, dans la plupart des cas, représentatifs de la diversité de leur région. Ce sont les CER qui établissent chaque année les priorités régionales en matière de financement.
• Même si certaines régions n'ont pas de plans de promotion et de sensibilisation officiels, toutes les régions, à l'exception du Québec, ont effectué des envois postaux ciblés pour faire la promotion du PNHA. Toutes les régions entreprennent différentes activités de promotion pour inciter les collectivités ciblées à participer.
• Au total, 1 730 projets ont été approuvés lors des trois premiers cycles de financement. Ces projets étaient conformes aux objectifs du programme et aux priorités régionales. La seule préoccupation tient au fait que, à mesure que le nombre de demandes admissibles augmente, le temps requis pour examiner et approuver les demandes augmente également.
• Un rapport récapitulatif sommaire est produit chaque année. On estime qu'environ 85 % des projets financés présentent un rapport final dans l'année suivant l'achèvement du projet. Les projets exemplaires ont été relevés puis communiqués aux demandeurs potentiels. Certaines régions ont commencé à dégager les histoires de réussite en se fondant sur les résultats décrits dans les rapports de projet finals, alors que d'autres n'ont pas encore adopté cette facon de faire.

3.6 Résultats à court terme du programme

Question d'évaluation 6 : Dans quelle mesure le programme a-t-il atteint les résultats prévus à court terme?

• Quels sont les obstacles qui nuisent à l'atteinte des résultats attendus?
• Qu'est-ce qui favorise l'atteinte des résultats attendus?
• Y a-t-il eu des résultats imprévus?

Les résultats immédiats attendus du PNHA sont les suivants :

• La réponse aux priorités communautaires;
• Le recours à l'expérience, aux compétences et à la sagesse des aînés;
• Les organismes financés sont plus aptes à répondre aux besoins de la collectivité;
• Les aînés peuvent établir des liens par l'entremise de réseaux et de partenariats.

Réponse aux priorités communautaires

L'examen d'un échantillon de rapports finals a révélé que les avantages les plus fréquents pour les collectivités étaient les suivants :

• inclusion accrue des aînés et réduction de l'isolement (84 %);
• amélioration des connaissances et compétences des aînés (42 %);
• création de liens entre les générations, compréhension et respect accrus (42 %);
• occasion pour les aînés de s'exprimer, de partager leurs compétences, leurs connaissances et leurs valeurs (38 %);
• loisirs/plaisir (28 %);
• promotion de la vie active, de l'exercice (24 %).

Un examen plus approfondi s'impose pour déterminer dans quelle mesure ces avantages correspondent aux besoins particuliers des collectivités. Cependant, 85 % des demandeurs interrogés qui ont reçu du financement ont mentionné que leur projet avait contribué à renforcer quelque peu ou dans une large mesure la capacité communautaire à relever les défis actuels ou émergents, ce qui porte à croire que le programme a permis de mieux répondre aux priorités communautaires.

Recours à l'expérience, aux compétences et à la sagesse des aînés

Tous les informateurs clés étaient d'avis que les projets favoriseraient la mise à contribution de la sagesse, de l'expérience et des connaissances des aînés. Ils ont encensé les projets intergénérationnels qui permettaient aux aînés de partager leur sagesse avec les générations plus jeunes. Ils ont également souligné que le partage de l'expérience et des connaissances profitait aux aînés et à leur collectivité.

Un indicateur de ce résultat, relevé dans le CMR, est le nombre (estimatif) de participants aux projets financés. Selon les données du SCSC, les projets financés s'attendaient à dénombrer entre zéro et 35 000 participants, avec une médiane de 100 participants.

En 2006-2007, le programme a commencé à recueillir des renseignements concernant le nombre estimatif d'aînés participant aux projets, ce qui représente un indicateur plus précis. Les données relatives au nombre d'aînés étaient disponibles pour presque 70 % des projets financés au cours de cet exercice. Les estimations allaient de deux à 20 000, avec une médiane de 65.

Les demandeurs qui ont reçu du financement et répondu à l'enquête devaient préciser quel était le nombre d'aînés participant aux projets. Les répondants ont indiqué que 40 % des projets comptaient plus de 50 aînés participants; 29 %, de 21 à 50 aînés participants, et 27 %, 20 aînés participants ou moins. Le tiers ont déclaré que les aînés participaient tout le temps, et 56 % ont affirmé que les aînés participaient la plupart du temps.

Selon presque tous les rapports de projet finals examinés, les projets auraient contribué à accroître la participation sociale des aînés. Les résultats de l'enquête auprès des demandeurs qui ont reçu du financement étaient semblables : environ 96 % des répondants ont déclaré que leurs projets avaient contribué quelque peu ou dans une large mesure à accroître la participation sociale des aînés et à renforcer leur autonomie.

Près des trois quarts des rapports finals examinés ont révélé que les projets avaient réduit l'isolement des aînés vulnérables. Dans le cadre de l'enquête, 94 % des demandeurs ont déclaré que leurs projets ayant reçu du financement avaient contribué quelque peu ou dans une large mesure à accroître l'inclusion des aînés dans la collectivité ou à réduire leur isolement.

D'après les rapports finals examinés, un nombre très limité de projets (35) ont fourni des renseignements sur le nombre d'aînés ayant participé à la planification et à l'organisation des projets financés. Ainsi, entre zéro et 649 aînés y auraient pris part, alors que 89 % des 35 projets comptaient au moins un aîné participant. Même si ces résultats ne peuvent être généralisés pour tous les projets, ils démontrent que des aînés jouaient un rôle prépondérant dans le cadre de certains projets à tout le moins. Ces résultats préliminaires concernant le programme pourront être examinés davantage au cours de l'évaluation sommative à venir.

Les organismes financés ont renforcé leur capacité à répondre aux besoins de la collectivité

La majorité des informateurs clés étaient d'avis que le programme permettait d'accroître la capacité des organismes à répondre aux besoins de la collectivité, surtout parce qu'il offre un financement de démarrage grâce auquel les organismes peuvent améliorer les activités déjà offertes. Les répondants estimaient aussi que le programme permettait de rassembler différents membres de la collectivité et de sensibiliser davantage les gens aux questions touchant les aînés. La grande majorité des répondants qui ont reçu du financement (97 %) ont également affirmé que les subventions avaient renforcé la capacité de leur organisme à répondre aux besoins de la collectivité, du moins dans certains cas, parce qu'ils avaient pu améliorer leur programme. Cependant, l'examen d'un échantillon de rapports finals a révélé qu'un peu moins de la moitié d'entre eux faisaient mention des possibilités qu'offraient les projets aux organismes de renforcer leur capacité communautaire et d'établir des partenariats.

Plus de 90 % des projets qui ont présenté des rapports finals prévoyaient poursuivre les activités du projet au-delà du financement, ce qui témoigne de la capacité soutenue de l'organisme. De plus, 83 % des répondants à l'enquête ont déclaré que leur projet s'était poursuivi au-delà du financement ou qu'il se poursuivrait lorsque le financement prendrait fin. Parmi les quelques répondants ayant signalé la fin de leurs projets, environ la moitié ont dit manquer de fonds pour la poursuite du projet.

Le fait d'avoir des partenaires de financement améliorerait la capacité des organismes à répondre aux besoins de la collectivité. Selon les données du SCSC, 65 % des projets financés avaient au moins un partenaire de financement autre que l'organisme responsable. Les contributions totales en espèces provenant de toutes les sources étaient estimées à 37,85 millions de dollars pour les trois années, ce qui représente environ une fois et quart le montant total des subventions accordées. Les contributions en espèces attendues des organismes responsables et de leurs partenaires atteignaient près de 21 000 $ par projet financé (environ une fois et quart le montant de la subvention moyenne).

Les contributions en espèces les plus importantes ont été versées par les organismes responsables, suivis des organismes sans but lucratif et des gouvernements provinciaux. Le total prévu des contributions en nature provenant de toutes les sources se chiffrait à 14,61 millions de dollars pour les trois années (environ 8 500 $ en moyenne par projet financé). Les contributions en nature les plus importantes devaient aussi provenir des organismes responsables, suivis des organismes sans but lucratif et des gouvernements municipaux. La valeur totale prévue des contributions en espèces et en nature au cours des trois années était de 52,46 millions de dollars (30 000 $ en moyenne par projet financé). Cependant, on ignore si les estimations correspondent aux contributions en espèces et en nature qui ont été versées.

Les aînés peuvent établir des liens par l'entremise de réseaux et de partenariats

La majorité des informateurs clés étaient d'avis que le financement permettrait d'améliorer les réseaux entre les organismes et leurs partenaires, parce que les organismes – particulièrement les plus petits – présentent souvent leur demande en collaboration avec des partenaires. Les personnes interviewées ont également souligné que le personnel régional du PNHA tente d'établir des liens entre les organismes lorsqu'il croit qu'il est avantageux de le faire. Selon quelques informateurs clés, les « véritables partenariats » qui se poursuivent au-delà du financement n'étaient pas souvent établis, et une minorité d'entre eux étaient d'avis que le programme devait en faire plus pour promouvoir les partenariats et le réseautage.

L'examen des rapports finals a révélé qu'environ les trois quarts faisaient mention que les organismes avaient établi de nouveaux partenariats par l'entremise d'un projet financé par le PNHA. Le nombre de partenaires de financement indiqué dans les rapports finals allait de un à 23, la plupart des projets comptant de un à quatre partenaires de financement ^{Note de bas de page 15} . Les partenaires qui revenaient le plus souvent étaient les administrations municipales (38 % des projets), d'autres ministères fédéraux (21 %) et des sociétés d'État (18 %).

En plus des liens entre les organismes, ce résultat concerne également les réseaux et les liens entre les aînés. L'examen des rapports de projet finals a permis de constater qu'environ la moitié d'entre eux mentionnaient que les projets avaient multiplié les occasions de réseautage et d'associations entre les aînés.

Au total, 90 % des répondants à l'enquête ont déclaré que leurs projets financés avaient contribué quelque peu ou dans une large mesure à renforcer les réseaux et les partenariats entre les membres de la collectivité, les organismes communautaires et le gouvernement.

Résultats imprévus

L'évaluation formative du programme n'a pas permis de dégager des résultats imprévus. Ceux-ci devraient être examinés plus en détail dans le cadre de l'évaluation sommative du programme.

Obstacles et éléments favorisant l'atteinte des résultats

Les obstacles les plus fréquents auxquels étaient confrontés les projets, selon l'enquête auprès des demandeurs et les rapports finals, étaient les suivants :

• le recrutement du personnel ou des bénévoles;
• la coordination des projets malgré les contraintes de temps et les échéanciers conflictuels;
• les frais de déplacement ou de transport;
• les demandes pour des activités dont les exigences excèdent les moyens disponibles;
• les obstacles linguistiques.

Dans leurs commentaires au sujet de l'établissement de réseaux et de partenariats entre les organismes, les informateurs clés ont souligné que les partenariats nécessitaient un travail important et qu'ils présentaient un défi particulièrement redoutable dans les zones rurales où le bassin de partenaires potentiels est limité.

Une minorité d'informateurs clés étaient d'avis que le réseautage entre les organismes et les centres communautaires, les écoles et d'autres organismes favorisait l'atteinte des résultats attendus. Le dynamisme des aînés qui travaillent ensemble et qui se sentent valorisés était également perçu comme un facteur favorable, qui les incite à continuer de participer.

Sommaire

• La plupart des organismes participants ont dit avoir renforcé leur capacité communautaire à relever les défis actuels ou émergents, mais des renseignements concluants ne sont pas disponibles.
• Tant les demandeurs qui ont reçu du financement que les informateurs clés étaient d'avis que le programme favorisait le recours à l'expérience, aux compétences et à la sagesse des aînés. La plupart des projets dénombraient de 30 à 150 aînés participants et, selon les premières indications, des aînés prenaient part à l'organisation de certains projets. La plupart des personnes ayant participé aux projets financés ont déclaré qu'ils avaient permis d'accroître la participation sociale et l'inclusion des aînés. Bon nombre de projets semblent également réduire l'isolement des aînés vulnérables.
• Le programme semble renforcer la capacité de nombreux organismes à répondre aux besoins de la collectivité en leur permettant d'améliorer leurs programmes et leurs services. La plupart des projets financés se poursuivent lorsque le financement prend fin.
• Environ les trois quarts des organismes ont établi de nouveaux partenariats par l'entremise des projets financés par le PNHA. Plus de la moitié des projets avaient des partenaires de financement autres que l'organisme responsable (habituellement, de un à quatre), ce qui contribue sans doute à la durabilité des projets.
• Au total, 52,46 millions de dollars en contributions en espèces et en nature ont été versés par les organismes responsables et les partenaires de financement, dont 37,85 millions de dollars en contributions en espèces et 14,61 millions de dollars en contributions en nature.
• Environ la moitié des projets semblent avoir favorisé l'établissement de réseaux et de liens entre les aînés.