Évaluation formative du Programme d'aide et de partenariat de la Direction des organismes de bienfaisance

Direction générale de la vérification et de l'évaluation de l'entreprise

Avril 2008

Table des matières

• Résumé
• Introduction
  • Contexte
  • Description du programme
  • Contexte de l'évaluation
  • Méthodologie
• Constatations
  • Programme pertinent au contexte de l'Initiative de réforme du cadre réglementaire des organismes de bienfaisance
  • Progrès réalisés à l'égard des projets de financement
  • La conception initiale du programme n'a pas été complètement réalisée
  • Progrès limité à l'égard de la mesure du rendement
  • Pratiques à envisager pour améliorer le programme
• Conclusion et recommandations
• Annexe A
• Annexe B

Résumé

La Direction générale de la vérification et de l'évaluation de l'entreprise (DGVEE) a effectué l'évaluation formative du Programme d'aide et de partenariat de la Direction des organismes de bienfaisance (PAPDOB). L'objectif de l'évaluation était d'offrir des renseignements et des conseils aux cadres supérieurs de l'Agence du revenu du Canada (ARC) en vue de déterminer si le programme est en bonne position pour atteindre ses objectifs, et de relever les améliorations que l'on pourrait y apporter. Comme nous l'avions décrit brièvement dans le mandat approuvé par le Comité de gestion de l'Agence (CGA) en février 2007, l'évaluation s'est intéressée à la pertinence du programme dans le contexte de l'ARC et du gouvernement fédéral, ainsi qu'à la conception du programme, à sa mise en œuvre, à son exécution et à ses modifications. La portée de l'évaluation a englobé les exercices de 2004‑2005 jusqu'au deuxième trimestre de 2007‑2008.

Les origines du programme remontent à l'Initiative sur le secteur bénévole et communautaire, un projet conjoint lancé en 2000 par le gouvernement du Canada et le secteur bénévole pour favoriser leur relation et renforcer la capacité du secteur à mieux servir les Canadiens. Le gouvernement fédéral a remis son rapport en mai 2003 : Renforcer le secteur des organismes de bienfaisance au Canada : La réforme du cadre réglementaire, qui comportait un total de 75 recommandations, dont plusieurs concernaient la nécessité que l'organisme de réglementation fédéral soit plus proactif pour ce qui est de renseigner et de sensibiliser le secteur.

En mars 2005, le Conseil du Trésor (CT) a approuvé les modalités du PAPDOB et a accepté de lui accorder un financement de 1 million de dollars en 2005‑2006, de 1 million de dollars en 2006‑2007, de 2 millions de dollars en 2007‑2008 et de 3 millions de dollars au cours des années subséquentes. Le programme devait être mis en œuvre graduellement à l'aide d'une approche progressive, comme le prévoyait le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) compris dans la présentation au CT. Au départ, la Division de la politique, de la planification et de la législation (DPPL) de la Direction des organismes de bienfaisance était responsable du programme. Le 1er avril 2006, cette responsabilité a été transférée à une nouvelle division de la Direction, appelée Division du service à la clientèle et des relations avec les clients (DSCRC).

Nous comprenons que la Direction des organismes de bienfaisance a mis ce programme sur pied afin de donner suite à ses efforts constants pour informer et sensibiliser les organismes de bienfaisance enregistrés au sujet de leurs obligations en vertu de la Loi de l'impôt sur le revenu (LIR). Ce programme est pertinent pour l'ARC et le gouvernement fédéral parce que l'ARC a comme responsabilité le maintien de la confiance du public à l'égard de l'équité et de l'intégrité du régime fiscal. Il est donc nécessaire d'offrir tout le soutien voulu à ceux qui souhaitent observer la loi et de prendre les mesures requises pour reconnaître et traiter les cas d'inobservation. Les organismes de bienfaisance enregistrés qui n'observent pas la loi compromettent le travail des organisations honnêtes en minant la confiance du public et en détournant des fonds qui devraient être utilisés dans l'intérêt des Canadiens.

En étudiant la question de la conception du programme, l'évaluation a révélé que le choix du moyen d'action, c.‑à‑d. un programme de contributions, à titre de meilleure approche pour la mise en œuvre du programme, reposait sur une analyse superficielle et sur peu de documents. Nous nous attendions à ce que la décision de l'ARC à l'égard du moyen pour la réalisation des objectifs du programme soit fondée sur une analyse complète des activités de communication existantes et des options pour l'amélioration des activités d'aide et de consultation pour le secteur. Nous n'avons rien trouvé qui puisse indiquer qu'une telle analyse avait été effectuée. Une analyse plus approfondie des résultats du programme, à l'aide d'une évaluation sommative subséquente, sera nécessaire pour évaluer l'incidence de ce programme sur l'observation et pour déterminer s'il s'agissait du choix le plus judicieux pour la mise en œuvre du programme.

Même si le CGRR a reconnu que l'ARC ne s'occupe habituellement pas de l'administration et de la gestion de programmes de contributions, il a estimé que la Direction des organismes de bienfaisance allait gérer entre cinq et dix ententes par année. Au moment de l'évaluation, le programme en était à sa quatrième année de fonctionnement et le financement de contribution était disponible depuis trois ans. Deux appels de demandes avaient eu lieu et, en comptant la nouvelle entente de contribution signée en septembre 2007, trois ententes de contribution étaient en vigueur. Les deux premiers bénéficiaires de contributions n'ont commencé que récemment (automne 2007) à offrir des séances de formation au secteur du bénévolat. Mais, comme trois ententes de contribution additionnelles ont été signées en janvier 2008, ce qui porte le total des ententes à six, cela ne pourrait durer qu'une courte période.

Notre évaluation a permis de découvrir des écarts dans la mise en œuvre, par rapport à la conception initiale du programme qu'avait approuvée le CT. La priorité du PAPDOB a clairement été de mettre en place des ententes de contribution, au détriment d'autres activités essentielles, dont la promotion du programme, la collaboration avec le secteur bénévole et la mesure du rendement. La stratégie de mesure du rendement requise en vertu de la Politique sur les paiements de transfert du CT n'a pas été mise en œuvre. Compte tenu du fait que l'ARC est tenue d'effectuer une évaluation sommative d'ici mars 2010 pour respecter le renouvellement des modalités de ce programme, il est essentiel que le rendement soit mesuré. Si les données sur le rendement ne sont pas disponibles, la nécessité d'effectuer une évaluation sommative devient discutable.

Nous pensons que le secteur des programmes continuera à apporter des améliorations en se servant des connaissances et de l'expérience acquises et en tenant compte des pratiques exemplaires au fur et à mesure que le programme avance dans le temps. Dans notre rapport d'évaluation, nous avons déterminé certaines pratiques à prendre en compte pour améliorer le programme et avons présenté quatre recommandations adressées à la direction du programme. Voici, en résumé, nos recommandations :

• réexaminer la conception initiale du programme afin de réévaluer la faisabilité de sa mise en œuvre en fonction de ce que prévoyait la présentation au CT, laquelle a servi à l'obtention du financement pour le programme;
• mettre l'accent sur l'élaboration et la mise en œuvre d'une stratégie de mesure du rendement qui définira les données de base nécessaires pour mesurer le rendement du programme et faire état de ses réalisations;
• élaborer et mettre en œuvre une stratégie de communication qui définit clairement les mesures qui seront prises, tant à l'égard de la collaboration que de la promotion, afin de favoriser l'atteinte des objectifs du programme;
• mettre en œuvre les politiques, les procédures et les systèmes d'information nécessaires en vue de s'assurer que des renseignements de qualité sont disponibles pour favoriser le processus de prise de décision, l'évaluation du rendement ainsi que la responsabilisation et la transparence du programme.

Introduction

Contexte

1.1   L'Agence du revenu du Canada (ARC) réglemente les organismes de bienfaisance enregistrés en vertu de la Loi de l'impôt sur le revenu (LIR). Au Canada, environ 83 000 organismes de bienfaisance enregistrés sont tenus de produire une déclaration de revenus annuelle auprès de l'ARC et de respecter certaines exigences de la LIR relatives à leurs dépenses et à leurs activités. La LIR exonère les organismes de bienfaisance enregistrés de l'impôt sur le revenu et permet l'émission de reçus officiels de dons, que les donateurs peuvent ensuite utiliser pour demander des crédits d'impôts afin d'obtenir un allègement fiscal partiel. En outre, en vertu de la LIR, il incombe à l'ARC de déterminer les organisations qui sont admissibles à l'enregistrement à titre d'organisme de bienfaisance et de s'assurer que les organismes de bienfaisance enregistrés observent les règles et les règlements établis.

1.2   La Direction des organismes de bienfaisance fait partie de la Direction générale de la politique législative et des affaires réglementaires (DGPLAR) de l'ARC. Sa mission est de « promouvoir l'observation des dispositions de la Loi de l'impôt sur le revenu et de son règlement concernant les organismes de bienfaisance grâce à l'éducation, à un service de qualité et à une exécution responsable, pour contribuer ainsi à l'intégrité du secteur des organismes de bienfaisance et au bien-être social des Canadiens ».

1.3   Au cours des dernières années, la Direction des organismes de bienfaisance s'est concentrée sur l'élaboration et la mise en œuvre d'une trousse de réforme conçue pour renforcer l'environnement réglementaire des organismes de bienfaisance. Aux fins de l'approche de « sensibilisation d'abord » de la Direction quant à l'observation, le Programme d'aide et de partenariat de la Direction des organismes de bienfaisance (PAPDOB) a été lancé en 2004.

Description du programme

1.4   L'objectif général du PAPDOB est d'assurer que le secteur des organismes de bienfaisance est mieux renseigné quant à ses obligations réglementaires en vertu de la LIR et, par conséquent, mieux apte à les observer volontairement. Les principaux objectifs du programme sont les suivants :

• sensibiliser davantage le secteur des organismes de bienfaisance à propos des obligations réglementaires en vertu de la LIR;
• accroître la capacité du secteur des organismes de bienfaisance de respecter les exigences axées sur l'observation des règlements de manière durable;
• améliorer la capacité du secteur d'élaborer et de mettre en œuvre des programmes d'éducation durables et axés sur l'observation.

1.5   Dans le contexte général de la réforme du cadre réglementaire, la Direction a choisi d'atteindre les objectifs du PAPDOB en établissant un programme de contributions. En vertu de la Politique sur les paiements de transfert du Conseil du Trésor (CT), les paiements de transfert sous forme de subvention ou de contribution peuvent être utilisés pour aider le gouvernement à atteindre ses objectifs en matière de politiques publiques.

1.6   En mars 2005, le CT a approuvé un financement progressif de 12 millions de dollars par année, à compter de 2004‑2005, pour que la Direction des organismes de bienfaisance mette en œuvre l'Initiative de réforme du cadre réglementaire des organismes de bienfaisance, qui vise à améliorer le cadre réglementaire des organismes de bienfaisance tout en accroissant la confiance du public et du secteur bénévole à l'égard de la réglementation des organismes de bienfaisance. De ce financement, le CT a spécialement consenti 1 million de dollars en 2005‑2006, 1 million de dollars en 2006‑2007, 2 millions de dollars en 2007‑2008 et 3 millions de dollars au cours des années suivantes au PAPDOB. Comme l'indiquent les modalités prévues dans la présentation au CT, le financement des coûts de gestion et d'administration du programme est tiré des niveaux de référence existants.

1.7   À titre de programme de contributions, le PAPDOB est administré par l'ARC et offre un financement sous forme de paiements de contribution aux organismes de bienfaisance enregistrés et organisations à but non lucratif admissibles qui travaillent dans le secteur des organismes de bienfaisance. Les bénéficiaires de contributions ont ensuite la responsabilité d'élaborer et de mettre en œuvre des activités de formation et de sensibilisation à l'intention des organismes de bienfaisance enregistrés en ce qui concerne la manière de se conformer à la LIR. Comme l'indiquent les objectifs du programme, ci‑dessus, le programme vise à accroître la capacité du secteur des organismes de bienfaisance de respecter les exigences d'observation des règlements de manière durable de telle sorte que les gains réalisés au cours de l'étape du financement soient maintenus après l'investissement du gouvernement.
 
1.8   Au départ, la Division de la politique, de la planification et de la législation (DPPL) de la Direction des organismes de bienfaisance était responsable de la conception et du début de la mise en œuvre du programme. Le 1er avril 2006, la responsabilité de la gestion et de l'administration courantes de ce programme a été transférée à une nouvelle division de la Direction, appelée Division du service à la clientèle et des relations avec les clients (DSCRC).

1.9   Depuis le début du programme, un certain nombre d'équivalents temps plein (ETP) de divers niveaux ont été affectés à divers postes aux fins de la gestion et de l'administration du programme. À l'heure actuelle, 2,2 ETP, formés de 2 ETP au niveau d'agent de programme (PM-05) et de 0,2 ETP au niveau de gestionnaire (MG‑05) sont affectés au programme. Selon les prévisions, les coûts du programme pour 2007‑2008 seront de 170 437 $ en salaires et de 11 998 $ en autres coûts de fonctionnement et d'entretien (F/E). L'évaluation n'a pas été en mesure d'obtenir de données historiques sur les coûts du programme.

Contexte de l'évaluation

1.10   Dans les modalités qu'a approuvé le CT pour ce programme, la Direction des organismes de bienfaisance s'est engagée à entreprendre une évaluation formative en avril 2006. Les évaluations formatives sont habituellement menées quelques années après le début du programme et s'intéressent à la mesure dans laquelle le programme a été mis en œuvre selon ce qui était prévu. En avril 2006, même si le programme était en cours depuis deux ans, le financement de contribution a été intégré graduellement et n'a pas débuté avant la deuxième année. Après avoir consulté le CT, l'évaluation a été reportée à janvier 2007 afin que des progrès soient réalisés à l'égard de la mise en œuvre des ententes de contribution.

1.11   L'évaluation avait pour but de fournir des renseignements et des conseils au commissaire et au Comité de gestion de l'Agence (CGA) en vue de déterminer si le programme est en bonne position pour atteindre ses objectifs et s'il est en voie de les atteindre, et de relever les améliorations que l'on pourrait y apporter. Comme on l'avait approuvé dans le mandat présenté au CGA en février 2007, l'évaluation s'est intéressée à la pertinence du programme dans le contexte de l'ARC et du gouvernement fédéral, ainsi qu'à la conception du programme, à sa mise en œuvre, à sa prestation et à ses modifications. La portée de l'évaluation a englobé les exercices de 2004‑2005 jusqu'au deuxième trimestre de 2007-2008.

1.12    L'ARC est également résolue à effectuer une évaluation sommative centrée sur l'atteinte des résultats et à faire état des constatations avant le renouvellement des modalités en mars 2010.

1.13   On peut obtenir plus de détails sur cette évaluation et sur les exigences d'évaluation du programme à l'annexe A : À propos de l'évaluation et à l'annexe B : Glossaire.

Méthodologie

1.14   De nombreuses sources de données ont été utilisées pour traiter les questions liées à l'évaluation. Les évaluateurs ont examiné les dossiers et les documents associés à l'administration et à la gestion du programme, en s'intéressant plus particulièrement au processus de demande et d'examen. Une analyse documentaire des publications et d'autres documents liés aux organismes de bienfaisance enregistrés, aux organisations à but non lucratif et au secteur bénévole ainsi qu'aux programmes de subventions et de contributions (S et C) a aussi été menée. Les deux ententes de contribution en vigueur au moment de l'évaluation ont été utilisées à titre d'études de cas afin d'obtenir une meilleure compréhension du processus de financement.

1.15   L'évaluation a largement reposé sur des entrevues auprès des demandeurs, des signataires d'ententes, des membres de comités et des représentants d'autres ministères fédéraux. La répartition est présentée au tableau 1, ci‑dessous.

TABLEAU 1 : Répartition des entrevues

1.16   Selon un examen des demandes reçues, l'équipe d'évaluation a été en mesure d'établir un échantillon de personnes interrogées dans les principaux centres urbains du Canada. Outre leur situation géographique, les demandeurs ont aussi été sélectionnés en fonction de la façon dont leur demande a été évaluée. À l'ARC, des entrevues ont été menées auprès de représentants de la DGPLAR et de la Direction générale des finances et de l'administration (DGFA). En tout, 47 entrevues ont été menées auprès de 58 personnes.

Constatations

Programme pertinent au contexte de l'Initiative de réforme du cadre réglementaire des organismes de bienfaisance

2.1   Une initiative à l'échelle du gouvernement a appuyé la réforme du cadre réglementaire des organismes de bienfaisance. Comme le mandat l'indique, l'évaluation visait à déterminer la pertinence du PAPDOB par rapport à l'ARC et au gouvernement fédéral. Par conséquent, pour trouver la justification du programme, on est remonté dans le temps pour découvrir que les origines du programme remontent à l'Initiative sur le secteur bénévole et communautaire (ISBC), un projet conjoint lancé en juin 2000 par le gouvernement du Canada et le secteur bénévole pour favoriser leur relation et renforcer la capacité du secteur à mieux servir les Canadiens. L'ISBC a entraîné l'établissement de la Table conjointe sur la réglementation (TCR) en novembre 2000, un groupe de travail coprésidé par le directeur général de la Direction des organismes de bienfaisance et un représentant du secteur bénévole.

2.2   On a demandé à la TCR de mener un examen et de formuler des recommandations en vue d'améliorer l'environnement législatif et réglementaire dans lequel fonctionne le secteur bénévole. En août 2002, la TCR a diffusé un rapport provisoire, puis a tenu des consultations publiques dans 21 villes dans tout le pays. Des gens d'une vaste gamme d'organisations du secteur bénévole, leurs conseillers, des ministères provinciaux et le grand public ont exprimé leurs points de vue sur le rapport provisoire et ses recommandations. En tout, 524 représentants de 388 organisations ont participé aux consultations.

2.3   En mai 2003, la TCR a publié son rapport, Renforcer le secteur des organismes de bienfaisance au Canada : La réforme du cadre réglementaire, qui comportait un total de 75 recommandations. Compte tenu du nombre de commentaires émis sur la question de la sensibilisation au cours des consultations, plusieurs recommandations ont mis l'accent sur la nécessité que l'organisme de réglementation fédéral soit plus proactif pour ce qui est de renseigner et de sensibiliser le secteur.

2.4    L'ARC a établi des mesures stratégiques fondées sur l'aide et la sensibilisation pour améliorer l'observation. Comme on l'indique ci­dessus, en 2003, le gouvernement fédéral a recommandé que l'ARC prenne des mesures pour améliorer les activités de sensibilisation visant les organismes de bienfaisance enregistrés. Pour donner suite à cette recommandation, la Direction des organismes de bienfaisance de l'ARC a élaboré, en 2003-2004, une analyse de rentabilisation sur « la sensibilisation du public et la communication avec le secteur (activités de partenariat) », parmi plusieurs analyses de rentabilisation liées à la réforme du cadre réglementaire.

2.5   La question centrale de l'analyse de rentabilisation était la détermination et la mise en œuvre du moyen le plus efficace pour améliorer les activités de communication et de sensibilisation de l'ARC à l'égard du secteur bénévole. L'analyse de rentabilisation a révélé que les efforts déployés à ce jour pour sensibiliser le secteur à propos de ses responsabilités en matière d'observation n'avait connu qu'un certain succès et qu'aucun moyen novateur pour communiquer avec le secteur n'avait été envisagé. De plus, l'analyse a indiqué qu'aucun effort n'avait été déployé pour consulter le secteur de façon importante afin d'obtenir ses commentaires sur la meilleure façon d'améliorer l'observation par la sensibilisation et la communication.

2.6   Le document a traité de « l'opinion répandue selon laquelle les activités actuelles de communication et de consultation à l'égard du secteur, bien qu'elles soient utiles, sont insuffisantes ». L'analyse de rentabilisation n'a présenté aucune analyse appuyant ces énoncés et n'a fait allusion à aucune analyse de ce type. De plus, l'analyse de rentabilisation a indiqué que l'amélioration de la formation et de la sensibilisation aiderait les organismes de bienfaisance à s'acquitter de leurs obligations en matière de production, qu'elle rehausserait la qualité des renseignements reçus et, pour l'ARC, qu'elle réduirait la charge de travail actuelle liée à ces questions. Une nouvelle stratégie a été proposée en matière de sensibilisation et de communication; elle serait axée sur le renforcement des communications et des partenariats avec le secteur et prévoirait l'établissement d'un programme de S et C (le programme de contributions qui est devenu le PAPDOB).
        
2.7   La communication avec le secteur a été désignée à titre d'élément clé de la réforme du cadre réglementaire. En avril 2004, la Direction des organismes de bienfaisance a annoncé un plan d'action quinquennal pour le lancement de l'Initiative de réforme du cadre réglementaire des organismes de bienfaisance, afin de donner suite aux recommandations de la TCR. Le plan d'action a déterminé que la sensibilisation du public et la communication avec le secteur constituaient un élément clé de la réforme du cadre réglementaire. Comme l'indiquait une feuille d'information aux médias en avril 2004, l'amélioration de la communication avec le secteur était importante parce que les organismes de bienfaisance enregistrés avaient demandé l'aide de l'ARC pour comprendre les règles et les obligations liées au statut d'organisme de bienfaisance enregistré. La même feuille d'information indiquait que la mise en œuvre d'un programme de financement stratégique qui fournirait des fonds au secteur bénévole afin de lui permettre d'offrir des activités de formation et de sensibilisation aux organismes de bienfaisance en plus de compléter d'autres activités de communication faisait partie d'un programme élargi de communication avec le secteur.

2.8   En plus des constatations de la TCR, la Direction des organismes de bienfaisance utilise certaines données choisies de l'ARC, telles que celles liées à la déclaration annuelle, à la révocation et à la vérification, à titre de preuve de la nécessité d'accroître les activités de communication. Par exemple, la Direction présente des données sur le nombre d'organismes de bienfaisance enregistrés qui font l'objet d'une révocation chaque année et indique que des activités de communication sont nécessaires. Au cours des cinq derniers exercices, 10 336 organismes de bienfaisance ont fait l'objet d'une révocation, que la décision de révocation vienne de l'organisme lui-même (révocation volontaire) ou de l'ARC, parce que l'organisme de bienfaisance enregistré n'a pas produit sa déclaration annuelle, ou dans d'autres cas graves d'inobservation de la loi (révocation « pour motif valable »).

2.9    Comme l'indique le tableau 2 ci‑dessous, le motif le plus fréquent de révocation de l'enregistrement des organismes de bienfaisance est l'omission de la production de la déclaration annuelle. En moyenne, 1 181 organismes de bienfaisance, ou 1,45 % des organismes de bienfaisance enregistrés ont perdu leur enregistrement au cours des cinq derniers exercices. En outre, l'analyse de rentabilisation de 2003‑2004 indiquait aussi que la plupart des organismes de bienfaisance, dont l'enregistrement est révoqué pour avoir omis de produire la déclaration, présentent une nouvelle demande d'enregistrement auprès de l'ARC.

2.10   La Direction des organismes de bienfaisance utilise aussi les données de vérification pour justifier les besoins courants en matière de communication. Comme l'indique le Bulletin pour les organismes de bienfaisance enregistrés du mois d'août 2007, des vérifications menées en 2006-2007 :

• 52 % ont entraîné l'envoi d'une lettre d'information à l'organisme de bienfaisance pour lui expliquer les règles et lui suggérer des mesures correctives pertinentes;
• 22 % n'ont entraîné aucune modification;
• 20 % ont entraîné des ententes d'observation, qui sont négociées entre l'ARC et l'organisme de bienfaisance, pour régler les questions d'observation;
• 3 % ont entraîné la révocation;
• 3 % comportaient des annulations, des vérifications préalables à l'enregistrement et des révocations volontaires.

Tableau 2 : Révocation de l'enregistrement des organismes de bienfaisance

2.11    Insuffisance de l'analyse et des documents justifiant le choix du moyen d'action. La décision de mettre en œuvre un programme de contributions a probablement été prise après que le TCR a recommandé que l'ARC trouve de nouvelles façons novatrices de sensibiliser les organismes de bienfaisance en établissant les partenariats avec le secteur. Toutefois, l'équipe d'évaluation n'a trouvé aucune preuve indiquant que des travaux additionnels de recherche et d'analyse ont été menés relativement à la mise en œuvre du programme de contributions. Rien n'indique que les activités actuelles relatives à la visibilité ont été évaluées et comparées, ni que les options, les risques, les coûts et les avantages connexes ont été étudiés et comparés. Une analyse de rentabilisation menée en 2003‑2004 a indiqué que l'approche courante de l'ARC en matière de visibilité était inefficace, mais elle ne présentait aucune recherche ni analyse sur les raisons de cette inefficacité et sur les recommandations en matière d'amélioration, pas plus qu'elle n'y faisait référence.

2.12   Qui plus est, la Politique sur les paiements de transfert du CT impose certaines exigences dans le cadre du processus d'approbation en ce qui concerne les modalités des programmes de contributions. On insiste particulièrement sur le fait que le programme doit évaluer les résultats du programme, en rendre compte et en assumer la responsabilité. Nous avons constaté que, bien qu'un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) ait été élaboré aux fins de la présentation au CT, aucune stratégie d'évaluation du rendement n'avait été mise en œuvre, ce qui a eu un effet sur la capacité du programme à faire état des résultats. La question de l'évaluation du rendement est traitée plus en détail plus loin dans le présent rapport.

2.13   Il est important de souligner que la direction actuelle du programme a fait part à l'Évaluation des programmes de certaines préoccupations en ce qui concerne la faisabilité de la mise en œuvre de la stratégie de mesure du rendement et du plan d'évaluation compris dans le CGRR, avant le début de la présente évaluation. Néanmoins, l'équipe d'évaluation a quand même dû utiliser la présentation au CT, y compris le CGRR, pour évaluer la mesure dans laquelle le programme avait été mis en œuvre selon ce qui était prévu.

2.14   Le programme coïncide avec les efforts constants que la Direction des organismes de bienfaisance accomplit pour informer et sensibiliser les organismes de bienfaisance enregistrés au sujet de leurs obligations en vertu de la loi. Le besoin d'instruire et d'informer demeure pertinent parce que l'ARC a comme responsabilité le maintien de la confiance du public à l'égard de l'équité et de l'intégrité du régime fiscal. Il est donc nécessaire d'offrir tout le soutien voulu à ceux qui souhaitent observer la loi et de prendre les mesures requises pour reconnaître et traiter les cas d'inobservation. Les organismes de bienfaisance enregistrés qui n'observent pas la loi compromettent le travail des organisations honnêtes en minant la confiance du public et en détournant des fonds qui devraient être utilisés dans l'intérêt des Canadiens.

2.15   Bien que le programme aille dans le sens de l'évaluation formative, une évaluation plus détaillée des résultats du programme, qui n'est pas prévue avant l'évaluation sommative, est nécessaire pour déterminer l'incidence du programme et déterminer si le moyen d'action était le choix le plus judicieux pour la mise en œuvre du programme.

Progrès réalisés à l'égard des projets de financement

2.16   À titre de programme de contributions, le PAPDOB est administré par l'ARC et offre un financement sous forme de paiements de contribution aux organismes de bienfaisance enregistrés et aux organisations à but non lucratif admissibles qui travaillent dans le secteur des organismes de bienfaisance. Les bénéficiaires de contributions ont ensuite la responsabilité d'élaborer et de mettre en œuvre des projets qui accroîtront l'observation et bâtiront un secteur des organismes de bienfaisance réceptif.

2.17   Trois ententes de contribution sont en vigueur. Le programme en est maintenant à sa quatrième année de fonctionnement; le financement de contribution est disponible depuis trois ans. Au moment de l'évaluation, deux appels de demandes avaient eu lieu et, en comptant la nouvelle entente de contribution signée en septembre 2007, trois ententes de contribution étaient en vigueur. La priorité de financement pour le premier appel de demandes, qui était axée sur la Déclaration de renseignements des organismes de bienfaisance enregistrés (T3010A), a occasionné deux ententes : une entente régionale de 32 mois d'une valeur de 237 903 $ et une entente nationale de 32 mois d'une valeur de 1 353 400 $.

2.18 Le deuxième appel de demandes avait deux priorités de financement différentes : (1) la collecte de fonds, l'émission de reçus officiels et la tenue des livres et registres, et (2) les activités étrangères. Au moment de l'évaluation, le deuxième appel avait occasionné la signature, le 1er septembre 2007, d'une entente nationale de 30 mois, d'une valeur de 693 830 $. Compte tenu de la date de signature de cette troisième entente, il a fait l'objet d'un examen peu détaillé au cours de l'évaluation. Le tableau 3 ci-dessous donne un aperçu des activités associées à l'établissement de ces ententes.

2.19   Depuis le moment de la fermeture du premier appel de demandes, le 15 juillet 2005, il a fallu environ 10 et 12 mois pour conclure les deux ententes de contribution, respectivement. La troisième entente a été signée huit mois environ après la fermeture du deuxième appel de demandes, le 22 décembre 2006. Il faut noter que les discussions avec les bénéficiaires des contributions ont été suspendues, à la demande de la haute direction de l'ARC, pendant un certain temps au cours de l'automne 2007.

Tableau 3 : Aperçu pour l'établissement des ententes

  2.20   Le CGRR, dans le contexte des discussions sur les questions de collecte des données, a reconnu que l'ARC ne s'occupe habituellement pas de l'administration et de la gestion de programmes de contributions. Il a aussi indiqué que la Direction des organismes de bienfaisance gérerait entre cinq et dix ententes par année, ce qui représentait, à son avis, un volume d'ententes faible et gérable. On nous a récemment informés que, depuis la fin de l'étape d'examen du processus d'évaluation, quatre ententes de contribution sont entrées en vigueur à la suite du deuxième appel. Si un chevauchement des ententes se produit en raison du premier et du second appel de demandes, six ententes pourraient être en vigueur en même temps, mais cela ne durera qu'une courte période.

2.21   L'un des motifs les plus fréquemment invoqués par le secteur de programme pour justifier le nombre d'ententes actuellement en vigueur était la nouveauté des programmes de contributions à l'ARC et la nécessité d'y sensibiliser le personnel tant à l'intérieur qu'à l'extérieur de la DSCRC. De plus, dans des entrevues, des gestionnaires de programme, actuels et anciens, ont souligné qu'une approche de mise en œuvre particulièrement prudente avait été adoptée en raison du caractère unique du programme à l'ARC et de la nature hautement médiatique des programmes de S et C et des risques qui y sont généralement associés.

2.22   Des documents ont été produits pour aider les demandeurs à présenter leurs demandes, de même que pour aider le personnel du programme dans la gestion et l'administration des ententes de contribution. Néanmoins, les documents sur le programme étaient insuffisants pour appuyer la gestion globale du programme et assurer le transfert des connaissances. Lorsque les documents étaient disponibles, ils n'étaient pas toujours faciles à obtenir ou étaient imprécis quant à leur date d'élaboration ou d'achèvement, ce qui a suscité certaines inquiétudes au sujet de la fiabilité et de l'exhaustivité des documents.

2.23   Les activités de formation et de sensibilisation des bénéficiaires de contributions sont en cours. Selon les renseignements fournis par les bénéficiaires de contributions, 31 séances devraient être terminées d'ici le 14 novembre 2007. Le nombre moyen de participants aux 11 séances effectuées à ce jour était de 15. On ignore pour l'instant le nombre exact de séances qui seront mises en œuvre; cependant, selon le nombre de demandes présentées au départ par les bénéficiaires de contributions et selon la moyenne de 15 participants par séance, il est possible que 3 375 participants prennent part aux 225 séances prévues d'ici décembre 2008.

2.24   Il est important de noter que les bénéficiaires de contributions ont l'intention de recourir à la technologie pour rendre les activités de formation et de sensibilisation disponibles à un plus grand nombre de personnes, ce qui aurait pour effet d'accroître la portée éventuelle de chaque projet. Chez un des bénéficiaires de contributions, 140 participants se sont inscrits à des séances d'apprentissage téléphoniques qui auront lieu en janvier et en février 2008. De nouveau, nous ignorons pour l'instant le nombre exact de séances qui seront mises en œuvre et les résultats que donnera ce genre de formation.

2.25   Utilisation du financement disponible. Comme la première année du programme (c.‑à‑d. 2004‑2005) a été consacrée à la planification, le financement de contribution était disponible à compter de la deuxième année du programme (c.‑à‑d. en 2005‑2006). Le financement de contribution a tout d'abord été de 1 million de dollars en 2005‑2006 et 2006‑2007, il est passé à 2 millions de dollars en 2007‑2008, puis sera augmenté à 3 millions de dollars en 2008‑2009 et dans les années suivantes. Dans le cas des programmes de subventions et de contributions, l'argent qui n'a pas été dépensé au cours d'un exercice donné peut être reporté jusqu'à concurrence du montant du financement pour l'exercice en question; si l'argent ne peut être reporté à l'exercice suivant, il devient périmé. Ainsi, des fonds du programme, 501 200 $ ont été dépensés, et 498 800 $ ont été périmés en 2006‑2007. Une récente confirmation des dépenses de 2007-2008 a révélé que le programme avait dépensé 939 244 $ et qu'environ 60 756 $ seront périmés en 2007-2008.  Le tableau 4 ci‑dessous offre un aperçu du financement de contribution du programme.

Tableau 4 : Financement de Contribution

La conception initiale du programme n'a pas été complètement réalisée

2.26   Comme on l'a décrit plus tôt, peu de documents décrivant la conception initiale ont été trouvés. Aussi, le CGRR a été utilisé pour évaluer la mesure dans laquelle le programme avait été mis en œuvre selon sa conception. Une copie du modèle logique (voir le tableau 5 à la page suivante) offre des renseignements supplémentaires sur les activités, les réalisations et les résultats attendus du programme. Comme nous l'avons souligné précédemment, le secteur de programme avait, avant le début de la présente évaluation, soulevé des questions au sujet de la pertinence du CGRR et voulait le réviser en conséquence. Étant donné que la date de départ avait déjà été reportée, l'équipe d'évaluation a procédé à l'évaluation et s'est engagée à offrir à la DSCRC des conseils et une orientation pour la mise à jour du CGRR. L'Évaluation des programmes, en collaboration avec la DSCRC, élaborera un plan d'évaluation révisé pour l'évaluation sommative une fois l'évaluation formative terminée.

Tableau 5 : Modèle logique du Programme d'aide et de partenariat de la DOB

Cadre de gestion et de responsabilisation axé sur les résultats (CGRR), présentation au Conseil du Trésor – Approuvée en mars 2005

2.27   Les activités de collaboration et de promotion n'ont pas eu lieu. La collaboration avec le secteur des organismes de bienfaisance et les autres intervenants ainsi que la promotion du programme constituaient deux activités essentielles du CGRR initial. Nous avons trouvé peu d'indications d'une collaboration officielle visant à obtenir la participation du secteur des organismes de bienfaisance et des principaux intervenants pour évaluer les besoins et déterminer les priorités de financement. Le Comité consultatif des organismes de bienfaisance (CCOB), que l'on avait désigné à titre d'intervenant clé, s'est réuni 7 fois entre avril 2004 et février 2006, avant d'être aboli en septembre 2006. Une série de consultations avec des organismes de bienfaisance petits et ruraux est prévue pour octobre 2007, mais cette initiative dépasse la portée de la présente évaluation.

2.28   Le CGRR a déterminé un certain nombre de façons de faire qui pourraient être élaborées aux fins d'un plan de communication complet, dont la distribution ciblée d'avis d'appels de demande aux demandeurs du secteur les plus susceptibles d'y répondre et la mise à profit de toutes les occasions de communication. Bien qu'un certain travail ait été accompli pour l'élaboration d'une ébauche de stratégie de marketing et d'un plan de communications, aucun de ces outils n'avait été entièrement établi au moment de l'évaluation.

2.29   À ce jour, une bonne partie de l'activité de promotion du programme était centrée sur les appels de demandes. Des renseignements, tels que le formulaire Guide et demande de financement (RC4411), les critères d ‘évaluation, les modalités et les questions fréquentes sont publiés dans le site Web de l'ARC. Le ministre du Revenu national a lancé officiellement chaque appel de demandes et un communiqué de presse a été diffusé à cet égard. Des communiqués subséquents ont été diffusés afin d'annoncer la signature des deux premières ententes de contribution.

2.30   À l'exception des personnes d'autres ministères, toutes les personnes interrogées connaissaient le programme; on ne pouvait donc pas utiliser les entrevues pour mesurer la connaissance du programme. Malgré ce fait, huit personnes interrogées avaient le sentiment que la connaissance du programme en général était faible dans le secteur. Au moins quatre personnes interrogées n'étaient pas au courant des derniers événements liés au programme, tels que le deuxième appel de demandes ou la situation relative aux activités de formation mises en œuvre par les bénéficiaires de contributions.

2.31   Des renseignements sur le programme ont aussi été publiés dans trois numéros du Bulletin pour les organismes de bienfaisance enregistrés, qui, en mai 2007, comptaient 14 035 abonnés dans sa liste de distribution électronique. Cependant, 34 publications, circulaires d'information et bulletins liés aux organismes de bienfaisance enregistrés sont actuellement publiés dans le site Web de l'ARC et pourraient être utilisés afin de promouvoir davantage le programme. Un bon exemple en est la publication intitulée Organismes de bienfaisance enregistrés : Quoi de neuf? - Changements importants à la loi touchant les organismes de bienfaisance enregistrés(RC4414), mise à jour en mai 2007.

2.32   La DSCRC a aussi la responsabilité de la gestion et de l'administration des tournées de présentation pour les organismes de bienfaisance. Les tournées de présentation sont des séances d'information gratuites offertes aux organismes de bienfaisance enregistrés tous les ans sur des sujets d'intérêts, les modifications à la loi et les questions d'observation courantes. L'équipe d'évaluation a tenu des discussions avec le secteur de programme sur la façon dont les tournées de présentation pourraient être utiles afin de promouvoir ou de compléter le PAPDOB. On ignore pour l'instant comment les deux programmes fonctionneront ensemble.
 
2.33   La promotion du programme doit être mieux ciblée. Les bénéficiaires admissibles aux fins de ce programme comprennent deux groupes distincts : 1) les organismes de bienfaisance, tels que la LIR les définit et 2), les organisations à but non lucratif qui travaillent pour le secteur des organismes de bienfaisance. L'équipe d'évaluation, a constaté que, parce que l'ARC est responsable de l'enregistrement des organismes de bienfaisance, des renseignements qui pourraient être employés pour promouvoir le programme auprès de chaque organisme de bienfaisance enregistré sont disponibles. Le même type de renseignements n'est pas disponible à l'ARC en ce qui concerne les organisations à but non lucratif et ne peuvent donc pas être utilisés de la même manière pour promouvoir le programme ou aider la DSCRC à déterminer les risques associés aux organisations à but non lucratif qui présentent une demande de financement. Aucune analyse n'a été entreprise afin répartir les deux grands types de bénéficiaires admissibles en publics cibles à des fins promotionnelles.

2.34   Le nombre de bénéficiaires admissibles qui pourraient véritablement présenter une demande de contribution, par rapport au nombre de participants qui ont besoin de formation et de sensibilisation, est également incertain. On nous a informés à diverses reprises que les besoins et les niveaux de capacité dans le secteur des organismes de bienfaisance étaient complètement différents et que les organismes de bienfaisance n'ont pas la capacité requise pour réaliser des projets de cette ampleur. Des critères ont été établis afin d'aider à l'évaluation des demandes de financement. Cependant, le secteur de programme n'a pas défini les attentes dont l'ARC pourrait se servir pour déterminer si un demandeur est en mesure de travailler en partenariat avec l'ARC et de mettre la formation en œuvre de façon durable.

Progrès limité à l'égard de la mesure du rendement

2.35   Comme l'établissait le mandat approuvé, l'évaluation prévoyait d'examiner la pertinence de la stratégie de mesure du rendement, afin de s'assurer que la direction du programme est capable d'évaluer la mesure dans laquelle elle atteint ses objectifs et si la stratégie est suffisamment développée et appliquée pour permettre de mesurer régulièrement le rendement du programme. Comme nous l'avons décrit plus tôt, une exigence de la Politique sur les paiements de transfert du CT d'une importance particulière pour les programmes de contributions, concerne le fait que le programme doit mesurer les résultats et en rendre compte. Des données de mesure du rendement liées aux résultats sont requises afin d'appuyer l'évaluation sommative à laquelle l'ARC s'est engagée dans sa présentation au CT. Si ces données de mesure du rendement ne sont pas disponibles, la valeur d'effectuer une évaluation sommative devient discutable.

2.36   Les bénéficiaires de contributions sont tenus de rendre compte de leur rendement. Aux termes des ententes qu'ils ont signées, les bénéficiaires de contributions sont présentement tenus de fournir à la DSCRC un cadre d'évaluation, un rapport d'évaluation de mi‑parcours et un rapport d'évaluation final. Les deux premiers bénéficiaires de contributions ont conjointement élaboré un questionnaire de rétroaction pour recueillir les commentaires des participants à la fin de chaque séance de formation. Les deux bénéficiaires de contributions ont aussi l'intention d'assurer un suivi auprès de participants choisis, après les séances, mais cette activité ne sera cependant effectuée qu'une seule fois et ne concernera qu'une seule période de déclaration. Les bénéficiaires de contributions sont essentiellement tenus d'effectuer une autoévaluation de leurs projets.

2.37   La mesure du rendement du programme doit être renforcée. L'essence même de ce programme, qui compte sur des tiers pour mettre en œuvre les activités de formation et de sensibilisation, et ces objectifs compliquent la mesure du rendement. Les objectifs du PAPDOB se concentrent sur l'accroissement de la sensibilisation à l'égard des obligations réglementaires liées à la LIR et sur la capacité du secteur des organismes de bienfaisance à respecter ses obligations et à mettre en œuvre une formation durable. L'équipe d'évaluation montre que les objectifs du programme n'étaient pas bien cernés, mesurables ou réalistes étant donné l'essence et la taille du programme. Elle montre également que le programme n'a pas trouvé de façons d'évaluer et de mesurer de manière indépendante le rendement par rapport à ces objectifs. Le groupe d'experts indépendant sur les subventions et contributions, dans son rapport de juillet 2006, a confirmé l'importance de l'évaluation indépendante du rendement et a souligné que, bien que les programmes de S et C soient conçus pour atteindre des objectifs de politiques publiques, il est rare qu'un bénéficiaire de contributions soit en mesure d'atteindre ces objectifs seul.

2.38   L'équipe d'évaluation n'a trouvé qu'une analyse et une documentation limitées à l'appui de la sélection des priorités de financement et peu d'indications de la présence des données de base nécessaires afin de mesurer le rendement futur. Des données relatives à la priorité de financement établie pour le premier appel de demandes sont disponibles d'autres secteurs de la Direction des organismes de bienfaisance et pourraient servir à établir des données de base et à vérifier si des modifications ont eu lieu au fil du temps. Cependant, on ne peut déterminer clairement le type de données que pourrait utiliser le secteur de programme pour mesurer et évaluer l'incidence de ces priorités de financement sur les comportements en matière d'observation. Les résultats des vérifications pourraient être utilisés. Cependant, 847 vérifications ont été menées en 2006‑2007 et le nombre de vérifications qui seraient menées auprès d'organismes de bienfaisance enregistrés ayant obtenu une formation est inconnu pour l'instant.

2.39   Le programme de secteur a formulé des inquiétudes quant au coût lié à la mise en œuvre de la stratégie de mesure du rendement, et à la confidentialité et la protection des données recueillies par les bénéficiaires de contributions dans le cadre de leurs projets. On devra tenir compte de ces préoccupations pour élaborer la stratégie de mesure du rendement. Malgré tout, le programme doit être en mesure de mesurer son rendement et de démontrer son incidence à la haute direction de l'ARC, et doit être conforme à la Politique sur les paiements de transfert du CT. Il faut également noter que, compte tenu du petit nombre d'organismes de bienfaisance enregistrés touchés par ce programme, par rapport à l'ensemble de ces organismes, il sera difficile d'y attribuer tout changement en ce qui concerne les habitudes d'observation.

2.40   Dans le cadre de la mise à jour du CGRR, l'Évaluation des programmes est prête à fournir à la DSCRC des conseils et une orientation pour l'aider à élaborer une stratégie de mesure du rendement et à la mettre en œuvre une fois l'évaluation formative terminée.

Pratiques à envisager pour améliorer le programme

2.41   En plus des questions relatives à la pertinence, à conception et à la mise en œuvre du programme jusqu'à maintenant, l'évaluation a étudié des solutions de rechange ou des modifications à appliquer au programme actuel. La présente section propose à la direction du programme des pratiques pour l'amélioration du programme.

2.42   Le groupe d'experts a signalé que plus de 50 ministères et organismes affectent quelque 27 milliards de dollars tous les ans à 800 subventions et contributions à des particuliers, des sociétés et des organisations non gouvernementales. Les programmes de S et C sont utilisés en vue d'aider le gouvernement du Canada à atteindre ses objectifs de politiques publiques en concluant des ententes de financement avec des organisations qui mettent des programmes et des services en œuvre auprès des Canadiens.

2.43   Aux fins de la présente évaluation, des entrevues ont été menées auprès de représentants choisis du ministère de la Justice, de Patrimoine canadien, de Santé Canada, de Transports Canada et de Ressources humaines et développement social Canada, qui étaient responsables de la gestion, de l'administration et de l'évaluation des programmes de S et C. À la lumière de ces entrevues sur les pratiques exemplaires menées dans des ministères choisis, il est devenu manifeste pour l'équipe de vérification que les pratiques de gestion et d'administration de ces programmes étaient très diversifiées. En fait, le groupe d'experts a indiqué que [Traduction] « […] les façons dont les programmes de S et C sont actuellement gérés et administrés au gouvernement fédéral sont aussi diverses que les objectifs de politiques publiques pour l'atteinte desquels ils ont été mis en place ». Malgré les différences, beaucoup d'autres pratiques s'offrent à la DSCRC pour la mise en œuvre courante du programme.

2.44   Il est important de souligner qu'au cours de l'évaluation, le secteur de programme réfléchissait aux leçons tirées du premier appel de demandes et qu'il avait déterminé des modifications qui pourraient être apportées au programme en vue des appels futurs. Le secteur de programme a utilisé plus particulièrement les renseignements obtenus et l'expérience acquise au cours du premier appel pour apporter des améliorations au deuxième appel de demandes (p. ex., révision du modèle d'entente de contribution).

2.45   Comme on l'a indiqué plus tôt, l'équipe d'évaluation a mené des entrevues auprès de représentants du secteur bénévole. Ces entrevues, combinées à celle menées auprès d'autres ministères, ont permis de déterminer un certain nombre de modifications qui, lorsqu'elles auront été examinées plus en détail, pourraient être apportées au processus de demande. On a par exemple suggéré de mettre sur pied un processus de demande à deux volets qui exigerait d'abord la présentation d'une lettre d'intention et qui exigerait ensuite, seulement après l'évaluation de la lettre par l'ARC, la présentation d'une demande détaillée. On croit qu'un processus à deux volets profitera autant à l'ARC qu'aux demandeurs en rationalisant le processus et en évitant aux demandeurs de consacrer beaucoup de temps et d'efforts à une demande qui ne donnera probablement lieu à aucun financement.

2.46   La prestation de renseignements aux demandeurs aux diverses étapes du processus de demande afin d'en favoriser la transparence constituerait aussi une amélioration que l'ARC pourrait envisager, selon les demandeurs. Ils ont indiqué qu'une rétroaction plus importante aurait pu leur être fournie à l'égard de la qualité de leurs demandes et des améliorations à apporter. Ils ont aussi indiqué que des renseignements supplémentaires sur les demandeurs retenus, sur l'état des projets et sur les appels de demandes subséquents auraient été profitables.

2.47   Le CED, formé aussi de représentants du secteur bénévole et d'autres ministères, a évalué les demandes et fait des recommandations sur le financement. De nombreuses personnes interrogées ont indiqué que l'utilisation du CED constituait un élément positif du programme parce qu'il ajoutait à la valeur et à la crédibilité du processus, et à la qualité des demandeurs retenus. En misant sur cette pratique, on a proposé d'officialiser certains aspects du CED (p.ex., des lignes directrices de fonctionnement, des rétroactions aux membres du CED sur les projets financés).

2.48   D'autres personnes interrogées se sont demandées si l'ARC avait utilisé le plein potentiel des organisations (p. ex., organisations philanthropiques) qui étaient bien établies dans le secteur et offraient déjà des activités de formation et de sensibilisation sur la LIR à ses membres. Ces organisations pourraient être employées afin de développer les activités de formation et de sensibilisation existantes, en particulier auprès de certains groupes du secteur bénévole, ainsi que pour offrir un forum de collaboration.

2.49   Le secteur de programme a aussi déterminé des améliorations qu'il aimerait apporter. Une de ces modifications concerne la mise sur pied d'un appel de financement ouvert pour éviter que les demandeurs aient à présenter des demandes dans des délais précis. La DSCRC aimerait aussi que le financement puisse être utilisé pour la recherche et que la recherche et les études techniques soient ajoutées à la liste des exemples de projets admissibles du guide de financement pour 2006‑2008.

2.50   Enfin, le groupe d'experts offre une source supplémentaire de renseignements pour des modifications éventuelles. Pour donner suite aux recommandations du groupe d'experts, le président du CT a annoncé une série de mesures immédiates en février 2007 qui ont mené à l'élaboration d'un plan d'action pour la réforme des programmes de S et C, dont la création d'un centre d'expertise pour les S et C. En juin 2007, la Direction des organismes de bienfaisance a informé l'équipe d'évaluation qu'elle entreprenait l'analyse des écarts relative aux recommandations du groupe d'experts en vue de déterminer les possibilités de modifications du programme et qu'elle continuera à suivre les activités du centre d'expertise pour les S et C en vue de cerner d'autres possibilités de modifications.

Conclusion et recommandations

3.1   La création du PAPDOB était fondée sur une initiative à l'échelle du gouvernement qui appuyait des initiatives stratégiques qui visaient à améliorer, par les projets, l'observation de l'environnement réglementaire des organismes de bienfaisance. Nous avons constaté que le PAPDOB est pertinent pour l'ARC et le gouvernement fédéral et que le secteur de programme fait appel à des données sélectionnées de l'ARC pour démontrer la nécessité d'une meilleure communication et d'une sensibilisation axées sur l'observation. L'évaluation a révélé que le choix du moyen d'action, c.‑à‑d. un programme de contributions, à titre de meilleure approche pour la mise en œuvre du programme, reposait sur une analyse superficielle et sur peu de documents. Une analyse plus approfondie des résultats du programme, à l'aide d'une évaluation sommative subséquente, sera nécessaire pour évaluer l'incidence de ce programme sur l'observation et pour déterminer s'il s'agissait du choix le plus judicieux pour la mise en œuvre du programme.

3.2   Au moment de l'évaluation, trois ententes étaient en vigueur et la formation au sein du secteur venait tout juste de débuter. Une faible partie du financement approuvé avait été engagée, tandis qu'une part du financement de contribution disponible durant les deux premières années pour lesquelles un tel financement était disponible, était devenu périmé. Notre examen des opérations actuelles du PAPDOB a découvert divers écarts par rapport à la conception initiale du programme qu'avait approuvée le CT. La priorité du PAPDOB a clairement été de mettre en place des ententes de contribution, au détriment des activités de collaboration et de promotion. Plus important encore, aucune stratégie de mesure et d'évaluation du rendement général du programme n'avait été élaborée, ce qui soulevait de sérieuses préoccupations quant à la mesure dans laquelle la DSCRC pourrait déterminer si le programme est en bonne position pour atteindre ses objectifs. Comme nous l'avons indiqué plus tôt, si les données sur le rendement ne sont pas disponibles, la valeur d'effectuer une évaluation sommative devient discutable.

3.3    Nous pensons que la DSCRC continuera d'apporter des améliorations au fur et à mesure que des connaissances et de l'expérience sont acquises. Dans la section ci‑dessous, nous formulons certaines recommandations qui pourraient aider le programme à cet égard. Néanmoins, comme l'ARC s'est engagée à effectuer une évaluation sommative et que des données fondées sur les résultats sont nécessaires à cette évaluation, il est essentiel que la DSCRC travaille à l'élaboration et à la mise en œuvre d'une stratégie de mesure du rendement pour évaluer l'incidence du programme. Ces résultats de programme sont particulièrement importants compte tenu du renouvellement des modalités requis pour ce programme en mars 2010.

Recommandations

Recommandation no 1

La direction du programme devrait réexaminer la conception initiale du programme afin de réévaluer la faisabilité de sa mise en œuvre en fonction de ce que prévoyait la présentation au CT, laquelle a servi à l'obtention du financement pour le programme. La situation actuelle du programme devrait être décrite tout comme les activités qui sont requises pour s'assurer que le programme est entièrement mis en œuvre. Si des activités sont jugées irréalisables, l'incidence qu'aura le fait de ne pas les mettre en œuvre devrait être évaluée, en prévision du renouvellement des modalités en mars 2010.

Réponse de la direction

La Direction des organismes de bienfaisance est d'accord avec cette recommandation. La Direction compte modifier la conception du programme énoncée dans le CGRR. De plus, la Direction continuera de miser sur les importants progrès qui ont été réalisés depuis la mise en œuvre du programme en 2005-2006. En particulier, la Direction des organismes de bienfaisance continuera d'examiner et de mettre à jour les politiques, les directives et les pratiques ayant trait à l'administration et à la gestion du programme selon les politiques du Conseil du Trésor, les recommandations du centre d'expertise pour les subventions et les contributions, une fois établi, de même que les modifications législatives, et les autres politiques et pratiques gouvernementales applicables.

Recommandation no 2

La direction du programme devrait mettre l'accent sur l'élaboration et la mise en œuvre d'une stratégie de mesure du rendement qui définira les données de base nécessaires pour mesurer le rendement du programme et faire état de ses réalisations. Compte tenu du fait que l'ARC s'est engagée à effectuer une évaluation sommative et à faire état des résultats au CT, ces données sont nécessaires tant pour favoriser la gestion courante du programme que pour s'assurer que l'équipe d'évaluation puisse compter sur les données requises pour mesurer l'atteinte des objectifs du programme au cours de l'évaluation sommative.

Réponse de la direction

La Direction des organismes de bienfaisance est d'accord avec cette recommandation. La Direction reconnaît l'importance de la mise en œuvre d'une stratégie de mesure du rendement. Dans les mois à venir, la Direction étudiera comment renforcer la mesure du rendement afin de s'assurer qu'une stratégie,  qui reflète bien la taille du programme et le besoin de dévoiler les résultats, est mise en œuvre. Ceci comprendra la collecte de données fiables pour appuyer l'administration courante du programme ainsi que toute appréciation et toute évaluation du programme nécessaires pour répondre aux prescriptions juridiques et aux exigences des politiques.

Recommandation no 3

La direction du programme devrait élaborer et mettre en œuvre une stratégie de communication qui définit clairement les mesures qui seront prises, tant à l'égard de la collaboration que de la promotion, afin de favoriser l'atteinte des objectifs du programme.

Réponse de la direction

La Direction des organismes de bienfaisance est d'accord avec l'importance de promouvoir le programme. À ce titre, la Direction des organismes de bienfaisance révisera sa stratégie de communication pour promouvoir les activités du programme conformes aux jalons administratifs (c.-à-d. les appels de propositions, la signature des ententes, les comptes rendus et l'achèvement des projets). De plus, la Direction des organismes de bienfaisance continuera de promouvoir le programme par des présentations propres au secteur, les séances d'information pour les organismes de bienfaisance, le bulletin externe de la Direction des organismes de bienfaisance et la publication Quoi de neuf.

Recommandation no 4

La direction du programme devrait mettre en œuvre les politiques, les procédures et les systèmes d'information nécessaires pour s'assurer que des renseignements de qualité sont disponibles en vue de favoriser le processus de prise de décision, l'évaluation du rendement ainsi que la responsabilisation et la transparence du programme.

Réponse de la direction

La Direction des organismes de bienfaisance est d'accord avec cette recommandation et continuera d'intensifier ses efforts afin de promouvoir une meilleure responsabilisation et transparence. Un nouveau système de suivi des organismes de bienfaisance a été développé et est à l'étape de mise en œuvre dans l'ensemble de la Direction. Une fois que le système sera harmonisé pour répondre aux besoins du programme, le personnel sera en mesure de mieux repérer les activités liées à l'administration du programme, ce qui aidera davantage le processus de prise de décision, l'établissement de rapports et la responsabilisation globale.

Derniers commentaires de la direction du programme

À l'appui des réponses précitées de la direction, la direction du programme continuera de travailler avec l'Évaluation des programmes afin d'élaborer un plan d'action. La Direction des organismes de bienfaisance a tiré profit du rapport d'évaluation. Une fois que les recommandations auront été mises en œuvre, le programme devrait réaliser des gains en efficience et en efficacité, et renforcer la responsabilisation. En terminant, la Direction des organismes de bienfaisance aimerait profiter de l'occasion pour remercier tout le monde prenant part à l'évaluation formative.

Annexe A

À propos de l'évaluation

Objectif

L'évaluation avait pour but de fournir des renseignements et des conseils au commissaire et à la haute direction en vue de leur indiquer si le programme est en bonne position pour atteindre ses objectifs et s'il est en voie de les atteindre, ainsi que pour déterminer les possibilités d'améliorations.

Enjeux de l'évaluation

L'évaluation a mis l'accent sur les trois questions suivantes :

1. En quoi le programme est-il pertinent à l'ARC et au gouvernement fédéral?
   
   L'évaluation a examiné la raison d'être du programme afin de déterminer s'il est pertinent en ce qui a trait aux objectifs stratégiques et aux priorités de l'ARC et du gouvernement fédéral.
2. Dans quelle mesure la conception, la mise en œuvre et la prestation du programme ont-elles permis d'obtenir les avantages prévus?
   
   L'évaluation a examiné la conception et la mise en œuvre du programme pour déterminer s'il a été appliqué selon les prévisions, la mesure dans laquelle les principaux intervenants étaient au courant du programme et ont participé à sa conception et son application, l'efficacité du processus de demande, du processus de sélection et du processus subséquent de surveillance et la suffisance des ressources du programme. Cette évaluation comportait un examen de la stratégie de gestion du rendement afin de s'assurer que le programme était en mesure de mesurer les progrès en fonction de ses objectifs, en vue de l'évaluation sommative à venir, plus particulièrement.
3. Des solutions de rechange ou des modifications au programme actuel pourraient-elles favoriser la réalisation des objectifs de l'Agence?
   
   L'évaluation a tenté de déterminer si le programme doit prendre une autre direction ou apporter des modifications à sa conception et sa mise en œuvre actuelles. Elle envisagera des approches de rechange, des pratiques exemplaires et des modifications possibles pour le programme.

Exigences de l'évaluation

En mars 2005, les ministres concernés ont approuvé les modalités du PAPDOB, aux fins de la présentation au CT. Comme le prévoit la Politique sur les paiements de transfert, la présentation au CT comportait aussi, dans le CGRR, les critères d'évaluation qui seraient employés pour évaluer l'efficacité du programme.

L'ARC s'est engagée à mener une évaluation formative dont elle ferait rapport en décembre 2006. Puisqu'une évaluation formative s'intéresse habituellement aux processus, tels que le processus de mesure du rendement, pour déterminer les possibilités d'améliorations à un programme donné, le début de l'évaluation du programme avait été fixé pour 2006‑2007, après une année complète de fonctionnement. L'ARC s'est aussi engagée à mener une évaluation sommative, dont elle ferait rapport en septembre 2008, longtemps avant le renouvellement des modalités du programme, en mars 2010.

Il est important de souligner que les questions d'évaluation définies dans le CGRR initial ont été recentrées, tant pour l'évaluation formative que pour l'évaluation sommative. Comme elles ont été approuvées dans le mandat, les questions liées à la pertinence du programme et aux approches de rechange ou aux modifications pour le programme ont été présentées et examinées aux fins de l'évaluation formative. De plus, aucune évaluation des résultats du programme n'aura lieu avant l'évaluation sommative. Par conséquent, une stratégie d'évaluation révisée tenant compte de ces modifications sera mise en œuvre aux fins de la présente évaluation.

Annexe B

Glossaire

Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) – Document servant de plan aux gestionnaires pour les aider à mesurer les résultats et en faire rapport tout au long du cycle de vie d'une politique, d'un programme ou d'une initiative. Le CGRR comprend le profil du programme. Le modèle logique, la stratégie de mesure continue du rendement, la stratégie d'évaluation, les enjeux et les questions liés à l'évaluation ainsi que la stratégie d'établissement de rapports.

Comité d'examen des demandes (CED) – Les demandes qui sont reçues en vertu du PAPDOB et qui respectent les critères de sélection sont transmises au Comité d'examen des demandes (CED). Le CED est formé de représentants de l'ARC et du secteur. Selon la nature des demandes, des représentants d'autres ministères fédéraux, des provinces, des territoires et du milieu universitaire peuvent aussi prendre part à l'examen des demandes. Pour l'évaluation des demandes, le Comité tient compte de facteurs tels que la nature novatrice, la durabilité et la portée des projets.

Entente de contribution – Chaque demande approuvée aux fins du financement fera l'objet d'une entente officielle précisant les responsabilités de chacune des parties, les conditions selon lesquelles les paiements seront effectués, conformément à la Politique sur les paiements de transfertdu CT et à la Loi sur la gestion des finances publiques ainsi que les mesures convenues mutuellement pour l'évaluation de l'efficacité des activités menées pour atteindre les objectifs du projet.

Évaluation formative – Une évaluation formative est un type d'évaluation dont le but est l'amélioration continue d'un programme. L'évaluation formative est habituellement menée au début de la mise en œuvre d'un programme et utilisée pour vérifier si le programme est en bonne voie d'atteindre ses objectifs. Ce type d'évaluation met habituellement l'accent sur des questions telles que la mise en œuvre, la pertinence et les solutions de rechange ou les modifications possibles.

Évaluation sommative – Les évaluations sommatives sont habituellement effectuées plus tard au cours de la mise en œuvre du programme et mettent l'accent sur l'atteinte des résultats. Ce type d'évaluation s'intéresse aux résultats du programme, particulièrement en ce qui concerne la prise de décision sur la poursuite, le développement, la réduction ou le financement du programme. Elle tient compte des réalisations afin d'évaluer le programme sur le plan de l'efficacité, par rapport à d'autres programmes du même type. 

Groupe d'experts – Le groupe d'experts est un groupe indépendant mis sur pied en 2006 par le président du CT. Le groupe a examiné pendant six mois l'administration des programmes fédéraux de S et C et a recommandé des mesures pour rendre plus efficace la mise en œuvre de ces programmes tout en leur assurant une meilleure responsabilisation.

Organisation à but non lucratif – Aux termes de la Loi de l'impôt sur le revenu, une organisation à but non lucratif est une association, un club ou une société dont les fins sont exclusivement liées au bien-être social, à l'amélioration du bien-être communautaire, aux loisirs, aux activités récréatives ou à toute autre activité dont le but n'est pas le profit. Il ne s'agit pas d'un organisme de bienfaisance.

Organisme de bienfaisance enregistré – Un organisme de bienfaisance enregistré désigne une œuvre de bienfaisance ou une fondation publique ou privée qui a été établie au Canada et qui y réside. Il est administré à des fins de bienfaisance et doit consacrer ses ressources à des activités de bienfaisance. Un organisme de bienfaisance enregistré a reçu un numéro d'enregistrement de l'Agence du revenu du Canada et est exonéré d'impôts sur ses revenus. Il peut émettre des reçus officiels pour les dons qu'il reçoit.

Politique sur les paiements de transfert du Conseil du Trésor – Politique élaborée par le CT pour assurer une gestion, un contrôle et une responsabilisation efficaces à l'égard des paiements de transfert. Les paiements de transfert sont effectués en fonction d'une affectation de fonds à l'égard de laquelle aucun service ni bien n'est reçu, mais qui pourrait obliger le bénéficiaire à fournir un rapport ou un autre document après avoir reçu le paiement. Les trois types de paiements de transfert sont les subventions, les contributions et les « autres paiements de transferts ».

Secteur bénévole – Le secteur bénévole constitue, avec les secteurs public et privé, l'un des trois piliers de la société canadienne. Le secteur bénévole, au sens large, comprend toutes les organisations à but non lucratif (y compris les organismes de bienfaisance enregistrés) qui existent au Canada.

Secteur des organismes de bienfaisance – Le secteur des organismes de bienfaisance se compose des organismes de bienfaisance qui sont enregistrés auprès du gouvernement fédéral en vertu de la Loi de l'impôt sur le revenu.

Stratégie de mesure du rendement – Sélection, élaboration et utilisation courante de critères de mesure du rendement en vue d'orienter le processus de prise de décision. Parmi la gamme des renseignements que l'on peut retrouver dans une stratégie de mesure du rendement, mentionnons le groupe visé ou le groupe cible, les réalisations et les résultats, les critères de mesure du rendement, les sources de données, la méthodologie ainsi que les coûts.