Services publics et Approvisionnement Canada
Évaluation du Programme de surveillance de l'équité
Sur cette page
- Sommaire
- Présentation
- Contexte
- Autorité
- Rôles et responsabilités
- Ressources
- Objet de l'évaluation
- Constatations et conclusions
- Pertinence
- Conclusions : Pertinence
- Rendement
- Conclusions : Rendement
- Efficience et économie
- Conclusions : Efficience et économie
- Réponse de la gestion
- Recommandations et plan d'action de la gestion
- Annexe A : Activités du programme
- Annexe B : Modèle logique
- Annexe C : Au sujet de l'évaluation
Sommaire
Services publics et Approvisionnement Canada (SPAC) s'est engagé à exceller dans les opérations gouvernementales et à assurer une saine intendance au profit de la population canadienne, en offrant des services et des programmes de première qualité adaptés aux besoins des organismes fédéraux. Le Programme de surveillance de l'équité a été créé en tant que mécanisme de surveillance officiel visant à fournir à la gestion, aux fournisseurs, aux clients et aux Canadiens une assurance indépendante que les activités ministérielles, dont l'achat de biens, de services ou de services de construction, l'acquisition et l'aliénation de biens immobiliers, l'aliénation des biens de l'État et l'octroi de subventions et de contributions, sont menées de manière équitable, ouverte et transparente.
La présente évaluation portait sur la pertinence, le rendement ainsi que l'efficience et l'économie du Programme de surveillance de l'équité.
Les dépenses totales du programme au cours de l'exercice 2017 à 2018 s'élevaient à 1,93 million de dollars, et on y comptait 5,5 équivalents temps plein. Le Programme de surveillance de l'équité est exécuté par la Direction de la surveillance de l'équité et de la gestion des conflits d'ordre commercial de la Direction générale de la surveillance (DGS).
Le Programme de surveillance de l'équité est pertinent puisqu'il assure l'équité perçue et réelle du processus d'approvisionnement. Il offre ainsi aux soumissionnaires et au public une assurance supplémentaire que les processus d'approvisionnement sont menés de façon équitable, ouverte et transparente. Bien qu'il n'existe aucune exigence législative ou réglementaire pour le programme, SPAC dispose d'une Politique sur la surveillance de l'équité qui appuie ses résultats stratégiques et l'objectif visant à promouvoir des pratiques en matière d'approvisionnement ouvertes, équitables et transparentes, comme il est indiqué dans les engagements de la lettre de mandat de la ministre, le Discours du Trône et la Loi sur la gestion des finances publiques.
La politique sur la surveillance de l'équité est le facteur qui justifie les missions de surveillance de l'équité. Le nombre d'évaluations obligatoires menées pour déterminer si une surveillance de l'équité est nécessaire est demeuré stable au fil du temps. Bien que le nombre d'évaluations facultatives (dans le cadre desquelles une évaluation visant la surveillance de l'équité n'était pas nécessaire, mais une demande a été présentée par le programme) soit également demeuré relativement stable, il est très faible par rapport au nombre d'évaluations obligatoires. Le nombre de problèmes résolus tout au long du processus d'approvisionnement auquel a participé un surveillant de l'équité représente une mesure plus robuste du besoin continu. Depuis 2009, au moins 300 problèmes d'équité ont été relevés dans les rapports sommaires et réglés dans le cadre du processus d'approvisionnement. Au cours de la même période, 8 rapports avec réserve faisant état de lacunes en matière d'équité ont été produits.
Dans l'ensemble, le programme atteint les résultats immédiats et intermédiaires escomptés. En veillant à ce que la surveillance de l'équité soit effectuée de manière efficace lorsque les circonstances le justifient, le programme contribue à faire en sorte que les processus d'approvisionnement de SPAC soient menées de façon équitable, ouverte et transparente. En contribuant à la probité et à l'intégrité des activités d'approvisionnement, le Programme de surveillance de l'équité assure une saine intendance au profit des Canadiens, en plus de répondre aux besoins des institutions fédérales en matière d'approvisionnement. La clarification des critères pour évaluer la nécessité de procéder à une surveillance de l'équité des processus d'approvisionnement ne relevant pas du Conseil du Trésor permettrait toutefois d'accroître l'efficacité du programme.
Les personnes interrogées s'entendaient aussi sur le fait que l'équité est plus perçue que réelle. Toutefois, la perception d'équité en soi est très importante, car le programme permet d'offrir aux soumissionnaires et au public une assurance supplémentaire que les processus d'approvisionnement sont menés de façon équitable, ouverte et transparente.
Les leçons tirées de la surveillance de l'équité ont été communiquées pour améliorer les pratiques en matière d'approvisionnement à SPAC. Celles-ci semblent avoir eu des répercussions limitées sur les changements aux lignes directrices ou aux politiques en matière d'approvisionnement, en partie parce que les problèmes d'équité relevés au cours des missions de surveillance de l'équité ne sont pas systématiquement examinés selon leurs répercussions sur les changements nécessaires aux politiques ou aux lignes directrices.
Le programme fonctionne de façon efficiente et économique. Le coût de la surveillance de l'équité par rapport à la valeur des processus d'approvisionnement faisant l'objet d'une surveillance est négligeable (0,01 %). Ce coût est récupéré auprès des clients. Les missions de surveillance de l'équité sont demeurées stables au cours des 4 dernières années, tandis que les coûts internes du programme par mission de surveillance de l'équité ont diminué, principalement en raison des postes vacants. Parallèlement, le coût des services de surveillants de l'équité sous contrat a augmenté. Bien que le programme fonctionne à un faible coût, il remplit un vaste mandat, car il en a découlé une perception d'équité élevée en matière d'approvisionnement.
Réponse de la gestion
La gestion de la DGS a eu l'occasion d'examiner le rapport d'évaluation et accepte les conclusions et les recommandations dans le cadre de notre engagement à l'égard de l'amélioration continue. Un plan d'action de la gestion comprenant les mesures proposées pour améliorer le rendement et l'efficience des activités de notre programme a été élaboré.
Le Programme des approvisionnements est d'avis qu'il s'agit d'une excellente occasion d'en tirer des leçons et d'améliorer les opérations.
Recommandations et plan d'action de la gestion
Recommandation 1
La sous-ministre adjointe (SMA), Direction générale de la surveillance, devrait apporter les changements actuellement envisagés à la Politique sur la surveillance de l'équité, afin de s'assurer que tous les processus d'approvisionnement à risque élevé, très sensibles et très complexes sont évalués en vue de déterminer s'ils doivent faire l'objet d'une surveillance, qu'ils exigent l'approbation du Ministère ou du Conseil du Trésor ou non.
Plan d'action de la gestion 1
La Direction de la surveillance de l'équité prendra les mesures suivantes :
- mettre à jour la Politique sur la surveillance de l'équité afin de communiquer clairement les critères d'évaluation obligatoire de la surveillance de l'équité (niveau de sensibilité et de complexité); il s'agit notamment de veiller à remplir le formulaire d'évaluation et de recommandation de la surveillance de l'équité pour les processus d'approvisionnement très complexes et/ou très sensibles qui ont été répertoriés par l'entremise de l'Outil d'évaluation de la complexité et des risques des projets ainsi que du processus d'évaluation des risques liés à l'approvisionnement
- réviser les pages intranet liées à la surveillance de l'équité en fonction de la Politique sur la surveillance de l'équité mise à jour
- sensibiliser la communauté de l'approvisionnement de Services publics et Approvisionnement Canada à la Politique sur la surveillance de l'équité
Recommandation 2
La SMA, Direction générale de la surveillance, devrait prendre des mesures pour s'assurer que les leçons retenues sont fondées sur une analyse de tous les problèmes d'équité relevés au cours d'une mission de surveillance et qu'un examen des leçons retenues est effectué régulièrement. De plus, les leçons retenues devraient être communiquées régulièrement à la Direction générale de l'approvisionnement maritime et de défense ainsi qu'à la Direction générale des approvisionnements, afin de les informer des changements aux politiques, aux lignes directrices, aux manuels d'approvisionnement et aux outils connexes pertinents.
Plan d'action de la gestion 2
La Direction de la surveillance de l'équité prendra les mesures suivantes :
- systématiser la collecte des leçons retenues recensées par les surveillants de l'équité
- préparer les évaluations trimestrielles des leçons retenues;
- communiquer les leçons retenues :
- lors des réunions de lancement qui ont lieu au début de chaque activité de surveillance de l'équité
- à la haute direction à la fin de chaque projet
- aux spécialistes en approvisionnement pendant les séances de sensibilisation
Recommandation 3
Les SMA de la Direction générale de l'approvisionnement maritime et de défense ainsi que de la Direction générale des approvisionnements devraient veiller à ce que les politiques, les lignes directrices et les manuels d'approvisionnement, en plus des outils d'approvisionnement connexes élaborés, soient régulièrement examinés et mis à jour, s'il y a lieu, en fonction des problèmes d'équité systémiques relevés dans le cadre de l'analyse des leçons retenues du Programme de surveillance de l'équité.
Plan d'action de la gestion 3
Le Programme des approvisionnements élabora un mécanisme d'engagement entre le Programme des approvisionnements ainsi que la Direction de la surveillance de l'équité et de la gestion des conflits d'ordre commercial, afin de s'assurer que les observations découlant des évaluations et les problèmes d'équité systémiques sont relevés et abordés dans les instruments de politique et sur le plan opérationnel, et ce de façon régulière et au besoin.
Présentation
Le présent rapport expose les résultats de l'évaluation du Programme de surveillance de l'équité. Cette mission figure dans le Plan de vérification et d'évaluation axé sur les risques de 2018 à 2021 de Services publics et Approvisionnement Canada (SPAC).
Contexte
Le Programme de surveillance de l'équité a été créé en 2005 pour offrir à la gestion, aux ministères clients, aux fournisseurs du gouvernement, au Parlement et aux Canadiens une assurance indépendante que les activités d'approvisionnement importantes ou complexes de SPAC étaient menées de façon équitable, ouverte et transparente. La Politique sur la surveillance de l'équité du Ministère a été établie en 2009. Elle énonçait les rôles et les responsabilités des intervenants, et élargissait la portée du programme afin qu'il s'applique à toutes les activités ministérielles (par exemple, l'achat de biens, de services ou de services de construction, l'acquisition et l'aliénation de biens immobiliers, l'aliénation des biens de l'État et l'octroi de subventions et de contributions). En 2012, la politique a été révisée pour y inclure des définitions explicites de l'équité, de l'ouverture et de la transparence, clarifier les rôles et les responsabilités liés à la réalisation d'évaluations et à la résolution des problèmes d'équité, et établir des critères fondés sur le risque pour les activités ministérielles, afin de déterminer si une évaluation obligatoire est nécessaire.
Le Programme de surveillance de l'équité fait appel à des surveillants de l'équité indépendants pour observer l'ensemble ou une partie d'une activité d'approvisionnement ministérielle, afin de fournir une opinion impartiale sur l'équité, l'ouverture et la transparence de l'activité et de cerner les problèmes qui, s'ils ne sont pas résolus, pourraient donner lieu à des rapports faisant état de lacunes en matière d'équité dans l'activité faisant l'objet de la surveillance et devenir dispendieux à résoudre après le processus d'approvisionnement.
En plus d'exercer une surveillance de l'équité des activités d'approvisionnement, de location et d'aliénation de SPAC, le Programme de surveillance de l'équité fournit également des services de surveillance de l'équité à 3 autres organisations du gouvernement fédéral (Services partagés Canada, l'Agence du revenu du Canada et le Conseil de la radiodiffusion et des télécommunications canadiennes), en vertu de protocoles d'entente.
Autorité
La Loi sur le ministère des Travaux publics et des Services gouvernementaux (alinéa 7(1) (a)) autorise notamment le ministre des Travaux publics et des Services gouvernementaux à étudier et à mettre sur pied des services en vue de favoriser l'intégrité et l'efficience du processus d'impartition des marchés. L'article 15 de la loi stipule que le ministre peut fournir, sur demande des ministères ou organismes fédéraux, les autres services qui relèvent de sa compétence.
Il n'existe aucune politique pangouvernementale sur la surveillance de l'équité. Il existe toutefois une politique ministérielle sur la surveillance de l'équité, selon laquelle il est obligatoire de procéder à l'évaluation de la nécessité d'exécuter une surveillance de l'équité pour tous les processus d'approvisionnement exigeant l'approbation du Ministère ou du Conseil du Trésor ou lorsque les instruments normalisés de gestion des risques de la direction générale indiquent qu'un formulaire d'évaluation et de recommandation de la surveillance de l'équité doit être rempli. D'après leur examen de ce formulaire, les responsables du Programme de surveillance de l'équité formuleront une recommandation au sous-ministre lui indiquant si une surveillance est justifiée.
Les directions générales de programme de SPAC peuvent également demander une surveillance de l'équité sur une base facultative si elles souhaitent obtenir une plus grande assurance d'équité, d'ouverture et de transparence.
Rôles et responsabilités
La Direction de la surveillance de l'équité et de la gestion des conflits d'ordre commercial de la Direction générale de la surveillance doit :
- superviser les missions de surveillance de l'équité, établir et gérer les contrats de surveillance de l'équité, fournir des conseils et du soutien aux clients, faciliter la résolution des lacunes potentielles en matière d'équité, informer la haute direction des missions de surveillance de l'équité et gérer la publication des rapports de surveillance de l'équité
- fournir des services en matière de politiques ainsi que des services de soutien, dont la tenue à jour de la Politique sur la surveillance de l'équité, la fourniture de conseils et de directives aux clients, la présentation d'information à la haute direction sur la surveillance de l'équité recommandée, la compilation des documents sur les leçons retenues ainsi que la prestation de séances de sensibilisation/d'information et des séances sur les leçons retenues à la haute direction ainsi qu'aux groupes de clients (l'annexe A : Activités du programme, renferme plus de renseignements à cet égard)
- Surveillants de l'équité
- Les entrepreneurs du secteur privé qui participent au Programme de surveillance de l'équité fournissent des services de surveillance de l'équité dans le cadre des activités ministérielles. Ils doivent formuler une opinion neutre et impartiale sur l'équité, l'ouverture et la transparence des activités observées tout au long du processus d'approvisionnement. Les surveillants de l'équité peuvent également cerner des problèmes qui, s'ils ne sont pas réglés, pourraient donner lieu à la présentation de lacunes en matière d'équité dans un rapport final sur la surveillance de l'équité mis à la disposition du public. Les lacunes en matière d'équité non résolues par l'autorité contractante ou au moyen du processus de renvoi aux paliers supérieurs du programme font l'objet d'un rapport « avec réserve ».
- Clients directs
- Les clients directs incluent les autorités contractantes des directions générales et des régions de SPAC qui assurent la gestion de processus d'approvisionnement ou d'autres activités ministérielles assujettis à une surveillance de l'équité, ou au sein d'autres ministères du gouvernement qui ont conclu un protocole d'entente avec le programme. Il incombe à l'autorité contractante de coopérer avec les surveillants de l'équité et de leur fournir en temps opportun tous les renseignements, documents et faits relatifs à chacune des étapes du processus d'approvisionnement, de tenir compte de toutes les questions et préoccupations d'équité soulevées par les surveillants de l'équité ainsi que de corriger toute lacune perçue en matière d'équité.
- Clients indirects
- Les clients indirects incluent les responsables de projet ou les responsables techniques de SPAC ou d'autres ministères du gouvernement qui ont amorcé des processus d'approvisionnement assujettis à une surveillance de l'équité, soit parce que SPAC en assure la gestion ou parce qu'un autre ministère a demandé qu'ils fassent l'objet d'une surveillance en vertu d'un protocole d'entente conclu avec le Programme de surveillance de l'équité. Le responsable de projet ou le responsable technique doit coopérer avec l'autorité contractante pour lui permettre de fournir aux surveillants de l'équité les renseignements, les documents et les faits en temps opportun.
Ressources
En ce qui concerne les services directs fournis par les surveillants de l'équité sous contrat, les dépenses totales pour l'exercice 2017 à 2018 se sont élevées à 1,93 million de dollars; toutefois, une partie de cette somme a été partiellement compensée par des coûts de 1,12 million de dollars, récupérés auprès des directions générales et des régions de SPAC ainsi que d'autres ministères clients. Cette somme comprend également 0,167 million de dollars recouvrés grâce à une réaffectation interne des fonds de la Direction générale des biens immobiliers et de la Direction générale de la Cité parlementaire. Le reste des dépenses est financé à partir des crédits ministériels gérés par la Direction générale de la surveillance.
Le nombre d'équivalents temps plein affectés au Programme de surveillance de l'équité était de 5,5 pour l'exercice 2017 à 2018.
Modèle logique
Un modèle logique est une représentation visuelle qui relie les activités, les extrants et les résultats d'un programme. Il constitue un outil visuel et systémique permettant d'illustrer la théorie d'un programme, et présente la façon dont il est possible d'atteindre les objectifs établis. Un modèle logique a été élaboré à partir d'un examen détaillé des documents, de réunions avec les gestionnaires du programme et d'entrevues avec les principaux intervenants. Il a ensuite été validé par le personnel du programme. Le modèle logique se trouve à l'Annexe B : Modèle logique.
Objet de l'évaluation
Cette évaluation visait à déterminer la pertinence et le rendement du programme par rapport à l'atteinte des résultats escomptés, conformément à la Politique sur les résultats du Conseil du Trésor. Le programme a été évalué d'avril 2013 à mars 2018.
Approche et méthodologie
L'évaluation du programme s'appuie sur de nombreuses sources de données, dont les suivantes :
- un examen des documents du gouvernement fédéral et du Ministère sur le programme
- un examen et une analyse des diverses ressources financières, activités et données du programme ainsi que des divers extrants du programme, de même que des données sur la satisfaction de la clientèle, des données ministériels sur l'approvisionnement et d'autres données
- une analyse comparative avec les programmes de surveillance de l'équité des gouvernements provinciaux
- des entrevues : 22 entrevues ont été menées, dont 14 avec des cadres supérieurs de SPAC et d'autres ministères du gouvernement qui ont été des clients directs ou indirects du programme, 3 avec des responsables du programme, 4 avec des organisations similaires et une avec des représentants des Services juridiques de SPAC
- un sondage : un sondage a été distribué à 43 anciens clients du programme (c'est-à-dire, les autorités contractantes qui ont assuré la gestion de processus d'approvisionnement ayant fait l'objet d'une surveillance par le programme), et 27 personnes y ont répondu
De plus amples renseignements sur l'approche et la méthodologie, incluant les limites de la méthodologie, se trouvent à l'Annexe C : Au sujet de l'évaluation.
Constatations et conclusions
Les constatations et les conclusions présentées ci-après sont fondées sur les nombreuses sources de données ayant servi à l'évaluation. Elles sont présentées par point d'évaluation (pertinence et rendement).
Pertinence
En ce qui concerne la pertinence du programme, l'évaluation portait sur l'harmonisation du Programme de surveillance de l'équité avec les priorités actuelles du gouvernement fédéral et du Ministère, les exigences législatives, réglementaires ou politiques du programme et la nécessité continue du programme.
Harmonisation avec les priorités du gouvernement fédéral et de Services Publics et Approvisionnement Canada
Le résultat stratégique de SPAC consiste à offrir des programmes et des services centraux de première qualité qui assurent une saine intendance au profit de la population canadienne et qui sont adaptés aux besoins en matière de programmes des institutions fédérales.
Tous les responsables du programme ont convenu que les objectifs du Programme de surveillance de l'équité s'harmonisent avec le résultat stratégique de SPAC, tandis que seulement 3 des 7 clients de niveau supérieur étaient de cet avis. Les 4 autres clients de niveau supérieur étaient en désaccord pour diverses raisons : ils ont notamment fait remarquer que la surveillance de l'équité n'est pas vraiment pertinente si la saine intendance suppose notamment l'écologisation des opérations gouvernementales et la diversité, et que la saine intendance est la responsabilité des fonctionnaires et non des surveillants de l'équité du secteur privé.
À l'appui du résultat stratégique, SPAC a cerné 4 priorités en matière d'approvisionnement :
- moderniser les pratiques en matière d'approvisionnement
- faire en sorte que les Forces armées canadiennes et la Garde côtière canadienne obtiennent l'équipement dont elles ont besoin à temps et selon le budget établi
- veiller à ce que les processus d'approvisionnement reflètent les pratiques exemplaires modernes
- veiller à ce que les pratiques en matière d'approvisionnement cadrent avec les attentes du public concernant un gouvernement transparent, ouvert et centré sur les citoyens
Afin d'évaluer si le Programme de surveillance de l'équité s'harmonise avec les priorités susmentionnées, l'équipe d'évaluation a mené des entrevues auprès de 8 cadres supérieurs de SPAC qui sont des clients directs du programme. Des 8 clients directs, 7 ont répondu aux questions sur l'harmonisation. Ces questions ont aussi été posées à 3 responsables du programme.
Tous les responsables du programme interrogés étaient d'avis que le Programme de surveillance de l'équité s'harmonisait avec l'ensemble des priorités, à l'exception de la priorité ii ci-dessus. Le point de vue des clients était toutefois plus varié. Parmi les 7 clients directs ayant répondu à la question à ce sujet :
- tous ont convenu que le Programme de surveillance de l'équité s'harmonise entièrement ou partiellement avec la priorité consistant à veiller à ce que les pratiques en matière d'approvisionnement cadrent avec les attentes du public concernant un gouvernement transparent, ouvert et centré sur les citoyens
- un seul client a convenu que le programme s'harmonise avec la priorité consistant à moderniser les pratiques en matière d'approvisionnement, et 2 clients seulement ont convenu que le programme s'harmonise entièrement ou partiellement avec la priorité consistant à veiller à ce que les processus d'approvisionnement reflètent les pratiques exemplaires modernes
- aucun des clients n'a convenu que le programme s'harmonise avec la priorité ii (faire en sorte que les Forces armées canadiennes et la Garde côtière canadienne obtiennent l'équipement dont elles ont besoin à temps et selon le budget établi)
L'équipe d'évaluation a examiné l'objectif et le résultat escompté du programme afin d'en évaluer l'harmonisation avec les priorités susmentionnées et le résultat stratégique de SPAC.
L'objectif du Programme de surveillance de l'équité est d'offrir à la gestion, aux ministères clients, aux fournisseurs du gouvernement, au Parlement et aux Canadiens une assurance indépendante que les activités d'approvisionnement importantes ou complexes de SPAC sont menées de façon équitable, ouverte et transparente.
La surveillance de l'équité a une portée relativement limitée en ce qui concerne l'équité des activités d'approvisionnement. Elle n'appuie pas directement la priorité ii, qui consiste à répondre aux besoins des 2 plus importants partenaires de SPAC en matière d'approvisionnement, à temps et selon le budget établi. Elle n'appuie pas non plus nécessairement la modernisation des pratiques en matière d'approvisionnement ni les pratiques exemplaires, sauf dans la mesure où elles visent à améliorer l'équité. Elle permet toutefois de fournir une assurance que les processus d'approvisionnement répondent aux attentes des soumissionnaires, de la haute direction, du gouvernement et du public en ce qui concerne l'équité, l'ouverture et la transparence. Elle se rapproche ainsi plus de la priorité iv qui consiste à « veiller à ce que les pratiques en matière d'approvisionnement cadrent avec les attentes du public concernant un gouvernement transparent, ouvert et centré sur les citoyens ».
En conclusion, le Programme de surveillance de l'équité s'harmonise avec la priorité qui consiste à veiller à ce que les pratiques en matière d'approvisionnement cadrent avec les attentes du public concernant un gouvernement transparent, ouvert et centré sur les citoyens. Il s'harmonise aussi avec le résultat stratégique de SPAC en matière de saine intendance, tout en répondant aux besoins des institutions fédérales.
Exigences législatives, réglementaires ou politiques
Afin de déterminer s'il existe une exigence législative, réglementaire et/ou politique pour le Programme de surveillance de l'équité, l'équipe d'évaluation a examiné les documents fédéraux et ministériels.
L'alinéa 7(1)a) de la Loi sur le ministère des Travaux publics et des Services gouvernementaux stipule que le ministre peut étudier et mettre sur pied des services en vue d'accroître l'efficacité de l'administration publique fédérale et de favoriser l'intégrité et l'efficience du processus d'impartition des marchés.
L'article 40.1 de la Loi sur la gestion des finances publiques (LGFP) énonce l'engagement du gouvernement du Canada à « prendre les mesures indiquées pour favoriser l'équité, l'ouverture et la transparence du processus d'appel d'offres en vue de la passation avec Sa Majesté de marchés de fournitures, de marchés de services ou de marchés de travaux ».
La Politique sur la surveillance de l'équité du Ministère s'applique à toutes les activités de programme entreprises par SPAC, qu'elles soient effectuées pour le compte de clients internes ou externes. La surveillance de l'équité ne figure pas dans la politique comme étant une activité obligatoire. Les chefs des directions générales sont toutefois tenus de remplir et de soumettre un formulaire d'évaluation et de recommandation de la surveillance de l'équité pour les activités dans le cadre desquelles il y a un risque afférent au caractère délicat, à l'importance ou à la complexité ainsi que pour toutes les autres activités ministérielles assujetties à l'approbation du Ministère ou du Conseil du Trésor.
Le discours du Trône de 2015 stipulait que « le gouvernement s'engage à être ouvert et transparent ». La lettre de mandat de la ministre énonçait que « la prestation des services gouvernementaux, y compris les pratiques en matière d'approvisionnement, doit cadrer avec les attentes du public concernant un gouvernement transparent, ouvert et centré sur les citoyens ».
En résumé, il n'existe aucune exigence législative ou réglementaire pour le programme ni aucune politique pangouvernementale sur la surveillance de l'équité. Le Programme de surveillance de l'équité constitue toutefois une mesure mise en place par SPAC afin de respecter l'engagement pris dans la LGFP de promouvoir des pratiques d'approvisionnement ouvertes, équitables et transparentes. Il est également nécessaire conformément à la Politique sur la surveillance de l'équité du Ministère, laquelle confère au sous-ministre la responsabilité de mettre en œuvre un Programme de surveillance de l'équité.
Besoin continu
Le besoin continu est évalué par rapport à la mesure dans laquelle le Programme de surveillance de l'équité répond à un besoin manifeste. Afin d'évaluer le besoin continu du Programme de surveillance de l'équité, nous avons examiné la demande de services au cours des 5 dernières années, en nous fondant sur les données concernant les extrants du programme. Nous avons également examiné les données sur le nombre de problèmes d'équité relevés par les surveillants de l'équité et le nombre de leurs rapports finaux qui étaient assortis d'une réserve, ce qui indique que les lacunes en matière d'équité relevées au cours du processus d'approvisionnement n'ont pas été corrigées. Nous avons aussi obtenu les points de vue des intervenants du programme relativement aux répercussions possibles si le Programme de surveillance de l'équité n'existait pas ainsi qu'aux autres méthodes pour assurer l'équité, l'ouverture et la transparence des processus d'approvisionnement.
Afin d'évaluer la demande continue de services, nous avons examiné les données sur les extrants du programme entre les exercices 2013 à 2014 et 2017 à 2018. Le tableau 1 ci-après présente un résumé des résultats de cet examen.
Missions de surveillance de l'équité nouvelles/en cours (au prorata)/en cours | 2013 à 2014 | 2014 à 2015 | 2015 à 2016 | 2016 à 2017 | 2017 à 2018 |
---|---|---|---|---|---|
Nombre de nouvelles missions de surveillance de l'équité | 47 | 26 | 23 | 25 | 30 |
Nombre de missions de surveillance de l'équité en cours (au prorata)note 1 du tableau 1 | 29 | 48 | 58 | 55 | 55 |
Nombre total de missions de surveillance de l'équité en cours | 76 | 74 | 81 | 80 | 85 |
Tableau 1 : Nombre de missions de surveillance de l'équité entre les exercices 2013 à 2014 et 2017 à 2018 : Notes du tableau 1
|
Comme l'indique le tableau 1, le nombre de nouvelles missions est passé de 47 au cours de l'exercice 2013 à 2014 à 26 au cours de l'exercice 2014 à 2015, et est demeuré stable depuis, allant de 23 au cours de l'exercice 2015 à 2016 à 30 au cours de l'exercice 2017 à 2018. Le nombre de missions en cours ayant été reporté des exercices précédents est passé de 29 au cours de l'exercice 2013 à 2014 à 48 au cours de l'exercice 2014 à 2015, et est également demeuré stable, passant de 58 au cours de l'exercice 2015 à 2016 à 55 au cours des 2 exercices suivants.
En général, la surveillance de l'équité est effectuée à la suite d'une évaluation obligatoire dans le cadre de laquelle il a été déterminé qu'elle était nécessaire, soit parce que le processus d'approvisionnement exigeait l'approbation du Ministère ou du Conseil du Trésor, soit parce que les instruments normalisés de gestion des risques de la direction générale indiquaient qu'un formulaire d'évaluation et de recommandation de la surveillance de l'équité devait être rempli. Les clients d'autres directions générales, les régions et d'autres ministères du gouvernement peuvent toutefois demander, sur une base facultative, que leur projet fasse l'objet d'une surveillance de l'équité.
Le tableau 2 présente une ventilation du nombre de nouvelles missions entre les exercices 2016 à 2017 et 2017 à 2018 qui se fondaient sur un examen des formulaires d'évaluation et de recommandation de la surveillance de l'équité soumis, dans le cadre duquel il a été déterminé qu'une surveillance était justifiée. La grande majorité des nouvelles missions de surveillance de l'équité au cours de ces années étaient fondées sur des évaluations obligatoires, ce qui indique que la politique actuelle est le facteur qui justifie les missions de surveillance de l'équité.
Exercices |
Obligatoires | Facultatives | Nombre total de missions de surveillance de l'équité | |||||
---|---|---|---|---|---|---|---|---|
Approbation du Conseil du Trésor | En fonction des risques | Approbation du Conseil du Trésor et risques | Total – Obligatoires | Facultatives : SPAC | Facultatives : Autres ministères | Total – Facultatives | ||
2016 à 2017 | 11 | 5 | 3 | 19 | 4 | 1 | 5 | 26note 1 du tableau 2 |
2017 à 2018 | 13 | 3 | 11 | 27 | 3 | 0 | 3 | 30 |
Total | 24 | 8 | 14 | 46 | 7 | 1 | 8 | 56 |
Tableau 2 : Nouvelles missions de surveillance de l'équité obligatoires et facultatives entre les exercices 2016 à 2017 et 2017 à 2018 : Notes du tableau 2
|
Comme l'indique également le tableau 2, le nombre de missions de surveillance de l'équité facultatives a été faible par rapport au nombre de missions obligatoires, ce qui indique que même s'il demeure nécessaire de satisfaire à ces exigences, le besoin n'est pas important.
On a posé aux cadres supérieurs de SPAC (dirigeants chargés des approvisionnements et clients indirects) et d'autres ministères du gouvernement (clients des services d'approvisionnement de SPAC) plusieurs questions portant sur la nécessité de maintenir le Programme de surveillance de l'équité. Leurs réponses indiquent que le programme est davantage requis pour fournir aux soumissionnaires et au public une assurance quant à l'équité des processus d'approvisionnement plutôt que pour assurer l'équité réelle. La majorité des clients directs et indirects sont d'avis que la surveillance de l'équité contribue davantage à l'équité perçue (8 répondants sur 14) qu'à l'équité réelle (5 répondants sur 14).
Dix des quinze clients directs et indirects interrogés ont indiqué qu'il y aurait des répercussions négatives si le Programme de surveillance de l'équité n'existait pas, puisque cela affecterait davantage l'équité perçue des processus d'approvisionnement que l'équité réelle. Trois personnes ont indiqué qu'il n'y aurait aucune répercussion et une personne a indiqué qu'il y aurait des répercussions positives se traduisant par des économies financières et une augmentation de la productivité.
On a également demandé aux clients directs et indirects ainsi qu'aux Services juridiques s'il existait des solutions de rechange au Programme de surveillance de l'équité permettant d'assurer l'équité, l'ouverture et la transparence des processus d'approvisionnement. Sept des quinze personnes ont indiqué que les équipes d'approvisionnement pouvaient s'acquitter elles-mêmes de ce rôle et 3 estimaient que les autorités techniques pourraient l'assumer. Deux intervenants ont indiqué que les agents d'approvisionnement ou les autorités techniques exerçant le rôle de surveillant de l'équité devraient suivre une formation à cet égard.
On a également demandé aux clients directs et aux Services juridiques si le Programme de surveillance de l'équité complétait d'autres programmes, chevauchait avec d'autres programmes ou faisait double emploi avec d'autres programmes. Des 9 répondants, 3 ont indiqué que le programme complétait la fonction d'approvisionnement ou d'autres fonctions de surveillance, comme l'examen indépendant des approvisionnements réalisé par des experts-conseils sous contrat, la vérification et l'évaluation. Des 6 autres répondants, 3 autres clients directs estimaient que le programme exerçait un rôle se rapportant à juste titre à l'approvisionnement et 3 estimaient qu'il n'y avait pas de chevauchement ni de dédoublement.
Une mesure plus robuste du besoin continu est le nombre de problèmes d'équité relevés au cours d'une surveillance.
Selon les données du programme, les surveillants de l'équité ont présenté peu de rapports finaux avec réserve. Depuis 2009, seulement 8 missions sur environ 200 ont donné lieu à des rapports avec réserve.
Ces données semblent indiquer qu'à tout le moins, les processus d'approvisionnement importants, complexes ou à risque élevé de SPAC sont menés de façon équitable, ouverte et transparente et qu'il n'y a pas un grand besoin pour la surveillance de l'équité. Cependant, les surveillants de l'équité font parfois référence dans leurs rapports à des problèmes d'équité résolus durant le processus d'approvisionnement. Les responsables du programme ont récemment passé en revue quelque 200 rapports sommaires et y ont relevé 300 observations traitées au cours du processus d'approvisionnement.
Il est fort probable que le nombre réel de problèmes d'équité relevés et résolus était considérablement plus élevé, puisque le nombre ci-après ne comprend que les problèmes mentionnés dans les rapports sommaires. Selon les rapports sommaires, le fait que les surveillants de l'équité aient relevé au moins 300 problèmes d'équité au cours de ces missions donne à penser que les problèmes d'équité surviennent assez fréquemment et que le Programme de surveillance de l'équité joue un rôle dans la détermination et la résolution rapides de ces problèmes.
Il existe donc un besoin continu pour le Programme de surveillance de l'équité. La Politique sur la surveillance de l'équité est le facteur qui justifie le programme, puisque le nombre d'évaluations obligatoires n'a pas augmenté au fil du temps alors que le nombre d'évaluations facultatives est demeuré faible. Toutefois, même si seulement 8 rapports finaux faisant état de lacunes en matière d'équité ont été présentés depuis 2009, au moins 300 problèmes d'équité ont été relevés dans les rapports sommaires et corrigés dans le cadre du processus d'approvisionnement au cours de la même période. Le nombre de problèmes dans cette catégorie pourrait constituer une mesure plus robuste du besoin continu. Le trait commun qui s'est dégagé des entrevues est que la surveillance de l'équité donne lieu à une forte perception d'équité par rapport à l'équité réelle, mais qu'elle fournit aussi aux soumissionnaires et au public une assurance supplémentaire que les processus d'approvisionnement sont menés de façon équitable, ouverte et transparente.
Conclusions : Pertinence
Le Programme de surveillance de l'équité est pertinent puisqu'il appuie le résultat stratégique de saine intendance de SPAC. Bien qu'il n'existe aucune exigence législative ou réglementaire pour le programme, il est conforme à l'engagement formulé dans la lettre de mandat de la ministre de veiller à ce que les pratiques en matière d'approvisionnement cadrent avec les attentes du public concernant un gouvernement transparent et ouvert. Il est également conforme au discours du Trône qui stipule que « le gouvernement s'engage à être ouvert et transparent ». Il appuie la Loi fédérale sur la responsabilité qui vise à promouvoir des pratiques en matière d'approvisionnement ouvertes, équitables et transparentes. Il appuie également la perception d'équité dans le processus d'approvisionnement et permet de faire en sorte que les problèmes soient relevés et résolus en temps réel avant qu'ils ne deviennent potentiellement des lacunes.
Rendement
Le rendement est la mesure dans laquelle un programme réussit à atteindre les résultats escomptés, et la mesure dans laquelle il le fait de manière efficiente et rentable. L'évaluation portait sur ces deux aspects du rendement. Les résultats escomptés du programme sont indiqués ci-dessous et sont suivis d'une évaluation de la mesure dans laquelle ces résultats ont été atteints.
Résultat immédiat 1
Tous les processus d'approvisionnement pour lesquels une surveillance de l'équité est justifiée sont relevés et surveillés.
Ce résultat a été évalué au moyen d'entrevues auprès des responsables du programme et des cadres supérieurs de SPAC qui sont des clients du programme. De plus, l'équipe d'évaluation a comparé le nombre de contrats attribués entre les exercices 2016 à 2017 et 2017 à 2018 et ayant nécessité l'approbation du Conseil du Trésor, avec les données du programme sur les processus d'approvisionnement faisant l'objet d'une surveillance.
Comme il a été mentionné précédemment dans le présent rapport, un formulaire d'évaluation et de recommandation de la surveillance de l'équité doit être rempli pour toute activité ministérielle nécessitant l'approbation du Ministère ou du Conseil du Trésor.
En plus des activités ministérielles nécessitant l'approbation du Ministère ou du Conseil du Trésor, d'autres processus d'approvisionnement doivent aussi faire l'objet d'une surveillance en raison de leur sensibilité, de leur importance et de leur complexité. Les cotes de risque sont déterminées à l'aide d'instruments normalisés de gestion des risques de la direction générale dont les résultats indiqueront si un formulaire d'évaluation et de recommandation de la surveillance de l'équité est requis.
Presque tous les clients de niveau supérieur de SPAC qui ont répondu à une question d'entrevue à ce sujet ont indiqué que leurs procédures permettent de veiller à ce qu'un formulaire d'évaluation et de recommandation de la surveillance de l'équité soit rempli.
Comme l'indique le tableau 3, notre analyse des contrats attribués entre les exercices 2016 à 2017 et 2017 à 2018 appuie les points de vue des clients de niveau supérieur interrogés, du moins en ce qui concerne les processus d'approvisionnement ayant nécessité l'approbation du Conseil du Trésor. Au cours de cette période, 21 processus d'approvisionnement nécessitant l'approbation du Conseil du Trésor ont été menés, d'une valeur totale de 6 257 106 006 $.Note de bas de page 1 Par ailleurs, nous avons été en mesure de confirmer qu'un formulaire d'évaluation et de recommandation de la surveillance de l'équité a été rempli pour les 21 processus d'approvisionnement, soit 100 %, lesquels ont tous fait l'objet d'une surveillance. Note de bas de page 2
Processus d'approvisionnement | 2016 à 2017 | 2017 à 2018 | Total |
---|---|---|---|
Processus d'approvisionnement du Conseil du Trésor | 12 | 9 | 21 |
Nombre de processus d'approvisionnement ayant fait l'objet d'une surveillance | 12 | 9 | 21 |
Pourcentage de processus d'approvisionnement ayant fait l'objet d'une surveillance | 100 % | 100 % | 100 % |
Selon un examen des données sur les extrants du programme, tous les processus d'approvisionnement pour lesquels le programme recommande une surveillance font l'objet d'une surveillance, comme l'indique le tableau 4. Par exemple, au cours de l'exercice 2016 à 2017, des formulaires d'évaluation et de recommandation de la surveillance de l'équité ont été soumis pour 32 processus d'approvisionnement. Une surveillance a été justifiée pour 26 d'entre eux et 24 ont fait l'objet d'une surveillance. Dans les 2 autres cas, le processus d'approvisionnement a été annulé. De même, au cours de l'exercice 2017 à 2018, les 30 processus d'approvisionnement pour lesquels un formulaire d'évaluation et de recommandation de la surveillance de l'équité a été soumis et pour lesquels une surveillance était recommandée, ont fait l'objet d'une surveillance.
Formulaires et missions | 2016 à 2017 | 2017 à 2018 | Total |
---|---|---|---|
Nombre de formulaires soumis | 32 | 38 | 70 |
Nombre de formulaires soumis pour lesquels la surveillance n'était pas justifiée | 6 | 8 | 14 |
Nombre de formulaires soumis pour lesquels la surveillance était justifiée | 26 | 30 | 56 |
Nombre de missions de surveillance de l'équité | 26 | 30 | 56 |
D'après les discussions avec les responsables du programme, les projets pour lesquels l'autorité contractante recommande une surveillance pourraient ne pas faire l'objet d'une surveillance de l'équité s'ils répondent tout juste au seuil d'approbation du Conseil du Trésor, si leur niveau de sensibilité et de complexité est faible, et s'ils n'ont pas été visés par une demande spéciale. Par conséquent, une surveillance de l'équité n'était pas justifiée pour 6 des formulaires d'évaluation et de recommandation de la surveillance de l'équité soumis au cours de l'exercice 2016 à 2017 et pour 8 formulaires soumis au cours de l'exercice 2017 à 2018.
Les données qui précèdent indiquent que tous les processus d'approvisionnement nécessitant l'approbation du Ministère ou du Conseil du Trésor font l'objet d'une surveillance. Toutefois, les responsables du programme craignent que la politique actuelle ne soit pas suffisamment précise quant au moment où il faudrait remplir le formulaire d'évaluation et de recommandation de la surveillance de l'équité dans le contexte des risques. La décision de l'autorité contractante de remplir le formulaire pourrait ainsi être entachée d'une certaine part de subjectivité.
Par conséquent, les responsables du programme envisagent de réviser la politique de manière à exiger que le formulaire d'évaluation et de recommandation de la surveillance de l'équité soit rempli pour tous les grands projets de l'État et pour tous les projets classés au niveau 4 ou 5 en ce qui concerne le risque ou la complexité, compte tenu des évaluations normalisées des risques de la direction générale. La politique révisée exigerait également qu'un formulaire d'évaluation et de recommandation de la surveillance de l'équité soit rempli pour certaines catégories précises de biens ou de services qui, selon l'expérience passée, présentent un risque élevé.
Compte tenu de ce qui précède, il semblerait que la plupart des processus d'approvisionnement nécessitant une surveillance selon les critères de la politique actuelle font l'objet d'une surveillance, mais ce n'est pas le cas pour tous les processus d'approvisionnement. Il n'est cependant pas clairement établi si le libellé de la politique actuelle est suffisamment précis pour permettre de s'assurer que tous les processus d'approvisionnement à risque élevé, très complexes ou très sensibles sont évalués aux fins de surveillance. Par conséquent, le programme envisage de recommander des changements à la politique.
Résultat immédiat 2
Les problèmes d'équité sont relevés et résolus en temps opportun et au plus bas niveau décisionnel possible.
Ce résultat a été évalué au moyen d'un sondage auprès des autorités contractantes qui étaient d'anciens clients du programme, au moyen d'entrevues auprès des responsables du programme et des clients de niveau supérieur du secteur des approvisionnements et des secteurs de programme dont les processus d'approvisionnement ont fait l'objet d'une surveillance, et au moyen d'un examen des données du programme sur les problèmes d'équité, en particulier les données qui ont donné lieu à des rapports avec réserve.
Une grande majorité (88 % des 25 réponses) des autorités contractantes interrogées ont indiqué que les surveillants d'équité n'avaient pas relevé de problèmes d'équité quant à leurs processus d'approvisionnement. En revanche, 57 % des clients de niveau supérieur interrogés ont indiqué que des problèmes avaient bel et bien été relevés dans leur secteur.Note de bas de page 3 Ces derniers ont également indiqué que les problèmes relevés étaient presque toujours résolus en n'ayant presque pas recours au processus d'acheminement aux paliers hiérarchiques supérieurs.
Comme il est indiqué dans la section sur le besoin continu, depuis 2009, plus de 300 problèmes d'équité ont été relevés et résolus dans le cadre d'environ 200 processus d'approvisionnement faisant l'objet d'une surveillance. Cependant, seulement 8 rapports finaux avec réserve ont été rédigés à la suite des 200 missions. Cela laisse supposer que le processus d'acheminement aux paliers hiérarchiques supérieurs fonctionne.
Il semblerait donc que la grande majorité des problèmes d'équité relevés par les surveillants de l'équité sont résolus en temps réel au cours du processus d'approvisionnement, soit entre le surveillant de l'équité et l'autorité contractante ou par le biais du processus d'acheminement aux paliers hiérarchiques supérieurs.
Résultat immédiat 3
Les clients perçoivent les services de surveillance de l'équité comme étant opportuns et de qualité.
Ce résultat a été évalué au moyen du sondage auprès des clients directs (c'est-à-dire les autorités contractantes) et au moyen d'entrevues auprès des responsables du programme et des clients de niveau supérieur de SPAC. Les données tirées du sondage sur la satisfaction de la clientèle réalisé par le Programme de surveillance de l'équité auprès des nouveaux clients au cours de l'exercice 2017 à 2018 ont été également utilisées dans le cadre de l'évaluation.
Selon le sondage réalisé auprès des clients par l'équipe d'évaluation, 68 % des autorités contractantes ont indiqué qu'elles étaient satisfaites de la qualité des services fournis par le surveillant de l'équité quant à leur(s) processus d'approvisionnement particulier(s). De plus, 85 % des clients de niveau supérieur interrogés étaient satisfaits de la qualité des services fournis par le Programme de surveillance de l'équité.
Malgré ces taux de satisfaction plutôt positifs, les 2 groupes de clients ont critiqué certains surveillants de l'équité, en fonction de leur expérience personnelle.
Par exemple, 3 des 7 clients de niveau supérieur interrogés ont indiqué que, parfois, les observations du surveillant de l'équité n'étaient pas raisonnables. Deux clients de niveau supérieur ont formulé des commentaires sur le temps consacré à expliquer les problèmes au surveillant de l'équité afin qu'il comprenne le projet. Un autre cadre supérieur a formulé des commentaires sur le manque de compétences linguistiques en français des surveillants de l'équité.
Treize des quatorze clients de niveau supérieur qui ont répondu à une question d'entrevue sur la rapidité et la qualité des services de surveillance de l'équité ont indiqué qu'ils étaient satisfaits des services fournis par le personnel du Programme de surveillance de l'équité.
Au cours de l'exercice 2017 à 2018, le Programme de surveillance de l'équité a réalisé un sondage sur la satisfaction de la clientèle auprès des nouveaux clients. L'une des questions consistait à savoir si le personnel a répondu à leurs questions/préoccupations dans des délais raisonnables. Parmi les clients interrogés, 89 % étaient en accord avec cet énoncé. La rapidité d'exécution des services du Programme de surveillance de l'équité n'était pas un problème.
Compte tenu de ce qui précède, il semble que les clients sont en général satisfaits de la qualité globale et de la rapidité d'exécution du Programme de surveillance de l'équité. Dans quelques cas particuliers, les clients n'étaient pas totalement satisfaits du caractère raisonnable des observations en matière d'équité ou des connaissances du surveillant de l'équité sur le projet.
Résultat immédiat 4
Les leçons retenues dans le cadre de la surveillance de l'équité sont communiquées afin d'améliorer les pratiques en matière d'approvisionnement.
Afin d'évaluer ce résultat, nous avons examiné les documents et les données du programme, et nous avons obtenu des responsables du programme des renseignements sur les leçons retenues. Dans le cadre de nos entrevues avec les responsables du Programme de surveillance de l'équité ainsi que les clients directs et indirects de niveau supérieur de SPAC, nous leur avons posé des questions concernant l'incidence de la surveillance de l'équité sur les lignes directrices et les processus en matière d'approvisionnement. Nous avons inclus une question semblable dans notre sondage à l'intention des autorités contractantes de SPAC qui ont été clients du programme.
Nous avons demandé aux responsables du Programme de surveillance de l'équité à quelle fréquence ces leçons retenues ou d'autres activités relatives aux leçons retenues avaient été présentées aux autorités contractantes ou à d'autres personnes des secteurs de l'approvisionnement et aux secteurs du programme qui amorcent des activités d'approvisionnement, particulièrement celles qui présentent un risque élevé ou qui nécessitent l'approbation du Ministère ou du Conseil du Trésor. Les responsables du programme ont indiqué que, dans un sens, ils communiquent les leçons retenues de façon continue aux équipes d'approvisionnement, en fonction des problèmes d'équité relevés par le surveillant de l'équité dans le cadre leurs processus d'approvisionnement particuliers.
En ce qui concerne les initiatives plus officielles relatives aux leçons retenues et compte tenu des données fournies par le programme, ce dernier a tenu, au cours de l'exercice 2016 à 2017, 11 séances de sensibilisation dans le cadre desquelles un résumé général des leçons retenues a été présenté aux clients de SPAC, et en a tenu 3 au cours de l'exercice 2017 à 2018. Au total, 158 personnes ont participé à la séance tenue au cours de l'exercice 2016 à 2017, et 120 personnes ont participé à la séance tenue au cours de l'exercice 2017 à 2018.
Les leçons retenues présentées dans ces exposés étaient fondées sur un examen exhaustif des 200 rapports finaux sur les missions de surveillance de l'équité qui ont été réalisées depuis 2009. À l'issue de cet examen, le personnel du Programme de surveillance de l'équité a regroupé les quelque 300 problèmes d'équité potentiels qui ont été résolus durant le processus d'approvisionnement sous un certain nombre de thèmes communs. En voici les leçons retenues:
- obtenir la participation de l'industrie dès le début pour assurer la réussite du processus d'approvisionnement
- gérer les problèmes des entrepreneurs titulaires de manière efficace pour améliorer l'équité
- communiquer avec les soumissionnaires de manière uniforme et bien structurée
- se précipiter pour publier les documents d'approvisionnement est contre-productif
- présenter un compte rendu à tous les soumissionnaires, particulièrement à ceux qui n'ont pas été retenus, est une pratique exemplaire
Nous avons également demandé aux responsables du Programme de surveillance de l'équité et aux clients de niveau supérieur de SPAC s'ils étaient au courant de tout changement apporté aux lignes directrices ou aux processus en matière d'approvisionnement à la suite des problèmes d'équité relevés par les surveillants de l'équité au cours des 5 dernières années. Nous avons posé la même question aux autorités contractantes dans notre sondage; cependant, une seule personne a répondu à cette question.
Bien qu'aucun des clients de niveau supérieur n'ait pu relever de changements, les responsables du Programme de surveillance de l'équité ont indiqué qu'un changement a été apporté au Guide des approvisionnements afin qu'il soit obligatoire de présenter un compte rendu à tous les soumissionnaires après l'annulation d'une soumission et que des changements ont été apportés au libellé de plusieurs clauses du Guide des clauses et conditions uniformisées d'achat. Dans l'ensemble, il semblerait toutefois que très peu de changements ont été apportés aux politiques, aux lignes directrices ou aux pratiques en matière d'approvisionnement de SPAC à la suite d'une surveillance de l'équité.
Selon les responsables du programme, l'une des raisons pourrait être que l'examen exhaustif des leçons retenues effectué par le programme était un exercice ponctuel. Le Programme de surveillance de l'équité n'examine pas régulièrement les leçons retenues.
Une autre raison pourrait être que l'examen susmentionné ne semble pas avoir eu comme objectif de déterminer si les leçons retenues présentent des problèmes systémiques qui indiquent la nécessité de réviser les politiques ou les lignes directrices actuelles ou d'élaborer de nouvelles lignes directrices ou politiques. De plus, les responsables du programme ont indiqué qu'ils n'ont pas examiné et analysé systématiquement les problèmes d'équité dans l'optique de leur incidence sur les changements aux lignes directrices ou aux politiques.
En conclusion, le Programme de surveillance de l'équité a partiellement atteint ce résultat escompté. Certaines leçons retenues dans le cadre de la surveillance de l'équité ont été communiquées pour améliorer les pratiques en matière d'approvisionnement de SPAC. Toutefois, le Programme de surveillance de l'équité semble avoir eu des répercussions limitées sur les changements à apporter aux lignes directrices ou aux politiques en matière d'approvisionnement, en partie parce que les problèmes d'équité relevés au cours des missions de surveillance de l'équité ne sont pas systématiquement examinés dans l'optique de leur incidence sur les changements nécessaires aux politiques ou aux lignes directrices.
Résultat intermédiaire
Les activités d'approvisionnement faisant l'objet d'une surveillance sont perçues comme étant équitables, ouvertes et transparentes.
Ce résultat a été évalué au moyen d'entrevues auprès des responsables du Programme de surveillance de l'équité et des clients de niveau supérieur, au moyen d'un sondage auprès des autorités contractantes et au moyen d'un examen des documents et des données du programme.
Tous les responsables du Programme de surveillance de l'équité interrogés ont indiqué que le programme contribue à l'équité réelle et perçue du processus d'approvisionnement. Bien que les 13 clients de niveau supérieur qui ont répondu à une question d'entrevue à ce sujet aient tous convenu que la surveillance de l'équité augmente l'équité perçue, seulement 5 ont indiqué qu'elle augmentait également l'équité réelle. Toutefois, 6 des 8 clients de niveau supérieur de SPAC ont indiqué que les surveillants de l'équité avaient relevé des problèmes d'équité potentiels dans leurs processus d'approvisionnement et qu'ils étaient en accord avec ces observations.
Nous avons également demandé aux autorités contractantes si la surveillance de l'équité avait contribué à l'équité réelle ou perçue des processus d'approvisionnement. Sur les 25 clients qui ont répondu à ces questions, seulement 12 ont indiqué qu'elle avait augmenté l'équité réelle, tandis que 19 ont indiqué qu'elle avait augmenté l'équité perçue.
Comme il a été mentionné précédemment dans le présent rapport, depuis 2009, plus de 300 problèmes d'équité ont été relevés à la suite de la surveillance de l'équité de processus d'approvisionnement, dont tous ceux qui ont été signalés dans les rapports finaux avec réserve ont été résolus au cours du processus d'approvisionnement, à l'exception de 8. Le fait que ces nombreux problèmes d'équité aient été relevés et résolus durant le processus d'approvisionnement indique clairement que le Programme de surveillance de l'équité améliore l'équité réelle des processus d'approvisionnement faisant l'objet d'une surveillance.
Une autre mesure de contribution du Programme de surveillance de l'équité à l'équité réelle et perçue est la réduction du nombre de plaintes déposées par les soumissionnaires auprès d'organismes, comme le Tribunal canadien du commerce extérieur (TCCE), les Cours fédérales ou le Bureau de l'ombudsman de l'approvisionnement. Aucune donnée n'était disponible sur cette mesure. Cependant, nous avons demandé à divers intervenants interrogés ou sondés s'ils pensaient que c'était le cas. Selon certains, l'existence du Programme de surveillance de l'équité a permis de réduire le nombre de plaintes déposées auprès de ces organismes, alors que d'autres estimaient que ce n'était pas le cas.
Compte tenu de ce qui précède, il semblerait que le Programme de surveillance de l'équité contribue à assurer des processus d'approvisionnement équitables, ouverts et transparents, du moins selon les intervenants du programme. La plupart d'entre eux sont d'avis que le Programme de surveillance de l'équité contribue davantage à l'équité perçue des processus d'approvisionnement qu'à l'équité réelle. Qui plus est, depuis 2009, le programme a relevé plus de 300 problèmes d'équité dans les rapports sommaires, dont la résolution a contribué à améliorer l'équité, l'ouverture et la transparence des processus d'approvisionnement de SPAC.
Résultat stratégique
Le Programme de surveillance de l'équité contribue à offrir des programmes et des services centraux de première qualité qui assurent une saine intendance au profit de la population canadienne et qui sont adaptés aux besoins en matière de programmes des institutions fédérales.
Dans l'ensemble, le programme a atteint les résultats immédiats et intermédiaires escomptés. En veillant à ce que la surveillance de l'équité soit effectuée de manière opportune et efficace quand elle justifiée, le programme contribue à faire en sorte que les processus d'approvisionnement de SPAC soient équitables, ouverts et transparents, et soient perçus comme tels. En contribuant à la probité et à l'intégrité des activités d'approvisionnement, le Programme de surveillance de l'équité favorise une saine intendance au profit de la population canadienne et répond aux besoins en matière de programmes des institutions fédérales.
Conclusions : Rendement
Dans l'ensemble, le Programme de surveillance de l'équité atteint les résultats escomptés. La plupart des processus d'approvisionnement dont la surveillance est justifiée font l'objet d'une surveillance. Les clients perçoivent la surveillance de l'équité comme étant opportune et de qualité. Plus de 300 problèmes d'équité ont été relevés dans des rapports sommaires et résolus durant les processus d'approvisionnement. Ceux-ci ont servi de fondement à la définition d'un certain nombre de pratiques exemplaires. Compte tenu de ce qui précède et des points de vue des clients directs et indirects du programme, il semble que le programme contribue à l'équité réelle et perçue des processus d'approvisionnement et à une saine intendance au nom de SPAC.
Néanmoins, l'atteinte des résultats du programme pourrait être améliorée en révisant la politique actuelle, afin de la rendre plus précise en ce qui concerne les seuils de risque et de veiller à ce que d'autres types de processus d'approvisionnement particuliers exigeant la soumission d'un formulaire d'évaluation et de recommandation de la surveillance de l'équité en raison de leur sensibilité ou d'autres facteurs soient évalués. De plus, les examens des leçons retenues pourraient être utilisés efficacement pour relever les problèmes systémiques qui indiquent la nécessité d'apporter des changements aux politiques ou aux lignes directrices.
Efficience et économie
Afin d'évaluer l'efficience et l'économie, une analyse du coût moyen par mission de surveillance de l'équité a été réalisée dans le cadre de l'évaluation, en fonction des données financières et des données sur les extrants du programme. Des entrevues ont également été menées auprès des responsables du programme et d'autres intervenants.
Dans le cadre de l'évaluation, nous avons également tenté de comparer les coûts du Programme de surveillance de l'équité à ceux d'autres programmes comparables des gouvernements provinciaux, mais nous n'avons pas été en mesure d'obtenir des données financières sur ces programmes.
En nous servant des pistes de recherche susmentionnées, nous avons évalué l'efficience et l'économie par rapport aux indicateurs suivants :
- les coûts des missions de surveillance de l'équité par rapport à la valeur des processus d'approvisionnement faisant l'objet d'une surveillance
- le coût moyen par mission de surveillance de l'équité (change au fil du temps)
Coûts des missions de surveillance de l'équité par rapport à la valeur des processus d'approvisionnement faisant l'objet d'une surveillance
La plupart des clients du Programme de surveillance de l'équité interrogés ont indiqué que les coûts directs de la surveillance de l'équité (qu'ils remboursent au Programme de surveillance de l'équité) et leurs propres coûts administratifs pour assurer la liaison et la coordination avec le surveillant de l'équité et donner suite aux problèmes d'équité potentiels sont négligeables, bien qu'aucun d'entre eux ne possédait de renseignements exacts à cet égard.
L'analyse réalisée par l'équipe d'évaluation concernant les données sur les coûts appuie cette perception. L'évaluation a permis de comparer la valeur moyenne des processus d'approvisionnement de SPAC entre les exercices 2016 à 2017 et 2017 à 2018 qui ont fait l'objet d'une surveillance de l'équité avec les coûts moyens des services des surveillants de l'équité sous contrat pour ces processus d'approvisionnement. Sur la base de cette comparaison, l'évaluation a permis de constater que pour les exercices 2016 à 2017 et 2017 à 2018, les coûts des services des surveillants de l'équité s'élevaient en moyenne à 0,01 % de la valeur du processus d'approvisionnement, comme l'indique le tableau 5 ci-dessous. Le coût moyen par mission de surveillance de l'équité est très faible par rapport à la valeur du processus d'approvisionnement.
Coût par rapport à la valeur | 2016 à 2017 | 2017 à 2018 | Total |
---|---|---|---|
Valeur totale des processus d'approvisionnement faisant l'objet d'une surveillance | 3 652 845 600 $ | 2 604 260 406 $ | 6 257 106 006 $ |
Nombre de processus d'approvisionnement | 11note 1 du tableau 3 | 9 | 20 |
Valeur totale des contrats de surveillance de l'équité | 539 449 $ | 357 383 $ | 896 832 $ |
Valeur moyenne des contrats de surveillance de l'équité | 49 040 $ | 39 709 $ | 44 841 $ |
Ratio moyen des contrats de surveillance de l'équité par rapport à la valeur du processus d'approvisionnement | 0,01 % | 0,01 % | 0,01 % |
Tableau 5 : Coûts de la surveillance de l'équité par rapport à la valeur des processus d'approvisionnement du Conseil du Trésor faisant l'objet d'une surveillance entre les exercices 2016 à 2017 et 2017 à 2018 : Notes du tableau 3
|
Comme l'indique le tableau 5, le coût moyen des missions de surveillance de l'équité est très faible par rapport à la valeur moyenne des processus d'approvisionnement, et ce ratio varie considérablement d'une mission à une autre. Parmi les processus d'approvisionnement ayant fait l'objet d'une surveillance que nous avons examinés, les coûts des contrats de surveillance de l'équité variaient entre 24 358 $ et 105 427 $, et la valeur des contrats se situaient entre 0,0021 % et 0,2626 % de la valeur des processus d'approvisionnement. La valeur des processus d'approvisionnement du Conseil du Trésor visés par un seul contrat de surveillance de l'équité variait entre 22 995 000 $ et 2 747 982 752 $. Il y a peu de liens entre la valeur des processus d'approvisionnement et le coût des contrats de surveillance de l'équité. Cela va de soi puisque les activités liées à la surveillance sont, dans une certaine mesure, indépendantes de la valeur des processus d'approvisionnement.
Coût moyen des missions de surveillance de l'équité
L'équipe d'évaluation a comparé le coût moyen par mission de surveillance de l'équité pour les exercices entre 2013 à 2014 et 2017 à 2018 selon la même méthodologie que celle utilisée par les responsables du programme. Contrairement à le tableau 5, les missions nouvelles et en cours, qu'elles soient obligatoires ou facultatives, ont été incluses dans le calcul. Comme l'indique le tableau 6, les coûts totaux par mission de surveillance de l'équité (les coûts des services des surveillants de l'équité externes et les coûts internes du programme) ont diminué au cours des 5 dernières années, passant de 26 533 $ au cours de l'exercice 2013 à 2014 à 22 755 $ au cours de l'exercice 2017 à 2018.
Variable pour calculer le coût par mission de surveillance de l'équité | 2013 à 2014 | 2014 à 2015 | 2015 à 2016 | 2016 à 2017 | 2017 à 2018 |
---|---|---|---|---|---|
Équivalents temps plein | 6,73 | 7,31 | 6,86 | 5,7 | 5,51 |
Nombre de missions (nouvelles et en cours) | 76 | 74 | 81 | 79 | 85 |
Moyenne selon les dépenses totales du programme | 26 533 $ | 30 605 $ | 24 461 $ | 21 699 $ | 22 755 $ |
Coût moyen par mission de surveillance de l'équité | 13 289 $ | 17 044 $ | 11 719 $ | 11 535 $ | 14 060 $ |
Coûts internes moyens note 1 du tableau 4 | 13 243 $ | 13 561 $ | 12 743 $ | 10 165 $ | 8 695 $ |
Tableau 6 : Coût par mission de surveillance de l'équité : Notes du tableau 4
|
Au cours de la même période, le coût moyen des contrats de surveillance de l'équité par mission de surveillance de l'équité est passé de 13 289 $ au cours de l'exercice 2013 à 2014 à 17 044 $ au cours de l'exercice 2014 à 2015, pour baisser ensuite à 11 719 $ au cours de l'exercice 2015 à 2016. Par la suite, ce coût est passé à 14 060 $ au cours de l'exercice 2017 à 2018.
Le coût interne moyen (salaires, fonctionnement et entretien) par mission de surveillance de l'équité était de 13 243 $ au cours de l'exercice 2013 à 2014, mais a baissé à 8 659 $ au cours de l'exercice 2017 à 2018. Le volet le plus important de cette baisse est lié aux coûts salariaux, qui sont passés de 943 000 $ au cours de l'exercice 2013 à 2014 à 700 000 $ au cours de l'exercice 2017 à 2018. De plus, le nombre de nouvelles missions est passé de 47 au cours de l'exercice 2013 à 2014 à 26 au cours de l'exercice 2014 à 2015, et n'a pas dépassé 30 depuis (tableau 1).
Conclusions : Efficience et économie
En conclusion, le programme fonctionne de façon efficiente dans l'ensemble. Le programme est de petite envergure, avec des dépenses totales de 1,93 million de dollars au cours de l'exercice 2017 à 2018 ainsi que 5,5 équivalents temps plein. Le coût des contrats de surveillance de l'équité par rapport à la valeur des processus d'approvisionnement faisant l'objet d'une surveillance (0,01 %) est négligeable. Ces coûts sont récupérés auprès des clients. Les missions de surveillance de l'équité sont demeurées stables au cours des 4 dernières années, tandis que les coûts internes du programme ont baissé, principalement en raison des postes vacants. Parallèlement, les coûts des services des surveillants de l'équité sous contrat variaient entre 11 535 $ et 17 044 $ au cours de la période d'évaluation. Dans l'ensemble, le programme est économique. Bien que le programme fonctionne à peu de frais, il remplit un vaste mandat, car son existence a donné lieu à une équité réelle et perçue en matière d'approvisionnement.
Réponse de la gestion
La gestion de la DGS a eu l'occasion d'examiner le rapport d'évaluation et accepte les conclusions et les recommandations dans le cadre de notre engagement à l'égard de l'amélioration continue. Un plan d'action de la gestion comprenant les mesures proposées pour améliorer le rendement et l'efficience des activités de notre programme a été élaboré.
Le Programme des approvisionnements est d'avis qu'il s'agit d'une excellente occasion d'en tirer des leçons et d'améliorer les opérations.
Recommandations et plan d'action de la gestion
Recommandation 1
La sous-ministre adjointe (SMA), Direction générale de la surveillance, devrait apporter les changements actuellement envisagés à la Politique sur la surveillance de l'équité, afin de s'assurer que tous les processus d'approvisionnement à risque élevé, très sensibles et très complexes sont évalués en vue de déterminer s'ils doivent faire l'objet d'une surveillance, qu'ils exigent l'approbation du Conseil du Trésor ou non.
Plan d'action de la gestion 1
La Direction de la surveillance de l'équité prendra les mesures suivantes :
- mettre à jour la Politique sur la surveillance de l'équité afin de communiquer clairement les critères d'évaluation obligatoire de la surveillance de l'équité (niveau de sensibilité et de complexité); il s'agit notamment de veiller à remplir le Formulaire d'évaluation et de recommandation de la surveillance de l'équité pour les processus d'approvisionnement très complexes et/ou très sensibles qui ont été répertoriés par l'entremise de l'Outil d'évaluation de la complexité et des risques des projets ainsi que du processus d'évaluation des risques liés à l'approvisionnement
- réviser les pages intranet liées à la surveillance de l'équité en fonction de la Politique sur la surveillance de l'équité mise à jour
- sensibiliser la communauté de l'approvisionnement de Services publics et Approvisionnement Canada à la Politique sur la surveillance de l'équité
Recommandation 2
La SMA, Direction générale de la surveillance, devrait prendre des mesures pour s'assurer que les leçons retenues sont fondées sur une analyse de tous les problèmes d'équité relevés au cours d'une mission de surveillance et qu'un examen des leçons retenues est effectué régulièrement. De plus, les leçons retenues devraient être communiquées régulièrement à la Direction générale de l'approvisionnement maritime et de défense ainsi qu'à la Direction générale des approvisionnements, afin de les informer des changements aux politiques, aux lignes directrices, aux manuels d'approvisionnement et aux outils connexes pertinents.
Plan d'action de la gestion 2
La Direction de la surveillance de l'équité prendra les mesures suivantes :
- systématiser la collecte des leçons retenues recensées par les surveillants de l'équité
- préparer les évaluations trimestrielles des leçons retenues
- communiquer les leçons retenues :
- lors des réunions de lancement qui ont lieu au début de chaque activité de surveillance de l'équité
- à la haute direction à la fin de chaque projet
- aux spécialistes en approvisionnement pendant les séances de sensibilisation
Recommandation 3
Les SMA de la Direction générale de l'approvisionnement maritime et de défense ainsi que de la Direction générale des approvisionnements devraient veiller à ce que les politiques, les lignes directrices et les manuels d'approvisionnement, en plus des outils d'approvisionnement connexes élaborés, soient régulièrement examinés et mis à jour, s'il y a lieu, en fonction des problèmes d'équité systémiques relevés dans le cadre de l'analyse des leçons retenues du Programme de surveillance de l'équité.
Plan d'action de la gestion 3
Le Programme des approvisionnements élabora un mécanisme d'engagement entre le Programme des approvisionnements ainsi que la Direction de la surveillance de l'équité et de la gestion des conflits d'ordre commercial, afin de s'assurer que les observations découlant des évaluations et les problèmes d'équité systémiques sont relevés et abordés dans les instruments de politique et sur le plan opérationnel, et ce de façon régulière et au besoin.
Annexe A : Activités du programme
Voici un résumé des activités menées par Programme de surveillance de l'équité.
Politiques et services de soutien
- Élaborer et renouveler la Politique sur la surveillance de l'équité
- En 2011, le Programme de surveillance de l'équité a procédé à un examen approfondi et à une mise à jour du programme, ce qui a donné lieu à la révision de la Politique sur la surveillance de l'équité du Ministère en 2012. Le Programme de surveillance de l'équité procède actuellement à la mise à jour de la Politique sur la surveillance de l'équité afin de clarifier les exigences relatives à la portée de son application.
- Fournir des conseils et des directives aux clients et aux autres ministères du gouvernement
- Le Programme de surveillance de l'équité est le principal point de contact et le centre d'expertise en matière de surveillance de l'équité. Le Programme de surveillance de l'équité fournit des conseils et des directives aux autres ministères du gouvernement qui ont leur propre surveillant de l'équité ou qui prévoient faire appel à un surveillant de l'équité pour surveiller une activité entreprise au sein de leur ministère. La prestation de conseils et de directives aux autres ministères du gouvernement nécessite environ 10 % des ressources internes du Programme de surveillance de l'équité. Le Programme de surveillance de l'équité fournit également des conseils et des directives aux clients pour les aider à remplir les formulaires d'évaluation et de recommandation de la surveillance de l'équité.
- Informer la haute direction sur la surveillance de l'équité et lui formuler des recommandations à cet égard
- Le Programme de surveillance de l'équité reçoit les formulaires d'évaluation des clients, les examine, recueille de l'information et prépare des analyses afin d'appuyer la recommandation d'une décision du sous-ministre adjoint au sous-ministre (SM).
- Compiler et analyser les leçons retenues, et les communiquer à la haute direction et aux clients
- Les entrepreneurs en matière de surveillance de l'équité présentent les résultats attendus au Programme de surveillance de l'équité, notamment un document sur les leçons retenues à la fin de la mission. Ces documents sont compilés, analysés et distribués à la haute direction et aux groupes de clients.
- Offrir des séances d'information/de sensibilisation aux clients internes et aux autres ministères du gouvernement
- Le Programme de surveillance de l'équité organise des réunions de lancement, des séances de mise à jour et de sensibilisation, assure le suivi auprès des autorités contractantes en ce qui concerne le Rapport sur les perspectives d'approvisionnement en matière de défense, et consulte d'autres ministères du gouvernement ainsi que l'industrie, et collabore avec eux. De plus, le Programme de surveillance de l'équité élabore des exposés et les présente aux intervenants de la région de la capitale nationale et des régions.
Superviser les missions de surveillance de l'équité
- Établir et maintenir une méthode d'approvisionnement pour des services de surveillants de l'équité
- Le Programme de surveillance de l'équité élabore et établit des offres à commandes et des arrangements en matière d'approvisionnement pour des services de surveillants de l'équité. L'offre à commandes est une offre à commandes individuelle et nationale. L'offre à commandes a établi un cadre de référence officiel pour les missions de surveillance de l'équité. Seul le Programme de surveillance de l'équité est autorisé à faire des commandes subséquentes à l'offre à commandes et à l'arrangement en matière d'approvisionnement.
- Établir et gérer les contrats de surveillance de l'équité
- Lorsque le SM décide qu'une surveillance de l'équité est justifiée, le Programme de surveillance de l'équité établit un contrat à cet égard. Le cadre de référence et le modèle d'énoncé des travaux établissent les exigences générales et le Programme de surveillance de l'équité collabore avec le client à l'élaboration de l'énoncé des travaux, afin de fournir le contexte, de déterminer les activités visées et d'établir les résultats attendus. Le Programme de surveillance de l'équité évalue les ressources proposées en réponse à la commande subséquente. À l'acceptation d'une proposition, la Gestion du matériel émet le contrat. Une fois que le surveillant de l'équité a satisfait aux exigences contractuelles, les factures sont envoyées au Programme de surveillance de l'équité, qui paie ensuite l'entrepreneur et récupère par la suite le montant de la facture auprès du client.
- Faire connaître les rôles et les responsabilités des intervenants dans le cadre d'une mission de surveillance
- Le Programme de surveillance de l'équité organise des réunions de lancement et des séances de mise à jour, prépare des documents à distribuer et consulte périodiquement les autorités contractantes et les surveillants de l'équité.
- Fournir des conseils et du soutien aux clients
- Le Programme de surveillance de l'équité fournit des conseils et du soutien aux clients qui envisagent de participer à des missions de surveillance de l'équité ou qui y participent.
- Tenter de favoriser la résolution des lacunes potentielles en matière d'équité et fournir de l'aide à cet égard
- Lorsqu'il reçoit un avis de lacune potentielle en matière d'équité, le Programme de surveillance de l'équité recueille des renseignements et tente de favoriser la résolution du problème au niveau le plus bas possible. Pour ce faire, il suit un processus d'acheminement aux paliers hiérarchiques supérieurs. Si le problème n'est pas résolu par l'autorité contractante, il est progressivement acheminé au directeur, au directeur général et au sous-ministre adjoint, puis enfin au SM, au besoin.
- Informer la haute direction des missions de surveillance de l'équité
- Il incombe au Programme de surveillance de l'équité de veiller à ce que la haute direction soit informée de la publication imminente des rapports finaux avant leur publication sur le site Web du Ministère.
Annexe B: Modèle logique
Version textuelle
Cette annexe présente le modèle logique de l'évaluation du Programme de surveillance de l'équité. Le modèle logique présente les activités, les extrants, les résultats immédiats et le résultat intermédiaire du programme ainsi que le résultat stratégique de SPAC.
Activités
Le Programme de surveillance de l'équité comprend 2 secteurs d'activité :
- Politiques et services de soutien
- Superviser les missions de surveillance de l'équité
Les activités liées aux politiques et aux services de soutien ainsi qu'à la supervision des missions de surveillance de l'équité comprennent des activités de programme plus détaillées.
Politiques et services de soutien
L'activité liée aux politiques et aux services de soutien comprend les 5 activités suivantes :
- Élaborer et renouveler la Politique sur la surveillance de l'équité
- Fournir des conseils et des directives aux clients et aux autres ministères du gouvernement qui en font la demande
- Informer la haute direction de la surveillance de l'équité et lui formuler des recommandations à cet égard
- Compiler et analyser les leçons retenues, et les communiquer aux clients
- Offrir des séances d'information/de sensibilisation aux clients internes et aux autres ministères du gouvernement
Superviser les missions de surveillance de l'équité
L'activité de conformité comprend les 7 activités suivantes :
- Établir et maintenir une méthode d'approvisionnement pour des services de surveillants de l'équité
- Établir et gérer les contrats de surveillance de l'équité
- Faire connaître les rôles et les responsabilités des intervenants dans le cadre d'une mission de surveillance de l'équité
- Fournir des conseils et du soutien aux clients
- Tenter de favoriser la résolution des lacunes potentielles en matière d'équité et fournir de l'aide à cet égard
- Informer la haute direction des missions de surveillance de l'équité
- Publier les rapports indépendants sur la surveillance de l'équité
Extrants
L'activité liée aux politiques et aux services de soutien mène aux 8 extrants suivants :
- Mise à jour de la Politique sur la surveillance de l'équité
- Remplissage de formulaires d'évaluation et de recommandation de la surveillance de l'équité
- Comptes rendus verbaux et écrits à la haute direction
- Signature de la note de décision par le sous-ministre
- Élaboration de lignes directrices et d'outils
- Présentation d'exposés, tenue de séances de sensibilisation sur la surveillance de l'équité, fourniture de réponses aux demandes de renseignements
- Communication des leçons retenues à la haute direction et aux clients
- Mise en place de protocoles d'entente (autres ministères du gouvernement)
L'activité liée à la supervision des missions de surveillance de l'équité mène aux 8 extrants suivants :
- Mise en place d'offres à commandes, d'arrangements en matière d'approvisionnement et de contrats de surveillance de l'équité
- Tenue de réunions de lancement et de séances de mise à jour
- Documents sur les rôles et les responsabilités
- Fourniture d'énoncés de travaux aux entreprises
- Atteinte des résultats attendus par les entreprises de surveillance de l'équité
- Fourniture de conseils et de soutien aux clients
- Publication des rapports de surveillance de l'équité sur Internet
- Documents sommaires
Résultats immédiats
Le Programme de surveillance de l'équité comprend 2 secteurs d'activité qui ont chacun 2 groupes de résultat intermédiaire :
Le secteur d'activité des politiques et des services de soutien a 2 résultats immédiats :
- Tous les processus d'approvisionnement pour lesquels une surveillance de l'équité est justifiée sont relevés et surveillés
- Les problèmes d'équité sont relevés et résolus en temps opportun et au plus bas niveau décisionnel possible
La supervision des missions de surveillance de l'équité a 2 résultats immédiats :
- Les clients perçoivent les services de surveillance de l'équité comme étant opportuns et de qualité
- Les leçons retenues dans le cadre de la surveillance de l'équité sont communiquées afin d'améliorer les pratiques en matière d'approvisionnement
Résultat intermédiaire
Les 4 résultats immédiats des 2 secteurs d'activité contribuent au résultat intermédiaire suivant : les activités d'approvisionnement faisant l'objet d'une surveillance sont équitables, ouvertes et transparentes, et sont perçues comme telles
Résultat stratégique de Services publics et Approvisionnement Canada
Le résultat intermédiaire contribue au résultat stratégique de SPAC : des programmes et des services centraux de première qualité qui assurent une saine intendance au profit de la population canadienne et qui sont adaptés aux besoins en matière de programmes des institutions fédérales.
Annexe C : Au sujet de l'évaluation
Autorité
Le sous-ministre des Services publics et de l'Approvisionnement a approuvé cette évaluation, sur recommandation du Comité de vérification et d'évaluation, dans le cadre du Plan pluriannuel de vérification et d'évaluation axé sur les risques de 2018 à 2021.
Objectifs de l'évaluation
L'évaluation portait sur le Programme de surveillance de l'équité, exécuté par le Groupe de l'intégrité et de la gestion juricomptable de la Direction générale de la surveillance. Elle visait 2 objectifs :
- déterminer la pertinence du programme : le besoin continu du programme, son harmonisation avec les priorités du gouvernement et sa cohérence avec les rôles et responsabilités du gouvernement fédéral
- déterminer le rendement du programme : l'atteinte des résultats escomptés et la démonstration de l'efficience et de l'économie du programme
Approche
L'évaluation a été effectuée conformément à la Politique sur les résultats et à la Directive sur les résultats du Conseil du Trésor. Elle a été menée entre avril 2018 et mars 2019 et s'est déroulée en 3 phases : planification, examen et production de rapports. Les enjeux et les questions d'évaluation ont été évalués à l'aide des sources de données suivantes :
- Examen des documents
- Un examen initial des documents a permis de comprendre le programme et son contexte, et de faciliter la phase de planification. Les documents, incluant notamment des analyses de rentabilisation, des documents politiques et des lois, ont fait l'objet d'un examen, afin de mieux répondre aux questions d'évaluation pendant la phase de recherche.
- Analyse comparative
- Une analyse comparative des programmes de surveillance de l'équité des gouvernements provinciaux a été effectuée pour mettre en contexte le programme, afin de déterminer le fondement théorique du modèle adopté par le programme et de cerner des pratiques exemplaires et d'autres modèles de prestation. Une recherche en ligne a été réalisée dans les 10 provinces et des entrevues ont été menées auprès des responsables de 3 programmes de gouvernements provinciaux.
- Entrevues
- L'équipe d'évaluation a mené 12 entrevues auprès des gestionnaires et des employés de SPAC, tant de l'intérieur que de l'extérieur du programme. Elle a aussi mené 6 entrevues auprès des ministères et des organismes clients et 3 entrevues auprès des responsables de programmes de gouvernements provinciaux. L'analyse qualitative des entrevues a permis d'obtenir des renseignements sur les activités, les extrants, les résultats escomptés, les intervenants, la pertinence et le rendement du programme du point de vue des gestionnaires du programme, des clients et d'autres intervenants concernés.
- Sondage
- L'équipe d'évaluation a élaboré un sondage afin d'obtenir le point de vue des clients sur le rendement du programme. La liste des personnes-ressources a été établie à partir d'une liste d'autorités contractantes pour 43 missions de surveillance de l'équité qui ont pris fin au cours de l'exercice 2016 à 2017 ou 2017 à 2018. Le sondage a permis d'obtenir des renseignements sur les points de vue des clients concernant la qualité et la rapidité des services de surveillance de l'équité ainsi que sur une foule d'autres questions à l'appui de l'évaluation de l'atteinte des résultats du programme.
- Analyse financière
- L'évaluation a permis d'obtenir et d'examiner les données liées aux dépenses et aux ressources du programme entre les exercices 2013 à 2014 et 2017 à 2018. Nous avons également examiné les données financières et d'autres données tirées d'une analyse de rentabilisation préparée par le programme au cours de l'exercice 2014 à 2015 ainsi que d'un examen de l'efficience réalisé à l'appui de l'analyse de rentabilisation, afin d'examiner l'efficience et l'économie du programme en fonction de plusieurs mesures.
- Analyse de données
- Les données sur les extrants du programme concernant les projets nouveaux, en cours et terminés entre les exercices 2013 à 2014 et 2017 à 2018 ont été obtenues et examinées, afin de faciliter l'évaluation du besoin continu ainsi que de l'efficience et de l'économie.
Des données ont été obtenues sur le volume de plaintes déposées auprès du TCCE entre les exercices 2010 à 2011 et 2018 à 2019 en ce qui concerne les processus d'approvisionnement de SPAC. L'objectif était d'appuyer une analyse du rapport coût-efficacité du programme quant aux coûts qu'évite le gouvernement par rapport à ces plaintes.
Des données sur le nombre de processus d'approvisionnement de SPAC et la valeur de ceux-ci entre les exercices 2015 à 2016 et 2018 à 2019 ont été obtenues et utilisées, de même que des données du programme sur le nombre de projets de surveillance de l'équité et la valeur de ceux-ci, afin de déterminer la proportion de processus d'approvisionnement assujettis à une surveillance de l'équité. De plus, les données obtenues sur le nombre de processus d'approvisionnement nécessitant l'approbation du Conseil du Trésor et la valeur de ceux-ci ont été analysées, afin d'appuyer l'évaluation de l'atteinte des résultats immédiats.
Limites de la méthodologie
- Sondage
- Bien que l'enquête auprès des autorités contractantes ait permis de recueillir des constatations utiles, les résultats du sondage n'ont pu être utilisés dans certains secteurs en raison du faible taux de réponse à certaines questions. De plus, aucune recherche sur l'opinion publique n'a été menée pour obtenir le point de vue des Canadiens sur le rôle du Programme de surveillance de l'équité consistant à assurer l'équité, l'ouverture et la transparence des processus d'approvisionnement. Il s'agit donc des points de vue des clients directs et indirects du programme.
- Analyse comparative
- L'évaluation comprenait une recherche en ligne sur les programmes de surveillance de l'équité d'autres administrations, en particulier des gouvernements provinciaux. Par la suite, des entrevues ont été menées auprès de 3 des 5 gouvernements provinciaux ayant en place des programmes de surveillance de l'équité. En se fondant sur l'examen des documents du programme et les entrevues, l'équipe d'évaluation a déterminé que peu de leçons retenues ou d'innovations qui permettraient d'améliorer le Programme de surveillance de l'équité résident dans ces programmes. La plupart étaient similaires au Programme de surveillance de la l'équité sur le plan de la conception, mais avaient une portée plus limitée. Par conséquent, nous avons obtenu très peu de renseignements utiles pour l'évaluation.
Rapports
Les constatations ont été consignées dans une ébauche du rapport de la directrice. L'ébauche du rapport de la directrice a été fournie à la directrice générale du programme, à qui on a demandé de valider les faits et de commenter le contenu. Une ébauche du rapport du chef de l'évaluation a été préparée, puis transmise à la sous-ministre adjointe (Direction générale de la surveillance), qui agit à titre de bureau de première responsabilité, aux fins d'acceptation. Une ébauche du rapport du chef de l'évaluation a été fournie au sous-ministre adjoint de la Direction générale de l'approvisionnement maritime et de défense ainsi qu'à la sous-ministre adjointe de la Direction générale des approvisionnements, qui agissent à titre de bureau de seconde responsabilité, aux fins d'acceptation. Le bureau de première responsabilité et le bureau de seconde responsabilité devaient répondre par un plan d'action de la gestion. L'ébauche du rapport final, incluant le plan d'action de la gestion, sera présentée au Comité de la mesure du rendement, de l'évaluation et des résultats de SPAC aux fins d'approbation par le SM en mai 2019. Le rapport final sera ensuite soumis au Secrétariat du Conseil du Trésor, puis publié sur le site Web de SPAC.
Équipe de projet
L'évaluation a été réalisée par des employés du Bureau de l'évaluation de programme, sous la supervision de la directrice de l'évaluation et sous la direction générale du chef de l'évaluation.
Détails de la page
- Date de modification :