Sommaire – Évaluation de l'initiative Co-Lab de 2016-2017 à 2018-2019

Sur cette page

• Bref aperçu de l'initiative
• Questions et résultats de l'évaluation
• Recommandations
• Mesure à prendre en considération
• Méthode d’évaluation
• Limites de l’évaluation

Bref aperçu de l'initiative

L’initiative Co-Lab a été lancée en avril 2018. Il s’agit d’une approche novatrice en matière de programmation de services au public, car elle expérimente une nouvelle application Web de production participative pour la transcription, la traduction, l’étiquetage et la description des fonds d’archives de BAC. L’initiative vise à accroître le contenu numérique de la collection de BAC ainsi que son accessibilité et sa repérabilité, et à susciter l’intérêt de la population canadienne pour la collection.

L’initiative s’inscrit dans le Programme des services au public de BAC et est gérée par la Division des expositions et du contenu en ligne, Direction générale des services au public. La Direction générale de l’innovation et du dirigeant principal de l’information (DGIDPI) a participé à la conception et à la mise au point de l’application Web Co-Lab et offre un soutien technique continu.

Questions et résultats de l'évaluation

• Question # 1 : La conception de l’initiative de Co-Lab est-elle solide?

  Résultat : Atteint. Dans l’ensemble, la conception de Co-Lab est solide. La direction de Co-Lab a clairement défini le but de l’initiative et a établi des objectifs qui sont conformes à la mission et aux priorités de BAC. La valeur que produit l’initiative pour BAC, pour les utilisateurs de Co-Lab et pour la population canadienne est clairement énoncée.

• Question # 2 : La conception de l’initiative Co-Lab est-elle conforme aux pratiques exemplaires?

  Résultat : Partiellement. La conception de l’initiative est conforme aux pratiques exemplaires en matière de production participative des institutions culturelles. Cependant, sauf en ce qui concerne les exigences opérationnelles en matière de TI relatives au développement de l’application Web, il y a peu de documentation qui démontre la justification de l’initiative et le choix de l’approche.

  De plus, il reste à préciser certains aspects du rôle des utilisateurs. Enfin, ces derniers semblent avoir besoin de plus de soutien pour favoriser le développement et l’autogestion de la collectivité et assurer de bonnes relations en son sein.

• Question # 3 : L’initiative a-t-elle connu du succès à ce jour?

  Résultat : Partiellement. La mise en œuvre de l’initiative s’est bien déroulée. L’initiative a suscité l’intérêt du public, et une collectivité d’utilisateurs a commencé à se former. Dans l’ensemble, l’expérience des utilisateurs et du personnel de Co-Lab a été positive. Les défis liés à Co-Lab ont été bien accueillis, la participation a augmenté de façon constante depuis le lancement et le taux d’achèvement des tâches a été relativement stable. Néanmoins, Co-Lab ne dispose toujours pas d’un système de rapports robuste et les mesures du rendement demeurent à l’étape d’élaboration. Les résultats de l’évaluation offrent l’occasion à la direction de Co-Lab d’apporter des améliorations à l’initiative afin d’être mieux en mesure de démontrer son rendement et l’atteinte des résultats au fil du temps.

Recommandations

Recommandations, réponse de la gestion et mesures à prendre

Recommandations	Réponse de la gestion et mesures à prendre
À mesure que l’initiative évolue, documenter la réflexion stratégique entourant Co-Lab et ses orientations futures.	Créer une stratégie relative à Co-Lab qui comprend la vision et les objectifs de l’initiative et les résultats attendus (à court et à moyen terme). Élaborer un plan de mise en œuvre comportant les étapes principales et un échéancier, y compris les ressources requises (dollars et ETP). Documenter la prise de décisions dans les procès-verbaux des réunions ou les comptes rendus des décisions.
Définir et documenter le succès de l’initiative et la façon de le démontrer.	Dans la stratégie relative à Co-Lab : Définir ce qui constitue le succès de l’initiative; Préciser les méthodes et les données nécessaires pour démontrer le degré de réussite.
Voir à ce que le système de rapports, dont l’élaboration se poursuit, serve à définir des mesures du rendement utiles qui comprennent des indicateurs d’extrants et de résultats. Recueillir des données cohérentes sur le rendement à mesure que l’initiative évolue afin de démontrer, au fil du temps, les progrès dans l’atteinte des résultats attendus. Documenter la justification de tout changement important dans les mesures du rendement.	Déterminer des indicateurs de rendement qui mesurent à la fois les extrants et les résultats. Surveiller les indicateurs de rendement sur une base trimestrielle. Documenter les changements apportés aux paramètres de rendement au besoin.

Mesure à prendre en considération :

Mesure à prendre en considération 1 : Définir et documenter ce qui constitue une « contribution inappropriée » et adopter des lignes directrices claires sur le comportement des utilisateurs et les mesures à prendre en cas d’infraction.

Mesure à prendre en considération 2 : Un soutien accru devrait être offert à la collectivité des utilisateurs pour s’assurer qu’elle dispose de tout ce dont elle a besoin pour collaborer et s’autogérer efficacement.

Méthode d’évaluation

Les méthodes qualitatives et quantitatives suivantes et la triangulation des données ont été utilisées dans l'évaluation :

• La documentation administrative et financière de l'initiative, les statistiques de rendement et d'autres documents internes et externes pertinents ont été consultés;
• Huit entrevues avec des informateurs clés ont été menées auprès de gestionnaires et d'employés participant à la conceptualisation, à la gestion et à l'exécution de l'initiative;
• Une enquête a été menée auprès de 124 utilisateurs inscrits à Co-Lab.

L’évaluation visait à déterminer le bien-fondé de la conception de l’initiative, l’efficacité de sa mise en œuvre à ce jour et l’utilisation des ressources. Cette méthodologie respecte la Politique sur les résultats du Conseil du Trésor (2016).

Limites de l’évaluation

1. Peu de documentation et d'information sur ce qui définit le succès des initiatives ou des projets de production participative;
2. Aucune étude d'évaluation publiée connue sur l'expérimentation et les projets de production participative dans les institutions culturelles pour guider l'évaluation;
3. L'information sur le budget et les coûts des initiatives de production participative du secteur culturel est limitée, de sorte qu'aucune analyse comparative n'a pu être effectuée pour démontrer la pertinence des ressources consacrées à Co-Lab.