Annexe B : Analyse des dossiers de validation
B1.0 Introduction
Afin d’évaluer le rendement des examinateurs de dossiers et la concordance entre chacun, les dossiers médicaux et les données complémentaires de 13 sujets choisis au hasard ont été utilisés comme dossiers de validation. Les dossiers de validation ont été examinés par les trois examinateurs, ce qui a mené à l’établissement de trois formulaires de collecte de données pour chaque dossier de validation (soit un formulaire par examinateur). Pour chaque dossier de validation, un quatrième formulaire de collecte de données a été rempli par le spécialiste en médecine du travail, ce formulaire servant de document de référence aux fins de comparaison.
B2.0 Méthodes
B2.1 Procédures
Pour chaque dossier de validation, un tableur résumant le rendement de chaque examinateur par rapport au document de référence a été créé pour chaque champ de données du formulaire. Le spécialiste en médecine du travail a passé en revue les formulaires de collecte de données remplis par chaque examinateur, et chaque champ de données a été codé dans le tableur en utilisant l’un des cinq résultats possibles suivants :
- « Donnée exacte » : L’information saisie dans le champ de données par l’examinateur concorde avec celle entrée dans le champ de données correspondant dans le document de référence;
- « Erreur de donnée » : L’information saisie dans le champ de données par l’examinateur diffère de celle entrée dans le champ de données correspondant dans le document de référence;
- « Donnée créée » : L’examinateur a entré de l’information dans un champ de données laissé en blanc dans le document de référence;
- « Donnée omise » : L’examinateur n’a entré aucune information, alors qu’une information a été saisie dans le champ de données correspondant dans le document de référence;
- « Non comptabilisé » : Le champ de données de l’examinateur est lié d’une certaine manière à un champ de données connexe dans lequel l’information saisie par l’examinateur est erronée. À titre d’exemple, les résultats de la plus récente exploration fonctionnelle respiratoire (EFR), réalisée juste avant le 5 octobre 2004, devaient être entrés sur le formulaire. En plus du champ de données de la date, la section portant sur les épreuves fonctionnelles respiratoires réalisées avant l’incendie comprend 26 champs de données distincts devant servir à la saisie des différents paramètres liés à ces épreuves. Si l’examinateur a sélectionné la mauvaise EFR avant l’incendie (p. ex. a choisi l’EFR réalisée en janvier 2002 plutôt que celle datant de juin 2004), cette information serait alors codée comme une « erreur de donnée », et ce, même si l’examinateur a entré correctement l’information dans les champs sur les paramètres de l’EFR, car elle ne correspondrait pas à l’information saisie dans les champs correspondants du document de référence. Le cas échéant, le choix du mauvais élément d’information par l’examinateur ne serait toutefois considéré que comme une seule erreur : le champ de données de date serait codé « erreur de donnée », tandis que les 26 autres champs de données sur les paramètres de l’EFR seraient codés comme étant « non comptabilisés ». L’erreur de l’examinateur serait donc comptée comme une seule erreur, et non comme 27 erreurs.
Toutes les erreurs relevées (c.-à-d. « erreur de donnée », « donnée créée » et « donnée omise ») ont par la suite été classées selon qu’il s’agissait d’une erreur « majeure » ou d’une erreur « mineure ». Ce codage a été laissé à la discrétion du spécialiste en médecine du travail et visait à établir une distinction entre les erreurs sans conséquence (c.-à-d. les erreurs peu susceptibles d’influencer de façon importante les analyses futures) et les erreurs susceptibles de les influencer. Voici quelques exemples illustrant la différence entre des erreurs mineures et majeures :
- L’omission d’une affection médicale importante (p. ex. asthme, TSPT, etc.) serait considérée comme une erreur majeure, alors que l’omission d’une affection mineure spontanément résolutive (p. ex. une infection des voies respiratoires supérieures spontanément résolutive) serait considérée comme une erreur mineure;
- Une erreur dans la cote attribuée à un résultat (normal ou anormal) serait considérée comme une erreur majeure (p. ex. hémogramme qualifié de « normal », alors que les résultats se situent en dehors de la fourchette de référence normale);
- La valeur d’un paramètre de l’exploration fonctionnelle respiratoire dont l’écart par rapport à la valeur correspondante dans le document de référence serait de plus de 1 % ou de moins de 1 % serait considérée comme une erreur majeure;
- L’ajout ou l’omission d’une CERM importante ou d’un congé de maladie important (de plus de deux semaines) serait considéré comme une erreur majeure. En revanche, l’omission, par exemple, d’un congé de maladie de trois jours serait considérée comme une erreur mineure. L’ajout ou l’omission d’une CERM pour « inaptitude au service à bord d’un sous-marin » ou « inaptitude au service en mer », peu importe sa durée, serait considéré comme une erreur majeure;
- Une erreur manifeste, qui pourrait facilement être corrigée en se rapportant aux données saisies dans des champs de données contigus, serait considérée comme une erreur mineure. Par exemple, si le motif inscrit (dans la zone de texte) pour un congé de maladie était « laryngoscopie », mais que la catégorie de diagnostics correspondante (sélectionnée à partir du menu déroulant) était « cardiovasculaire », il s’agirait d’une erreur mineure. Dans une telle situation, la catégorie « cardiovasculaire » est adjacente à « ORL » (choix mieux approprié pour la laryngoscopie) dans le menu déroulant. Comme il est beaucoup plus probable que l’erreur ait été commise lors de la sélection dans le menu déroulant (que lors de la saisie du motif « laryngoscopie », car un autre motif aurait été indiqué si le congé de maladie avait véritablement été accordé pour un trouble cardiovasculaire), l’erreur est manifeste et la bonne valeur peut facilement être rétablie.
Un code « type de variable » a aussi été attribué à chaque champ de données sur le formulaire de collecte, dans le tableur sur les dossiers de validation créé par le chercheur principal. Les différents types de variables, ainsi que les critères utilisés pour déterminer si l’information saisie par l’examinateur dans un champ de données faisait partie de la catégorie « Donnée exacte » ou « Erreur de donnée », sont décrits ci-après :
- « Date » : S’entend de toutes les variables de date, qu’il s’agisse d’une date entrée dans un champ de données réservé à cette fin sur le formulaire de collecte des données ou d’une date inscrite dans une zone de texte dans la description d’antécédents médicaux. Si la date entrée par l’examinateur se situait à moins de deux jours de la date correspondante dans le document de référence, le code « Donnée exacte » était attribué. Dans les autres cas, l’entrée saisie par l’examinateur était codée « Erreur de donnée ».
- « Numérique » : Ce type de variable était attribué à tous les champs de données nécessitant la transcription directe d’une valeur numérique figurant dans le dossier médical d’un sujet sur le formulaire de collecte de données. Les résultats d’analyses de laboratoire ou les paramètres de l’exploration fonctionnelle respiratoire sont quelques exemples de variables numériques. Pour recevoir la mention « Donnée exacte », les données entrées par l’examinateur devaient correspondre exactement à celles figurant dans le document de référence.
- « Numérique – jugement » : Ce type de variable a été attribué précisément aux champs de données correspondant à la durée des congés de maladie ou des CERM et aux catégories médicales. Dans bien des cas, ces valeurs précises ne pouvaient être transcrites directement à partir d’un rapport de laboratoire (contrairement aux champs de données « numériques » simples), et devaient être établies à la lumière des notes manuscrites. De plus, sur le formulaire de collecte des données, la durée devait être indiquée en jours, alors que, dans les dossiers médicaux, la durée des congés de maladie ou des CERM, ainsi que les catégories médicales, étaient souvent exprimées en semaines ou en mois. Comme ces valeurs numériques exigeaient une plus grande réflexion et interprétation de la part de l’examinateur (et non une simple transcription de données), elles étaient classées dans la catégorie « Numérique – jugement » dans le tableur des dossiers de validation. Pour recevoir la mention « Donnée exacte », l’écart entre la valeur entrée par l’examinateur pour une variable « Numérique – jugement » et celle figurant dans le document de référence ne devait pas excéder un jour;
- « Catégorique » : Ce type de variable était attribué à tous les champs de données pour lesquels l’examinateur devait choisir une valeur parmi un ensemble de réponses possibles sur le formulaire de collecte des données. Les champs de données étaient présentés sous forme de listes déroulantes ou de boutons radio. Pour recevoir la mention « Donnée exacte », les données entrées par l’examinateur devaient correspondre exactement à celles du document de référence;
- « Texte libre – copier » : Ce type de variable était attribué à tous les champs de données pour lesquels l’examinateur devait copier textuellement l’information extraite de la source de données dans le champ de données correspondant sur le formulaire de collecte. Ces champs de données incluaient par exemple le lieu d’une affectation, le nom d’un médicament ou le nom d’une analyse. Pour recevoir la mention « Donnée exacte », on devait pouvoir raisonnablement déterminer que les données entrées par l’examinateur dans un champ « Texte libre – copier » équivalaient à celles du document de référence. En d’autres mots, les différences entre l’information entrée par l’examinateur et celle figurant dans le document de référence, dues à l’utilisation d’abréviations, à des fautes d’orthographe ou à d’autres nuances, ont été prises en compte et il n’était pas nécessaire que la correspondance soit « parfaite » pour que l’information soit qualifiée de « Donnée exacte ».
- « Texte libre – jugement » : Ce type de variable a été attribué à tous les champs de données pour lesquels l’examinateur devait interpréter des données contenues dans un dossier médical, puis les résumer sur le formulaire de collecte des données. Par exemple, pour remplir les zones de texte sur les antécédents médicaux, l’examinateur devait fournir un résumé textuel des antécédents du sujet. À partir du texte descriptif sur les antécédents médicaux, le chercheur principal devait recenser des événements médicaux précis, puis répartir chaque événement entre trois variables distinctes : la date de l’événement a été codée comme une variable « Date »; le diagnostic a été codé comme une variable « Texte libre – jugement » et une autre variable « Texte libre – jugement » a été incluse pour la saisie des renseignements supplémentaires, par exemple le traitement. Si la description de référence de l’événement était : « 16 juillet 2003, pneumonie; prescription (Rx) d’érythromycine » et que l’information entrée par l’examinateur indiquait : « 16 juillet 2003 : toux, dyspnée, radiographie anormale, diagnostic : pneumonie », cet événement serait codé « Donnée exacte » pour ce qui est de la variable date et de la variable de diagnostic « Texte libre – jugement », mais « Donnée omise » pour la variable « Texte libre – jugement » pour l’entrée des renseignements supplémentaires. Tout comme pour les variables « Texte libre – jugement », les abréviations, fautes d’orthographe et autres nuances ont été prises en compte dans l’évaluation des données saisies de l’examinateur. D’autres exemples de variables « Texte libre – jugement » incluent les motifs ou les descriptions des congés de maladie et des CERM et les catégories médicales.
B2.2 Analyses
Le tableur créé par le chercheur principal, Dr S. Tsekrekos, pour chaque dossier de validation faisait mention de tous les champs de données figurant sur le formulaire de collecte de données, et présentait les colonnes suivantes pour le codage de chaque champ de données :
- Type de variable (p. ex. date, numérique, etc.);
- Présent dans le document de référence (code binaire indiquant si le champ de données avait été rempli dans le document de référence);
- Deux colonnes pour chacun des trois examinateurs de dossiers : « Réponse » (p. ex. donnée exacte, erreur de donnée, donnée crée, etc.) et « Gravité de l’erreur » (mineure ou majeure).
Pour calculer le taux d’exactitude, le nombre de champs de données de l’examinateur cotés « donnée exacte » a été utilisé comme numérateur. Le dénominateur était le nombre de champs de données présents dans le document de référence, moins le nombre de champs de données « non comptabilisés » (voir la description précitée) pour cet examinateur. Pour illustrer ce calcul, supposons un document de référence hypothétique qui comporterait 500 champs de données remplis pour un dossier de validation. Le formulaire de collecte de données de l’examinateur pour ce même dossier de validation comporte 430 champs cotés « Donnée exacte ». Appliquons cet exemple à la discussion précitée sur les champs « non comptabilisés », où l’une des erreurs concernait les données entrées pour une épreuve fonctionnelle respiratoire (EFR) : l’examinateur avait sélectionné la mauvaise EFR dans le dossier médical, de sorte que la date et tous les paramètres de l’EFR différaient des données du document de référence. Le champ de date de l’EFR a été codé « erreur de donnée », mais les 26 champs correspondant aux paramètres de l’EFR, sur le formulaire de collecte de données de l’examinateur, ont été codés « non comptabilisés » (de sorte que l’erreur faite par l’examinateur en ne choisissant pas la bonne EFR a été comptée comme une seule erreur, et non comme 27 erreurs). Si l’on présume qu’il n’y a eu aucun autre champ de données « non comptabilisé » pour cet examinateur, le taux d’exactitude serait calculé ainsi : 430/(500 – 26) = 0,907 ou 90,7 %.
Si des champs de données d’un examinateur avaient été codés « donnée créée », le nombre d’erreurs dues à ces données créées était soustrait du nombre de champs de données « exactes », mais le dénominateur restait inchangé. Si l’on reprend l’exemple qui précède, pour un examinateur qui aurait également commis cinq erreurs dues à des « données créées », le calcul du taux d’exactitude se ferait alors comme suit : (430 – 5)/(500 – 26) = 0,897 ou 89,7 %.
Pour déterminer la concordance entre examinateurs, les cotes attribuées aux réponses (p. ex. « Donnée exacte », « Erreur de donnée », etc.) des examinateurs ont été comparées, et un code de concordance a été attribué :
- Concordance entre les trois examinateurs (tous ont obtenu le même résultat);
- Concordance uniquement entre les examinateurs 1 et 2 (résultat différent pour le troisième examinateur);
- Concordance uniquement entre les examinateurs 1 et 3 (résultat différent pour le deuxième examinateur);
- Concordance uniquement entre les examinateurs 2 et 3 (résultat différent pour le premier examinateur);
- Absence de concordance entre les trois examinateurs (les résultats des trois examinateurs diffèrent).
Il convient de préciser que le taux de concordance n’est pas nécessairement directement lié à l’exactitude (par rapport au document de référence). Par exemple, le code « concordance entre les trois examinateurs » serait attribué si les trois examinateurs avaient omis des données figurant dans un champ de données du document de référence. Dans la grande majorité des cas, il y a eu concordance entre les trois examinateurs ou entre deux examinateurs, leurs champs de données étant « exacts » par rapport au document de référence.
B3.0 Résultats
B3.1 Exactitude de l'examinateur de dossiers
Le tableau B1 résume le codage de chaque dossier de validation. À moins d’indication contraire, les chiffres indiqués dans le tableau B2 représentent le nombre de champs de données. L’exactitude est exprimée en pourcentage et correspond simplement au nombre de réponses « exactes » divisé par le dénominateur. Il convient de noter que les dénominateurs diffèrent du nombre de champs de données dans le document de référence, ce qui est dû à la présence de champs de données « non comptabilisés », ainsi qu’il est décrit ci-dessus. Le nombre d’erreurs majeures, qui varie de 0 à 9 selon l’examinateur et le dossier de validation, est également indiqué dans le tableau. Exprimée en pourcentage du nombre total d’erreurs (c.-à-d. le nombre total d’erreurs correspond au dénominateur duquel a été retranché le nombre de réponses « exactes »), la proportion des erreurs « majeures » par dossier de validation a varié de 0 % à 17,2 % du total des erreurs.
Les taux d’exactitude moyens des examinateurs 1, 2 et 3 se sont établis à 97,0 %, 92,6 % et 90,9 %, respectivement, après attribution d’un poids égal à tous les dossiers de validation (c.-à-d. moyenne simple des taux d’exactitude pour les 13 dossiers de validation). Comme le nombre de champs de données remplis dans le document de référence variait selon le dossier de validation (d’un creux de 347 à un sommet de 872), une mesure plus appropriée de « l’exactitude totale » serait le nombre total de bonnes réponses divisé par les dénominateurs totaux, après avoir fait la somme des résultats de tous les dossiers de validation. En utilisant cette méthode, on obtient des taux d’exactitude moyens de 96,8 %, 92,5 % et 90,7 %, respectivement. Lorsqu’on fait la somme des trois examinateurs en utilisant ces taux d’exactitude, on obtient un taux d’exactitude moyen total de 93,3 %. Si l’on tient compte du temps considérable nécessaire pour passer en revue le dossier médical d’un sujet (jusqu’à deux ou trois jours dans certains cas), ainsi que du nombre d’éléments d’information que l’examinateur devait entrer sur le formulaire de collecte de données, ce taux d’exactitude est jugé acceptable.
* À moins d’indication contraire, les chiffres dans le tableau correspondent au nombre de champs de données.
Ainsi qu’il est mentionné à la section 2.5.4, les deuxième et troisième examinateurs des dossiers de validation savaient que leur travail serait évalué. Pour cette raison, ils ont peut-être rempli leur formulaire avec plus de soin et de précision qu’ils ne l’auraient fait normalement. Si un tel effet était présent, l’évaluation des dossiers de validation pour déterminer l’exactitude des examinateurs aurait surestimé l’exactitude réelle des examinateurs.
Afin d’évaluer ce « biais d’exactitude », le rendement obtenu par un examinateur de dossiers lorsqu’il était premier examinateur d’un dossier de validation (évaluation à l’insu) a été comparé à celui obtenu lorsque ce même examinateur était deuxième ou troisième examinateur (levée de l’insu). Les résultats sont résumés dans le tableau B2. Si un biais d’exactitude était présent, il semble qu’il n’ait eu qu’un effet minime et qu’il ait essentiellement été observé chez l’examinateur 2, dont l’exactitude moyenne a été de 3 % supérieure après la levée de l’insu, comparativement à une hausse moyenne de 0,6 % pour l’examinateur 1 et à une baisse moyenne de 1,9 % pour l’examinateur 3. Lorsque le rendement des trois examinateurs est examiné globalement, une différence de seulement 0,2 % du taux d’exactitude moyen a été observée entre le premier examen fait à l’aveugle (93,3 %) et le deuxième ou troisième examen n’étant pas fait à l’aveugle (93,5 %). Ces résultats donnent à penser que les taux d’exactitude établis à partir des dossiers de validation brossent un tableau raisonnable de l’exactitude des examinateurs durant toute l’étude, c’est-à-dire durant l’examen des dossiers non utilisés à des fins de validation.
Tout comme l’effet lié à l’ordre d’examen du dossier de validation, l’effet de la complexité du dossier a été évalué. À cette fin, le nombre de champs de données remplis dans le document de référence a été utilisé comme indicateur de la complexité du dossier de validation. Plus ce nombre était élevé, plus l’information devant être extraite des dossiers médicaux des sujets et de la documentation complémentaire était abondante. L’examinateur aurait donc besoin de plus de temps pour remplir le formulaire de collecte des données, et la fatigue ou la baisse de concentration au fil du temps a pu avoir une incidence négative sur son exactitude.
Pour évaluer l’effet de la complexité du dossier, une comparaison a été faite entre le rendement d’un examinateur pour les trois dossiers de validation comportant le moins de champs de données et celui obtenu pour les trois dossiers qui en comportaient le plus. Les résultats de cette comparaison sont présentés dans le tableau B3. Comme on s’y attendait, le taux d’exactitude moyen pour les dossiers comportant le plus de champs de données a été légèrement inférieur (de 1,8 à 2,9 %) à celui associé aux dossiers comportant le moins de champs de données, et ce, pour les trois examinateurs. Lorsqu’on examine le rendement global des trois examinateurs, le taux d’exactitude moyen a été de 94,1 % pour les trois dossiers de validation comportant le moins de champs de données, ce qui est 2,4 % supérieur au taux d’exactitude moyen (91,7 %) obtenu pour les trois dossiers de validation comportant le plus de champs de données.
La possibilité que l’apprentissage influe sur l’exactitude de l’examinateur de dossiers a aussi été évaluée. Pour ce faire, le taux d’exactitude moyen associé aux trois premiers dossiers de validation évalués par un examinateur a été comparé au taux associé aux trois derniers dossiers évalués. Selon l’examinateur, de sept à douze mois se sont écoulés entre l’examen du premier dossier et l’examen du dernier dossier de validation.
Les résultats obtenus, qui sont présentés dans le tableau B4, donnent à penser à l’existence d’un léger effet dû à l’apprentissage chez les trois examinateurs, en particulier chez l’examinateur 2. Lorsqu’on examine le rendement global des trois examinateurs, le taux d’exactitude moyen a été de 92,2 % pour les trois premiers dossiers de validation examinés et de 93,1 % pour les trois derniers.
L’exactitude des examinateurs de dossiers a aussi varié en fonction du type de variable (p. ex. « date », « numérique », etc.). Ces données sont résumées dans le tableau B5. Comme on pouvait s’y attendre, un peu plus d’erreurs ont été relevées dans les champs de données qui exigeaient une plus grande réflexion ou interprétation de la part de l’examinateur (c.-à-d. « Numérique – jugement » ou « Texte – jugement ») que dans les champs où l’examinateur n’avait qu’à copier directement l’information ou à sélectionner une valeur parmi un choix de réponses (c.-à-d. « Numérique », « Catégorique », « Texte – copier »), comme l’indiquent les taux d’exactitude liés aux différents types de variables.
La variable « Date » est celle à laquelle a été associé le taux d’exactitude le plus faible; cela n’est toutefois pas uniquement dû à des erreurs faites par les examinateurs au moment de copier les données sur les dates. Ce taux tient également compte des erreurs dues à l’omission ou à la création de données liées à de multiples champs de données (p. ex. résultats d’analyses telles qu’un hémogramme ou une exploration fonctionnelle respiratoire); si le mauvais laboratoire ou le mauvais résultat d’analyse était indiqué sur le formulaire de collecte de données, cette erreur était alors imputée à la variable « date ».
B3.1 Concordance entre les examinateurs de dossiers
Le tableau B6 résume les données sur la concordance entre examinateurs pour chacun des dossiers de validation. En moyenne, les trois examinateurs ont indiqué les mêmes données pour un peu plus de 73 % des champs de données. Pour la grande majorité des champs de données des dossiers de validation, la concordance à 100 % a résulté du fait que les trois examinateurs avaient entré la bonne réponse (même réponse que dans le document de référence). En de rares occasions, la concordance à 100 % a été due au fait que les trois examinateurs avaient fait le même type d’erreur dans un champ de données particulier (p. ex. « Donnée omise »).
Il n’y a eu absence de concordance entre les trois examinateurs que pour moins de 1 % de l’ensemble des champs de données de tous les dossiers de validation (une situation où, par exemple, les trois cotes suivantes ont été attribuées pour un même champ de données : « Donnée exacte », « Erreur de donnée » et « Donnée omise »).
Les résultats de ces analyses de concordance donnent à penser que, dans l’ensemble, les trois examinateurs de dossiers ont extrait les données des dossiers médicaux et de la documentation complémentaire d’une manière comparable.
* Les chiffres ayant été arrondis, le total des rangées pourrait ne pas correspondre à 100 %.
Détails de la page
- Date de modification :