Concordance entre les résultats d'une enquête et les données de la Régie de l’assurance maladie du Québec (RAMQ) pour le diagnostic d’asthme et pour l’utilisation des services médicaux pour asthme chez les enfants - MCBC : Vol 34, No 4, novembre 2014

Volume 34 · numéro 4 · novembre 2014

Concordance entre les résultats d'une enquête et les données de la Régie de l’assurance maladie du Québec (RAMQ) pour le diagnostic d’asthme et pour l’utilisation des services médicaux pour asthme chez les enfants

C. Plante, M. Sc. (1); S. Goudreau, D.E.S.S. (1); L. Jacques, M.D. (1, 2, 3, 4); F. Tessier, M. Sc. (1)

https://doi.org/10.24095/hpcdp.34.4.09f

Cet article a fait l'objet d'une évaluation par les pairs.

Rattachement des auteurs :

  1. Direction de santé publique de l'Agence de la santé et des services sociaux de Montréal, Montréal (Québec), Canada
  2. Département de santé environnementale et santé au travail, École de santé publique, Université de Montréal, Montréal (Québec), Canada
  3. Clinique de médecine du travail et de l'environnement, Institut thoracique de Montréal et Hôpital Notre-Dame, Montréal (Québec), Canada
  4. Department of family medicine, Université McGill, Montréal (Québec), Canada

Correspondance : Céline Plante, Direction de santé publique de l'Agence de la santé et des services sociaux de Montréal, 1301, rue Sherbrooke-Est, Montréal (Québec) H2L 1M2; tél. : 514-528-2400, poste 3285; téléc. : 514-528-2459; courriel : cplante@santepub-mtl.qc.ca

Résumé

Introduction : L'objectif est d'évaluer la concordance, quant au diagnostic de l'asthme et à l'utilisation des services médicaux, entre les résultats d'une enquête réalisée à Montréal sur la santé respiratoire des enfants de 6 mois à 12 ans et la base de données de la Régie de l'assurance maladie du Québec (RAMQ). Nous avons voulu également évaluer l'effet du mode d'enquête (Internet ou téléphone).

Méthodologie : On a mesuré l'existence d'un diagnostic d'asthme pour 7 922 enfants. On a comparé également l'utilisation des services médicaux pour asthme (visites à l'urgence et hospitalisations) dans les douze derniers mois précédant l'enquête pour les 402 enfants considérés comme asthmatiques, à l'aide de deux groupes de diagnostics respiratoires et deux périodes de couplage. La concordance entre les deux sources a été évaluée à l'aide du coefficient kappa de Cohen (κ), de la sensibilité et de la spécificité ainsi qu'en mesurant, pour l'utilisation des services, les proportions d'accord, de sur-déclaration et de sous-déclaration.

Résultats : La concordance entre les deux sources (enquête et RAMQ) est modérée pour le diagnostic d'asthme (κ = 0,54 et κ = 0,60 selon la définition utilisée). La spécificité est élevée (93 % et 96 %) et la sensibilité variable (50 % et 65 %). Il y a une surdéclaration d'utilisation des services par les répondants, avec des coefficients kappa modérés (0,49 pour les visites aux urgences et 0,48 pour les hospitalisations), mais ces derniers augmentent lorsque l'on inclut davantage de diagnostics dans la définition et que l'on allonge (à 15 mois plutôt que 12) la période de couplage (0,59 pour les visites et 0,64 pour les hospitalisations). La sensibilité et la spécificité sont élevées. La concordance est légèrement plus élevée pour l'enquête par Internet que par téléphone.

Conclusion : Ces résultats valident l'utilisation des données d'enquête concernant l'asthme pédiatrique et l'utilisation des services principaux en relation avec cette maladie.

Mots-clés : asthme, maladies respiratoires, enfant, enquête sur la santé , validation, bases de données administratives

Introduction

Les enquêtes par questionnaire ou par entrevue téléphonique sont fréquemment utilisées pour obtenir des renseignements sur l'état de santé des populations et sur l'utilisation des services de santé, en particulier pour les maladies chroniques telles que l'asthme. La validité de l'information recueillie au moyen de ce type d'enquête est toutefois discutable. Les données d'enquête présentent en effet des sources d'erreurs non directionnelles (erreurs dans la datation, compréhension erronée des renseignements donnés par le médecin, etc.) et des sources d'erreurs directionnelles (désirabilité sociale, oublis, etc.). On peut toutefois évaluer la validité des données d'enquête portant sur l'utilisation des services et sur les diagnostics en les comparant aux bases de données administratives des services de santé.

L'objectif de cette étude est d'évaluer la concordance entre les résultats d'une enquête réalisée à Montréal (Québec) et la base de données de la Régie de l'assurance maladie du Québec (RAMQ) quant au diagnostic de l'asthme et à l'utilisation des services médicaux pour asthme chez les enfants asthmatiques. Les services médicaux analysés sont les consultations aux urgences et les hospitalisations (pour asthme) dans les 12 mois précédant l'enquête. L'effet du mode d'enquête (par Internet ou par téléphone) sur la concordance a aussi été évalué. Nous voulions confirmer grâce à cette recherche la pertinence de l'usage de données d'enquête pour les études sur l'asthme, en particulier chez les enfants, ainsi que pour d'autres maladies chroniques.

La littérature fait état d'une concordance variable entre les données autodéclarées et les données des bases administratives portant sur la présence de maladies chroniques et de leurs symptômes. Par exemple, Lix et ses collèguesNote du fin du texte 1 rapportent une concordance faible, pour le syndrome du côlon irritable. Martin et ses collèguesNote du fin du texte 2 ainsi que Robinson et ses collèguesNote du fin du texte 3 exposent, pour l'hypertension et le diabète, des concordances (ainsi qu'une sensibilité et une spécificité) élevées, mais des concordances moindres pour d'autres problèmes comme l'hypercholestérolémie. Kriegsman et ses collèguesNote du fin du texte 4 observent, dans un échantillon de personnes âgées, des concordances allant de faibles pour diverses formes d'arthrite et l'athérosclérose à bonne pour le diabète. Boyer et ses collèguesNote du fin du texte 5 ont trouvé des biais de déclaration substantiels à propos des symptômes d'une forme d'arthrite lors de la comparaison avec les dossiers médicaux. Les prévalences de maladies chroniques estimées à partir des données d'enquêtes pourraient donc être soit surestimées, soit sous-estiméesNote du fin du texte 4Note du fin du texte 5Note du fin du texte 6. Les données autodéclarées et les bases de données administratives concorderaient en général mieux pour les maladies chroniques demandant un recours médical répété (p. ex. le diabète) et moins bien pour les maladies difficiles à diagnostiquerNote du fin du texte 6Note du fin du texte 7.

L'étude de Lix et ses collèguesNote du fin du texte 1 dévoile une concordance modérée entre les données autodéclarées et les bases de données administratives, qui varie en fonction de la définition de l'asthme utilisée. Une étude de Huzel et ses collègues, réalisée au ManitobaNote du fin du texte 8, fait état d'une concordance modérée entre la prévalence (dans les 12 derniers mois précédant l'enquête) des symptômes autodéclarés d'asthme chez les adultes et les données inscrites dans une base de données administratives. Par ailleurs, une étude réalisée au ColoradoNote du fin du texte 9 sur plusieurs maladies chroniques indique, pour l'asthme, une bonne concordance entre des données d'enquête et les dossiers médicaux.

En ce qui concerne l'utilisation des services médicaux en lien avec les maladies chroniques, Palin et ses collèguesNote du fin du texte 10 ont montré que les individus ont tendance à surestimer leur utilisation personnelle pour les soins en santé mentale en Colombie-Britannique, mais une étude antérieure au Québec avait conclu que les réponses autodéclarées d'utilisation des services des patients souffrant de troubles psychiatriques étaient généralement conformes aux bases de données administrativesNote du fin du texte 11. Par ailleurs, Tisnado et ses collèguesNote du fin du texte 9 ont observé une concordance variable selon diverses maladies chroniques, dont l'asthme, pour l'utilisation des services.

Les études antérieures comparant les données d'enquête avec celles d'une base de données administratives ont concerné l'état de santé des répondants eux-mêmes : aucune n'a, à notre connaissance, comparé les données concernant les enfants en utilisant les réponses fournies par les tuteurs.

Méthodologie

Description de l'enquête

Les données proviennent de l'Enquête sur la santé respiratoire des enfants montréalais de 6 mois à 12 ansNote du fin du texte 12. Il s'agit d'une étude épidémiologique transversale qui a porté sur près de 8 000 enfants vivant sur l'île de Montréal (Québec). L'enquête visait à identifier les facteurs associés à la distribution des maladies respiratoires des enfants, à savoir l'asthme, la rhinite allergique et les infections respiratoires, afin d'orienter les actions préventives et les soinsNote du fin du texte 12. Les participants ont été sélectionnés à partir d'une liste aléatoire de 17 661 familles fournie par la RAMQ. Le questionnaire a été conçu à partir d'une revue de littérature portant sur les divers déterminants associés à ces maladies chez l'enfant, ainsi que sur la base de questionnaires écrits préparés pour d'autres étudesNote du fin du texte 13Note du fin du texte 14Note du fin du texte 15. La cueillette des données a été réalisée en 2006 par un mode de sondage mixte : par téléphone ou par Internet. Le taux global de réponse a été estimé à 60 %. L'échantillon final était de 7 964 sujets.

Définition des variables de l'enquête pour la comparaison

Pour confirmer le diagnostic d'asthme, nous avons utilisé la réponse affirmative à la question du sondage : « Un médecin vous a-t-il déjà dit que votre enfant faisait de l'asthme ? ». Les questions sur l'utilisation des soins médicaux liés à l'asthme ne concernaient qu'un sous-ensemble des enfants de l'enquête : elles n'étaient posées qu'aux tuteurs ayant répondu « oui » à cette première question ainsi qu'à la question « Au cours des 12 derniers mois, est-ce que l'enfant a eu une (ou des) crise(s) d'asthme? ». Nous avons créé les deux variables sur l'utilisation des services à partir des réponses à deux questions subséquentes de l'enquête, celle sur la fréquentation des urgences (« Au cours des 12 derniers mois, est-ce que l'enfant a dû se présenter à l'urgence à cause de son asthme? ») et l'autre sur les hospitalisations (« Au cours des 12 derniers mois, est-ce que l'enfant a dû être hospitalisé(e), au moins une nuit, à cause de son asthme? »). Le nombre exact de visites relevait d'une autre sous-question. Pour notre étude, dans le cas ou` le répondant avait répondu « oui » à la question principale mais « je ne sais pas » à celle portant sur le nombre de visites, la valeur « 1 » a été imputée (cela a concerné trois cas pour les visites aux urgences, aucun pour les hospitalisations).

Données de la RAMQ

Au Québec, les soins de santé sont couverts par la RAMQ. Chaque fois qu'un médecin rencontre un patient, il facture le coû t de la consultation à la RAMQ avec un code d'acte et de diagnostic. De ce fait, nous avons pratiquement la totalité des soins administrés, à l'exception des soins privés non facturés et des soins administrés par des médecins ne facturant pas à l'acte. Nous avons obtenu de la RAMQ, pour chaque consultation des enfants de l'enquête, le diagnostic, la date de la consultation, le lieu de la consultation et l'identifiant du médecin ainsi que sa spécialité, depuis la naissance de l'enfant jusqu'à la date à laquelle le questionnaire a été rempli, et ce, pour toutes les maladies du système respiratoire, y compris la pneumonie ou la bronchite (codes CIM-9 : 460 à 519, 786.0, 786.2; codes CIM-10 : J00 à J99, R06.0 à R06.8, R05.0). Ces données de facturation sont reliées à des actes médicaux effectués aussi bien lors d'une consultation en cabinet que d'une consultation à l'urgence ou d'une hospitalisation. Les enfants non inscrits à la RAMQ ont été considérés comme n'ayant jamais reçu de diagnostic d'asthme.

La confidentialité des données individuelles obtenues de la RAMQ a été assurée. Le jumelage des données de la RAMQ avec les données de l'enquête a été autorisé par la Commission d'accès à l'information du Québec.

Définition des variables de la RAMQ pour la comparaison
Diagnostic d'asthme

Un diagnostic d'asthme positif ou négatif a été attribué à chaque enfant, selon deux définitions. Dans la première définition, nous avons considéré comme asthmatique tout enfant associé à au moins un diagnostic d'asthme (code 493 de la CIM-9; code J45 de la CIM-10) dans la base de données de la RAMQ, que ce soit pour une consultation en cabinet ou aux urgences ou pour une hospitalisation. Si aucun diagnostic d'asthme n'a été repéré ou s'il n'y a eu aucune consultation, l'enfant a été considéré comme n'étant pas asthmatique. La seconde définition, plus restrictive, exige que l'enfant ait reçu au moins deux diagnostics d'asthme au cours de sa vie pour être classé comme asthmatique, étant donné que les médecins ne mentionnent pas toujours aux parents ce diagnostic lors d'une première consultation.

Utilisation des services médicaux

Deux définitions ont été utilisées pour les visites à l'urgence et pour les hospitalisations : un diagnostic d'asthme ou de bronchiolite (en bas âge cette dernière peut être confondue avec l'asthme) (CIM-9 : 493 et 466; CIM-10 : J45 et J21) et tout diagnostic respiratoire (CIM-9 : 460 à 519, 786.0, 786.2 et CIM-10 : J00 à J99, R060, R06.8, R05.0). Comme les questions sur les visites aux urgences et les hospitalisations concernent les 12 mois précédant l'enquête, les services et les hospitalisations extraits de la base RAMQ sont ceux ayant eu lieu au cours des 12 mois précédant la date de l'enquête, sachant que cette dernière peut différer selon l'enfant. Une période un peu plus longue, soit 15 mois, a aussi été testée, compte tenu de la difficulté pour le répondant de se remémorer précisément les dates de consultation. Les consultations en cabinet n'ont pas été retenues pour la comparaison.

Appariement des deux sources

Des échantillons différents ont été utilisés pour la comparaison de diagnostic et pour la comparaison d'utilisation des services médicaux. Pour le diagnostic d'asthme, les données des deux sources couplées ont concerné 7 922 enfants, étant donné que les données correspondant aux questions utilisées dans notre étude étaient manquantes pour 42 des 7 964. L'échantillon pour la comparaison des visites aux urgences et des hospitalisations était constitué de 402 enfants, en fonction des réponses aux sous-questions de l'enquête sélectionnées pour l'étude (voir plus haut la section sur la définition des variables de l'enquête pour la comparaison).

Analyses statistiques

La concordance entre les résultats de l'enquête et les données de la RAMQ pour le diagnostic d'asthme et pour l'utilisation des services médicaux a été évaluée à l'aide du coefficient kappa de CohenNote du fin du texte 16 (κ) ainsi que par le calcul de la sensibilité et celui de la spécificité. Nous avons utilisé l'échelle proposée par Landis et KochNote du fin du texte 17 pour qualifier le degré d'accord obtenu avec le coefficient kappa.

Le calcul de la sensibilité et de la spécificité exige que l'une des deux sources soit l'étalon de référence, contrairement au coefficient kappa qui indique le degré de concordance sans tenir compte de la validité des deux sources. La sensibilité indique le pourcentage d'éléments positifs correctement identifiés (vrais positifs) et la spécificité indique le pourcentage d'éléments négatifs correctement identifiés (vrais négatifs). La valeur du coefficient kappa augmente conjointement avec ces deux mesures. La spécificité et la sensibilité ont été calculées en prenant la base de données de la RAMQ comme étalon de référence. Bien que cette base de données puisse certainement contenir des erreurs, nous avons supposé qu'elle est plus précise qu'une enquête. L'étude de Wilchesky et collab.,Note du fin du texte 18 dans laquelle on a comparé la base administrative de la RAMQ avec des dossiers médicaux, conclut que les données de cette base sont hautement spécifiques, mais qu'elles ont une sensibilité moindre. Cette limitation est prise en compte dans la seconde définition de l'asthme que nous avons utilisée, celle qui nécessite deux inscriptions dans la base de la RAMQ.

Pour le nombre de visites aux urgences et le nombre d'hospitalisations, nous avons aussi évalué la concordance en comparant la proportion de sous-déclarations, de surdéclarations et d'accords parfaits en fonction du diagnostic considéré (asthme ou tout type de diagnostic respiratoire) et de la période de couplage (12 ou 15 mois). Nous avons également comparé, en utilisant le test z, les valeurs de concordance (coefficients kappa, sensibilité et spécificité) des enquêtes remplies en ligne et de celles conduites au téléphone.

Bien que les données de l'enquête aient été redressées pour le taux de réponse par sous-territoire de même que pour l'âge et le sexe des enfants, les analyses ont été réalisées sur les données non pondérées, puisque ce sont ces dernières qui servent à évaluer la concordance réelle entre les deux sources de données.

Résultats

Le tableau 1 fournit les caractéristiques personnelles et socioéconomiques des enfants des deux échantillons employés dans la comparaison des diagnostics d'asthme et dans celle de l'utilisation de services de santé (visites aux urgences et hospitalisations). Les deux échantillons sont raisonnablement similaires quant à ces caractéristiques.

TABLEAU 1
Caractéristiques des enfants participant à l'enquête sur la santé respiratoire, âgés de 6 mois à 12 ans, île de Montréal, Québec, 2006
Caractéristiques des
participants à
l'étude et de leurs familles
Échantillon total
(pour comparaison du
diagnostic)
(N = 7 922)
Sous-échantillon (pour
comparaison de l'utilisation
des services)
(n = 402)
Âge moyen (en années) (ÉT) 7,2 (3,3) 7,6 (2,9)
Sexe masculin (%) 51 59
Revenu familial annuelTableau 1 - Note a ($)
Premier quartile 25 000 à 34 999 25 000 à 34 999
Classe médiane 55 000 à 74 999 55 000 à 74 999
Dernier quartile 75 000 à 99 999 75 000 à 99 999
Plus haut niveau de scolarité atteint
Secondaire ou moins (%) 23,8 26,5
Cégep ou université (%) 76,2 73,5

Abréviation : ÉT, écart-type.

Note a

Le choix de réponses de revenus comprenait sept catégories : moins de 15 000 $, de 15 000 à 24 999 $, de 25 000 à 34 999 $, de 35 000 à 54 999 $, de 55 000 à 74 999 $, de 75 000 à 99 999 $, 100 000 $ et plus.

Retour à la référence de la note de bas de page a

Diagnostic d'asthme

Le tableau 2 présente la concordance entre les données de l'enquête et celles de la RAMQ pour les deux définitions de diagnostic d'asthme. L'accord est modéré (κ = 0,54) pour la première définition (un enregistrement de diagnostic d'asthme à la RAMQ au moins), mais il augmente (κ = 0,60) pour la seconde définition (deux diagnostics d'asthme enregistrés).

TABLEAU 2
Comparaison, entre les données autodéclarées sur l'asthme des participants de l'enquête sur la santé respiratoire, âgés de 6 mois à 12 ans, et la base de données de la RAMQ, île de Montréal, Québec, 2006
  Échantillon (N = 7 922) κ
(IC à 95 %)
Sensibilité (%)
(IC à 95 %)
Spécificité (%)
(IC à 95 %)
EnquêteTableau 2 - Note a (n) RAMQTableau 2 - Note b,Tableau 2 - Note c n
Échantillon total (N = 7922) 1280 1 diagnostic ou plus 2152 0,54
(0,52 à 0,57)
50,4
(48,3 à 52,5)
96,6
(96,1 à 97,1)
2 diagnostics ou plus 1330 0,60
(0,57 à 0,62)
65,2
(62,6 à 67,7)
93,7
(93,1 à 94,3)

Abréviations : CIM-9, Classification internationale des maladies, neuvième révision; CIM-10, Classification internationale des maladies, dixième révision; RAMQ, Régie de l'assurance maladie du Québec.

Note a

Réponse affirmative à la question : « Est-ce qu'un médecin a déjà dit que l'enfant faisait de l'asthme? ».

Retour à la référence de la note de bas de page a

Note b

Diagnostics posés lors de visites aux urgences ou en cabinet, ou lors d'hospitalisations.

Retour à la référence de la note de bas de page b

Note c

CIM-9 : 493; CIM-10 : J45.

Retour à la référence de la note de bas de page c

La mesure du diagnostic d'asthme grâce à l'enquête est très spécifique (spécificite supérieure à 93 %) mais modérément sensible (sensibilité entre 50 % et 65 %), ce qui indique généralement que les enfants classés non asthmatiques par l'enquête le sont aussi selon la RAMQ, mais qu'une certaine proportion d'enfants asthmatiques n'est pas rapportée par l'enquête. La sensibilité et la valeur du coefficient kappa augmentent lorsque l'on considère deux diagnostics à la RAMQ, alors que la spécificité diminue légèrement. En excluant de l'enquête les enfants qui prenaient des médicaments contre l'asthme mais qui n'avaient jamais reçu de diagnostic d'asthme dans l'enquête, la sensibilité a augmenté (à 54,9 % dans le cas d'un diagnostic et à 70,7 % dans le cas de deux diagnostics) avec la même spécificité (96,5 % et 93,5 % respectivement). Les taux de prévalenceNote du fin du texte * de l'asthme sont très similaires lorsque l'on utilise la seconde définition : 16,2 % (enquête) et 16,8 % (données de la RAMQ).

Les résultats sont presque similaires lorsque l'on compare les enfants de moins de 6 ans avec ceux de 6 ans et plus. Notons néanmoins qu'avec deux diagnostics, le coefficient kappa est légèrement plus élevé pour le groupe plus âgé – ce qui est attendu puisque le diagnostic est plus définitif chez les enfants plus âgés – mais cette différence n'est pas statistiquement significative (test z au seuil de 95 %; données non présentées).

Visites aux urgences et hospitalisations

Les résultats des analyses révèlent que le nombre de visites aux urgences et d'hospitalisations des enfants asthmatiques sont de manière générale sur-déclarées par les tuteurs (tableau 3). Les données de l'enquête font état de 295 visites aux urgences, alors qu'on dénombre entre 122 et 240 consultations (selon la période et les diagnostics considérés) dans la base de la RAMQ. L'accord est meilleur quand on utilise une période de 15 mois ou quand on élargit la liste des diagnostics à tous les diagnostics respiratoires des dossiers de la RAMQ (plutôt que d'utiliser les diagnostics d'asthme et de bronchiolite seulement), mais il demeure encore 18 % de plus de visites déclarées par les tuteurs dans l'enquête que ce que recense la RAMQ. Les résultats pour les hospitalisations indiquent une légère tendance des tuteurs à sur-déclarer, mais la proportion de sur-déclaration est semblable à celle de sous-déclaration lorsqu'on considère tous les diagnostics respiratoires et la période de 15 mois (tableau 3).

TABLEAU 3
Comparaison, entre les données autodéclarées de l'enquête et la base de données de la RAMQ, du nombre de visites aux urgences et d'hospitalisations chez les enfants ayant eu une crise d'asthme, île de Montréal, Québec, 2006
Enquête (n) RAMQ Accord, % Sous-déclaration, % Sur-déclaration, %
Définition n
Visites aux urgences
295 Asthme ou bronchioliteTableau 3 - Note aTableau 3 - Note b 122 69,9 3,7 26,4
Tout diagnostic respiratoireTableau 3 - Note bTableau 3 - Note c 155 74,6 3,7 21,6
Asthme ou bronchioliteTableau 3 - Note aTableau 3 - Note d 188 71,6 5,5 22,9
Tout diagnostic respiratoireTableau 3 - Note cTableau 3 - Note d 240 76,9 5,5 17,7
Hospitalisations
63 Asthme ou bronchioliteTableau 3 - Note aTableau 3 - Note b 18 91,5 0,3 8,2
Tout diagnostic respiratoireTableau 3 - Note bTableau 3 - Note c 26 90,8 2,7 6,5
Asthme ou bronchioliteTableau 3 - Note aTableau 3 - Note d 49 91,8 1,0 7,2
Tout diagnostic respiratoireTableau 3 - Note cTableau 3 - Note d 66 90,8 4,0 5,2

Abréviations : CIM-9, Classification internationale des maladies, neuvième révision; CIM-10, Classification internationale des maladies, dixième révision; RAMQ, Régie de l'assurance maladie du Québec.

Note a

CIM-9 : 493 et 466; CIM-10 : J45 et J21.

Retour à la référence de la note de bas de page a

Note b

Au cours des 12 mois précédant l'enquête.

Retour à la référence de la note de bas de page b

Note c

CIM-9 : 460 à 519, 786.0, 786.2; CIM-10 : J00 à J99, R060, R06.8, R05.0.

Retour à la référence de la note de bas de page c

Note d

Au cours des 15 mois précédant l'enquête.

Retour à la référence de la note de bas de page d

Pour l'occurrence d'une visite et plus aux urgences (on compare l'absence de visite à la présence d'une visite ou plus), le coefficient kappa se situe entre 0,49 et 0,59, ce qui est le signe d'un accord modéré entre les deux sources de données (tableau 4). La sensibilité et la spécificité sont bonnes. Le coefficient kappa pour l'occurrence d'une hospitalisation ou plus (par opposition à l'absence d'hospitalisation) suggère un accord modéré pour les diagnostics d'asthme et de bronchiolite dans les douze mois précédant l'enquête (κ = 0,48) et un bon accord pour tout diagnostic respiratoire dans les 15 mois précédant l'enquête (κ = 0,64) (tableau 4). Autant pour les visites aux urgences que pour les hospitalisations, les valeurs de sensibilité et de spécificité sont optimales lorsque l'on utilise pour la mesure une période de 15 mois et tout diagnostic respiratoire dans les données de la RAMQ (tableau 4).

TABLEAU 4
Comparaison, entre les données de l'enquête et la base de données de la RAMQ, de l'occurrence d'une consultation aux urgences ou plus et d'une hospitalisation ou plus, parmi les enfants ayant eu une crise d'asthme, île de Montréal, Québec, 2006
Enquête
(1 déclaration
ou plus) (n)
RAMQ κ
(IC à 95 %)
Sensibilité (%)
(IC à 95 %)
Spécificité (%)
(IC à 95 %)
Définition n
Visites aux urgences
145 1 diagnostic d'asthme ou bronchiolite ou plusTableau 4 - Note aTableau 4 - Note b 74 0,49 (0,40 à 0,57) 90,5 (81,7 à 95,3) 76,2 (71,3 à 80,5)
1 diagnostic respiratoire ou plusTableau 4 - Note bTableau 4 - Note c 101 0,56 (0,48 à 0,64) 84,2 (75,8 à 90,0) 80,1 (75,2 à 84,2)
1 diagnostic d'asthme ou bronchiolite ou plusTableau 4 - Note aTableau 4 - Note d 87 0,53 (0,44 à 0,61) 87,4 (78,8 à 92,8) 78,1 (73,2 à 82,3)
1 diagnostic respiratoire ou plusTableau 4 - Note cTableau 4 - Note d 122 0,59 (0,51 à 0,68) 79,5 (71,5 à 85,7) 82,9 (78,0 à 86,8)
Hospitalisations
45 1 diagnostic d'asthme ou bronchiolite ou plusTableau 4 - Note aTableau 4 - Note b 17 0,48 (0,33 à 0,64) 94,1 (73,0 à 99,0) 92,5 (89,4 à 94,7)
1 diagnostic respiratoire ou plusTableau 4 - Note bTableau 4 - Note c 24 0,58 (0,43 à 0,72) 87,5 (69,0 à 95,7) 93,7 (90,7 à 95,7)
1 diagnostic d'asthme ou bronchiolite ou plusTableau 4 - Note aTableau 4 - Note d 23 0,55 (0,41 à 0,70) 87,0 (67,9 à 95,5) 93,4 (90,4 à 95,5)
1 diagnostic respiratoire ou plusTableau 4 - Note cTableau 4 - Note d 32 0,64 (0,51 à 0,77) 81,3 (64,7 à 91,1) 94,9 (92,1 à 96,7)

Abréviations : CIM-9, Classification internationale des maladies, neuvième révision; CIM-10, Classification internationale des maladies, dixième révision; RAMQ, Régie de l'assurance maladie du Québec.

Note a

CIM-9 : 493 et 466; CIM-10 : J45 et J21.

Retour à la référence de la note de bas de page a

Note b

Au cours des 12 mois précédant l'enquête.

Retour à la référence de la note de bas de page b

Note c

CIM-9 : 460 à 519, 786.0, 786.2; CIM-10 : J00 à J99, R060, R06.8, R05.0.

Retour à la référence de la note de bas de page c

Note d

Au cours des 15 mois précédant l'enquête.

Retour à la référence de la note de bas de page d

Comparaison selon le mode de réponse à l'enquête

Les coefficients kappa portant sur le diagnostic sont plus élevés pour les réponses par Internet que pour celles par téléphone : respectivement 0,56 et 0,51 pour la première définition (un seul diagnostic à la RAMQ), et respectivement 0,71 et 0,65 pour la seconde définition (deux ou plus diagnostics inscrits; données non présentées). La différence est significative au seuil de 95 % pour la première définition seulement. La sensibilité est aussi légèrement plus élevée pour l'enquête par Internet que par téléphone (52,6 % contre 48,4 % pour la première définition et 67 % contre 63 % pour la seconde définition), mais ces différences ne sont pas statistiquement significatives au seuil de 95 %. Les spécificités sont semblables et les prévalences de la maladie sont similaires entre les deux modes.

Pour l'utilisation des services médicaux (visites aux urgences et hospitalisations), les sensibilités et les spécificités sont similaires dans les deux modes (différences non significatives au seuil de 95 %; données non présentées). Les coefficients kappa ne diffèrent pas non plus significativement. Notons toutefois que le faible effectif de l'échantillon de l'utilisation des services médicaux a donné des intervalles de confiance larges autour des estimations.

Analyse

Cette étude visait à valider, en les comparant avec la base de données de la RAMQ, les résultats d'une enquête réalisée à Montréal (Québec) auprès de tuteurs d'enfants de 6 mois à 12 ans portant sur le diagnostic d'asthme et, au sein de la souspopulation des enfants asthmatiques, sur le nombre de visites aux urgences et d'hospitalisations pour asthme au cours des 12 mois précédant l'enquête.

Diagnostic d'asthme

À la lumière des résultats de la comparaison entre les données de l'enquête et celles de la RAMQ, il ressort une bonne concordance (κ = 0,60) quant au diagnostic d'asthme si l'on utilise une définition exigeant deux diagnostics présents dans la base de la RAMQ. Si l'on considère la RAMQ comme étalon de référence, la spécificité est élevée alors que la sensibilité est moyenne. La sensibilité a été en partie influencée par l'exclusion des enfants qui prenaient des médicaments contre l'asthme mais qui n'avaient jamais reçu de diagnostic d'asthme dans l'enquête.

Des études comparables mettent en lumière des concordances variables, de faibles à bonnes, entre les diagnostics pour les maladies chroniques basés sur des données autodéclarées et les bases de données administratives d'hospitalisation et de facturationNote du fin du texte 3Note du fin du texte 7Note du fin du texte 8. Dans d'autres études, la concordance avec les bases de dossiers médicaux est bonneNote du fin du texte 2Note du fin du texte 9. Kriegsman et coll.Note du fin du texte 4 ont pour leur part montré une concordance élevée entre des données de questionnaires aux patients et de questionnaires aux médecins généralistes, pour la majorité des diagnostics de maladies chroniques. Pour l'asthme spécifiquement, les conclusions de notre étude sont similaires à celles des études publiées, qui concernent toutefois les adultes. En effet, rappelons que Lix et ses collèguesNote du fin du texte 1 ont observé une concordance modérée (estimée à l'aide du coefficient kappa) entre diagnostics déduits d'une enquête et de données d'hospitalisation et de facturation de prescriptions. Huzel et collNote du fin du texte 8 ont aussi conclu à une concordance modérée pour le diagnostic d'asthme entre données autodéclarées et bases administratives de facturation au Manitoba en utilisant le coefficient kappa. L'étude de Tisnado et ses collèguesNote du fin du texte 9 a montré quant à elle une bonne concordance (données autodéclarées et dossiers médicaux au Colorado) selon le coefficient kappa de Cohen, la sensibilité et la spécificité.

D'autre part, notre étude révèle que la concordance varie selon les définitions de la maladie : une définition exigeant deux diagnostics d'asthme dans la base de données administratives a un meilleur accord avec les résultats autodéclarés par les tuteurs que la définition à un seul diagnostic. Cela peut s'expliquer par le fait que le premier diagnostic n'est pas nécessairement communiqué par le médecin aux parents, soit parce que ce dernier use de prudence avant d'informer les parents et attend une seconde visite à la suite des examens diagnostiques demandés, soit parce qu'il considère qu'il pourrait s'agir d'un bronchospasme transitoire. Les prévalences de l'asthme sont similaires dans les deux sources lorsque l'on utilise la définition à deux diagnostics inscrits dans la base de la RAMQ. Les travaux de Lix et ses collèguesNote du fin du texte 1 démontrent aussi une variation de la concordance selon la définition utilisée, mais la définition incluant deux diagnostics n'aboutit pas pour l'asthme à une meilleure concordance entre les deux sources de données.

Certaines études suggèrent que la concordance serait moindre pour les maladies à diagnostics complexes ou difficilesNote du fin du texte 6Note du fin du texte 7, ou dans les cas ou` médecins et patients n'ont pas la même compréhension de la définition de la maladie1,Note du fin du texte 1Note du fin du texte 9. Le fait que l'asthme soit une maladie dont le diagnostic n'est pas toujours aisé, surtout chez les jeunes enfants, pourrait en partie expliquer une partie des cas non concordants constatés ici. L'estimation de diagnostics complexes par le biais d'enquêtes serait par conséquent plus difficile.

Utilisation des services médicaux

L'étude a montré que le nombre de visites aux urgences et le nombre d'hospitalisations déclarées dans l'enquête sont surestimés par rapport aux données de la base de la RAMQ. L'accord selon le coefficient kappa est modéré lorsque l'on se restreint à l'occurrence ou non d'une visite au moins (et non au nombre exact de visites), ce qui donne aussi une bonne sensibilité et une bonne spécificité. Il est possible que le tuteur confonde une consultation à l'urgence et une hospitalisation lorsque l'enfant est gardé pour une courte période d'observation, ce qui dans ce cas aurait pour effet de surestimer la fréquence d'hospitalisation rapportée par les tuteurs. Ce type d'erreur peut être négligeable si l'on s'intéresse au degré de maîtrise ou de sévérité de l'asthme de l'enfant, mesuré par le fait que ce dernier ait eu besoin, au moins à une reprise dans l'année, d'un suivi médical d'urgence.

Palin et ses collèguesNote du fin du texte 10 ont aussi constaté une sur-déclaration des visites pour soins en santé mentale dans l'enquête sur la santé dans collectivités canadiennes (ESCC) en comparaison des dossiers administratifs du régime de soinsmédicaux (Medical Services Plan) de la Colombie-Britannique. Notre étude permet aussi d'observer unemeilleure concordance, selon les valeurs de kappa, pour les visites aux urgences et les hospitalisations pour asthme et bronchiolite chez les enfants asthmatiques en utilisant une intervalle de temps plus long (15 mois au lieu de 12 mois). Ce constat a aussi été fait par d'autres chercheursNote du fin du texte 3. La concordance s'améliore également en élargissant la liste des diagnostics à tous les diagnostics respiratoires : en présence d'une infection respiratoire, le médecin pourrait ne pas avoir utilisé le diagnostic d'asthme chez l'enfant asthmatique. Ceci a aussi été observé par Palin et ses collèguesNote du fin du texte 10 lorsqu'ils ont élargi à toutes les causes de consultation les visites liées à la santé mentale. En revanche, Robinson et ses collèguesNote du fin du texte 3 n'ont pas constaté d'amélioration en utilisant plus d'un diagnostic pour définir une maladie chronique, mais ils n'avaient pas inclus l'asthme dans leur recherche.

Notre étude révèle une concordance légèrement meilleure pour les enquêtes remplies en ligne que celles par entrevue téléphonique pour le diagnostic de l'asthme lorsqu'on prend en compte un seul enregistrement dans la base de la RAMQ, ce qui pourrait s'expliquer entre autres par le fait que le répondant ait plus de temps pour répondre au questionnaire par Internet.

Limites

La limite principale de cette étude concerne la validation de l'utilisation des services et vient du faible effectif de l'échantillon. De plus, nous n'avons pas pu établir de concordance en fonction du nombre exact de visites. À ce propos, bien qu'une analyse préliminaire ait démontré un faible accord en fonction du nombre exact de visites, l'occurrence (par opposition à l'absence) d'une visite ou d'une hospitalisation reste toutefois intéressante dans le contexte de validation de l'enquête en question.

Il demeure aussi une certaine incertitude liée à l'utilisation du coefficient kappa en présence de faibles prévalences, ce qui est le cas dans notre étude des hospitalisations et des visites aux urgences. En effet, la valeur de kappa peut demeurer basse même en présence d'une forte proportion de paires concordantesNote du fin du texte 19. Cependant, dans ce cas, nos résultats se révéleraient conservateurs.

Conclusion

Les résultats de notre étude indiquent une bonne concordance entre les diagnostics d'asthme pédiatrique rapportés par les tuteurs et ceux inscrits dans la base de données de la RAMQ. Il y a eu, dans l'ensemble, sur-déclaration du nombre de visites aux urgences et d'hospitalisations au cours des 12 mois précédant l'enquête, mais la concordance de l'occurrence ou non d'une visite ou plus, et celle de l'occurrence ou non d'une hospitalisation ou plus, sont modérées. L'étirement de la période de couplage de 12 mois à 15 mois et l'ajout de diagnostics d'infection respiratoire aux diagnostics d'asthme et de bronchiolite accroissent la concordance pour les visites à l'urgence et pour les hospitalisations d'après les valeurs de kappa, mais diminuent la sensibilité. Ces résultats valident donc l'utilisation de données d'enquête en ce qui a trait a l'asthme des enfants (diagnostic) et l'utilisation des services principaux en lien avec cette maladie.

Remerciements

Les auteurs remercient la RAMQ. Ils remercient également Michel Fournier, de la Direction de la santé publique de l'Agence de la santé et des services sociaux de Montréal, pour son aide à propos des statistiques employées.

Références

Note 1

Lix LM, Yogendran MS, Shaw SY, Burchill C, Metge C, Bond R. Sources de données des populations utilisées en surveillance des maladies chroniques. Maladies chroniques au Canada. 2008;29(1):43-42.

Retour à la référence de la note de bas de page 1

Note 2

Martin LM, Leff M, Calonge N, Garrett C, Nelson DE. Validation of self-reported chronic conditions and health services in a managed care population. Am J Prev Med. 2000;18(3):215-8.

Retour à la référence de la note de bas de page 2

Note 3

Robinson JR, Young TK, Roos LL, Gelskey DE. Estimating the burden of diseases: comparing administrative data and selfreports. Medical Care. 1997;35(9):932-47.

Retour à la référence de la note de bas de page 3

Note 4

Kriegsman DM, Penninx BW, van Eijk JT, Boeke AJ, Deeg DJ. Self-reports and general practitioner information on the presence of chronic diseases in community dwelling elderly. A study on the accuracy of patients' self-reports and on determinants of accuracy. J Clin Epidemiol. 1996;49(12):1407-17.

Retour à la référence de la note de bas de page 4

Note 5

Boyer GS, Templin DW, Goring WP, et al. Discrepancies between patient recall and the medical record. Potential impact on diagnosis and clinical assessment of chronic disease. Arch Inter Med. 1995;155(17):1868- 72.

Retour à la référence de la note de bas de page 5

Note 6

Okura Y, Urban LH, Mahoney DW, Jacobsen SJ, Rodeheffer RJ. Agreement between self-report questionnaires and medical record data was substantial for diabetes, hypertension, myocardial infarction and stroke but not for heart failure. J Clin Epidemiol. 2004;57(10):1096-103.

Retour à la référence de la note de bas de page 6

Note 7

Lix LM, Yogendran MS, Shaw SY, Targownick LE, Jones J, Bataineh O. Comparing administrative and survey data for ascertaining cases of irritable bowel syndrome: a population-based investigation. BMC Heath Services Research. 2010;10:31.

Retour à la référence de la note de bas de page 7

Note 8

Huzel L, Roos LL, Anthonisen NR, Manfreda J. Diagnosing asthma: the fit between survey and administrative database. Can Respir J. 2002;9(6):407-12.

Retour à la référence de la note de bas de page 8

Note 9

Tisnado DM, Adams JL, Liu H, et al. What is the concordance between the medical record and patient self-report as data source for ambulatory care? Med Care. 2006; 44:132-40.

Retour à la référence de la note de bas de page 9

Note 10

Palin JL, Goldner EM, Koehoorn M, Hertzman C. Primary mental health care visits in self-reported data versus provincial adminstrative records. Health Rep. 2011; 22(2):41-7.

Retour à la référence de la note de bas de page 10

Note 11

Bonin J-P, Fournier L, Blais R, Perreault M, White ND. Les réponses des clients souffrant de troubles psychiatriques et de toxicomanie et fréquentant des ressources pour les personnes itinérantes sont-elles valides?. La Revue canadienne de psychiatrie. 2007;52(12);798-802.

Retour à la référence de la note de bas de page 11

Note 12

Jacques L, Plante C, Goudreau S, et al. Étude sur la santé respiratoire des enfants montréalais de 6 mois à 12 ans. Rapport synthèse régional. Montréal (QC): Agence de la santé et des services sociaux de Montréal, Direction de santé publique; 2011.

Retour à la référence de la note de bas de page 12

Note 13

Worldwide variation in prevalence of symptoms of asthma, allergic rhinoconjunctivitis and atopic eczema: International Study of Asthma and Allergies in Childhood (ISAAC). Lancet. 1998;351(9111):1225-32.

Retour à la référence de la note de bas de page 13

Note 14

Burney PG, Luczynska C, Chinn S, Jarvis D. The European Community Respiratory Health Survey. Eur Respir J. 1994;7:954-60.

Retour à la référence de la note de bas de page 14

Note 15

Aubin J, Lavallée C, Camirand J, et al. Enquête sociale et de santé auprès des enfants et des adolescents québécois 1999. Québec (QC): Institut de la statistique du Québec; 2002.

Retour à la référence de la note de bas de page 15

Note 16

Armitage P, Berry G. Statistical methods in medical research. (3e éd.). London (UK): Blackwell; 1994.

Retour à la référence de la note de bas de page 16

Note 17

Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33:159-74.

Retour à la référence de la note de bas de page 17

Note 18

Wilchesky M, Tamblyn RM, Huang A. Validation of diagnostic codes within medical services claims. J Clin Epidemiol. 2004;57(2):131-41.

Retour à la référence de la note de bas de page 18

Note 19

Viera AJ, Garrett JM. Understanding inter-observer agreement: the kappa statistic. Fam Med. 2005;37(5):360-3. Vol 34,

Retour à la référence de la note de bas de page 19

Note *

Ces prévalences correspondent aux données non pondérées et ne reflètent donc pas les prévalences réelles au sein de la population enfantine de Montréal.

Retour à la référence de la note de bas de page *

Détails de la page

Date de modification :