Volume 25 Numéro 2 2004

[Table des matières]

Fiabilité des auto-évaluations : données de l'Étude canadienne multicentrique sur l'ostéoporose (CaMos)

Victoria Nadalin, Kris Bentvelsen et Nancy Kreiger

Résumé

Le recours à des questions fiables contribue à améliorer le plan d'étude. Nous avons évalué la fiabilité des questions visant à recueillir de l'information sur les caractéristiques démographiques, l'exposition solaire, les antécédents génésiques et l'activité physique. Les sujets étaient des participants à l'Étude canadienne multicentrique sur l'ostéoporose (CaMos), une étude de cohortes portant sur des Canadiens d'âge adulte recrutés dans neuf villes entre les mois de janvier 1996 et de septembre 1997, et stratifiés selon le sexe, l'âge et la ville. À la suite d'interviews sur place, 367 sujets ont de nouveau répondu par téléphone à une partie du questionnaire. La fiabilité a été évaluée au moyen des coefficients Kappa et de la corrélation intraclasse. La fiabilité des données était excellente en ce qui concerne l'état d'emploi, les antécédents génésiques, la taille et le poids (0,91 à 0,97), et l'on n'observait pas de différences marquées après stratification selon le groupe d'âge ou le sexe. L'activité physique et l'exposition solaire ont été déclarées avec une fiabilité passable à  bonne (0,44 à 0,58), à l'exception de l'activité physique d'intensité modérée (Kappa [k] = 0,30; intervalle de confiance [IC] à 95 % = 0,23, 0,37). La stratification selon l'indice de masse corporelle (IMC) n'a pas révélé de différences significatives. De nombreuses caractéristiques, surtout celles concernant la taille, le poids, l'état d'emploi et les antécédents génésiques, et, dans une moindre mesure, celles concernant l'activité physique et l'exposition solaire, peuvent être déclarées avec fiabilité. Des questions semblables pourraient être utilisées de façon fiable dans des études ultérieures.

Mots clés : collecte de données, conception du questionnaire, fiabilité

Introduction

Étant donné que les rapports épidémiologiques se fondent souvent sur les données recueillies au moyen de questionnaires remplis par des intervieweurs, il importe de déterminer la fiabilité des informations ainsi obtenues. L'utilisation de questions dont la fiabilité a été établie peut contribuer à l'intégrité des résultats d'une étude, et les évaluations de la fiabilité peuvent être utiles dans la conception des questionnaires ultérieurs. Nous avons évalué la fiabilité de certaines questions sur les caractéristiques démographiques, la reproduction, l'activité physique et l'exposition solaire, aspects fréquemment abordés dans les études étiologiques.

L'Étude canadienne multicentrique sur l'ostéoporose (CaMos) est une étude de cohortes prospective destinée à orienter les stratégies de prévention des maladies. Elle recueille de l'information sur la santé du squelette et sur l'exposition aux facteurs de risque d'un échantillon aléatoire de Canadiens d'âge adulte ¹. Les données de la CaMos ont été obtenues au moyen de questionnaires, de radiographies de la colonne vertébrale et de scintigraphies osseuses. Même si la fiabilité test-retest de questions similaires a déjà été évaluée dans la littérature, il convient de vérifier la fiabilité du questionnaire CaMos en raison de l'intention d'utiliser ces données de façon appliquée et orientée vers la prévention ainsi que des différences dans la conception de l'étude, les populations à l'étude et la formulation des questions. La présente analyse avait pour objet d'évaluer la fiabilité test-retest d'une partie du questionnaire CaMos en utilisant deux modes d'administration.

Documents et méthodes

Les sujets des tests (recrutés entre janvier 1996 et septembre 1997) étaient des personnes qui avaient participé au volet interview sur place de la CaMos. Ils étaient âgés de plus de 24 ans, avaient été choisis aléatoirement au sein des ménages et sélectionnés au moyen d'une liste téléphonique. Une lettre expliquant l'objet de l'étude avait initialement été adressée aux ménages, suivie d'un appel téléphonique au cours duquel on avait fixé le moment d'une interview sur place. Les questionnaires ont permis de recueillir des données démographiques, ainsi que des données sur les antécédents médicaux et génésiques et le mode de vie (alimentation, activité physique et exposition à la fumée de tabac).

Entre trois et cinq mois après les premières interviews (tests), les sujets de trois centres d'étude (Hamilton, Toronto et Québec) ont répondu une deuxième fois (retest) au questionnaire par téléphone avec l'aide du même intervieweur qui avait mené l'interview initiale. Ce questionnaire comportait des questions sur la taille, le poids, l'activité physique, l'exposition solaire et les antécédents génésiques.

Les sujets ont été recrutés jusqu'à l'atteinte d'un minimum de 35 sujets dans chaque strate (définie selon le centre d'étude, l'âge et le sexe). Jusqu'à six essais ont été effectués pour joindre chaque sujet. Ceux qui ont refusé de participer ou qui n'ont pu être joints ont été déclarés «non-répondants», et le recrutement s'est poursuivi avec le sujet suivant sur la liste de répondants. L'approbation déontologique de l'étude a été obtenue du comité d'éthique de la recherche de chaque centre d'étude.

Les données ont été analysées au moyen du logiciel SAS². Pour quantifier la concordance entre les réponses obtenues lors du test et du retest, des méthodes statistiques convenant au niveau de calcul ont été utilisées : coefficient Kappa et pourcentage de concordance pour les variables nominales et coefficient de corrélation intraclasse pour les variables continues. Pour tenter d'explorer les différences entre les groupes de risque, les statistiques sur la fiabilité ont été estimées dans les différentes strates définies selon le groupe d'âge (45 à 64 ans et 65 à 80 ans), le sexe, la ville, la province, le tabagisme, les antécédents familiaux d'ostéporose et l'indice de masse corporelle (IMC)
(< 25, 25-29 et > 30, pour certaines variables).

La concordance découlant des coefficients Kappa a été quantifiée de la façon suivante : les valeurs inférieures à 0,40 représentent une mauvaise concordance, celles entre 0,40 et 0,75, une concordance passable à bonne et celles supérieures à 0,75, une excellente concordance autre que fortuite.³

Résultats

Parmi les 422 répondants joints, 367 (87 %) ont répondu au deuxième questionnaire. Le tableau 1 présente les caractéristiques des répondants et des non-répondants. Cinquante-neuf pour cent des répondants étaient des femmes, et la plupart des répondants (69 %) résidaient en Ontario. Tous les participants de la ville de Québec ayant répondu au questionnaire initial ont répondu au deuxième questionnaire. Les valeurs indiquant le niveau de concordance entre le test et le retest (coefficient Kappa, pourcentage de concordance et corrélation intraclasse) sont présentées dans les tableaux 2 à 4 (les données par strate ne sont pas présentées). Le tableau 2 indique les questions posées. En raison du manque d'espace, la formulation exacte des questions réelles n'est pas présentée dans les tableaux 3 et 4, mais il est possible d'obtenir cette information en s'adressant aux auteurs.

L'état d'emploi, la taille et le plus haut poids atteint à l'âge adulte ont été déclarés avec une excellente uniformité par tout l'échantillon, avec des valeurs de fiabilité se situant entre 0,82 et 0,97. Pour ces variables, d'excellents résultats ont été observés parmi les strates définies selon l'âge, le sexe et l'IMC, sauf chez les personnes âgées de plus de 65 ans, qui ont déclaré leur état d'emploi avec une uniformité passable (k = 0,46; IC à 95 % = 0,33, 0,59).

L'uniformité des déclarations relatives à l'exposition solaire et à l'activité physique était passable à bonne dans toutes les strates, sauf dans deux cas : les déclarations au sujet du nombre d'heures par semaine consacrées à une activité d'intensité modérée au cours de la dernière année présentaient une mauvaise concordance (k = 0,30; IC à 95 % = 0,23, 0,37) pour l'ensemble de l'échantillon et dans toutes les strates, et celles concernant l'exposition solaire à l'âge de 50 ans présentaient une mauvaise concordance chez les femmes (k = 0,39; IC à 95 % = 0,25, 0,53). La concordance des réponses obtenues à la question concernant la perte de plus de 10 lb de poids corporel était passable à bonne (k = 0,52; IC à 95 % = 0,44, 0,61).

Les informations sur les antécédents génésiques ont été déclarées avec une excellente conformité : les valeurs de Kappa et de corrélation intraclasse se situaient entre 0,91 et 0,97, et cela dans toutes les strates d'âges. Une comparaison des indices de masse corporelle n'a révélé que peu de changements dans les trois catégories. Comme prévu, tous les pourcentages de concordance font ressortir une plus grande concordance que les coefficients Kappa, puisque ces dernières valeurs sont corrigées pour tenir compte de la concordance fortuite. D'autres analyses stratifiées selon le lieu, la province, les antécédents familiaux d'ostéoporose et le tabagisme ont été effectuées, mais il y avait trop peu de répondants dans chaque catégorie pour qu'il soit possible de produire des estimations stables.

Analyse

L'objectif de cette analyse était d'estimer la fiabilité test-retest des questions posées dans le cadre de la CaMos pour évaluer l'exposition solaire, l'activité physique et les antécédents génésiques. Les résultats indiquent l'excellente fiabilité des déclarations au sujet de la taille, du poids et des antécédents génésiques et la reproductibilité généralement passable à bonne de l'information sur l'activité physique et l'exposition solaire. Les résultats étaient stables dans toutes les strates, et les estimations de la fiabilité sont demeurées similaires après stratification selon le groupe d'âge, le sexe et l'indice de masse corporelle.

Le niveau de concordance des variables relatives à l'exposition solaire était généralement passable à bon selon nos données. Rosso et coll.⁴ ont obtenu de plus hauts niveaux d'uniformité à l'égard des déclarations concernant l'exposition solaire : les valeurs de corrélation intraclasse allaient de 0,68 pour le travail à l'extérieur à 0,79 pour les activités de loisir à l'extérieur. English et coll. ⁵ ont obtenu une excellente concordance lorsque les sujets devaient préciser le nombre d'heures passées à l'extérieur (corrélation intraclasse = 0,77; IC à 95 % = 0,71, 0,83).

Selon nos données, les variables relatives aux antécédents génésiques des femmes étaient déclarées de manière uniforme. Des résultats similaires ont été obtenus dans des études récentes. Lin et coll.⁶ et Kelly et coll.⁷ ont également constaté que le nombre de grossesses ayant abouti à une naissance vivante et l'âge lors de l'apparition des premières règles étaient déclarés avec une excellente uniformité; Bosetti⁸ a obtenu des valeurs semblables pour ces variables ainsi que pour l'âge lors du premier accouchement.

Dans notre analyse, la taille et le poids étaient déclarés avec uniformité, et cette observation est corroborée par la littérature. Kelly et coll.⁷ ont signalé de haut niveaux de fiabilité à l'égard de la taille (corrélation intra-classe = 0,90) et du poids (corrélation intra-classe = 0,87) actuels, tels que déclarés par les sujets interviewés moins d'un an après les interviews initiales. Cumming et Klineberg⁹ ont analysé les réponses obtenues auprès d'une population de personnes âgées (âge médian de 80 ans) interviewées à nouveau 1 à 3 mois après les interviews initiales, et la concordance du poids (0,97) et de la taille (0,95) était très élevée.

Nos sujets ont déclaré avec une uniformité passable à bonne le niveau d'activité au travail et le nombre d'heures par semaine consacrées à des sports vigoureux au cours de l'année précédente, alors qu'ils ont déclaré avec une mauvaise uniformité le nombre d'heures par semaine consacrées à une activité d'intensité modérée. Il est possible que les sports vigoureux se pratiquent plus souvent à l'extérieur et que les répondants remarquent davantage le temps passé à l'extérieur que celui consacré à l'activité physique, ce qui pourrait expliquer les valeurs Kappa différentes relatives aux sports vigoureux et à l'activité physique d'intensité modérée. Cumming et Klineberg⁹ ont constaté qu'à l'âge de 50 ans, le niveau d'activité physique (de loisir) (k = 0,61) et l'activité au travail (k = 0,68) étaient déclarés avec une fiabilité passable à bonne dans leur échantillon de personnes âgées. De façon similaire, Batty¹⁰, dans une étude menée auprès de travailleurs d'usine de sexe masculin (dont 72 % ont été interviewés à nouveau 23 mois ou moins après l'interview initiale et les autres ont été interviewés après plus de 23 mois), a constaté que la fiabilité des déclarations au sujet de l'activité physique n'était pas élevée : en général, des résultats passables à bons ont été obtenus pour l'ensemble de l'activité physique de loisir (k = 0,69) et pour l'ensemble de l'activité au travail (k = 0,49). Même si l'activité physique est susceptible de varier selon la saison, ce questionnaire n'a pas recueilli d'informations historiques sur l'activité, et la majorité des deuxièmes interviews (retest) (n = 224) ont été effectuées pendant les mois d'hiver; il est donc impossible d'effectuer des comparaisons saisonnières valables.

L'intervalle entre le test et le retest, les erreurs de déclaration et les différences entre les techniques de collecte de données du test et du retest sont autant de facteurs qui peuvent avoir eu une incidence sur les résultats déclarés dans le présent document. Même si l'intervalle entre le test et le retest était court (entre 3 et 5 mois), il se peut qu'il y ait eu des changements pouvant modifier les réponses. Il est difficile d'évaluer si la faible fiabilité des variables concernant l'activité physique effectuée au cours de l'année précédente témoigne d'un changement du niveau d'activité (possiblement lié aux différences saisonnières) plutôt que de la non-fiabilité des questions posées^11,12. Pour réduire au minimum cette source d'erreur, Batty ¹⁰ a demandé aux répondants si leur niveau d'activité physique avait changé entre le test et le retest (séparés par un intervalle de 4 à 6 semaines). Les valeurs Kappa étaient supérieures lorsque les personnes dont le niveau d'activité avait changé étaient exclues. La fiabilité des valeurs concernant l'activité au travail au cours de l'année précédente passait de 0,49 à 0,54 après exclusion des personnes ayant déclaré une modification de leur niveau d'activité. Les résultats que nous avons obtenus au sujet de l'activité physique auraient pu faire ressortir une plus grande fiabilité si nous avions exclu les personnes dont le niveau d'activité physique avait changé.

La technique de collecte de données peut avoir eu une incidence sur les résultats de la présente étude. Les données recueillies lors des interviews peuvent être altérées par le rapport entre l'intervieweur et l'interviewé, et il est également possible que le changement de méthode d'interview entre le test (en personne) et le retest (au téléphone) ait modifié les résultats. Cependant, les études ayant comparé les informations obtenues au moyen de stratégies différentes de collecte de données ont généralement relevé peu de différence entre les interviews téléphoniques et les interviews sur place^13,14, et le haut niveau de fiabilité des déclarations relatives aux antécédents génésiques indique l'acceptabilité de cette technique de collecte de données.

Les résultats de cette étude montrent que les questions relatives à la taille, au poids, à l'état d'emploi et aux antécédents génésiques (telles que posées dans le CaMos) peuvent donner lieu à des réponses fiables, tout comme, dans une moindre mesure, celles qui touchent l'activité physique et l'exposition solaire. On peut s'attendre à obtenir des données fiables au moyen d'études utilisant des questions comparables, menées auprès de populations semblables. De telles questions peuvent servir à  identifier et à cibler les personnes à risque élevé à l'intention des programmes de prévention, ainsi qu'à évaluer l'impact des interventions en santé publique au moyen de la méthode test-retest. Il faut toutefois se rappeler qu'il est important, pour chaque étude, d'évaluer la fiabilité des questions sur lesquelles reposent les conclusions.

Références

Coordonnées des auteurs

Victoria Nadalin, Division d'oncologie préventive, Action Cancer Ontario, Toronto (Ontario) Canada
Kris Bentvelsen, Amgen Canada Inc., Mississauga (Ontario) Canada
Nancy Kreiger, Division d'oncologie préventive, Action Cancer Ontario, Toronto (Ontario)et Départements des sciences nutritionnelles et des sciences de la santé publique, Faculté de médecine, Université de Toronto, Toronto (Ontario) Canada
Correspondance : Victoria Nadalin, Division d'oncologie préventive, Action Cancer Ontario, 620, University Avenue, Toronto (Ontario) Canada M5G 2L7; fax : (416) 971-7554; courriel : victoria.nadalin@cancercare.on.ca

[Précédent] [Table des matières] [Prochaine]