Editor’s note

We receive many submissions reporting results of sample surveys. We recognize and appreciate that well-conducted survey-based research can yield important information that may be relevant to our readership.

Regrettably, many articles do not advance to publication as authors often fail to ensure adequate rigour in their task to pose an unambiguous research question, develop a robust and validated survey instrument, and conduct a survey with appropriate analysis and interpretation. As a guide to those who undertake survey-based research, and to interested readers of survey reports, the following editorial highlights several of the key principles of successful sample surveys.

Donald R. Miller, M.D., Editor-in-Chief

There are in fact two things, science and opinion; the former begets knowledge, the latter ignorance.

Hippocrates, Law.

With the advent of affordable and user-friendly online survey tools, the means to design questionnaires with which to evaluate patients, trainees, and peers are within reach of anyone with internet access. However, to ensure that the survey research results are valid and informative, a survey must conform to the scientific methods of the field. A biased questionnaire sent to a non-representative sample will not yield useful information no matter how easy or inexpensive it may be to administer. In the following editorial, we describe the science behind surveys and what to expect in a survey report in the medical literature.

The research question

The United Nations defines a survey as “an investigation about the characteristics of a given population by means of collecting data from a sample of that population and estimating their characteristics through the systematic use of statistical methodology”.1 Under this broad definition, surveys may be either descriptive or analytical. For the purposes of this article, we consider a survey as an analytical technique to answer a specific research question. Surveys, like all other forms of research, must begin with a review of the relevant background literature; they must describe the rationale and importance for the research question and substantiate its relevance, and they should define the objectives (primary and secondary) of the study. A detailed statement of the research question is essential to ensure that the items included in the survey address the relevant domains or themes of the question. The survey must be driven by a clear hypothesis and developed to answer a clear research question.

Populations and samples

Once the research question is stated, the investigators must next identify those persons or groups who will receive the survey. Survey science uses distinct terminology when describing the populations and samples to be assessed. Definitions (shown in italics) from Lohr’s Sampling Design and Analysis have been used in this editorial, and the interested reader is encouraged to consult this reference for further information.2 The observation unit is the object on which a measurement is taken, which is usually an individual person but may be a household, an organization, or another group. The target population is the complete list of units the investigators intend to study. Once those persons or groups to receive the survey have been identified, the investigators must then identify a sampling frame, a list from which units of the target population can be drawn. The sampled population is the collection of all units of the target population that might have been sampled. Ideally, the sampled and target population are the same, but the sampling frame may be incomplete. For example, membership lists of medical or professional societies or associations are often used as the sampling frame in surveys of health professionals. Unless membership in these societies or associations is compulsory, the sampling frame may not be entirely representative of the target population and may result in a coverage error.3 Coverage errors may also result from the mode of the survey; response to an internet survey may be variable among different age groups. Carefully characterizing both the sampling frame and the sampled population ensures your respondents represent the target population and may influence both the format and mode of the questionnaire.

Once a sampling frame has been assembled, the investigators must determine whether to conduct a census in which all units of the target population are measured or in which a sample, or subset, of the target population is measured. Sampling is a decision that is typically based on the resources available to the investigators. There are a variety of techniques that may be employed when sampling potential respondents. Among the most often used methods are the simple random sample taken throughout all units of the sampled population and the stratified random sample where the sampled population is first divided into unique subpopulations (strata) then sampled at random within each stratum. A variety of other sampling techniques can be used, and the interested reader is encouraged to consult the references.2 If a sample is to be taken, then an estimate of the sample size should be calculated based on the primary outcome and planned analysis. This crucial step in surveys is often neglected. Once sample estimates have been determined, they must be adjusted according to the expected response rate to ensure that an adequate number of responses are returned (i.e., if 500 responses are required and the anticipated response rate is 60%, then 500 ÷ 0.6 = 834 respondents should be sampled).

The respondents who successfully complete and return the survey establish the completed sample.3. Non-respondents may not participate for various reasons (wrong coordinates, unavailability at the time, inappropriate audience, uninterested, etc.) and may differ from those who completed the survey. A non-response error occurs if the data from non-respondents are systematically different from those of respondents. A high non-response rate may increase the cost of conducting a survey and cast doubt on the representativeness of its results. Many actions can be taken to increase the response rate of a survey, including introduction letters, reminders, and the use of different survey modes (both internet and mailed questionnaire). Failure to complete the questionnaire is a neglected source of non-response error and can arise when the questionnaire is too long, the questions are confusing, or the subject matter is trivial. A respondent’s questionnaire is normally considered completed when at least 80% of the questions are answered.4 Dillman et al. consider survey response a social exchange driven by the respondent’s altruism and the trustworthiness of the investigator.3 Investigators should make every effort to craft their surveys to increase rewards and decrease costs (financial or otherwise) for the respondents while establishing their interest and trust.

Questionnaires as measurement tools

Clinicians agree that arterial blood pressure is important to human health, and they have designed a number of instruments to measure it and procedures to ensure that the measurement is valid and reliable. Similarly, a questionnaire should be considered an instrument designed to measure the research question. Whenever possible, investigators should choose a previously validated questionnaire to address their research question. Many such questionnaires have been developed for specific states of health (the EQ-5D™ for measuring health-related quality of life, the Brief Pain Inventory for measuring pain); however, a new research question may require a specific new instrument. Regrettably, many investigators spend little effort developing their questionnaire; questions may not represent the content they were intended to evaluate and/or the questions may be unclear and their responses variable.

A recent review summarized the means by which survey instruments should be designed, developed, and validated in a rigorously structured manner.5 The design process must follow a stepwise approach.

Items generation and items reduction

Systematic reviews, focus groups, and expert opinions should be used to create a list of potential concepts and themes relevant to the research question. Individual items informing the elements of the research question should be generated, and a grid can be assembled to correlate the elements of the research question with specific items. Investigators should then remove redundant or less important items and aim for a manageable list of 25 items or less that use a similar approach (focus group, experts’ opinions). Once the main items to study are defined, questions should then be crafted to provide data on each of these items. Investigators should consider the best format (yes/no, Likert scale, open-ended, scenario-based, etc.) for each question. Questions must be worded to ensure that each is easily understood, free of bias, and culturally appropriate.

Pre-testing and pilot testing

The survey questions should be pre-tested in individuals similar to the sampling frame to ensure that questions are relevant and consistently interpreted. After making any specified changes, the questionnaire as a whole should be pilot-tested to determine ease of use, narrative flow, and time required. Pilot testing will reveal problems with wording, order, and presentation of questions that might cause respondents to provide inaccurate responses.

Clinical sensibility testing

At this stage, the investigators should determine whether the questionnaire is comprehensive, unambiguous, and appears to measure what it proposes to measure. Participants in this phase of testing should be asked to comment on the content, wording, and importance of the questions asked. They should also be asked to state whether the question items reflect their experience with the research question and whether they feel the survey will yield important information. A structured form eliciting the opinion of the participants in this testing phase is extremely useful (www.cmaj.ca/content/suppl/2008/07/24/179.3.245.DC1/guide-burns-appendix_1.pdf).5

This structured process, from item selection to clinical sensibility testing, is essential to identify and minimize measurement bias. The review by Burns et al.5 offers additional information on the characteristics informing both the validity and reliability of a questionnaire.

Administration

Once the questionnaire has been rigorously developed and validated, the survey must be presented to the target population. The mode chosen (interview, surface mail, e-mail, or web-based) may depend on the sample population, the data available in the sampling frame, and the resources available to the investigators. Regardless of the mode, advance notice explaining the purpose and approximate date of the survey should precede its administration. Potential respondents should be informed of the deadline for their participation. Non-respondents should be prompted with at least two reminders and, if possible, with a questionnaire using a second mode. Incentives (direct compensation, charitable donations, etc.) have been shown to increase response rate but may add considerably to the cost of the project.6

Reporting standards

The Canadian Journal of Anesthesia strongly encourages authors to utilize the resources from the EQUATOR Network (www.equator-network.org) to help them report their studies clearly and completely. A recent review found inconsistent reporting of surveys in anesthesia journals.7 In general, the following features of a well-developed survey should be clearly described: 1) the research question; 2) details of the target population and study sample; 3) methods used to (a) develop the survey and measure its validity and reliability, (b) calculate the sample size, (c) administer and follow up on the survey, and (d) analyze the data; 4) the results of the survey and interpretation; and 5) the conclusions that may be drawn directly from the results. A checklist similar to the one developed by the ANZCA Trials Group can help.7 Further information may be found from other recommendations for reporting paper surveys8,9 and internet surveys.10

Conclusions

In summary, the survey design, like other research designs, entails careful attention to the methodology and administration in order to gain valid, reliable, and precise information. Clear reporting will help readers understand and appraise the study. A scientific approach to survey design and conduct will ensure that both knowledge and opinion are shaped accurately.

Note du rédacteur en chef

Nous recevons de nombreuses soumissions faisant état de résultats d’enquêtes. Nous reconnaissons et apprécions à leur juste valeur le fait que des recherches bien menées reposant sur des enquêtes peuvent fournir une information pertinente pour notre lectorat.

Malheureusement, de nombreux articles ne parviennent pas au stade de la publication, car les auteurs ne font pas preuve de la rigueur suffisante dans leur travail pour poser une question sans ambiguïté, élaborer un instrument de recherche solide et validé, et mener une enquête assortie d’une analyse et d’une interprétation appropriées. Pour guider ceux qui entreprennent une recherche basée sur une enquête, ainsi que pour les lecteurs intéressés par les comptes rendus d’enquête, l’éditorial qui suit souligne quelques-uns des principes clés d’enquêtes réussies.

Donald R. Miller, M.D., Rédacteur en chef

Il y a en fait deux choses, la science et l’opinion; la première produit des connaissances, la seconde crée l’ignorance.

Hippocrate, Loi.

Avec l’apparition d’outils d’enquête en ligne abordables et conviviaux, toute personne ayant un accès à l’Internet a les moyens de concevoir des questionnaires servant à évaluer des patients, des stagiaires et des collègues. Cependant, pour s’assurer que les résultats d’une enquête sont valides et apportent de l’information, l’enquête doit respecter les méthodes scientifiques propres à ce domaine. Un questionnaire biaisé envoyé à un échantillon non représentatif ne produira aucune information utile, peu importe qu’il ait été très facile ou peu coûteux à administrer. Dans cet éditorial, nous décrivons la science qui se cache derrière les enquêtes et ce qu’il faut attendre d’un rapport d’enquête dans les publications médicales.

La question de recherche

Les Nations Unies définissent une enquête comme étant « une investigation sur les caractéristiques d’une population donnée au moyen de la collecte de données à partir d’un échantillon de cette population et l’estimation de leurs caractéristiques en se servant systématiquement d’une méthodologie statistique. »1 À l’intérieur de cette large définition, il est possible de définir des enquêtes descriptives et des enquêtes analytiques. Dans le cadre de cet article, nous envisagerons l’enquête comme une technique analytique, destinée à répondre à une question spécifique. Les enquêtes, comme toutes les autres formes de recherche, doivent commencer par une analyse des publications pertinentes sur le sujet; elles doivent décrire le justificatif et l’importance de la question et prouver sa pertinence; et elles doivent également définir les objectifs (principaux et secondaires) de l’étude. Il est essentiel d’énoncer de façon détaillée la question de recherche pour s’assurer que les éléments inclus dans l’enquête abordent les domaines ou les thèmes pertinents de la question. L’enquête doit être mue par une hypothèse claire et développée de façon à répondre à une question claire.

Populations et échantillons

Une fois la question énoncée, les investigateurs doivent ensuite identifier les personnes ou groupes auprès desquels l’enquête sera menée. La science des enquêtes utilise une terminologie distincte quand il s’agit de décrire les populations et les échantillons à évaluer. Les définitions (en italiques) tirées de l’ouvrage de S. Lohr « Sampling Design and Analysis » (Conception et analyse d’un échantillon) ont été utilisées dans cet éditorial et le lecteur intéressé est encouragé à consulter cette référence pour en savoir plus.2 L’unité d’observation est l’entité sur lequel une mesure est prise: il s’agit habituellement d’un individu, mais il peut aussi s’agir d’un ménage, d’une organisation ou d’un autre groupe. La population cible est la liste complète des unités que les investigateurs comptent étudier. Après avoir identifié les personnes ou groupes auprès de qui l’enquête doit être administrée, les investigateurs doivent alors identifier une base d’échantillonnage, une liste à partir de laquelle il est possible de tirer des unités de la population cible. La population de l’échantillon est l’ensemble de toutes les unités issues de la population cible qui pourrait avoir servi d’échantillon. De façon idéale, la population cible et la population de l’échantillon sont les mêmes, mais la base d’échantillonnage peut être incomplète. La liste des membres d’une société ou association professionnelle médicale est, par exemple, souvent utilisée comme base d’échantillonnage des enquêtes auprès des professionnels de la santé. Hormis le cas où il est obligatoire d’être membre de cette société ou association, la base d’échantillonnage peut ne pas représenter parfaitement la population cible et cela peut déboucher sur une erreur de couverture.3 Les erreurs de couvertures peuvent être aussi la conséquence des modalités de l’enquête: les taux de réponses à une enquête Internet peuvent être être différents selon les groupes d’âge. Une définition soigneuse, à la fois de la base d’échantillonnage et de la population échantillonnée garantit que vos répondants représentent la population cible et cela peut avoir des répercussions à la fois sur le format et sur la modalité du questionnaire.

Quand la base d’échantillonnage a été assemblée, les investigateurs doivent déterminer s’il y a lieu de mener un recensement dans lequel toutes les unités de la population cible sont étudiées ou dans lequel un échantillon ou un sous-groupe de la population cible est étudié. La décision d’échantillonnage repose habituellement sur les ressources dont disposent les investigateurs. Différentes techniques peuvent être utilisées quand il s’agit de créer un échantillon de répondants potentiels. Parmi les méthodes les plus utilisées se trouvent l’échantillon aléatoire simple pris dans toutes les unités de la population échantillonnée et l’échantillon aléatoire stratifié pour lequel la population échantillonnée est tout d’abord divisée en sous-populations spécifiques (strates) puis échantillonnée de façon aléatoire dans chaque strate. Il existe différentes autres techniques d’échantillonnage et le lecteur intéressé est encouragé à consulter les références.2 Si un échantillon doit être constitué, il faut alors en estimer la taille en la calculant à partir du critère d’évaluation principal et de l’analyse prévue. Cette étape cruciale des enquêtes est souvent négligée. Après avoir établi une estimation de la taille de l’échantillon, cette dernière doit être ajustée en fonction du taux de réponse attendu afin de s’assurer qu’un nombre adéquat de réponses sera obtenu (c’est-à-dire que s’il faut 500 réponses et que le taux de réponse anticipé est de 60 %, il faudra alors un échantillon de 500 ÷ 0,6 = 834 personnes interrogées).

Les personnes interrogées qui remplissent complètement le questionnaire et le renvoient constituent l’échantillon complété.3 Des non-répondants peuvent ne pas participer pour des raisons variables (coordonnées erronées, indisponibilité au moment de l’enquête, public inapproprié, non intéressés, etc.) et ils peuvent être différents de ceux qui ont répondu à l’enquête. Une erreur de non-réponse survient si les données des non-répondants sont systématiquement différentes de celles des répondants. Un taux élevé de non-réponse peut augmenter le coût de réalisation d’une enquête et jeter un doute sur la représentativité de ses résultats. Il est possible d’entreprendre de nombreuses actions pour augmenter le taux de réponse à une enquête, y compris les lettres de présentation, les rappels et le recours à plusieurs modalités d’enquêtes (questionnaires à la fois sur Internet et par la poste). Les questionnaires incomplets sont une source négligée d’ « erreurs de non-réponse » ; le problème peut être posé quand le questionnaire est trop long, quand les questions prêtent à confusion ou quand l’objet de l’enquête est futile. Le questionnaire est habituellement considéré rempli quand la personne interrogée a répondu à au moins 80 % des questions.4 Dillman et coll. voient dans la réponse à une enquête un échange social motivé par l’altruisme du répondant et la confiance accordée à l’investigateur.3 Les investigateurs doivent accorder le maximum de soins à la conception de leur étude pour augmenter les récompenses et diminuer les coûts (financiers ou autres) pour les personnes interrogées tout en créant de l’intérêt et un climat de confiance.

Les questionnaires comme outils de mesure

Les cliniciens sont d’accord pour dire qu’il est important de connaître la tension artérielle pour la santé humaine et ils ont conçu un certain nombre d’instruments pour la mesurer ainsi que des procédures pour s’assurer que la mesure est valide et fiable. Un questionnaire doit, de la même façon, être vu comme un instrument conçu pour mesurer la question de recherche. Chaque fois que possible, les enquêteurs doivent choisir un questionnaire déjà validé pour aborder leur recherche. De nombreux questionnaires de ce type ont été développés pour des problèmes spécifiques de santé (comme l’EQ-5D™ pour la mesure de la qualité de la vie liée à la santé, le Brief Pain Inventory [Bref inventaire de la douleur] pour la mesure de la douleur, etc.); toutefois, une nouvelle recherche peut nécessiter un nouvel instrument spécifique. Malheureusement, de nombreux investigateurs ne mettent pas suffisamment d’effort dans l’élaboration de leur questionnaire; les questions peuvent ne pas représenter le contenu de ce qu’ils avaient l’intention d’évaluer et/ou les questions peuvent ne pas être claires et leurs réponses variables.

Une analyse récente a résumé les moyens avec lesquels les instruments des enquêtes devraient être conçus, développés et validés selon une méthode structurée rigoureuse.5 Le processus de conception doit suivre une approche par étapes successives.

Création et réduction des items

Des analyses systématiques, des groupes de discussion et l’opinion des experts doivent être utilisés pour créer une liste de concepts et de thèmes potentiels pertinents pour la recherche. Des points particuliers renseignant les éléments de la recherche doivent être générés et une grille peut être créée pour corréler les éléments de la recherche avec des points spécifiques. Les investigateurs doivent alors supprimer les items redondants ou moins importants et chercher à établir une liste gérable de 25 points maximum qui font appel à une démarche similaire (groupe de discussion, avis d’experts). Une fois que les principaux points à étudier ont été définis, les questions doivent alors être élaborées pour fournir des données sur chacun d’entre eux. Les investigateurs doivent envisager le meilleur format (oui/non, échelle de Likert, questions ouvertes, à base de scénario, etc.) pour chaque question. Chaque question doit être formulée de façon à être facilement comprise, sans biais, et être adaptée sur le plan culturel.

Prétest et test pilote

Les questions de l’enquête doivent être prétestées sur des sujets semblables à ceux de la base d’échantillonnage pour s’assurer que les questions sont pertinentes et interprétées de façon homogène. Après y avoir porté toutes les modifications spécifiées, l’ensemble du questionnaire doit faire l’objet d’un test pilote pour déterminer sa facilité d’utilisation, sa fluidité narrative et le temps requis. Le test pilote révélera des problèmes de formulation, d’ordre et de présentation des questions qui pourraient amener les répondants à fournir des réponses inexactes.

Le test de sensibilité clinique

À ce stade, les enquêteurs doivent déterminer si le questionnaire est complet, ne contient pas d’ambiguïté, et semble effectivement mesurer ce qu’il est supposé mesurer. Les personnes participant à cette phase de test doivent être invitées à commenter le contenu, la formulation et l’importance des questions posées. Il faut également leur demander aux participants de dire si les points soulevés par les questions reflètent leur expérience concernant la question de recherche et s’ils estiment que l’enquête débouchera sur une information importante. L’utilisation d’un formulaire structuré sollicitant l’opinion des participants est extrêmement utile au cours de cette phase de test (www.cmaj.ca/content/suppl/2008/07/24/179.3.245.DC1/guide-burns-appendix_1.pdf).5

Ce processus structuré, allant de la sélection des points au test de sensibilité clinique, est essentiel pour identifier et minimiser les biais de mesure. L’article de synthèse de Burns et coll.5 propose des renseignements supplémentaires sur les caractéristiques renseignant à la fois la validité et la fiabilité d’un questionnaire.

Administration

Après avoir élaboré et validé de façon rigoureuse le questionnaire, l’enquête doit être présentée à la population cible. La modalité choisie (entrevue, courrier postal, courriel ou interface web) peut dépendre de la population de l’échantillon, des données disponibles dans la base d’échantillonnage et des ressources dont disposent les investigateurs. Indépendamment du mode d’administration, une annonce préalable expliquant l’objectif et la date approximative de l’enquête doit précéder son administration. Les répondants potentiels doivent être informés de la date limite de participation. Les non-répondants doivent être sollicités par au moins deux rappels et, si possible, un questionnaire utilisant une seconde modalité d’administration. Il a été démontré que des incitations (indemnisation directe, dons de bienfaisance, etc.) augmentaient le taux de réponse mais pouvaient aussi augmenter considérablement le coût du projet.6

Normes de présentation

Le Journal canadien d’anesthésie encourage fortement les auteurs à utiliser les ressources du réseau EQUATOR (www.equator-network.org) pour les aider à présenter leurs résultats de façon claire et complète. Une synthèse récente a trouvé des rapports d’enquêtes incohérents dans des revues d’anesthésie.7 D’une manière générale, les caractéristiques suivantes d’une enquête correctement développée doivent être décrites de façon claire: 1) la question de recherche; 2) les détails sur la population cible et l’échantillon de l’étude; 3) les méthodes utilisées pour a) développer l’enquête et mesurer sa validité et sa fiabilité, b) calculer la taille de l’échantillon, c) administrer et faire le suivi de l’enquête et d) analyser les données; 4) les résultats de l’enquête et de l’interprétation; et 5) les conclusions que l’on peut tirer directement de ces résultats. Une liste de contrôle similaire à celle élaborée par le groupe d’études ANZCA peut aider.7 Des informations supplémentaires peuvent être trouvées dans d’autres recommandations sur la façon de faire un rapport d’enquêtes publié sur papier8,9 et sur Internet.10

Conclusions

En résumé, la conception d’une enquête, comme la planification d’autres types de recherche, implique de porter une grande attention à la méthodologie et à l’administration afin de pouvoir obtenir des renseignements valides, fiables et précis. Un compte rendu clair aidera les chercheurs à comprendre et évaluer l’étude. Une approche scientifique pour la conception et la réalisation d’une enquête garantira que les connaissances et les opinions se forgent avec exactitude.