Good Clinical Practice (GCP) is an internationally adopted standard for clinical trials, and one important component of this document is the requirement that investigators inform trial sponsors of serious adverse events, defined as “any untoward medical occurrence that results in hospitalization or prolongation of hospitalization, or is life-threatening, or results in death or disability, including birth defects.”1 In turn, trial sponsors have a duty to notify all trial investigators who must then report the occurrence to their respective Research Ethics Boards (REBs). In contrast, many adverse events that occur in clinical trials are often less serious, and associations (causality) with the intervention are not always clear. Despite internationally mandated reporting requirements, we nevertheless continue to observe that many submitted manuscripts focus primarily on assessments of efficacy and fail to report adverse events and side effects adequately. It is impossible to overstate the importance of documenting adverse events and transparent reporting with regard to patient safety considerations as well as the importance of balancing assessments of efficacy versus risk profile for therapeutic interventions in clinical trials. The purpose of this editorial is to highlight briefly, for the benefit of our readers, the importance of accurate and transparent reporting of adverse events and to encourage clinical investigators everywhere to address this issue when designing a study protocol, executing a trial, and writing trial reports for submission to journals.

Deficiencies observed in the reporting of adverse events in manuscripts submitted to the Journal are consistent with numerous examples of deficiencies in the published peer-reviewed literature. In 2001, Loke and Derry reported on the quality of the reporting of adverse events in 185 clinical drug trials amongst seven high-impact medical journals.2 Fourteen percent of the reports of original investigations selected for review made no mention of adverse drug reactions, and in a further 32% of trial reports, data could not be evaluated fully. Furthermore, the details on how adverse reactions were recorded were presented in just 15% of these published articles. During the same year, Ioannidis and Lau published a survey of safety reporting in 192 randomized drug trials involving 130,074 patients in seven different therapeutic areas.3 Only 39% and 29% of trial reports defined the severity of clinical adverse effects and toxicity, respectively. These authors concluded that the quality and quantity of safety reporting in clinical trials is variable and, for the most part, inadequate. In 1999, Edwards et al. evaluated the quality of assessment and reporting of adverse effects in randomized controlled trials (RCTs) comparing acetaminophen or ibuprofen to placebo in moderate to severe postoperative pain. Two of the 52 studies evaluated made no mention of adverse effects (AEs), and in 19 studies, no method of assessment of AEs was reported.4 Interestingly, for these types of studies, patient diaries yielded more information of adverse events than other forms of assessment. In a more recent review of 133 trials published in 2006-2007 within six general medical journals, 89% of selected articles reported adverse events; however, no information was provided on severe adverse events or on withdrawal of patients due to an adverse event in 27% and 48% of articles, respectively.5

Clearly, assessment of benefits versus harms for any medical intervention requires meticulous attention to the detailing and reporting of adverse events. All drugs have side effects that are minor, moderate, or severe in nature. Uncommon or idiosyncratic adverse events are not necessarily identified during preclinical (Phase 3) efficacy assessment trials, which typically involve just several thousand screened and carefully selected patients. Rare side effects or adverse events are often not identified until much larger Phase 4 post-marketing surveillance studies have been undertaken. One such example relates to the events surrounding the voluntary withdrawal of rapacuronium bromide (Raplon, Organon Inc, West Orange, NJ, USA). This short-acting non-depolarizing neuromuscular blocking drug was withdrawn from the market in 2001, just 19 months after it had been approved by the U.S. Food and Drug Administration (FDA). The drug was never marketed in Canada. While it is not unusual for a previously approved drug to be withdrawn from market, in the case of rapacuronium, isolated reports of severe near-fatal bronchospasm were substantially more serious and more frequent than had been suggested in pre-marketing studies, which reported a 3.2% overall incidence of bronchospasm. How could oversight of serious drug-induced bronchospasm not have been identified prior to the launch of the drug? Of 23 review and 38 original articles on rapacuronium published up to 2001, only eight of the 23 reviews mention that this drug could elicit respiratory side effects.6 Only one of these articles (a review) comprehensively listed the respiratory side effects, noting an overall incidence of 3.4% and three cases of severe bronchospasm amongst 2,000 patients reviewed.7 Of the 38 reports of original investigations, documentation of respiratory adverse events was uniformly inconsistent within the abstracts, results, and discussion sections of these articles. It is possible that under-reporting was due in most instances to the short duration and self-limiting nature of the bronchospasm. It has been suggested that study design, amongst other factors that either ignore or undervalue adverse events, lack an adequate framework for reporting, or distort or silence the evidence of harms, may account for the under-reporting.8

The FDA implemented its Adverse Event Reporting System in 1998. This is a voluntary reporting system of post-marketing drug safety surveillance which receives reports of adverse events submitted directly to the agency or through drug manufacturers. While there are clearly limitations of any voluntary reporting system, Moore et al. showed that serious adverse drug events reported to the FDA during the period 1998-2005 increased 2.6-fold to 89,842 events, and fatal adverse drug events increased 2.7 times to 15,107 events.9 The dramatic increase in reported adverse events and deaths highlights the importance of the FDA reporting system. It is interesting to consider that a proportion of these adverse events was not captured or reported in the adverse event documentation in the Phase 3 and early Phase 4 clinical trials. In 2010, the FDA issued a ruling and draft guidance specifying the clinical trial safety information that must be submitted to the agency. It is quite understandable that unnecessary reporting of adverse events drains the resources of the regulatory agencies, investigators, REBs, and study sponsors alike. The FDA does not mandate reporting of serious adverse events that include “issues that were probably linked to the underlying disease, issues that commonly occur in the study population independent of drug exposure and those that were study end points.”Footnote 1

However, the FDA clearly states that trial sponsors must now report findings from clinical or epidemiological studies “that suggest a significant risk to trial participants and serious suspected adverse reactions that occur at a rate higher than expected.” It is important to note also that definitions of adverse events have been revised and updated to ensure their consistency with the International Conference on Harmonization and the World Health Organization.

In considering reports of randomized trials, the Journal endorses the standardized reporting requirements of the 2010 version of the CONsolidated Standards of Reporting Trials (CONSORT).10 Briefly, this is the most commonly supported and validated standardized reporting system for reporting RCTs. The two essential elements include a 25-item checklist and a flow diagram to depict the flow of patients through a trial from assessment of eligibility to recruitment, intervention, and follow-up. Regrettably, many of the CONSORT checklists we receive at the time of article submission have a number of items that are not identified according to manuscript page number, or more often, when the page number of the reporting item is identified, the item either is described incompletely or is not described at all. A key reporting item that we often see overlooked is CONSORT Item #19 that specifies (and the Journal endorses) to report “all important harms or unintended effects in each group”.10

In 2004, Ioannidis at al. published a list of recommendations for reporting harms as an extension to the CONSORT statement.11 Key recommendations for reporting harms are highlighted here, namely:

  • If data on harms and benefits were collected in the study, reflect this fact in the title and abstract.

  • If the trial is designed to examine both harms and benefits, state this fact in the introduction.

  • Define the adverse events being evaluated; use standard references where applicable, and grade the adverse events (e.g., mild, moderate, severe).

  • Identify how harms-related information was collected; specify the method used for harms-related monitoring, and indicate the rules for stopping, if any.

  • In the methods section, include a description of the statistical plan used to analyze and compare harms.

  • In the results section, clearly identify patient withdrawals due to adverse events and describe experiences related to the treatment.

  • Provide the denominators for analyses on adverse events and report the absolute risk of each adverse event.

  • Describe any subgroup analyses relevant to harms.

  • Finally, in the discussion section, provide a balanced and concise perspective on the relative benefits and harms of the given intervention, giving due consideration to the limitations of the study design and the generalizability of the results.11

Finally, during the conduct of a randomized trial, it is important that an independent Data Safety and Monitoring Board (DSMB) complete a periodic review of the data. The reviewers should be independent from the study sponsor, and the DSMB should include content experts and a statistician. The board should meet at pre-specified intervals and review the unblinded data. The DSMB has the authority to terminate the study based on safety concerns, futility, or overwhelming evidence of efficacy.12 Proper documentation of adverse events is critical to this process.

In conclusion, we shall continue our ongoing efforts to encourage accurate and transparent scientific reporting. Key elements of good reporting include defining, grading, properly analyzing, and reporting adverse events. Clinicians and patients should expect no compromise on this crucial aspect of biomedical research.

Les bonnes pratiques cliniques (BPC) sont une norme internationalement adoptée pour les études cliniques et l’obligation pour les investigateurs d’informer les commanditaires de l’étude à propos d’effets indésirables constitue un élément important de ce document; ces effets indésirables sont définis comme étant « toute survenue d’un événement médical entraînant l’hospitalisation ou la prolongation de l’hospitalisation d’un patient, menaçant sa vie ou entraînant le décès ou un handicap, y compris une anomalie congénitale ».1 À leur tour, les commanditaires ont le devoir d’avertir tous les investigateurs de l’étude, qui doivent alors signaler la survenue de ces événements à leurs Comités d’éthique de la recherche (CER) respectifs. En revanche, de nombreux effets indésirables survenant au cours des études cliniques sont moins graves et leur association (causalité) avec l’intervention n’est pas toujours évidente. En dépit d’une demande de signalement rendue obligatoire dans le monde entier, nous continuons néanmoins à observer que de nombreux manuscrits soumis pour publication se concentrent principalement sur les évaluations de l’efficacité et ne décrivent pas de façon appropriée les événements indésirables et les effets secondaires. On ne saurait trop souligner l’importance que revêt la documentation des événements indésirables et leur signalement transparent pour ce qui a trait aux questions de sécurité des patients, ni l’importance d’un équilibre entre les évaluations d’efficacité et le profil de risque d’une intervention thérapeutique au cours des études cliniques. L’objectif de cet éditorial est de mettre en lumière, brièvement, pour le bénéfice de nos lecteurs, l’importance d’une description transparente et exacte des événements indésirables et d’encourager les investigateurs de tous pays à aborder ce problème lorsqu’ils conçoivent un protocole d’étude, mènent l’étude, puis rédigent son compte rendu afin de le soumettre pour publication dans une revue.

Les manquements observés dans le signalement des événements indésirables dans les manuscrits soumis au Journal correspondent aux innombrables exemples de manquements dans les articles publiés dans des revues à comités de lecture. En 2001, Loke et Derry ont publié un article sur la qualité du signalement des événements indésirables dans 185 études cliniques sur des médicaments parus dans sept revues médicales ayant un grand impact.2 Quatorze pour cent des articles originaux ne faisaient aucune mention de réactions indésirables au médicament et dans 32 % supplémentaires, les données n’ont pas pu être entièrement évaluées. En outre, la façon dont les réactions indésirables étaient recueillies n’était détaillée que dans 15 % de ces articles publiés. Au cours de la même année, Ioannidis et Lau ont publié une enquête sur les déclarations de problèmes d’innocuité dans 192 études cliniques randomisées comprenant 130 074 patients dans sept domaines thérapeutiques différents.3 Seulement 39 % et 29 % des comptes rendus ont défini la gravité des effets cliniques indésirables et de la toxicité, respectivement. Ces auteurs ont conclu que la qualité et la quantité des données sur l’innocuité dans les essais cliniques est variable et qu’elles sont, pour l’essentiel, inappropriées. En 1999, Edwards et coll. ont évalué la qualité de l’évaluation et du signalement des effets indésirables au cours des études randomisés contrôlés (ERC) comparant l’acétaminophène ou l’ibuprofène à un placebo dans la douleur postopératoire modérée à sévère. Parmi les 52 études évaluées, deux ne font aucune mention d’effets indésirables (EI) et aucune méthode d’évaluation des EI n’est décrite dans 19 études.4 Il est intéressant de noter que pour ces types d’études, les fiches journalières des patients ont fourni plus d’informations sur les événements indésirables que les autres formes d’évaluation. Dans une analyse plus récente portant sur 133 études publiés en 2006 et 2007 dans six revues médicales généralistes, 89 % des articles sélectionnés ont signalé des événements indésirables; cependant, aucune information n’était fournie sur la sévérité de ces événements ou sur le retrait de patients de l’étude à cause de ces événements dans, respectivement, 27 % et 48 % des articles.5

Manifestement, l’évaluation des avantages par rapport aux dommages causés par l’intervention médicale nécessite que l’on porte une attention méticuleuse aux détails et au signalement de ces événements indésirables. Tous les médicaments ont des effets indésirables qui peuvent être de nature mineure, modérée ou sévère. Les effets indésirables rares ou singuliers ne sont pas nécessairement identifiés au cours des études précliniques (de phase III) d’évaluation de l’efficacité qui, classiquement, n’incluent que quelques milliers de patients triés et soigneusement sélectionnés. Les effets indésirables ou secondaires rares ne sont souvent identifiés qu’au cours d’études beaucoup plus vastes de pharmacovigilance de phase IV, après la commercialisation du médicament. Un tel exemple nous est donné par les événements entourant le retrait volontaire du bromure de rapacuronium (Raplon, Organon Inc, West Orange, NJ, États-Unis). Ce curare non dépolarisant et à durée d’action courte a été retiré du marché en 2001, tout juste 19 mois après son approbation par la U.S. Food and Drug Administration (FDA). Ce médicament n’a jamais été commercialisé au Canada. Bien qu’il ne soit pas rare qu’un médicament déjà autorisé soit retiré du marché, il y a eu dans le cas du rapacuronium des rapports isolés de bronchospasme grave, quasi fatal, qui étaient manifestement plus graves et plus fréquents que ce qu’avaient suggéré les études précommercialisation, qui ont fait état d’une incidence globale de bronchospasme de 3,2 %. Comment se peut-il que des cas de bronchospasme grave induit par le médicament n’aient pas été identifiés avant le lancement du médicament ? Parmi les 23 analyses et 38 articles originaux sur le rapacuronium publiés jusqu’en 2001, seulement 8 des 23 analyses ont mentionné que ce médicament pouvait provoquer des effets respiratoires indésirables.6 Un seul de ces articles (un article de synthèse) énumérait complétement les effets respiratoires indésirables, notant une incidence globale de 3,4 % et trois cas de bronchospasme grave parmi les 2000 cas de patients analysés.7 Parmi les 38 comptes rendus de recherches originales, la documentation des effets respiratoires indésirables a été systématiquement inhomogène dans les sections résumé, résultats et discussion de ces articles. Il est possible qu’une sous-déclaration ait été due, dans la plupart des cas, à la courte durée du bronchospasme et à son caractère spontanément résolutif. Il a été suggéré que le plan de l’étude pouvait être responsable de la sous-déclaration des événements indésirables (parmi d’autres facteurs les ignorant ou les sous-évaluant, l’absence de cadre adapté à leur déclaration, ou la déformation – voire le masquage – de signes probants de nocivité).8

La FDA a mis en œuvre son système de déclaration des événements indésirables en 1998. Il s’agit d’un système de déclaration volontaire de pharmacovigilance qui reçoit des comptes rendus d’événements indésirables communiqués directement à l’Agence ou par le biais des fabricants de médicaments. Bien qu’il y ait des limites évidentes à tout système de déclaration volontaire, Moore et coll. ont montré que le nombre d’événements indésirables graves signalés à la FDA au cours de la période de 1998 à 2005 avaient été multiplié par 2,8 pour atteindre 89 842 événements et que le nombre d’événements indésirables fatals des médicaments avait été multiplié par 2,7 pour atteindre 15 107 événements.9 Cette augmentation considérable du nombre d’événements indésirables et de décès souligne l’importance du système de déclaration de la FDA. Il est intéressant de voir qu’une partie de ces événements indésirables n’avait pas été remarquée ou signalée dans la documentation des EI au cours des études cliniques de Phase III et de Phase IV précoce. En 2010, la FDA a émis une règle et publié un document d’orientation précisant quelle information d’innocuité devait être soumise à l’Agence. Il est tout à fait compréhensible que le signalement d’effets indésirables inutiles entame tout autant les ressources des agences de réglementation, des investigateurs, des comités d’éthique de la recherche et des commanditaires des études. La FDA n’exige pas la déclaration des événements indésirables graves qui incluent « des problèmes qui étaient probablement liés à la maladie sous-jacente, qui surviennent fréquemment dans la population de l’étude indépendamment de l’exposition à un médicament ou qui étaient les critères d’évaluation des études ».Footnote 2

Cependant, la FDA indique maintenant clairement que les commanditaires des études doivent déclarer les constatations faites au cours d’études cliniques ou épidémiologiques « qui suggèrent un risque significatif pour les participants à des études, et des réactions indésirables graves suspectées survenant à un taux supérieur à celui attendu ». Il est également important de noter que les définitions des événements indésirables ont été également révisées et remises à jour pour assurer leur compatibilité avec la Conférence internationale sur l’harmonisation de l’Organisation mondiale de la santé.

En considérant les comptes rendus d’études randomisées, le Journal souscrit aux exigences standardisées de déclaration de la version 2010 des CONsolidated Standards of Reporting Trials (CONSORT – Normes consolidées de déclaration des études).10 En bref, il s’agit du système de déclaration le plus fréquemment soutenu et validé pour la déclaration des ERC. Ses deux principaux éléments incluent une liste de contrôle de 25 points et un organigramme décrivant le parcours des patients au cours d’une étude, depuis l’évaluation de leur admissibilité jusqu’à leur recrutement, l’intervention et le suivi. Malheureusement, un grand nombre de listes de contrôle CONSORT que nous recevons au moment de l’envoi d’un article comportent un nombre de points qui ne sont pas identifiés selon le numéro de page du manuscrit ou, plus souvent, quand le numéro de page du point signalé est précisé, ce point est décrit de façon incomplète ou pas du tout. Un point de déclaration essentiel que nous voyons souvent ignoré est le point CONSORT nº 19 qui précise (et le Journal y adhère) qu’il faut signaler « tous les dommages importants ou effets non désirés dans chaque groupe ».10

En 2004, Ioannidis et coll. ont publié une liste de recommandations pour la déclaration de dommages dans le prolongement de l’énoncé CONSORT.11 Les recommandations essentielles pour la déclaration des torts et dommages sont soulignées ici :

  • Si des données sur les avantages et les dommages ont été recueillies au cours de l’étude, cela doit apparaître dans le titre et le résumé.

  • Si l’étude a été conçue pour étudier à la fois les dommages et les avantages, cela doit être énoncé dans l’introduction.

  • Définir les événements indésirables qui sont évalués; utiliser des références standard quand cela est applicable et coter la gravité des EI (léger, modéré, sévère).

  • Identifier comment l’information concernant les événements indésirables a été recueillie; préciser la méthode de surveillance des dommages et indiquer quelles sont les règles d’arrêt, s’il y en a.

  • Dans la section « Méthode », inclure une description du plan statistique utilisé pour analyser et comparer les EI.

  • Dans la section « Résultats », identifier clairement les retraits des patients de l’étude à cause d’événements indésirables et décrivez les expériences en rapport avec le traitement.

  • Fournir des dénominateurs pour les analyses concernant les événements indésirables et indiquez le risque absolu de survenue de chaque événement indésirable.

  • Décrire toute analyse de sous-groupe en rapport avec les dommages.

  • Enfin, dans la section « Discussion », fournir un point de vue équilibré et concis sur les avantages et dommages relatifs de l’intervention menée, en prenant en compte les limites du devis de l’étude et la possibilité de généraliser les résultats.11

Finalement, il est important qu’un comité indépendant de surveillance sur l’innocuité assure une analyse périodique des données au cours de la réalisation d’une étude. Les évaluateurs doivent être indépendants du commanditaire de l’étude et le comité doit comporter des experts de contenu et un statisticien. Le comité doit se réunir à intervalles prédéterminés et analyser les données avec levée de l’insu. Le comité a le pouvoir de mettre fin à l’étude sur la base de préoccupations liées à l’innocuité, la futilité ou une preuve absolue d’efficacité.12 La documentation appropriée des événements indésirables est essentielle pour ce processus.

En conclusion, nous poursuivrons nos efforts actuels pour encourager des comptes rendus scientifiques exacts et transparents. Les éléments essentiels d’un bon compte rendu incluent la définition, la gradation, la bonne analyse et le signalement des événements indésirables. Les cliniciens et les patients ne doivent s’attendre à aucun compromis sur cet aspect fondamental de la recherche biomédicale.