The Royal College examination in anesthesiology can be regarded as an examination in evolution. The Examination Committee faces the challenge of an ever-increasing number of candidates sitting the examination each year. To create a more relevant summative evaluation for the future practicing anesthesiologist, the written test has been modernized with the addition of a short-answer question (SAQ) portion. Efforts to standardize the oral examination questions and to create a more reliable marking system have met with approval from both examiners and candidates. This year, the simulation-assisted oral examination will be introduced to improve the face validity of the oral examination process.

The purpose of this editorial is to update readers on the current status and future directions of the Royal College examination in anesthesiology. Additional information and specific examples of the examination components can be found on the Royal College of Physicians and Surgeons of Canada (RCPSC) website: http://rcpsc.medical.org/residency/certification/examinfo/anesthesiology_e.pdf.

The anesthesiology written test

Since 2002, the Royal College examination in anesthesiology has been a comprehensive objective examination. Prior to that, candidates were eligible to sit the oral component of the examination only after successful completion of the written component. At the present time, candidates write both components of the examination, separated by an interval of a few weeks, and success or failure is based on consideration of both components. The written component consists of two papers comprised of multiple-choice and short-answer questions, respectively.

Historically, there has been some justifiable criticism of the written test by candidates and anesthesiologists. Until 2008, the written exam consisted entirely of multiple-choice questions (MCQs). Multiple-choice questions for each examination are a 50/50 mixture of banked questions that may have appeared previously on the written test and new questions submitted by anesthesiologists at large and edited by the Written Test Committee. In the past, banked MCQs occasionally tested content that was out-of-date (e.g., questions regarding medications or equipment no longer in general use) or not considered core knowledge that a practicing anesthesiologist would need to know. Over the past few years, the Written Test Committee has worked to remedy this situation by carefully examining the MCQ bank for validity and relevance. Many dated questions have been removed and replaced by questions that reflect the knowledge required for modern anesthesia practice.

Multiple-choice questions are an attractive testing modality because they can test a broad range of subjects, and marking is not labour intensive. However, MCQs have a number of limitations. MCQs test the candidate's ability to recognize the correct response, but not their ability to recall the correct response. The foremost disadvantage of MCQs is that they test limited types of knowledge. In addition, MCQ answers are binary – either correct or incorrect; therefore, candidates receive no credit if they have some knowledge in the area being tested but give an incorrect response. A free-response test, such as a SAQ or essay test, allows candidates to achieve partial marks for their knowledge in the area being tested. Despite their limitations, multiple-choice questions remain popular because of their reliability and ease of computerized marking. This is particularly important, as the number of candidates sitting the RCPSC examination in anesthesiology has steadily increased to more than 170 over the past few years. While the examinations in some Royal College specialties with fewer candidates are comprised of essay-type questions, marking such a large number of papers would be impractical.

The introduction of the SAQ to the written test in 2008 has allowed us to address many of the MCQ concerns while maintaining the ability to administer the test in an efficient manner. Short-answer questions are questions that can be answered in a few short words or phrases. Typically, these questions contain words such as “list” or “name”, suggesting that a series of short responses are required. More complex questions are usually based on case scenarios called “clinical vignettes”.1 These questions can elicit knowledge or clinical reasoning being applied in a manner that is not possible with MCQs. Additionally, SAQs can test higher levels of knowledge integration and allow for novel question formats, such as filling in or labelling graphs, tables, and/or figures. Traditionally, this testing of higher levels of reasoning was possible only in the domain of the oral examination.

It is more arduous to administer SAQs than MCQs, as the Written Test Committee creates new SAQs for the examination each year. Also, short-answer questions must be marked by hand, which can be laborious and time-consuming.

The introduction of the SAQs has been met with mostly positive feedback from candidates, as evidenced by exit evaluations. The Written Test Committee believes strongly that the SAQs have added significant value to the written test. This committee has worked hard to modernize the MCQs, and they develop valid and reliable SAQs in order to create a more clinically relevant summative evaluation of candidates in anesthesiology.

The anesthesiology oral examination

The oral component of the Royal College anesthesiology examination is designed to test the candidate’s knowledge, planning, judgement, and adherence to safety. Candidates are asked eight oral questions, one question from each of eight knowledge domains. Every year, the Examination Committee determines the domains that will be assigned to each component of the examination.

All questions are new each year and are written by examiners allocated a specific domain. In writing the questions, the examiners identify the key features that they expect to be addressed in the answer, and not every feature of a case is necessarily identified as a critical feature of the question.2

The questions are reviewed and revised by several examiners from across the specialty and across the country to ensure an absence of geographical, linguistic, or subspecialty bias. A second review process ensures that the questions within a domain are of equal complexity and degree of difficulty. Also, all questions are reviewed to remove abbreviations and jargon. The questions are translated into French following the revisions.

The oral examination consists of one two-hour session with four stations and two examiners per station; each examiner poses questions within one domain. Three sessions are offered each day of the exam with all candidates in any given session being asked the same questions in the official language of their choice. Both examiners mark the responses independently from each other. Scoring is guided by a standard marking sheet with key behavioural anchors to assist the examiner in identifying areas of concern or excellence.

The introduction of the SAQ has facilitated changes to the oral examination. Areas assigned previously to the oral examination are now suitable for SAQs, enabling us to reduce the number of oral questions and to decrease the length of the exam from the previous two 11/2-hour sessions to a single two-hour session. This change has made it possible to double the number of candidates examined each day, an important improvement with the ever-increasing number of candidates. In addition, removing the three-hour gap between oral sessions has come as a welcome relief for the candidates.

The average passing grade that candidates—who complete the majority of their residency in Canada—achieve on their first attempt is 93.5%.3

The current oral examination is not without limitations, as it tests only if a candidate “knows how” or can “explain how” to perform.4 Ideally, the final in-training evaluation of residents (FITER) should be the “gold standard” of assessment by evaluating competence at the highest “does” level. Unfortunately, FITERs have been criticized for rater errors,5 time lag between performance and assessment reporting,6 and failure to report poor performances.7

Simulation in the RCPSC examination in anesthesiology

Standardized patients have been used in examinations to allow candidates to “show how” they would manage a clinical encounter with high validity.8 However, there is limited feasibility and effectiveness in using surrogate patients to evaluate management skills during life-threatening situations requiring resuscitative therapy and invasive procedures. Emerging simulation technologies, such as high-fidelity human-patient simulators (HPS), can help overcome these limitations and may offer good alternatives in many disciplines.9

Prior to its incorporation as a summative assessment tool for certification, the HPS needed to be validated against existing standards.10 In Canada, the correlation of HPS with the current oral examination format was previously investigated for summative assessment of senior anesthesiology residents. The HPS was found to be a useful adjunct to traditional oral examination in a single centre.11 Despite a positive correlation between simulation and the traditional oral examination, there was a degree of unexplained variance suggesting that they addressed some competencies differently. However, the generalizability of these findings has been questioned, as not all candidates for summative certification may be as familiar with HPS as the subjects from the study centre. In the late 1990 s, advanced simulation-based stations using HPS were incorporated in the Israel Board Examination in Anesthesiology. Examiners were trained to be actively involved in the simulation, and they were responsible for “real time” assessment. This model has demonstrated that it is possible to incorporate HPS into a high-stakes certification examination, but it presents several financial and logistic challenges.12,13

Given the investment and logistics of incorporating HPS technology into the certification examination process, it stands to reason that it should be introduced in stages, and that each stage should be validated prior to advancing the process. In so doing, RCPSC has introduced the simulation-assisted oral examination to ensure the appropriate “added value” to the traditional oral examination.

Currently, examiners read results and monitoring data to the candidates. However, examiners have identified that this method of conveying critical information to the candidate does not mirror the way information is assimilated and processed in clinical practice. With a simulation-assisted oral examination session, the evolving critical features of the clinical scenario are presented visually on a monitor, as in the “real world”, thus, dramatically improving the face validity of the examination. This approach also addresses concerns about lack of previous exposure to HPS prior to the summative assessment, as all candidates should be familiar with monitor interpretation from their training and residency practice. Monitor outputs are programmed and simulated using software provided for the Laerdal SimMan® simulator mannequin (Laerdal Medical Canada Ltd., Toronto, ON, Canada). For experienced examiners without simulation expertise to feasibly use the simulator mannequin, the Laerdal SimMan® (Laerdal Medical Canada Ltd., Toronto, ON, Canada) monitor is not used for the examination process. Instead, an onscreen video is taken of the monitor output embedded in the operator screen using CamStudio version 2.00™ free software (www.camstudio.org, RenderSoft Software, USA). The resultant .avi movie file is then saved and embedded into a Microsoft® Office PowerPoint™ presentation (Microsoft Canada Inc., Mississauga, ON, Canada). When the candidate requires the vital sign features of the clinical scenario, they are provided via the embedded .avi movie file on the appropriate slide. To minimize audio distraction for both candidate and examiner, the .avi movie is paused when the candidate begins answering the question. As the clinical scenario progresses, new critical features can be presented and initiated simply by advancing to the next slide. Investigations, such as laboratory results, x-rays, and electrocardiograms, can be presented visually on laboratory result forms that are used in usual clinical practice, or they can be embedded within the presentation. If the candidate manages the scenario in a manner that is incongruent with subsequent slides, the examiner redirects the candidate to a more expected management, as is currently the norm with traditional standardized oral exam questions. The candidates’ responses are scored with the same validated global rating scale used with traditional oral exam questions.

The simulation-assisted oral examination was introduced in the 2010 RCPSC anesthesia examination. The validity, reliability, and feasibility of this approach were addressed by using this modality on one of the eight stations. With preserved validity, there will be a larger “roll-out” in the 2011 examination and beyond. More importantly, the success of this first step may warrant the development of the HPS into the certification examinations at the Royal College.

The Examination Committee is steadfast in its belief that the changes introduced over the past few years have helped to strengthen the quality of the Examination in Anesthesiology, while, at the same time, ensuring it continues to be relevant to modern practice.

L’examen d’anesthésiologie du Collège royal peut être considéré comme un examen sur l’évolution. Le Comité d’examen est confronté à un nombre continuellement croissant de candidats se présentant chaque année à l’examen. Afin de concevoir une évaluation sommative plus pertinente pour l’anesthésiologiste en devenir, l’examen écrit a été modernisé par l’ajout d’une section de questions à réponse courte (QRC). Les efforts déployés pour standardiser les questions de l’examen oral et créer un système de notation plus fiable ont été chaudement accueillis aussi bien par les examinateurs que par les candidats. Cette année, l’examen oral assisté par simulation sera introduit afin d’améliorer la validité apparente du processus d’examen oral.

L’objet de cet éditorial est d’informer les lecteurs quant à l’état actuel et aux perspectives futures de l’examen d’anesthésiologie du Collège royal. Des renseignements supplémentaires et des exemples spécifiques des composantes de l’examen sont disponibles sur le site Internet du Collège royal des médecins et chirurgiens du Canada (CRMCC): http://crmcc.medical.org/residency/certification/examinfo/anesthesiology_f.pdf.

L’examen écrit en anesthésiologie

Depuis 2002, l’examen d’anesthésiologie du Collège royal consiste en un examen objectif complet. Auparavant, les candidats ne pouvaient se présenter au volet oral de l’examen que s’ils avaient réussi le volet écrit. Aujourd’hui, les candidats se présentent aux deux volets de l’examen, lesquels ont lieu à quelques semaines d’intervalle, et la réussite ou l’échec tient compte des deux volets. Le volet écrit comporte deux examens comprenant des questions à choix multiple et des questions à réponse courte, respectivement.

Tout au long de son histoire, l’examen écrit a fait l’objet de certaines critiques justifiées, de la part des candidats autant que des anesthésiologistes. Jusqu’en 2008, l’examen écrit comportait exclusivement des questions à choix multiple (QCM). Les questions à choix multiple de chaque examen consistent en un mélange à parts égales de questions qui peuvent avoir déjà été posées dans les éditions précédentes de l’examen et de nouvelles questions proposées par les anesthésiologistes en général et révisées par le Comité de l’examen écrit. Par le passé, il arrivait que les QCM préexistantes traitent de contenu caduc (par ex., des questions concernant des médicaments ou des équipements obsolètes) ou de contenu qui n’était plus considéré comme faisant partie des connaissances fondamentales nécessaires à la pratique de l’anesthésiologiste. Ces dernières années, le Comité de l’examen écrit s’est attelé à la tâche de remédier à cet état de fait en évaluant avec soin la banque de QCM afin de détecter toute question ne répondant pas aux critères de validité et de pertinence. Plusieurs questions surannées ont été éliminées et remplacées par des questions qui reflètent les connaissances requises pour la pratique moderne de l’anesthésie.

Les questions à choix de réponses sont une modalité d’examen intéressante en ce qu’elles permettent de tester un vaste éventail de thèmes, et la correction des épreuves ne demande pas trop de temps. Les QCR comportent cependant plusieurs lacunes: par exemple, elles testent la capacité d’un candidat à reconnaître la bonne réponse et non sa capacité à s’en souvenir. L’inconvénient le plus important des QCR est le fait qu’elles évaluent des types de connaissances limités. En outre, les réponses aux QCR sont binaires—justes ou fausses; par conséquent, les candidats ne reçoivent aucun point s’ils possèdent certaines connaissances dans le domaine dont il est question mais donnent une réponse fausse. Un examen à réponse libre, comme des QRC ou une dissertation, permet aux candidats d’obtenir à l’examen certains points reflétant leurs connaissances dans le domaine. Malgré ces lacunes, les questions à choix de réponses demeurent populaires en raison de leur fiabilité et de la facilité de correction informatisée. Ce dernier point revêt une importance particulière lorsqu’on considère le nombre croissant de candidats se présentant à l’examen d’anesthésiologie du CRMCC, atteignant plus de 170 candidats par an au cours des dernières années. Bien que dans certaines spécialités du Collège royal, les examens comportent des questions à développement, la correction d’un grand nombre de questions de ce type serait peu pratique en anesthésiologie.

L’introduction des QRC à l’examen écrit en 2008 nous a permis de combler plusieurs des lacunes des QCM tout en ne compromettant pas l’efficacité d’administration de l’examen. Les questions à réponse courte sont des questions auxquelles il est possible de répondre en quelques mots ou groupes de mots. Par exemple, nombre de ces questions comportent des mots tels que « énumérez » ou « nommez » , ce qui implique une série de réponses courtes. Les questions plus complexes sont en général basées sur des présentations de cas, intitulées « vignettes cliniques ».1 Ces questions font appel à des connaissances ou un raisonnement clinique qui ne peuvent être testés avec des QCM. De plus, les QRC peuvent évaluer des niveaux plus élevés d’intégration des connaissances et utiliser des formats de question innovants; par exemple, on peut demander de compléter ou de nommer les différents éléments d’un graphique, d’un tableau et/ou d’une illustration. Par le passé, l’examen de ces niveaux plus élevés de raisonnement n’était possible que lors de l’examen oral.

Il est plus difficile d’administrer des QRC que des QCM, étant donné que le Comité de l’examen écrit doit créer de nouvelles QRC pour chaque examen. En outre, les questions à réponse courte doivent être corrigées à la main, un travail potentiellement laborieux et qui demande du temps.

L’introduction des QRC a, la plupart du temps, été accueillie positivement par les candidats, comme le démontrent les questionnaires après examen. Le Comité de l’examen écrit croit fermement que les QRC ont ajouté une valeur considérable à l’examen écrit. Ce comité a travaillé d’arrache-pied pour moderniser les QCM, et il élabore des QRC valides et fiables afin de créer une évaluation sommative plus pertinente d’un point de vue clinique des candidats d’anesthésiologie.

L’examen oral en anesthésiologie

Le volet oral de l’examen du Collège royal en anesthésiologie est conçu de façon à évaluer les connaissances du candidat, ainsi que sa capacité de planification, son jugement et son respect des principes de sécurité. L’examen se compose de huit questions orales portant chacune sur un domaine de connaissances spécifique. Chaque année le Comité de l’examen définit les domaines qui seront attribués à chaque volet de l’examen.

Toutes les questions sont renouvelées chaque année et sont rédigées par des examinateurs en charge d’un domaine spécifique. Lors de la rédaction de ces questions, les examinateurs déterminent les points clés qu’ils veulent voir abordés dans la réponse; toutes les composantes d’un cas ne sont pas forcément identifiées comme constituant des éléments clés de la question.2

Les questions sont ensuite passées en revue et révisées par plusieurs examinateurs appartenant à divers domaines de la spécialité et provenant des quatre coins du pays. Ce processus garantit l’absence de biais géographique, linguistique ou de sur-spécialité. Un deuxième processus de révision confirme que les questions traitant d’un domaine de connaissances ont le même degré de complexité et de difficulté. De plus, toutes les questions sont passées en revue afin d’éliminer toutes les abréviations et le jargon. À la suite de ces révisions, les questions sont traduites en français.

L’examen oral consiste en une session de deux heures comprenant quatre stations et deux examinateurs par station; chaque examinateur pose des questions dans un domaine donné. Trois sessions ont lieu chaque jour de l’examen et l’on demande à tous les candidats de chaque session les mêmes questions dans la langue officielle de leur choix. Les deux examinateurs notent leurs réponses de façon indépendante. Pour les aider dans la notation des candidats, les examinateurs disposent d’une fiche de notation normalisée décrivant des éléments comportementaux clés, ce qui leur permettra d’identifier plus facilement les domaines d’inquiétude ou d’excellence.

L’introduction des QRC a ouvert la voie à des changements à l’examen oral. Certains domaines qui faisaient traditionnellement partie de l’examen oral peuvent désormais être l’objet de QRC, ce qui nous a permis de réduire le nombre de questions orales et ainsi la durée de l’examen: de deux sessions d’une heure et demie chacune, nous sommes passés à une seule session de deux heures. Cette modification a également permis de doubler le nombre de candidats se présentant chaque jour à l’examen, ce qui constitue un progrès majeur si l’on considère leur nombre toujours croissant. De plus, l’élimination de l’intervalle de trois heures entre les sessions orales a soulagé bon nombre de candidats.

La note de passage moyenne des candidats qui effectuent la plus grande partie de leur résidence au Canada est, à la première tentative, de 93,5 %.3

L’examen oral actuel a également ses faiblesses, étant donné qu’il ne teste le candidat que sur ce qu’il « sait comment » ou peut « expliquer comment » faire.4 Dans l’idéal, les fiches d’évaluation en fin de formation (FITER) des résidents devraient constituer « l’étalon or » de l’évaluation en mesurant les compétences au niveau le plus élevé de ce qu’ils savent « faire » . Malheureusement, on a critiqué les FITER pour plusieurs raisons, notamment les erreurs des évaluateurs,5 le délai entre la performance et la présentation de l’évaluation,6 et le fait de ne pas rapporter les mauvaises performances.7

La simulation dans l’examen d’anesthésiologie du CRMCC

Des patients standard ont été utilisés lors des examens afin de permettre aux candidats de « montrer comment » ils gèreraient une situation clinique. Il s’agit d’une technique qui a une bonne validité.8 Cependant, la faisabilité et l’efficacité sont limitées lorsqu’on fait appel à des patients de substitution pour évaluer des compétences de gestion dans des situations potentiellement fatales qui nécessitent des traitements de réanimation et des interventions invasives. L’arrivée des technologies de simulation, comme par exemple les simulateurs de patients de haute fidélité (SPH), permet de combler ces lacunes et pourrait constituer une bonne alternative dans plusieurs disciplines.9

Avant d’être intégrés comme outils d’évaluation sommative pour la certification, les SPH devaient être validés en fonction des normes existantes.10 Au Canada, la corrélation du SPH au format actuel de l’examen oral avait été précédemment étudiée dans un contexte d’évaluation sommative des résidents de dernière année en anesthésiologie. Le SPH s’est avéré un ajout utile à l’examen oral dans un seul centre.11 Malgré la corrélation positive entre la simulation et l’examen oral traditionnel, un degré de variance inexpliqué suggérait que certaines compétences étaient abordées différemment selon la méthode d’évaluation utilisée. La généralité de ces résultats a toutefois été remise en question étant donné que tous les candidats à une certification sommative pourraient ne pas être aussi à l’aise avec les SPH que les individus travaillant dans le centre à l’étude. À la fin des années 1990, des stations de simulation de pointe utilisant des SPH ont été intégrées à l’examen d’anesthésiologie du comité israélien. Les examinateurs ont été formés à jouer un rôle actif dans la simulation, et ils étaient en charge de l’évaluation en « temps réel » . Ce modèle a permis de démontrer qu’il est possible d’intégrer des SPH dans un examen de certification majeur, mais cette intégration comporte plusieurs défis, notamment d’un point de vue financier et logistique.12,13

Étant donné l’investissement et la logistique nécessaires à l’intégration de la technologie de SPH au processus d’examen de certification, il va sans dire qu’il faudrait l’intégrer par étapes et que chaque étape devrait être validée avant de passer à la suivante. Ce faisant, le CRMCC a introduit l’examen oral avec simulation afin d’assurer qu’une bonne « valeur ajoutée » fera désormais partie de l’examen oral traditionnel.

À l’heure actuelle, les examinateurs lisent les résultats et les données de monitorage aux candidats. Toutefois, les examinateurs ont découvert que cette méthode de transmission des informations essentielles au candidat ne reflétait pas la façon dont les informations étaient assimilées et traitées dans la pratique clinique. En ayant recours à une session d’examen oral avec simulation, les éléments critiques en évolution du scénario clinique sont visuellement présentés sur un moniteur, tout comme dans le « monde réel » , ce qui améliore de façon significative la validité apparente de l’examen. Cette approche permet également de tenir compte des inquiétudes quant au manque d’exposition antérieure au SPH avant l’évaluation sommative, étant donné que tous les candidats devraient pouvoir interpréter sans difficulté des données affichées sur un moniteur après leur formation et leur résidence. Les données sur le moniteur sont programmées et simulées à l’aide d’un logiciel fourni avec le mannequin de simulation Laerdal SimMan® (Laerdal Medical Canada Ltd., Toronto, ON, Canada). Dans les cas où les examinateurs expérimentés n’ont pas suffisamment d’expertise pour utiliser à bon escient le mannequin de simulation, le moniteur du Laerdal SimMan® (Laerdal Medical Canada Ltd., Toronto, ON, Canada) n’est pas utilisé pendant le processus d’examen. Dans ces cas-là, on enregistre une vidéo de l’écran présentant les données du moniteur intégrées à l’écran de l’opérateur à l’aide du logiciel gratuit CamStudio version 2.00™ (www.camstudio.org, RenderSoft Software, USA). Le fichier vidéo .avi qui en résulte est ensuite sauvegardé et intégré à une présentation Microsoft® Office PowerPoint™ (Microsoft Canada Inc., Mississauga, ON, Canada). Lorsque le candidat a besoin d’obtenir les signes vitaux du cas clinique, ils sont fournis à l’aide du fichier vidéo .avi, intégré sur la bonne diapositive. Afin de minimiser la distraction sonore aussi bien pour le candidat que pour l’examinateur, le fichier .avi est mis sur pause lorsque le candidat commence à répondre à la question. Au fur et à mesure que le cas clinique progresse, de nouveaux éléments cruciaux peuvent être présentés et introduits en passant simplement à la diapositive suivante. Les recherches, comme par exemple les résultats de laboratoire, les rayons x et les électrocardiogrammes, peuvent être présentés de façon visuelle sur les formulaires de résultats de laboratoire utilisés dans la pratique clinique courante, ou ils peuvent être intégrés à la présentation PowerPoint. Si le candidat gère le cas d’une manière incompatible aux diapositives suivantes, l’examinateur oriente alors le candidat vers une prise en charge plus attendue, tout comme c’est actuellement la norme lors des questions d’examen oral traditionnelles. Les réponses des candidats sont notées avec la même échelle d’évaluation générale validée que celle utilisée lors des questions d’examen oral traditionnelles.

L’examen oral assisté par simulation a été introduit lors de l’examen d’anesthésie du CRMCC de 2010. La validité, la fiabilité et la faisabilité de cette approche ont été évaluées en utilisant cette modalité à l’une des huit stations de questions. Si la validité est conservée, nous anticipons un « déploiement » plus important lors de l’examen de 2011 et dans les années futures. Ce qu’il faut souligner, c’est que le succès de ces premiers pas pourrait justifier le déploiement du SPH dans les examens de certification du Collège royal.

Le Comité des examens est convaincu que les changements introduits ces dernières années ont permis de renforcer la qualité de l’examen d’anesthésiologie tout en garantissant qu’il demeure pertinent à la pratique moderne.