Im Operationssaal (OP) ist man häufig auf medizinische Bildgebung angewiesen, vom Bildwandler bis hin zu präoperativer Schnittbilddiagnostik. Um diese effektiv nutzen zu können, muss der Operateur diese Informationen jedoch mental auf den Patienten zurückprojizieren. Da dieses ungenau und fehleranfällig ist, wird versucht, die sichtbare Realität mit diesen Bildinformationen zu erweitern. Diese Technik nennt sich „augmented reality“ (AR). Der „Camera Augmented Mobile C-arm“ (CamC) verspricht eine zukünftige Anwendung dieses Prinzips in der Unfallchirurgie zu werden.

Die „erweiterte Realität“

Für viele gilt Sutherland [12] als der erste, der im Jahre 1968 einen Datenhelm vorstellte, welcher die sichtbare Realität mittels zusätzlicher Rechnergraphiken erweiterte. Der Benutzer konnte mit Hilfe der damals sehr aufwendigen Konstruktion den Raum um sich herum und simple computergenerierte Drahtgittermodelle darin betrachten. Der Terminus „augmented reality“ (AR) kam jedoch erst im Jahre 1990 auf und wird einem Boeing-Forscher zugeschrieben, der mittels Datenhelm die komplexe Verkabelung von Flugzeugen unterstützen wollte. Hiervon abzugrenzen ist die „virtual reality“, die ausschließlich aus einer computergenerierten Welt besteht.

Voraussetzung für wirkliche AR ist eine feste örtliche oder direkte kontextuelle Bindung der Zusatzinformation zu der sichtbaren Realität. Beispielsweise erfüllt die Einblendung des Zwischenstandes einer Fußballübertragung die Kriterien nicht, die Visualisierung der Strecke zwischen Freistoßpunkt und Tor allerdings schon. In der Unterhaltungselektronik gibt es schon viele AR-Anwendungen, beispielsweise das Smartphone, das mittels spezieller Anwendungen sein Kamerabild mit nützlichen Informationen über die Umwelt oder Graphiken für Spiele erweitern kann.

Für die Medizin bedeutet AR, die visuelle Realität mit Bildinformationen zu verknüpfen

Für die Medizin hingegen bedeutet AR meist, die visuelle Realität mit Bildinformationen zu verknüpfen, die entweder vorher oder zum gleichen Zeitpunkt mittels CT, MRT, Röntgen, Ultraschall etc. generiert wurden.

Bisherige Anwendung von intraoperativer AR

Die meisten Anwendungssysteme intraoperativer AR haben gemeinsam, dass sie primär dreidimensionale (3D-)Bilddaten (z. B. einen CT-Datensatz) auf ein zweidimensionales (2D-)Bild umrechnen. Dieses muss dabei von der Perspektive der zusätzlichen Kamera berechnet werden, die das visuelle Bild für den Operateur generiert. So kann das Videobild mit dem Bild der medizinischen Bildgebung zu dieser neuen Art der Darstellung, der AR verschmelzen. Da eine operative Anwendung mittels Datenhelm, wie sie Sutherland beschrieben hat, aufgrund der Komplexität und der Umstände für den Benutzer noch nicht im OP realisierbar war, wurde bisher die Monitordarstellung favorisiert. Dafür bot sich v. a. die Endoskopie an. So wurden seit 2003 bereits laparoskopische [4] und urologische Eingriffe [14] mittels AR erfolgreich durchgeführt. Hierbei wurde das Laparoskopiebild durch Informationen von präoperativem CT oder intraoperativem Ultraschall erweitert, so dass beispielsweise der Tumor oder Blutgefäße dem Operateur angezeigt werden konnten.

Auch bei neurochirurgischen Operationen wie Hypophysentumorresektionen wurde das Endoskopbild mittels eines computergenerierten Modells des Tumors und anderer wichtiger Strukturen erweitert [1]. In der Kieferchirurgie wurde bereits ein tragbarer AR-Monitor in einer kleinen Fallreihe angewandt, der dem Operateur präoperativ generierte 3D-Daten des Oberkiefers anzeigen konnte, und somit die Durchführung einer Korrekturosteotomie unterstützte [5]. Größere Fallserien stehen jeweils allerdings noch aus.

Das einzige uns bekannte regulär erhältliche und eingesetzte AR-System ist eine Freihand-SPECT-Kamera („single photon emission computed tomography“), die intraoperativ die von den markierten Lymphknoten emittierte Strahlung farblich eingebettet in ein Videobild darstellt und damit die Resektion erleichtert. Hier liegt eine Fallserie von 100 Operationen vor [9]. Eine klinische Anwendung von AR in der Orthopädie und Unfallchirurgie ist uns bisher nicht bekannt.

Aktuelle Probleme bei der Etablierung von AR-Technologie

Ein Hauptproblem der meisten bisher demonstrierten medizinischen AR-Anwendungen ist stets die korrekte Registrierung zur Überlagerung der beiden Bildinformationen, da intraoperative Bewegungen oder Verformungen schon zu einem inkorrekten Ergebnis führen können [6]. Daher wird ein großer Aufwand betrieben, das „Tracking“ (Positionsbestimmung) sowohl der Perspektive der Kameras als auch der zu visualisierenden Organe zu verbessern. Ersteres geschieht meist mittels optischen Techniken und Infrarotkameras, wie sie bereits von den etablierten Navigationsgeräten bekannt sind. Um die Position und Verformung von Organen zu messen, reichen die Vorschläge von elektromagnetischem Tracking von Nadeln [13] oder aufgeklebten Markern [2], ständigem Ultraschall- [15] oder Low-dose-CT-Abgleich [10] bis hin zum intraoperativen Open-MRT [3]. Das Resultat ist stets ein komplexes und daher auch potentiell fehleranfälliges System, das einen erheblichen Aufbau- und Betreuungsaufwand voraussetzt. Oft wird zudem ein erheblicher Einfluss auf den Ablauf der Operation genommen. Eine AR-Anwendung, die kein aufwendiges Tracking voraussetzt, wäre daher praxistauglicher.

Funktionsprinzip des „Camera Augmented mobile C-Arm“ (CamC)

Wie bereits von Navab et al. 1999 [7] beschrieben, erweiterten wir einen normalen C-Bogen (Siemens Powermobil) auf der Seite der Röntgenröhre um eine Spiegelkonstruktion und eine digitale Kamera (Abb. 1). Nach einer einmaligen Kalibration bei der Konstruktion sind die Strahlengänge der Röntgenstrahlung und des auf die Kamera treffenden Lichtes gleich. Sie haben also buchstäblich die gleiche Perspektive – man kann daher unabhängig von der Positionierung des zu durchleuchtenden Objekts von einem perfekten „Overlay“ (Übereinanderliegen) des Röntgen- und des Videobildes ausgehen ([8], Abb. 2).

Abb. 1
figure 1

Aufbau des CamC-Systems mit Spiegelkonstruktion und Videokamera

Full size image
Abb. 2
figure 2

Exakte Überlagerung beider Einzelbilder zu der CamC-Darstellung. Die Kirschner-Drähte können im Videobild ausgerichtet werden

Full size image

Die Ausgabe des AR-Bildes geschieht auf einem Farbmonitor. Dieser zeigt das Röntgenbild eingebettet in das Livevideobild. Die Transparenz dieser Überlagerung kann vom Operateur gesteuert werden, so dass je nach Belieben das Videobild oder das Röntgenbild stärker hervorgehoben wird.

Da die Validität des kombinierten Bildes nur so lange besteht, bis das durchleuchtete Objekt bewegt wird, werden optische Marker auf der Patientenhaut angebracht. Das Ergebnis der ständigen Lokalisierung des Markers und eine Detektion einer Abweichung von seiner Position zum Zeitpunkt der Akquisition des Röntgenbildes wird auf dem Monitor dem Operateur angezeigt (Abb. 3 c).

Abb. 3
figure 3

a Positionierung über die runde Zielfläche, b Platzieren der Inzision ohne weitere Röntgenbilder, c Verriegeln des Marknagels und Feedback über die Genauigkeit des Overlays mittels intuitiver Abweichungsanzeige des Tracking-Markers (rotes und grünes Quadrat)

Full size image

Erste Erfahrungen mit dem Prototypen

Der Prototyp des CamC wurde mit Unterstützung durch den Hersteller bereits in 43 Operationen verwendet. Dabei zeigte sich wie erwartet eine reibungslose Integration in den Operationsablauf, da bis auf eine spezielle sterile Abdeckung und das Verwenden der optischen Marker keine weiteren Veränderungen notwendig waren. Die neue Visualisierung des Overlays auf dem farbigen Zusatzbildschirm wurde von allen beteiligten Operateuren intuitiv verwendet. Durch Videoauswertung wurde der Einfluss der neuen Technik analysiert.

Verschiedene Anwendungen des CamC

Zielgerät für das Röntgenbild

Durch die Darstellung der Fläche des zukünftigen Röntgenbildes im Videobild ist eine genauere Platzierung des C-Bogens möglich, so dass nicht nur die 2D-Position (vergleichbar mit einem Laserzielgerät), sondern auch die Größe der durchleuchteten Fläche vorhersagbar war (Abb. 3 a). Dadurch vermindert sich die Wahrscheinlichkeit, dass die gewünschte Struktur nicht vollständig abgebildet wird, deutlich. Der Vorteil wird auch deutlich, wenn der Operateur das Objekt (z. B. das Handgelenk des Patienten) zur Durchleuchtung mit seinen eigenen Händen halten muss. Hier kann die versehentliche direkte Durchleuchtung der eigenen Hand intuitiv vermieden werden, da in diesem Fall auch sie im Zielgebiet des Röntgenbildes sichtbar wird.

Schnittplanung

Nach einmaliger Akquisition eines Röntgenbildes ist die optimale Platzierung der Inzision unter Videokontrolle möglich (Abb. 3 b). Dies ist besonders vorteilhaft bei kleinen Inzisionen wie z. B. beim Verriegeln von Marknägeln oder der minimal-invasiven Schraubenentfernung. Mehrere Röntgenbilder zum Zielen mit der Hand nahe am Strahlengang, wie sonst oft üblich, werden vermieden.

Ausrichten von Instrumenten

Um eine senkrechte Ausrichtung eines Instruments zur darunterliegenden, nur im Röntgenbild sichtbaren Anatomie zu erreichen, kann zunächst die Instrumentenspitze, und dann die Achse des Instruments am CamC-Bild ausgerichtet werden. Dafür ist im Idealfall nur ein Bild notwendig. Angewandt wurde dies bisher beim Verriegeln von Marknägeln mittels Winkelgetriebe (Abb. 3 c).

Kirschner-Draht-Implantation

Sowohl der Eintrittspunkt als auch der korrekte Winkel des einzubringenden Kirschner-Drahtes kann am CamC-Bild kontrolliert werden. Beispielsweise ist zur Zuggurtung am Olecranon bei stabiler Position des Arms nur ein Bild notwendig, um den korrekten Verlauf des Kirschner-Drahtes in der Ulna in einer Ebene zu planen (Abb. 2).

Anpassen von Implantaten

Anhand der CamC-Visualisierung ist es zudem möglich, die Länge und Form von Osteosynthesematerialien vor Implantation annähernd maßstabsgetreu am Videobild zu kontrollieren.

Diskussion

Die Verwendung von AR durch den CamC zeigte sich in vielen Fällen als nützlich. Neben der besseren Anschaulichkeit zeigte sich die Tendenz zur Verminderung der Bildwandleranwendung und damit der Strahlendosis.

Der CamC zeigt eine Verminderung der Bildwandleranwendung und damit der Strahlendosis

Zwar sind die Möglichkeiten zur Navigation von Instrumenten im Vergleich zu den etablierten Navigationsgeräten eingeschränkter, doch sie geschieht in sinnvollen Situationen unmittelbar und nachvollziehbar. Auch kann sie ohne vorangehende Planung genutzt werden und benötigt keine wesentlichen Zusatzgeräte. Ein wichtiger Punkt ist ebenfalls, dass der Operateur nicht auf seine vertraute Bildgebung verzichten muss, so er diese benötigt. Der CamC bietet seine Zusatzinformationen nur an und eine Plausibilitätsprüfung kann bei Bedarf mittels der gewohnten Technik erbracht werden.

Upside-down-Position

Ein mögliches Problem des CamC ist, dass er für seine AR-Funktion auf die sog. „Upside-down-Position“ der Röntgenröhre angewiesen ist. Die Strahlenquelle befindet sich dabei oberhalb des Patienten statt unter dem Tisch. Diese Position hat in einigen Fällen eine höhere Streustrahlenbelastung zur Folge. Wir erwarten jedoch eine Kompensation durch die Verminderung der Gesamtzahl der benötigten Röntgenbilder und durch Verbesserungen der Röhrentechnik. Des Weiteren scheint für Eingriffe an den distalen Extremitäten der Effekt genau gegensätzlich zu sein [11].

Detektion von Abweichungen im Overlay

Das Overlay des Video- und des Röntgenbildes ist prinzipiell nur zum Zeitpunkt der Durchleuchtung gesichert. Danach wird das letzte, statische Röntgenbild über dem laufenden Videobild angezeigt. Eine Bewegung des Patienten oder des Geräts kann dazu führen, dass das Videobild nicht mehr zu dem Röntgenbild passt. Um den Operateur bei der Verifikation des angezeigten CamC-Bildes zu unterstützen ist daher ein optisches Markertracking zu empfehlen. Jedoch zeigt die Praxis, dass bei einer Verschiebung des Bildes in den meisten Fällen kein erneutes Röntgenbild notwendig ist, da die in dem Moment aktuelle Anwendung keine solche Präzision voraussetzt. Bei Operationsschritten wie der beschriebenen Marknagelverriegelung ist eine solche Kontrolle jedoch unverzichtbar.

Raum für weitere spezialisierte Anwendungen

Wir betrachten den CamC als Plattform für weitere zukünftige Anwendungen, die v. a. durch Verbesserung der Software ermöglicht werden können. Dazu gehört ein optisches Erkennen und Tracking von Instrumenten beispielsweise zur Darstellung von Punktionstiefe und -winkel. Benutzt man das Gerät in der normalen Position mit der Strahlenquelle und der Kamera unterhalb des Tisches, so konnten wir bereits Anwendungen zur Erstellung von langen Röntgenbildern demonstrieren [16], die zur intraoperativen Achskontrolle bei Operationen der unteren Extremität genutzt werden können.

Der CamC wird als Plattform für weitere zukünftige Anwendungen betrachtet

Aufgrund der Einfachheit der technischen Anwendung, der einfachen Integration in den Operationsablauf und der vielfältigen Einsatzmöglichkeiten als Ergänzung zum herkömmlichen C-Bogen sehen wir ein großes Potential in dieser Technologie.

Fazit für die Praxis

  • Die AR kann bereits in der Unfallchirurgie sinnvoll eingesetzt werden.

  • Entscheidend ist die einfache Handhabung und Integration in das Operationsgeschehen.

  • In Zukunft sind weitere Anwendungen auf der Basis der CamC-Technologie zu erwarten.