Evaluation and optimization of 2D/3D image registration in robot-based minimally invasive spine surgery

Abstract

Advances in medical imaging technologies have made possible minimally invasive surgery, which in comparison with conventional open surgery, leads to a faster procedure execution, reduced incision sizes and bone exposure, and quicker recovery times. A particularly complex minimally invasive procedure is the insertion of pedicle screws in the lumbar spine, requiring accuracy grade A or B on the Gertzbein-Robbins scale, i.e., below 2mm. A minimally invasive surgical procedure starts with pre-operative imaging acquisition, e.g., a 3D-computed tomography (CT-scan), usually taken outside of the operating room (OR) and used to diagnose and plan implant insertion. A significant challenge consists of bringing the planned data into the OR, i.e., registering pre-operative data with the current patient pose using ubiquitous imaging modalities found in operating rooms, e.g., a mobile X-ray device (C-arm). Different registration approaches can be used depending on the used modalities, the particular surgical procedure, and organ properties to be registered. This work discusses an intensity-based 2D/3D registration approach using pre-operative CT data and 2D X-ray images for minimally invasive spine surgery. The intensity-based 2D/3D registration procedure is mathematically characterized and decomposed in its essential elements. A cost function is created using the comparison of X-ray images and digitally reconstructed radiographs (DRR) created out of the CT data. An optimization algorithm is used to minimize the cost function and find the registration pose. The DRR rendering is found to be computationally expensive, being the registration bottleneck. A novel optimization based on parallel computing is applied to the DRR process. A set of reference frames supported by the navigation system is considered to transform the registration results into the OR. The C-arm reference frame is described using the pinhole camera model and found with a parametrization device. The parametrization device is developed based on a simulation analysis of accuracy vs. size and evaluated based on an innovative inverse registration approach. Additionally, two novel improvements to the registration procedure are made using deep-learning. X-ray images captured using image intensifier C-arms are prone to distortions due to the earth's magnetic field. The implemented undistortion uses an image warping process that requires a plate with steel fiducials installed on the C-arm image detector. Each fiducial in the resulted X-ray images is detected with a convolutional neural network (CNN). Previously to the 2D/3D registration execution, it is required to input an initial pose. A graphical approach for the manual selection of the initial pose is implemented, but also an automatic initial pose generator based on a CNN is developed. The combination of implemented procedures is a fully automated local 2D/3D registration with an average accuracy of 1.5 mm, measured with the navigation system. The result of the registrations can be transferred easily to a navigated robot system.

Die minimalinvasive Chirurgie durch Fortschritte in der medizinischen Bildgebung ermöglicht, die im Vergleich zur konventionellen offenen Chirurgie zu einer schnelleren Durchführung des Eingriffs, geringeren Schnittgrößen und Knochenfreilegung sowie schnelleren Erholungszeiten führt. Ein besonders komplexer minimalinvasiver Eingriff ist das Einsetzen von Pedikelschrauben in der Lendenwirbelsäule, der eine Genauigkeit der Klasse A oder B auf der Gertzbein-Robbins-Skala erfordert, d.h. unter 2 mm. Ein minimalinvasiver chirurgischer Eingriff beginnt mit der präoperativen Bildgebung, z. B. einer 3D-Computertomographie (CT), die in der Regel außerhalb des Operationssaals (OP) aufgenommen und zur Diagnose und Planung der Posen für die einzusetzenden Pedikelschrauben verwendet wird. Eine große Herausforderung besteht darin, die geplanten Daten in den OP zu bringen, d. h. die präoperativen Daten mit der aktuellen Patientenposition zu registrieren, wobei allgegenwärtige Bildgebungsmodalitäten verwendet werden, die in Operationssälen zu finden sind, wie beispielsweise ein mobiles Röntgengerät (C-Bogen). Abhängig von den verwendeten Modalitäten, dem jeweiligen chirurgischen Verfahren und den zu registrierenden Organeigenschaften können unterschiedliche Registrierungsansätze verwendet werden. In dieser Arbeit wird ein intensitätsbasierter 2D/3D-Registrierungsansatz unter Verwendung von präoperativen CT-Daten und 2D-Röntgenbildern für die minimalinvasive Wirbelsäulenchirurgie diskutiert. Das intensitätsbasierte 2D/3D-Registrierungsverfahren wird mathematisch charakterisiert und in seine wesentlichen Elemente zerlegt. Aus dem Vergleich von Röntgenbildern und digital rekonstruierten Röntgenbildern (DRR), die aus den CT-Daten erstellt werden, wird eine Kostenfunktion erstellt. Ein Optimierungsalgorithmus wird verwendet, um die Kostenfunktion zu minimieren und die Registrierungspose zu finden. Es hat sich herausgestellt, dass das DRR-Rendering rechenintensiv ist und den Engpass bei der Registrierung darstellt. Eine neuartige Optimierung, die auf parallelem Rechnen basiert, wird auf den DRR-Prozess angewendet. Ein Satz von Koordinatensystemen, die vom Navigationssystem unterstützt werden, wird berücksichtigt, um die Registrierungsergebnisse in den OP zu transformieren. Das C-Bogen-Koordinatensystem wird mit Hilfe des Lochkameramodells beschrieben und mit einem Parametrisierungsvorrichtung gefunden. Die Parametrisierungsvorrichtung wird auf der Grundlage einer Simulationsanalyse von Genauigkeit vs. Größe entwickelt und auf der Basis eines innovativen inversen Registrierungsansatzes bewertet. Zusätzlich werden zwei neuartige Verbesserungen des Registrierungsverfahrens mittels Deep-Learning vorgenommen. Röntgenbilder, die mit Bildverstärker-C-Bögen aufgenommen werden, sind anfällig für Verzerrungen aufgrund des Erdmagnetfeldes. Die Bilder werden durch eine Bildentzerrung korrigiert, die eine Platte mit Stahl-Markern auf dem C-Bogen benötigt. Jeder Marker in den resultierenden Röntgenbildern wird mit einem Convolutional Neural Network (CNN) erkannt. Vor der Ausführung der 2D/3D-Registrierung muss eine Ausgangsposition eingegeben werden. Es wird ein grafischer Ansatz für die manuelle Auswahl der Anfangs-Pose implementiert, aber auch ein automatischer Generator für die Anfangs-Pose auf Basis eines CNN entwickelt. Die Kombination der implementierten Verfahren ist eine vollautomatische lokale 2D/3D-Registrierung mit einer durchschnittlichen Genauigkeit von 1,5 mm, gemessen mit dem Navigationssystem. Das Ergebnis der Registrierungen kann mit geringem Aufwand auf ein navigiertes Robotersystem übertragen werden.