Augmented Reality – Wie funktioniert's?
4 Min.
Die Technologie hinter der Magie
Die Erzeugung einer AR-Szene lässt sich in separierten Schritten beschreiben, der Prozess wird vom Anwender jedoch nicht in einzelnen Schritten wahrgenommen. Stark vereinfacht kann die AR-Funktionsweise auf fünf Schritte heruntergebrochen werden. Nachfolgend erläutern wir Ihnen jeden dieser fünf Schritte und verdeutlichen sie durch eine sinnbildliche Abbildung:
1. Die physische Welt erfassen
Bevor sich Realität und Virtualität berühren, muss zunächst die physische Welt erkannt werden. Dieser erste Schritt ist die Grundvoraussetzung für die Erweiterung der Realität. Abhängig vom Trackingverfahren kann sich die Art und Weise unterscheiden, wie die Realität erfasst wird. Die meisten AR-Anwendungen, die derzeit eingesetzt werden, funktionieren überwiegend auf visueller Basis. Sie zeichnen die reale Umgebung über eine kalibrierte Kamera in einem Videostream auf.
2. Lage, Position und Orientierung schätzen
Um virtuelle Objekte richtig in die Realität einbinden zu können, muss die AR-Anwendung wissen, an welcher Stelle das virtuelle Objekt erscheinen soll und in welchem räumlichen Bezug zu dieser Position sich der Betrachter bzw. die Kamera befindet. Über das Tracking, dt. Verfolgung, werden Position, Lage und Orientierung kontinuierlich bestimmt. Dafür benötigt das AR-System einen Referenzwert in der Realität: Bekannte Muster, die das Schätzen von Lage, Position und Orientierung ermöglichen. Wie diese Muster aussehen, ist abhängig vom eingesetzten Trackingverfahren. So kann ein Muster beispielsweise auf einem 3D-Modell, einem Bild, einem QR-Code, GPS-Koordinaten oder Sensordaten basieren.
3. Virtuelle Inhalte verankern
Wenn die AR-Anwendung ein ihr bekanntes Muster erkennt, wird ein virtuelles Objekt in die reale Umgebung eingepasst und verankert. Dadurch erhält ein virtueller Gegenstand eine feste Position im realen Raum und wird perspektivisch korrekt dargestellt. Ausgangsgrundlage dafür sind die Trackingdaten. Sie geben das Koordinatensystem der realen Welt wieder. Doch damit ein AR-System ein virtuelles Objekt formgetreu in die Realität einbinden kann, muss das reale Weltkoordinatensystem mit dem Koordinatensystem des virtuellen Objekts harmonisiert werden. Das geschieht im Rahmen der geometrischen Registrierung.
4. Virtuelle Inhalte darstellen
Ausgehend von der geometrischen Registrierung und der Kameraperspektive werden die physische und die virtuelle Welt miteinander kombiniert. In AR-Systemen mit visuellen Inhalten erfolgt diese Verschmelzung durch Überlagerung und Rendering. Die Überlagerung kann eine Überlagerung eines Videobilds, fachsprachlich Video-See-Through, oder eine optische Überlagerung, fachsprachlich Optical-See-Through, sein.
5. Inhalte ausgeben
Die gerenderten Inhalte werden über ein Display wiedergegeben. Diese Ausgabe ist das, was der Anwender über den Bildschirm eines Smartphones, Tablets oder über eine AR-Brille wahrnimmt: die Verschmelzung von realer und virtueller Welt.
Warum das Tracking ausschlaggebend ist
Anhand der Funktionsweise eines AR-Systems wird deutlich, dass das Tracking eine zentrale Rolle für die erfolgreiche Realisierung einer AR-Anwendung darstellt. Nur ein genaues und stabiles Tracking ermöglicht es, virtuelle Objekte stimmig in die Realität zu integrieren.
Es gibt eine Reihe unterschiedlicher Trackingverfahren. Grundlegend werden Trackingverfahren in die Kategorien nichtvisuell, visuell und hybrid unterteilt, wobei die Kategorie der hybriden Trackingverfahren eine Mischform ist. Hier werden unterschiedliche Trackingverfahren miteinander kombiniert, um die Vorteile und Nachteile einzelner Trackingsysteme gezielt ausspielen zu können.
Die untenstehende Grafik gibt einen Überblick über die gängigsten Trackingverfahren und ihre Einordnung:
Sensorbasiert, visuell oder mechanisch?
Wenn Sie sich fragen, welches Trackingverfahren sich für Ihre AR-Anwendung am besten eignet, lautet die vorerst unbefriedigende Antwort: "It depends…". Welches Verfahren die optimale Wahl für eine Anwendung ist, hängt maßgeblich vom Anwendungsszenario ab.
In den letzten Jahren hat sich vermehrt der Einsatz visueller Trackingverfahren durchgesetzt. Das hängt in erster Linie damit zusammen, dass visuelle Verfahren bei vergleichsweise geringen Kosten, qualitativ hochwertiges Tracking ermöglichen und dabei flexibel einsetzbar sind.
AR-fähige Endgeräte wie Smartphones oder Tablets sind heutzutage standardmäßig mit Kamera und Gyroskop ausgestattet. Um von den Stärken unterschiedlicher Trackingverfahren zu profitieren, ist es daher naheliegend, visuelle Trackingverfahren und Inertial Tracking in einem hybriden System miteinander zu kombinieren.
Was sind nichtvisuelle Trackingverfahren?
Nichtvisuelle Trackingverfahren sind Trackingverfahren, die für das Schätzen von Lage, Position und Orientierung keinen optischen Bezugspunkt verwenden. Zu den nicht visuellen Trackingverfahren zählen beispielsweise:
- Mechanisches Tracking
- Elektromagnetisches Tracking
- Austisches Tracking
- GPS-Tracking
- Laser-Tracking
- Inertial Tracking, z. B. mit Trägheits- und Beschleunigungssensoren
Was sind visuelle Trackingverfahren?
Anders als nichtvisuelle Trackingverfahren arbeiten visuelle Trackingverfahren mit sichtbaren Referenzwerten aus der physischen Umgebung. Die Bestimmung von Lage, Position und Orientierung erfolgt anhand von visuellen Merkmalen. Die nachfolgende Abbildung zeigt zwei Blicke durch eine Kamera. Im linken Bild sehen Sie das unmarkierte Objekt und im rechten Bild denselben Gegenstand mit Markierung der entscheidenden visuellen Merkmale.
Visuelle Trackingverfahren können in markerbasiertes und markerloses Tracking unterteilt werden:
Visuell und markerbasiert
Markerbasierte Verfahren verwenden künstliche Marker, um Lage, Position und Orientierung der Kamera zu bestimmen. Künstliche Marker sind bekannte 2-D- oder 3-D-Objekte, die durch spezifische Eigenschaften wie Form oder Farbe einfach, schnell und zuverlässig in einem Videostream erkannt werden können. Einer der bekanntesten Vertreter der künstlichen Marker ist der QR-Code.
Visuell und markerlos
Anders als markerbasierte Trackingverfahren werden beim markerlosen Tracking keine künstlichen Marker verwendet. Stattdessen erfolgt das Tracking über natürliche Merkmale bzw. über natürliche Referenzobjekte in der physischen Welt.
Markerbasiert vs. markerlos
Vor- und Nachteile von marker- und merkmalbasiertem Tracking verhalten sich komplementär zueinander. Das bedeutet, die Vorteile der einen Trackingvariante sind die Nachteile der anderen.
Der Hauptvorteil des markerbasierten Trackings ist, dass schwer zu interpretierende Situationen mit künstlichen Markern weitestgehend vermieden werden können. Selbst bei suboptimalen Umgebungsbedingungen wie schlechten Lichtverhältnissen, Reflexionen oder wenigen visuellen Merkmalen am Zielobjekt ist ein zuverlässiges Tracking sichergestellt. Auch, wenn zwischen zwei optisch nahezu identischen Gegenständen differenziert werden soll, sind künstliche Marker das Mittel der Wahl.
Der Nachteil von künstlichen Markern liegt darin, dass sie bei der Verwendung einer AR-Anwendung sichtbar sein müssen. Diese Anforderung kann einige Herausforderungen mit sich bringen. Zum einen muss der Marker am Zielobjekt angebracht werden. Das dauerhafte Anbringen von Markern an realen Objekten ist jedoch nicht immer machbar und wünschenswert. Zum anderen besteht die Gefahr, dass der Anwender bei der Interaktion mit dem Zielobjekt den Marker versehentlich verdeckt oder dass der Marker aus bestimmten Perspektiven nicht mehr sichtbar ist.
Im Gegensatz dazu bietet markerloses Tracking die Option, einen Gegenstand völlig ohne Marker zu erkennen. KI-basiertes Training von Trackingmodellen ermöglicht sogar, ein Zielobjekt von allen Seiten und nahezu allen Perspektiven zu erkennen. Eine solche 360°-Abdeckung ist insbesondere für Anwendungsfälle gewinnbringend, in denen viel Interaktion mit dem Zielobjekt stattfindet, z. B. durch Bewegung oder Perspektivwechsel.
Die Qual der Wahl
Um ein AR-System richtig zu konzipieren und gewinnbringend einsetzen zu können, sind eine Reihe von konzeptionellen und technologischen Entscheidungen notwendig. Dabei können Festlegungen zum Aufbau eines AR-Systems, für ein spezifisches Trackingverfahren oder eine bestimmte Realisierungsumgebung nicht universal getroffen werden. Entscheidend ist die Abstimmung auf den jeweiligen Anwendungsfall. Die AR-Technologie erlaubt eine Vielzahl unterschiedlicher Optionen zur Realisierung. Doch gerade durch diese Masse an Möglichkeiten ist es schwierig, die Übersicht zu behalten und die bestmögliche Option zu wählen.
Wenn Sie Hilfe bei technologischen Fragen oder der Konzeption ihres AR-Systems benötigen, dann kommen Sie gern auf uns zu. Wir unterstützen Sie bei Ihren Problemen und stehen Ihnen als Beratungs- und Realisierungspartner zur Seite.
