VR trifft KI: Wie generative Modelle und integrierte Assistenten Virtual Reality neu schreiben

Von Gemini in Android XR bis zu KI-generierten Welten in Meta Horizon und World Labs' Marble – künstliche Intelligenz verändert, wie VR gebaut, genutzt und verkauft wird. Wir schauen uns die Belege, die Zahlen und die offenen Probleme an.

Von vrBlogs

3. November 2026 · 6 Min. Lesezeit

VR trifft KI: Wie generative Modelle und integrierte Assistenten Virtual Reality neu schreiben

Für den Großteil seiner Geschichte hatte Virtual Reality ein Content-Problem. Headsets wurden leichter und schärfer, aber jede Welt, jede Figur und jede Dialogzeile musste noch immer von Hand gebaut werden. Im vergangenen Jahr hat sich das zu ändern begonnen. Künstliche Intelligenz taucht jetzt auf drei Ebenen des VR-Stacks gleichzeitig auf: als Assistent, der sieht, was du siehst, als Werkzeug, das Welten aus einem Satz baut, und als Gehirn hinter Figuren, mit denen du tatsächlich sprechen kannst.

Dieser Artikel schaut, wo diese Konvergenz heute steht, was die Belege sagen, und was noch im Weg steht.

1. Der KI-Assistent zieht in das Betriebssystem ein

Samsung Galaxy XR läuft auf Android XR, wo Gemini in das System integriert ist, statt als App installiert zu werden. Bild: Google

Das klarste Zeichen des Wandels ist das Samsung Galaxy XR, das im Oktober 2025 als erstes Headset auf Googles Android-XR-Plattform gestartet wurde. Google beschreibt Gemini als Teil des Betriebssystems selbst: Es kann verstehen, was auf dem Bildschirm angezeigt wird und was die Kameras im Raum sehen, dann Fragen beantworten oder über Apps hinweg durch Sprache, Blick und Geste handeln. Bei der Markteinführung kostete das Headset 1.799 USD in den USA und Korea, und Google sagt, dass mehr als 50 XR-Erfahrungen von Partnern wie Adobe, Calm, Fox Sports und MLB am ersten Tag verfügbar waren.

Im Durchsichtmodus kann der Assistent über sowohl die digitalen Fenster als auch den physischen Raum um sie herum nachdenken. Bild: Google

Meta hat auf Quest einen ähnlichen Weg eingeschlagen. Meta AI kam auf Quest 3 Headsets als experimentelle Funktion an, und Meta sagte, dass seine visionsbasierte Version, zuerst auf Ray-Ban Meta Brillen zu sehen, zu Horizon OS im Durchsichtmodus kommt und schließlich die älteren Sprachbefehle ersetzen würde. Experimentelle KI-Funktionen wurden anfangs in EU-Ländern zurückgehalten, eine frühe Erinnerung daran, dass Regulierung bestimmt, wie schnell sich diese Tools verbreiten.

Der Punkt ist nicht, dass ein Chatbot jetzt in deinem Sichtfeld schwebt. Es ist, dass das Headset zu einem Gerät wird, das den Kontext versteht. Ein flacher Bildschirm kennt nur das, was du tippst; ein Mixed-Reality-Headset weiß, wo du hinschaust, welche Objekte auf dem Tisch sind und was du mit deinen Händen tust. Das macht es zu einer der reichhaltigsten Eingaben, die ein KI-Modell bekommen kann.

2. Welten, die aus einer Eingabeaufforderung generiert werden

Eine Welt, die aus der Eingabeaufforderung „Mittelmeerlandschaft" in Meta Horizon Studio generiert wurde. Bild: Meta

Die zweite Front ist Content-Erstellung, und hier sind die Zahlen bereits aussagekräftig. Bei Meta Connect 2025 sagte Meta, dass seine generativen KI-Creator-Tools für Horizon Worlds, die 3D-Meshes, Texturen, Skyboxes, Sound und TypeScript-Code erzeugen, von fast 60 % der berechtigten Creator in den letzten 30 Tagen verwendet wurden, und dass ungefähr eine von drei neuen Welten, die im vorherigen Monat veröffentlicht wurden, KI-generierte Assets enthielt.

Außerhalb der großen Plattformen treibt eine neue Klasse von „World Models" weiter. World Labs, das Startup unter der Leitung von Fei-Fei Li, startete Marble kommerziell Ende 2025. Marble verwandelt Text, Bilder oder Videos in bearbeitbare 3D-Umgebungen, die als Gaussian Splats oder Standard-Meshes exportiert werden können, und das Unternehmen sagt, dass diese Welten direkt in VR auf Apple Vision Pro und Meta Quest 3 angezeigt werden können. Marble 1.1, veröffentlicht im April 2026, entfernte den festen räumlichen Fußabdruck, der frühere Szenen einschränkte. Google DeepMind's Genie 3 verfolgt einen anderen Ansatz und generiert erkundbare Welten in Echtzeit, während du dich durch sie bewegst, obwohl der Zugriff noch immer auf eine kleine Gruppe von Google AI Ultra Abonnenten in den USA beschränkt ist.

Erfassung konvergiert auch mit Generierung. Metas Hyperscape Capture lässt einen Quest 3 oder Quest 3S Besitzer einen Raum mit den Kameras des Headsets scannen; die Szene wird über die Cloud in wenigen Stunden in einen fotorealistischen Gaussian Splat verarbeitet, der zum eigenständigen Headset zurückgestreamt wird. Bis zu acht Personen können jetzt gemeinsam einen geteilten Capture besuchen. UploadVR nannte es einiges der realistischsten VR, das es gesehen hatte, während es die üblichen Splat-Artefakte auf feinem Text und in Bereichen notierte, die Kameras nie erreicht haben.

3. Figuren, die zurücksprechen

Die dritte Verschiebung ist weniger sichtbar, könnte aber für das Engagement am wichtigsten sein. Skriptgesteuerte Non-Player-Characters mit ihren festen Dialogbäumen waren schon lange einer der schwächsten Teile der VR-Immersion. Meta teilte einen konkreten Datenpunkt: als die Horizon-Welt Citadel skriptgesteuerte NPCs durch KI-generierte Charaktere ersetzte, stieg die verbrachte Zeit um fast 15 % an. Meta hat auch gesagt, dass Horizon Creator die Fähigkeit haben werden, sprachgesteuerte KI-NPCs hinzuzufügen.

Die gleiche Idee hat großes Potenzial in der Ausbildung. Eine vielbeschworene PwC-Studie von neuen Managern fand heraus, dass VR-Lerner Soft-Skills-Training bis zu viermal schneller abschlossen als Klassenzimmer-Lerner und sich bis zu 275 % zuversichtlicher fühlten, das Gelernte anzuwenden, mit VR, das bei rund 375 Lernenden Kostenparity mit Klassenzimmer-Training erreichte. Diese Studie geht den modernen Sprachmodellen voraus und basierte auf vordefinierten Szenarien. Die Kopplung des gleichen immersiven Formats mit KI-Rollenspiel-Partnern, wie ein schwieriger Kunde oder ein nervöser Patient, der natürlich reagiert, ist der logische nächste Schritt, und einer, den viele Enterprise-Training-Anbieter jetzt verfolgen.

4. Apples gedämpferer Ansatz: KI als Verbesserung

Image Playground in visionOS 26 auf Apple Vision Pro. Bild: Apple

Apple ist zurückhaltender gewesen. In visionOS 26 ist das auffälligste KI-Feature spatial scenes, das Apple sagt, nutzt einen neuen generativen KI-Algorithmus, um gewöhnlichen 2D-Fotos lebensechte Tiefe hinzuzufügen, so dass sie in drei Dimensionen angezeigt werden können. Umgestaltete Personas, die digitalen Avatare, die für Anrufe verwendet werden, basieren auf volumetrischem Rendering und maschinellem Lernen und werden auf dem Gerät in Sekunden erstellt. Apple Intelligence Features wie Image Playground sind vorhanden, aber das Unternehmen stellt KI als etwas dar, das die Erfahrung verbessert, statt als Überschrift.

Der Marktkontext: KI zieht Aufmerksamkeit zu Brillen

Die breiteren Zahlen erklären, warum jeder große Player auf KI setzt. Nach IDC wuchsen globale XR-Gerätelieferungen um 44,4 % im Jahr 2025, aber dieses Wachstum kam hauptsächlich von Smart Glasses, während Meta Quest Lieferungen um 42,3 % im Jahresvergleich fielen. Meta hielt noch immer 72,2 % des Gesamtmarkts. IDC prognostiziert ein weiteres Wachstum von 33,5 % im Jahr 2026 und erwartet, dass brillengesteuerte Displays bis 2027 VR- und MR-Headsets in den Lieferungen überholen.

Mit anderen Worten, der KI-Assistent wird zum Hauptgrund, warum Menschen Geräte mit Sichtfeld kaufen, und leichte Brillen gewinnen dieses Rennen beim Tragekomfort und Preis. Damit VR-Headsets ihren Platz behalten, muss KI sie bedeutend besser bei dem machen, das nur sie können: vollständig immersive Welten, reiche soziale Präsenz und praktisches Training.

Was noch im Weg steht

Datenschutz. Ein Assistent, der deinen Raum versteht, braucht ständigen Zugriff auf Kameras und Sensoren in deinem Zuhause. Wie diese Daten verarbeitet, gespeichert und zum Training verwendet werden, entscheidet darüber, wie weit Benutzer und Regulatoren diese Features gehen lassen.
Rechenleistung und Latenz. Viele der besten Ergebnisse, von Hyperscape-Verarbeitung bis zu Genies Echtzeit-Welten, hängen von der Cloud ab. Eigenständige Headsets haben begrenzte Leistung, und VR verzeiht Verzögerungen nicht.
Qualität und Interaktivität. Generierte Welten sehen noch immer besser aus, als sie spielen. Rezensenten vermerken, dass Marble-Szenen navigierbar sind, aber begrenzte Interaktivität bieten, und Splat-basierte Erfassungen brechen bei feinen Details zusammen.
Kreative und wirtschaftliche Fragen. Wenn bereits eine von drei neuen Welten KI-Assets enthält, werden Plattformen klare Regeln für Zuschreibung, Qualität und wie menschliche Creator bezahlt werden, benötigen.

Das Fazit

KI ist nicht eine einzelne Funktion, die zu VR hinzugefügt wird. Sie löst die ältesten Engpässe des Mediums auf einmal: Content, der teuer zu bauen ist, Charaktere, die leblos wirken, und Interfaces, die nie so natürlich waren, wie sie sein sollten. Die bisherige Evidenz, von der Creator-Adoption in Horizon bis zu Engagement-Gewinnen durch KI-NPCs, deutet darauf hin, dass die Kombination funktioniert. Die nächsten zwei Jahre werden zeigen, ob es genug ist, um Headsets zu einem Mainstream-Produkt zu machen, oder ob die gleiche KI Benutzer stattdessen zu leichteren Brillen zieht.