VR와 AI의 만남: 생성형 모델과 내장 어시스턴트가 가상현실을 다시 쓰다

Android XR 내부의 Gemini부터 Meta Horizon와 World Labs의 Marble에서 AI가 생성한 월드까지, 인공지능은 VR이 구축되고 사용되며 판매되는 방식을 바꾸고 있습니다. 증거, 수치 및 남은 과제를 살펴봅니다.

작성자 vrBlogs

2026년 11월 3일 · 5분 읽기

VR와 AI의 만남: 생성형 모델과 내장 어시스턴트가 가상현실을 다시 쓰다

가상현실의 대부분의 역사에서 콘텐츠 문제가 있었습니다. 헤드셋은 더 가벼워지고 선명해졌지만 모든 월드, 모든 캐릭터, 모든 대사는 여전히 수작업으로 만들어야 했습니다. 지난 1년 동안 그것이 바뀌기 시작했습니다. 인공지능은 이제 VR 스택의 세 가지 수준에서 동시에 나타나고 있습니다: 당신이 보는 것을 보는 어시스턴트, 한 문장으로 월드를 구축하는 도구, 그리고 당신이 실제로 대화할 수 있는 캐릭터의 뇌로서.

이 글은 그러한 수렴이 현재 어디에 있는지, 증거가 무엇을 말하는지, 그리고 여전히 무엇이 장애물로 서 있는지 살펴봅니다.

1. AI 어시스턴트가 운영 체제로 이동

Samsung Galaxy XR은 Android XR을 실행하며, 여기서 Gemini는 앱으로 설치되지 않고 시스템에 내장되어 있습니다. 이미지: Google

전환의 가장 명확한 신호는 2025년 10월에 출시된 Google의 Android XR 플랫폼의 첫 번째 헤드셋인 Samsung의 Galaxy XR입니다. Google은 Gemini를 운영 체제 자체의 일부로 설명합니다: 화면에 무엇이 있는지와 카메라가 실내에서 무엇을 보는지 이해할 수 있으며, 음성, 시선 및 제스처로 질문에 답하거나 앱 전체에서 조작할 수 있습니다. 출시 시 미국과 한국에서 헤드셋 가격은 $1,799였으며, Google은 Adobe, Calm, Fox Sports, MLB와 같은 파트너사의 50개 이상의 XR 경험이 첫날부터 준비되었다고 밝혔습니다.

통과 모드에서 어시스턴트는 디지털 윈도우와 주변의 물리적 공간 모두에 대해 추론할 수 있습니다. 이미지: Google

Meta는 Quest에서 유사한 경로를 선택했습니다. Meta AI는 Quest 3 헤드셋에 실험적 기능으로 출시되었으며, Meta는 Ray-Ban Meta 안경에서 처음 본 시각 기능이 있는 버전이 통과 모드에서 Horizon OS에 올 것이며 결국 이전의 음성 명령을 대체할 것이라고 말했습니다. 실험적 AI 기능은 처음에 EU 국가에서 차단되었으며, 이는 규제가 이러한 도구의 확산 속도를 어떻게 형성하는지를 보여주는 초기 상기입니다.

중요한 점은 챗봇이 이제 당신의 시야에 떠 있다는 것이 아닙니다. 중요한 점은 헤드셋이 맥락을 이해하는 장치가 되고 있다는 것입니다. 평면 화면은 당신이 입력한 것만 알 수 있지만, 혼합현실 헤드셋은 당신이 어디를 보고 있는지, 테이블에 무엇이 있는지, 손으로 무엇을 하고 있는지 알 수 있습니다. 이는 AI 모델이 얻을 수 있는 가장 풍부한 입력 중 하나입니다.

2. 프롬프트에서 생성된 월드

"Mediterranean landscape" 프롬프트에서 생성된 Meta Horizon Studio의 월드. 이미지: Meta

두 번째 전선은 콘텐츠 생성이며, 여기서 수치는 이미 의미 있습니다. Meta Connect 2025에서 Meta는 3D 메시, 텍스처, 스카이박스, 사운드 및 TypeScript 코드를 생성하는 Horizon Worlds용 생성형 AI 크리에이터 도구를 이전 30일 동안 적격 크리에이터의 거의 60%가 사용했으며, 지난 달에 발행된 새 월드의 약 3분의 1이 AI가 생성한 에셋을 포함하고 있다고 말했습니다.

대형 플랫폼 외에서, "월드 모델"이라는 새로운 클래스가 더 나아가고 있습니다. World Labs는 Fei-Fei Li가 이끄는 스타트업이며, 2025년 말에 Marble을 상용으로 출시했습니다. Marble은 텍스트, 이미지 또는 비디오를 편집 가능한 3D 환경으로 변환하며, 이를 Gaussian 스플래트 또는 표준 메시로 내보낼 수 있으며, 해당 월드는 Apple Vision Pro 및 Meta Quest 3에서 VR로 직접 볼 수 있다고 합니다. 2026년 4월에 출시된 Marble 1.1은 이전 장면을 제한하던 고정된 공간 풋프린트를 제거했습니다. Google DeepMind의 Genie 3은 다른 접근 방식을 취하며, 움직일 때 실시간으로 탐험 가능한 월드를 생성하지만 액세스는 여전히 미국의 소수의 Google AI Ultra 가입자로 제한됩니다.

캡처도 생성과 수렴하고 있습니다. Meta의 Hyperscape Capture는 Quest 3 또는 Quest 3S 소유자가 헤드셋의 카메라로 방을 스캔할 수 있게 합니다; 장면은 클라우드에서 몇 시간에 걸쳐 포토리얼리스틱한 Gaussian 스플래트로 처리되어 독립형 헤드셋으로 다시 스트리밍됩니다. 이제 최대 8명이 함께 공유된 캡처를 방문할 수 있습니다. UploadVR은 이를 자신이 본 가장 현실적인 VR 중 일부라고 불렀지만, 일반적인 스플래트 아티팩트와 카메라가 도달하지 않는 영역에 주목했습니다.

3. 대화에 응하는 캐릭터

세 번째 변화는 덜 눈에 띄지만 참여에 가장 중요할 수 있습니다. 고정된 대사 트리를 가진 스크립트된 NPC는 오랫동안 VR 몰입의 가장 약한 부분 중 하나였습니다. Meta는 하나의 구체적인 데이터 포인트를 공유했습니다: Horizon 월드 Citadel이 스크립트된 NPC를 AI가 생성한 캐릭터로 대체했을 때, 소비 시간은 거의 15% 증가했습니다. Meta는 또한 Horizon 크리에이터가 음성 주도 AI NPC를 추가할 수 있을 것이라고 말했습니다.

같은 아이디어는 교육에서 강력한 잠재력을 가지고 있습니다. 광범위하게 인용되는 PwC 신입 관리자 연구에서는 VR 학습자가 교실 학습자보다 소프트 스킬 교육을 최대 4배 빠르게 완료했으며 배운 내용을 적용하는 데 275% 더 자신감을 느꼈으며, VR은 약 375명의 학습자에서 교실 교육과 비용 동등성에 도달했습니다. 이 연구는 현대 언어 모델 이전이었으며 사전 스크립트된 시나리오에 의존했습니다. 같은 몰입형 형식을 AI 롤플레이 파트너(어려운 고객 또는 자연스럽게 응하는 신경 써하는 환자)와 짝을 지으면 논리적 다음 단계이며, 많은 기업 교육 공급업체가 현재 추구하고 있습니다.

4. Apple의 더 신중한 접근: 광택으로서의 AI

Apple Vision Pro의 visionOS 26의 Image Playground. 이미지: Apple

Apple은 더 신중했습니다. visionOS 26에서 가장 눈에 띄는 AI 기능은 spatial scenes로, Apple은 새로운 생성형 AI 알고리즘을 사용하여 일반적인 2D 사진에 생생한 깊이를 추가하여 3차원으로 볼 수 있다고 합니다. 재설계된 Personas는 통화에 사용되는 디지털 아바타이며 체적 렌더링과 기계 학습에 의존하며 장치에서 몇 초 내에 생성됩니다. Image Playground와 같은 Apple Intelligence 기능이 있지만, 회사는 AI를 헤드라인보다는 경험을 개선하는 것으로 표현합니다.

시장 맥락: AI가 안경으로 주의를 끌고 있음

더 광범위한 수치는 모든 주요 플레이어가 AI에 의존하는 이유를 설명합니다. IDC에 따르면, 전 세계 XR 장치 출하량은 2025년에 44.4% 증가했지만, 그 성장은 주로 스마트 안경에서 나왔으며, Meta Quest 출하량은 전년 대비 42.3% 감소했습니다. Meta는 여전히 전체 시장의 72.2%를 차지했습니다. IDC는 2026년에 추가로 33.5% 성장을 예측하며 디스플레이 지원 안경이 2027년까지 출하량에서 VR 및 MR 헤드셋을 능가할 것으로 예상합니다.

다시 말해, AI 어시스턴트는 사람들이 얼굴 착용 장치를 구매하는 주요 이유가 되고 있으며, 경량 안경은 편안함과 가격 면에서 그 경쟁에서 승리하고 있습니다. VR 헤드셋이 자신의 위치를 유지하려면, AI는 오직 그들만 할 수 있는 것을 의미 있게 더 잘해야 합니다: 완전히 몰입형인 월드, 풍부한 사회적 현존감, 그리고 실용적인 교육입니다.

여전히 장애물로 서 있는 것

개인정보 보호. 당신의 방을 이해하는 어시스턴트는 당신의 집에 있는 카메라와 센서에 지속적으로 액세스해야 합니다. 해당 데이터가 어떻게 처리되고, 저장되고, 교육에 사용되는지는 사용자와 규제 기관이 이러한 기능을 얼마나 멀리 허용하는지를 결정할 것입니다.
컴퓨팅 및 지연 시간. 많은 최고의 결과는 Hyperscape 처리에서 Genie의 실시간 월드까지 클라우드에 의존합니다. 독립형 헤드셋은 전력이 제한되어 있으며, VR은 지연에 대해 용서하지 않습니다.
품질 및 상호작용성. 생성된 월드는 여전히 좋아 보이지만 플레이 능력이 떨어집니다. 리뷰어는 Marble 장면은 탐색 가능하지만 상호작용이 제한적이며, 스플래트 기반 캡처는 미세한 세부사항에서 붕괴된다고 지적합니다.
창작 및 경제 문제. 이미 새 월드의 3분의 1이 AI 에셋을 포함한다면, 플랫폼은 귀속, 품질 및 인간 크리에이터가 어떻게 보상받는지에 대한 명확한 규칙이 필요할 것입니다.

결론

AI는 VR에 추가되는 단일 기능이 아닙니다. 이는 미디어의 가장 오래된 병목 현상을 한 번에 해결하고 있습니다: 구축하기에 비싼 콘텐츠, 생명 없이 느껴지는 캐릭터, 그리고 원래 자연스러워야 했던 인터페이스. 지금까지의 증거는 Horizon의 크리에이터 채택에서 AI NPC의 참여 증가에 이르기까지 이 조합이 작동함을 시사합니다. 다음 2년 동안 헤드셋이 주류 제품이 될 수 있을 정도로 충분한지, 아니면 같은 AI가 사용자를 더 가벼운 안경으로 끌어당길지를 보여 줄 것입니다.