IA en VR : usages concrets, jeux et coûts d’abonnement

L’IA en VR apporte aujourd’hui des fonctions utilisables chez soi, des assistants capables d’analyser ce que voient les caméras aux tuteurs de langue, aux personnages de jeux parlants et aux environnements 3D créés depuis une photo.

Son intérêt dépend toutefois de l’usage. Certaines fonctions réduisent les tâches pénibles directement dans le casque. D’autres reposent sur des serveurs cloud et peuvent ajouter un abonnement ou des crédits à payer.

Des assistants intégrés aux casques

Sur Samsung Galaxy XR, Gemini est intégré au système d’exploitation. Sur Meta Quest 3, Meta AI peut répondre à une question vocale sur un objet posé devant l’utilisateur ou sur une vidéo affichée dans une fenêtre. Cette approche évite de saisir des mots de passe Wi-Fi ou des recherches avec des contrôleurs sur un clavier virtuel.

Meta a aussi ouvert une Passthrough Camera API. Des applications tierces peuvent ainsi reconnaître des jeux de société, des ingrédients de cuisine ou des panneaux en langue étrangère directement dans l’environnement réel.

L’IA intervient également dans le rendu graphique. Les casques autonomes doivent afficher deux images très nettes à 90 à 120 images par seconde, avec une puissance et une batterie limitées. Qualcomm prépare Snapdragon Reality Elite, une puce dont la puissance d’IA dédiée doit plus que doubler pour atteindre 48 TOPS. Apple avec Apple Vision Pro (M5), NVIDIA sur PC VR et Sony sur PS5 Pro utilisent aussi la mise à l’échelle par IA pour produire une image plus nette à partir d’un rendu de résolution inférieure, tout en économisant de l’énergie.

Le suivi corporel profite du même principe. Quest 3 et PICO 4 Ultra estiment les mouvements du haut du corps et des mains avec leurs caméras intégrées. Les avatars des applications sociales paraissent ainsi moins raides, sans capteurs à fixer aux coudes ou à la taille.

Applications de langue, bien-être et sport

Les applications utilisent surtout l’IA pour proposer un entraînement moins intimidant qu’une conversation avec un inconnu. Dans IMMERSE - Language Fluency, l’utilisateur parle avec des avatars dans un café virtuel ou à un comptoir d’enregistrement d’aéroport avant de rejoindre des cours avec des professeurs humains.

Le barista IA attend pendant que l’apprenant cherche ses mots et relance la conversation. Cette patience réduit la peur de se tromper. Pour un entraînement individuel, Noun Town Language Learning utilise la reconnaissance vocale avec 16 personnages, afin d’aider les débutants à parler à voix haute.

Dans TRIPP: Meditation, Relaxation, Sleep, le compagnon vocal Kōkua AI écoute le récit de la journée et adapte les exercices de respiration dans des environnements 3D. FitXR associe la boxe à domicile en réalité mixte à l’assistant Atlas AI, qui ajuste les séances selon l’endurance de l’utilisateur.

Jeux : pièces scannées et PNJ parlants

La cartographie automatique est l’un des usages les plus aboutis. Les premiers jeux de réalité mixte demandaient de délimiter manuellement les murs et les meubles. Dans Laser Dance, le casque analyse le plan de la pièce en quelques secondes et construit des parcours de lasers autour du mobilier réel. Le joueur doit se baisser et ramper dans son propre salon.

Les conversations ouvertes avec des PNJ restent plus irrégulières. Meta a présenté des PNJ conversationnels fondés sur Llama dans Horizon Worlds : des guides de pêche dans Bobber Bay Fishing et un compagnon IA appelé « Bazzle » dans le monde d’action et de réflexion Citadel. Meta a rapporté une hausse de près de 15 % du temps passé dans ce dernier.

En pratique, un guide réactif rend les serveurs peu peuplés moins vides et donne aux joueurs seuls un interlocuteur dans les espaces publics bruyants. Mais un délai d’attente apparaît pendant le traitement de la voix. Les garde-fous de sécurité ramènent aussi rapidement le personnage à des réponses prudentes et préenregistrées dès que la conversation sort du sujet.

Sur PC VR, le mod communautaire Mantella pour Skyrim VR pousse plus loin le jeu de rôle. Le microphone alimente des modèles de langage ; les gardes et les marchands se souviennent des échanges, peuvent suivre le joueur, commercer ou dégainer s’ils sont insultés. Le résultat devient moins convaincant lorsqu’un délai cloud d’une à deux secondes laisse le personnage immobile avant sa réponse.

Créer des mondes 3D avec l’IA

Créer une pièce 3D détaillée demandait autrefois plusieurs jours ou semaines de travail artistique. World Labs propose Marble, capable de transformer une consigne textuelle, une ébauche de volume 3D réalisée avec l’outil Chisel ou une seule photographie en scène explorable de type Gaussian splat. Une scène peut être ouverte dans le navigateur d’un Quest 3 en quelques minutes.

Google DeepMind expérimente de son côté Genie 3, qui génère des environnements interactifs image par image au fil du déplacement. Dans Meta Horizon Studio, des outils créent des maillages 3D, des textures, des skyboxes, de l’audio et de la logique TypeScript à partir de descriptions en langage courant. Environ un nouveau monde Horizon sur trois intégrerait déjà des éléments générés par IA.

Avec Hyperscape Capture, les propriétaires de Quest 3 et Quest 3S peuvent scanner leur chambre ou leur studio en se déplaçant avec le casque. Après traitement cloud, l’espace devient une pièce virtuelle réaliste que huit amis au maximum peuvent visiter ensemble.

Le résultat est plus convaincant pour observer que pour jouer. Dans Hyperscape, le passage du streaming cloud individuel au rendu multijoueur local sur Quest 3 réduit visiblement la résolution : les titres des livres deviennent flous et les zones non scannées sont étalées. Les scènes Marble créées depuis une seule image se chargent rapidement, mais restent moins nettes que les captures réelles.

Les objets générés restent souvent figés dans la géométrie. Les chaises, tasses et portes ressemblent à des éléments d’arrière-plan plutôt qu’à des objets manipulables. Les studios utilisent donc surtout ces outils pour prototyper rapidement des plans et créer des décors éloignés, tandis que les objets saisis par le joueur sont encore fabriqués manuellement.

Qui paie le coût de l’IA ?

La règle est directe : une IA exécutée localement sur la puce du casque ne demande pas de paiement mensuel après l’achat et réduit des frictions quotidiennes. Une IA dépendante de serveurs cloud entraîne généralement une facture récurrente.

Les casques équipés de processeurs plus rapides et de 12 à 16 Go de mémoire restent chers, alors que la demande des centres de données contribue à la hausse mondiale du prix de la mémoire. Les modèles haut de gamme coûtent 1 799 $ pour Galaxy XR et 3 499 $ au lancement pour Vision Pro M5. Meta conserve une gamme d’entrée de 299 à 499 $ avec Quest 3S et Quest 3.

Chaque échange avec un personnage IA hébergé dans le cloud entraîne des frais de reconnaissance vocale, de raisonnement linguistique et de synthèse vocale. Le coût se situe autour de 0,002 à 0,025 $ par échange aller-retour. Un studio qui vendrait un jeu à 20 $ avec des conversations cloud illimitées risquerait donc de perdre de l’argent avec ses joueurs les plus actifs.

• IMMERSE : 15 $ par mois, ou 11,25 $ par mois avec une facturation annuelle, pour la pratique conversationnelle IA ; 35 $ par mois avec des enseignants en direct.
• TRIPP avec Kōkua AI : 9,99 $ par mois, 49,99 $ par an ou 99,99 $ à vie.
• FitXR : abonnement de 12,99 $ par mois ou 107,99 $ par an.

Pour l’utilisateur, l’IA la plus discrète est souvent la plus utile : cartographier une pièce, suivre un corps, améliorer une image ou reconnaître un objet. Les conversations ouvertes et les mondes générés impressionnent davantage, mais leurs pauses, leurs limites d’interaction et leurs coûts cloud restent visibles.