VRChat Gesichtstracking: Native Lösung startet in offener Beta

VRChat Gesichtstracking ist jetzt nativ im Open-Beta-Client sowie in Avatars SDK 3.10.6-beta.1 und später verfügbar. Das System synchronisiert den vollständigen Unified-Expressions-Datensatz mit anderen Spielern, ohne das synchronisierte Custom-Parameter-Budget eines Avatars zu verbrauchen. UploadVR berichtet über den Start.

Neue Avatar-Konfiguration

Creator richten Gesichtsausdrücke in einem neuen Bereich „Face Tracking“ des Avatar Descriptor ein. VRChat Inc. hatte das System im Developer Update vom 24. September zunächst als „High Fidelity Face Tracking“ beschrieben.

Die Funktion basiert auf dem Unified-Expressions-Standard des Community-Projekts VRCFaceTracking (VRCFT). Sie arbeitet mit VRChats audio-gesteuerten Visemen, der Blickrichtung und den Augenlidern zusammen. Blendshapes lassen sich über mehrere Meshes steuern. Mehrere „Blendshapes Sets“ können übereinanderliegen, etwa ein fröhliches oder wütendes Set.

Parameter-Verhalten kombinieren oder begrenzen Tracking-Werte. Dafür sind keine komplexen Animator-Setups nötig. Die Creator-Dokumentation erklärt, dass der vollständige Unified-Expressions-Datensatz an andere Spieler gesendet wird und dabei „does not consume your custom synced parameter budget“.

Übertragung und unterstützte Quellen

Die Übertragung funktioniert ähnlich wie NetIK. Bei weit entfernten Avataren kann deshalb die Wiedergabetreue sinken. Blended Shapes und Simplified Parameters werden derzeit noch nicht unterstützt.

Tracking-Daten gelangen über OSC in VRChat. Als Quelle dient unter anderem die aktuelle VRCFT-Beta auf Steam. Auf Desktop-PC und Android steht außerdem VRChats webcam-basiertes Selfie Expression zur Verfügung.

Zu den meistgenannten Headsets mit Gesichtstracking zählen Pico 4 Pro und Pico 4 Enterprise, Meta Quest Pro und Samsung Galaxy XR. Community-Tools ergänzen Unterstützung für Quest 3 und Quest 3S. Bigscreen Beyond 2e bietet dagegen nur Eye Tracking.

Bei Metas kommenden VR Glasses sollen Drittanbieter-Apps zum Start keinen Zugriff auf visuelle Gesichtstracking-Daten erhalten. Entwickler bekommen Eye Tracking sowie eine audio-gesteuerte Quelle namens Audio to Expressions.

Open-Beta-Status und Avatar-Pakete

Gesichtsgesteuerte Avatare waren bisher häufig auf eigene Parameter-Konfigurationen angewiesen. Diese belegten Teile des begrenzten synchronisierten Budgets. Die native Unterstützung überträgt Gesichtsausdrücke außerhalb dieses Budgets und kann dadurch die Einrichtung für Creator sowie die Darstellung für andere Spieler vereinheitlichen.

Nach Angaben von UploadVR hat Avatar-Creator Hash bereits mehrere beliebte Booth-Avatar-Pakete mit Beta-Versionen aktualisiert. Die Funktion bleibt auf den Open-Beta-Client beschränkt. Das Developer Update vom 22. Oktober bestätigt, dass SDK 3.10.6 noch getestet wird.