Theo dõi khuôn mặt VRChat không tốn ngân sách avatar

VRChat đã hỗ trợ gốc theo dõi khuôn mặt VRChat trong client open beta và Avatars SDK 3.10.6-beta.1 trở lên. Hệ thống đồng bộ toàn bộ dữ liệu Unified Expressions với người chơi khác mà không tiêu thụ ngân sách tham số đồng bộ tùy chỉnh của avatar.

Nhà sáng tạo thiết lập biểu cảm trong mục Face Tracking mới của Avatar Descriptor. VRChat Inc. từng mô tả hệ thống này với tên “High Fidelity Face Tracking” trong bản cập nhật dành cho nhà phát triển ngày 24 tháng 9.

Unified Expressions hoạt động thế nào

Hệ thống dựa trên tiêu chuẩn Unified Expressions của dự án cộng đồng VRCFaceTracking (VRCFT). Nó hoạt động cùng viseme do âm thanh điều khiển, tính năng điều hướng mắt và mí mắt của VRChat.

Nhà sáng tạo có thể điều khiển blendshape trên nhiều mesh. Họ cũng có thể xếp lớp các “Blendshapes Sets”, chẳng hạn bộ biểu cảm vui hoặc giận, rồi dùng parameter behaviors để kết hợp hoặc giới hạn giá trị theo dõi. Cách thiết lập này không yêu cầu xây dựng các animator setup phức tạp.

Tài liệu dành cho nhà sáng tạo của VRChat cho biết toàn bộ dữ liệu Unified Expressions được đồng bộ với người chơi khác và “không tiêu thụ ngân sách tham số đồng bộ tùy chỉnh của bạn”. Bản cập nhật tháng 9 giải thích rằng dữ liệu được truyền tương tự NetIK, nên độ trung thực có thể giảm khi avatar ở xa. Blended Shapes và Simplified Parameters hiện chưa được hỗ trợ.

Thiết bị và nguồn dữ liệu tương thích

Dữ liệu theo dõi được truyền qua OSC. Nguồn dữ liệu có thể là bản beta VRCFT mới nhất trên Steam hoặc tính năng Selfie Expression dựa trên webcam của VRChat trên desktop PC và Android.

Các headset theo dõi khuôn mặt phổ biến gồm Pico 4 Pro và Enterprise, Meta Quest Pro và Samsung Galaxy XR. Công cụ cộng đồng bổ sung hỗ trợ Quest 3 và 3S. Bigscreen Beyond 2e chỉ cung cấp theo dõi mắt, không phải theo dõi khuôn mặt.

Với VR Glasses sắp ra mắt của Meta, Meta sẽ không cho ứng dụng bên thứ ba truy cập dữ liệu theo dõi khuôn mặt trực quan khi sản phẩm ra mắt, theo UploadVR. Nhà phát triển sẽ có theo dõi mắt cùng nguồn âm thanh Audio to Expressions.

Tác động với avatar và người chơi

Avatar có theo dõi khuôn mặt trước đây thường cần các thiết lập tham số tùy chỉnh. Những tham số này chiếm vào ngân sách đồng bộ giới hạn của từng avatar. Hệ thống gốc của VRChat gửi dữ liệu Unified Expressions mà không dùng ngân sách đó, giúp việc xây dựng avatar và hiển thị biểu cảm giữa người chơi nhất quán hơn.

Nhà sáng tạo avatar Hash đã cập nhật một số gói avatar Booth phổ biến bằng các phiên bản beta. Tuy nhiên, tính năng hiện chỉ có trong open beta. Bản cập nhật ngày 22 tháng 10 xác nhận Avatars SDK 3.10.6 vẫn đang được thử nghiệm, nên hỗ trợ gốc chưa được đưa ra ngoài kênh beta.