Eye Tracking stops working when using “VRCFaceTracking” together with AvatarDescriptor Eye Tracking (BN:1769)
くろまるこ
Note: The behavior described below was tested using Meta Quest Pro and an iPhone (Live Link Face).
I have integrated a system into my avatar that combines face tracking intended for “VRCFaceTracking(5.4.1.0)” with the Eye Tracking feature in the AvatarDescriptor.
Recently, I noticed that the same avatar—which previously worked perfectly—no longer applies Eye Tracking, while the rest of the system behaves as expected.
(By “Eye Tracking works,” I mean that the data read from the hardware is correctly reflected on the avatar.)
After investigating in detail, I found that the likely cause is the “v2/EyeX” and “v2/EyeY” parameters, which are used by VRCFaceTracking.
(Although I use AvatarDescriptor Eye Tracking, I was also using “v2/EyeX” and “v2/EyeY” for tongue movement with Meta Quest Pro.)
As a test, I removed both “v2/EyeX” and “v2/EyeY” from VRCExpressionParameters, and AvatarDescriptor Eye Tracking started working again.
To further isolate the cause, I tested with a standard avatar setup that does not include face tracking (an avatar with AvatarDescriptor Eye Look configured). After confirming that my gaze was being reflected using an iPhone and “VRCFaceTracking,” I added “v2/EyeX” to the VRCExpressionParameters. At that point, Eye Tracking stopped working.
This seems like a minor issue, and I’m not sure whether the root cause is VRChat, “VRCFaceTracking,” a bug, or an intended behavior. However, since this behavior appears to have changed compared to how it worked previously, I would like to report it.
~Original Japanese (for reference)~
「VRCFaceTracking」とAvatarDescriptorのEyeTrackingを併用するとEyeTrackingが動作しなくなる。(BN:1769)
※以下の説明の動作確認はMetaQuestProとiPhone(LiveLinkFace)で行っています。
私はアバターに「VRCFaceTracking(5.4.1.0)」を想定したFaceTrackingと、AvatarDescriptorのEyeTrackingを併用したシステムを組み込んでいます。
先日、以前は完全に動作していた上記のアバターが、EyeTrackingだけ動作していないことに気がつきました。
(EyeTrackingが動作するとは、ハードウェアで読み取った情報がアバターに反映されることを指しています。)
詳しく調べてみると、どうやら「VRCFaceTracking」用のパラメーターである「v2/EyeX」と「v2/EyeY」が原因であることが分かりました。
(AvatarDescriptorのEyeTrackingを使用しているのに、「v2/EyeX」と「v2/EyeY」を使用している理由ですが、MetaQuestProで動かせない舌を動かすためにこのパラメーターを使用していました。)
試しにVRCExpressionParametersから「v2/EyeX」と「v2/EyeY」を両方削除することでAvatarDescriptorのEyeTrackingが動作するようになりました。
また、問題の原因を明確にするために、FaceTrackingを組み込んでいない一般的なセットアップがされたアバター(AvatarDescriptorのEyeLookが設定されているアバター)で動作を検証してみました。
iPhoneと「VRCFaceTracking」を使用して自分の視線が反映されていることを確認したのち、VRCExpressionParametersに「v2/EyeX」を追加してみたところEyeTrackingが動作しなくなりました。
マイナーな問題で、原因がVRCなのか「VRCFaceTracking」なのか、また、バグなのか仕様なのか判断が付きませんが以前の挙動から変化があったため報告させていただきます。
Log In