VRC SDKフェイストラッキングにおけるトラッキングキーの意味まとめ

VRC純正の機能でフェイトラが来たってさ!!!
ということで早速設定して遊んでみました。

項目が多すぎてどれが何なのかわかんなかったのでXで情報集めたりGrokに質問したりして、回答を自分用に手動でまとめたよ
わからないところだけ聞いているので抜けている項目アリ

フェイストラッキングを使えるようにする

アバタールートのVRC Avatar Descriptorから設定します。
赤字のところは確実に設定しないとそもそもフェイストラッキングが使えないという噂(by X)

項目設定
LipSync Viseme Blend Shape Face Tracking
Eye LookEnable
Eye Gaze ModeBoth
Eyelid TypeFace Tracking
Face TrackingEnable
Use All Tracking Keysチェックを入れる
Face Tracking Mesh動かしたいメッシュ(主に顔)を追加する
複数選択可能

Viseme Dampen

Viseme Dampenは、
「音声リップシンク(Viseme)」と「顔トラッキングによる口の動き」が重なって口の形がおかしくなるのを防ぐための設定です。

選択肢動作いつ使う?
None何も弱めないリップシンクとフェイストラッキングが競合しても問題ない場合
Dampen Visemes口のトラッキングが強いときにリップシンクを弱める口のトラッキングを優先したい場合
Dampen Trackingリップシンクが強いときにトラッキングを弱める音声リップシンクを優先したい場合

基本はこれでOK:

  • Mode: Dampen Visemes
  • Amount(Dampen Amount): 1(最大)

顔トラッキングで口が大きく動いているときに、音声リップシンクの影響を弱めてくれます。
ほとんどの人がこの設定を使っていて、口の形が崩れにくくなります。
公式ドキュメントでも、顔トラッキングを優先する場合はこのモードが推奨されています。

と、Grokは言っていますが自分はAmount 0.7でやってます。
口は破綻しない範囲でたくさん動いてほしい。

Tracking Key

全ての項目を埋める必要はなく、対応したシェイプキーがない場合は-none-のままで大丈夫です。
Multiplierの値に0~1の数値を入れることでシェイプキーの最大%を設定することができます。

左右に分かれていない共通のシェイプキーしかない場合は、同じものをLeftとRightの両方に登録して問題ありません。
VRChatのFace Trackingでは「複数のTracking Keyで同じシェイプキーを共有する」ことが公式に想定されています。

ARKit非対応の項目はiPhoneを使ったデスクトップモードのパーフェクトシンクでは動きません。
(対応のVRゴーグル等が必要)

1つの入力に対して複数のシェイプキーを連動させたい場合はParameter Behaviorsを使います。(後日別記事を出すかもしれない)

Eyes(目)

Tracking Key意味する動き備考
EyeClosedRight / Leftまぶたを閉じる動き左右のウインク
EyeLookOutRight / Left目を外側に向けるときのまぶた周りの動き視線方向に合わせてまぶた・目の周りの筋肉が動く
EyeLookInRight / Left目を内側(鼻側)に向けるときの動き同上
EyeLookUpRight / Left目を上に向けるときの動き同上
EyeLookDownRight / Left目を下に向けるときの動き同上
EyeDilationRight / Left瞳孔を拡大するARKit非対応
EyeConstrictRight / Left瞳孔を縮小するARKit非対応
EyeSquintRight / Left目を細める(目の周りをキュッと締める)まばたきとは別の「目を細める」動き
EyeWideRight / Left目を見開く(上まぶたを上げる)驚き・見開いた表情用

Brows(眉)

Tracking Key意味する動き備考
BrowPinchRight / Left眉の内側を寄せる「眉間にシワが寄る」感じ
BrowLowererRight / Left眉を下げる
BrowInnerUpRight / Left眉の内側を上げる
BrowOuterUpRight / Left眉の外側を上げる

Nose(鼻)

Tracking Key意味する動き備考
NoseSneerRight / Left鼻をしかめる(上に引き上げる)
NasalDilationRight / Left鼻の穴を広げるARKit非対応
NasalConstrictRight / Left鼻の穴をすぼめるARKit非対応

Cheek(頬)

Tracking Key意味する動き備考
CheekSquintRight / Left頬を上げる・目の下を持ち上げる動き(笑顔のときなどに出る)
CheekPuffRight / Left頬を膨らませる(空気を含んで膨らむ)
CheekSuckRight / Left頬を吸い込むARKit非対応

Jaw(顎)

Tracking Key意味する動き備考
JawOpen口を開けるmouth_open / jaw_open / aなど
JawRight / Left顎を左右にずらす
JawForward顎を前に出す
JawBackward顎を後ろに引くARKit非対応
JawClench歯を食いしばるARKit非対応
JawMandibleRaise下顎を上げるARKit非対応

Lip(唇)

Tracking Key意味する動き備考
LipSuckUpperRight / Left上唇を歯の内側に吸い込む(上唇を噛む・引っ込める)ARKit非対応
LipSuckLowerRight / Left下唇を歯の内側に吸い込むARKit非対応
LipSuckCornerRight / Left口角を内側に吸い込むARKit非対応
LipFunnelUpperRight / Left上唇を外側に開く感じARKit非対応
LipFunnelLowerRight / Left下唇を外側に開く感じARKit非対応
LipPuckerUpperRight / Left上唇をすぼめる(チューする形)ARKit非対応
LipPuckerLowerRight / Left下唇をすぼめるARKit非対応

Mouth(口)

Tracking Key意味する動き備考
MouthUpperUpRight / Left上の歯を見せるように上唇を引き上げる
MouthUpperDeepenRight / Left上唇を内側に押し込み、頬に食い込ませるような動き
MouthLowerDownRight / Left下の歯を見せるように下唇を引き下げる
MouthUpperRight / Left上唇全体を左右方向にスライドさせるMouthLowerと共通でも可
MouthLowerRight / Left下唇全体を左右方向にスライドさせるMouthUpperと共通でも可
MouthCornerPullRight / Left口角を引き上げる(笑顔の基本)
MouthCornerSlantRight / Left口角を斜め上に傾ける(笑顔の補助)
MouthFrownRight / Left口角を下に引き下げる(不満・悲しみ)
MouthStretchRight / Left口を横に引き伸ばす
MouthDimpleRight / Left頬にえくぼを作る
MouthRaiserUpper上唇全体を上に持ち上げる
MouthRaiserLower下唇全体を上に持ち上げる(顎を上げる感じ)
MouthPressRight / Left唇を強く閉じるように押し付ける
MouthTightenerRight / Left唇を薄く引き締めるARKit非対応

Tongue(舌)

Tracking Key意味する動き備考
TongueOut舌を前に出す
TongueUp舌を上に向けるARKit非対応
TongueDown舌を下に向けるARKit非対応
TongueRight / Left舌を左右に向けるARKit非対応
TongueRoll舌の両端を持ち上げて筒状(ホットドッグ状)にするARKit非対応
TongueBendDown舌を口の中でアーチ状に下げるARKit非対応
TongueCurlUp舌を口の中でアーチ状に上げるARKit非対応
TongueSquish舌を押しつぶして厚くするARKit非対応
TongueFlat舌を平らに薄くするARKit非対応
TongueTwistRight / Left舌先を時計回り/反時計回りにひねるARKit非対応

Throat(喉)

Tracking Key意味する動き備考
SoftPalateClose喉の奥を閉じるARKit非対応
ThroatSwallow飲み込む動きARKit非対応
NeckFlexRight / Left首の筋肉を動かすARKit非対応