エモート中に口が動くようにする【VRM1.0 ExpressionのOverride設定をする】

clusterの11月のアップデートで、エモートしている最中にもリップシンク（声にあわせて口が動く）が機能するようになります。
VRM1.0形式で、適切な設定を行うことで有効にすることができます。

VRM1.0への変換方法、シェイプキーの設定方法はこちら

こちらの記事で紹介する設定はVRM1.0に対応したものです。
VRM0.xからの変換方法やFBXなどからの作成方法は下記の記事が参考になります。

VRM 0.xを1.0に変換する【新機能・仕様と変換方法について紹介】

🕒️2024-08-20

2024年9月からclusterもVRM1.0に対応することになりました。VRM1.0ではアバターの表現力をアップさせる新機能も使えるように！サブアームなどの表現が可能に（本画像・サムネイル画像のモデル：Seed-san model by VirtualCast, Inc. VRMコンソーシアムが配布しているサンプルモデル）ただ、記事公開時点ではVRM0.xのアバターをVRM1.0対応にするためにはUnity上での作業が必要になります。そこで今回は、VRM1.0で登場した新機能とVRM0.xから1.0への変換方法を簡単に解説します。※0.x形式で制作された既存のアバターは後述の自動変換が行...

また、エモートの設定などは下記の記事が参考になります。

【サンプル付き・VRM1.0】アバターの表情をつくる「シェイプキー」をBlenderで作成...

🕒️2024-09-11

Blenderで作成したアバターはVRMにすることでclusterに持ち込むことができます。また、Blenderで表情用のシェイプキーを作成することでVRMモデルに表情アニメーションを追加することができます。今回は自作のアバターに表情を付けるために必要なシェイプキーや、シェイプキーの作成方法について解説していきます。Blenderを初めて触る方にはこちらの記事がおすすめです。すぐに使えるサンプルデータのダウンロードはこちらから今回の解説では、以下のサンプルデータを用いて解説していきます。（シェイプキー設定済みサンプルモデル）...

Override設定とは？

VRM1.0のExpressionには、表情とまばたきやリップシンクを組み合わせたときに表情が破綻しないようにウェイトを調整する「Override」設定があります。
「Override」を適切に設定することで、エモートやVRのハンドサインで表情を変えているときに表情の破綻なくまばたきや口パクを併用できるようになります。

Overrideの種類

• ※まばたきがBlink、リップシンクがMouthと対応します。
  • リップシンクの場合
    • None
      • エモートのウェイトに関わらず、リップシンクをする。
    • Block
      • エモートのウェイトが0より大きいときは、リップシンクをしない。
    • Blend
      • エモートとリップシンクのウェイトの合計が1以下になるように調整される。
        • ex. あるエモートのウェイトがxであった場合は、リップシンクのウェイトは0以上(1 – x)以下となる。
• 基本的には「Block（エモート中には動くようにしない）」か「None（エモート中にも動くようにする）」にして、より細かく調整したい場合は「Blend」にするのがおすすめです。
• 通常状態（Neutral）にもOverride設定が適用されるため、エモートしている時以外で口などを動かしたい場合はNeutralは「None」に設定するのがおすすめです。

詳細な仕様はVRMの公式ドキュメントをご覧ください。

設定方法

下記で設定方法について解説します。
設定はExpression設定済みのVRM1.0アバターを前提に解説します。

• エモート中に口を動かすようにしたい表情（Expression）をInspectorで選択してください。
  • Expressionの確認は以下の手順でできます。
    • 設定したいアバターの親（VRMのコンポーネントがついているもの）を選択し、Inspectorを表示してください。
    • 「VRMInstance」コンポーネント内の「VRM1 > Vrm」に右欄に設定されている項目をダブルクリックしてください。
    • Inspectorの上部にある「Select GUI」を「Expression」にすると、そのVRM1.0アバターに設定されているExepressionが表示されます。
    • 設定をしたいExpressionをEmotion内で確認し、そのEmotion名の横にある欄をダブルクリックします。

• InspectorでExpressionの下部にある「Option」を展開してください。
  • clusterでは「Blink」「Mouth」が有効になるため、このふたつの設定を行います。
    • Blink
      • 「None」「Blend」のどちらかを選択することで、エモート中でもアバターのまばたきが反映されるようになります。
        • 目を閉じている表情の場合は目を閉じすぎることもあるため、実際の挙動を確認しながら設定するのがおすすめです。
    • Mouth
      • 「None」「Blend」のどちらかを選択することで、エモート中でもアバターの口の動きは反映されるようになります。
        • 口を開けている表情の場合は口を開け過ぎてしまうこともあるため、実際の挙動を確認しながら設定するのがおすすめです。

Optionがグレーアウトして選択できない場合は下記の手順を試してみてください。
1.編集したいVRMデータを選択する
2.Inspector内の「Vrm」の「Extract Meta And Expressions」をクリックする
3.表情データがProject欄に展開され、編集可能な状態になります

設定時の注意点

表情によっては「None」の設定にすると、口が開き過ぎてしまったり、目が閉じ過ぎてしまったりすることがあります。Blink、MouthのOverride設定を行う場合は、実際の挙動を確認した上でシェイプキー側で都度調整するなどして設定してください。

VRoid StudioでVRM 1.0として出力したアバターはデフォルトで「None」の設定になります（2024年11月時点）

また、VRoid Studioで制作したアバターをVRM 1.0として出力した段階では「None」の設定になっています。適切な設定にするためにはUnity上で設定する必要があります。