VRChatのアバターとして3Dモデルを使うにあたって、僕が個人的に絶対に外せないことがあります。
<ul>
<li>リップシンク対応済</li>
<li>ハンドサインによる表情アニメーション（カスタムオーバーライド、アニメーションオーバーライド）設定済</li>
<li>アイトラッキング対応済</li>
<li>ダイナミックボーン設定済</li>
</ul>
しかしモデルデータをVRC仕様にこの4点をセットアップするのってかなり大変なんですね。今回のことで思い知りました。
今回作業した環境は以下になります。
<ul>
<li>Blender 2.79a</li>
<li>Cats Blender Plugin 0.15.0</li>
<li>Unity 2017.4.28f1</li>
</ul>
<h2>ことの発端</h2>
<a href="https://d00000000t.booth.pm/items/1634424">オリジナル3Dモデル　るるか - d00000000t - BOOTH</a>
え？！？！ この子かわいすぎひん！？
VRChat向けアバターとして売り出されているモデルは数多くありますが、この「るるか」はサンプル画像だけでなにか違うオーラを感じました。しかも3,000円だしお安い。
ただ、購入前から気になっていたことがありまして、だいたいのモデルデータに記載されている「アイトラッキング対応」「リップシンク対応」とかの記載がなく、その上どんな表情が使えるかも記載されていなかったんですよね。
うーん、これはどうしたものか……。ちょっと嫌な予感がしたわけです。
結局1ヶ月ほど悩んだ挙げ句購入してみました。
インポートしてすぐ感じたことなんですけど、これがなんと影の表現とかがほんと素晴らしいんですよ。普通のテクスチャはもちろん、ShadeMap（影のできかたを指定するテクスチャ）、NormalMap（細かい凹凸を表現するのに使う特殊テクスチャ） MatCap（光の影響関係なしに一部に陰影を表現するテクスチャ） 、 にくわえ、HighColorテクスチャまで作り込まれていて、Unity上でDirectional Lightを動かしてみるだけでほんとものすごかった。
ここまでシェーダーを使いこなしているモデルは初めて見ました。
<h2>セットアップに必要な要素を洗い出す</h2>
<img src="/images/vrchat-avatar-setup01.jpg" alt="VRC_Abatar Discriptor">
が、しかし嫌な予感は残念ながら的中し、以下の要素が存在していなかった。
個人的に必要不可欠なのに足りていない要素一覧
Animatiotor override Controllerは登録されておらず、ハンドサインはデフォルトになっていることがわかります。
Lip Sync も最低限のあいうえおしかない。
<ul>
<li>表情アニメーション</li>
<li>アイトラッキング</li>
<li>（リップシンク専用の口のシェイプキー）</li>
</ul>
なぜリップシンク専用の口のシェイプキーが必要なのかは後述します。
<h2>BlenderでモデルデータをVRC仕様にする</h2>
VRChat仕様のモデルへと作り変えていきます。
<h3>Blenderの日本語化</h3>
Blenderをダウンロード、ダブルクリックして開いたら、まずはわかりやすいように日本語化をおこないます。
<img src="/images/vrchat-avatar-setup02.jpg" alt="File -> User Preferences...">
File -> User Preferences… を選択
<ol>
<li>Systemタブを選択</li>
<li>右下にあるInternatinal Fontsにチェック</li>
<li>DefaultからLanguageを日本語に変更</li>
<li>IntarfaceとTooltipsをクリック</li>
</ol>
最終的にこんな感じになります。日本語化が確認できたら最後に左下にある「ユーザー設定の保存」をクリックしてください。
<h3>FBXファイルのインポート</h3>
ファイル -> インポート -> でFBX(.fbx)を選択
<img src="/images/vrchat-avatar-setup06.jpg" alt="FBXファイルをインポート">
読みこみたいモデルを選択します。
また、Blenderに初めて触る人は気をつけなければならないことがありまして、Unityと同じ感覚で操作してはいけません。右クリックを押しながら行う操作はモデルの位置などに影響が出てしまうため、基本的にプレビュー上では右クリックは押さないようにしましょう。
視点移動はこんな感じ。
<ul>
<li>マウスホイール → ズームイン・アウト</li>
<li>中クリックしながらスクロール → 画面回転</li>
<li>shiftキー + 中クリックしながらスクロール → 画面縦横移動</li>
</ul>
<img src="/images/vrchat-avatar-setup07.jpg" alt="CubeとCamera,Lampを削除">
初期状態ではCubeとLamp、Cameraが用意されています。これらは今回不要になるので、削除します。（しないとモデルにくっついてくる）
<img src="/images/vrchat-avatar-setup08.jpg" alt="CubeとCamera,Lampを削除">
上記画像の文字の上で右クリックするとメニューが開き、削除を選択することで削除できます。
<h3>ボーン名やメッシュ名をVRChatにのっとった名前に変更</h3>
VRChatでアイトラッキングをするためには、以下の条件を満たす必要があります。
<ul>
<li>モデルのルートから目のボーンまでがVRChat側が指定しているボーン名になっていること</li>
<li>顔のメッシュ名が「Body」であること</li>
</ul>
VRChat側でしているボーン順序というのは、ルートからみて
Armature -> Hips -> Spine -> Chest -> Neck -> Head
という順序です。
<img src="/images/vrchat-avatar-setup09.jpg" alt="ボーンをVRChat仕様にのっとった名前へ変更する">
たとえばるるかちゃんの場合、腰のボーンがHipsではなくWaistという名前になっているため、ダブルクリックしてHipsに変更します。他にもVRChat仕様になっていないボーンがあれば確認して修正してください。
（画像でBonesとなっているところはArmatureとなっている必要があるのですが、今後の操作で勝手に変わるので無視します）
次に、顔のメッシュを「Body」という名前に変更します。
<img src="/images/vrchat-avatar-setup10.jpg" alt="顔のメッシュ名をBodyに変更">
るるかちゃんの場合、体のメッシュが「Body」となっており、このままだとBodyに変更することができないので、先に体のメッシュの名前を「BodyAll」というテキトーな名前に変えてから顔のメッシュ名を「Body」に変更しました。
<h3>Cats Blender Pluginを使ってアイトラッキングの設定をおこなう</h3>
アイトラッキングのセットアップをするためには、BlenderにCats Blender Pluginを導入する必要があります。
まず以下のサイトからCats Blender Pluginをダウンロードします。
<a href="https://github.com/michaeldegroot/cats-blender-plugin/releases">Releases · GiveMeAllYourCats/cats-blender-plugin</a>
<img src="/images/vrchat-avatar-setup11.jpg" alt="Cats Blender Pluginをダウンロード">
cats-blender-plugin-x-xx-x.zip をクリックしてダウンロードします。解凍はしなくてよいです。
<img src="/images/vrchat-avatar-setup12.jpg" alt="">
ファイル -> ユーザー設定 を開きます。
<img src="/images/vrchat-avatar-setup13.jpg" alt="ファイルからアドオンをインストール">
アドオンタブを選択、下にある「ファイルからアドオンをインストール…」をクリック
<img src="/images/vrchat-avatar-setup14.jpg" alt="">
先ほどダウンロードしたzipファイルを選択します。
その後に出る画面で左上の検索欄に「Cats Blender Plugin」を入力してチェックマークを入れます。
<img src="/images/vrchat-avatar-setup15.jpg" alt="">
すると左側のサイドバーにCATSという項目が追加されますので、それを開きます。Eye Trackingという項目があるので、クリックします。
<img src="/images/vrchat-avatar-setup16.jpg" alt="アイトラッキングに使うシェイプを設定">
メッシュが本文となってしまっていますが、これは「Body」のことです。 ここまで手順通り進めてきている方は本文で大丈夫。
気になる場合は日本語化した際に選択した「インターフェイス」をクリックしてみてください。英語に戻ります。
Eye Tracking の設定にて、該当のシェイプキーをプルダウンから選択します。
<table>
<thead>
<tr>
<th>項目</th>
<th>選ぶシェイプキー</th>
</tr>
</thead>
<tbody>
<tr>
<td>Blink Left</td>
<td>左目閉じ</td>
</tr>
<tr>
<td>Blink Right</td>
<td>右目閉じ</td>
</tr>
<tr>
<td>Lowerlid Lieft</td>
<td>左ジト目っぽいもの</td>
</tr>
<tr>
<td>Lowerlid Right</td>
<td>右ジト目っぽいもの</td>
</tr>
</tbody>
</table>
Lowerlid は顔が下を向いたときに使用されます。いわゆる上目遣いみたいな状態。本来はそれ用のシェイプキーがあったほうがいいのですが、今回はジト目で妥協します。
設定を済ませたら「Create Eye Tracking」をクリック。
<img src="/images/vrchat-avatar-setup19.jpg" alt="アイトラッキング用のシェイプキー">
Body のメッシュを選択、逆三角形みたいなアイコンをクリックするとシェイプキーが確認できます。
ここにこの順番通りにシェイプキーが並んでいればアイトラッキングの設定が済んでいます。
アイトラッキングはこのシェイプの「順番」がとても重要です。
実はアイトラッキングを設定した瞬間、シェイプキーの順序がめちゃくちゃになってしまうのですが、整理するときは上5つの順序だけは変えないようにしましょう。
<img src="/images/vrchat-avatar-setup30.jpg" alt="ユーザのトランスフォームをクリア（全て）">
モードを「ポーズモード」に変更し、Armatureを選んだ状態でWキーを押してスペシャルメニューの「ユーザートランスフォームをクリア（全て）」をクリックします。
<img src="/images/vrchat-avatar-setup31.jpg" alt="回転と拡縮を適用">
オブジェクトモードに戻して、Ctrl+Aキーを押して現れるメニューで「回転と拡縮」をクリック。
<img src="/images/vrchat-avatar-setup17.jpg" alt="編集モードに変更する">
このあと、モードを「編集モード」に変更し、目のボーンのロール（回転）を0にします。
<img src="/images/vrchat-avatar-setup18.jpg" alt="目ボーンのロールを0にする">
Armature から ボーンをたどってLeftEye、RightEye を選択後、骨の小さいアイコンをクリックして、トランスフォームの項目のロールを0に編集します。
アイトラッキングはゼロを基準に動くので、これができていないとアイトラッキングが動作しても白目になったりします。
ちなみに Create Eye Tracking を押したタイミングで「Bones」の名前がArmatureに変わり、 LeftEye や RightEye というボーンが自動的に生成されました。
<h3>VRC向けのリップシンク専用口シェイプキーを作る</h3>
表情アニメーションだけならUnity上で完結するのですが、実は「リップシンクで使われるはずのシェイプキーを他のアニメーションに使ってしまうとリップシンクが動作しなくなる」という問題があります。
つまり表情のアニメーションオーバーライドに口の割り当てをするとリップシンクが動かなくなってしまい、どちらかを諦める必要が出てきます。
そんなことにならないようにリップシンク専用のシェイプキーを作っていきます。
<img src="/images/vrchat-avatar-setup21.jpg" alt="シェイプキーを追加">
一旦モードをオブジェクトモードに戻し、Bodyのメッシュを選択、シェイプキーの項目でプラスマークをクリックします。
するとシェイプキーが新たに追加されるのでリップシンク用の名前に変更します。今回は「vrc.v_sil」にします。
この状態では「vrc.v_sil」には何も設定されていません。
<img src="/images/vrchat-avatar-setup20.jpg" alt="">
るるかちゃんには「あいうえお」のシェイプキーが存在していたので、リップシンクの作成にはコピーを駆使します。
再度編集モードにして、Aキーを押してBodyメッシュを選択状態にします。
<img src="/images/vrchat-avatar-setup22.jpg" alt="シェイプキーの形からブレンド">
Wキーを押し、スペシャルメニューを表示します。メニュー内にある「任意のシェイプキーを選択部に合成」をクリックします。
<img src="/images/vrchat-avatar-setup23.jpg" alt="">
左下にこのようなメニューが表示されるので、右側の シェイプキーの「vrc.v_sil」が選択されていることを確認 し、プルダウンからBasisを選択して 「追加」のチェックを外します。 
すると「vrc.v_sil」に「Basisの0.99」がコピーされます。
（silは無表情のリップシンクなので本来basisと同じなのですが、Unity上で正しく認識されないため、少しだけ変えています。）
<img src="/images/vrchat-avatar-setup24.jpg" alt="">
今度は同様にオブジェクトモードで「vrc.v_aa」を追加し、「あ」の音に該当する口シェイプキーをコピーします。
同じ形で問題ないのでブレンドは1にしました。
この要領でVRC向けのリップシンクを追加していきます。リップシンクを追加するにあたって、僕は以下のサイトを参考にしました。
<a href="http://ygr.jpn.org/index.php?%E3%83%AA%E3%83%83%E3%83%97%E3%82%B7%E3%83%B3%E3%82%AF">リップシンク – yagura Lab.</a>
<img src="/images/vrchat-avatar-setup25.jpg" alt="VRC用のシェイプキー一覧">
完成。
<h3>FBXとしてエクスポート</h3>
最後にアイトラッキングとリップシンクをセットアップしたモデルデータをFBXファイルとして出力します。
<img src="/images/vrchat-avatar-setup26.jpg" alt="FBXファイルを出力します">
ファイル -> エクスポートからFBX(.fbx)を選択します。
<img src="/images/vrchat-avatar-setup27.jpg" alt="FBXをエクスポート">
エクスポートしたい場所を開き、FBXをエクスポートをクリックすることでエクスポートが完了します。
<h2>エクスポートしたモデルデータをVRChat向けにセットアップする</h2>
すでにセットアップ済みのものを購入していた場合でも、一度Blenderを通すとダイナミックボーンやRigのマッピングなどの設定が外れてしまいますので、設定し直していきます。
<h3>HumanoidとしてRigをマッピング</h3>
<img src="/images/vrchat-avatar-setup28.jpg" alt="">
FBXのInspectorからRigを選択し、Configureをクリックします。
<img src="/images/vrchat-avatar-setup29.jpg" alt="HumanoidでMapping">
基本的に自動的に登録してくれます。なのでたいていは何もせずにApply -> Doneで済むのですが、僕の場合Hipsが登録されていなかったり、あごに髪の毛が登録されていたりしたので手動で修正しApply -> Doneしました。
<img src="/images/vrchat-avatar-setup32.jpg" alt="">
その後、性別を設定したりview positionやリップシンクを登録していってこんな感じに。 見た目は何も変わっていませんがとても長かった気がします……。
ちなみに、アイトラッキングはview positionを参考に動きますので、「なんか下向きがちだなぁ」と感じたらview positionをほんの少しだけ上に持っていったりするといいです。
<h3>表情アニメーションオーバーライドによるまばたき干渉をふせぐ</h3>
表情アニメーションのセットアップはもういろいろなところで解説されているので割愛します。
<a href="https://gend-vrchat.booth.pm/items/1252741">NoBlinkSetter V2 - 元怒の扉 - BOOTH</a>
表情アニメーションとまばたきアニメーションを設定し終わったら、NoBlinkSetterをダウンロード・インポートします。
<img src="/images/vrchat-avatar-setup33.jpg" alt="NoBlinkSetter">
すると上部のVRC SDKなどが並んでいるメニューにVRCDeveroperToolが追加されますので、そこからNoBlinkSetterを選択。
画像のような小窓が表示されるので、Avatarにまばたきアニメーションと表情のアニメーションオーバーライド設定済みのアバターをアタッチ、EyeTracking対応アバターにチェックを入れて「Set NoBlink」のボタンを押します。
<img src="/images/vrchat-avatar-setup34.jpg" alt="NoBlinkSetterで生成されたアバター">
アバター名_blink resetというアバターができあがるので、これをアップロードすれば完了です。お疲れさまでした。
<img src="/images/VRChat_1920x1080_2019-11-22_21-56-02.467.jpg" alt="ジト目とFingerPointを使った表情">
ジト目とFingerPointを使った表情
<img src="/images/VRChat_1920x1080_2019-11-22_21-56-21.834.jpg" alt="アイトラッキングも動いてます">
アイトラッキングも動いてます

りまねどっとねっと

VRChat

FBXデータをイチからVRChat用にセットアップした【アイトラッキング】

ホーム

ブログ

このサイトについて

お問い合わせフォーム

アイトラッキングをするには、シェイプが登録されたメッシュ名をBodyにした上で、目のボーンまでのボーン名をHips -> Spine -> Chest -> Neck -> Headにする必要があります。

FBXデータをイチからVRChat用にセットアップした【アイトラッキング】 - りまねどっとねっと

Skeb Coin はスケブの親会社にあたるスケブベンチャーズが発行体の暗号資産で、スケブの資金調達に使われたらしい。

Skeb と Skeb Coin ってどういう関係性のものなのか気になったので調べた

Golang のサーバーから RTK Query で取得したデータをレンダリングするのが最終目標です。

Docker + React + Go API 通信できる環境を構築する

ハンズオンで書いてみて手に馴染ませたい！ という人のための記事

ゼロから始めない Docker + WordPress ハンズオン

タームスラッグからタームIDを取得するには、get_term_by関数を使うのが簡単だと思います。少し戻り値の扱い方がわかりづらいので覚え書きがてら解説。

タームスラッグからタームIDを取得したい

実際にスクレイピングをおこないたいURLに対して、cookiesメソッドにクッキーを渡してやることで、ログイン状態を維持してdocumentを取得できます。