VTube Studio


FaceRigのように、人の動きでLive2Dアバターを動かす事が出来るアプリとPCソフトです
現在の所、最も高性能、高機能なソフト、機能、性能的に、FaceRigの上位機能を実現している
PCソフトは Windows版、macOS版あり

スマホ単体でもLive2D標準モデルをそのまま動かせる
FaceRig用に作ったLive2Dモデルも設定を調整するだけそのまま使える
入力項目、出力パラメータ、入力値や範囲を自由に設定できるのが特徴

スマホで検知した動きのパラメータをPCに送って処理する方式

スマホで使用し、PCと画面共有して、PCに負荷かけずゲーム実況でアバター表示する使い方もできる
PC用ソフトとスマホアプリを連携させて、Live2Dモデルを高画質、高反応速度で動かして
表情豊かに雑談配信する使い方もできる

背景や手前にPNG画像の小物をモデルに貼り付けて一緒に動かせる機能が追加された

2021年3月12日更新でスチームでの提供になった、バージョン 1.6.0版

 VTubeStudio仕様概要   VTube Studio 略称VTS



ツイッター  https://twitter.com/VTubeStudio


PC用ソフト https://denchisoft.github.io/  
スチームでの提供となりサイトでの提供が廃止 2021/03/17

(PCとスマホを連動させるにはアプリのPro版(有料)が必要)

サイト版  バージョン1.5.2版 iPhoneなどスマホ必須 提供終了
スチーム版 バージョン1.6.0版 PC用Webカメラに対応

 スマホ接続が約3000円
 Webカメラ使用は無料ですが画面左下にマスコットキャラが表示される
(マスコットキャラを消すにはDLC 1520円を1回課金すると永続で消せる)



機器準備

使えるスマホは、iPhone(アイフォン)の顔認証、FaceID機能が付いた
iPhone X、XS、XR、11、11Pro、12、12Proと一部のiPad(アイパッド)、
新型の iPhone SE(2020)でも動作、
iOS14とA12以上のチップを搭載している端末だと動作するとの話あり

FaceID 対応のiPad
 iPad Pro 12.9インチ(第4世代)、12.9インチ(第3世代)、11インチ(第2世代)、11インチ

Android版は高機能な特定の機種が使えるようです
使用可機種一覧 
Android版検知の違い 
 サポートなし部位 眉は左右一緒、目玉の動き、まばたき/ウィンク追跡、舌/頬の追跡


PCソフトの方は、Windows版、macOS版があり
性能の良いグラフィックボードが付いたパソコンなら、たぶん使えるっぽい
低価格のPCやノートパソコンだと動くけど動作が遅いかも

【 参考 】
CPUがC2Dの外グラボなしWin7(10年前のPC)で動作はしたが、動作が遅く使いものにならない
CPUがi7無印、外グラボGTX750Ti、Win7で動作した、動作も普通に早く動いた

iPhone性能概要は、Xを1とするとXS、XRが1.5倍 11が2倍 12が2.3倍ぐらい


Webカメラ(Webcam版)普通に売ってる2000円ぐらいので動くが
部屋が暗い場合認識が外れやすいので
高感度な1万円ぐらいのにするか照明を用意すると良い


インストール

スマホ版は、ストアから検索して普通にインストールする

PC版はサイトからソフトをダウンロードして、解凍し、実行するだけ(手動でそのつど更新)
スチーム版はスチームで自動インストール、自動更新

起動

通常はスチームクライアントを起動してVTube Studioを起動します

オフライン起動、複数起動する時は
 C:\Program Files (x86)\Steam\steamapps\common\VTubeStudio\ にある
 start_without_steam.bat ファイルを使用しても起動します

実行ファイルで直に起動出来もできます (スチームが起動してしまう)
 C:\Program Files (x86)\Steam\steamapps\common\VTubeStudio\
 VTube Studio.exe をダブルクリックで起動 

【 参考 】
 1つの起動で1つのカメラが必要、1台のカメラで複数は使えない
 2つ起動した時は、iPhoneとWebカメラなど複数用意する、
 iPhoneとWebカメラ使用での複数動作は動いた、iPhoneを2台使用も可

 更新で1つのカメラで複数の窓のモデルを同時に動かせるようになった


操作方法

項目はスマホ版、PC版ともに一緒、左縦のメニューを使用

カメラマーク 
 自分の顔を右上に表示して写り方を確認出来る
 横の小丸を押すか、顔表示を押すとキャリブレーション(顔の初期設定)が出来る

人マーク アバター選択  横の小丸 撮影
 押すとアバター選択が下に出るので選ぶ
 小丸はスクショ撮影、透過PNG画像が出来る

画像マーク 背景選択 横の小丸は小物選択
 押すと背景が一覧が出て選択できる (フォルダに画像を入れると追加される)
 背景選択の下から2番目が単色背景のカラー調整、OBSでの背景透過でも使用する

 小物の取り付けは、選択してダブルクリックでアイテムを固定、
 取り外しは、メニュー画面の鍵マーク右の小丸を押して固定を解除し、
 アイテムを右下にドラッグアンドドロップで消せます

鍵マーク ロックする機能 横の小丸は小物ロック
 アバター位置をタップやクリックで動かないようにする

歯車マーク 設定 
 各種の設定をする 、アプリ終了はこの中にある

ログ なにかのログを表示

メニュー消し用の 赤い×マーク、
 メニューを再表示は、画面をダブルクリックやダブルタップで出てくる


スマホ版
 画面タップで操作


PCソフト版
 マウス操作、キー押し

【 参考 】
PCソフト版で設定して、設定ファイルを構成し、スマホ版モデルにコピーするのが楽、
逆でも良い、別の似た構成のモデルの設定を編集して設定ファイルを作るのも良いです

手の検知は、いったんカメラOFFにして、カメラ種類とかのメニュー欄にある
顔と手の検知の項目があるので切り替える感じ

モデル準備

Live2D moc3形式専用、 SDK4.0対応、SDK3.0対応
パラメータID名は何でも良い PARAM_系、Param系、独自名使用可  Param系推奨

モデル名は書き出しから統一する  
モデル名は半角の英文字と数字だけにする、途中に空白を入れない、記号は使わないのが良い
(日本語、記号使用時はエラーが出てダメなようです)
互換性の点からFaceRig準拠の英文字のみが良い
大文字小文字の混在も避けるのが無難、混在でも動くことがあるがトラブルの元
小文字のみを推奨

必要なファイル構成は通常構成、書き出しにはLive2D 3.302版以降が必要
モデル名フォルダを作成し、以下の物を入れます

モデル名フォルダの中身

モデル名.moc3      「moc3ファイル書き出し」にて作られるファイル
モデル名.model3.json  「moc3ファイル書き出し」にて作られるファイル
モデル名.physics3.json  「moc3ファイル書き出し」にて作られる物理演算ファイル
モデル名.cdi3.json   「moc3ファイル書き出し」にて作られるファイル

ico_モデル名.png モデル選択画面で表示される画像、自分で加工して作る
         正方形のPNG形式またはJPG形式 250から500ドット位
         名前は何でも良いが互換性からFaceRig準拠が良い

モデル名.2048  テクスチャ画像が入っているフォルダ「moc3ファイル書き出し」にて作られる
         末尾の数値はテクスチャのサイズになっているので1024や4096の時もある

animations  モーション(.motion3.json)や表情(.exp3.json)ファイルを入れておくフォルダ

    

【 参考 】
Live2D 2.1版では作れないので旧形式は3.x版、4.x版で変換が必要、
さらに、.cdi3.jsonファイルが必要なので、Live2D 3.302版以降が必要

スマホ版で .cdi3.jsonファイルが無いと表示されない事があった
その時PC版は無くても表示され使えた

モデル名.model3.jsonにViewerでモーションリストなどを追記すると
ファイルが壊れてると表示が出て使えない事がある

VTSで初めて追加モデルを表示させ初期設定すると
 モデル名.vtube.json ファイルが作られます、
これにモーション設定やトラッキング設定、キー設定が保存されています

じっくりキー設定をしたり動き調整をした、このファイルを含めた一式を渡すと
相手側で設定済状態となっていて、すぐ同じキー操作で使えます

VTSのバージョンアップと、vtube.jsonの互換性は怪しいので注意



モーション

モーション( .motion3.json)
キー押しでモーション再生後は、キー押し前のパラメータ値に復帰する動作、
FaceRigのように値が残らない、また設定で値を維持も出来る
値を維持は、パラメータ値を押さえつけてる感じで動作しているのでexp3が使えない

フェードは機能する、個別フェードも動くらしい未確認
リピートが動作するとの話あり未確認
最大時間不明
割り込み、優先度など動作状況未確認

アイドリングモーションは使えます キー押しで切り替えも可

fps値の違いでの動作未確認 

モーション中段の部品分類の表示、非表示の所が機能している
なのでモーションで服を切り替えたり手を切り替えたり出来る



表情ファイル

表情( .exp3.json)ファイル
キー押しで再生後は、パラメータ値が残る動作
キーを一度押すとexp3の内容にパラメータ値が変化、もう一度押すと前のパラメータ値に復帰

作成方法は、Live2DViewerを使ってexp3ファイルを作るか、文字打ちで作る

FaceRigでのZXCVのようなキー押しON/OFF、キー押しで1つのパラメータを変える用途の場合、
exp3ファイルは短い文字列なので1つ作って、コピーして増やし、
テキストファイル編集でパラメータ名を書き変えて複数作るのも良いです

FaceRigでのZXCVキー相当に必要な
exp3.jsonファイルの内容 テキスト形式なので矢印のパラメータID名を書き換えるだけでも良い
  exp3331.jpg

モデルのフォルダに animations のフォルダを作成し
その中に作ったexp3ファイルを入れます

VTube Studioでの設定は、exp3を使用するを選び、
作ったファイルを選択、どのキーで動かすかを指定

使用時の動作は、
一度キーを押すとパラメータが変化し効果が表示
もう一度押すとキー押し前の状態に復帰です


これをコピーしてメモ帳に貼り付けてファイルにするのもいいかも
Cheek.exp3.json の中身


{
  "Type": "Live2D Expression",
   "Parameters": [
       {
           "Id": "ParamCheek",
           "Value": 1,
           "Blend": "Add"
       }
   ]
}



Live2DViewerでexp3ファイルを作る手順

 Live2DのサイトからLive2D 4.1版などをダウンロードする
 インストールすると、この中にLive2DViewerが入っている、Live2DViewerは無料、契約不要

 Live2DViewerを起動して、そこにモデルの モデル名.model3.json をドラッグする
 モデルの画面が出たら、画面左上の ファイル の中の 追加 の中の 表情 で
 新規の表情ファイルを作る、ファイルの名前は半角英文字が良い
 名前を付けると expressions の中に追加される
 作ったのを選択するとパラメータ一覧が出るので変化させたいパラメータにチェックを付け、
 横のバーで変化させたい値にする
 
 expressions の中のファイルを右クリックすると保存とかが出るので保存して完成

 VTube Studioの場合は、animationsフォルダを作って入れるのを推奨、
 FaceRig用の motionsフォルダなどに入れても選択出来る


【 参考 】
exp3ファイルでフェイストラッキングで動くパラメータを操作した場合
exp3起動中はその指定した値でずっと静止する、解除でフェイストラッキングに復帰する

モデル導入

2021年6月3日更新 1.8.5版でiPhoneのファイルアクセスが可になりました
iPhone単体でモデルの出し入れが出来るようになりました

iPhoneへモデルを入れる手順
・モデルのデータをiPhoneに送る
 iPhoneとPCをケーブルで繋げ、ファイル操作で送る
 iCloudで送る、メールで送る、グーグルドライブで送るなど、どれでも良い

・送り先
 iPhoneに入っているアプリの「ファイル」と言うのを起動する
 「VTubeStudio」フォルダ中の「Live2Dmodels」フォルダにモデルのフォルダを入れる



小物用PNG画像の追加
・VTubeStudio フォルダにある Items フォルダに入れる

 小物の画像、PNG画像を入れる
 動く小物の場合、連番の透過PNG画像が入ったフォルダを入れる


背景画像の追加
・VTubeStudio フォルダにある Backgrounds フォルダに入れる




以前のやり方
iPhoneへLive2Dモデルを入れる方法
・PCからモデルをスマホへ転送出来るようになった 2021年12月

・iTunes使用方式
  



 ・iTunesをインストールする
  iTunesが終了になってFinderになったようです 未調査

 ・iPhoneとPCをケーブルで繋げ、PCのiTunesを起動する
  iPhoneに付属しているUSBケーブルをPCのUSBにつなげ、スマホにもつける

 ・iTunes画面の上の方にある、スマホ管理ボタンを押す
   スマホボタンが出ない場合はiPhone用USBドライバーが入ってない事がある

 ・出てきたファイル共有の所から → VtubeStudio を探す
  iPhone内部のVtubeStudioアプリのモデル保管場所内容を
  「共有」する事でPCでファイル操作を擬似的に行います
  (ファイル操作と言っても上書き出来るだけ)

 ・iTunesでスマホ内のモデル保管場所の「Live2Dmodels」フォルダを選択
  iTunes右下の「保存」をクリックし保存する(PC上にファイル操作する場所を作る)
  デスクトップ(扱いやすい場所ならどこでも良い)を選択し「フォルダの選択」をクリック
  これで、iPhoneの中にあるVtubeStudioアプリのフォルダ内容がPC上に保存され、
  ファイル操作の作業が出来ます

 ・エクスプローラを使い、追加したいモデルを「Live2Dmodels」のフォルダへ入れてから
  「Live2Dmodels」をiTunesへドラッグ&ドロップし、「置き換える」を選択して上書きすると、
  「共有」によって、iTunesを経由してスマホへモデルが入ります
  これで、iPhone内部のVtubeStudioアプリのモデル保管場所にも自分のモデルが入ります

 ・iPhoneのVtubeStudioアプリを起動するとLive2Dモデルが追加されて
  自作モデルの選択が可能になっています



PC版へのモデル導入
スチーム版
 メニューから開いた所にモデルファイルを入れる


サイト配布版
・パソコンに入れたVTube Studioソフトのフォルダにある
VTubeStudio_Data   StreamingAssets   Live2DModels  の中に
 自分のモデルのフォルダを入れる
 モーション、exp3はその中の animations に入れる
 これで、VtubeStudioに自分のモデルが入ります

 FaceRigと同じような、フォルダ構成にファイルを一式入れる方式  



小物用PNG画像の追加
 ・パソコンに入れたVTube Studioソフトのフォルダにある
  VTubeStudio_Data   StreamingAssets   Items  に
  小物の連番の透過PNG画像が入ったフォルダを入れる

背景画像の追加
・VTubeStudio フォルダにある
VTubeStudio_Data   StreamingAssets   Backgrounds フォルダに入れる



設定

スマホとPCのリンク方法

Wi-Fi(無線LAN)で接続する場合、スマホはWi-FiをON、無線LAN機器を使えるようにする
ケーブルでLAN接続も可、有線にする場合はスマホ用LANアダプターを用意する
無線LANの他に、USBケーブルでの有線接続もできる

 ・スマホ、PC両方にモデルを入れる(添付のモデルでもよい)
 ・スマホアプリ、PCソフトを起動する
 ・スマホのVTube Studioの設定画面(歯車マーク)から課金する(初回のみ)
   課金(2820円)で同期出来る機能が開放、無課金でも数分接続テストが出来る
 ・ PCと接続する をONにする
 ・PC側の設定値を見てスマホ側に数値を入力する 例 192.168.0.2

【 参考 】
  セキュリティソフトや設定で接続出来ない場合があるので
  ホワイトリストに追加やこの通信を除外設定をする必要があるかも

  ファイアウォールが接続をブロックしている場合もあります
  VTube Studioを例外に追加する必要があります

  Windows側のプライベート接続のネットワーク検出を有効にする必要になる事もある


【 参考 】
 スマホに表示されているモデル設定と無関係に、PCへは生の検知データが送られる
 なのでスマホのLive2DモデルとPCの使用モデルを一致させる必要はない
 スマホの方は添付モデルで動かすのも良いし、モデル表示なしでもよい

 人の顔認識状態のキャリブレーションはスマホの方でしか出来ないので
 定位置が決まったらスマホの方で1度しておくとよい
 


Wabカメラ

・Webカメラトラッキングの調整方法
 「カメラによるトラッキング」を有効すると、人の顔っぽいのが表示されます。
 表示されたら5秒以上、目パチ口パチなどをして、
 馴染ませてから「キャリブレーション」をクリックする



パラメータ設定の方法、工夫

最初は自動パラメータ割り当てが楽です

 手動での割当変更はこちらを参考に VTubeStudioパラメータ


呼吸の設定が入ってないので自分で設定する 1.7.2で初期で追加されるようになった
 アウトプットに呼吸パラメータ インプットは空欄、下にある自動呼吸をONにする
 Eh4vEEE_.jpg

インプット項目の上限、下限の数値調整
 調整を開いて、楽に顔を動かしてみて無理なく動ける数値調べる
 その数値に上限、下限の数値を書き換える
 Eh4uopO7.jpg

口角上げで(笑顔)で赤面になる設定が混ざってるので消すのも良い
 初期設定 Blush when smiling の項目で、初期値が0.5から1.0
  mouthSmile → ParamCheek が入っているので
 ParamCheekを作ってあると赤面になってしまう
 これは笑顔をするとモデルが赤面になる動作
 不要なら、この設定を消すか、
 Live2Dパラメータ設定値を上限下限共に0.5などにした常時表示にするとよい

アイコンやアイドリングモーションを選択する

物理演算や風の設定をする

モデル全体位置を動かす設定をする

VTube Studio、Webカメラ使用でのFaceRig用、口4型モデルの簡易互換方法
口変形ParamMouthFormのINの下側を-1にする
又は、OUTの-1を0にする




PCソフトのVTSを使わず、スマホだけで処理し、画像として使う場合

Macに映す方法
 QuickTimeを利用します  AirPlayを利用します

windowsに映す方法
 画面共有を利用する  Apower Mirror  https://www.apowersoft.jp/phone-mirror
            無料版あり  月2000円  買取7000円



モーション設定やトラッキング設定、キー設定は
 VTubeStudio_Data\StreamingAssets\Live2DModels\モデル名\モデル名.vtube.jsonに記述されます

 スマホ、PCどちらかで設定したら、このモデル名.vtube.json を含めたモデルを
 未設定のスマホ、PCに入れると設定済になって楽です

 また、この モデル名.vtube.json をテキストエディターで開き
 文字をコピーなど編集して、別モデルの設定に流用も可能
 使用パラメータ名など利用モデルに合わせて揃える編集が必要

 未使用や追加パラメータの記述があるとモデルが表示されない事があった、改善された?未確認

 未使用パラメータや誤記がありの時、モデル表示はされるが動かない事があった
 その時は、インプット項目は顔追跡で動いているがアウトが動作しない状態だった
 項目に赤い字があった、項目を全部消しして再度プリセットをかけたら動いた




パラメータの参考

VTube Studioは、Input項目に任意のパラメータを自由に割り当てる方式なので
Live2DパラメータID名は何でも良い PARAM_系、Param系、自作の適当な名前でも可
流用、転用での他ソフト、アプリとの互換性からLive2D標準のParam系が良い



応用設定例

目を見開くとハート目になる
キー押しでハート目になるようにモデルを作ってある状態 
 パラメータ0から1で作成、1でハート目表示

インプット項目は目の開閉を使用、数値下限を0.7 上限は0.8
 下限を上げることで数値が小さい通常のまばたきでは反応しない
アウトプットはハート目にするパラメータ

このように利用者が自由に出現記号を選んで使える
口開閉をインプットに使い、口を大きく開いたら記号が出るとか自由に出来る

メガネや帽子など小物の表示ON/OFFにも使える
設定を開いて数値を変えるので、すぐには変えられないが
放送前などに変更しておけばいいかも

適当なインプット項目に設定、アウトプットはその小物のパラメータ
アウトプット数値下限、上限を共に同じ数値にする 表示したいなら共に1.0



モーション設定やトラッキング設定、キー設定は
 VTubeStudio_Data\StreamingAssets\Live2DModels\○○_vts\○○.vtube.jsonに記述される

 テキストエディターで文字編集コピーができる
 未使用や追加パラメータの記述があるとモデルが表示されない事もある、未確認

 メモ帳ソフトなど簡易ソフトで編集すると、データが壊れて使えなくなるので注意
 専用のしっかりしたソフトで編集しましょう



VTubeStudioの背景として動画の.mp4、.movを使用できます
それらを「Backgrounds」フォルダに置くと使えます
  .mp4はモバイルでも動作しますが、.movについては未確認



注意点、仕様

Live2Dモデル名はFaceRigと同じく英文字だけが良いと思う、空白、記号も止めたほうがいい
モデル名とフォルダ名を揃える必要があると思う
モデル名を書き出し後に変えてはいけない

テクスチャアトラスは2048はOK、それ以上大きいのはどこまで、何枚平気か不明
ポリゴン数の上限不明、テクスチャサイズ、枚数上限不明
 ポリゴン数 23000、テクスチャ2048を6枚のモデルは正常に使えた

クリッピングエリアがどうなのか不明、多数で荒れるか未調査だけど、正常に使えるみたい

FaceRigであった物理演算の入力反転バグはなく、正常なようです

設定したカリングが使えないらしい 使えるようになった1.6.0版


パラメーター名は、指定する方式なのでParam系、PARAM_系どちらも使用可、混在も可能 
moc形式の使用はできなかった、moc3形式専用
SDK4.0、SDK3.0(SDK3.3たぶん可)が使えた

アイドリングモーションは Animationsフォルダに入れる

呼吸は、インプットなしでアウトプットに 呼吸 ParamBreath を指定し自動呼吸をON 

モデルの寄り引き(移動の設定(ガチ恋距離))はどのモデルでも利用可
頭の位置の動きを元に、モデル基点を中心にモデル全体を移動、拡縮させる機能

パラメータでのモデルの寄り引きを使う場合は、モデルに改造が必要、
寄り引きのパラメーターと寄り引き(顔を中心に拡大縮小)する動きを追加する必要がある
設定入力を FacePositionZ にして、出力を寄り引きパラメーターに割り当てる

サンプル動画で、ひよりモデルの足が動いているが
角度Xパラメーターとの単純連動で足を動かすパラメーターを動かしているだけで
足のパラメータがある訳ではない

顔のトラッキングに対応しているパラメータは、
アイドリングモーションよりトラッキングが優先で動く

アプリ右上隅に出せる人の顔をタップでトラッキング初期化が出来る
その横の水色小丸でもトラッキング初期化が開始できる

スマホ横向きでも認識、使用出来た

スマホの発熱が多いのでケースを外すなどして、
放熱出来るスマホスタンドを使うのが良い(リチウム電池いたわりの為)

キー押しでアイドリングモーションを切り替える事が出来る
キー押しでexp3の表情ファイルを切り替える事が出来る(値が残る)
キー押しでモーションを再生出来る(値は残らない、値がモーション前の値に復帰する)
キー押しで位置を切り替える事が出来る

キー押し、画面キー押しでモーションが起動出来るがモーション終了で
パラメータ値が開始前の状態に戻る
 VTubeStudioはモーション動作終了後にモーション動作前の値に復帰する仕様
 FaceRigで出来た値が残るのを利用したフラグ立て切り替えが出来ない

 exp3なら値は残るが値がその都度変化して使いにくい
 Live2DViewerでの作成では、加算 "Add"、乗算 "Multiply"だけですが
 隠し機能の上書き "Overwrite" が使えた(無記入"")
 式の値が加算されるようになった、乗算モードはまだサポートされていない 2020/9/23 V1.40

 「移動の設定(ガチ恋距離)」はパラメータへの割り当てとは別扱いで
 頭の位置の動きを元に、画面中心を基点にモデル全体を移動、拡縮させる機能

 パラメータに割り振る用には別途 FacePositionX などが用意されている


動作優先度
 物理演算出力>キー押しモーション>キー押しパラメータ=顔追跡>=アイドリングモーション
                  開放と動作なので0は弱い、1になった方が強い

 キー押しパラメータが1の時、キー押しモーションは0に出来る
 キー押しパラメータが0と顔追跡1の時、キー押しパラメータでは0に出来ない
 顔追跡0、キー押しパラメータ1の時、顔追跡では0に出来ない
 アイドリングモーションが1の時、顔追跡、キー押しパラメータでは0に出来ない
 つまり動作してるのが勝ち
 
 モーション再生中もモーション無記入の顔追跡は動く
 モーション終了後に元の値に復帰、顔追跡に復帰


・顔認識で動いていたパラメータと同じパラメータの  
 画面キー(表情exp3)を押したら指定値になった、もう一度押しで顔認識に復帰
 顔認識より画面キーが優先ではあるけど、キー停止の時は開放なようです
 FaceRigの場合はキー利用で値0などを保持

・表情exp3 Add動作  動作で影響 停止で開放(前の値に復帰)なようです
 同名で重なった場合、キーの状況ではなく、開放なようです
 復帰の時0に向かった後に顔認識現在値に移動

・表情exp3 上書き動作  Add動作と変わらず、機能してない? 

・顔認識で物理演算で動いているパラメータを指定した場合、顔認識では動かなかった


・VTSがアクティブでない状態でも設定したキー押しが機能するそうです
 設定の地球儀マークがONでVTSがアクティブでない状態でもキーが機能する?


・左右のCtrlキー、Shiftキーを別々に認識するので、左右別に設定できる
 altキーは左側だけ登録出来たが右側は無反応だった

 たとえば、左Shiftキー + wキー と wキー単体の2機能を登録し使用する時、
 左Shiftキーを先に押してWキーを押すと wキー単体 が機能する
 Wキーを押してから左Shiftキーを押すと 左Shiftキー + wキーが機能する問題あり
 左Ctrlキー + wキー と wキー単体でも同じようになった
 右Shiftキー + wキー は正常だった
 左Ctrlキー + wキー は正常だった


・VtubeStudio設定でNDIをONすると、エラー落ちして起動不能になる事がある
 ウインドウを小さくしているとなる、フルスクリーンするとエラーなく起動出来る





仕様

機能
スマホ単体で、フェイストラッキングでのLive2Dモデル可動が出来る
スマホからPCへ顔の検出データ転送が出来る

カメラ性能 60fps 30fps
モデル可動 60fps 30fps VSync

スマホアプリ内に画面録画機能あり

背景切り替え機能、動画背景が使用できる

画面右上に人の顔が表示出来る、タップでトラッキング初期化が出来る
その横の水色小丸でもトラッキング初期化が開始できる

移動の設定(ガチ恋距離)頭の位置の動きを元に、
モデルの基点を中心にモデル全体を移動、拡縮させる機能がある

ストリーミングモード、PCとの連動時、発熱、バッテリー消費を抑える為のモード
画面が暗くなり、モデルを非表示にする

モデルに画像を貼り付け、一緒に動かせる機能がついた
メガネ、帽子を追加など、顔や頭に付けると一緒に動く

手の認識、手を動かすパラメータが追加された

スマホ版へモデルデータを転送する機能が追加された





Live2Dモデル作成の参考  2021年4月現在

VTube Studio用には、Live2D標準方式でのモデル作成が良い
つまり、なにも細工しない素のLive2D標準状態でもよく動く

moc形式は使えない、moc3形式だけ使える
パラメータID名は割り当てる方式なので大文字系、混在系どちらでも良い
アイコン画像はPNG、JPGどちらでも良い

 笑顔パラメーターを機能させる事も出来る(人の口での笑顔で笑顔目なので発音で変化)
  mouthSmile → ParamEyeLSmile
  mouthSmile → ParamEyeRSmile

 口変形 ParamMouthForm がLive2D標準仕様通りの口角の上下で動く
 人の口で笑顔口、への字の怒り口への変化が出来る
  mouthSmile → ParamMouthForm

 VTube Studio側の基本設定は、角度XYZでそのまま体XYZを動かしているので
 顔に連動して体も動く、スムージングを最大にすると物理演算方式に近い動きになる

 Live2D標準と同じく、口が縦開閉だけなのが難点(口幅パラメーターがまだ無い)

「移動の設定(ガチ恋距離)」は、頭の位置の動きを元に、
 スマホ画面中心部を拡縮基点にして(固定)
 モデル全体を大きく表示させる簡易な機能なので、どうしても違和感が出ます

 寄り引きの動きは、別途パラメータへの割り当て用インプット項目があるので
 モデルの基点を含めた寄り引き専用のパラメータと動きを作っておくのが良いです
 口の辺りを拡縮基点に回転デフォーマを設置し、拡大(寄り)しつつ全体位置を下げる



FaceRig専用モデルを転用の場合(母音表現、口変形1笑顔目方式を搭載など)
iPhone使用の場合は、設定でFaceRigと同じように動くようにも出来る
Webカメラ使用の場合は専用の配置で作り直しが必要、なので音量で動く入力を使用して代用も良い

口変形1笑顔目方式は設定で、人の笑顔で笑顔目が出る
iPhone使用の場合は、母音表現は機能するが、口角上がりで口幅変化なので少し不正確になる
Webカメラ使用の場合は専用配置でないと母音表現は出来ない

顔の動きに連動して体も動く方式はそのまま使え、機能する
顔の動きに連動して体が物理演算で遅れて動く方式もそのまま使え機能する

VTube Studio側の基本設定では、角度XYZで体XYZをそのまま単純連動で動かしているので
FaceRig用に体X、Y、Zを別用途で利用している場合は、VTube Studio側設定で変更するとよい



FaceRig専用モデルを改造してVTube Studio最適モデルにする場合

VTube Studioは、入力値や範囲を自由に設定できるのでモデル側としては
従来のFaceRig用のように角度Xに体Xを混ぜるのではなく
すべてを別のパラメータに分けて設置すると自由度が上がり望ましい
FaceRig、VTube Studio両用、兼用の場合はFaceRig用で作れば良い

口変形1笑顔目方式も、従来の笑顔パラメータに分離するのも良い
Live2D標準のままの構成で設定によって口変形1笑顔目方式が再現出来る

角度Xに体Xを混ぜた顔体連動もLive2D標準の体パラメータに分離すると良い
分けた体Xの方のスムージング値を多くする事で体が遅れて動く自然な動きが可能


星目、ハート目出現はそれぞれパラメータを設けると良い

モデルの全体位置移動パラメータを2重に設けると良い
 左右、上下、拡縮(顔中心基点)
 1つは顔向きで微妙に全体位置移動をする元気感用
 もう1つは、寄り引き使用時の補正用


笑顔パラメーター(ParamEyeLSmile 、ParamEyeRSmile)を元通り分離すると
VTube Studio側設定で口の笑顔とは別に調整が可能になる、笑顔目の出し具合が調整できる
スムージングをmaxにすれば発音でコロコロ変化するのを防げるかもしれない
口変形1笑顔目方式そのままでも問題はない


顔の動きに連動して体も動く高度な物理演算方式はそのままが良い
単純連動な時は、体XYZを分けるのがよい、VTube Studio側設定でスムージング調整が可能になる
スムージングをmaxにすればカダラが遅れて動くので物理演算方式に似た動きが可能になるっぽい

人の顔の位置で動かす検知があるので体X、Y、Zを分離して割り振るのも良い


人の顔をスマホに寄せる引くでの動きが検知出来るので
専用パラメーターを作り寄り引き(顔を中心に拡大縮小)出来るようにすると良い
または、お辞儀、かがむ動きでも良い

 FacePositionZ 寄りと引きの動きの検知
 FacePositionX 左右移動する動きの検知、FaceRigの体Z相当の検知 
 FacePositionY 上下移動する動きの検知

 FacePositionX の利用
 ・モデル全体位置を動かすパラメーターを追加することでイリアムのような動きが可能
 ・FaceRigでの体Z相当の左右移動なので、同じように使うのも良い
 ・体の回転 X ParamBodyAngleX に割り振って体の向き変えにするのも良い
 ・複数のパラメータを動かせるので全部に使ってもよい

 FacePositionY の利用
 ・カメラの前での上下移動なので新たな使いみちを考えると良い
 ・人が動かなくてもスマホを上下に動かす、傾けるで動かせる
 ・体の回転 Y ParamBodyAngleY に割り振るのも良い
 ・肩すくめ ParamShoulder に割り振るのも良い
 ・お辞儀、かがむ動きに割り振るのも良い

 FacePositionZ の利用
 ・寄りと引きの動き、ガチ恋距離の動きとパラメータを追加するのが良い
 ・お辞儀、かがむ動きに使うのも良い
  

目玉の動きを左右別に出来るので分けるのも良いが、寄り目が出来る 機能してない
 ParamEyeBallLX 従来は末尾がXとYだったが LX LY RX RYの4種になる  

人の舌出し、ほほ膨らませ、変顔の3種で、0から1に変化させるのがあるので、
><目出しなどに利用可能
 設定の入力に tongueOut などを指定し、出力に動かしたいパラメーターを指定する

物理演算の作成、FaceRigと異なり角度XYZ、体XYZ(頭位置)の6種の入力が使えるので
特に体Z、寄り引きでのフワリ広がりなど追加すると良い

キー押しでモーションを動かすのが96キーも使えるようになった
アイドリングモーションが使え、それをキー押しで別のアイドリングに切り替えるのも可能
呼吸パラメーターを設定して使える、自動瞬きもある
自動瞬きを耳をピクピクに使用するのも良い

表情に関するInput項目がまだ2つなので現状だとFaceRig相当の事しか出来ない


配信用途で顔操作重点の場合の顔操作例
 口変形で笑顔方式、眉下げで困り眉、
 顎右移動で怒り顔、顎左移動でドヤ顔、
 舌出しで><目、ほほ膨らませで泣き、変顔で顔影
 目見開きで星目、顎右時はハイライト消し、



ここに書かれたInput項目が増えた場合
 口は、縦の開閉(従来通り)と横の開閉 ParamMouthOpenX を使用、母音表現が出来る

 口角を使用した、口の端を上げ下げする感情表現 ParamMouthCornerL ParamMouthCornerR
 笑顔口、怒り口、片側だけ口端を上げるなどが出来る

 口端を奥に引く動き検知がある、ニヤリ顔や口端の陰影表示に使える
 悪い顔、企み顔への切り替えにも良い

 口を突き出す、口すぼめの検知があるので、キス口に切り替える
 
 口を巻き上げる検知があるので、ぐぬぬ口への切り替えなど

 口位置の左右移動検知がある

 鼻の上下方向移動検知があるので、獣系では鼻先の動きが出来る

 頬膨らませ検出を使った顔輪郭の変化が出来る、そのまま割当て頬が動くようにする
 スイッチに使用し頬膨らませたら><目を出すなどするのも良い
 物理演算入力に使い、頬をぷるぷる震わせるのも良い

 
 いままで使えなかった顔面の変化検出が3種あるので、これをどう活かすかは
 試してみないとわからない

 人の頬の動きで笑顔検出があるので、こちらを笑顔目、口角上げに利用も良い
 発音での影響を受けにくい
 
 瞼の広がり、眼の開き具合を検知があるので目元の微妙な表情変化が付けられる

 目周辺の顔の収縮具合を検知があるので目元の微妙な表情変化が付けられる


OBSで背景透過の方法

・メニューの背景切り替えの中の下から2番目にある「ColorPicker」にする
・表示された色選択小画面の透明をONにする
・OBSのゲームキャプチャにてVTubeStudioを選択し、透過を許可にチェックを入れます



現状の問題点

 使用しているとスマホがとても発熱するので、ケースやカバーを外して運用が良い、
 iPhone11の場合はカメラ下の部分にあるCPUや放熱用になっている縁枠が熱くなる
 専用の顔照明、冷却ファン付きの固定台を使うと良い

 更新でストリーミングモードが追加されました
 これは発熱、バッテリー消費を抑える為のモードで
 発熱が抑えられようになりました


 使用中で設定中に停電やPC不調でPCが落ちた場合、設定ファイルがクラッシュし
 次回起動でモデルが選択から消えるので、設定ファイルはバックアップしておくと良い


 WebカメラとiPhone検知でパラメータの挙動が少し異なる

 マウス以外の入力デバイスが繋がっていると、
 マウスカーソルが勝手に上に動いてしまう現象が起こる事がある

 Webカメラ使用でキャプチャボードのAverMediaC875などが付いていると
 カメラが起動出来なかったり落ちたりする
 AverMediaキャプチャカードドライバが原因

 VTSは物理演算の影響度を変えると揺れが100になるバグがある?





状況

2021年12月22日  V1.15.2
取り付けアイテム表示のキー操作機能が追加された

2021年12月9日  V1.14.7
スマホへのモデル転送機能が追加された
FTロスト時に動くアイドリングが使えるようになった
物理演算のFPSの独立
取り付けアイテムの反転機能

2021年11月06日  V1.13.0
手のトラッキングが追加された

2021年10月15日  V1.12.0
環境光反映機能が追加された

2021年9月20日  V1.11.0
1カメラで複数モデル可動が出来るようになった

2021年9月?日  V1.9.15

2021年8月4日  V1.9.14
アイテムのドラッグ、ドロップに対応
GIFアイテムに対応


2021年6月3日  V1.8.5
iPhoneとUSD接続が出来るようになった


2021年4月30日現在の仕様 V1.7.2

新機能:
ウェブカメラのウォームアップを必要としないウェブカメラ追跡用の手動パラメータ計算モード。
シーンにアイテムを追加するときのデフォルトは「アイテムをモデルにピン留め」になりました。
眉、笑顔/眉をひそめ、まばたきのための設定可能なウェブカメラ追跡設定。点滅を同期するための設定が含まれています。
VTube Studioは、Steam APIをロードせずにSteamの外部で実行できるようになりました(start_without_steam.batファイルを使用)。
個々のホットキーをアクティブ/非アクティブにできるようになりました。
個々のホットキーをグローバル/ローカルにすることができるようになりました(VTSウィンドウがフォーカスされている場合にのみアクティブになるためローカル)。
押し続けている間だけ式をアクティブにするホットキー。
アニメーション/エクスプレッションのホットキーで、独自のフェードタイムを定義できるようになりました。
アニメーション/式のホットキーで、自動非アクティブ化するまでの時間を定義できるようになりました。
アニメーションのホットキーで、最後のフレームの値を停止および保持できるようになりました。
カメラをキャリブレーションするための新しいホットキータイプ。
スクリーンショットを撮るための新しいホットキータイプ(前のスクリーンショットの設定を使用)。
モデルを切り替えるための新しいホットキータイプ。
画面上のホットキーにカスタムカラーを設定できるようになりました。
アセット/アイテムを反転するように設定します。
INPUTとして「NONE」を追加しました。自動点滅または自動呼吸を使用するため、入力を必要としないパラメーターにこれを使用できます。
アプリの起動時にWebカメラを自動的に起動できます。
WalfieのAkariにアニメーションの小道具が追加されました。
リモートPCでOpenSeeFaceフェイストラッカーを起動する可能性。
アプリの再起動時に、モデルの位置/回転/スケールが自動的に保存/ロードされるようになりました。
改善とバグ修正
誤って回転した顔追跡プレビューなど、多くの小さなバグ修正。
主にUIだけでなく、アプリの他の部分のパフォーマンスも向上しました。
インポートが失敗した理由や欠落しているファイルを示すエラーポップアップなど、多くのモデルインポートの改善。
自動セットアップ中にLive2Dモデルに同じVTSパラメーターにマップされる複数のLive2Dパラメーター(ParamTereやParamCheekなど)がある場合にモデルが破損するバグを修正しました。
モデルに物理ファイルが登録されていない場合、VTubeStudioはモデルフォルダーで物理ファイルを自動的に検索します。
無料版のiPhone / Android <-> PC接続時間が1分から5分に増加したため、テストが容易になります。
「アイコンの選択」ボタンを削除しました。代わりに、モデルのアイコンをクリックして新しいモデルを選択してください。
アプリのインストール時に、必要なVisual C ++ 2015ランタイム再頒布可能パッケージを自動的にインストールします。これがないと、フェイストラッカーが壊れてしまいます。
UIに実際のウェブカメラの顔追跡FPSを表示します。ほとんどのウェブカメラは照明に応じてフレームレートを下げるため、設定されたカメラのFPSよりも低くなる可能性があります。良好なトラッキングには、13FPS以上のFPSで十分です。
式/アニメーションリストは、リストが開かれるたびに更新されるため、フォルダーに新しい式を追加するときにアプリを再起動する必要はありません。
改善された仮想ウェブカメラインストールスクリプト(これについてはMidgieに感謝します)
Live2DSDKアニメーションシステムを独自の実装に置き換えました。
アンチエイリアシングは不要になったため、完全に削除されました。モデルには、ミップマップされたテクスチャがロードされます。
マウス追跡に負の値を許可しました。
自動呼吸は、自動セットアップ中にLive2DBreath-Parameterに追加されます。
再度実行したときに値が正しくリセットされなかった自動セットアップのバグを修正しました。
適切なログ処理/ローテーション。最大16個のログが、ファイル名にログ作成時刻とともに保存されるようになりました。
MacOSのカメラ/解像度の選択を修正。
M1 Macサポート(シリコンMac)。





2021年3月現在の仕様 V1.6.0
 スチームでの配布に切り替わった
 Webカメラ対応になった
 
2021年1月現在の仕様 V1.5.2
 モデルに画像を取り付ける機能が付いた、
 頭に付けた帽子絵が頭と一緒に動くなどが出来る
 この機能にアニメPNGが使えるようになった

2020年9月22日現在の仕様 V1.4.0
 SDK4.0に対応(動画で書き出していた) SDK3.0使用出来た

 アイドリングモーションを設定出来る

 人が舌を出すと動く、tongueOut が使用可能、利用したいパラメーターを設定出来る
 人がほほを膨らませると動く、cheekPuff が使用可能、利用したいパラメーターを設定出来る
 人が変顔をすると動く、FaceAngry が使用可能、利用したいパラメーターを設定出来る

 モデルを全体位置移動させて元気感、動き感を出す
 「移動の設定(ガチ恋距離)」がある、
 これはパラメータとは別に顔の動きでモデルを全体位置移動させる機能
 1枚絵で動くイリアムと同じモデル移動機能、モデル側で何もしなくても使える

 PCとiPhoneを同じネット回線で接続し、IPアドレスを入力してiPhoneとPCを接続する

 iPhoneの性能でトラッキングが正確、VTube Studioの設定で程度具合調整も出来る

 Z軸の移動には、モデルの改造が必要、寄り引きのパラメーターと動きを追加
  FacePositionZ(寄りと引きの動き)にパラメーターを割り当てる

 動画背景が可能、mp4が使えた
 好きな色のクロマキーが可能
 透明背景機能 

 idleモーションが想定通り動く、リピートパラメータが想定通り動く

 キーバインドが追加された、画面タッチスイッチもある

 顔出しせずキャリブレーションを行うアイコンが追加された

 頭位置についてはキャリブレーションをしても変わらない、固定なようです
 スマホを40cmぐらい離した位置が基点みたい

 スマホ画面タッチでのスイッチが8個使える

 PC側ではキー押しでモーション再生、exp3表情切り替え、アイドリング切り替え、
 テクスチャ切り替えが96種ぐらい設定出来る

 「移動の設定(ガチ恋距離)」は、頭の位置の動きを元に、モデル全体を移動させる機能
 別途パラメータへの割り当て用インプット項目もある
 スマホ画面中心部を拡縮基点にしている(固定)モデル基点は無関係

 
 モーション再生は、
  キー押しで再生され終わると初期値や顔追跡の値に戻る
  FaceRigと異なり値が残らない仕様なので流用には注意

 exp3表情切り替えは、
  1回押しでその表情に、もう一度同じキー押しで前の表情に、
  別のキー押しではその表情になる、変化した値が維持され残る仕様
  キー1つ押しでon/offの動作が出来る、1度押してon、もう一度押しでoff

 アイドリング切り替えは、
  未調査 設定欄先頭で設定するアイドリングとの関係は未調査
 
 テクスチャ切り替え
  未調査 

 カリングが機能しない(裏返す動きでもテクスチャが見える機能)

 iPhoneの検知では、メガネをかけていても顔を検知出来たので
 顔の向き動きは、メガネをかけていても動かせる、口も動く
 眉も検知され動いた(FaceRigではメガネフレームを誤検知してた)
 メガネのレンズに反射したスマホ画面光の影響など反射光で
 目の開閉、目玉動きが検知されにくい
 スマホ画面を覆い、適切な照明をすればメガネをかけても検知は可能


スマホのiPhoneX以降にある、TrueDepthカメラシステムを使用し、
スマホ画面上部を半分隠しても機能する(フェイスIDは機能しない)
iPhone SEでも動作、Android版もある事から、違ったみたい


 iPhone ios13.x 正常に動作 2020/9/10
     ios14.x V1.4.0バージョンで改善 2020/9/22



検知の違い
眉の追跡
iOS 左右一緒、左右別 両方ある
And 左右一緒
Webカメラ 

アイトラッキング(目玉の動き)
iOS 完全にサポート 左右別も可?
And サポートされていません
Webカメラ サポート

まばたき/ウィンク追跡
iOS 完全にサポート
And サポートされていません
Webカメラ 

舌/頬の追跡
iOS 完全にサポート
And サポートされていません
Webカメラ サポートされていません




2021年1月現在の仕様 V1.5.1
 モデルに画像を取り付ける機能が付いた、
 頭に付けた帽子絵が頭と一緒に動くなどが出来る
 この機能にアニメPNGが使えるようになった


2020年9月22日更新での仕様  v1.4.0
キー押し位置移動機能が追加された
ios14に対応
項目絞り込み検索機能追加
初期設定値が改良された


2020年8月31日更新での仕様  v1.3.2
 この更新までに iOSの他に 高性能のAndroidスマホで動く版も出た
 インプット項目が少し増えた 表情の項目はまだこれから
 いろいろ機能が追加された 
 Live2D使用での顔認識操作ソフトで最高機能を有する


2020年6月26日更新での仕様  V1.0.2 
 日本語化が追加された
 Live2Dで全体移動パラメータ作らなくてもモデル全体移動が指定出来るようになった
 呼吸があった自分で指定できた(アイドリングで作らなくてもよかった)
 まだインプット項目は増えてない


  

  • 最終更新:2021-12-28 01:00:21

このWIKIを編集するにはパスワード入力が必要です

認証パスワード