mocape

Live2Dアバターアプリ「mocape」
FaceRigのように、人の動きでアバターを動かすアプリ

スマホのiPhoneX以降にある、TrueDepthカメラシステムを使用し、
人の動作パラメータだけを送ってPCで処理する方式 Windows / macOS両方に対応

機能、性能的に、FaceRigの上位機能、性能になる予定 
2020年11月現在 未公表
2021年2月現在 未公表 そろそろ?











特徴、利点であってほしい事

・アイフォンの高精度なフェイストラッキングを使用するので
 人の顔の検出精度が高く、正確、検出が早く、動作反応がFaceRigより格段に早いはず

 ウインクが安定して出来る、歌もリズムに合わせて動けるはず

・使用出来るパラメータがFaceRigより多く、細かい表情が出来るようになるといいな

 笑顔検出、ほほ膨らませなどが使えるといいな  iPhoneパラメータ

・補正、調整機能が豊富になりそう
  補正機能例
   半目状態でのまぶたの震えを抑える
   ウィンクの表情の動きを支援

・使用PCは Windows / macOS 両方使えるのかな




欠点

・まだ、開発中 β版あり

・機材が高価  スマホのアイフォンX以降が必須、高性能PCが必要




その他

・ポータビリティを意識した設定ファイル

・スマホとPCの接続は無線、有線どちらも可能

・無線でフットスイッチにも対応





補正、調整機能
 半目状態でのまぶたの震えを抑える
 ウィンクの表情の動きを支援


 

欲しい機能
・FaceRigの「高度なトラッキング設定」ような微調整機能、スムージング機能
 目が細い人など、目の開き具合などを調整したい場合が多い
 少しの顔の向き変化でモデルを大きく向かせたい場合


・多重アイドリングモーション
  1つのアイドリングモーションでは、どうしても繰り返し感が出てしまうので
  2種のアイドリングモーションを同時に動かす事で繰り返す感を無くす
  長さが異なる、体の動きモーション、手の動きモーションを同時に動かせるなど


・複数アイドリングモーション
  何個かのアイドリングモーションがランダムに再生される機能
  何個でもあるだけ使える


・キー押しアイドリングモーション切り替え
  キー押しでアイドリングモーションを切り替える機能
  リズムを取るアイドリングに切り替えたり、歩いてる風のアイドリングにしたり


・認識外れ時用アイドリングモーション
  退席した時に動くアイドリングモーション
  寝てる風とか、退席専用モデルに切り替わるとか



・複数の常時可動パラメータ  呼吸以外の常時可動パラメータ
 早い呼吸、遅い呼吸、
 ランダムに近い時々動くパラメータ  ケモノ耳が時々動くなどで利用
 素早いふるふる、ぷるぷる動くパラメータ 瞳揺れ用
 機嫌よく尻尾を振るにつかえるぐらいの動きのパラメータ

 ユーザー設定パラメータ 設定ファイルで指定した周期で動かせる常時可動パラメータ
 ユーザー設定パラメータ 設定ファイルで指定した周期で時々動かせる常時可動パラメータ



・パラメータとの互換性、上位互換
 既存のLive2Dパラメータ、FaceRigパラメータとの互換を維持
 
 FaceRig用そのままで、ほとんど同じに動く(有効活用はできないが普通に動く)
 専用パラメータを使えばさらに良く動く(フル活用)



・PC画面のキャラ表示をタッチする事での操作が出来る機能
 Live2Dの「当たり判定」を利用し、キャラの部位をタッチすることで操作する機能

 顔をタッチで赤面を表示、もう一度タッチで消し
 前髪をタッチで顔影を表示、もう一度タッチで消し
 手をタッチしスライドで別の手に切り替え、または手をその位置まで上げる

 

・手の可動
 リープモーションまたは、RealSense Depth Camera D435、マウス操作を使用した
 ある程度の手の検出と可動


・感情登録機能 
 人に笑顔をしてもらって、その時の
 MouthDimple 、mouthSmile 、EyeSquint 、EyeWide 、cheekSquint など
 各値を登録して、その値に近くなったら登録パラメータ(笑顔)を1にする
 同じように悲しいとか困りとかも数種登録出来る機能







FaceRigであった欠点

 人の横向きで眉の見え方が変わり、
 眉を動かしていないのに、FaceRigでは動いた、変形したと認識される現象
 
 寄りと引きが使えなかった

 
 

mocape専用 高度表情対応モデル













  • 最終更新:2021-02-21 15:23:00

このWIKIを編集するにはパスワード入力が必要です

認証パスワード