FaceRigLog

はじめに

近頃、バーチャルユーチューバーが流行ってますね。

私自身はアバター有りでも人前に出るのつらいタイプなので追随することはないと思いますが
技術的な側面で興味があったのでとりあえずそれっぽいFaceRig使ってみたログ@2017/12/28

あと画像ほぼないので地味記事..

そもそもなに

VirtualYoutuber
・youtubeで3Dモデルベースで実況動画を配信している方
・知っている範囲だと
キズナアイ、ミライアカリ、輝夜月、シロ、バーチャルのじゃロリ狐娘YouTuberおじさん/ねこます
など。(敬称略

FaceRig
・”FaceRigは、ウェブカムを使い、魅力的なキャラクターになりきることが出来るソフトです。作った作品を録画して動画にしたり、Skype、Twitch、Hangoutsなどのリアルタイムでウェブカムを利用するサービスで使うことが出来ます。”
・http://store.steampowered.com/app/274920/FaceRig/?l=japanese

だれ

・プログラミングするひと
・英語は雰囲気でGoogleTranslate
・unityはチュートリアルゲーを作ったぐらい
・3Dの知識はしょぼい
・OculusRift/Maya持ち腐れ

なぜ

少し前にsteam経由で販売されたFaceRigというお手軽ツールが安かった(60%OFFで592円)のとウェブカムを所持してなかったのでいい機会かということで行動に移りました。
※FaceRigは営利目的の場合ライセンスが変わるようですので注意下さい。

ついでにLive2DModule(50%OFFで199円)もあれば結月ゆかりのモデルも利用できるらしく大変かわE
http://steamcommunity.com/sharedfiles/filedetails/?id=630129247

買ったカメラはPAPALOOK PA150(2,299円https://www.amazon.co.jp/gp/product/B01FHNLE3G/ref=oh_aui_detailpage_o00_s00?ie=UTF8&psc=1

前提

大まかな流れとして何かしらの機材で動きを読み取り、3Dモデルへリアルタイムでモーションを流し込むという処理が必要になります。

モデルへの反映は個人でするならまぁたぶんunityでしょう。
unrealや自前で処理するのであればそれぞれある程度の理解や下積みがいると思いますし、今回の主目的ではなかったため割愛します。

とりあえずそれっぽいことをしたかったので
ウェブカムを買い、届いてからのスタートです。
また、先に調べるということはほぼしてなかったので事前知識ゼロというか行き当たりばったりでした。

ある程度迷わないだろうなという部分は略しています。

作業

大別すると
・VRヘッドセットから動きを読み取る系、
・本家モーションキャプチャー系(体にセンサーを付けるもの、
・物体検出系(画像や動画から顔認識の要領で処理する、
かなと思います。

今回は物体検出系です。
ウェブカム初めて買ったので慎重に進めてましたが基本USBぶっ刺すだけなので簡単ですね。

念のためドライバも入れましたが。
https://www.papalook.cn/index.php/camera/detail/PA150

カメラの動作確認にCameraViewerを利用しました。
http://kougaku-navi.net/backyard/

あとはFaceRigを起動すれば色々インストーラーが起動してLaunchできるのでpramsいじってねという塩梅。

アイキャッチ画像は実際のものです。
カメラ側の表示はON/OFFできるのと緑背景の設定で映像合成もしやすくでき手軽で楽しいですね。ワンボタンで切り替わるので事故りそうな気もするけど。

ただ検出方式なので部屋の明るさや距離、メガネの反射など気にすべき点は多いと思います。

Maya等でモデル作成できるようなので前向きに検討致します。検討致します。
せっかくLive2DModuleあるし自前の絵もあるのでいずれ検討致します。検討致します。

まとめ

このあたりまで来ると色々考察ができるようになってきました。

まず前記の方々でFaceRigを使ってる方はいなさ、そう。
とりあえず直接的な手へのマッピングはなかった。まぁFaceRigですし。

モーションキャプチャーのPerceptionNeuronとか20万ぐらいする比較的安価だけど高価なやつに手を出せば、まぁ間違いなく似たようなのは再現できそう。

キズナアイはお金かかってる感じなので仕組みには驚かない気がする。
(個人での再現するならという目線なので参考にしずらいというか)

ミライアカリはiphoneっぽいので撮っているようなものもあったのでARkitとか使ってるんだろうか…

基本モーションキャプチャー的なのを使ってそう。
検出方式は指までずっとキレイに合わすの厳しいんじゃないかと思う。
(あとからモーション調節してる可能性もある)

ねこますさんのはVRヘッドセット系っぽい。
VRchatされてるようだし指が数本だけ曲がる、というのはVRコントローラー的に可能性高そう。

ここで初めてkinnectの可能性を思い浮かんだんだけど持ってないし全然自分の中に情報なかった…指とかリップシンクってできるの..か..?

ステップアップ先としては
unityのプラグインベースのがいくつかあるようなのでそれかなぁという感じでした。

作業は30分ほどで終わりました。
でもこれを書くのに3時間ぐらいかかってる…mjk…

おわり

広告

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

w

%s と連携中