TWITTER
FACEBOOK
はてブ
Vtuberとは、2Dや3Dのアバターを使って、YouTubeやライブストリーミングなどで動画投稿や配信活動を行っているコンテンツクリエイターのことです。
Vtuberの世界ではよりリアルな表情を視聴者に伝えることができるかどうかが重要となりますが、そこで役立つのが「フェイストラッキング」という技術です。
本記事では、「フェイストラッキングとは何か」や「どのようにVtuberに活用されるか」、また、おすすめのアプリなどについても解説します。
Vtuberとして活動してみたい方はもちろん、新しい技術に興味がある方も必見です！
目次
|フェイストラッキングとは
フェイストラッキングとは直訳すると「顔追跡」という意味で、コンピュータが人の顔の動きを検出し、それを制御する技術のことです。
フェイストラッキング技術では、まず目・鼻・口・顎など、顔の特徴を点で捉え、そこからターゲットの顔の位置や向き、さらには表情を検出することができます。
この技術は、Webカメラやスマートフォンの内蔵カメラなどを使って活用することができます。
たとえば身近なものでは、スマホのカメラアプリに備わるフィルターやエフェクトといった機能にもフェイストラッキングが利用されています。
近年では技術が発達したことにより、フェイストラッキング技術がゲームや映画といったエンターテインメントをはじめ、医療やセキュリティなど幅広い分野で活用されています。
|フェイストラッキングのメリット
様々な分野で利用されるフェイストラッキングですが、Vtuberとして活動する上でこの技術は重要な役割を担っています。
フェイストラッキングがVtuberにもたらすメリットは主に以下の2つです。
①アバターモデルに自然な表情をつけることができる
フェイストラッキングを利用すれば、アバターに対してリアルタイムで自身の表情を反映させることが実現可能です。
事前に組み込まれたアニメーションなどでは伝わりにくい感情も伝わるようになり、より視聴者に身近に感じてもらうことができます。
②表情に合わせたエフェクトを設定できる
フェイストラッキングから検出された表情によって、特定のエフェクトを出すことも可能です。
例えばVtuberがニコニコ笑っている際には星が出現したり、泣いているときには雨が降ったり…といった演出が行えます。
|アバターの種類
Vtuberとして活動するにあたって必須となるのがアバターで、これには2Dモデルと3Dモデルの2種類があります。
ここでは、それぞれのモデルの特徴やメリットについて説明していきます。
Live2D
Live2Dモデルは2Dグラフィックのイラストを基に動くのが特徴で、PCへの負荷が小さいというメリットがあります。
アニメーションの動作や表情をパーツ単位で分けることができるため、フェイストラッキングや物理シミュレーションといった技術を使って、立体的なアニメーションをつけたり、自然な動きや表情まで詳細に再現したりすることができます。
Live2Dモデルはデバイス上で軽快に動作することもあり、多くのVtuberがこのモデルを使って活動しています。
また、Live2Dには「Cubism」というアニメーション開発用ソフトウェアが用意されており、作成したアニメーションをスムーズに操作できるようになっています。
これによって、初心者でも手軽にアニメーション制作ができるということもLive2Dの魅力の一つです。
3Dモデル
3DモデルではPCへの負荷は大きくなってしまいますが、上下左右に加えて前後の動きを反映し、よりリアルな動きや表情を投影することが可能です。
このモデルは、BlenderやMayaなどの3Dモデリングソフトウェアで作成されます。
フェイストラッキングを利用して表情の変化をリアルタイムで反映させることができるのはもちろん、モデル自体に物理演算を設定することで、髪や衣服などの質感・動きを表現することも可能です。
また、バーチャル空間に存在する3Dモデルにリアルタイムの動きを反映させられるため、視聴者により臨場感を与えるコンテンツを作成できることも3Dモデルの良いところです。
ゲーム配信や雑談配信をするのであればLive2Dモデル、動きのある企画系コンテンツを制作したいのであれば3Dモデルと、自分が何をやりたいのかで使用するアバターの種類を決めるのも一つの手でしょう。
|フェイストラッキングの方法
フェイストラッキングには、スマホやWebカメラが利用されることが多いです。
ここではそれぞれのデバイスにおいて、どのような仕組みでフェイストラッキングが行われるのかについてご紹介します。
スマホ
スマホでのフェイストラッキングは内蔵カメラや加速度センサーを使用する方法が一般的で、PCよりも精度が高いという特徴があります。
具体的には、まずスマホのカメラで顔を認識し、顔の中心や向きなどを検出します。
次に、加速度センサーを使ってスマホの向きを識別し、スマホの動きに応じて顔の角度を変化させます。
これにより、スマホを上下左右に傾けたときに、顔も同じように動くようになります。
顔の動きの特定には画像処理や機械学習の技術が使用されますが、スマホを操作するときの顔の表情を認識するAI技術が使われていることもあります。
識別した顔の表情をアプリやゲームの操作に反映させるのです。
Webカメラ
Webカメラでのフェイストラッキングには一般的に、①物理的な特徴点を捉える方法と、②深層学習を使った方法の2つがあります。
①物理的な特徴点を捉える方法
Webカメラで顔を撮影し、目や口などの特定の部位を検出することで表情や動きを追跡する方法です。
この方法では、表情や動きに応じて特定の部位の座標が変化するため、それを追跡することでフェイストラッキングを実現します。
顔の向きや角度によっては正確性に問題が生じるため、さまざまな角度からWebカメラで顔を撮影することが必要です。
②深層学習を使った方法
CNN（Convolutional Neural Network）などのニューラルネットワークを使って、顔全体を分析します。
この方法では、膨大な量の学習データからパターンを学習し、顔の表情や動きを識別します。これにより、人間の表情変化にも精度が求められるような高度なフェイストラッキングを実現することができます。
ただし、学習データの用意やモデルの最適化に時間や技術が必要なため、手順が複雑になる場合があります。
|フェイストラッキングアプリ
最後に、スマホやWebカメラでトラッキングした表情をVtuberに反映させるアプリについてご紹介します。
今回ご紹介するのは以下の5つです。
・VtubeStudio
・3tene
・waidayo
・恋顔
・Animaze by FaceRig
VtubeStudio
対応プラットフォーム：Windows、macOS
対応しているモデル：3D、2D
専用機材：推奨あり
「VtubeStudio」は、WindowsとmacOSに対応したフェイストラッキングアプリです。
2Dモデルと3Dモデルの両方に利用でき、サポートされている専用機材を利用することで、より精度の高いトラッキングやリアルな表情の再現が可能です。
VTuber向けのアプリとして人気があり、豊富な機能とカスタマイズ性が魅力です。
3tenePRO
対応プラットフォーム：Windows、macOS
対応しているモデル：3D、2D
専用機材：推奨あり
「3tene（ミテネ）」は、WindowsとmacOSに対応したフェイストラッキングアプリです。
無料で利用できる「3teneFREE」と、有料で利用できる「3tenePRO」「3teneSTUDIO」の3つのバージョンがあります。
各バージョンの違いは利用できる機能やカスタマイズ性の違いにあり、VTuber活動やゲーム配信を始めたばかりの方から、より高度な表現を求める方まで、幅広く活用できるアプリです。
waidayo
対応プラットフォーム：iOS、Windows、macOS
対応しているモデル：3D
専用機材：不要
「waidayo」は、iOSとWindows、macOS対応の3Dモデル向けフェイストラッキングアプリです。
専用機材は特に必要なく、iPhoneで表情をキャプチャしてPCへモーションを転送することができます。
直感的に操作できるUIを取り入れ操作性を簡易化、フェイストラッキングが高精度といった魅力があります。
恋顔
対応プラットフォーム：iOS、Windows、macOS
対応しているモデル：3D
専用機材：不要
「恋顔（Koigao）」は、3Dモデル向けのフェイストラッキングアプリです。
waidayo同様に専用機材は不要で、iPhoneで表情を認識し、PC版の恋顔アプリと通信することで3Dモデルを動かすことができます。
操作が簡単なこともwaidayoと似ていますが、waidayoが表情トラッキングとモーションの両方に対応しているのに対し、恋顔は表情トラッキングに特化しているといった特徴があります。
Animaze by FaceRig
対応プラットフォーム：Windows、macOS
対応しているモデル：2D、3D
専用機材：不要
「Animaze by FaceRig」は、2Dモデルと3Dモデルの両方に対応しているPC向けフェイストラッキングアプリです。
顔の動きだけでなく、まばたきや口の動きなどにも連動しているため、実際にそのキャラクターが話しているように見せられることも魅力です。
Animazeについては、過去の弊社記事でも紹介していますので、詳しく知りたい方はぜひこちらをご覧ください。
|まとめ
今回はVtuberにとって必須の「フェイストラッキング」についてご紹介しました。
いかがでしたか？
モデルの制作やフェイストラッキングは無料でも行うことができるので、まずは遊び半分で試してみるのもいいかもしれませんね。
最後までお付き合いいただきありがとうございました。
