LiveLink Face

live link face scan faceware look dev lidar scan matchmove

Epic Gamesの無料iOSアプリ、iPhoneのTrueDepthカメラから顔の動きデータをキャプチャし、Live Linkを介してUnreal Engineにリアルタイムでストリーミング——MetaHumans、デジタルキャラクター、仮想プロダクション用のアクセス可能な顔のパフォーマンスキャプチャを有効にし、高価な専用ハードウェアは不要です。

LiveLink Faceとは？

LiveLink FaceはEpic Gamesの無料iOSアプリで、AppleのTrueDepthカメラを利用して顔の動きをリアルタイムでキャプチャし、Live Link経由でUnreal Engineにストリーミングします。これにより、プロフェッショナルなフェイシャルパフォーマンスキャプチャが誰でも利用可能になります。

基本原理

側面	説明
テクノロジー	Apple ARKit TrueDepth
ブレンドシェイプ	52 ARKit形状
転送	Live Linkプロトコル
受信側	Unreal Engine

ハードウェア要件

コンポーネント	仕様
iPhone	X以降（TrueDepth搭載）
iPad Pro	Face ID搭載
iOS	14.0以降
ネットワーク	WiFi、同一LAN

ARKitブレンドシェイプ

カテゴリ	例
目	eyeBlinkLeft, eyeLookUp
眉	browInnerUp, browDownLeft
口	mouthSmileLeft, jawOpen
鼻/頬	noseSneerLeft, cheekPuff

アプリの機能

機能	説明
プレビュー	リアルタイム顔面可視化
タイムコード	同期オプション
録画	ローカル録画
マルチソース	複数デバイス

セットアップワークフロー

ステップ	説明
1	アプリをインストール
2	UE Live Linkを有効化
3	IP接続を確立
4	キャラクターを割り当て

Unreal Engine セットアップ

ステップ	アクション
プラグイン	Live Linkを有効化
ソース	Apple ARKitを追加
サブジェクト	デバイス名を選択
Animation BP	ブレンドシェイプを処理

MetaHuman インテグレーション

側面	説明
ダイレクトドライブ	自動マッピング
リターゲティング	最小限で済む
品質	非常に良い
セットアップ	迅速

アニメーションブループリント

ノード	機能
Live Link Pose	データを受信
Blend Poses	ブレンド
Morph Target	メッシュを変形
Post Process	後処理

キャリブレーション

側面	説明
ニュートラルポーズ	顔をリラックスさせる
ヘッドポーズ	オプションでキャリブレーション
オフセット	調整
リセット	セッション中

録画オプション

方法	説明
アプリ内	ローカル録画
Take Recorder	UE内で録画
Sequencer	Level Sequenceに直接
外部	タイムコードと同期

タイムコード同期

側面	説明
NTP	ネットワーク時間
Tentacle	外部デバイス
手動	クラップベース
精度	フレーム単位

ヘッドトラッキング

機能	説明
位置	XYZシフト
回転	頭の回転
組み合わせ	ブレンドシェイプと
応用	キャラクターが移動

最適化

対策	説明
照明	均一、明るく
距離	30-60cmが最適
安定性	iPhoneを固定
ネットワーク	5GHz WiFi

マルチパフォーマー

セットアップ	説明
複数iPhone	並行可能
サブジェクト	デバイスごとに命名
割り当て	異なるキャラクターに
同期	タイムコード経由

プロフェッショナルMocapとの比較

側面	LiveLink Face	プロシステム
コスト	iPhoneがあれば無料	$$$$
品質	非常に良い	最高
マーカー	不要	しばしば必要
セットアップ	数分	数時間

制限事項

側面	説明
解像度	52ブレンドシェイプ
精度	良好、完璧ではない
オクルージョン	手が邪魔になる
レイテンシ	最小限だが存在する

ユースケース

用途	説明
プリビズ	迅速なアニメーション
インディーゲーム	手頃なソリューション
バーチャルプロダクション	リアルタイムキャラクター
トレーニング	Mocap学習

トラブルシューティング

問題	解決策
接続なし	ファイアウォール、同一LAN
トラッキング喪失	照明、距離を確認
ジッター	BPでスムージング
ラグ	5GHz WiFi

オーディオ録音

側面	説明
アプリ内	オーディオを同時に録音
同期	ブレンドシェイプと
エクスポート	アニメーションと共に
リップシンク	後処理

エクスポート形式

形式	用途
CSV	生のブレンドシェイプデータ
Take	UE Sequencer
USD	パイプラインエクスポート
FBX	UEベーキング経由

ベストプラクティス

実践	理由
良好な照明	トラッキング品質
安定したマウント	ドリフト低減
ニュートラルキャリブレーション	クリーンな開始点
テスト録画	重要なテイクの前に

現在

LiveLink Faceはフェイシャルモーションキャプチャを民主化しました。かつては高価なマーカーベースのシステムやドームセットアップが必要だったものが、今ではiPhoneで可能になりました。インディー開発者、プリビズ、さらには多くのプロフェッショナルな用途において、このアプリは以前のコストのほんの一部で驚くべき結果をもたらします。

辞典を続ける