Bewegungsverfolgung是一种从视频材料自动或半自动捕获运动数据的技术。
技术细节
运动跟踪从视频序列中捕捉二维或三维运动信息。典型的跟踪类型：
二维跟踪（2D Planar Tracking）：随时间跟踪一个点的位置（XY）或一个平面（位置、旋转、缩放）。标准工具：After Effects Tracker、Mocha Pro（平面跟踪）、Natron。基于相关性或光流算法的特征匹配。
三维跟踪（Match-Moving）：捕捉三维空间中的摄像机位置和旋转。高级软件：SynthEyes、PFTrack、Nuke Camera Tracker、Boujou（已淘汰）。需要三维空间点和摄像机内参校准。
光流跟踪：基于像素的运动跟踪，计算像素强度在多个帧上的流动。利用图像的梯度特性。适用于密集运动场，不太适用于对象级跟踪。
工作流程步骤：
- 导入素材（ProRes、DNxHD 或 RAW 序列）
- 在稳定的特征上放置跟踪点（对比度边缘）
- 应用跟踪算法（相关性或基于机器学习）
- 导出关键帧数据（位置、旋转、缩放）
- 将数据应用于 CGI 元素或特效
历史与发展
最早的运动跟踪解决方案是光学运动控制摄像机（20世纪70年代），它存储并可重现摄像机运动。数字运动跟踪始于20世纪90年代的计算机辅助视频跟踪。
里程碑：
- 1995年：Boujou v1.0（来自2d3）首次实现实时三维跟踪
- 2003年：Mocha v1.0 以其平面跟踪算法革新了二维跟踪
- 2007年：PFTrack（Pixel Farm）为电影提供强大的三维跟踪
- 2010年：After Effects 获得基于特征匹配的原生跟踪器
- 2015年：基于深度学习的跟踪器（人工智能）提高了鲁棒性
- 2020-2024年：AI 驱动的跟踪器（RAFT、LiteFlowNet）能够在极端运动模糊和光照变化下进行跟踪
实际应用
摄像机稳定：在《谍影重重》（2002）中，使用运动跟踪稳定激烈的摇晃镜头，以正确放置 CGI 元素。一个带有晃动效果的特技镜头需要 40 多个小时的三维跟踪。
运动对象上的视觉特效：在漫威电影中，运动跟踪用于将发光效果或激光效果绑定到移动的武器上。《钢铁侠3》（2013）中的“斯塔克工业”标志就是通过三维跟踪绑定到无人机上的。
稳定与 VFX 集成：在《沙丘：第二部》（2024）中，运动跟踪对于将巨大的沙虫 CGI 元素与摄像机运动匹配至关重要。一个长达 5 秒、摄像机运动快速的镜头需要 15-20 小时的三维跟踪才能精确放置。
文本叠加和增强现实：在体育转播中，运动跟踪用于将统计数据叠加稳定地绑定到球员身上。这需要实时跟踪，延迟为 24 帧/秒。
跟踪算法
基于相关性（最古老的方法）：
- 比较模板中的像素值与连续帧
- 在光照稳定时鲁棒
- 速度快（可实现实时）
- 在光照变化或快速移动时容易出错
光流（现代标准）：
- 计算每个像素的运动矢量
- 对光照变化鲁棒
- 在密集运动场中精确
- 计算密集（比相关性慢 10-100 倍）
基于机器学习（AI，2020年以来）：
- 在数百万个视频帧上训练
- 在极端条件下（运动模糊、光照变化）也鲁棒
- 可以穿越遮挡进行跟踪
- 示例：RAFT、LiteFlowNet、FlowNet2
错误可能性与解决方案
| 问题 | 原因 | 解决方案 |
|---|---|---|
| 抖动（Jittering） | 跟踪器或特征太少 | 添加更多跟踪器，使用更高分辨率 |
| 漂移（Drift） | 特征消失或改变 | 稍后启动第二个跟踪器或手动校正关键帧 |
| 错误匹配 | 特征与其他位置的特征过于相似 | 提高特征特异性（增强对比度） |
| 遮挡时的跟踪中断 | 对象移动到另一个对象后面 | 使用具有遮挡处理功能的三维跟踪 |