大多数人知道动作捕捉这项技术都源于对电影的关注,荧幕上一个个经典形象自然会引起人们的探索求知欲,想去了解背后的故事。动作捕捉经过了一次次革新也渐渐亲民化,如 Animoji 的表情捕捉,iPhone X 前置深度摄像头在获取人脸的三维信息后,通过A11仿生芯片的神经网络引擎将数据传递给表情模型,虽然目前来说任然存在很多缺憾,但这依旧算得上是动作捕捉应用上新的里程碑。

动作捕捉(有时简称为 mo-cap 或 mocap )是记录物体或人物移动的过程。广泛应用于军事,娱乐,体育,医疗应用,以及计算机视觉验证和机器人技术。在电影制作和视频游戏开发中,它指的是人类演员的录制动作,并使用该信息为2D或3D 计算机动画中的数字角色模型制作动画。当它包括面部和手指或捕捉微妙的表达时,它通常被称为性能捕获。在许多领域,动作捕捉有时被称为动作追踪,但在电影制作和游戏中,动作追踪通常更多地指的是匹配移动。


从电影看动捕技术的发展

动作捕捉技术诞生于斯坦福大学神经生物学实验室,最初应用在物理治疗和康复领域,用来获取患者的行为数据,当时电影行业也注意到了这项技术,他们希望将演员复杂的身体动作和面部表情传递到非真人角色上,但当时的动作捕捉设备都是机械式的,非常笨重,并没有在电影行业应用,知道麻省理工开发了基于LED的光学动捕系统。1990年施瓦星格主演的《全面回忆》是第一部使用光学动捕技术的电影,虽然只是一小段镜头,但动作捕捉技术已经开始逐渐在电影行业得到应用。

2001年维塔工作室在《指环王》中成功塑造了经典的动作捕捉形象——咕噜,安迪瑟金斯也成为“动作捕捉第一人,但当时的动捕技术还不能处理面部表情;2004年动画片《极地特快》实现了身体动作和面部表情的同时捕捉,同期还有《贝奥武夫》、《圣诞颂歌》等动画片,但都遭遇了动捕技术中的“诡异谷”,这些写实的CG角色让人感觉相当别扭,问题在于没将CG角色的眼睛处理好;2006年工业光魔在制作《加勒比海盗2》时,首次开发了户外动作捕捉系统——iMoCap,但这套设备无法解决面部表情捕捉;

2008年数字王国在《本杰明·巴顿奇事》中通过Mova Contour捕捉系统制作了当时电影史上最完美的CG头模型,《美女与野兽》也使用这套动捕系统完成的。,但这套系统只能生成面部表情,演员还需再做一次表演,将身体动作和生成的CG头部进行合成;2009年卡梅隆在拍摄《阿凡达》时借助头戴式摄像头来捕捉高精度面部表情,从此,头戴式摄像头成了动捕设备的标配,将动作捕捉和虚拟摄影技术结合,在拍摄过程中实时显示任务与环境关系,演员们只需要穿着动捕服就可以完成所有拍摄;

《阿凡达》后维塔工作室改进了户外捕捉技术和数据处理算法,应用在《猩球崛起》系列和《霍比特人》三部曲中,实现了身体面部同时捕捉、多人捕捉等更成熟的动捕技术。


优点

  • 低延迟,接近实时。在娱乐应用中,这可以降低基于关键帧的动画的成本。
  • 可以以物理上准确的方式容易地重建复杂的运动和逼真的物理相互作用,例如二次运动,重量和力的交换。
  • 与传统动画技术相比,在给定时间内可以生成的动画数据量非常大,既降低成本又提高了效率。
  • 自由软件和第三方解决方案的潜力可降低其成本。

缺点

  • 需要特定的硬件和特殊软件程序来获取和处理数据。
  • 对于小型制作而言,所需的软件,设备和人员的成本可能过高。
  • 捕获系统可能对其操作的空间有特定要求。
  • 初始结果仅限于捕获卷内可执行的操作,无需额外编辑数据。
  • 不能捕捉不符合物理定律的运动。
  • 必须在以后添加传统的动画技术,例如强调预期和跟进,辅助动作或操纵角色的形状,如壁球和拉伸动画技术。
  • 如果计算机模型与捕获主体具有不同的比例,则可能发生伪影。例如,如果一个卡通人物有大而超大的手,如果人类表演者不小心他们的身体动作,这些可能会与角色的身体相交。

方法和系统

20世纪70、80年代,动作捕捉只作为生物力学研究中的摄影测量分析工具,随着技术的成熟逐渐扩展到教育,培训,体育以及最近用于电视,电影和视频游戏的计算机动画。自20世纪以来,表演者必须在每个关节附近佩戴标记,以通过标记之间的位置或角度来识别运动。声学,惯性,LED跟踪,磁性或反射标记。自21世纪初以来,由于技术的快速发展,大多数现代系统都可以从背景中提取表演者的轮廓。然后通过将数学模型拟合到轮廓中来计算所有关节角度。对于运动,你看不到人影的变化,有可用的混合动力系统,谁可以做两个(标记和轮廓),但较少的标记。在机器人技术中,一些运动捕捉系统基于同时定位和映射。

- Optical systems 光学系统 -

光学系统利用从图像传感器捕获的数据进行三角测量校准两个或多个相机之间的对象的3D位置以提供重叠投影。传统上使用附加到演员的特殊标记来实现数据获取; 然而,更近期的系统能够通过跟踪为每个特定主题动态识别的表面特征来生成准确的数据。跟踪大量表演者或扩大捕捉区域是通过增加更多摄像机来完成的。这些系统为每个标记产生具有三个自由度的数据,并且必须从三个或更多个标记的相对方向推断出旋转信息; 例如肩部,肘部和腕部标记,提供肘部的角度。较新的混合动力系统将惯性传感器与光学传感器相结合,以减少遮挡。

- Non-Optical Systems 非光学系统 -

惯性系统

惯性运动捕捉技术基于微型惯性传感器,生物力学模型和传感器融合算法。惯性传感器的运动数据(惯性制导系统)通过无线传输到计算机,在计算机上记录或观察运动。大多数惯性系统使用包含陀螺仪,磁力计和加速度计组合的惯性测量单元(IMU)来测量转速。这些旋转被转换为软件中的骨架。与光学标记非常相似,IMU传感器越多,数据就越自然。相对运动不需要外部摄像机,发射器或标记,但如果需要,它们需要给出用户的绝对位置。惯性运动捕捉系统实时捕捉人的全部六个自由度的身体运动,并且如果它们包括磁性轴承传感器则可以给出有限的方向信息,尽管这些信号的分辨率低得多并且易受电磁噪声的影响。使用惯性系统的好处包括:在各种环境中捕获,包括狭小空间,无需解决,可移植性和大型捕获区域。缺点包括较低的位置精度和位置漂移,其可随时间复合。这些系统与Wii控制器类似,但更敏感,分辨率和更新速率更高。他们可以在一定程度内准确地测量到地面的方向。惯性系统的普及在游戏开发者中越来越多,他们可以在一定程度内准确地测量到地面的方向。惯性系统的普及在游戏开发者中越来越多,他们可以在一定程度内准确地测量到地面的方向。

机械运动

由于机械运动是传感器连接到身体的方式,所以运动捕捉系统直接跟踪身体关节角度并且通常被称为外骨骼运动捕捉系统。表演者将骨骼状结构附着在他们的身体上,当他们移动时,铰接的机械部件也会移动,测量表演者的相对运动。机械运动捕捉系统是实时的,相对低成本的,无遮挡的,以及具有无限捕捉量的无线系统。通常,它们是连接在一起的连接,直的金属或塑料杆的刚性结构,其中电位计在主体的关节处铰接。

磁系统

磁系统通过发射器和每个接收器上的三个正交线圈的相对磁通量来计算位置和方向。所述三个线圈中的电压或电流的相对强度允许这些系统通过精心映射跟踪体积来计算距离和方位。传感器输出为6DOF,可提供有用的结果,光学系统所需的标记数量的三分之二; 一个在上臂上,一个在下臂上,用于肘部位置和角度。不会被非金属物体遮挡,但容易受到环境中金属物体的磁和电干扰,如钢筋(混凝土中的钢筋)或影响磁场的布线,以及监视器,灯光等电源,电缆和电脑。传感器响应是非线性的,尤其是朝向捕获区域的边缘。传感器的接线往往会妨碍极端的性能变动。利用磁系统,可以实时监控运动捕捉会话的结果。磁系统的捕获量远小于光学系统的捕获量。对于磁系统,“AC”和“DC”系统之间存在区别:一个使用方波脉冲,另一个使用正弦波脉冲。


应用领域

- 动画制作 -

它极大地提高了动画制作的效率,降低了成本,而且使动画制作过程更为直观,效果更为生动。随着技术的进一步成熟,表演动画技术将会得到越来越广泛的应用,而运动捕捉技术作为表演动画系统不可缺少的、最关键的部分,必然显示出更加重要的地位。

- 提供新的人机交互手段 -

表情和动作是人类情绪、愿望的重要表达形式,运动捕捉技术完成了将表情和动作数字化的工作,提供了新的人机交互手段。比传统的键盘、鼠标更直接方便,不仅可以实现“三维鼠标”和“手势识别”,还使操作者能以自然的动作和表情直接控制计算机,并为最终实现可以理解人类表情、动作的计算机系统和机器人提供了技术基础。

- 虚拟现实系统 -

为实现人与虚拟环境及系统的交互,必须确定参与者的头部、手、身体等的位置与方向,准确地跟踪测量参与者的动作,将这些动作实时检测出来,以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的,这也正是运动捕捉技术的研究内容。

- 机器人遥控 -

机器人将危险环境的信息传送给控制者,控制者根据信息做出各种动作,运动捕捉系统将动作捕捉下来,实时传送给机器人并控制其完成同样的动作。与传统相比,这种系统可以实现更为直观、细致、复杂、灵活而快速的动作控制,大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未成熟的情况下,这一技术有着特别重要的意义。

- 互动式游戏 -

可利用运动捕捉技术捕捉游戏者的各种动作,用以驱动游戏环境中角色的动作,给游戏者以一种全新的参与感受,加强游戏的真实感和互动性。

- 体育训练 -

运动捕捉技术可以捕捉运动员的动作,便于进行量化分析,结合人体生理学、物理学原理,研究改进的方法,使体育训练摆脱纯粹的依靠经验的状态,进入理论化、数字化的时代。还可以把成绩差的运动员的动作捕捉下来,将其与优秀运动员的动作进行对比分析,从而帮助其训练。

另外,在人体工程学研究、模拟训练、生物力学研究等领域,运动捕捉技术同样大有可为。可以预计,随着技术本身的发展和相关应用领域技术水平的提高,运动捕捉技术将会得到越来越广泛的应用。