如何让虚拟人物动起来?「DeepMotionBrain」开发了真人驱动+自主生成的运动智能
现阶段,人工智能强调对人脑的模拟,其应用也以模仿人的视觉、听觉等为主,如AI视觉识别、AI语音助手。智力模仿之外,人的动作可以被模仿吗?以真实动作为基础的动捕技术已经实现了对人类动作的逼真再现。假如缺乏真实动作数据,虚拟人物或者机器人可以自主运动吗?有一家创业公司「DeepMotionBrain」基于对运动智能的研究给出了肯定的答案。
「DeepMotionBrain」于2014年成立于美国旧金山,创始人Kevin He曾先后担任暴雪娱乐魔兽世界引擎程序员、ROBLOX分布式物理平台技术总监和迪士尼中核手游工作室CTO。
Kevin He表示,运动智能可以理解为通过动捕、摄像头识别等形成人类动作资源库,并且将现实中人、动物的动作都拆解出来,再基于这个资源库,结合AI、深度学习等技术任意生成所需的新的动作。生成的动作就可以与虚拟偶像、虚拟客服以及动画角色等结合,让虚拟形象也拥有自如运动的能力。
现阶段,「DeepMotionBrain」的技术已经用于为C端消费者打造虚拟分身(Avatar),帮企业客户生产虚拟客服,以及参与游戏制作。
公司2019年跟三星达成合作,为三星的Galaxy S10智能手机制作数字化身角色App,即AR emoji,同时也在跟新西兰的沙河游戏公司Dry Cactus(桥梁沙河游戏Poly Bridge的开发者)合作为下一代基于高仿真角色物理模拟的沙河游戏提供引擎技术。
技术上,「DeepMotionBrain」跟英特尔达成了关于Motion Brain技术研发方面的合作,将借助英特尔高端后台服务器的算力研究智能运动大脑。此外,Epic Games最近颁给「DeepMotionBrain」一项名为Epic Grant的研发资金,用来支持其技术在VR方面的研究和应用。
三星 AR emoji
公司的技术路径可以分为两种:
1)Perceptive Motion Brain基于视觉的运动智能
该技术是基于动捕设备,或者通过摄像头拍摄、已有视频解析等将真人的动作投射到虚拟形象上。目前,该技术还能用于真人驱动的虚拟形象直播和动画短片制作,以及对真人动作的刻画和解析,例如在健身、舞蹈领域可用来解析学员动作的准确程度,在医疗领域通过对于监测人的异常动作(如跌倒)来判断其健康状态。
「DeepMotionBrain」想打造普适性工具,其技术仅依靠普通摄像头就能捕捉真人动作,其与三星合作的AR emoji也源于此。公司已经推出了云端动画自动生成的服务。
动作采集
动作呈现
2)Generative Motion Brain自主生成的运动智能
Perspective Motion Brain是目前常见的虚拟形象的动作生成技术路线。然而,如果想打造虚拟偶像,虚拟形象还是要摆脱真人驱动,实现自主行动。「DeepMotionBrain」的Generative Motion Brain即是解决虚拟形象自主生成动作的问题。
具体来说,「DeepMotionBrain」先解析人体的骨骼和肌肉结构,然后为虚拟形象设计相应的运动关节,再通过自研物理模拟算法来实现虚拟形象对真实动作的还原。
在积累真实的运动数据过程中,虚拟形象不断模仿真人的动作,并最终形成自主运动能力。这种自主运动可以根据指令直接做动作,对于客观环境变化或者外界刺激也会做出真实反应。
对外界环境自主反应
Kevin He将Generative Motion Brain比喻为帮虚拟形象形成了“小脑”,会根据环境、大脑的命令来自主生成、调节动作。而一旦虚拟形象能自主生成动作,其与真人的互动体验将会更丰富。比如,虚拟偶像可以与粉丝击掌、拥抱,游戏里的虚拟角色在跟玩家互动、角色与角色之间互动时产生真实的反应。
此外,通过对真人的物理模拟,「DeepMotionBrain」仅靠较少数量的追踪器即可对VR玩家进行全身追踪,目前公司也已参与到相关VR游戏的开发中。
全身追踪
Kevin He表示,Perceptive Motion Brain与Generative Motion Brain这两种技术路线不是孤立的,而是互相促进的。Generative Motion Brain需要大量的真人动作数据做积累,而Perceptive Motion Brain通过视频、摄像头即可解析、获取大量动作数据,能为Generative Motion Brain提供低成本训练数据。而当Generative Motion Brain比较成熟之后,可以自动生成动作反哺给Perceptive Motion Brain来训练其识别、投射的准确度,比如为其定制某些特殊环境下并不常见的动作行为。
技术路径图
「DeepMotionBrain」成立以来已融资近千万美金,最新一轮由三星的Samsung Venture领投。公司已进入中国市场,目前正在积极寻求跟虚拟形象制作、游戏开发、动画制作等领域合作的机会。















