观察｜上科大新模型如何“召唤”元宇宙里的逼真虚拟宠物？

·ARTEMIS框架提出了全新的基于神经网络的动态动物渲染器，改变传统渲染方法耗时耗力的困境，在识别、追踪等传统功能之外打开了神经网络在渲染上的大门。
·虚拟宠物要不要衰老？它是永恒的还是会死亡的？这些技术的应用会帮助我们建立一个更多元、友爱、互信的世界还是一个更二元、割裂的世界？

电影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克栩栩如生的形象不亚于真老虎，带给观众奇妙体验。在元宇宙时代，通过全新的人工智能渲染技术，这样的超逼真虚拟动物未来或将普遍出现在我们身边，与人类实时交互。
上海科技大学研究人员最近提出ARTEMIS新型神经网络建模的渲染框架，可同时支持真实的动作动画和高质量的动物毛发渲染，支持可交互式的动作控制，让虚拟宠物同时实现实时、交互、超逼真。该论文已被计算机图形学顶级会议ACM SIGGRAPH 2022接收。相比上世纪90年代的电子鸡、6年前的AR宠物养成对战类游戏《精灵宝可梦Go》，基于神经网络的动态动物渲染器让虚拟宠物不再局限于卡通化的形象，毛发和动作的实时逼真渲染让互动体验成为可能，未来可应用于游戏和影视领域。
阿尔忒弥斯（Artemis）是古希腊神话中的狩猎女神，也是动物保护神。上海科技大学教授虞晶怡对澎湃新闻（www.thepaper.cn）表示，从学术角度，ARTEMIS框架提出了全新的基于神经网络的动态动物渲染器，改变传统渲染方法耗时耗力的困境，在识别、追踪等传统功能之外打开了神经网络在渲染上的大门。
“动态毛发物体的传统渲染建模非常困难，但ARTEMIS展示了这些都能够通过神经网络的表达、训练和渲染来实现传统方式很难达到的效果。”虞晶怡表示，目前上海科技大学正在研发GGU（Graphics generation unity）轻量级神经网络芯片，适配今后所有基于神经网络的渲染引擎。
基于神经网络的动态动物渲染器，让虚拟宠物超逼真与实时交互
电影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克带给观众奇妙体验。创建这些电脑生成（Computer-generated Imagery, CGI）的数字化动物往往需要艺术家的大量劳动，包括创建数以万计的逼真毛发、制作自然的动作动画序列。
比如，传统CGI动物模型需要艺术家、模型师参考真实动物的照片或视频来创建由数以万计的毛发纤维组成的动物皮毛。这一过程通常要求具备熟练的建模技巧，也耗费人力，《少年派的奇幻漂流》中，光老虎的毛发就有超过15名动画师参与工作。
上海科技大学信息学院研究生、论文第一作者罗海旻介绍，即使拥有如此复杂精致的模型，将其渲染成高质量图片依然需要用到非常复杂的渲染方法，才能实现逼真效果。
根据模型精细程度，传统渲染时长不同，完成1帧渲染需要数分钟至数小时。即使有大量计算资源，实时渲染逼真的动物图片依然遥不可及。上海科技大学信息学院研究生王有佳说，比如他们所做的一匹狼的渲染，利用传统渲染方法一帧通常需要四五分钟时间，特效成本昂贵。再者，渲染速度慢意味着无法实时交互。
因此，如何交互式操控这些模型并保持高度真实又是新的挑战。传统CGI动物模型并不适合当下虚拟宠物应用中实时逼真渲染、人与动物实时互动的场景。为此，上海科技大学研究人员提出ARTEMIS新型神经网络建模的渲染框架，用以生成同时具备外观和动作合成能力的虚拟宠物，让虚拟宠物同时实现实时、交互、超逼真。ARTEMIS框架的核心在于提出了一种新的神经网络生成（Neural-generated Imagery, NGI）动物模型来替换传统的CGI模型。与传统离线动画和渲染系统不同，ARTEMIS可同时支持真实的动作动画和高质量的动物毛发渲染，支持可交互式的动作控制。
虚拟动物制作最难之处在于毛发和动作的逼真渲染。上海科技大学教授虞晶怡认为，渲染是ARTEMIS框架中“最漂亮的工作”。
事实上，NeRF（Neural Radiance Fields，神经辐射场）突破了计算机图形学对渲染和建模的理解，而NeRF本身有望成为主流的渲染引擎。它可以支持高质量的视图合成，并对每个场景进行优化。比如可以对一个杯子从四面八方拍照，再用神经网络对图片进行压缩和插值，即可在自由的视点里随意观看。
“我们做了大量的NeRF工作，但是NeRF有几个问题，一是不支持动态物体，二是不支持毛发渲染。我们就在想，能不能用我们的新技术，把NeRF做到又能动，又能有毛发逼真效果？”虞晶怡表示。
团队创新性地利用卷积神经不透明辐射场（ConvNeRF），支持动态物体和超高清渲染。他们使用卷积神经网络渲染器为模糊毛发目标生成不透明辐射场的新方案，将显式不透明监督和卷积机制结合到NeRF框架中以实现高质量外观渲染，可增强毛发纹理细节，整个渲染流程可导并且支持对动态毛发动物实时的高质量自由视角渲染。当动物动起来时，如何做到逼真效果？上海科技大学信息学院研究生一年级学生、论文第二作者许腾介绍，团队搭建了一个动物动作捕捉系统，将12台Vicon Vantage V16相机均匀环绕在被拍摄动物的四周，每台相机能以120hz的频率捕捉移动中的红外光反射标志。
此外将22台Z-CAM cinema相机安插在Vicon相机之间，并以30fps（画面每秒传输帧数）采集RGB视频，标定与同步均在采集前提前完成。通过这套动作捕捉系统，团队获取了猫、狗的高质量动作数据，四肢、尾巴等易被遮挡的部分也能精准捕捉。
但另一个问题是，拍摄到的动作序列是离散不连续的。为此，团队引入神经网络状态机（Neural state machine），它能在任意两个动作之间进行插值，将一个动作平稳过渡到另一个动作，自动生成动物动作。捕捉动物动作并复原动作，结合神经网络动态渲染，就可以做到一个虚拟宠物既有逼真动态又有真实外观的效果。
最后一步是交互，人体动作捕捉团队采集用户的各种体态、动作、声音等，以此和虚拟动物互动。
“我们自定义了一些交互规则，用神经网络推导现在人物处于什么样的状态，比如人物是不是挥手、是不是希望动物去什么地方，是不是希望动物能过来坐下等等，相当于我们去解读人物的动作，然后把人物的动作和动物的控制结合起来，让动物对人的动作有相对的响应。”许腾说。
AI、自然语言处理等赋予虚拟宠物伴侣能力，伦理问题要界定
虚拟宠物的发展可以追溯到1996年。当年，日本万代公司推出的电子宠物系列游戏机拓麻歌子风靡全球，也被称为电子鸡。游戏机外形设计像鸡蛋，互动模式包括可以为宠物喂食、清理粪便等。这就是早期的虚拟宠物，当时，学生是主要玩家，他们出入学校都带着拓麻歌子。

拓麻歌子

2005年，腾讯公司推出虚拟社区喂养游戏QQ宠物，贯穿宠物成长全过程，包括喂食、清洁、打工、学习、结婚、生蛋等。早期，QQ宠物会因为长时间不登录或者照顾不周而死亡，需要购买还魂丹复活。 直到2018年被下架，QQ宠物成了一代人的回忆。
2016年，AR宠物养成对战类游戏《精灵宝可梦Go》引起全球追捧，玩家可以在现实世界中发现宝可梦，并抓捕和战斗，这也让人们走出家门寻找精灵。
“一般的虚拟宠物都是Q版或者比较卡通化的形象，但我们可以做出非常真实的毛发，这是一个全新的呈现方式。”95后许腾正与团队成员王有佳等筹备创立虚拟宠物创业公司，开发虚拟宠物应用。
“ARTEMIS主要应用场景是替代传统动物渲染，如果能做到足够的加速，就可以在游戏里呈现。”许腾表示，这会比现存的游戏引擎里的动物呈现更真实，因此ARTEMIS最大的应用就在于娱乐游戏领域，“比如像虚拟宠物，它有可能会坐在你的电脑前，响应你的动作，注视你，跟你交互。”
“未来我们可能会尝试收集真实的人和真实的动物之间交互的数据，提升渲染效果。”王有佳表示，他们将探索虚拟宠物在游戏、可交互广告等方面设计产品的可能性，让用户在屏幕中看到栩栩如生的动物时更可以隔着屏幕与它们游戏。虞晶怡饲养了两只兔子，它们并不会像宠物猫、狗一样会发出很多声音。“今后虚拟世界的宠物能不能跟我有更多的交流？人工智能、自然语言处理、语音交互能够赋予它们这样的能力。”
不管是现在的桌面端或是移动端，还是今后在AR、VR的显示设备里，他认为虚拟宠物是下一代计算机视觉、图像技术商业落地的场景之一。“人与虚拟人的交流还有很长的路要走，但和宠物交流不需要特别复杂。”相比虚拟人，虚拟宠物会更快实现商业落地。
未来，团队将开发人与虚拟宠物的对话功能，依靠更丰富的数据集让虚拟宠物动作更丰富。此外要探索渲染轻量化，在轻量级的手机端完成渲染效果，并支持消费者水平的VR头盔，实现与虚拟动物的交互体验。
AI的时代是数据的时代。未来动物数据集的采集一方面可以由用户贡献宠物模型数据，通过神经网络渲染器建模，生产三维模型。宠物主人可以把自己的宠物数字化，与虚拟宠物远程交互。
另一方面可走生成AI的道路，也就是用现有模型生成未知模型。“如果有了足够多的数据，就可以生成介于加菲猫和布偶猫之间的一种猫，可以产生新的虚拟物种。这不仅仅是虚拟伴侣，它其实也是NFT的一种形态。”虞晶怡表示。
当前虚拟宠物、虚拟人市场仍在起步阶段，从传统的二维无交互视频逐步过渡到有交互的三维体验有多种模式，元宇宙市场潜力巨大，上海提出到2025年元宇宙相关产业规模达到3500亿元。
对于上海的元宇宙产业发展，虞晶怡建议，要重视原创性工作。他认为“元宇宙”是商业概念，在学术上无法定义，因此科研不应该围绕商业概念展开。“我们需要做的，是把精力专注在下一代计算机视觉和图形技术的研发上，而不是局限在特定的商业概念里。但这些技术最终以何种形式落地将由市场决定。”
“我们在做技术的同时也非常注意伦理的教育。技术发展太快了，很多AI技术会涉及到伦理问题，包括虚拟宠物。”虞晶怡提出，比如虚拟宠物要不要衰老？它是永恒的还是会死亡的？这些技术的应用会帮助我们建立一个更多元、友爱、互信的世界还是一个更二元、割裂的世界？“伦理问题一定是非常核心的，在开发技术时必须要注意。”

责任编辑：吴跃伟

图片编辑：乐浴峰

校对：徐亦嘉