VR之家消息:传统动捕技术的问题是,其需要依靠大量昂贵和笨重的硬件,这样不仅耗费时间,更是耗费了很多成本。为此,RADiCAL推出了基于AI的解决方案,实现这样低成本动捕仅需一台2D相机甚至是一台手机。
“所有这些费用,技能和时间都令人对动捕技术望而却步。”RADiCAL的联合创始人兼CEO Gavan Gravesen如是说道。初创公司RADiCAL是一家位于纽约的NVIDIA Inception项目成员。Gravesen表示:“我们致力于提供全民易用性,无缝集成和快速完成,而所有这一切都是以低成本实现。”
他们基于AI的解决方案只需要游戏开发商,3D图形艺术家,电影制作人员和AR/VR爱好者提供一件物理硬件:一台2D相机,甚至是一台手机。不需要其他硬件,工作室环境或精密的传感器设备,这大大降低了所涉及的成本和工作量。
1. 更简单的动捕
世界任何用户都可以通过智能手机或网络直接将视频上传到RADiCAL的云端中。该公司则利用人工智能和运动科学处理视频,检测其中的内容,在3D空间中重现人类运动,甚至是重建相机所无法看到的内容。
RADiCAL的算法可以自动适应不同的人体比例和人体运动,然后创建一个可以在3D映射视频主体运动的模型。尽管模型的流畅运动使得该过程看起来十分简单,但底层却非常复杂。
RADiCAL的联合创始人兼CTO Anna-Chiara Bellini指出:”我们集成了深度学习,机器人技术,计算机视觉和生物力学,这需要强大的人工智能开发环境。”
2. 利用TensorFlow处理
Bellini表示,RADiCAL面临的第一个挑战就是需要处理的大量数据。对于他们的算法,单张静止图像可能需要分析多达6GB的数据。但对于每一秒的动作,期间包含120帧内容,从而带来了惊人的720GB数据。
Bellini及其团队选择了TensorFlow,将GPU编程集成到他们的研究过程中,从而为整个管道提供一个“单一执行模型”。她解释说:“通过使用CUDA编写的ad-hoc内核来补充TensorFlow,一个只需数小时编写的简单内核可以为我们节约数天的模拟时间。”
为了支持其运动模型,RADiCAL在多GPU系统上以交错方式处理多个帧。Bellini指出:“支持多个Tesla V100 GPU的最新一代NVIDIA NVLink等技术使这一切成为了可能。”
Bellini和她的团队使用了基于云端的多GPU设备,她们将从构思到部署再到生产的开发周期时间减少了10倍。
她说道:“英伟达的显卡提高了我们的工作速度,允许我们探索更多的选项,以及更有效地利用我们机器学习工程师的时间。这是一个惊人的发现。”
3. 动画文件的应用
在处理完视频后,RADiCAL将通过网站及其MOTiON应用程序提供与实际视频片段并排呈现的实时3D预览。用户还可以下载适用于3D动画,增强现实,虚拟现实,游戏引擎和其他3D图形程序,以及内容频道格式的动画文件。
下载盒子即可享受一键下载游戏、搜索礼包、查找攻略等一站式服务,喜欢玩破解版的玩家就下载【破解游戏盒子】,另外,玩家也可扫描下方二维码,下载【破解游戏盒子】。