VR之家消息:一直以来,我们都在追踪报道Facebook Reality Labs(以下简称:FRL)的各项研究。其中,2018年报道了关于实时动态模糊效果的研究DeepFocus,2019年再次报道了与DeepFocus功能相反的DeepFovea功能。
由此,让我们看到了一套基于AI、结合人眼视觉系统而开发出来的AR/VR渲染解决方案,更看到了未来轻量化AR/VR的无线可能性。至少,这样强大的AI系统一定程度上解决了AR/VR算力与功耗的矛盾。
虽然,DeepFovea在2019年11月SIGGRAPH Asia首次公开,但当时并不完整。近期FRL公开了完整版本DeepFovea,并已在Github开源,现在各位小伙伴们可以自己进行探索和尝试这项研究了。
DeepFovea的背后是一个生成式对抗网络(GAN),它能够通过较为稀疏像素的图像,生成一幅足够逼真、自然的图像(包括实时的视频)。在Facebook的测试中,DeepFovea可以将渲染所需的计算资源降低10-14倍。
DeepFovea同样是基于人眼特性,注视区域清晰,区域外则模糊。DeepFovea目的就是通过输入这种注视区域外大幅丢失像素的视频,来帮助GAN模型学习如何填充缺失的图像细节。结果是,在60×40度视场角的视频中,通过稀疏像素的模糊视频生成的视频流在像素密度上降低了99%,并且这套系统还可以降低图像闪烁、重叠、伪影等,最终达到人眼辨别真假的阈值。
以上就是小编为大家带来的Facebook开源DeepFovea-看到未来轻量化AR/VR可能性的介绍,想要了解更多VR资讯请关注本站。下载盒子即可享受一键下载游戏、搜索礼包、查找攻略等一站式服务,喜欢玩破解版的玩家就下载【破解游戏盒子】