元宇宙搭建之VR 开发指南（3）

 

2018年我们看到了实时光线追踪在桌面端显卡上的实装。而目前Apple和三星在移动端SoC上都已经支持了RayTracing。但由于目前光追应用也只在AAA大作中出现，开发者热情不足更别说移动端光追了。

 

三星研究院在《Fast Stereoscopic Rendering on Mobile Ray Tracing GPU for Virtual Reality Applications 》提出了VR 开发渲染的一个光追方案。Stereoscopic reprojection方案简单来说是双目渲染只渲染左眼的画面，然后将光追的几何交点投影到右眼，减少整体的光线计算量。然后对于右眼画面由于遮挡关系导致缺失的像素，重新发出新的光线来光追进行修复。其实这套方案和上面我们提到的spaceWarp也非常相似。由于使用的光线追踪方案我们有整个场景的几何信息，可以进行缺失像素的重新计算。我们双眼的距离很近，朝向也只有细微的角度偏差，双目重新投影缺失的像素比例将非常低。经过测试大约10%的像素需要重新发射光线进行光追。如果使用光栅化则无法进行缺失像素的准确修复（光栅化是几何投影，无法逆向找出Mesh对象）。

 

在我们上面提到渲染优化方案之外，相对于双眼全部光追，reprojection直接减少了GPU的计算量，而且这个优化和上文提到的其他渲染优化方案完全正交。但整体光追还是比光栅化要更耗费性能，这没有办法。测试数据表明使用reprojection实现了1.64倍的性能提升，以及20%的能耗提升。

 

另一方面光线追踪也是非常适合foveation rendering。light transport entertainment对注视VR 开发渲染进行了测试，《Foveated Real-Time Ray Tracing for Virtual Reality Headset》使用Voronoi Noise分布的光线进行光追，将采样的像素量减少到全分辨率的1/20，在相同的视觉体验下将帧率从25fps提升到73fps(6.7M triangles, 32ray per sample)。

在我看来，使用光追渲染我们可以依据warp后的像素位置信息进行渲染，避免一些采样的浪费，而方形像素的注视区域分布是不如距离场采样的光线分布的。RayTracing在VR 开发渲染这个问题下其实有对应特有的优化方式，并不会是我们直观理解的VR 开发性能爆炸叠加上光追的指数型爆炸。毕竟移动芯片的tensor模块还可以用来跑光追DLSS不是？我想在stereo reprojection、foveated rendering、spaceWarp和denoise加持下RayTracing for VR 开发这个优化buff叠满的方案或许在不久的未来我们可以看到。

图片​

 

Raytracing可以比光栅化提供更加物理的渲染结果，整个游戏开发领域也在不断向光线追踪靠拢，VR 开发渲染最终也会回归光追。

假设再往更远一点看，类似于光波导的触发器按照角度刷新画面，这个数据源是不是可以直接是光追的光线数据而不是以像素buffer形式存在？这样在人眼视野的区域就不会有分辨率差异了，甚至结合眼动追踪，直接将光线射入到注视点角度。

 

快速增长的蓝海市场

Oculus Quest2的市场热度不断增加，截至21年末Oculus Quest2已经出货1000万台设备。据称在2021年圣诞节销量大幅增长以至于Oculus应用占据了应用商店排行榜首位。

 

​

​AppStore排行榜

从Steam的硬件统计信息我们也可以看到，Quest2市场占有率不断扩大。随着大量消费级VR 开发设备的市场保有量不断增加，对于开发者来说这无疑是一个巨大的市场。在我看来VR 开发游戏相比起传统游戏来说，本身由于操作体验的问题，单次游戏时长短，所需要的游戏内容体量相对较小。同时由于高精度贴图和模型细节的画面在VR 开发显示屏幕分辨率限制下并不一定能带来更好的视觉体验，大部分VR 开发游戏可以使用简单的几何色块风格或是卡通渲染，就可以平衡画面效果和玩家的视觉体验。另一方面VR 开发游戏作品的数量相对较少，有一定制作水准的VR 开发游戏在蓝海市场可以得到更多的收益。

 

​

Steam用户VR 开发设备比例

Quest2 并不是技术规格最高的VR 开发产品，但其一定是商业上最成功的产品。John Carmack在talk里提到，Quest2和Quest1相比并没有在硬件上有巨大的升级，并不是因为Oculus目前的技术能力不足无法实现，而是在于成本的考虑。Quest2没有添加眼球追踪，没有从FastLCD升级到OLED，最大的成功便是把产品的价格从一代的399$降到了299$。同时硬件的小幅度升级优化加上软件功能适配上的提升。比国内对标产品PicoNeo3价格还低，基本是以成本价补贴设备销售，类似于主机游戏设备的市场策略。

 

足够的产品出货量和市场规模才能带动整个生态正向成长，才会有更多的开发者和内容制作者加入。显然这一策略得到了市场的认可，根据meta的数据，Oculus商店数字内容和游戏的销售数据在过去三年增长了三倍，截至21年底，Oculus Store的数字内容销售额达到1billion$。部分头部游戏开发者在VR 开发赛道得到了高额的回报，在我看来其游戏开发成本相对于桌面端非VR 开发游戏项目要低得多。

 

基于我目前VR 开发/AR方面US Patent的数量及内容的观察。目前各大科技公司都有相关的布局。

第一梯队的公司是MagicLeap、Meta和Apple。第二梯队是Microsoft、Sony以及Google。

 

毫无疑问Apple VR 开发并不是谣言，包括之前Apple部分代码信息泄露的RealityOS系统名称。从历史上看，Apple无疑是最注重AR的科技公司，从iPhone集成AR的各种功能、完善的开发工具链来看，Apple绝对不会错过VR 开发的这个市场。拥有最强低功耗芯片设计能力的Apple，不论是推出VR 开发一体设备还是和iphone绑定的VR 开发头盔，必将推动VR 开发设备技术往前革新。更何况是其拥有芯片硬件生态一体化的设计能力和优化方案，以及几十亿的庞大用户市场和完整的应用与开发者生态。

 

​AppleVR 开发概念图

我个人的判断Apple要是能推出穿透模式的AppleGlasses那必然要在光波导等光学模组方案上有决定性的革新，目前市场上的AR眼镜方案表现出来的体验还达不到Apple对于消费级产品一贯的要求。而在VR 开发方面，依靠其芯片显示技术和各类算法传感器以及CV等技术优势积累，AppleVR 开发在技术指标上将必定是领先于市场。see through模式下也可以带来前所未有的AR体验。让我们一同期待AppleVR 开发带来的第二波VR 开发浪潮。

 

 

如何定义元宇宙？

> A metaverse is a network of 3D virtual worlds focused on social connection.

借助于VR 开发/AR设备，我们得以在这个虚拟的3D世界中进行社交。当然我这里不想聊太多元宇宙产品或者是应用，作为技术文章从技术角度出发，谈谈还未解决的基础技术问题。

 

一个是社交主体的识别，即人的识别。在智能手机时代我们有指纹识别和人脸识别。但戴上VR 开发头盔人脸贴合的情况下就无法进行顺畅的验证。人眼虹膜的识别解锁是目前的一个可行方案。

 

另一个问题是社交反馈，在智能手机时代，我们通过视频聊天和直播进行社交，我们丰富的面部表情直接传达情感。但戴上VR 开发头盔我们如何让虚拟世界里的其他人看到我们的喜怒哀乐？在VR 开发头盔封闭空间的人脸表情捕捉将是一个巨大的挑战。即是是AR眼镜不再封闭，超近距离的摄像头要识别表情也难度不低。

 

试想一下在全人类进入元宇宙的之前的过渡阶段，一个处于元宇宙状态的人类如何与一个正常人类进行社交和交流？ 对于元宇宙状态人类来说see through模式可以无差别看到对方的表情，但对方无法看到VR 开发面罩下双眼的表情。眼睛是心灵的窗户，单纯从嘴巴和部分面部肌肉无法判断情感表达。在21年的siggraph 论文里，meta提出了reverse pass through将人眼画面显示在VR 开发头盔上，用于跨现实交流，只是看起来有些恐怖。

 

​

​Reverse Pass-Through原型

 

在社交娱乐之外，VR 开发办公也是元宇宙的重要环节。目前Oculus最新的beta版本测试功能支持蓝牙键盘的连接，并且在pass through模式下显示键盘的画面。即你在VR 开发的虚拟世界里可以看到键盘以及手部打字的画面。VR 开发虚拟世界给工作的桌面带来更多可能性，顺畅的输入是必不可少的一环。

 

环形视野开满了窗口，你可以在VR 开发世界里浏览网页、玩steam游戏、发邮件、写代码甚至是开发VR 开发游戏。化身办转椅达人，一个键盘和支架，告别办公桌。

 

我们可以设想未来VR 开发头戴显示器的终极形态，是一个小巧轻便的眼镜。在VR 开发 passthrough模式下的SLAM重建和AR无异。高分辨率 高刷效率 比拟人眼的FOV。流畅稳定精确的SLAM重建，交互识别合定位，高速云端渲染和通信传输技术。等到AR眼镜的结构光技术成熟之后，我们丢弃智能手机和智能手表，每天从醒来戴上眼镜开启元宇宙，睡觉时摘下。

 

目前臃肿的HMD只是产品的初级形态，就像乔布斯发布的初代触摸屏iPhone一样，意味着新时代的开启。

 

在智能手机之后，我没有发现其他任何一类科技产品像VR 开发设备这样，需要如此多的技术革新并可预见地能够被实现。甚至比智能手机来说，涉及的产业链更加庞大、技术创新依赖更强。芯片、显示技术、光线摄像和成像、眼球追踪和生物识别、机器视觉和人工智能，都比智能手机的要求更高。

对Meta来说，VR 开发设备就是下一个时代的智能手机。掌握了VR 开发设备即掌握了下一个时代的社交媒体入口。

 

不用怀疑，VR 开发是目前最触手可及又满足了人类对未来科技幻想的技术。

 

本文已完！

 

上海九影专注AR和VR的定制开发，欢迎您的咨询！

 

 

本文转自：原创 Yemi 游戏开发实验室   如有侵权，请通知删除，谢谢！