扎克伯格的野心，藏在“全彩透视技术”里：虚拟与现实结合，VR秒变AR

如何让远在千里之外的朋友来你家下棋。

没错，是你生活的家，而不是你和朋友在手机上在线下棋或者同时处于某个完全虚幻的场景。

不久前，扎克伯格披露了其高端头戴产品，内部代号为Project Cambria的VR头戴显示器即将实现这一场景。

《探索2》呈现的黑白视角

扎克伯格在最新的财报会议上提到，全彩色透视技术将是Project Cambria的最大特色之一。

全彩透视技术属于视频透视技术的一个分支，即通过摄像头捕捉实时图像，将虚拟世界和现实世界结合起来，呈现出丰富多彩的显示图像。

全彩透视技术呈现的画面

日前，美国专利商标局公布了一项苹果专利，指出了头显的多镜头组合方案，可以实现视频透视功能结合最近外媒爆料的信息，很多人断定苹果的MR头显很有可能采用全彩透视技术

此外，一些初创企业也在瞄准全彩透视技术的相关特性VR头显公司Valve最近宣布，将与3D传感技术公司Occipital的Arcturus Industries合作，为VR设备提供全色透视模式

全彩透视技术为什么能成为Meta头显的突破口Meta在全彩透视技术上做了什么全彩透视技术会对VR/AR行业产生什么影响在和很多业内人士交流后，我们试图找到问题的答案

为了给元宇宙上色，全色透视分为四个步骤。

视角是指看到真实的世界目前，VR设备创建的是一个完全虚拟的环境，不会与现实世界交互，但用户可以通过透视看到现实世界和数字世界

当前的透视方案分为两类:光学透视和视频透视。

光学透视的显示方案是通过特殊的镜头设计，将数字画面投射到半透明的显示设备上视频透视的显示方案是通过摄像头实时捕捉画面，然后与虚拟世界中应该呈现的画面融合，最后呈现在显示屏上

两种不同光路的示意图:光学透视和视频透视

由于光学透视的光路设计复杂，显示画面的视角有限，受光线影响无法显示纯黑画面，光学元件成本高，所以VR设备厂商往往选择成熟的视频透视方案。

回想一下当你戴上VR头显，需要建立安全区域的时候，是否可以同时看到自己的房间而且你还可以用VR手柄在房间里圈出某个安全区域

此时，通过视频透视技术实现了你眼中的真实场景与虚拟世界的融合。

虽然大部分VR设备已经配备了透视技术，但基于目前VR设备的RGB摄像头和产品设计，现有的VR设备大多支持黑白透视。

据业内人士透露，黑白透视只需要使用空间定位相机和一些简单的算法，就可以达到很好的透视效果。

黑白透视场景

而要实现全彩透视，虽然只是简单的上色步骤，但背后需要考虑多项技术的融合。

目前全彩透视可以分为透视，空间锚点，三维重建，环境理解，物体识别四个步骤。

值得注意的是，与AR设备显示的图像不同，全彩透视技术看到的真实世界并不是人眼直接看到的其实人的眼睛看到的是机器拍摄的图像，经过处理后投射到显示屏上

从黑白到全彩，全彩透视需要突破三大技术难关。

从黑白透视到全彩透视有多难。

经过梳理，我们发现要实现全彩透视技术，需要突破三个技术难点。

首先是硬件升级创客科技创始人孙立认为，从硬件上看，从黑白视角到全彩视角，可能涉及到摄像头的升级厂商可能会在VR设备上升级RGB摄像头，甚至一些设备会配备深度传感器，以实现更高的精度和丰富多彩的画面效果

业内一直有传言证实这一点根据消息显示，与Quest 2相比，Project Cambria配备了分辨率比Quest 2高3倍，专为色彩透视设计的深度传感器和摄像头，可以实现以假乱真的混合现实体验

全色透视场景

其次，算法也提高了一定的要求由于全彩色透视对分辨率，色彩还原和精度的要求很高，而且物体的位置对应于物体的大小范围，所以往往需要一套接近实时重建的算法这就对算法和计算能力提出了要求，也对头显本身处理计算的能力提出了更高的要求

所以头显的成本价可能会翻倍，甚至翻倍根据消息显示，Meta Project Cambria的价格已经涨到800美元，苹果的MR头显价格可能达到3000美元

头部厂商为什么抨击全彩透视方案。

为什么很多头戴式厂商都在想尽办法攻克这个方向我们可以简单的从Meta透露的信息中看出全彩透视的好处

首先，用户活动的场景变大用户不再局限于狭窄的安全区域，可以自由选择室内的活动空间甚至这一次，你的天花板可以成为你新的画板

根据官方5月25日的信息披露，Quest Room 2配备了新的实验功能用户可以标记他们家中的物体表面，勾勒出墙壁和内部物体的大致范围，并将你的家具和墙壁移入元宇宙这个功能还在测试阶段，会在v40的更新版本中正式运行

其次，我们可以看到全彩透视也带来了一些办公场景的新玩法工作室里的伙伴可以一起讨论新的设计方案，实时发表自己的意见，进行调整和修改

通过全彩透视，用户可以通过VR头戴设备看到真实的世界，实现现实与虚拟的结合，极大地拓展了VR头戴设备的使用场景，如社交应用，商务办公等，让VR不再只是一个娱乐终端，而可以扩展为一个工具和一个计算平台爱奇艺冒险VR头显相关负责人表示

黑白透视场景

最后，从用户体验的角度来说，全彩透视将虚实融合这个词的场景再次推向了一个新的高度以前，VR/AR设备所能实现的只是在所有虚拟和现实世界中添加一些简单的数字信息

即使是现在，Quest通过黑白视角呈现的一些场景，也只是在虚拟世界中再现现实世界的场景，远没有达到融合的效果。

利用全彩透视技术，你可以重新装修你的新房间，增加很多你目前放不进去的东西，比如一把吉他，一只宠物狗或者你远在他乡的亲朋好友。

当虚拟宠物进入现实生活

用Quest 2试水，Meta布局了很久的全彩透视技术。

其实Meta早就布局全彩透视技术，在Quest 2上已经试水日前，Quest 2的透视功能正式开放SDK，接入了一批基于黑白透视功能开发的游戏，如立体主义，Blaston等

我们可以看到这是Meta为其全彩透视功能做的铺垫基于Quest 2的黑白透视功能，VR内容厂商已经提供了一些新的玩法，接下来Project Cambria的全彩透视功能也会有相应的改进

Meta的项目Cambria呈现的虚实融合场景

不久前，多人VR创作应用MultiBrush宣布支持Meta Avatar系统头像和透视模式。

同时，在Quest 2开启透视模式后，Quest 2不能仅仅被视为一个VR头显，它还具有一定的AR特性。

消息人士透露，国内外多家VR头显厂商也在计划推出全彩透视现在看来，全彩透视功能很可能是未来VR头戴升级的重要功能之一

虽然Meta描述的是全彩透视功能，但也仅限于理论场景。

从发布时间来看，Project Cambria很可能是首款6dof定位，全彩透视的头戴产品所以全彩透视的头戴设备能带来怎样的体验，还有待观察

但从智动与众多VR/AR设备开发者的交流中发现，他们都对全彩透视持乐观态度，甚至给出了全彩透视是VR成为元宇宙入口的关键技术的评价。

爱奇艺Adventure VR头显相关负责人也提到，当具备全彩透视功能的VR头显问世后，将成为未来很长一段时间内市场的主流产品，实现AR场景在消费领域的落地，也将对现有的光学透视AR产品产生巨大冲击。

在调查的过程中，我们也发现国内某初创企业试图从光学视角和视频视角走一条新路。

据报道，国内VR企业蚁视科技在2018年CES大会上展示了蚁视Mix原型机这款设备采用了蚁视独家研发的时分透视TDST技术，可以通过光学调制器快速切换融合真实和虚拟环境的光线

但遗憾的是，通过多次调查，我们仍然不知道这项技术在今天能达到什么效果。

结论:VR头显也能看见现实世界，全彩透视带来了一种新的玩法元宇宙。

目前VR设备上有视频透视和光学透视两种方案但由于成本，FOV等问题，视频透视成为主流VR头显厂商选择的解决方案如今，VR设备上的黑白视频透视技术正在升级为全彩透视技术

全彩透视技术的出现，一方面加速了产品形态的融合，打破了虚拟世界与现实世界的空间另一方面，该设备也增强了用户体验，并在游戏中开辟了更多的场景，释放了更多的生产力

Meta怎么玩全彩透视仅仅是为了宣传其新产品的功能，宣传其技术效果吗今年十月，我们可能会一窥真相

声明：本网转发此文章，旨在为读者提供更多信息资讯，所涉内容不构成投资、消费建议。文章事实如有疑问，请与有关方核实，文章观点非本网观点，仅供读者参考。