摘要：说起增强现实(AR)，它意味着什么？相机跟踪、深度通道遮挡、锚定、密集点云重建、变换矩阵、3D建模、动画、灯光、渲染是很多AR开发人员所熟悉的，但这些都是技术、是高科技。任何技术的归宿，要么是没用而消失，要么是有用而“消失”，前者好理解，后...
说起增强现实(AR)，它意味着什么？
相机跟踪、深度通道遮挡、锚定、密集点云重建、变换矩阵、3D建模、动画、灯光、渲染是很多AR开发人员所熟悉的，但这些都是技术、是高科技。任何技术的归宿，要么是没用而消失，要么是有用而“消失”，前者好理解，后者就是高科技普及应用后变成普通的技术，甚至人们天天使用而感觉不到它的存在。远的有电力，一百多年前的高科技；近的有手机触屏操作，有多近？十几年前苹果手机才开始将触屏操作推向普及应用，你还能听见乔布斯第一次在手机上演示手指缩放照片时现场观众的欢呼声吗？
触屏操作开始普及
它们都是曾经的高科技，但现在电力已经是基础设施，触屏操作也已经变成智能手机的标准功能，随时使用、足够方便、足够便宜，消失融入进我们的生活和工作中。
那么增强现实(AR)技术是不是会走同样的道路呢？通往终点的赛道上还存在着什么障碍？我们一起来看一看。
AR
我在过去的十多年先后从事的工作都跟AR的应用相关，尤其最近五年AR更是主要工作内容。下面我主要从用户的角度对增强现实体验应该是什么样子形成了一定的愿景。在这篇文章中，我想和你分享我对这个话题的一些想法。
我坚信，世界上没有一家建立自己的AR 生态系统的公司能够坚定且清楚地了解 8 到 10 年后的增强现实会是什么样子，中间会发生什么。这并不奇怪，因为最终结果还能猜到一点，但导致最终结果的相关事件的发生顺序却不可能预测。下面是关注AR发展的人需要注意的内容，预计2030年之前会有一个全球性的AR生态系统产生。
尽管苹果、微软、谷歌和 PTC 在过去几年中做了大量工作，但增强现实行业仍处于起步阶段。 效果良好的高分辨AR眼镜的发布有助于AR行业在发展中取得切实的飞跃。同时，眼镜必须具有良好的性能、较长的电池续航时间和具有吸引力的新民价格。带有蓝牙的IMU 控制器的种类应该更丰富 - 戒指、手镯、手套、操纵杆、能够粘贴在皮肤上的传感器等。
AR硬件
普通用户并不关心模型有多少个数量的多边形，也不关心它的纹理分辨率。用户只想在AR应用中感受3D场景的震撼效果。为了实现这样的用户体验，AR技术工程师需要摆脱现在行业推荐的限制：100,000 个多边形和 2K 纹理。很明显，这种情况的实施将需要半导体制造的技术突破—台积电3纳米级处理器开始走向量产，下一步呢？向更精密皮米单位等级过渡、碳纳米管芯片还是别的什么。 此外，采用高容量石墨烯电池是任何AR眼镜制造商的首要任务，因为续航是AR眼镜最大的痛，充电五分钟，使用两小时是OK的，但如果是充电两小时，使用五分钟，用户会疯掉。
新硬件发展
针对上面一项中提到的模型面数和纹理分辨率的限制，随着人们对沉浸感、画面品质、分辨率、刷新率的更高要求以实现更好的体验，实时高品质的渲染能力已经成为软件和硬件厂商的追求目标。提供显卡和人工智能算法的英伟达和游戏引擎厂商Epic公司紧密合作推出游戏引擎虚幻5、协同创作平台Ominverse整合软硬件能力可以提供革命性实时渲染能力，可以将影视级数以亿计面数的高模模型加载并进行实时全局光照效果的渲染，目前还是主要应用在PC端，假以时日将技术推广到移动端的手机和眼镜上，本地硬件端复杂模型的实时渲染能力也会大大提高。
海量面数的高模
实时光照渲染效果
对于更巨大的三维场景模型，比如城市级数字孪生，对应的模型和地图数据量更大，依赖本地设备根本无法加载和渲染，需要寻找新的出路。由于5G高速移动互联网的广泛采用，AR开发人员将能够在设备外渲染AR内容。在几台功能强大的远程计算机上渲染带有光线跟踪阴影的包含大量数量多边形的模型，然后通过互联网传输结果帧，这似乎是非常合乎逻辑的，这可以让现在本地端设备所承载的计算密集型任务大大减少，从而让设备更轻、更小，待机时间也更长。如果5G网络用户将能够观看 8K、120 fps、10-bit 彩色视频流，很好的事，不是吗？
实时云渲染
关于基于云的重新定位已经说了很多，许多初创公司现在已经准备好提出自己的解决方案。但是，如果主要的 AR 市场参与者提供开箱即用的工具，可以在一个多会话中组合根本不同的场景（基于 ARKit、ARCore、MRTK 或 Vuforia），那就太好了。基本上，这意味着每个专有AR开发框架的世界锚点应该可以互换，具备互操作性。除此之外，基于地理位置的锚点必须能够在任何地方工作，不仅在大都市的中心街道上；将两个相邻位置的 AR 世界地图结合起来，应该就像说“123”一样简单。
更大范围的AR
在2022年1月，iToF和dToF移动激光传感器的工作距离还在5米以内。未来需要将最大工作距离至少增加两倍，将显著扩大重建场景的边界，将对提高深度通道的质量做出重大贡献。同时，高质量深度通道的集成使任何AR开发框架都能够以尽可能高的精度将虚拟对象与现实世界对象分离和结合非常重要。
苹果手机上的激光雷达
IPad Pro上的激光雷达
实时空间映射
现代 3D 引擎不擅长渲染 1000 米以外的虚拟模型。在距相机相当远的地方，模型会被渲染为伪影。正如您可能猜到的那样，光线投射方法也受到该距离的限制。工程师将不得不解决用户如何在距离设备 5 公里处放置高质量摩天大楼模型的问题。
3D引擎中远景模型处理是难题
AR 中最严重的问题之一是随着距离累积的跟踪误差：用户移动的距离越远，AR世界地图的准确性就越低。卫星互联网提供商很有可能会帮助我们修正我们的AR世界地图。
跟踪误差与卫星网络
你有没有想过：AR最重要的是什么？答案是显而易见的，是内容。 内容创建者不得不从头开始制作适用于AR的包含大量动画的3D 模型库。当然，对于许多开发者来说，通过摄影测量、激光扫描相机的方式创建三维模型的方法已经得到普及，可以部分降低建模成本——然而，这种方法只能解决场景模型外观的问题，模型内部结构没有办法处理，静态模型需要活起来，制作动画等还是需要采用人工建模的方式解决。
问题是：并非每家公司的员工中都有专业的角色动画师，而外包给第三方成本高昂，后续的内容运营维护无法解决和持续，形成一个无法应用推广的死局。以前只有专业的人员才能拍照片、制作视频，现在智能手机普及后已经进入全民拍照、全民视频、直播的时代，在这种情况下，如何降低AR体验内容的制作门槛是未来一个至关重要的问题，新的能够降低制作成本的方法会产生，比如实时录制骨骼动画的能力、苹果公司提供的基于拍照3D建模等。
降低模型制作成本
元宇宙和扎克伯格的想法都没有让我兴奋。我希望增强现实能够在人们的生活中帮助他们，而不是让他们上瘾，我们需要游戏，但世界不能全是游戏。但是AR技术可以作为人类连接真实物理世界与虚拟数字世界的入口，相信诸多对元宇宙有愿景的巨头也会AR软硬件领域加大投入，有助于AR的普及应用。
扎克伯格的元宇宙
今天，AR还有很多弱点和不足——跟踪不稳定、光估计不完善、物理引擎不符合实际、不支持材料折射。但与未来 AR 的潜力相比，所有这些缺点都是微不足道的。就像婴儿时期的人类，怎么看都是缺点，不会说话、只会哭、不会走、不会跑、需要吃奶、吃饭要人喂等，如果这时就放弃，那么过往光辉灿烂的人类历史也就不存在了。想象一下司机和行人、医生和餐馆老板、建筑师和设计师、水管工和电工、游戏玩家和教育工作者的未来可能性……，一切都是值得的！
我们生活在一个美好的变革时代。
对于增强现实(AR)的发展，你有什么想法或建议？欢迎在评论区讨论。
更多AR相关文章：
AR和VR当前面临的技术挑战和未来展望
什么是增强现实(AR)与虚拟现实(VR)？它们是通往元宇宙的入口吗？
距离AR普及应用还有多远？关于增强现实的几点思考
北京冬奥会闭幕式上的数字AR中国结技术实现解析
空战中飞行员如何瞄准目标？谈谈AR头盔的应用
AR和IoT之间是什么关系？相爱相杀？相辅相成？
增强现实(AR)为什么可以无中生有？看一看魔镜背后发生的事情
