通过一篇文章了解增强现实 AR 技术

author
0 minutes, 24 seconds Read

现实增强技术_增强现实AR_现实增强技术应用/

随着信息技术的快速发展,虚拟现实、增强现实等日益普及。 虚拟现实是一个完全建立的虚拟环境,让人类脱离现有的环境,进入一个新的世界。 其广泛应用可能需要一段时间的积累。 目前,虚拟现实主要应用于科研模拟、虚拟漫游、游戏娱乐、教育培训等方面。 在其他领域发挥作用。 增强现实由虚拟现实发展而来,旨在增强人类能力,为人类提供各种辅助信息,成为人类个体与信息世界沟通的重要枢纽。 已在医疗、交通、教育培训、航空航天、通信、工业维护等领域发挥作用。 相信增强现实的大规模应用将早于虚拟现实,它可能取代智能手机,成为下一代智能计算和显示平台,将物理世界和信息世界连接得更紧密。 这里,我们主要讲一下增强现实相关的内容。

现实增强技术应用_增强现实AR_现实增强技术/

增强现实概念

增强现实(AR)技术是一种基于计算机实时计算和多传感器融合,将现实世界与虚拟信息相结合的技术。 该技术模拟并重新输出人们的视觉、听觉、嗅觉、触觉等感官,将虚拟信息叠加在真实信息上,为人们提供超越现实世界的体验。 目前被广泛接受的定义是Azume在1997年提出的。他认为AR应该具有三个特征:

我们要讨论的增强现实主要是视觉增强现实技术,其核心是虚拟信息与现实世界在物理空间的匹配和可视化。 增强现实是一个多学科的研究领域,内容复杂,选择某一点并深入下去,可以作为一个长期的研究课题。 一个完整的AR系统至少有三个部分:跟踪、注册和显示。

现实增强技术应用_现实增强技术_增强现实AR/

增强现实技术的起源

Sutherland于1968年完成了第一台头盔式显示器,堪称头盔式显示器的奠基人。 但由于当时的技术限制,该装置体积非常庞大,需要悬挂在屋顶上使用,因此被戏称为“达摩克利斯之剑”。

现实增强技术_增强现实AR_现实增强技术应用/

在20世纪70年代和80年代,许多研究人员做了相关的研究工作,但直到90年代初,“增强现实”一词才第一次诞生。 渐渐地,增强现实脱下了虚拟现实的外衣,成为一个独立的研究领域。

随着21世纪初智能手机的兴起,增强现实有了天然的发展载体,基于视频的增强现实迅速发展。 这也得益于ARToolKit、Vuforia等基于图像的跟踪定位工具的相继推出。 如下所示,使用智能手机和平板电脑作为平台的增强现实应用程序现在非常普遍。

现实增强技术_现实增强技术应用_增强现实AR/

然而,智能手机和平板电脑毕竟只是视频式的增强现实。 与光学式的增强现实相比,它仍然缺乏科技感和刺激感。 于是谷歌在2012年发布了Google Glass,为增强现实的发展注入了新的活力。 对于 AR 的发展来说,就像 Facebook 的 Oculus Rift 对于虚拟现实一样。 2014年3月26日,Facebook宣布将以约20亿美元的总价收购沉浸式虚拟现实技术公司Oculus VR。 这一事件极大地推动了虚拟现实的发展。

同样,谷歌等商业巨头也会致力于AR,这也将在AR中发挥巨大的作用。 虽然谷歌眼镜后来停产了,但它的作用却不容忽视。 此后,越来越多的公司推出了自己的光学增强现实眼镜,最著名的是微软Hololens和Maigc Leap。

增强现实AR_现实增强技术应用_现实增强技术/

增强现实研究内容细分

1、显示技术

近眼显示设备

近眼显示设备主要指头盔式显示器。 头盔式显示器主要有两种类型:光传输式头盔式显示器和视频传输式头盔式显示器。 当然,根据显示设备的数量,也可以分为单目头盔显示器和双目头盔显示器。 这里我们主要讨论光学型(左)和视频型(右)的区别。

现实增强技术应用_增强现实AR_现实增强技术/

光传输头戴式显示器直接传输外界光线,将微投影设备产生的虚像反射到人眼,达到虚实融合的效果。 优点是可以保证正确的视点和清晰的背景,但缺点是虚拟信息和真实信息的融合程度较低,人眼的标定相对复杂。 目前市场上典型的光透射式头戴式显示器有Hololens和Meta2。

增强现实AR_现实增强技术_现实增强技术应用/

视频传输头盔显示器是将固定在头盔上的摄像头拍摄的图像通过移动视点的方式显示在眼前的显示器上。 优点是虚实融合效果好,无需校准人眼。 缺点是难以将视点完全补偿到正确位置,无法与镜头范围外的环境完美衔接。 在上面加上摄像头的光学透射式头戴式显示器,直接全屏显示带有增强信息的视频,就成为了视频透射设备。 巧合的是,很多光传输设备上确实安装了这种摄像头,但它们的初衷是将摄像头用作跟踪模块。

手持式显示设备

手持式显示设备,顾名思义,就是握在手中的显示设备。 最常见的是我们的智能手机和平板电脑。 这类设备非常便携,是天然的AR设备。 它们拥有摄像头作为图像输入设备、内置处理器和显示单元,具备发展AR的一切条件。 目前市场上很多增强现实应用都是围绕此类设备开发的。

固定显示装置

台式显示器是我们日常生活中最常见的显示器类型。 添加网络摄像头,AR 任务即可启动并运行。 相机可以捕获空间图像,然后估计相机的位置和姿态,最后计算并生成虚拟信息,进行虚实融合,并输出到桌面显示器。 这类设备适合一些科研开发,但对于商业应用来说就有点麻烦了,比手机、平板电脑稍显逊色。

虚拟镜子,用摄像头对人进行拍摄,然后输出到类似镜子的大显示屏上,给人一种照镜子的感觉。 同时还可以进行虚拟装扮,或者添加一些虚拟物体来实现AR效果。

还有一些固定显示器,类似雾幕、水幕、全息膜等,在上面投射增强信息,实现AR效果。

现实增强技术_增强现实AR_现实增强技术应用/

投影显示装置

投影仪是重要的虚拟现实和增强现实设备。 最常见的基于投影的增强现实系统是展会上各种华丽的投影展品,包括虚拟地球仪、汽车表面投影等等。 此类系统属于空间增强现实系统。 此外,柱幕、球幕、环幕投影也可以归类为基于投影的空间增强现实。

投影仪还可用于构建 CAVE 系统。 手持投影仪与图像捕捉设备相结合还可以创建动态空间增强现实系统。

现实增强技术_增强现实AR_现实增强技术应用/

总结与分析

增强现实中主要的显示设备就是以上这些。 如果我们要进行显示技术的研究,从硬件的角度来说,就是指显示材料和器件的研发。 当然,这与增强现实并不高度相关。 只能说,显示设备参数的提升可以间接促进增强现实系统性能的提升。 但在显示方面,软件还是可以做一些有价值的事情,而且和增强现实的体验息息相关。 即头盔显示器的显示畸变校正和投影仪屏幕的拼接融合。 这些技术直接影响增强现实系统虚实融合的准确性和整体可用性。

许多研究增强现实技术的人专注于系统集成和应用评估,或者直接将AR系统应用到其他研究领域。 因此,这些人一般不会研究显示组件的细节,而是更关注如何利用现有材料或设备构建新的显示系统。 如果能够做出一个新的AR系统并且具有实际意义,那么也将具有很大的研究价值。

2. 追踪技术

跟踪理论会涉及一些空间坐标变换的基础知识。 以相机跟踪为例,分为模型坐标空间、世界坐标空间、相机坐标空间和图像坐标空间。 由于细节比较,这里不做讨论。 相关知识可以参考计算机视觉书籍。 这里使用不同类型的跟踪系统的示例来讨论跟踪技术。

固定跟踪系统

机械跟踪器通过控制机械臂各关节的旋转来跟踪机械臂末端的空间位置。 是一种比较老的跟踪方法,但是精度可以控制的比较高。

现实增强技术应用_增强现实AR_现实增强技术/

电磁跟踪器通过固定的发射源发射三维正交电磁场,接收端通过检测接收到的电磁场的方向和强度来确定姿态。

超声波跟踪器通过测量声脉冲从声源到传感器的飞行时间来测量距离。

移动传感器

GPS 代表全球定位系统。 该系统通常用于智能手机。 它通过接收来自多个卫星的信号来确定其当前位置。 对于户外大规模增强现实具有重要意义。

增强现实AR_现实增强技术_现实增强技术应用/

无线网络通过检测移动设备的接入点信息来粗略地确定移动设备的位置。 它可以与 GPS 一起使用。

增强现实AR_现实增强技术_现实增强技术应用/

磁力计,也称为电子罗盘,通过检测地球磁场来确定方向。

现实增强技术应用_现实增强技术_增强现实AR/

陀螺仪和线性加速度计都依靠惯性进行测量。 陀螺仪测量三个轴的角度变化,线性加速度计测量位置变化。 它们通常一起使用,并且常常以微机电系统(MEMS,Micro-Electro-Mechanical System)的形式存在。

增强现实AR_现实增强技术应用_现实增强技术/

里程表是一种测量车轮或光电编码器行驶距离的传感器,常用于机器人或车辆中。

光学跟踪技术

(1) 跟踪模式

有些跟踪需要对被跟踪的目标进行预先建模,例如一些图像跟踪工具箱。 其他则不需要提前建模,例如同时定位和跟踪(SLAM)。 大多数跟踪需要提前建立待跟踪模型的数据库,然后在运行过程中实时提取特征并与数据库中的数据进行比较。 另一方面,SLAM可以根据实时获得的特征独立构建空间地图,并确定相机相对于环境的位置。

目前最热门的研究是SLAM。 因此,可以研究SLAM中的各个环节,从跟踪、建图、环路检测等角度研究如何提高SLAM系统的精度,以及面对复杂环境时的稳定性问题。

现实增强技术_增强现实AR_现实增强技术应用/

(2) 照明类型

跟踪稳定性与环境光有关,尤其是基于视觉的跟踪。 有些跟踪系统不需要独立添加光源,而仅利用环境光,称为被动照明; 有些跟踪系统需要主动发射某种照明光来实现其跟踪,这称为主动照明。 被动照明更为常见,例如通过正常的环境照明实现平面标志跟踪。 最典型的主动照明是结构光照明,例如Kinect。 还有一个主动发射红外光的 OptiTrack 系统,非常适合姿态跟踪。

现实增强技术_增强现实AR_现实增强技术应用/

(3) 人工标志和自然地物

人工标记是指用于跟踪的人工图像标记等。 例如二维码、棋盘格等。自然特征是指自然环境本身存在的特征,而不是为了跟踪而人为放置的特征。 普通的室内环境和街道上的建筑物可以被视为自然特征。 根据不同类型的人工标志,需要特定的针对性算法进行检测和跟踪。 自然特征通常使用SIFT、SURF、ORB等特征描述符进行特征提取和跟踪。

现实增强技术_增强现实AR_现实增强技术应用/

传感器融合

互补融合:不同的传感器测量不同种类的参数,可以相互补充。

竞争性融合:不同的传感器测量同一类型的参数,它们以一定的方式组合起来,产生更好的测量结果。

协同融合:不同传感器之间存在协同关系,一个传感器可能依赖于其他传感器来获取结果。

总结与分析

笔者认为,纯粹的跟踪技术研究不仅可以服务于增强现实,还可以服务于虚拟现实,以及其他需要使用该技术的领域。 研究跟踪技术可以从多视角几何方向出发,通过几何方法估计位姿。 还可以从特征角度出发,针对具体问题设计不同的特征表达方法来解决问题。

SLAM研究人员通常会考虑如何构建更鲁棒的SLAM系统,如何对抗真实环境中的噪声,以及如何进行更好的环路检测。 也有很多人在研究 SLAM 的惯性测量单元(IMU)和视觉融合。 多传感器数据融合对于SLAM具有重要意义。

在研究基于视觉的跟踪技术时,会使用许多计算机视觉算法。 计算机视觉本身就是一个巨大的课题。 有兴趣的读者可以根据自己的兴趣选择相应的书籍进行阅读。 这里推荐两本书,一本是《计算机视觉——算法与应用》,另一本是《计算机视觉中的多视图几何》。

3. 校准和注册

跟踪、标定和配准是AR系统研究的三个核心问题。 之前我们已经讲过跟踪技术,这里将介绍校准和配准。

现实增强技术_现实增强技术应用_增强现实AR/

相机标定

(1) 内部参数标定

摄像头是基于视觉的AR系统的重要组成部分。 因此,在使用过程中必须先校准相机的内部参数。 对于普通相机,可以使用matlab自带的相机标定工具箱进行标定。 不仅可以标定相机的内参数,还可以标定镜头畸变。 工具箱采用棋盘标定方法。

现实增强技术_现实增强技术应用_增强现实AR/

(2) 校正镜头畸变

镜头畸变可分为两种:径向畸变和切向畸变。 还可以对它们进行校准以确定失真参数。 镜头畸变很常见,因此请记住在使用前进行校准。

显示器校准

(1)单点主动对准方式

对于光学透射式头盔显示器,如果要进行AR开发,就必须添加摄像头。 需要校准摄像头和头盔显示器之间的位置关系。 最常用的方法之一是单点主动对准方法(SPAAM)。 这种方法需要用户佩戴头戴式显示器,将屏幕上的一些十字线与现实世界中的物体多次对准,多次对准需要通过转动头部来完成。 获取数据后,构建方程组,通过DLT方法求解投影矩阵。

现实增强技术_现实增强技术应用_增强现实AR/

(2) 使用瞄准转置

此方法需要将瞄准装置与显示器上的十字准线对齐,而不是使用 SPAAM 中使用的静态校准点。 该瞄准设备通常作为 AR 设备的一部分包含在内,并包含一个触发器以确认对齐已完成。 瞄准装置的一个优点是用户不再需要移动头部来实现对准,而是可以通过移动手臂来实现。

登记

跟踪系统进行测量时,会存在测量误差,导致位置估计不准确。 此错误可能会导致注册的虚拟对象和真实对象之间不匹配。 因此,每一步都必须严格控制错误,不允许错误在后续环节蔓延。

光传输增强现实还有一个非常重要的问题,那就是延迟。 由于真实的环境背景直接传输到人眼中,因此可以认为是零延迟。 但虚拟信息是通过摄像头捕捉环境,建立跟踪注册信息,然后渲染输出到头盔显示器上。 与头部运动相比,该循环的处理时间导致虚拟信息的渲染被延迟。 更有效的方法是基于视觉跟踪添加高响应IMU来补偿这种延迟。 头部的快速运动可以根据 IMU 的反馈来渲染图像。

总结与分析

相机标定本身已经是一个非常成熟的领域,除非有新的相机类型推出。 光学透射式头盔显示器的校准也比较成熟,但仍存在问题。 例如,校准过程复杂并且在不同用户之间通用性低。 因此,可以根据人眼与HMD的特殊性,研究提高标定效果的方法。 此外,还可以考虑减少延迟,例如视觉-IMU融合。 这种方法已成功应用于 Hololens 上。 除了使用视觉-IMU融合之外,应该还有其他方法来减少延迟,这些都是值得研究的领域。

4.视觉一致性

几何一致性

增强现实系统呈现的效果应该是虚拟与现实的高度融合,让人很难区分什么是虚拟,什么是真实。 高度集成体现在虚拟物体被放置在正确的位置,不会与真实物体发生错误重叠。 几何一致性还要求随着时间的推移几何一致性。 例如,在光学透射式头戴式显示器中,快速的头部运动会导致虚拟图像的渲染滞后于真实环境,从而导致图像滞后。 这违反了几何一致性要求。

另外,虚实遮挡也应保持一致。 有时,虚拟对象应该渲染在空间中真实对象的后面。 但默认情况下,虚拟物体总是会挡在真实物体前面。 因此,必须使用额外的传感器来检测真实物体的空间位置,然后决定应该遮挡哪些虚拟图像。

也有一些研究人员研究了增强现实头戴式显示器的深度感知一致性。 他们分析了使用双目头盔显示器看到的虚拟物体和真实物体之间的深度感知一致性。

增强现实AR_现实增强技术应用_现实增强技术/

照明一致性

虚拟世界中的光通常被认为是一个集合,但现实世界中的光却非常复杂。 因此,关注渲染的虚拟物体如何保持与真实环境的光照效果一致也很重要。 如果光照效果不一致,特别是阴影的渲染不一致,就会导致非常糟糕的结果。 解决这个问题的方法就是通过某种方式获取真实环境中的光源分布,然后在虚拟世界中模拟这种光照效果。

现实增强技术_现实增强技术应用_增强现实AR/

总结与分析

视觉一致性分析实际上主要评估增强现实系统的性能。 一旦涉及到用户研究,就有很多值得研究的地方。 例如,研究AR系统的几何一致性对用户使用头盔效率的影响,以及图像呈现与环境的关系。 尤其是对于照明研究来说,自然光非常复杂,完全模拟自然光是非常困难的。 所以这一点还是有很多值得研究的地方的。

5、交互技术

交互可能听起来很奇怪和抽象,但这确实是一个非常常见的过程。 比如我们日常使用的鼠标和键盘就是与电脑进行交互。 人机交互是人与机器之间进行信息交流的过程。 根据交互方式的不同,增强现实中的人机交互技术可以分为多种类型,下面一一介绍。

设备交互

传统互动是公众最熟悉的。 鼠标和键盘几十年的发展已经证明这种人机交互方式是非常有效的。 但对于增强现实应用来说,这并不一定是最好的结果。 一些在虚拟现实中广泛使用的设备,比如数据手套、力反馈设备、数据衣服等,也可以用在增强现实中,但是添加这些设备后,环境会明显感觉不协调,这有一个负面的影响。对增强现实应用的影响。 影响。

增强现实AR_现实增强技术应用_现实增强技术/

身体互动

随着Kinect等设备的推出,身体交互已广泛应用于投影增强现实。 肢体互动不仅解放了双手,还促进了全身的平衡运动,可以理解为一种非常健康、时尚的互动方式。 因此,身体交互在游戏娱乐领域得到了广泛的应用。

增强现实AR_现实增强技术应用_现实增强技术/

手势交互

很多桌面级应用程序也可以选择手势交互作为交互方式。 手势交互依赖于手势检测设备。 现有的手势检测设备包括Leap Motion和RealSense。 此类设备极大地促进了手势在人机交互中的推广。

增强现实AR_现实增强技术_现实增强技术应用/

语音交互

随着人工智能技术的发展,语音识别的准确性和效率显着提高。 因此,语音交互也变得越来越普遍。

现实增强技术_增强现实AR_现实增强技术应用/

触摸交互

触摸交互适用于专门的触摸设备。 事实上,触摸交互发展得比较早。 大多数智能手机都有手势触摸屏,一些智能眼镜的镜框上也有触摸区域。

现实增强技术应用_现实增强技术_增强现实AR/

眼动交互

人机交互还可以通过成像设备捕捉人眼运动来实现。 不过这种方法只适合非常特殊的情况,长时间的眼动交互会很累。

现实增强技术应用_现实增强技术_增强现实AR/

脑机接口

最新的人机交互方式是脑机接口。 它读取人脑的活动以产生控制信号来控制外部设备。 目前只能实现比较初级的控制,距离全面解读人脑的思维信息还有很长的路要走。

现实增强技术应用_增强现实AR_现实增强技术/

总结与分析

人机交互是一个非常大的研究领域,增强现实涉及的人机交互技术有很多。 我们可以对某种交互形式进行研究,无论是建立人机交互界面还是评估交互性能,都是一个很好的起点。 相信很多读者都会对搭建自己的人机交互系统感兴趣。

6. 可视化

增强现实中的可视化主要是对场景中的物体进行标记和解释。 注释和解释的合理性和正确性需要仔细探讨。 一个场景中可能有很多东西可以标记,数据库中有很多信息可以呈现。 但如果不选择全部显示,仍然会出现数据冗余和屏幕混乱的情况。 因此,需要对数据进行筛选,考虑两个方面:一是标注的合理性; 二是数据推送的智能化。

增强现实AR_现实增强技术_现实增强技术应用/

七、典型应用方式

创建

增强现实可以用来创作短篇故事,利用这项技术,你可以充分发挥你的想象力,建造自己的物体、房间甚至城市。

现实增强技术应用_现实增强技术_增强现实AR/

导航

增强现实技术可以应用于导航。 虚拟导航信息叠加在真实道路信息上,甚至可以将信息投射到汽车玻璃上,为用户提供最大程度的便利。

增强现实AR_现实增强技术_现实增强技术应用/

合作

增强现实技术可以为多个用户创建统一的协作平台,构建虚拟的共享空间。 多个用户,无论是否位于同一位置,都可以通过增强现实共享资源和信息。

现实增强技术_现实增强技术应用_增强现实AR/

增强现实、虚拟现实和混合现实之间的关系

根据系统中虚拟和现实的比例,系统可以分为四类:真实现实、增强现实、增强虚拟和虚拟现实。 增强现实和增强虚拟可以统称为混合现实。

增强现实AR_现实增强技术应用_现实增强技术/

从上图可以看出,橙色代表虚拟组件,蓝色代表真实组件。 当只有现实世界的信息时,就属于纯粹的真实现实,典型的就是我们带拍照功能的手机,以及我们佩戴的普通眼镜。 当系统中同时存在真实信息和虚拟信息时,称为混合现实。 此时,如果虚拟信息服务于现实世界,且数量较少,起次要作用,则归类为增强现实,典型的系统是手机导航系统; 如果虚拟信息是主体,真实信息为虚拟信息服务的话,那就叫增强虚拟。 最后,如果信息都是虚拟的,那就是虚拟现实,典型的系统就是各种虚拟现实游戏。

增强现实技术应用领域

增强现实技术的应用领域:

增强现实技术展望

增强现实已经存在了几十年,但尚未达到顶峰。 增强现实的推广还必须依靠几个领域的进展:

预计五到十年后,增强现实将取得重大进展。 各大科技巨头也将重点关注这一新兴领域,这将极大推动行业的发展。 增强现实技术、虚拟现实技术、人工智能技术将紧密结合,形成下一代技术革命的起点,极大地变革人类的生活方式和生产方式。 也许十年、二十年后,增强现实设备将彻底取代智能手机,成为下一代智能计算平台、社交平台和支付平台,引领人类进入新的发展阶段。

随着生产力的飞速发展,增强现实的日子已经不远了——然而,当所有的想法都实现,我们进入“增强现实”时代时,等待我们的下一个奇迹会是什么?

参考

Augmented Reality – Principles and Practice by Dieter Schmalstieg, Tobias Hollerer.

增强现实AR_现实增强技术_现实增强技术应用/

Similar Posts