AR增强现实技术完整解读AR增强现实系统组成技术支持及常用表达方式

author
0 minutes, 45 seconds Read

用户感知现实世界的新技术。 一般认为,AR技术的出现起源于虚拟现实技术(Virtual Reality,简称VR)的发展,但两者之间存在着明显的区别。 传统VR技术给用户带来完全沉浸在虚拟世界中的效果,创造出另一个世界; AR技术将计算机带入用户的现实世界,通过听、看、触摸、闻来增强虚拟信息。 对现实世界的感知实现了从“人适应机器”到“技术以人为本”的转变。

 

AR增强现实技术全解读:AR增强现实系统组成、技术支撑与常见的表现方式/

AR技术原理

AR从技术手段和表现形式上可以清晰地大致分为两类。 一种是Vision based AR,即基于计算机视觉的AR,另一种是LBS basedAR,即基于地理位置信息的AR。

基于视觉的增强现实

基于计算机视觉的AR利用计算机视觉的方法在现实世界和屏幕之间建立映射关系,使我们想要绘制的图形或3D模型可以像附着在真实物体上一样显示在屏幕上。 这种呢绒布是怎么做的呢? 本质上就是在真实场景中找到一个附着平面,然后将这个3D场景中的平面映射到我们的2D屏幕上,然后在这个平面上绘制出你想要显示的图形。 从技术实现方法上可以分为2类:

1. 基于标记的 AR

这种实现方法需要预先制作好Marker(例如:画出一定形状的模板卡片或者二维码),然后将Marker放置在现实中的某个位置,相当于在真实场景中确定了一个平面。 ,然后通过相机对Marker进行识别和摆姿(Pose Estimation),并确定其位置,然后以Marker中心为原点的坐标系称为Marker Coords,即模板坐标系。 我们要做的其实就是通过一个变换建立模板坐标系和屏幕坐标系之间的映射关系,这样我们根据这个变换在屏幕上绘制的图形就可以达到图形附着在模板上的效果了标记。 了解其原理需要一点 3D 射影几何知识。 从模板坐标系转换到真实屏幕坐标系,需要先旋转和平移到相机坐标系(Camera Coords),然后再从相机坐标系映射到屏幕坐标系。

AR增强现实技术全解读:AR增强现实系统组成、技术支撑与常见的表现方式/

在实际编码中,所有这些变换都是一个矩阵。 在线性代数中,矩阵表示变换。 矩阵与坐标的左乘是线性变换(对于平移等非线性变换,可以使用齐次坐标来进行矩阵运算)。 公式如下:

AR增强现实技术全解读:AR增强现实系统组成、技术支撑与常见的表现方式/

矩阵C的学名是相机内参数矩阵,矩阵Tm称为相机外参数矩阵。 内参数矩阵需要提前进行相机标定,而外参数矩阵是未知的,需要根据屏幕坐标(xc,yc)提前定义并使用良好的Marker坐标系和内参数矩阵来估计Tm ,然后在绘制图形时根据Tm进行绘制(初始估计的Tm不够准确,需要使用非线性最小二乘进行迭代优化)。 例如,使用OpenGL绘图时要以GL_MODELVIEW模式加载Tm矩阵进行图形显示。

2. 无标记 AR

基本原理与基于Marker的AR相同,但它可以使用任何具有足够特征点的物体(例如书的封面)作为平面参考,而不需要提前制作特殊的模板,将其从模板对 AR 应用的限制。 其原理是通过一系列算法(如SURF、ORB、FERN等)从模板对象中提取特征点,并记录或学习这些特征点。 当摄像头扫描周围场景时,会提取周围场景的特征点,并将其与记录的模板对象的特征点进行比较。 如果扫描到的特征点与模板特征点匹配的特征点数量超过阈值,则认为模板已经扫描完毕,然后根据对应的特征点坐标估计Tm矩阵,然后根据关于 Tm(该方法类似于基于标记的 AR)。

基于LBS的AR

基本原理是通过GPS获取用户的地理位置,然后从一定的数据源(如wiki、google)等获取该位置附近物体(如周边的餐馆、银行、学校等)的POI信息.,然后利用移动设备的电子罗盘和加速度传感器获取用户手持设备的方向和倾斜角度,并利用这些信息建立目标物体在真实场景中的平面基准(相当于一个标记) 。 坐标变换和显示的原理与Marker-Based AR类似。

AR增强现实技术全解读:AR增强现实系统组成、技术支撑与常见的表现方式/

这种AR技术是利用设备的GPS功能和传感器来实现的,消除了应用程序对Marker的依赖。 用户体验比Marker-Based AR更好,而且由于不需要实时识别Marker姿势并计算特征点,因此性能也更好。 与Marker-Based AR和Marker-Less AR相比,LBS-Based AR相比Marker-Based AR和Marker-Less AR可以更好地应用于移动设备。

AR增强现实系统组件

基于监控的系统

在基于计算机显示器的AR实现中,摄像头捕捉到的现实世界图像被输入计算机,与计算机图形系统生成的虚拟场景合成,并输出到屏幕显示,用户看到的是最终增强的效果。屏幕上的场景。 虽然它并没有给用户带来太多的沉浸感,但却是最简单易用的 AR 实现方案。 由于该解决方案的硬件要求非常低,因此被实验室中的AR系统研究人员广泛使用。

AR增强现实技术全解读:AR增强现实系统组成、技术支撑与常见的表现方式/

视频透视系统

头戴式显示器(HMD)广泛应用于虚拟现实系统中,以增强用户的视觉沉浸感。 增强现实技术的研究人员也采用了类似的显示技术,这就是AR中广泛使用的透射式HMD。 根据具体实现原理分为两类:基于视频合成技术的视频透视HMD和基于光学原理的光学透视HMD。

光学透视系统

在上述两个系统实现方案中,输入计算机的信息有两个通道,一个是计算机生成的虚拟信息通道,另一个是来自摄像机的真实场景通道。 后者用于光学透视HMD实施方案。 真实场景的图像经过一定量的减光处理后直接进入人眼,而虚拟通道的信息经过投影反射后进入人眼。 两者都是光学合成方法。

三种系统结构性能对比

三种AR显示技术实现策略在性能方面各有优缺点。 在基于监视器和视频透视显示技术的AR实现中,通过摄像头获取真实场景的图像,并在计算机中将虚拟图像和真实图像结合并输出。 整个过程中不可避免地存在一定的系统延迟,这是动态AR应用中虚实配准错误的一个主要原因。 但此时,由于用户的视觉完全处于计算机的控制之下,因此这个系统延迟可以通过计算机内部虚实通道的协调来补偿。 基于光学透视显示技术的AR实现中,真实场景的视频图像传输是实时的,不受计算机控制。 因此,无法通过控制视频显示速率来补偿系统延迟。

此外,在基于监视器和视频透视显示技术的AR实现中,可以利用计算机分析输入的视频图像并从真实场景的图像信息中提取跟踪信息(参考点或图像特征),从而辅助动态AR的虚拟和现实场景的配准过程。 在基于光学透视显示技术的AR实现中,唯一可以用来辅助虚实配准的信息就是头盔上的位置传感器。

AR增强现实技术支持

识别与追踪技术

在实现增强现实的过程中,需要对真实场景和信息进行分析,生成虚拟事物信息。 这两个步骤可能看起来很简单。 事实上,在实际过程中,需要将摄像头获取的真实场景的视频流转换为数字图像,然后通过图像处理技术来识别预设的标记。

识别出地标后,以地标为参考,结合定位技术,增强现实程序确定增强现实环境中需要添加的三维虚拟物体的位置和方向,并确定方向的数字模板。 将标记中的识别符号与预设的数字模板图像进行匹配,确定需要添加的三维虚拟物体的基本信息。 生成虚拟对象并使用程序根据识别的对象的位置将虚拟对象放置在正确的位置。 所涉及的识别、跟踪和定位问题是增强现实中最大的问题之一。

要实现虚拟与现实事物的完美结合,就需要确定虚拟物体在现实环境中的准确位置和方向,否则增强现实的效果将大打折扣。 在真实环境中,由于真实环境的不完善性,或者说是复杂性,增强现实系统在这种环境中的效果远远不如在实验室的理想环境中。 由于现实环境中存在遮挡、焦点缺失、光照不均、物体运动过多等问题,增强现实的跟踪定位系统提出了挑战。

如果不考虑与增强现实交互的设备,实现跟踪定位的方式主要有两种:

图像检测方法

利用模式识别技术(包括模板匹配、边缘检测等)识别获得的数字图像中预设的标记、参考点和轮廓,然后根据其偏移距离和偏转角度计算变换矩阵,从而确定虚拟物体的位置。位置和方向。

这种跟踪定位的方法不需要其他设备,且精确度很高,因此是增强现实技术中最常见的定位方法。 在模板匹配过程中,系统会预先存储多个模板来匹配图像中检测到的标记来计算定位。 简单的模板匹配可以提高图像检测的效率,从而保证增强现实的实时性。 通过计算图像中标记的偏移和偏转,还可以实现三维虚拟物体的全方位观察。 模板匹配一般用于对应特定的三维成像。 该设备扫描特定图像,并将这些图像中的特殊标志与预先存储的模板进行匹配,以呈现三维虚拟模型。 例如,汽车商店的汽车模型卡和玩具公司的角色卡都可以使用模板匹配来增强现实。 边缘检测可以检测人体的某些部位,还可以跟踪这些部位的运动,并将其与虚拟物体无缝融合。 例如,如果真手举起虚拟物体,摄像头可以通过跟踪用户手的轮廓和运动来调整虚拟物体的位置。 因此,很多商场对于实际的虚拟商品都采用边缘检测。

模式检测方法虽然简单、高效,但也有其缺点。 图像检测多用于相对理想的环境和近距离环境,这样得到的视频流和图像信息会清晰且易于进行定位计算。 而如果在室外环境中,光线的亮度、物体的遮挡以及对焦问题使得增强现实系统无法很好地识别图像中的地标,或者出现与地标相似的图像,这都会影响增强现实的效果。 这时就需要其他跟踪定位方法的辅助。

全球定位系统法

该方法基于详细的GPS信息来跟踪和确定用户的地理位置信息。 当用户在真实环境中行走时,可以使用该定位信息和用户相机的方向误差。 增强现实系统可以将虚拟信息和虚拟物体准确地放置在环境和周围的人身上。 目前,由于智能设备的普及和智能手机的广泛使用,并且由于智能手机具有支持基于GPS定位方式的增强现实系统的基本组件:摄像头、显示器、GPS功能、信息处理器、数字指南针等.,并且它们融为一体,所以这种跟踪定位方式大多用在此类智能移动设备上。 一个称为增强现实浏览器的应用程序主要使用这种方法。 增强现实浏览器可以运行在智能手机上,连接到互联网,搜索相关信息,然后让用户在真实环境中看到相关信息。 增强现实浏览器可以让用户了解摄像头方向上的几乎任何事物的信息,例如寻找附近但被遮挡的餐厅,或者获取用户对咖啡馆的评论。

该定位方法适用于室外跟踪定位,可以克服光照等不确定因素的影响,重点研究室外环境下的图像检测方法。

事实上,在实际使用增强现实系统的环境中,往往不会采用单一的定位方法进行定向和定位。 例如,增强现实浏览器还将使用图像检测方法来检测某些符号,例如 QR 码。 识别二维码并进行模板匹配后,即可向用户提供信息。

真正的技术

目前的增强现实主要有以下三种显示技术: 1、移动手持显示。 2、视频空间显示和空间增强显示。 3.可穿戴显示。

智能手机进行实时取景,并通过相应的软件显示叠加的数字图像,这就是移动手持显示器的一般工作方式。 与此同时,平板电脑不断增加功能,并且拥有比智能手机更大的屏幕,这也是它们越来越受欢迎的原因。

手持增强现实标记,通过网络摄像头在食物橱窗或监视器上显示虚拟叠加图像,是一种视频空间显示方法。 具有增强现实功能的贺卡就是这样显示的。 用户收到贺卡后,登录相应的网站系统,将网络摄像头对准贺卡,用户就可以从显示屏上获取贺卡中存储的信息形成的虚拟物体和视频。 空间增强显示技术利用包括全息投影在内的视频投影技术,在真实环境中直接显示虚拟数字信息。 该技术的系统不同于一般的增强现实系统,只适合个人使用。 相反,它可以将增强现实与周围环境结合起来,并且不限于单个用户。 这项技术适用于大学或图书馆,可以同时向一群人提供增强现实信息。 控制组件还可以投影到相应的实体模型上,方便工程师交互操作。

可穿戴显示器是一种类似眼镜的头盔式显示器,可以戴在用户的头上。 我们熟悉并期待的Google Glass正式属于这种类型。 可穿戴显示器一般具有内置两个镜头和半透明镜子的小型显示器,广泛应用于飞行模拟、工程设计、教育培训等多个领域。 头戴式设备可以让用户更自然地体验增强现实,并且可以为用户提供更大的视野,给用户带来更强烈、更真实的“身临其境”的感觉。

互动技术

最基本的增强现实人机交互就是让用户查看虚拟数据。此外,还有一些交互技术

触觉界面交互

通过数字信息提供物理触摸,进一步实现虚拟与现实的结合。 例如,可触摸的虚拟光球和可以在虚拟碗上画画的幻影笔。

协作界面交互

使用多个显示器支持远程共享和交互或同地协作活动。 这种交互可以与各种应用软件集成,并且可以在医疗领域用于执行诊断和外科手术,或修复设备。

混合界面交互

组合多个不同但互补的界面使用户能够以多种方式与增强现实内容进行交互。 这种交互使得增强现实交互更加灵活,可用于测试数字模型。

多模态界面交互

通过自然发生的语言和行为形式,如说话、触摸、自然手势、目光等,与真实物体进行交互。多模态交互允许用户灵活组合多种模态,使用户更方便地与增强现实系统进行交互。

AR技术的常见表达

基本3D模型

3D模型(静态或动态)是AR技术最基本的展示形式,如动画人物、建筑、展品、家具等。目前国内AR行业处于早期发展阶段,3D模型表现形式主要是用于 AR 主要移动应用产品。 这种变现方式虽然是最基本的,但也是应用场景最广、开发成本最低、市场知名度最好的产品。

视频

与简单的3D模型相比,炫酷的视频展示无疑更引人注目。 在商业运营中,这种展示方式会带来更好的经济效益。 例如,普通的产品安装说明、菜单说明、宣传单张介绍等,一旦应用AR技术,就不再是平面,而是显示三维图像,表情变得准确、生动。 有一种神奇的感觉。 在类似的场景应用中,AR技术有着巨大的市场探索和拓展空间。 在这里,需要提醒大家的是,利用AR技术来实现视频播放并不困难。 困难的是制作适合AR场景播放的宣传视频,需要大家发挥想象力和精心的工匠精神。

透明视频

第一次看到的时候,感觉更像是使用超高清3D人物模型,但严格来说,这是经过特殊处理的透明视频显示的效果。 这类视频没有3D模型的高成本,但却具有逼真的演绎效果。 如果在大型海报、宣传册、商场活动等场景中设计得好,将会有超级棒的效果。

场景展示

这并不是简单地把 3D 模型一一添加就完成了。 虽然场景显示类似于基本3D模型的叠加,但实现起来却比单一3D模型复杂得多。 场景包含更多,适用范围更广。 例如娱乐、立体阅读、游戏等应用都会需要场景呈现。 当然,这样的场景构建需要内容的支撑。 AR的场景展示与VR构建的全场景不同。 AR的场景展示立足于现实,与现实交织。 这就是 AR 技术的迷人之处。

增强现实游戏

AR技术也给游戏方式带来了巨大的创新。 目前,像《Pokemon Go》、《小龙斯派罗》、《梦幻新英雄卡牌》等游戏都是非常不错的AR游戏。 想象一下,未来的游戏不再需要复杂的场景建模,而是在现实世界中进行。 同时,很多虚拟的事物也可以出现在现实世界中。 这是多么棒的经历啊! 游戏还可以摆脱场地和空间的限制,随时随地都可以开始。

VR组合

AR和VR技术共同丰富了我们的现实世界。 AR技术旨在增强我们生活的世界的内容,而VR技术则将我们的注意力从现实转移到虚拟空间。 如果AR和VR结合起来,相信会有更好的体验。 比如VR设备+AR显示屏,你不再需要导游或解说员。 有了VR,AR反馈的增强信息就会实时出现。 在您关注的对象旁边,它会告诉您它是什么,甚至有关它的详细信息。 未来,这样的结合还可以体现在导航、医疗等领域。

大屏互动

大屏交互是AR技术显示的延伸,其表现效果也非常令人惊喜。 主要应用于商场、博物馆、体验馆、大型活动(演唱会)等。大屏互动,简单来说就是AR技术加投影,营造出更加真实、震撼的场景和氛围。

AR增强现实的应用领域

如今,增强现实的用途非常广泛。 接下来我们将介绍一些有代表性的领域。

体育娱乐和游戏

增强现实的发展对娱乐行业产生了很大的影响。 增强现实产生的三维虚拟事物可以增强我们的娱乐体验,将各种娱乐变成当今最前沿的科技体验。

增强现实目前普遍用于体育赛事的电视转播。 例如,在电视转播的美式橄榄球比赛中,可以获取真实的场地和比赛场上的球员,可以添加虚拟黄线来代表第一进攻线,并且可以将虚拟黄线融入到第一进攻线中。通过增强现实技术的真实场景。 在游泳比赛的电视转播中,常常会在水道之间添加一些虚拟线条,以显示运动员在当前比赛中的位置; 而比赛结束时的标志也可以清晰地显示运动员的排名和成绩。 这些增强现实技术在体育转播中的应用,可以给观众带来更清晰的视角、更全面的三维分析、更好的赛事体验。

游戏行业是一个全球性的行业,增强现实技术无论如何也一定会被游戏行业所应用。 索尼的新游戏平台PS Vita就是其中之一。 该移动社交网络平台具有增强现实功能,允许玩家无论身在何处,都可以使用当前环境开始游戏,以获得更身临其境的游戏体验。 微软的Kinect可以根据用户信息添加虚拟物体,实现模拟面具、大头娃娃等效果。

此外,增强现实对三维会议、社交网络、影视、旅游等的影响也逐渐加大。 互动电视、互动电影、实时翻译、方向提示等技术的应用也极大地丰富了人们的生活。 生活。

教育

近年来,教育支出持续上升,教育持续受到社会关注。 然而,由于一些限制,某些位置被封锁,无法通过其他方式访问,例如运行引擎。 增强现实技术可以让我们更清楚地了解这些区域的内部状况。 同时,增强现实还可以通过多种方式为学习增加新的维度,例如通过增强现实识别环境中的物体并尝试用正在学习的语言描述它们来练习外语。 可见,增强现实影响和改善教育的潜力是巨大的。

增强现实通过三维图形或动画、音频或视觉信息等增强特定内容,实现增强现实图书,可以为平面纸质图书乃至纸质图书注入新的活力。 还可以创建沉浸式、游戏式的学习环境,让多人实现协作学习。

维修和保养

由哥伦比亚大学的 Steve Henderson 和 Steven Feiner 编写的增强现实维护修复(ARMAR)程序是增强现实在该领域的著名应用示例。 ARMAR科技的计算机图形定位在需要维护的真实设备上,从而提高机械维护工作的效率、安全性和准确性。 增强现实辅助维修技术可以让工程师尽快确定故障位置并开始维修工作,大大减少工作消耗的时间。

此外,数字用户指南手册采用增强现实技术,在真实设备上显示手册的文本和叠加,并提供分布式指令,使指南手册易于理解。

药品

增强现实在医学中的应用是最令人兴奋的。 尽管医生和外科专家精通使用现代医疗设备,但他们只能用肉眼检查病人。 虽然核磁共振或X射线可以产生身体内部的图像,但这些并不是人们可以直接看到的东西。 增强现实技术的应用可以为医生提供类似于X射线视觉的患者身体图像,并且是彩色的全光谱图像,而不仅仅是黑白图像。

增强现实可以让医生有效地逐层看到病人的内部情况,掌握手术的精确位置,避开其他重要位置,方便医生的手术。 增强现实还可以用于治疗某些恐惧症并改善整体健康状况,例如饮食。

商业贸易

大多数人类活动的基础是商业和贸易,增强现实也被有力地应用于业务的创建和维护,以及维持或增加市场份额。

QR码目前广泛应用于广告领域。 将二维码与增强现实相结合,可以使用二维码作为增强现实的标记,可以完美避免注册问题。 对于美国的每个张先生系统来说,注册信息往往都是不同的,而二维码的使用可以将增强现实系统从一个通用的、封闭的系统转变为一个通用的、开放的系统。 因此,两者的结合将使新兴广告超越原有广告。

增强现实技术已经应用在广告牌、海报以及一些汽车广告上,方便用户连接到相应的信息并方便订购。 百货商店的增强现实系统允许购物者在不拿起实体产品的情况下体验和尝试各种产品。

Similar Posts