一种增强现实方法及系统与流程

本发明涉及虚拟现实技术领域，具体而言，涉及一种增强现实方法及系统。

背景技术：

增强现实技术是借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并将虚拟对象准确地“嵌入”到真实环境中，借助显示设备将虚拟对象与真实环境融为一体，将虚拟的信息应用到真实世界，从而呈现给用户一个感官效果真实的新环境，以实现对现实的增强。

用于实现增强现实技术的增强现实系统需要通过分析大量的定位数据和场景信息来保证计算机生成的虚拟物体可以精确地定位在真实场景中。因此，在已知的增强现实技术中，其具体实现过程可以包括：获取真实场景信息；对获取的真实场景信息和摄像头位置信息进行分析；生成虚拟物体；根据摄像头位置信息在可视平面上绘制虚拟物体，并将虚拟物体与真实场景信息一起显示。在上述技术呈现中，由于使用图像的整体特征匹配识别对象，因而相应的处理过程中计算量较大。而且，对摄像头采集到的目标图像的尺寸也有一定的要求，若目标远离摄像头，摄像头采集到的目标图像过小，则将导致检测到的目标图像中的特征过少，而无法达到要求的合理匹配特征个数，进而导致无法检测出目标对象，使得无法完成将虚拟物体叠加到视频中的处理。

另外，实现增强现实的硬件设备通常是具有屏幕显示的平板，或类似手持电子设备。但针对新兴的头显类产品而言，低延时的交互体验与高速图形渲染处理要求则有别于对一般手持类电子产品，进而也对设备提出更多的设计要求。例如，佩戴者对外界真实场景中的某一物体(商品，建筑物等)的即兴情绪可能是短暂的，如何在短暂的临时兴趣维持期间在头显中一并将虚拟信息框或虚拟物体叠加于显示的实景物体位置处是设计需要解决的技术问题。除此之外，如何在繁杂的外界物体信息中，建立一种虚拟信息展现机制，仅将佩戴者此刻关注搜寻的现实中物体给与展现，对于头戴设备而言，无需不间断的拍摄前景、减少数据信息处理量、有效增强有效信息交互感体验等也是目前亟待解决的问题。

技术实现要素：

为解决上述技术问题，本发明提供一种增强现实方法及系统，可减少头戴设备的计算量，同时较好的使用户此刻关注的现实图像物体在头带设备中得到信息分析，并将虚拟信息和真实世界信息在显示屏上叠加显示。

本发明采用的技术方案是：提供一种增强现实方法，包括以下步骤，

s1将头戴式设备显示屏中展现的现实图像划分为若干个显示区域；

s2预先测试并记录头戴式设备佩戴者双眼凝视显示屏上任一显示区域以及该区域中具体像素显示位置上时眼球的瞬间转动状态；

s3将预先测试并记录的眼球的瞬间转动状态与显示屏上任一显示区域以及该区域中具体像素显示位置之间构成映射关系；

s4依据获取的眼球的瞬间转动状态判断目光在显示屏上的凝视区域；

s5采集该凝视区域展现的现实图像，并将其上传至云端数据库处理，得到现实图像中各目标对象的关联信息；

s6确定各目标对象的位置，依据各目标对象的位置信息，确定各目标对象的关联信息在显示屏上的显示位置；

s7在显示屏上将各目标对象的关联信息分别与现实图像中的各目标对象叠加显示。

本发明所述的增强现实方法，步骤s5还包括：

s51检测所采集的现实图像的整体/局部特征，识别出各目标对象。

本发明所述的增强现实方法，步骤s51还包括：

s511将现实图像的整体/局部特征与可能匹配的各目标对象的整体/局部特征进行匹配，根据整体/局部特征位置的几何相对特征关系，保留合理的匹配，根据合理的匹配识别出各目标对象。

本发明所述的增强现实方法，步骤s5中的关联信息包括与目标对象属性直接相关的产品信息。

本发明还提供一种增强现实系统，包括头戴式设备，还包括：

红外摄像头，用于对头戴式设备佩戴者的眼球进行实时红外拍照，得到眼球瞬间转动状态的图片；

眼球状态判定单元，用于分析瞬间眼球转动状态的图片，判断眼球的凝视区域；

眼球识别单元，用于根据眼球的凝视区域对照键值映射表，确定佩戴者此刻关注的现实图像；

屏幕控制单元，用于根据佩戴者此刻关注的现实图像控制显示屏上的显示内容。

本发明所述的增强现实系统，所述键值映射表为预先测试并记录的眼球的瞬间转动状态与显示屏上任一显示区域以及该区域中具体像素显示位置之间构成的映射关系表。

本发明所述的增强现实系统，所述屏幕控制单元还用于将佩戴者此刻关注的现实图像上传至云端数据库处理，得到现实图像中各目标对象的关联信息。

本发明所述的增强现实系统，所述屏幕控制单元还用于确定各目标对象的位置，依据各目标对象的位置信息，确定各目标对象的关联信息在显示屏上的显示位置。

本发明所述的增强现实系统，所述屏幕控制单元还用于在显示屏上将各目标对象的关联信息分别与现实图像中的各目标对象叠加显示。

与现有技术相比，本发明提供的增强现实方法及系统通过将佩戴者的眼球瞬间转动状态和显示屏上的显示区域建立映射关系，能针对佩戴者此刻关注焦点所在的显示区域进行精准检索，快速响应得到用户关注的目标对象及关联信息并实时在显示屏上与现实图像结合显示，可减少无关信息的搜索和展示，增强有效信息交互感体验。同时，由于无需对显示屏所展现的所有现实图像进行分析和处理，使头戴式设备减少了数据信息处理量，设备的配置或体型大小方面都能得到较大的改善。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例所提供的增强现实方法的流程图；

图2为本发明实施例所提供的增强现实方法中步骤s5的子步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例所提供的增强现实方法的流程图，如图1所示，本实施例提供一种增强现实方法，包括以下步骤，

s1将头戴式设备显示屏中展现的现实图像划分为若干个显示区域。

在本步骤中，头戴式设备可以是外接式头戴设备、一体式头戴设备、移动端头戴设备中的任何一种。显示屏中展现的现实图像可以通过在头戴式设备上配备透明显示屏，直接显示和展现外部环境的现实图像，亦可由头戴式设备外部额外配备摄像头对外界显示环境进行拍摄，再通过显示屏对拍摄的现实图像进行显示，通过此方式可实现即拍即所得。本实施例中的显示区域根据显示屏展现的现实图像划分为左上、右上、左下、右下四个区域。可以理解的是，本发明对于显示区域的空间划分数量与划分形态并不局限于此。无论头部如何转动，本实施例中透视展现的现实图像均是零延时的。

s2预先测试并记录头戴式设备佩戴者双眼凝视显示屏上任一显示区域以及该区域中具体像素显示位置上时眼球的瞬间转动状态。

由于每个使用者的眼睛形状及其视力所见范围都不相同，为了提高增强现实的精准度，本实施例在佩戴者正式使用之前，精确验证其眼球所能见到的视野范围及其双眼凝视显示屏上任一显示区域及该区域中具体像素显示位置上时眼球的瞬间转动状态，将佩戴者的眼球转动位置或状态与显示屏上的显示区域建立起了联系，并且精确到了像素级别，从而确保了后期识别具有较高的精准度。

s3将预先测试并记录的眼球的瞬间转动状态与显示屏上任一显示区域以及该区域中具体像素显示位置之间构成映射关系。

本步骤用于将佩戴者的眼球瞬间转动状态与显示屏上的显示区域建立起一一对应的关系，从而在后期检验或识别的环节可快速响应，减少延迟，提高用户体验。

s4依据获取的眼球的瞬间转动状态判断目光在显示屏上的凝视区域。

通过红外摄像头对眼球进行实时拍照，可得到眼球的瞬间转动状态，通过s3步骤中构成的映射关系，可快速响应得到眼睛在显示屏上所注视的具体显示区域，即目光在显示屏上的凝视区域。

s5采集该凝视区域展现的现实图像，并将其上传至云端数据库处理，得到现实图像中各目标对象的关联信息。

佩戴者在显示屏上的凝视区域，即佩戴者此刻关注的现实景象，本实施例中，设备只对佩戴者此刻关注的现实景象进行解析和处理，即只对该凝视区域展现的现实图像进行搜索和识别，此方法一方面使用户真正的关注点得到了信息检索和重点显示，解决用户所需，减少了用户不需要的无效信息显示，另一方面，相比现有技术需要对显示屏所看到的所有现实图像进行解析和处理，大大减少了设备的数据信息处理量和响应延迟，增强了有效信息的交互感体验。云端数据库具有图像识别功能和信息搜索功能，能在现实图像中识别出用户感兴趣的目标对象并对目标对象进行关联信息搜索，关联信息包括与目标对象属性直接相关的产品信息，如产品的相关规格、产品功能说明、公司简介、价格信息、联系方式等。

优选的，如图2所示，步骤s5包括，

s51检测所采集的现实图像的整体/局部特征，识别出各目标对象。

本步骤通过对现实图像的整体/局部特征进行检测，如在云端数据库中有特征匹配的图形，则对其进行识别，从而找出目标对象。

优选的，如图2所示，步骤s51包括，

s511将现实图像的整体/局部特征与可能匹配的各目标对象的整体/局部特征进行匹配，根据整体/局部特征位置的几何相对特征关系，保留合理的匹配，根据合理的匹配识别出各目标对象。

通过本步骤的方法可筛选出重要对象，减少现实图像中无关对象的特征匹配，达到减少计算量、快速得到匹配结果的效果。

s6确定各目标对象的位置，依据各目标对象的位置信息，确定各目标对象的关联信息在显示屏上的显示位置。

经过云端数据库的处理得到的目标对象将在显示屏上得到重点显示，同时设备将计算各目标对象在屏幕上所处的位置，并依据各目标对象的位置信息，确定各目标对象的关联信息在显示屏上的显示位置。

s7在显示屏上将各目标对象的关联信息分别与现实图像中的各目标对象叠加显示。

将佩戴者关注的各目标对象的关系信息根据步骤s6的显示位置直接在显示屏上与现实图像的各目标对象结合显示，从而实现虚拟信息和真实世界信息的融合和无缝连接。

本发明实施例还提供一种增强现实系统，包括头戴式设备，还包括安装在头戴式设备上的红外摄像头、眼球状态判定单元、眼球识别单元、屏幕控制单元。红外摄像头，用于对头戴式设备佩戴者的眼球进行实时红外拍照，得到眼球瞬间转动状态的图片；眼球状态判定单元，用于分析瞬间眼球转动状态的图片，判断眼球的凝视区域；眼球识别单元，用于根据眼球的凝视区域对照键值映射表，确定佩戴者此刻关注的现实图像，键值映射表为预先测试并记录的眼球的瞬间转动状态与显示屏上任一显示区域以及该区域中具体像素显示位置之间构成的映射关系表；屏幕控制单元，用于根据佩戴者此刻关注的现实图像控制显示屏上的显示内容，具体的，屏幕控制单元包括网络传输模块和信息匹配模块，网络传输模块用于将佩戴者此刻关注的现实图像上传至云端数据库处理，再将云端数据库处理得到的目标对象及其关联信息下载到头戴式设备，信息匹配模块用于将目标对象与显示屏上的现实图像进行匹配，确定各目标对象的位置，并依据各目标对象的位置信息，确定各目标对象的关联信息在显示屏上的显示位置，最后在显示屏上将各目标对象的关联信息分别与现实图像中的各目标对象叠加显示。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。