一种基于固定触发源的增强现实交互方法及系统与流程

本发明涉及信息技术领域，尤其涉及一种基于固定触发源的增强现实交互方法及系统。

背景技术：

增强现实(Augmented Reality，简称AR)是国外众多知名大学和研究机构的研究热点之一。AR技术不仅在与VR技术(虚拟现实)相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。

申请号为201510785428.6的中国专利文件公开了一种基于增强现实技术实现互动的方法、系统和终端，其中所述方法为：服务器接收第一终端上传的第一图像和互动信息，保存第一图像中的第一图像信息和互动信息；第二终端获取第二图像，并实时提取第二图像信息，将第二图像信息发送至服务器；服务器查找与第二图像信息相匹配的第一图像信息和互动信息，以及将互动信息返回至第二终端；第二终端接通过增强现实将互动信息与第二图像叠加以获得增强现实信息；以及，第二终端显示增强现实信息。然而上述的方法在更换不同互动信息时需要更换对应的图像，操作较为复杂，并且互动内容单一，用户体验不足。

技术实现要素：

本发明所要解决的技术问题是：提供一种操作简单的基于固定触发源的增强现实交互方法及系统。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于固定触发源的增强现实交互方法，包括：

预设映射表，所述映射表存储有第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组；所述第一图像信息包括第一图像的特征点和方位信息；所述互动信息组包括第一互动信息组，所述第一互动信息组包括第一方位信息和与所述第一方位信息对应的第一互动信息；所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；

获取第二图像，所述第二图像具有第二图像信息，所述第二图像信息包括第二图像的特征点和第二方位信息；

若识别到所述第二图像的特征点与第一图像的特征点相匹配，获取与第一图像信息对应的互动信息组；

获取互动信息组中的第二互动信息组；所述第二互动信息组包括第三方位信息和与所述第三方位信息对应的第二互动信息；

从第二互动信息组中提取与第二图像信息中的第二方位信息的方位相同的第三方位信息对应的第二互动信息；

通过增强现实将与第二方位信息的方位相同的第三方位信息对应的第二互动信息与所述第二图像叠加以得到增强现实信息。

本发明采用的另一技术方案为：

一种基于固定触发源的增强现实交互系统，包括：预设模块、第一获取模块、第二获取模块、第三获取模块、提取模块和增强现实模块；

所述预设模块，用于预设映射表，所述映射表存储有第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组；所述第一图像信息包括第一图像的特征点和方位信息；所述互动信息组包括第一互动信息组，所述第一互动信息组包括第一方位信息和与所述第一方位信息对应的第一互动信息；所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；

所述第一获取模块，用于获取第二图像，所述第二图像具有第二图像信息，所述第二图像信息包括第二图像的特征点和第二方位信息；

所述第二获取模块，用于若识别到所述第二图像的特征点与第一图像的特征点相匹配，获取与第一图像信息对应的互动信息组；

所述第三获取模块，用于获取互动信息组中的第二互动信息组；所述第二互动信息组包括第三方位信息和与所述第三方位信息对应的第二互动信息；

所述提取模块，用于从第二互动信息组中提取与第二图像信息中的第二方位信息的方位相同的第三方位信息对应的第二互动信息；

所述增强现实模块，用于通过增强现实将与第二方位信息的方位相同的第三方位信息对应的第二互动信息与所述第二图像叠加以得到增强现实信息。

本发明的有益效果在于：本发明提供的基于固定触发源的增强现实交互方法及系统，采用第一图像作为固定触发源，并且该固定触发源与多个互动信息组相关联，通过一个触发源即可触发多个互动信息组，在多个互动信息组之间切换时无需变更触发源即可实现快速变更，操作简单。结合方位信息，根据接收到的图像信息中的方位信息获取方位相同的互动信息，使得增强现实后可根据方位展现，不同方位获取到的图像信息，互动信息在展示时的方位也是不同的，提高用户体验以及应用在教学领域时起到促进教学互动的作用。

附图说明

图1为本发明的一种基于固定触发源的增强现实交互方法的步骤流程图；

图2为本发明的一种基于固定触发源的增强现实交互系统的结构示意图；

图3为本发明的一种基于固定触发源的增强现实交互系统的实施示意图；

图4为本发明的一种基于固定触发源的增强现实交互系统的示意图；

标号说明：

1、预设模块；2、第一获取模块；3、第二获取模块；4、第三获取模块；5、提取模块；6、增强现实模块；7、触发区域；8、第一移动终端；9、第二移动终端。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：采用一对多的触发方式，使操作更为简单，并且结合方位信息，提高用户体验以及促进教学互动。

请参照图1，本发明提供的一种基于固定触发源的增强现实交互方法，包括：

预设映射表，所述映射表存储有第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组；所述第一图像信息包括第一图像的特征点和方位信息；所述互动信息组包括第一互动信息组，所述第一互动信息组包括第一方位信息和与所述第一方位信息对应的第一互动信息；所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；

获取第二图像，所述第二图像具有第二图像信息，所述第二图像信息包括第二图像的特征点和第二方位信息；

若识别到所述第二图像的特征点与第一图像的特征点相匹配，获取与第一图像信息对应的互动信息组；

获取互动信息组中的第二互动信息组；所述第二互动信息组包括第三方位信息和与所述第三方位信息对应的第二互动信息；

从第二互动信息组中提取与第二图像信息中的第二方位信息的方位相同的第三方位信息对应的第二互动信息；

通过增强现实将与第二方位信息的方位相同的第三方位信息对应的第二互动信息与所述第二图像叠加以得到增强现实信息。

从上述描述可知，本发明的有益效果在于：本发明提供的基于固定触发源的增强现实交互方法，采用第一图像作为固定触发源，并且该固定触发源与多个互动信息组相关联，通过一个触发源即可触发多个互动信息组，在多个互动信息组之间切换时无需变更触发源即可实现快速变更，操作简单。结合方位信息，根据接收到的图像信息中的方位信息获取方位相同的互动信息，使得增强现实后可根据方位展现，不同方位获取到的图像信息，互动信息在展示时的方位也是不同的，提高用户体验以及应用在教学领域时起到促进教学互动的作用。

进一步的，还包括显示步骤：显示所述增强现实信息。

由上述描述可知，将增强现实后得到的增强现实信息进行显示，可直观地观察到获取到的互动信息，并且更具有画面感。

进一步的，还包括操作步骤：对所述增强现实信息进行操作；所述操作包括查看、评论、回复、收藏中的一种或几种。

由上述描述可知，对所述增强现实信息可进行查看、评论、回复、收藏中的一种或几种，例如进行评论后，所述增强现实信息会更新为评论与原增强显示信息叠加生成新的增强现实信息并显示，促进互动交流。

进一步的，所述第二图像的特征点与所述第一图像的特征点相匹配的判断方法为：

获取预设数量的第二图像特征点的灰度值；

判断第一图像的特征点中是否存在与所述第二图像特征点的灰度值相同的图像特征点，若存在，则记录相同图像特征点的数量；

根据记录的相同图像特征点的数量除以第二图像特征点的预设数量，计算得到所述第二图像的特征点与所述第一图像的特征点的相似度；

若所述相似度大于预设的相似度阈值，则判定所述第二图像的特征点与所述第一图像的特征点相匹配。

由上述描述可知，本发明采用上述方法来判断两个图像是否匹配，具体为根据计算得到的两个图像的相似度，以及两个图像的相似度是否大于预设的相似度阈值的判断，当相似度大于预设的相似度阈值(通常预设的相似度阈值为99％)，则可以认定所述第二图像的特征点与所述第一图像的特征点是相匹配，还可以使用其他的计算方法来计算两个图像的相似度。

参阅图2，本发明还提供的一种基于固定触发源的增强现实交互系统，包括：预设模块1、第一获取模块2、第二获取模块3、第三获取模块4、提取模块5和增强现实模块6；

所述预设模块1，用于预设映射表，所述映射表存储有第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组；所述第一图像信息包括第一图像的特征点和方位信息；所述互动信息组包括第一互动信息组，所述第一互动信息组包括第一方位信息和与所述第一方位信息对应的第一互动信息；所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；

所述第一获取模块2，用于获取第二图像，所述第二图像具有第二图像信息，所述第二图像信息包括第二图像的特征点和第二方位信息；

所述第二获取模块3，用于若识别到所述第二图像的特征点与第一图像的特征点相匹配，获取与第一图像信息对应的互动信息组；

所述第三获取模块4，用于获取互动信息组中的第二互动信息组；所述第二互动信息组包括第三方位信息和与所述第三方位信息对应的第二互动信息；

所述提取模块5，用于从第二互动信息组中提取与第二图像信息中的第二方位信息的方位相同的第三方位信息对应的第二互动信息；

所述增强现实模块6，用于通过增强现实将与第二方位信息的方位相同的第三方位信息对应的第二互动信息与所述第二图像叠加以得到增强现实信息。

从上述描述可知，本发明的有益效果在于：本发明提供的基于固定触发源的增强现实交互系统，采用第一图像作为固定触发源，并且该固定触发源与多个互动信息组相关联，通过一个触发源即可触发多个互动信息组，在多个互动信息组之间切换时无需变更触发源即可实现快速变更，操作简单。结合方位信息，根据接收到的图像信息中的方位信息获取方位相同的互动信息，使得增强现实后可根据方位展现，不同方位获取到的图像信息，互动信息在展示时的方位也是不同的，提高用户体验以及应用在教学领域时起到促进教学互动的作用。

进一步的，还包括显示模块，用于显示所述增强现实信息。

由上述描述可知，将增强现实后得到的增强现实信息进行显示，可直观地观察到获取到的互动信息，并且更具有画面感。

进一步的，还包括操作模块，用于对所述增强现实信息进行操作；所述操作包括查看、评论、回复、收藏中的一种或几种。

由上述描述可知，对所述增强现实信息可进行查看、评论、回复、收藏中的一种或几种，例如进行评论后，所述增强现实信息会更新为评论与原增强显示信息叠加生成新的增强现实信息并显示，促进互动交流。

进一步的，所述获取模块包括获取单元、判断单元、计算单元和判定单元；

所述获取单元，用于获取预设数量的第二图像特征点的灰度值；

所述判断单元，用于判断第一图像的特征点中是否存在与所述第二图像特征点的灰度值相同的图像特征点，若存在，则记录相同图像特征点的数量；

所述计算单元，用于根据记录的相同图像特征点的数量除以第二图像特征点的预设数量，计算得到所述第二图像的特征点与所述第一图像的特征点的相似度；

所述判定单元，用于若所述相似度大于预设的相似度阈值，则判定所述第二图像的特征点与所述第一图像的特征点相匹配。

由上述描述可知，本发明采用上述方法来判断两个图像是否匹配，具体为根据计算得到的两个图像的相似度，以及两个图像的相似度是否大于预设的相似度阈值的判断，当相似度大于预设的相似度阈值(通常预设的相似度阈值为99％)，则可以认定所述第二图像的特征点与所述第一图像的特征点是相匹配，还可以使用其他的计算方法来计算两个图像的相似度。

请参照图1-4，本发明的实施例一为：

本发明提供的基于固定触发源的增强现实交互方法主要应用在教学领域，关于实施例的场景说明如下：

1、在教室里，老师的讲台与学生的课桌一起沿圆周呈环形排布，在环形的中央位置的地面上设有触发区域7，在触发区域7上设有触发图像；触发图像特征程度建议达到5颗星(即通过高通Vuforia来判定)，触发图像的制作方式不限，触发图像固定方式不限(甚至可设计为可灵活拆装方式)，触发图像尺寸根据教室实际空间确定，一般在直径2m－10m之间，触发图像以圆形为最佳，但采用其它形式也可以。该触发图像是固定的，即为固定触发源。采用任意一图像作为固定触发源，并且该固定触发源与多个互动信息组相关联，通过一个触发源即可触发多个互动信息组，在多个互动信息组之间切换时无需变更触发源即可实现快速变更，操作简单。

2、老师的讲台上和学生的课桌上均摆放有移动终端，如ipad，老师的移动终端为第一移动终端8，学生的移动终端为第二移动终端9，第一移动终端8和第二移动终端9的摄像头朝向触发区域7，老师的讲台高度与学生的课桌的高度可能都不相同，桌面放置平板电脑或显示器(显示器+摄像头+主机)，也可以是AR眼镜，需确保触发图像全部在摄像头的捕捉范围内、需确保触发图像显像清晰，且触发图像的远端至摄像头连线与地面夹角建议不小于10°。

本发明提供的基于固定触发源的增强现实交互方法可独立在一个设备端上实施，如下以学生的移动终端的操作为例，具体步骤如下：

步骤1、预设映射表，所述映射表存储有第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组；所述第一图像信息包括第一图像的特征点和方位信息；所述互动信息组包括第一互动信息组，所述第一互动信息组包括第一方位信息和与所述第一方位信息对应的第一互动信息；所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；

在本实施方式中，事先开启学生的移动终端的摄像头，将学生的移动终端的摄像头面对的事物拍摄下来，拍摄的照片作为第一图像，将多角度拍摄的每一个角度的第一图像作为包含方位信息的第一图像信息，其中拍摄的照片中的物体、轮廓、亮度等作为第一图像的特征点，也可以是灰度。所述第一互动信息包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种；将文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种不同的组合方式作为互动信息组，例如动画特效作为第一互动信息组。将上述的第一图像的第一图像信息和与所述第一图像信息对应的多个的互动信息组存储在预设的映射表中，该映射表存储在学生的移动终端的存储器中。

步骤2、获取第二图像，所述第二图像具有第二图像信息，所述第二图像信息包括第二图像的特征点和第二方位信息；

在本实施方式中，再次通过学生的移动终端的摄像头面对的事物拍摄下来，获取到第二图像，并且该移动终端能够获取到该第二图像的第二图像信息。

步骤3、若识别到所述第二图像的特征点与第一图像的特征点相匹配，获取与第一图像信息对应的互动信息组；

在本实施方式中，所述第二图像的特征点与所述第一图像的特征点相匹配的判断方法为：

(1)获取预设数量的第二图像特征点的灰度值；

(2)判断第一图像的特征点中是否存在与所述第二图像特征点的灰度值相同的图像特征点，若存在，则记录相同图像特征点的数量；

(3)根据记录的相同图像特征点的数量除以第二图像特征点的预设数量，计算得到所述第二图像的特征点与所述第一图像的特征点的相似度；

(4)若所述相似度大于预设的相似度阈值，则判定所述第二图像的特征点与所述第一图像的特征点相匹配。

本发明采用上述方法来判断两个图像是否匹配，具体为根据计算得到的两个图像的相似度，以及两个图像的相似度是否大于预设的相似度阈值的判断，当相似度大于预设的相似度阈值(通常预设的相似度阈值为99％)，则可以认定所述第二图像的特征点与所述第一图像的特征点是相匹配，还可以使用其他的计算方法来计算两个图像的相似度。

步骤4、获取互动信息组中的第二互动信息组；所述第二互动信息组包括第三方位信息和与所述第三方位信息对应的第二互动信息；

在本实施方式中，第二互动信息组为文字信息；由多角度来展示的每一个角度的文字信息作为包含第三方位信息的第二互动信息。

步骤5、从第二互动信息组中提取与第二图像信息中的第二方位信息的方位相同的第三方位信息对应的第二互动信息；

在本实施方式中，若获取第二图像时是从第二图像的正北方向获取的，那么上述的第二方位信息即为正北方向，此时从第二互动信息组中获取正北方向(即为第三方位信息)的文字信息。

步骤6、通过增强现实将与第二方位信息的方位相同的第三方位信息对应的第二互动信息与所述第二图像叠加以得到增强现实信息。

在本实施方式中，通过增强现实将获取正北方向(即为第三方位信息)的文字信息与所述第二图像叠加以得到增强现实信息。再通过移动终端显示该增强现实信息。例如在该同学的移动终端上可以看到动物长颈鹿的正面，而从正南方向获取的触发图像的同学则在其移动终端上看到的是动物长颈鹿的背面，在教学过程中，老师可以直接提问坐在长劲鹿背面位置上的同学，增加老师与学生之间的交互。

在上述实施例的基础上进一步提升移动终端之间的交互，具体如下：

老师的移动终端优先获取触发源，经过触发源匹配后，进入教学程序，老师在其移动终端选择一种类型的课程，即为选择一种互动信息组，选择完毕后，老师的移动终端会发送一同步控制信号给多个学生的移动终端，此时多个学生的移动终端同步开启，并驱动获取触发源进入教学程序，系统会直接进入老师选择的那一种互动信息组，如动物。老师的移动终端可对每一个学生的移动终端实现独立控制，每一个学生的移动终端上显示的内容会根据其获取不同方位的触发源来显示不同方位的增强现实，例如在正北方向获取的触发图像的同学的移动终端上看到的是动物长颈鹿的正面，那么从正南方向获取的触发图像的同学则在其移动终端上看到的是动物长颈鹿的背面，在教学过程中，老师可以直接提问坐在长劲鹿背面位置上的同学，增加老师与学生之间的交互。结合方位信息，根据接收到的图像信息中的方位信息获取方位相同的互动信息，使得增强现实后可根据方位展现，不同方位获取到的图像信息，互动信息在展示时的方位也是不同的，提高用户体验以及应用在教学领域时起到促进教学互动的作用。

上述方法还包括操作步骤：对所述增强现实信息进行操作；所述操作包括查看、评论、回复、收藏中的一种或几种。对所述增强现实信息可进行查看、评论、回复、收藏中的一种或几种，例如学生的移动终端可进行评论后，所述增强现实信息会更新为评论与原增强显示信息叠加生成新的增强现实信息并显示，以及发送反馈至老师的移动终端，从而促进互动交流。

综上所述，本发明提供的一种基于固定触发源的增强现实交互方法及系统，采用第一图像作为固定触发源，并且该固定触发源与多个互动信息组相关联，通过一个触发源即可触发多个互动信息组，在多个互动信息组之间切换时无需变更触发源即可实现快速变更，操作简单。结合方位信息，根据接收到的图像信息中的方位信息获取方位相同的互动信息，使得增强现实后可根据方位展现，不同方位获取到的图像信息，互动信息在展示时的方位也是不同的，提高用户体验以及应用在教学领域时起到促进教学互动的作用。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。