增强现实中快速实时获得运动物体信息的方法与流程

本发明涉及增强现实领域，特别涉及一种增强现实中快速实时获得运动物体信息的方法。

背景技术：

增强现实(augmentedreality，ar)，是在虚拟现实(virtualreality，vr)技术基础上发展起来的新技术，其通过计算机图形及可视化技术、多媒体技术、交互技术将计算机或者智能终端设备计算渲染成的虚拟对象(图形、图像、文字、声音等)，正确合理的叠加到用户可以直接感知的真实及现实世界中，两者融为一体，从而起到所谓的“增强”效果。目前，基于视频的增强现实系统实现增强现实一般需要四个步骤：真实场景的图像采集；实时跟踪和注册定位；虚拟物体绘制渲染；虚实场景融合显示。这种方式首先利用摄像机获取真实场景视频，利用视频流中的标识获得场景位置信息，然后通过图形处理系统来计算虚拟物体坐标到相机视平面之间的坐标变换，通过转换矩阵在视平面上绘制虚拟物体，将虚拟物体注册到用户感知的真实场景中，最后在输出设备上显示出虚实融合的场景。

增强现实被誉为近年来最热门的研究领域之一，其在医疗领域、军事领域、工业设计、以及公共娱乐领域等方面有潜在应用，其中，利用增强现实进行游戏可使其成为与网络游戏相媲美的游戏方式，其既保留网络游戏的吸引力(即炫酷的视觉效果)，又可促使玩家参与社会活动(因为增强现实必须依赖实际物体)，降低了对网络游戏的依赖。无论在上述何种领域的应用，人们逐渐不满足于当前对静止物体或场景的增强现实，对运动物体或场景增强现实的需求日益增加。

然而，目前增强现实技术对运动物体的跟踪注册方面存在一定的滞后，主要原因在于对运动物体信息的确定存在延时性。造成运动物体信息的延时性原因在于：(1)在一种方式中，通过摄像头连续获取当前运动物体以及运动物体位置周围一定范围内的图像，然后对相邻帧图像进行对比以获取移动物体的信息，此种方式涉及到的算法复杂，降低了获取运动物体信息的及时性；或者，(2)在另一种方式中，使用多种传感器获取移动物体的运动信息，但由于某些传感器自身具有延时长的特性，使得获取的数据具有一定的延时性。

因此，本发明人对获得运动物体信息的系统进行深入研究，以提供一种快速、实时、准确性高的获得运动物体信息的方法，增强虚拟信息在现实场景中的融合效果。

技术实现要素：

为了解决上述问题，本发明人进行了锐意研究，结果发现：将运动物体放在设置有位点的背景地图上，并在运动物体上安装图像采集模块、数据解码模块和第一通信模块，通过运动物体上的图像采集模块和数据解码模块进行运动物体信息的采集、提取，经第一通信模块等将采集到的信息传输至显示终端的终端控制模块上，利用位点信息将现实世界与增强现实中的位置信息关联起来，实现运动物体的信息获取及在显示终端上的定位，从而完成本发明。

本发明的目的在于提供以下技术方案：

1、一种增强现实中快速实时获得运动物体信息的方法，所述方法包括以下步骤：

1)在背景地图100上设置多个包含有可识别位点信息的位点110，将运动物体置于背景地图上；

2)通过图像采集模块200获取运动物体所在位置处对应的包含多个位点110的视窗图像，对视窗图像中可识别的位点信息进行提取，并传递位点信息至显示终端上的终端控制模块400；

3)终端控制模块400对位点信息进行处理，确定运动物体的信息。

根据本发明提供的一种增强现实中快速实时获得运动物体信息的方法，具有以下有益效果：

(1)本发明基于带有位点的背景地图对运动物体的位置、速度和方向信息进行确定，此方式完全不同于现有技术中通过图像对比或传感器确定运动物体信息的方式，解决了现有技术中存在的对运动物体信息的获得存在滞后性的问题，可快速、实时、准确地获得运动物体的信息，增强虚拟信息在现实场景中的融合效果；

(2)本发明中背景地图上的位点以坐标点形式排布，便于对运动物体位置的识别；同时，背景地图上划定安全范围，当获取的视窗图像中包含提醒位点时，终端控制模块在显示终端上进行提示，便于用户对运动物体的操控，也可避免显示终端上无法得到运动物体信息的状况；

(3)本发明中图像采集模块可包括第一摄像装置和第二摄像装置，两摄像装置在运动物体上不同位置的安装，便于对运动物体位置信息、速度信息和方向信息的获得；

(4)本发明中第一通信模块和第二通信模块可为蓝牙通信模块，满足信息接收的同时，能耗小、成本低；

(5)本发明中采用数据解码模块对传输的位点信息进行高进制转化，可有效减少位点信息的传输时间，更有利于实现运动物体信息获得的及时性；

(6)本发明中获得运动物体信息的系统可对视窗图像模糊状况进行处理，在出现模糊图像时，可有效保证运动物体信息的确定及在显示终端的有效、合理定位。

附图说明

图1示出本发明中获得运动物体信息的方法的流程图；

图2示出本发明一种优选实施方式中背景地图的示意图；

图3示出本发明中设置于运动物体上的模块示意图。

附图标号说明：

100-背景地图；

110-位点；

200-图像采集模块；

210-第一摄像装置；

220-第二摄像装置；

310-第一通信模块；

320-第二通信模块；

400-终端控制模块；

500-数据解码模块。

具体实施方式

下面通过对本发明进行详细说明，本发明的特点和优点将随着这些说明而变得更为清楚、明确。

如图1所示，本发明提供了一种增强现实中快速实时获得运动物体信息的方法，该方法包括如下步骤：

1)在背景地图100上设置多个包含有可识别位点信息的位点110，将运动物体置于背景地图上；

2)通过图像采集模块200获取运动物体所在位置处对应的包含多个位点110的视窗图像，对视窗图像中可识别的位点信息进行提取并传递位点信息至显示终端上的终端控制模块400；

3)终端控制模块400对位点信息进行处理，确定运动物体的信息。

步骤1)中，如图2所示，所述背景地图100上的位点110以设定的规则在二维平面上排列，优选位点110以坐标点的形式排列，各位点110之间间距相等。例如，在背景地图100的二维平面上设定一个xy轴坐标系，向右确定为x轴的正方向，向上确定为y轴的正方向，原点坐标为(0，0)。根据精密度要求设置位点密度，例如在1m×1m的地图上设置100万组位点110，即位点密度为100万位点/m²，那么在x轴正方向上的第一个点就代表(1mm，0)，y轴正方向上第一个点代表(0，1mm)，以此类推，这样每一个位点110在背景地图100的位置就可以确定了。优选地，位点密度不小于6万位点/m²。

所述背景地图100为纸质材料或高分子薄膜材料制成。所述位点110为肉眼不可见的微观区域，位点110内通过打印、喷涂或蚀刻等方式设置有可识别的位点信息。

在一种优选的实施方式中，位点110中的位点信息包括位点110的坐标数据，坐标数据用以表示该位点110在背景地图100中的位置信息。所述位点信息以代表二进制字符(1、0)的具有两种或两种以上反射光强度的颜料图案的有序组合表示，其中，颜料图案的形状可以相同，也可以不同，反射光强度差别较大(即易于辨别、区分)。例如，所述位点信息以代表二进制字符的两种以上反射光强度的圆形表示，其中，以具有高于某一设定强度的反射光强度的圆形对应字符1(或0)，以具有低于某一设定强度的反射光强度的圆形对应字符0(或1)。

在另一种优选的实施方式中，所述位点信息为代表二进制字符的两种或两种以上形状的微观图形的有序组合。在所述位点信息为代表二进制字符的两种形状的微观图形的有序组合时，以某一形状的微观图形对应字符1，另一形状的微观图形对应字符0；在所述位点信息为代表二进制字符的两种以上形状的微观图形的有序组合时，其中以某一形状的微观图形对应字符1(或0)，其它微观图形均对应字符0(或1)。

考虑到位点信息的长度以及位点110的区域面积，位点信息在位点110中优选以多行多列的形式设置。

在进一步优选的实施方式中，根据运动物体的大小在距背景地图100边缘设定距离内划定安全范围，其中，安全范围内与安全范围的边缘最近的外围位点110为提醒位点，当获取的视窗图像中包含提醒位点时，终端控制模块400在显示终端上进行提示，使用户操控运动物体在安全范围内移动。若运动物体偏离安全范围，则有较大风险偏离背景地图100，可能导致视窗图像中无位点信息，显示终端上无法得到运动物体的信息。

步骤2)中，如图3所示，为了获取视窗图像、完成位点信息的提取并传递位点信息至终端控制模块400，在运动物体上安装图像采集模块200、数据解码模块500和第一通信模块310。图像采集模块200获取运动物体所在位置处对应的包含多个位点110的视窗图像，将视窗图像传递至数据解码模块500，数据解码模块500对视窗图像中的位点信息进行识别，并将其转化为二进制字符串(即提取)，然后传递位点信息至第一通信模块310。

在一种优选的实施方式中，所述图像采集模块200可以包括一个摄像装置，摄像装置的摄像头朝向背景地图100，通过捕获图像/照片等方式获取运动物体所在位置处对应的包含多个位点110的视窗图像。所述摄像装置安装在运动物体上，优选固定于运动物体底部的中间位置。在本实施方式中，根据该单个摄像装置当前时刻获取的视窗图像，可确定运动物体的位置信息，根据上一时刻或以上若干时刻与当前时刻获取的视窗图像，可确定运动物体的速度信息和方向信息。

在另一种优选的实施方式中，如图3所示，所述图像采集模块200还可包括两个摄像装置，即第一摄像装置210和第二摄像装置220，两摄像装置的摄像头朝向背景地图100以获取运动物体所在位置处对应的包含多个位点110的视窗图像。将第一摄像装置210和第二摄像装置220安装在运动物体的轴上，优选为对称轴，所述轴的方向与运动物体的移动方向一致。优选地，将第一摄像装置210固定于运动物体轴的中间位置，其获得确定运动物体的位置信息和速度信息的视窗图像；将第二摄像装置220固定于运动物体轴上靠前的位置，通过两摄像装置获取的视窗图像的组合确定运动物体的方向信息。

图像采集模块200优选包括两个摄像装置，此设置可极大减轻后续终端控制模块400对运动物体信息确定的难度。

在一种优选实施方式中，图像采集模块200为具有高放大倍率、高清晰度的摄像装置。本发明中的图像采集模块200为具有不低于30万像素摄像头的摄像装置，在此不对摄像装置的型号进行限制，其可选用本领域内适用于本发明的任意型号，如snc5500型摄像机。

在一种优选实施方式中，图像采集模块200获得的视窗图像可为正方形、矩形或圆形，优选为正方形，以使在拍摄画面两相交边缘方向上的位点110的数目相近。视窗图像的大小满足使每个视窗图像内可始终容纳至少6个位点110。例如，以视窗图像中的左上角、左下角、右上角或右下角处的位点110作为有效位点(用于计算运动物体位置信息、速度信息和方向信息的位点110)。当获取到有效位点为模糊位点时，即该位点不清晰，无法获知其位点信息，可根据该模糊位点附近处其他位点110的位点信息得到该有效位点的位点信息。当某一时刻获得的视窗图像中的全部位点110均为模糊位点时，可根据上一时刻、以上若干时刻、以及下一时刻、以下若干时刻获得视窗图像中有效位点的位点信息来获得该时刻有效位点的位点信息。

在本发明中，数据解码模块500接收图像采集模块200传递的视窗图像，对视窗图像中的位点信息进行识别，并将其转化为二进制字符串。例如，所述位点信息以代表二进制字符的具有不同反射光强度的颜料图案的有序组合表示，其中，以具有高于某一设定强度的反射光强度的颜料图案对应字符1(或0)，以具有低于某一设定强度的反射光强度的颜料图案对应字符0(或1)。数据解码模块500将对应字符1的颜料图案转码为字符1，将对应字符0的颜料图案转码为字符0，此时视窗图像中的位点信息即被转码为二进制字符串(二进制式位点信息)，实现了位点信息的识别、提取。

在一种优选的实施方式中，所述数据解码模块500还具备高进制转化功能。所述高进制转化是指将提取到的二进制式位点信息转化为十进制或十六进制式位点信息，优选转化为十六进制式位点信息。基于数据解码模块500的转换功能，可有效减少位点信息的传输时间，更有利于实现运动物体信息获得的及时性。

在一种优选的实施方式中，所述数据解码模块500安装在运动物体上，优选数据解码模块500为解码芯片，更优选为型号sonixsnc7312的解码芯片。在本发明中，第一通信模块310接收数据解码模块500传递的位点信息，经安装于显示终端上的第二通信模块320，将位点信息传递至终端控制模块400。

在一种优选的实施方式中，所述第一通信模块310和第二通信模块320可选自蓝牙通信模块、wi-fi通信模块、4g通信模块或移动通信模块，考虑到运动物体与终端控制模块400之间的距离较短，且蓝牙通信模块的低能耗，优选第一通信模块310和第二通信模块320为蓝牙通信模块，此时，第一通信模块310为蓝牙信号发射器，第二通信模块320为蓝牙信号接收器。本发明中对蓝牙信号发射器或蓝牙信号接收器的型号不做限制，其可为本领域内适用于本发明的任意型号。

步骤3)中，当图像采集模块200仅包括一个摄像装置时，终端控制模块400每个时刻获得一组位点信息。终端控制模块400根据即时获得的位点信息即可获得当前时刻的位置信息，根据上一时刻或以上若干时刻与当前时刻获取的位点信息进行计算，可确定运动物体当前时刻的速度信息和方向信息。

当图像采集模块200包括两个摄像装置时，终端控制模块400每个时刻获得两组不同的位点信息。终端控制模块400根据提取自第一摄像装置210的视窗图像的位点信息确定运动物体的位置信息，根据设定时间差内获取的位置信息确定运动物体的速度信息，根据提取自第一摄像装置210和第二摄像装置220的视窗图像的位点信息确定运动物体的方向信息。

进一步地，终端控制模块400内设置进制转换单元，使其具备进制转换功能，将获得的二进制式位点信息、十六进制式位点信息等非十进制式位点信息数据转换为十进制式位点信息，便于用户读取。

在一种优选的实施方式中，配置有终端控制模块400的显示终端为带显示屏幕的电子设备，包括智能手机、笔记本电脑、平板电脑、头盔显示器等。

在进一步优选的实施方式中，所述终端控制模块400还具备校验功能，所述校验是指对位点信息的有效性的监测。终端控制模块400的校验功能，可进一步保证数据传输的准确性。

由于终端控制模块400同时具备有校验功能，所述位点信息可包括印刷校验数据、坐标数据、长度校验数据，其中印刷校验数据用以确定位点110中位点信息的可用性，其在各位点信息中相同；坐标数据用以表示该位点110的位置信息；长度校验数据用以表示位点信息以二进制字符串转换形式转换为高进制字符串后字符的个数。

以下通过实例说明位点110中位点信息的设置，以及在各模块中传递时的进制转换：

(a)由图像采集模块200采集的视窗图像中包括以下位点110的位点信息：

011000001000000000000001000100010010000000010001110000000011101000010010，此时位点信息以具备不同反射光强度的颜料图案的有序组合表示，颜料图案1为具有高反射光强度的颜料图案，其对应二进制字符中的1，颜料图案0为具有弱反射光强度的颜料图案，其对应二进制字符中的0，8位颜料图案为一组；

(b)上述位点信息经数据解码模块500识别、提取后的二进制字符串形式的位点信息为：

011000001000000000000001000100010010000000010001110000000011101000010010；此时位点信息为二进制字符串，以8位数字为一组；

(c)数据解码模块500将二进制式位点信息转换为十六进制式位点信息：

608001112011c03a12，其中：

6080---0110000010000000---为印刷校验数据，不是6080的点都是错印(模糊位点的位点信息除外)；

0111---0000000100010001---为带有x坐标的数据；

2011---0010000000010001---为带有y坐标的数据；

c03a---1100000000111010---为二次印刷校验数据，不是c03a的点都是错印；

12---00010010---为长度校验数据，十六进制字符串的位数和，相当于18。此时位点信息为十六进制字符串，以2位数字为一组。

(d)十六进制式位点信息经第一通信模块310和第二通信模块320传递至终端控制模块400后，转换为可读的十进制式位点信息：

2470427382094921018，其中：

24704---6080---为印刷校验数据，此时无意义，

273---0111---x坐标的数据，

8209---2011---y坐标的数据，

49210---c03a---为二次印刷校验数据，此时无意义，

18---12---为长度校验数据，此时无意义。

此时位点信息为十进制字符串。

数据解码模块500将提取自视窗图像中的全部位点信息进行传递，第一通信模块310和第二通信模块320传递获取的全部位点信息，因而，终端控制模块400接收到的也是数据解码模块500获取的全部位点信息，此时，终端控制模块400采用提取自视窗图像中的设定位置处的单个位点110中的位点信息进行处理，确定运动物体的信息，其中，所述设定位置处的单个位点110称为有效位点。所述设定位置可为视窗图像中的任意指定位置，如设定位置为正方形视窗图像中的左上角、左下角、右上角或右下角。

在特殊情况下，如当背景地图100上的位点110被杂物覆盖或污染的情况下，图像采集模块200可能在某一时刻获得的视窗图像部分或全部不清晰，此时数据解码模块500将不清晰部分中的位点信息以全0或全1的形式转码为二进制字符串。其中，被杂物覆盖或污染的位点110称为模糊位点。

在视窗图像中出现模糊位点的情况下，本发明通过以下步骤对视窗图像中的位点信息进行处理：

(1)终端控制模块400还具有位点信息识别功能，通过终端控制模块400判断模糊位点是否包括有效位点；

(2)若模糊位点不包括有效位点，对终端控制模块400的数据处理不产生影响，终端控制模块400对模糊位点的位点信息不做处理；

(3)若模糊位点包括有效位点，终端控制模块400根据出现模糊位点时刻前一帧和后一帧接收到的位点信息以确定运动物体是处以静止状态或是移动状态；

(3a)若前一帧和后一帧接收到的全部位点信息相同且部分位点为非模糊位点，则认为运动物体是处以静止状态；

(3b)若前一帧和后一帧接收到的位点信息不同，则认为运动物体是处以移动状态；

(3c)若前一帧和后一帧接收到的位点信息相同且全部为模糊位点的位点信息，终端控制模块400无法判断运动物体的状态，则分别根据前二帧和后二帧接收到的位点信息进行判断；若前二帧和后二帧接收到的位点信息相同且均为模糊位点的位点信息，继续以之前或之后接收到的位点信息进行判断；若前十帧和/或后十帧收到的位点信息相同且均为模糊位点的位点信息，则终端控制模块400提示用户停止控制运动物体，以对运动物体及相关模块进行检查；

(4)若运动物体处于静止状态，终端控制模块400根据有效位点附近其他位点100的位点信息获得有效位点的位点信息；

(5)若运动物体处于移动状态，则终端控制模块400根据获得模糊位点信息的时刻(简称模糊时刻)之前设定数量帧、以及之后设定数量帧中获得的有效位点的位点信息，进一步确定模糊时刻运动物体进行直线运动或是弧线运动；所述设定数量帧为1～3帧；

(5a)若模糊时刻运动物体进行直线运动，则对模糊时刻有效位点的位点信息不做处理；

(5a)若模糊时刻运动物体进行弧线运动，则根据模糊时刻之前设定数量帧、以及之后设定数量帧中获得的有效位点的位点信息确定模糊时刻有效位点的位点信息；

其中，所述设定数量帧为1～3帧；

人的视觉暂留时间约为0.1至0.4s，而图像采集模块200的相邻两帧之间的时间约为0.02s，因此，选定模糊时刻前后1～3帧中有效位点的位点信息确定模糊时刻有效位点的位点信息后，对模糊时刻运动物体的位置进行补正，不会影响视觉效果。

(6)终端控制模块400根据确定的有效位点的位点信息对模糊时刻运动物体的位置进行补正。

本发明中系统通过上述步骤对模糊图像进行处理，在出现模糊位点时，可有效保证运动物体信息的确定及在显示终端的有效、合理定位。

实施例

实施例1

一种增强现实中快速实时获得运动物体信息的方法，其用于获得增强现实游戏中运动物体的信息，所述运动物体可为移动的坦克，该方法包括如下步骤：

1)将坦克置于背景地图上，背景地图上分布多个印有可识别位点信息的位点，所述位点信息以代表二进制字符的具有两种反射光强度的颜料图案的有序组合表示，其包含位点在地图中的位置信息；

2)通过设置在坦克底部的第一摄像头和第二摄像头获取坦克所在位置处对应的视窗图像，并将视窗图像传送至解码芯片(sonixsnc7312)；

其中，第一摄像头固定于坦克底部对称轴的中间位置，使其获得确定坦克位置信息和速度信息的视窗图像；第二摄像头固定于坦克对称轴上靠近头部的位置，通过两摄像头获取的视窗图像的组合确定运动物体的方向信息；

所述解码芯片接收第一摄像头和第二摄像头传递的视窗图像，对视窗图像中的位点信息进行识别、提取，将颜料图案的有序组合转码为二进制字符串，并进一步将二进制字符串转化为十六进制字符串，经安装在坦克上的蓝牙信号发射器、安装在手机(显示终端)上的蓝牙信号接收器后传递至终端处理器(终端控制模块)；；

3)终端处理器将获得的十六进制式位点信息进行处理，确定坦克在背景地图上的信息并将其在手机显示屏中定位，以十进制可视化信息对用户提供坦克的位置信息。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。