结合传感器与Unity3D的定点移动增强现实方法
【专利说明】结合传感器与Unity3D的定点移动増强现实方法
[0001]
技术领域
[0002]本发明涉及图像处理领域，具体地，涉及一种结合传感器与Unity3D的定点移动增强现实方法。
【背景技术】
[0003]增强现实是一种将虚拟信息，包括文字、图像、虚拟物体等，添加到实际场景中的技术。在一套完整的增强现实系统中，核心技术包括了显示技术、注册技术和交互技术。其中，为了实现虚实之前无缝的连接，注册技术是关键，因此成为了增强现实研究领域的最大热点之一。所谓注册技术，就是研究如何在正确的地方或合适的时间将虚拟信息显示出来。目前常用的注册技术主要以特征点识别为主，即在室内的不同位置布置标记点，通过移动终端的摄像头扫描这些标记点获取感兴趣的位置信息，进而触发虚拟信息的显示。通过这种方法基本上可以实现虚拟场景与真实场景的精确对接，但是对于场景中存在的环境变量，如光线、阴影、遮挡等因素，不具有很强的鲁棒性，因此可能会出现识别错误或无法识别的情况。而本发明从另一个角度出发，以移动设备与注册地点的姿态方位为识别点，屏蔽了环境变化带来的干扰，进而实现虚实的融合。
[0004]目前一般的移动增强现实系统中，分为基于硬件设备的跟踪注册技术，基于视觉的跟踪注册技术，以及综合上述两种的混合式跟踪注册技术。(I)基于硬件设备的跟踪注册技术主要是通过传感设备来测量摄像机实时的运动姿态与位置，以此作为触发虚拟信息出现的判断依据。这就可以避免一些环境因素，如光照、阴影带来的干扰。但是随着设备的长时间使用，会无法避免的因为硬件本身的局限性而产生误差，使得虚拟场景越来越偏离现实场景而无法融合。这是这种跟踪注册技术的缺陷性，目前只能通过不断提高硬件设备的制作工艺或使用一些新型材料来解决。(2)基于视觉的跟踪注册技术主要是以跟踪识别自然特征或辅助标识点来触发虚拟物体的出现。这样就可以解决基于硬件设备跟踪注册技术中由于硬件自身限制而导致的机械误差，然而因此产生的问题便是大量的计算。在基于自然特征的注册技术中，系统必须识别现实场景中存在的大量视觉信息，并且要保证这些视觉信息的完整性，即不能出现信息被遮挡的情况。因此这种技术只能适用于小范围、简单环境中的增强现实，否则难以达到注册要求的实时性与精确性。而基于辅助标志点的注册技术，核心点在于构造出一个具有特殊几何特征的标志点，目前常用是二维码注册。这种注册方法既解决了关于硬件设备局限性的问题，又解决了自然特征点大信息量的问题，是如今增强现实系统中最常用的注册技术。但是由于这种技术需要提供额外的人工标志点，会或多或少地造成现实场景的不自然性和不和谐感。另外，在利用辅助标志点注册的增强现实系统中，有几个需要解决的问题:如何定位到图像中的标志点？定位后怎么识别特征点？如何可以快速有效地匹配特征点？(3)混合式跟踪注册技术利用硬件跟踪技术完成一个大致范围内的定位，再通过视觉注册技术实现精确的虚实对接。目前，美国南加州大学的研究小组Yousuya通过将惯性跟踪器与视觉相结合的方法完成了高精度的三维跟踪注册。奥地利格拉茨理工大学的Thomas等人则利用光学跟踪与电磁跟踪相混合的形式，使注册精度与单一通过光学或电磁跟踪时减少了一个数量级。然而这些混合式跟踪注册技术目前还没有成熟应用。
【发明内容】
[0005]本发明的目的在于，针对上述问题，提出一种结合传感器与Unity3D的定点移动增强现实方法，以克服硬件局限和计算量大的问题。
[0006]为实现上述目的，本发明采用的技术方案是:
一种结合传感器与Unity3D的定点移动增强现实方法，包括，
步骤一、利用Unity 3D中的WebCamTexture类获取摄像头图像，从而实时地将摄像头捕捉到的图像作为纹理贴到虚拟场景的物体上，实现增强现实系统中实际场景的获取，从而把现实场景与虚拟场景放在同一个空间内；
步骤二、利用设备中的Gyroscope传感器控制虚拟摄像机在虚拟场景中的绕轴旋转动作，从而实现虚拟摄像机与实际设备同步同姿态的运动；
步骤三、利用设备中的Orientat1n传感器进行设备方向偏差上的校正，对上述Gyroscope传感器产生的硬件误差进行校正。
[0007]优选的，上述步骤一具体为:创建Plane平面，且该Plane平面铺满整个设备显示屏，将获取的摄像头图像贴在Plane平面上，从而将获取的摄像头图像映射到Plane平面。
[0008]优选的，所述步骤二具体为:用Gyroscope传感器获取的设备角加速度值控制虚拟摄像机的旋转运动，即定义一个公共类型的对象变量来装载虚拟摄像机，在对象变量内有一个控制对象旋转的旋转变量，可以用来操控摄像机的绕轴运动，根据虚拟摄像机在Unity3D中的三轴位置关系，将Gyroscope传感器x、y、z上的值对应地分别赋给旋转变量。
[0009]优选的，使用Gyroscope传感器获取的设备角加速度值判断设备运动的判断条件为，前后两帧角加速度绝对差值以0.01为界，大于0.01则判定设备处于运动状态，反之则处于静止状态。
[0010]优选的，所述步骤三具体为:在增强现实系统启动的初始阶段记录设备的一次方向数值，作为校正的标准即原始数值，之后每一帧都会获取一次方向数值，并与原始数值比较，如果数值相同或在一段可允许的波动范围内则判定设备已回归到初始位置，于是将虚拟摄像机恢复到初始位置，并归零之前计算积累的旋转角度值。
[0011]优选的，上述数值相同或在一段可允许的波动范围内则判定实际设备已回归到初始位置中，波动范围为±2°。
[0012]本发明的技术方案具有以下有益效果:
本发明的技术方案，利用事前获取的虚实之间的角度关系作为一种新型的视觉信息，通过Gyroscope传感器连接虚拟摄像机与实际摄像头，从而实现一套基于混合式跟踪注册的定点移动增强现实方法，从而克服了现有技术存在的硬件局限性、计算量大以及造成现实场景的不自然性和不和谐感的问题。
[0013]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
【附图说明】
[0014]图1为本发明实施例所述的第一格画面；
图2为本发明实施例所述的手机向右30°画面；
图3为本发明实施例所述的手机向左30°画面；
图4和图5为手机向左40°画面；
图6a为手机0°画面；
图6b为Unity中0°画面；
图7a为手机向左30°画面；
图7b为Unity中向左30。画面；
图8a为手机向左45°画面；
图8b为Unity中向左45。画面；
图9a为手机向左60°画面；
图9b为Unity中向左60。画面；
图1Oa为手机向右30°画面；
图1Ob为Unity中向右30。画面；
图1la为手机向右45°画面；
图1lb为Unity中向右45。画面；
图12a为手机向右60°画面；
图12b为Unity中向右60。画面；
图13为本发明实施例所述的结合传感器与Unity3D的定点移动增强现实方法的流程图。
【具体实施方式】
[0015]以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0016]如图13所示，一种结合传感器与Unity3D的定点移动增强现实方法，包括，
步骤一、利用Unity 3D中的WebCamTexture类获取摄像头图像，从而实时地将摄像头捕捉到的图像作为纹理贴到虚拟场景的物体上，实现增强现实系统中实际场景的获取，从而把现实场景与虚拟场景放在同一个空间内；
步骤二、利用设备中的Gyroscope传感器控制虚拟摄像机在虚拟场景中的绕轴旋转动作，从而实现虚拟摄像机与实际设备同步同姿态的运动；
步骤三、利用设备中的Orientat1n传感器进行设备方向偏差上的校正，对上述Gyroscope传感器产生的硬件误差进行校正。
[0017]步骤一具体为:创建Plane平面，且该Plane平面铺满整个设备显示屏，将获取的摄像头图像贴在Plane平面上，从而将获取的摄像头图像映射到Plane平面。
[0018]步骤二具体为:用Gyroscope传感器获取的设备角加速度值控制虚拟摄像机的旋转运动，即定义一个公共类型的对象变量来装载虚拟摄像机，在对象变量内有一个控制对象旋转的旋转变量，可以用来操控摄像机的绕轴运动，根据虚拟摄像机在Unity3D中的三轴位置关系，将Gyroscope传感器x、y、z上的值对应地分别赋给旋转变量。
[0019]使用Gyroscope传感器获取的设备角加速度值判断设备运动的判断条件为，前后两帧角加速度绝对差值以0.01为界，大于0.01则判定设备处于运动状态，反之则处于静止状态。
[0020]步骤三具体为:在增强现实系统启动的初始阶段记录设备的一次方向数值，作为校正的标准即原始数值，之后每一帧都会获取一次方向数值，并与原始数值比较，如果数值相同或在一段可允许的波动范围内则判定设备已回归到初始位置，于是将虚拟摄像机恢复到初始位置，并归零之前计算积累的旋转角度值。数值相同或在一段可允许的波动范围内则判定实际设备已回归到初始位置中，波动范围为±2°。
[0021]本发明技术方案具体实施如下:
(O使用WebCamTexture类获取摄像头图像。WebCamTexture是Unity 3D中属于Texture的一种特殊贴图，可以实时