一种基于真实场景反馈和可触道具的增强现实交互方法与流程

本发明属于增强现实领域，特别涉及一种基于真实场景反馈和可触道具的增强现实交互方法。

背景技术：

增强现实是将现实空间中的多种信息(主要是空间的视觉信息)经摄像头读取之后，通过计算机视觉的方式进行重建，并将虚拟的信息叠加在其上的一种技术。增强现实可以给用户既不脱离于真实世界的多种通道反馈(视觉、声音等)，又提供了比真实世界更加丰富的(主要是视觉增强)体验。

随着计算机处理能力的提升，利用摄像头能够通过图像开始实时重建用户所看到的真实世界，并且用户可以开始在拍摄的真实世界中匹配虚拟的物体，这个虚拟的物体可以实时的感知真实空间的位置、构成和光线，给用户提供一种接近于真实的体验。

可以想见的是，未来的增强现实技术的发展将会更加的快速，增强现实的实现方式也将从传统的视频叠加变成增强光学透视的方法，让虚拟的信息直接投射进用户的眼睛当中。可穿戴设备的普及和运算能力的增强，让用户时时刻刻佩戴可穿戴的增强现实设备(如眼镜)逐渐成为可能。在不久的将来，可能将会面临一个许多人看到的世界都是被增强的社会，在这个被增强的社会中，虚拟信息在其中发挥着越来越重要的作用，人们将不再是传统的以物理条件进行交互，很有可能会变成“真实-虚拟-真实”的交互模式，如何更自然地与虚拟世界互动，而真实世界又如何响应虚拟世界的交互，变成了亟需考虑的问题。为了实现这一目的，mit的博士研究生judithamores也有过类似的探索，judithamores开发了一款游戏invisiblehighway(隐形高速公路)，该游戏是一个通过绘制ar来控制真实世界物体的实验，用户只需在手机上沿着底边铺设一条路径，机器小车就会沿着用户绘制的公路行驶，公路还会生成美丽的风景，形成一种从真实世界和增强现实世界不同的观看角度和景观。这个交互方式的弊端是：用户交互依旧相对单一，用户只能通过手机绘制路线，没有与真实世界的直接交互；反馈方式相对单一，只有行进小车与虚拟景象的移动反馈，缺少更大尺度的反馈。

目前商用级增强现实的交互方式主要为以下两种：一个是通过标识物(marker)识别来叠加信息，一个是通过真实世界追踪来叠加信息。可是仅仅叠加信息实则是对于增强现实的某种程度的简化。在常规交互世界中，用户可以通过眼睛、手和其他感官等多种方式去感受，而增强现实目前仅能满足单一通道反馈的强化，即视觉通道反馈的强化。

综上，现阶段对于增强现实的观看方式可以总结为：识别真实世界-锚定(在真实的世界中创造一个中心点，后续信息的叠加以该锚定点展开)-叠加虚拟信息。而交互方式还只是屏幕点击虚拟物体-虚拟物体相应的模式，这还远远没有达到对于现实深度增强的程度，沉浸感也是不够的。

技术实现要素：

本发明的目的是为了克服已有技术的不足之处，提出一种增强现实的交互方法及装置，本发明结合可触道具和真实场景的反馈能够使虚拟和真实信息之间的融合更好，从而为用户提供更好的沉浸感。

为了实现上述目的，本发明采用如下技术方案：

本发明提出的一种基于真实场景反馈和可触道具的增强现实交互方法，其特征在于，在真实场景中设有参照物、可触道具、控制参照物移动的舵机和舵机控制器；所述增强现实交互方法包括以下步骤：

1)利用交互设备对获取的真实场景图像进行三维建模，通过交互设备接收用户对真实场景图像中的虚拟物模型的选定指令；通过交互设备将参照物平面均分为若干个区块并对区块进行编号，每个区块对应一组舵机控制参数；所述真实场景图像通过交互设备的摄像头采集，所述真实场景图像及所述虚拟物品模型通过交互设备的屏幕显示；

2)在三维模型中添加虚拟物模型，并且在交互设备的屏幕上显示；用户通过交互设备改变虚拟物模型的空间位置使其位于参照物的表面；通过虚拟物模型的空间位置坐标判断该虚拟物模型位于参照物表面的哪一区块，交互设备将区块编号、虚拟物的质量、尺寸和位置信息发送给舵机控制器，舵机控制器控制舵机转动相应的控制参数；

3)用户在真实场景内的参照物表面上放置所述可触道具，通过交互设备的摄像头采集可触道具的位置及其对应的平面区块；用户改变真实场景中可触道具在参照物表面上的位置，交互设备同时读取虚拟物模型与可触道具的位置信息，计算出两类物体在重力作用下参照物平面的转动角度所对应的舵机控制参数，发送信号给舵机控制器并控制舵机转动以此带动参照物表面转动相应角度，以模拟虚拟物模型对于平面的作用力，实现增强现实的交互。

本发明的特点及有益效果：

本发明提出了一种增强现实的交互方法，结合可触道具和真实场景反馈来提升增强现实的体验，具体表现在：

对于真实场景反馈：在传统的增强现实交互模式中，用户只能看到增强现实环境中的视觉反馈(如透过屏幕看到桌面上看到一个小人，小人可以移动)，但是本发明中虚拟物(如虚拟的小人)的移动还可以反过来影响真实场景(如真实场景中平面的倾斜角度)，从而提升增强现实环境的沉浸感。技术部分，使用程序unity搭载vuforia(unity的支持库)实现了让虚拟物位于真实场景的平面上，然后使用unity与舵机控制器通信，并让舵机控制器控制舵机，通过舵机的偏转来实现真实场景中平面的倾斜。

对于可触道具：在传统的增强现实交互模式中，用户只能透过屏幕与虚拟物交互，或者透过手势识别，隔空和虚拟人物进行交互。但是在本发明中，用户可以透过移动真实的可触道具来影响虚拟物，本发明通过检测可触道具的位置，在虚拟世界中创建一个同坐标的虚拟物体，从而影响虚拟物在空间中的移动和属性。技术部分，使用unity搭载vuforia的virtualbutton来实现了可触道具的虚拟空间属性。

本发明提出的增强现实交互方法还可以应用到交互叙事(ar互动电影等)、交互装置和教育与游戏领域，本装置本就是一个可以观众参与的游戏，这种交互所带来的体验和传统的街机游戏有些类似但是更有特色。而多角度观看的特点、增强前和增强后的特点，人物和场景的设置都给交互叙事空间(如ar互动电影、科普装置)的设计提供了更多可能性。

附图说明

图1是本发明提出的一种增强现实的交互方法的整体流程图；

图2是本发明实施例的应用场景示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了更好地理解本发明，以下详细阐述一个本发明一种基于真实场景反馈和可触道具的增强现实交互方法的应用实例。

本发明提出的一种基于真实场景反馈和可触道具的增强现实交互方法，其整体流程如图1所示，本发明的应用场景如图2所示。在真实场景中设有参照物(如图2中所示的真实桌子)、可触道具(如图2中所示的真实道具)、控制参照物移动的舵机和舵机控制器(所述舵机和舵机控制器在图2中未示意出)。用户(如图2中所示真实观众)通过交互设备控制虚拟物来影响真实场景，而用户通过移动真实场景中的可触道具反过来影响虚拟物(如图2中所示虚拟小球和虚拟人物)，实现增强现实的交互。本发明方法包括以下步骤：

1)利用交互设备对获取的真实场景图像进行三维建模，通过交互设备接收用户对真实场景图像中的虚拟物模型(该虚拟物模型包含虚拟物的尺寸、质量和位置等信息)的选定指令；通过交互设备将参照物平面均分为若干个区块并对区块进行编号，每个区块对应一组舵机控制参数(转角、转速)。其中，所述真实场景内含有参照物(例如桌子等)，该参照物在真实场景中的空间位置由若干舵机控制(本实施例设有4个舵机)；所述真实场景图像通过交互设备的摄像头采集，所述真实场景图像及所述虚拟物品模型通过所述交互设备的屏幕显示。

交互设备可以是穿戴式，也可以是固定式(固定位置的屏幕显示)。交互设备中的摄像头采集真实场景图像。真实场景中的参照物桌子的角部分别通过舵机驱动来改变桌子表面的倾斜角度。各个舵机由arduino控制器控制各自的转动角度。各舵机控制器与交互设备进行通信，用于传输控制舵机的相关参数。

2)在三维模型中添加虚拟物模型，并且在交互设备的屏幕上显示；用户通过交互设备改变虚拟物模型的空间位置使其位于参照物的表面，本实施例中通过unity程序搭载其支持库vuforia实现了让虚拟物位于真实场景模型的平面上；通过虚拟物模型的空间位置坐标判断该虚拟物模型位于参照物表面的哪一区块，交互设备将区块编号，虚拟物的质量、尺寸与位置信息发送给舵机控制器，舵机控制器控制舵机转动相应的控制参数(转角、转速)。如本实施例中，交互设备根据其内摄像头采集的真实场景图像建立一个100cm×100cm的网格用于模拟参照物表面，当交互设备判定虚拟物在参照物表面的位置为(60，30)，虚拟物的质量为1kg和尺寸为2cm×2cm时，交互设备将这3个参数发送给内置有unity程序的电脑，由unity程序进行数据处理后发送给舵机控制器，舵机控制器判定4个舵机转动角度分别为：1号舵机的转角10°、2号舵机的转角30°、3号舵机的转角为0、4号舵机的转角为10，速度均为π/18(rad/s)。

3)用户在真实场景内的参照物表面上放置可触道具(可以是带有marker的小方块，通过带marker的小方块可使摄像头更好的识别可触道具所在位置)，通过交互设备的摄像头采集可触道具的位置及其对应的平面区块，用户改变(可以是用手移动)真实场景中可触道具在参照物表面上的位置，交互设备同时读取虚拟物模型与可触道具的位置信息，计算出两类物体在重力作用下参照物平面的转动角度所对应的舵机控制参数(转角、转速)，发送信号给舵机控制器并控制舵机转动以此带动参照物表面转动相应角度，以模拟虚拟物模型对于平面的重力作用，实现增强现实的交互。

本发明的上述增强现实交互方法可应用于应用于科普教育、游戏、展览展示等多种场景，以科普教育为例，可实现杠杆原理的生动化呈现：

在三维空间场景中设置一个由舵机控制的跷跷板，用户通过交互设备对跷跷板进行三维建模，并添加虚拟物品模型在交互设备的屏幕中呈现，用户可以为虚拟物品模型设置质量参数。用户放置一个可触道具在跷跷板上，交互设备识别可触道具与虚拟物模型的相对位置，可触道具被赋予固定的质量参数。交互设备计算虚拟物品模型与可触道具的相对位置(力臂)，及其被赋予的虚拟质量(或重力)，结合杠杆原理，计算出跷跷板的倾斜角度，并发送给舵机控制器，舵机控制器控制舵机转动效应的角度(或转角)。用户可以灵活的改变虚拟物模型和可触道具的位置和质量参数，以灵活生动地呈现杠杆原理。

综上所述，本发明提供了一种包含真实场景反馈和可触道具的增强现实交互方法，该方法区别于传统的增强现实交互方式，虚拟人物可以影响真实世界，而真实世界的可触道具又可以反过来影响虚拟世界，这和传统的基于屏幕的增强现实交互方式有所区别，经过实验现实，这样的交互方式具有更好的沉浸感。整体提升用户在增强现实环境中的空间感知、参与度、生态效度和满意度。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。