增强现实交互方法及装置与流程

文档序号:15491123发布日期:2018-09-21 20:35阅读:244来源:国知局

本申请涉及增强现实交互技术领域,具体而言,涉及一种增强现实交互方法及装置。



背景技术:

在各类游戏、软件的操作过程中,为了便于用户之间进行互动,提高游戏、软件操作的乐趣,会为用户提供在增强现实KIT模式虚拟物件抓取和放下的功能。

在增强现实KIT模式下,结合unity3D技术实现抓取和移动虚拟物件,这样的虚拟物件抓取和放下的功能,能够在抓取过程中,体验虚拟物件不同视角上的位置、角度变化信息。

在实现本发明的过程中,发明人发现相关技术存在以下问题:现有的增强现实KIT模式移动表现形式比较单一,用户无法根据爱好或者偏好选择对应的抓取的功能,使得应用功能受到限制,无法很好的实现用户的互动。

针对相关技术中存在的问题,目前尚未提出有效的解决方案。



技术实现要素:

本申请的主要目的在于提供一种增强现实交互方法及装置,以解决相关技术中存在的问题。

为了实现上述目的,根据本申请的一个方面,提供了一种增强现实交互方法及装置。

根据本申请的增强现实交互方法包括:

接收用户对真实场景图像中的虚拟物品模型的选定指令;其中,所述真实场景图像通过交互设备的摄像头采集,所述真实场景图像及所述虚拟物品模型通过所述交互设备的屏幕显示;

根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系;

实时接收对所述虚拟物品模型进行移动的移动信息;

根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中的角度进行调整。

进一步的,如前述的增强现实交互方法,在实时接收所述选定指令在所述屏幕上的移动信息的同时,还包括:

在所述交互设备发生行动操作时,实时调取所述交互设备的行动参数;所述行动参数包括:移动参数和转动参数;并根据所述交互设备的行动实时更新所述真实场景图像;

根据所述交互设备的行动参数以及所述移动信息调整所述虚拟物品模型在更新后的所述真实场景图像中和交互设备的屏幕中的姿态。

进一步的,如前述的增强现实交互方法,所述根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中和交互设备的屏幕中角度进行调整,包括:

根据所述移动参数生成所述虚拟物品模型的移动参数;根据所述转动参数以及所述移动信息生成所述虚拟物品模型的转动参数;

根据所述虚拟物品模型的移动参数调整所述虚拟物品模型在更新后的所述真实场景图像中的位置,并保持所述虚拟物品模型在所述屏幕中的位置不变;

根据所述虚拟物品模型的转动参数调整所述虚拟物品模型在所述屏幕中及更新后的真实场景图像中的角度。

进一步的,如前述的增强现实交互方法,还包括:

预先获得所述真实场景图像;

调取所述虚拟物品模型;

将所述虚拟物品模型整合到所述真实场景图像中。

进一步的,如前述的增强现实交互方法,所述将所述虚拟物品模型整合到所述真实场景图像中,包括:

识别出所述真实场景图像中的平面;

将所述虚拟物品模型整合到所述真实场景图像中的平面上。

进一步的,如前述的增强现实交互方法,在根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系之后,还包括:

将所述虚拟物品模型转换为伪2D模型;

确定所述真实场景图像中的垂直方向;

将所述伪2D模型在所述真实场景图像中向所述垂直方向上方移动。

进一步的,如前述的增强现实交互方法,在结束对所述虚拟物品模型的抓取之后,还包括:

将所述伪2D模型还原为虚拟物品模型;

使所述虚拟物品模型进行自动掉落,并设于所述垂直方向下方的支撑面上。

为了实现上述目的,根据本申请的另一方面,提供了一种增强现实交互装置。

根据本申请的增强现实交互装置包括:

抓取识别单元,用于接收用户对真实场景图像中的虚拟物品模型的选定指令;其中,所述真实场景图像通过交互设备的摄像头采集,所述真实场景图像及所述虚拟物品模型通过所述交互设备的屏幕显示;

解除整合单元,用于根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系;

位置识别单元,用于实时接收对所述虚拟物品模型进行移动的移动信息;

角度调整单元,用于根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中和交互设备的屏幕中角度进行调整。

进一步的,如前述的增强现实交互装置,还包括:行动参数调取单元;所述行动参数调取单元包括:

行动参数调取模块,用于在所述交互设备发生行动操作时,实时调取所述交互设备的行动参数;所述行动参数包括:移动参数和转动参数;并根据所述交互设备的行动实时更新所述真实场景图像;

姿态调整模块,用于根据所述交互设备的行动参数以及所述移动信息调整所述虚拟物品模型在更新后的所述真实场景图像中和交互设备的屏幕中的姿态。

进一步的,如前述的增强现实交互装置,所述姿态调整模块包括:

参数生成子模块,用于根据所述移动参数生成所述虚拟物品模型的移动参数;根据所述转动参数以及所述移动信息生成所述虚拟物品模型的转动参数;

位置调整子模块,用于根据所述虚拟物品模型的移动参数调整所述虚拟物品模型在更新后的所述真实场景图像中的位置,并保持所述虚拟物品模型在所述屏幕中的位置不变;

角度调整子模块,用于根据所述虚拟物品模型的转动参数调整所述虚拟物品模型在所述屏幕中及更新后的真实场景图像中的角度。

在本申请实施例中,采用识别选定指令在所述屏幕上的移动信息对所述虚拟物品模型在所述真实场景图像中和交互设备的屏幕中角度进行调整的方式,通过接收用户对真实场景图像中的虚拟物品模型的选定指令;根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系;实时接收对所述虚拟物品模型进行移动的移动信息;根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中和交互设备的屏幕中角度进行调整;在调整结束,并不再接收到所述选定指令后,结束对所述虚拟物品模型的抓取,并恢复所述虚拟物品模型与所述真实场景图像的整合关系。达到了通过通过手势的滑动从而实现在抓取过程中,体验虚拟物件不同视角上的位置、角度变化信息的目的,从而实现了一种新型的增强现实的交互方法的技术效果,进而解决了由于相关技术中针对虚拟物品模型移动表现形式比较单一,用户无法根据爱好或者偏好选择对应的抓取的功能,使得应用功能受到限制,无法很好的实现用户的互动的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请一种实施例的方法流程示意图;

图2是根据本申请又一种实施例的交互方法流程示意图;

图3是根据本申请再一种实施例的交互方法流程示意图;以及

图4是根据本申请一种实施例的装置模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。

并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本发明中的具体含义。

此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例,提供了一种增强现实交互方法,如图1所示,该方法包括如下的步骤S1至步骤S5:

S1.接收用户对真实场景图像中的虚拟物品模型的选定指令;其中,所述真实场景图像通过交互设备的摄像头采集,所述真实场景图像及所述虚拟物品模型通过所述交互设备的屏幕显示;一般的,所述虚拟物品模型以3D的形式呈现,在针对所述屏幕是触摸屏幕的情况下,所述选定指令可以是通过长按屏幕得到;且在长按屏幕的方式进行抓取所述虚拟物品模型后;

S2.根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系;具体的,当未接收到所述选定指令时,无论交互设备如何移动,所述虚拟物品模型与所述第一真实场景图像之间的相对位置关系都保持固定,因此呈现出整合关系;

S3.实时接收对所述虚拟物品模型进行移动的移动信息;具体的,在所述屏幕是触摸屏幕的情况下,本步骤为,在通过手指长按屏幕抓取起所述虚拟物品模型后,此时手指在不离开屏幕的情况下(即保持触摸操作使得持续发送选定指令),左右/上下滑动屏幕;

S4.根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中的角度进行调整;具体的,在所述屏幕是触摸屏幕的情况下,虚拟物品模型根据手指滑动方向发生自转,具体的旋转方向与手指滑动方向之间的对应关系可以根据具体操作方法自由设置,通过该实施例步骤可以达到调整角度的效果。

在一些情况中,还可以包括步骤S5,用于在调整结束,并不再接收到所述选定指令后,结束对所述虚拟物品模型的抓取,并恢复所述虚拟物品模型与所述真实场景图像的整合关系。一般的,在所述屏幕是触摸屏幕的情况下,当无法检测到对所述虚拟物品模型的触摸操作,便判定为不在接收到所述选定指令;然后就恢复所述虚拟物品模型与所述真实场景图像的整合关系。

在一些实施例中,如前述的增强现实交互方法,如图2所示,在所述步骤 S3实时接收所述选定指令在所述屏幕上的移动信息的同时,还包括:

3a.在所述交互设备发生行动操作时,实时调取所述交互设备的行动参数;所述行动参数包括:移动参数和转动参数;并根据所述交互设备的行动实时更新所述真实场景图像;优选的,可以通过检测或调取所述交互设备的陀螺仪的参数得到所述移动参数和转动参数;一般的,所述移动参数为所述交互设备移动的距离及方向;所述转动参数为所述交互设备转动的角度;并且,易知的,随着所述交互设备的移动;由所述交互设备的摄像头采集的真实场景图像也会发生变化;

4a.根据所述交互设备的行动参数以及所述移动信息调整所述虚拟物品模型在更新后的所述真实场景图像中和交互设备的屏幕中的姿态;优选的,实施例是为了通过移动交互设备达到移动所述虚拟物品模型的目的,因此所述虚拟物品模型总是会随着交互设备的移动出现在当前的摄像头采集的真实场景图像中,即:保持抓取后的所述虚拟物品模型在当前屏幕中的位置不变;否则无法得知所述虚拟物品模型的实时位置,便无法进行准确的移动。

在一些实施例中,如前述的增强现实交互方法,如图3所示,所述步骤 S4根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中和交互设备的屏幕中角度进行调整;包括:

S41.根据所述移动参数生成所述虚拟物品模型的移动参数;根据所述转动参数以及所述移动信息生成所述虚拟物品模型的转动参数;

S42.根据所述虚拟物品模型的移动参数调整所述虚拟物品模型在更新后的所述真实场景图像中的位置,并保持所述虚拟物品模型在所述屏幕中的位置不变;

S43.根据所述虚拟物品模型的转动参数调整所述虚拟物品模型在所述屏幕中及更新后的真实场景图像中的角度。

通过该实施例中的方法可以实现下述操作方法:

本实施例中方法,将图1所述方法与图2所示方法结合,用于在移动屏幕 (即交互设备)的过程中,以屏幕作为参照物,虚拟物品模型的位置在屏幕中不发生变化,且角度不会发生转动,此时手指在不离开屏幕的情况下,左右/ 上下滑动屏幕,虚拟物件根据滑动方向发生自转,以达到调整角度的效果。以现实空间为参照物,虚拟物件位置发生变化,而角度则根据屏幕转动和在拖动过程中手指在屏幕的滑动而综合作出相应的改变。

在一些实施例中,如前述的增强现实交互方法,还包括:

预先获得所述真实场景图像;

调取所述虚拟物品模型;

将所述虚拟物品模型整合到所述真实场景图像中。

该实施例用于事先配置对应的虚拟物品模型,并将其与现实空间的真实场景图像进行整合。

在一些实施例中,如前述的增强现实交互方法,所述将所述虚拟物品模型整合到所述真实场景图像中,包括:

识别出所述真实场景图像中的平面;

将所述虚拟物品模型整合到所述真实场景图像中的平面上。

采用该实施例,能够识别出场景图像的的平面,以使得虚拟物品模型能够完全贴合并整合到所述平面上,使其虚拟物品模型与所述第一真实场景图像能够有更好的结合效果,具有更强的真实性。

在一些实施例中,如前述的增强现实交互方法,在根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系之后,还包括:

将所述虚拟物品模型转换为伪2D模型;

确定所述真实场景图像中的垂直方向;

将所述伪2D模型在所述真实场景图像中向所述垂直方向上方移动。

采用该实施例的方法:由于一般所述虚拟物品模型采用3D模型,且可能存在多个3D模型的情况,而在抓取之后将其转换为伪2D模型,通过3D模型与伪2D模型之间的显示差异可以使操作者准确获知抓取起的对象,进而进行判断是否为所要进行操作的目标虚拟物品模型;同时将所述伪2D模型在所述真实场景图像中向所述垂直方向上方移动,可以营造出所述伪2D模型相对于未抓取前的位置更加靠近摄像头和屏幕的状态,呈现失去重力吸附在屏幕上的状态;使得抓取及视觉感官更加形象逼真。

在一些实施例中,如前述的增强现实交互方法,在结束对所述虚拟物品模型的抓取之后,还包括:

将所述伪2D模型还原为虚拟物品模型;

使所述虚拟物品模型进行自动掉落,并设于所述垂直方向下方的支撑面上。

采用该实施例的方法:由于一般所述虚拟物品模型采用3D模型,且可能存在多个3D模型的情况,而在抓取之后将其转换为伪2D模型,通过3D模型与伪2D模型之间的显示差异可以使操作者准确获知是否已经结束对所述虚拟物品模型的操作;同时使所述虚拟物品模型进行自动掉落,并设于所述垂直方向下方的支撑面上,可以营造出所述虚拟物品模型相对于抓取过程中的伪 2D模型的位置更加远离摄像头和屏幕的状态,使得放下的视觉感官更加形象逼真。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例,还提供了一种用于实施上述增强现实交互方法的增强现实交互装置,如图4所示,该装置包括:

根据本申请的增强现实交互装置包括:

抓取识别单元1,用于接收用户对真实场景图像中的虚拟物品模型的选定指令;所述真实场景图像通过交互设备的摄像头进行采集,所述真实场景图像及所述虚拟物品模型通过所述交互设备的屏幕显示;

解除整合单元2,用于根据所述选定指令解除所述虚拟物品模型与所述真实场景图像的整合关系;

位置识别单元3,用于实时接收对所述虚拟物品模型进行移动的移动信息;

角度调整单元4,用于根据所述移动信息,对所述虚拟物品模型在所述真实场景图像中的角度进行调整。

在一些实施例中,还包括:恢复整合单元5,用于在调整结束,并不再接收到所述选定指令后,结束对所述虚拟物品模型的抓取,并恢复所述虚拟物品模型与所述真实场景图像的整合关系。

具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。

在一些实施例中,如前述的增强现实交互装置,还包括:行动参数调取单元;所述行动参数调取单元包括:

行动参数调取模块,用于在所述交互设备发生行动操作时,实时调取所述交互设备的行动参数;所述行动参数包括:移动参数和转动参数;并根据所述交互设备的行动实时更新所述真实场景图像;

姿态调整模块,用于根据所述交互设备的行动参数以及所述移动信息调整所述虚拟物品模型在更新后的所述真实场景图像中和交互设备的屏幕中的姿态。

具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。

在一些实施例中,如前述的增强现实交互装置,所述姿态调整模块包括:

参数生成子模块,用于根据所述移动参数生成所述虚拟物品模型的移动参数;根据所述转动参数以及所述移动信息生成所述虚拟物品模型的转动参数;

位置调整子模块,用于根据所述虚拟物品模型的移动参数调整所述虚拟物品模型在更新后的所述真实场景图像中的位置,并保持所述虚拟物品模型在所述屏幕中的位置不变;

角度调整子模块,用于根据所述虚拟物品模型的转动参数调整所述虚拟物品模型在所述屏幕中及更新后的真实场景图像中的角度。

具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。

显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1