一种AR互动方法、装置、设备及存储介质与流程

文档序号:30071880发布日期:2022-05-18 02:16阅读:129来源:国知局
一种AR互动方法、装置、设备及存储介质与流程
一种ar互动方法、装置、设备及存储介质
技术领域
1.本公开涉及ar技术领域,具体而言,涉及一种ar互动方法、装置、设备及存储介质。


背景技术:

2.随着科技的发展和进步,各种新技术的出现和不断发展,让人们的生活质量得到不断提高。增强现实(augmentedreality,ar)技术,是一种将虚拟信息与真实世界巧妙融合的技术,借助ar技术,人们可以通过特定设备,例如ar眼镜等,来感受现实世界映射到虚拟世界,从而可以实现在虚拟世界进行娱乐或互动等。
3.在通过ar技术进行娱乐或互动等体验时,大多是需要在特定场所,通过特定设备进行体验,具有较大的局限性。


技术实现要素:

4.本公开实施例至少提供一种ar互动方法、装置、设备及存储介质。
5.本公开实施例提供了一种ar互动方法,所述方法包括:
6.获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象;
7.基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作;
8.根据所述目标对象的动作,生成虚拟对象;
9.将所述虚拟对象与所述现实位置进行绑定保存。
10.本公开实施例中,借助终端所采集的视频图像,即可得到用户所创作的虚拟对象,进而将虚拟对象和现实位置进行绑定保存,从而实现ar互动,可以有效降低对特定设备的依赖,减少设备方面的造价消耗,还可以降低ar互动中对用户设备端中计算资源的消耗和依赖,可以降低ar互动门槛,简化ar互动的复杂度,增加ar交互的适用性和便利度,有利于提高用户的ar体验。
11.一种可选的实施方式中,基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,包括:
12.基于所述多张第一视频图像中的至少一张,提取图像特征;
13.基于所述图像特征,在所述现实场景对应的ar场景模型中进行匹配,得到所述目标对象在所述现实场景中的现实位置。
14.本公开实施例中,通过视频图像中的图像特征在所述现实场景对应的ar场景模型中进行匹配,得到所述目标对象在所述现实场景中的现实位置,可以保证得到的目标对象在所述现实场景中的现实位置的精准度。
15.一种可选的实施方式中,所述识别所述目标对象的动作,包括:
16.针对每张第一视频图像,确定所述目标对象在所述第一视频图像中的图像位置;
17.基于所述多张第一视频图像确定出的多个所述图像位置,确定所述目标对象的移
动轨迹;
18.基于所述移动轨迹,确定所述目标对象的动作。
19.本公开实施例中,通过图像中位置的识别即可确定目标对象的移动轨迹,从而确定目标对象的动作,识别方式简单有效,可以减少ar互动中对于特定设备的依赖,降低时间和地点对于ar互动的限制,简化ar互动对于用户的复杂度。
20.一种可选的实施方式中,所述根据所述目标对象的动作,生成虚拟对象,包括:
21.基于所述移动轨迹,生成虚拟对象,所述虚拟对象的轮廓与所述移动轨迹相匹配。
22.一种可选的实施方式中,在所述将所述虚拟对象与所述现实位置进行绑定保存之后,所述方法包括:
23.通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
24.本公开实施例中,可以直接通过用户端展示所述虚拟对象在所述现实场景中的ar效果画面,可以及时对用户进行反馈,减少对于特定呈现设备的依赖,降低ar互动的成本和复杂度,有利于提高用户的ar体验。
25.一种可选的实施方式中,在所述通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面之后,所述方法包括:
26.接收所述第一用户针对所述ar效果画面中所述虚拟对象的控制操作;
27.控制所述虚拟对象在所述ar效果画面中执行与所述控制操作对应的指令。
28.本公开实施例中,通过控制所述虚拟对象在所述现实场景中执行与所述控制操作对应的指令,可以有效增加用户使用时的互动性。
29.一种可选的实施方式中,在所述将所述虚拟对象与所述现实位置进行绑定保存之后,所述方法还包括:
30.获取所述第一用户端采集的第二视频图像;
31.识别所述第二视频图像中的场景位置是否与所述现实位置一致;
32.若一致,获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象;
33.通过所述第一用户端向第一用户展示所述目标虚拟对象在所述现实场景中的ar效果画面。
34.本公开实施例中,在采集的第二视频图像中的场景位置与第一视频图像中的现实位置一致的情况下,可以直接将与现实位置绑定的虚拟对象作为目标虚拟对象,进而向第一用户进行展示,可以有效实现ar互动中内容的存储、累积和调取,增加用户交互时的便利度。
35.一种可选的实施方式中,响应于所述与所述现实位置绑定保存的所述虚拟对象为多个,所述获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象,包括:
36.从多个所述虚拟对象中确定出预设数量的目标虚拟对象。
37.一种可选的实施方式中,在所述将所述虚拟对象与所述现实位置进行绑定保存之后,所述方法还包括:
38.响应于所述第一用户针对所述虚拟对象施加的允许共享操作,将所述虚拟对象设置为共享状态,以使第二用户能够调取观看所述虚拟对象。
39.本公开实施例中,可以通过将虚拟对象设置为共享状态,以使不同用户可以共享
彼此的虚拟对象,有效增加ar交互的适用性和联动性。
40.本公开实施例还提供一种ar互动装置,所述装置包括:
41.图像获取模块,用于获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象;
42.动作识别模块,用于基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作;
43.对象生成模块,用于根据所述目标对象的动作,生成虚拟对象;
44.对象存储模块,用于将所述虚拟对象与所述现实位置进行绑定保存。
45.一种可选的实施方式中,所述动作识别模块具体用于:
46.基于所述多张第一视频图像中的至少一张,提取图像特征;
47.基于所述图像特征,在所述现实场景对应的ar场景模型中进行匹配,得到所述目标对象在所述现实场景中的现实位置。
48.一种可选的实施方式中,所述动作识别模块具体用于:
49.针对每张第一视频图像,确定所述目标对象在所述第一视频图像中的图像位置;
50.基于所述多张第一视频图像确定出的多个所述图像位置,确定所述目标对象的移动轨迹;
51.基于所述移动轨迹,确定所述目标对象的动作。
52.一种可选的实施方式中,所述对象生成模块具体用于:
53.基于所述移动轨迹,生成虚拟对象,所述虚拟对象的轮廓与所述移动轨迹相匹配。
54.一种可选的实施方式中,所述装置还包括第一展示模块,所述第一展示模块具体用于:
55.通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
56.一种可选的实施方式中,所述装置还包括对象控制模块,所述对象控制模块用于:
57.接收所述第一用户针对所述ar效果画面中所述虚拟对象的控制操作;
58.控制所述虚拟对象在所述现实场景中执行与所述控制操作对应的指令。
59.一种可选的实施方式中,所述装置还包括第二展示模块,所述第二展示模块具体用于:
60.获取所述第一用户端采集的第二视频图像;
61.识别所述第二视频图像中的场景位置是否与所述现实位置一致;
62.若一致,获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象;
63.通过所述第一用户端向第一用户展示所述目标虚拟对象在所述现实场景中的ar效果画面。
64.一种可选的实施方式中,响应于所述与所述现实位置绑定保存的所述虚拟对象为多个,所述第二展示模块在用于获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象时,具体用于:
65.从多个所述虚拟对象中确定出预设数量的目标虚拟对象。
66.一种可选的实施方式中,所述装置还包括对象共享模块,所述共享模块具体用于:
67.响应于所述第一用户针对所述虚拟对象施加的允许共享操作,将所述虚拟对象设
置为共享状态,以使第二用户能够调取观看所述虚拟对象。
68.本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述ar互动方法中的步骤。
69.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述ar互动方法中的步骤。
70.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
71.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
72.图1为本公开实施例提供的一种ar互动方法的流程图;
73.图2为本公开实施例的一种采集现实场景的示意图;
74.图3为本公开实施例的一种第一视频图像的示意图;
75.图4为ar互动中的绘画示意图;
76.图5为本公开实施例提供的另一种ar互动方法的流程图;
77.图6为ar互动过程中效果展示的示意图;
78.图7为本公开实施例提供的一种ar互动装置的示意图之一;
79.图8为本公开实施例提供的一种ar互动装置的示意图之二;
80.图9为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
81.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
82.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
83.本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
84.经研究发现,在通过ar技术进行娱乐或互动等体验时,大多是需要在特定场所,通过特定设备进行体验,具有较大的局限性,且由于特定设备的限制,用户只能通过特定设备查看以及互动,在一定程度上用户的互动方法较单一。
85.基于上述研究,本公开提供了一种ar互动方法,通过借助终端所采集的视频图像,即可得到用户所创作的虚拟对象,进而将虚拟对象和现实位置进行绑定保存,从而实现ar互动,可以有效降低对特定设备的依赖和造价消耗,还可以降低ar互动中对用户设备端计算资源消耗和依赖,可以降低ar互动门槛,简化ar互动的复杂度,增加ar交互的适用性和便利度,有利于提高用户的ar体验。
86.为便于对本实施例进行理解,首先对本公开实施例所公开的一种ar互动方法进行详细介绍,本公开实施例所提供的ar互动方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备。在一些可能的实现方式中,该ar互动方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
87.请参阅图1,图1为本公开实施例提供的一种ar互动方法的流程图。如图1中所示,本公开实施例提供的ar互动方法,包括:
88.s101:获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象。
89.该步骤中,在用户想要进行ar互动时,可以使用第一用户端采集现实场景下的多张第一视频图像,例如,可以是采集一段包括目标对象的视频,然后从所述视频中提取关键帧,得到多张第一视频图像,也可以是如通过连续拍照等方式,直接采集目标对象的多张连续的第一视频图像,相应的,后台或者用于实现ar互动的装置,可以从所述第一用户端处获取采集的视频,进而解析得到多张第一视频图像,或者直接获取所述第一用户端采集的多张连续的第一视频图像。
90.其中,所述目标对象可以是人体部位,例如手指、手臂、腿等,也可以是指挥棒等道具或者物体。
91.示例性的,请同事参阅图2和图3,图2为本公开实施例的一种采集现实场景的示意图,图3为本公开实施例的一种第一视频图像的示意图,以用户在商场中逛街为例,用户在逛街的过程中,例如看到了一个装饰后的中央舞台,用户比较喜欢,想要在舞台上画一只猫,此时用户用手指作为进行作画的目标对象,然后通过手指对着舞台进行作画,同时,可以使用手机等终端拍摄手指作画的过程,从而采集到手指针对舞台作画的视频,进而可以将采集的视频上传到后台服务器或者后台中用于支持ar互动的装置处,后台可以从视频中进行关键帧提取,得到包含手指,即目标对象的多张第一视频图像。
92.s102:基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作。
93.该步骤中,在获取到所述多张第一视频图像之后,可以通过对所述多张第一视频图像的图像内容进行解析,从而可以识别出所述目标对象在所述现实场景中的现实位置,还可以识别出在所述多张第一视频图像中所述目标对象所呈现出的动作。
94.其中,所述目标对象在所述现实场景中的现实位置,可以是指所述目标对象指向的现实位置,也可以是指所述目标对象所处的现实位置。示例性的,例如图2和图3所示的示例中,如果在采集的多个第一视频图像中,手指位于舞台上空,并且在整个过程中,开始、过
程中或者结尾的部分没有明显的指向性等的,可以认为手指下方的舞台,即为目标对象所在的现实位置,再例如,用户无法靠近舞台,但是想要在舞台上画画进行ar互动,此时可以在采集第一视频图像的开始、过程中或者结尾的部分,给出明确的指示动作等,例如指向舞台上并停留一段时间等,那么从采集的多张第一视频图像中识别出指向舞台的指示后,可以将舞台作为手指的现实位置,即为目标对象所在的现实位置。
95.这里,对于识别所述目标对象在所述现实场景中的现实位置,可以是结合预先建立好的、所述现实场景对应的ar场景模型,将采集到的多张第一视频图像中的图像特征与所述ar场景模型进行特征匹配,来得出所述现实位置的实际位置信息,也可以是借助所述第一视频图像本身,例如结合所述第一视频图像中图像内容的景深信息,通过将所述第一视频图像的平面坐标加上景深信息,转换到所述现实场景下的世界坐标中,得到所述目标对象在所述现实场景中的现实位置的位置信息。
96.在一种可能实施方式中,在通过所述ar场景模型实现所述现实位置的确定时,可以是先基于所述多张第一视频图像中的至少一张,提取图像特征;然后基于所述图像特征,在所述现实场景对应的ar场景模型中进行匹配,得到所述目标对象在所述现实场景中的现实位置。
97.具体的,可以从多张第一视频图像中筛选出至少一张符合要求的图像,例如清晰度要求、图像精度要求等,然后从筛选出的图像中提取图像特征,例如能够表示所述目标对象的二维特征点,以及与所述目标对象具有对应位置关系的位置或者物品的二维特征点等,然后将提取到的图像中的二维特征点与预先建立好的ar场景模型中预存的三维点云进行比对,从而得到所述目标对象在所述ar场景模型中的虚拟位置,进一步的,由于ar场景模型中的三维点云是按照位置关系进行预存的,即其内容与所述现实场景是一一对应的,由此可以通过所述虚拟位置得到所述现实场景中的真实位置,这个真实位置即是所述目标对象在所述现实场景中的现实位置。
98.其中,所述ar场景模型,可以是预先建立好并存储与后台中的,在使用时,直接从后台调取即可,例如可以是通过激光雷达等点云采集设备预先采集的所述现实场景的三维点云,进而通过采集的三维点云所生成的ar模型,再例如可以是通过一些历史用户所采集的所述现实场景的场景图像,所生成的ar模型,此外,所述ar场景模型还可以是在所述用户需要进行ar互动时临时生成的,例如所述用户在想要进行ar互动时,需要使用ar场景模型,但是后台中并未存储有所述现实场景对应的ar场景模型,此时所述用户可以使用所述第一用户端接收后台发送的引导信息,借助引导信息采集多张所述现实场景的场景图像,然后将采集的场景图像上传到后台,以供后台生成所述现实场景的ar场景模型。相应的,通过历史用户采集的图像生成所述ar场景图像,也可以是向历史用户发送引导信息,引导历史用户采集所述现实场景的场景图像,进而通过历史用户采集的场景图像,生成所述ar场景图像。
99.进一步的,发送给所述第一终端的引导信息,可以包括多个采集点,以引导用户在各采集点采集现实场景中用于建立ar场景模型的多个场景图像,在得到用户采集的多个场景图像之后,可以通过采集的多个场景图像中的图像坐标,以及通过对多个场景图像中每两个场景图像中对应的特征点进行匹配得到多个匹配点,将匹配点还原在现实场景中的世界坐标下,进而通过还原后的坐标进行拼接得到现实场景中的ar场景模型,然后可以将建
立好的ar场景模型保存在服务器中,以便后续用户可以直接使用。
100.其中,在一种可能的实施方式中,在所述第一用户在进行互动,但当前环境未建模需要实时建模时,所述第一用户可以通过扫描现实场景中的二维码打开ar界面向服务器发送互动请求,服务器在接收到用户端的互动请求之后可以通过向客户端发送请求位置命令,在用户同意后获取到用户当前位置,进而向用户端发送引导信息,引导用户站在所述现实场景中的不同采集点采集用于建立ar场景模型的多个场景图像,进而将采集到的场景图像发送给服务器,进行建模。
101.其中,在识别所述目标对象的动作时,可以是根据所述目标对象在多张第一视频图像中的综合轨迹,得到所述目标对象的动作,还可以是根据所述目标对象在所述多张第一视频图像中各所述第一视频图像中的图像内容,例如手势内容等,确定所述目标对象的子动作,例如所述目标对象在所述多张第一视频图像中的连续两张内容分别为握拳和张开,则可以确定所述目标对象对应的动作。
102.在一种可能的实施方式中,对于通过多张第一视频图像,识别所述目标对象的动作,可以是针对每张第一视频图像,先确定所述目标对象在所述第一视频图像中的图像位置;然后基于所述多张第一视频图像确定出的多个所述图像位置,确定所述目标对象的移动轨迹;再基于所述移动轨迹,确定所述目标对象的动作。
103.这里,可以分别对多张第一视频图像中的每一张第一视频图像进行图像识别,来识别出所述目标对象在所述第一视频图像中的图像位置,然后可以对识别出的多个图像位置进行整合,得到所述目标对象在所述多个第一视频图像中的移动轨迹,最后,根据所述移动轨迹,即可得到所述目标对象的动作。
104.s103:根据所述目标对象的动作,生成虚拟对象。
105.其中,根据所述动作生成所述虚拟对象,可以是用户完全自由创造的对象,即由所述动作所绘制出的所述虚拟对象,也可以是用户通过预设动作与对象之间的映射关系,通过实际做出的所述动作调取而生成的所述虚拟对象。
106.在一种可能的实施例中,用户自由创造对象时,对于生成所述虚拟对象,可以是基于所述移动轨迹,生成虚拟对象,即在通过所述多张第一视频图像识别出的所述目标对象的移动轨迹的情况,可以将所述移动轨迹所描绘出的内容作为所述虚拟对象,所述虚拟对象的轮廓与所述移动轨迹相匹配。
107.示例性的,若所述目标对象的移动轨迹的形状为圆形,则对应的虚拟对象的轮廓也是圆形的。
108.示例性的,请参阅图4,图4为ar互动中的绘画示意图。如图4中,以目标对象为手指为例,通过计算机视觉技术从多张第一视频图像中识别用户的手指,并对手指的移动轨迹进行捕捉,得到手指的移动轨迹成一猫的形状的话,相应的,可以认为所述虚拟对象是用户画出的猫。
109.其中,所述虚拟对象是对照用户在所述现实场景中的绘画图像创建的ar图像。
110.s104:将所述虚拟对象与所述现实位置进行绑定保存。
111.该步骤中,可以将所述虚拟对象与所述现实位置进行绑定保存,以便在需要时呈现相应的虚拟效果。
112.此外,在生成所述虚拟对象,将所述虚拟对象保存之后,还可以设置所述虚拟对象
和所述用户端的快捷方式,以便于后续用户再拍到相同画面的视频图像可以直接显示该虚拟对象,或者直接通过所述快捷方式调取所述虚拟对象。
113.本公开实施例提供的ar互动方法,通过获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象;基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作;根据所述目标对象的动作,生成虚拟对象;将所述虚拟对象与所述现实位置进行绑定保存。
114.这样,借助终端所采集的视频图像,即可得到用户所创作的虚拟对象,进而将虚拟对象和现实位置进行绑定保存,从而实现ar互动,可以有效降低对特定设备的依赖,减少设备方面的造价消耗,还可以降低ar互动中对用户设备端中计算资源的消耗和依赖,降低ar互动门槛,简化ar互动的复杂度,增加ar交互的适用性和便利度,有利于提高用户的ar体验。
115.请同时参阅图5,图5为本公开实施例提供的另一种ar互动方法的流程图。如图5中所示,本公开实施例提供的ar互动方法包括:
116.s501:获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象。
117.s502:基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作。
118.s503:根据所述目标对象的动作,生成虚拟对象。
119.s504:将所述虚拟对象与所述现实位置进行绑定保存。
120.s505:通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
121.该步骤中,在得到所述虚拟对象之后,可以在服务器中调取与所述现实位置进行绑定保存的虚拟对象,并将对应的ar数据发送给所述第一用户端,进而通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
122.示例性的,请参阅图6,图6为ar互动过程中效果展示的示意图。如图6中,可以将所述虚拟对象在所述第一用户端中通过位置引导,直接展示在绑定的现实位置处,还可以是根据所述第一用户端所处的方向以及角度,展示在所述第一用户端所处的角度对应的现实场景位置处,且无需通过特定设备进行观看。
123.其中,步骤s501至步骤s504的描述可以参照步骤s101至步骤s104的描述,并且可以达到相同的技术效果和解决相同的技术问题,在此不做赘述。
124.接下来,将结合一些具体实施方式进一步对本实施例进行说明。
125.一些可能的实施方式中,步骤s505包括:
126.接收所述第一用户针对所述ar效果画面中所述虚拟对象的控制操作;
127.控制所述虚拟对象在所述ar效果画面中执行与所述控制操作对应的指令。
128.该步骤中,在通过所述第一终端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面时,可能存在所述第一用户需要对于展示出来的ar效果画面中所述虚拟对象的位置进行调整或者所述虚拟对象的动作进行调整等情况,这时,可以接收所述第一用户针对所述ar效果画面中所述虚拟对象的控制操作,例如所述第一用户通过所述第一终端,施加的操作动作、操作语音,或者是如生成所述虚拟对象的过程一样,通过所述第一终端采
集包含有控制操作的视频图像,进而在接收到或者识别出所述控制操作之后,可以控制所述虚拟对象在所述现实场景中执行与所述控制操作对应的指令。
129.其中,对所述ar效果画面中所述虚拟对象的控制,可以是控制所述虚拟对象进行移动,例如在所述现实位置所处的小范围区域中移动,或者是做出各种动作,或者是更换所绑定的所述现实位置等等。
130.一些可能的实施方式中,在所述将所述虚拟对象与所述现实位置进行绑定保存之后,所述方法还包括:
131.获取所述第一用户端采集的第二视频图像;
132.识别所述第二视频图像中的场景位置是否与所述现实位置一致;
133.若一致,获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象;
134.通过所述第一用户端向第一用户展示所述目标虚拟对象在所述现实场景中的ar效果画面。
135.该步骤中,在所述第一用户再次来到所述现实场景或者结束上一次互动后想要再次进行互动时,所述用户可以使用所述第一用户端采集现实场景的多张第二视频图像,相应的,在得到所述第一用户端采集的多张第二视频图像后,可以识别出所述第二视频图像中包含的场景位置,并进一步可以将所述场景位置与所述现实位置是否一致,在一致的情况下,可以直接获取与所述现实位置绑定保存的所述虚拟对象,并将获取的所述虚拟对象作为目标虚拟对象,进而可以通过所述第一用户端向第一用户进行展示所述目标虚拟对象在所述现实场景中的ar效果画面。
136.其中,所述第二视频图像中的场景位置与所述现实位置一致,可以是指两者为同一位置,并且可以是从现实场景中的同一角度和同一位置看该位置,也可以是从现实场景的不同角度和不同位置看该位置。
137.进一步的,所述第一用户可以在同一位置进行多次ar互动,相应的,在每次进行ar互动时,都可以创造一个虚拟对象,随着互动次数的累计,在同一位置可以绑定保存有多个虚拟对象,或者所述第一用户在依次ar互动中也可以创造多个虚拟对象,还或者可以有多个用户在同一位置分别进行ar互动的话,均可以创造各自的虚拟对象,并且不同的用户可以将创造的虚拟对象进行共享,因此,对于所述现实位置来讲,可以保定保存有多个所述虚拟对象。
138.因此,在一种可能的实施方式中,响应于所述与所述现实位置绑定保存的所述虚拟对象为多个,所述获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象,包括:
139.从多个所述虚拟对象中确定出预设数量的目标虚拟对象。
140.这里,当所述现实位置绑定保存的所述虚拟对象为多个的时候,在所述第一用户再次在所述现实位置进行ar互动时,也可以不需要再次创造虚拟对象,即如果已经绑定保存的虚拟对象中有所述第一用户需要的对象时,可以直接从多个所述虚拟对象中确定出预设数量的目标虚拟对象。
141.其中,从多个所述虚拟对象中确定出目标虚拟对象,可以是用户自主选择的,例如用户根据喜好、时间等因素,自己选择的虚拟对象,也可以是系统自动推荐的,例如优先选择生成时间最近的,或者所述用户自己创作的虚拟对象中生成时间最近的等。
142.其中,与所述现实位置绑定的多个所述虚拟对象,可以包括所述用户自己多次创作的多个对象,也可以包括其他用户创作的、并且允许共享的对象。
143.进一步的,在一些可能的实施方式中,在所述将所述虚拟对象与所述现实位置进行绑定保存之后,所述方法还包括:
144.响应于所述第一用户针对所述虚拟对象施加的允许共享操作,将所述虚拟对象设置为共享状态,以使第二用户能够调取观看所述虚拟对象。
145.该步骤中,所述第一用户在创作出所述虚拟对象后,可以选择将其进行共享,以便其他用户也可以与所述虚拟对象进行互动,相应的,可以通过所述第一终端等方式或者途径针对所述虚拟对象施加允许共享操作,进而在接收到所述允许共享操作后,响应于所述允许共享操作,可以将所述虚拟对象设置为共享状态,以使第二用户能够调取观看所述虚拟对象,在一定程度上提升ar互动的便捷性。
146.本公开实施例提供的ar互动方法,通过获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象;基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作;根据所述目标对象的动作,生成虚拟对象;将所述虚拟对象与所述现实位置进行绑定保存;通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
147.这样,借助用户终端所采集的视频图像,即可得到用户所创作的虚拟对象,进而将虚拟对象和现实位置进行绑定保存,并且可以通过用户终端呈现ar效果画面,实现ar互动,可以有效降低对特定设备的依赖,减少设备方面的造价消耗,还可以降低ar互动中对用户设备端计算资源消耗和依赖,降低ar互动门槛,简化ar互动的复杂度,增加ar交互的适用性和便利度,有利于提高用户的ar体验。
148.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
149.基于同一发明构思,本公开实施例中还提供了与ar互动方法对应的ar互动装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上ar互动方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
150.请参阅图7和图8,图7为本公开实施例提供的一种ar互动装置的示意图之一,图8为本公开实施例提供的一种ar互动装置的示意图之二。如图7中所示,本公开实施例提供的装置700包括:
151.图像获取模块710,用于获取第一用户端采集的、现实场景的多张第一视频图像,所述第一视频图像包含目标对象;
152.动作识别模块720,用于基于所述多张第一视频图像,识别所述目标对象在所述现实场景中的现实位置,以及识别所述目标对象的动作;
153.对象生成模块730,用于根据所述目标对象的动作,生成虚拟对象;
154.对象存储模块740,用于将所述虚拟对象与所述现实位置进行绑定保存。
155.一种可选的实施方式中,所述动作识别模块720具体用于:
156.基于所述多张第一视频图像中的至少一张,提取图像特征;
157.基于所述图像特征,在所述现实场景对应的ar场景模型中进行匹配,得到所述目
标对象在所述现实场景中的现实位置。
158.另一种可选的实施方式中,所述动作识别模块720具体用于:
159.针对每张第一视频图像,确定所述目标对象在所述第一视频图像中的图像位置;
160.基于所述多张第一视频图像确定出的多个所述图像位置,确定所述目标对象的移动轨迹;
161.基于所述移动轨迹,确定所述目标对象的动作。
162.一种可选的实施方式中,所述对象生成模块730具体用于:
163.基于所述移动轨迹,生成虚拟对象,所述虚拟对象的轮廓与所述移动轨迹相匹配。
164.一种可选的实施方式中,所述装置还包括第一展示模块750,所述第一展示模块750具体用于:
165.通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的ar效果画面。
166.一种可选的实施方式中,所述装置还包括对象控制模块760,所述对象控制模块760用于:
167.接收所述第一用户针对所述ar效果画面中所述虚拟对象的控制操作;
168.控制所述虚拟对象在所述现实场景中执行与所述控制操作对应的指令。
169.一种可选的实施方式中,所述装置还包括第二展示模块770,所述第二展示模块770具体用于:
170.获取所述第一用户端采集的第二视频图像;
171.识别所述第二视频图像中的场景位置是否与所述现实位置一致;
172.若一致,获取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象;
173.通过所述第一用户端向第一用户展示所述目标虚拟对象在所述现实场景中的ar效果画面。
174.一种可选的实施方式中,响应于所述与所述现实位置绑定保存的所述虚拟对象为多个,所述第二展示模块770在用于取与所述现实位置绑定保存的所述虚拟对象,作为目标虚拟对象时,具体用于:
175.从多个所述虚拟对象中确定出预设数量的目标虚拟对象。
176.一种可选的实施方式中,所述装置还包括对象共享模块780,所述共享模块780具体用于:
177.响应于所述第一用户针对所述虚拟对象施加的允许共享操作,将所述虚拟对象设置为共享状态,以使第二用户能够调取观看所述虚拟对象。
178.本公开实施例提供的ar互动装置,借助终端所采集的视频图像,即可得到用户所创作的虚拟对象,进而将虚拟对象和现实位置进行绑定保存,从而实现ar互动,可以有效降低对特定设备的依赖,减少设备方面的造价消耗,还可以降低ar互动中对用户设备端计算资源消耗和依赖,降低ar互动门槛,简化ar互动的复杂度,增加ar交互的适用性和便利度,有利于提高用户的ar体验。
179.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
180.对应上述的ar互动方法,本公开实施例还提供了一种电子设备900,如图9所示,为
本公开实施例提供的电子设备900结构示意图,包括:
181.处理器910、存储器920、和总线930;存储器920用于存储执行指令,包括内存921和外部存储器922;这里的内存921也称内存储器,用于暂时存放处理器910中的运算数据,以及与硬盘等外部存储器922交换的数据,处理器910通过内存921与外部存储器922进行数据交换,当所述电子设备900运行时,所述处理器910与所述存储器920之间通过总线930通信,使得所述处理器930上述的ar互动方法的步骤。
182.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的ar互动方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
183.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的ar互动方法的步骤,具体可参见上述方法实施例,在此不再赘述。
184.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
185.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
186.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
187.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
188.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
189.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开
的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1