数据展示方法、装置、设备以及存储介质与流程

文档序号:25526297发布日期:2021-06-18 20:16阅读:94来源:国知局
数据展示方法、装置、设备以及存储介质与流程

本公开涉及增强现实的技术领域,具体而言,涉及一种数据展示方法、装置、设备以及存储介质。



背景技术:

增强现实(augmentedreality,ar)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近些年来,ar设备的应用越来越广泛,例如,ar文创产品。其中,ar文创产品是指通过扫描设备扫描对应物体,随之在该扫描设备上展示该物体所对应的虚拟内容。针对现有的ar文创产品来说,可以识别单一的物体的平面,并触发展示该单一物体的平面的虚拟内容,且该物体的虚拟内容通常为该物体的物体介绍等固定的虚拟内容。因此,现有的ar文创产品功能和应用场景单一,无法满足用户日渐丰富的需求。



技术实现要素:

本公开实施例至少提供一种数据展示方法、装置、设备以及存储介质。

第一方面,本公开实施例提供了一种数据展示方法,包括:获取增强现实ar设备采集到的包含多个对象的现实场景图像;在所述多个对象中检测目标对象,其中,所述目标对象包括所属于预设对象库中的预设三维立体对象和预设二维平面对象;确定与检测到的所述目标对象相匹配的第一ar特效;并在所述ar设备的ar交互界面上展示所述相匹配的第一ar特效。

在本公开实施例中,通过在现实场景图像的多个对象中检测预设三维立体对象和预设二维平面对象的处理方式,并通过预设三维立体对象和预设二维平面对象之间的组合关系,确定出匹配的第一ar特效并展示在ar交互界面上,由此可以丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的互动效果,进而满足用户的多样化用户需求。

一种可选的实施方式中,所述在所述多个对象中检测目标对象,包括:在检测出所述多个对象中包含至少一个初始二维平面对象和至少一个初始三维立体对象的情况下,在所述至少一个初始二维平面对象中确定所属于预设对象库的预设二维平面对象,以及在所述至少一个初始三维立体对象中确定所属于预设对象库的预设三维立体对象;将确定出的所述预设二维平面对象和所述预设三维立体对象确定为所述目标对象。

上述实施方式中,可以在多个对象中不同时包含二维平面对象和三维立体对象的情况下,及时停止执行后续步骤,从而节省了不必要的内存消耗,加快了数据展示的速度;并在检测到多个对象中同时包含预设二维平面对象和预设三维立体对象的情况下,触发展示相应的ar特效,可以扩大ar文创产品的互动效果,满足用户的多样化用户需求。

一种可选的实施方式中,所述在所述至少一个初始三维立体对象中确定所属于预设对象库的预设三维立体对象,包括:确定每个所述初始三维立体对象的第一对象特征信息,其中,所述第一对象特征信息包括:所述初始三维立体对象的对象特征点和该对象特征点的特征描述信息;在所述预设对象库所包含的各个预设三维立体对象的预设对象特征信息中确定与所述第一对象特征信息相匹配的预设对象特征信息;将所述相匹配的预设对象特征信息所对应的对象确定为所述预设三维立体对象。

上述实施方式中,通过将每个初始三维立体对象的对象特征信息和预设对象库中的预设对象特征信息进行比对,在至少一个三维立体对象中确定预设三维立体对象的方式,可以准确并快速地在至少一个初始三维立体对象中识别出所属于预设对象库中的对象。

一种可选的实施方式中,在所述多个对象中检测目标对象之前,所述方法还包括:通过所述ar设备的摄像装置在多个预设采集点按照预设朝向采集所述预设三维立体对象的图像,得到多个目标图像;提取每个所述目标图像的图像特征信息,其中,所述图像特征信息包括:所述目标图像的特征点和特征点的特征描述信息;将每个所述目标图像的图像特征信息作为所述预设三维立体对象的对象特征信息存储在所述预设对象库中。

上述实施方式中,通过在多个预设采集点并按照预设朝向对待录入的三维立体对象进行采集,从而根据采集到的多个目标图像确定该三维立体对象的预设对象特征信息并录入的方式,可以更加全面的录入任意一个三维立体对象的特征信息,从而提高了多个对象中三维立体对象的识别准确率。

一种可选的实施方式中,所述在所述至少一个初始二维平面对象中确定所属于预设对象库的预设二维平面对象,包括:提取每个所述初始二维平面对象的第二对象特征信息,其中,所述第二对象特征信息包括:所述初始二维平面对象的对象特征点和该对象特征点的特征描述信息;根据所述第二对象特征信息在所述预设对象库中确定至少一个备选二维平面对象;根据每个所述初始二维平面对象和对应的所述至少一个备选二维平面对象之间的相似度在所述至少一个初始二维平面对象中确定所述预设二维平面对象。

上述实施方式中,根据特征比对的方式确定备选二维平面对象,再根据计算相似度的方式确定初始二维平面是否为预设二维平面对象,可以更加准确的确定初始二维平面是否为预设对象库中的对象,从而提高该数据展示方法的鲁棒性。

一种可选的实施方式中,所述确定与检测到的所述目标对象相匹配的第一ar特效,包括:确定所述目标对象的对象标识信息;在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效;所述目标关联文件用于表征预设的对象组合和ar特效之间的对应关系;将所述具有关联关系的ar特效确定为所述相匹配的第一ar特效。

上述实施方式中,可以实现针对不同的目标对象触发不同的ar特效,从而丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的交互方式,进而满足用户的多样化用户需求。

一种可选的实施方式中,所述在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效,包括:基于所述对象标识信息确定所述目标对象中预设三维立体对象的对象标识信息,得到第一对象标识信息;并基于所述对象标识信息确定所述目标对象中预设二维平面对象的对象标识信息,得到第二对象标识信息;将所述第一对象标识信息和所述第二对象标识信息进行排列组合,得到多个对象组合;在所述目标关联文件中查找与一个或多个对象组合相匹配的ar特效作为所述第一ar特效。

上述实施方式中,通过将第一对象标识信息和第二对象标识信息进行排列组合,进而根据确定出的多个对象组合查找与之相匹配的ar特效进行展示,可以减少数据处理量,从而简化ar特效的匹配流程,提高ar特效的匹配效率。

一种可选的实施方式中,所述在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效,还包括:在所述目标关联文件中确定包含所述对象标识信息的备选对象组合;在所述备选对象组合中确定是否包含目标对象组合;所述目标对象组合中不包含除该对象标识信息之外的其他对象标识信息所对应的对象;如果确定出包含所述目标对象组合,将所述目标对象组合所对应的ar特效确定为所述第一ar特效。

上述实施方式中,通过确定备选对象组合,进而在备选对象组合中确定目标对象组合,以对该目标对象组合所对应的ar特效进行展示,可以快速的从目标关联文件中查找到第一ar特效,从而提高ar特效的匹配效率,节省了ar特效匹配的时间。

一种可选的实施方式中,所述方法还包括:在检测到所述多个对象发生变化的情况下,确定发生变更的目标对象,其中,所述变更包括以下至少之一:新增、删除、替换;在根据所述发生变更的目标对象确定出所述现实场景图像满足ar特效的展示条件下,确定与更新之后的多个对象相匹配的第二ar特效;并在ar设备的ar交互界面上展示所述相匹配的第二ar特效。

上述实施方式中,可以实现ar设备与用户之间的交互互动,从而丰富ar设备的特效展示方式,提高ar特效的交互体验。

一种可选的实施方式中,所述第一ar特效包括多个ar特效;所述方法还包括:获取所述现实场景图像的场景类型信息;所述确定与检测到的所述目标对象相匹配的第一ar特效,包括:在所述多个ar特效中确定与所述场景类型信息相匹配的目标ar特效,并在所述ar交互界面上展示所述目标ar特效。

上述实施方式中,可以在为用户提供多种应用场景的前提下,为用户提供与对应应用场景相匹配的ar特效进行展示,相对于现有ar设备中ar特效的单一展示方式,可以满足用户的多元化需求。

第二方面,本公开实施例还提供一种数据展示装置,包括:获取单元,用于获取增强现实ar设备采集到的包含多个对象的现实场景图像;检测单元,用于在所述多个对象中检测目标对象,其中,所述目标对象包括所属于预设对象库中的预设三维立体对象和预设二维平面对象;确定单元,用于确定与检测到的所述目标对象相匹配的第一ar特效;展示单元,用于在所述ar设备的ar交互界面上展示所述相匹配的第一ar特效。

第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据展示方法的流程图;

图2示出了本公开实施例所提供的一种应用场景的设置界面的显示示意图;

图3示出了本公开实施例所提供的另一种应用场景的设置界面的显示示意图;

图4示出了本公开实施例所提供的一种ar特效的展示示意图;

图5示出了本公开实施例所提供的一种数据展示装置的示意图;

图6示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

经研究发现,针对现有的ar文创产品来说,可以识别单一的物体,并触发展示该单一物体的虚拟内容,且该物体的虚拟内容通常为该物体的物体介绍信息等固定的虚拟内容。因此,现有的ar文创产品功能和应用场景单一,已无法满足用户日渐丰富的需求。

基于上述研究,本公开提供了一种数据展示方法。在本公开实施例中,在获取到包含多个对象的现实场景图像之后,可以对多个对象进行类型检测,进而根据该类型检测结果确定多个对象是否满足ar特效的触发条件。在根据类型检测结果确定多个对象中包含三维立体对象和二维平面对象,且检测出的三维立体对象和二维平面对象所属于预设对象库的情况下,确定与检测到的三维立体对象和二维平面对象相匹配的ar特效(即,第一ar特效),并在ar设备的ar交互界面上展示第一ar特效。通过在现实场景图像的多个对象中检测预设三维立体对象和预设二维平面对象的处理方式,并通过预设三维立体对象和预设二维平面对象之间的组合关系,确定出匹配的第一ar特效并展示在ar交互界面上,由此可以丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的互动效果,进而满足用户的多样化用户需求。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据展示方法进行详细介绍,本公开实施例所提供的数据展示方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中,该数据展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例提供的一种数据展示方法的流程图,所述方法包括步骤s101~s105,其中:

s101:获取增强现实ar设备采集到的包含多个对象的现实场景图像。

在本公开实施例中,增强现实ar设备为具有ar功能和摄像功能的计算机设备。ar设备可以通过内置的摄像装置采集ar设备所在区域内的现实场景图像。

例如,该增强现实ar设备为智能移动终端,此时,可以通过该智能移动终端的摄像装置采集现实场景图像;又例如,该增强现实ar设备为智能手表,则可以通过智能手表的摄像装置采集现实场景图像。

s103:在所述多个对象中检测目标对象,其中,所述目标对象包括所属于预设对象库中的预设三维立体对象和预设二维平面对象。

在本公开实施例中,预先设置了一个对象库(即,预设对象库),其中,该预设对象库中包含预先设置的三维立体对象的对象特征信息,以及包含预先设置的二维平面对象的对象特征信息。其中,对象特征信息包括:物体的特征点和特征点的特征描述信息(也即,描述子)。

这里,特征点的特征描述信息为用于表征特征点在对应图像中相应位置上的图像特征。

二维平面对象可以理解为二维图像,此时,二维平面对象的对象特征信息为该二维图像中所包含物体的特征点,以及该特征点在该二维图像中所对应的图像特征。

三维立体对象的对象特征信息可以为在多个角度对该三维立体对象进行图像采集之后所得到的用于描述每个图像的图像特征的信息。针对每个角度采集到的图像来说,该对象特征信息为该图像中所包含物体的特征点,以及该特征点在该图像中所对应的图像特征。

在本公开实施例中,在获取到现实场景图像之后,可以检测多个对象的类型信息,进而根据该类型信息确定当前时刻采集到的现实场景图像是否满足ar触发条件,其中,如果确定出满足ar触发条件,则执行步骤s105。需要说明的是,上述类型信息用于表征物体是三维立体对象还是二维平面对象。

具体地,可以在多个对象中检测三维立体对象和二维平面对象,在检测出多个对象中同时包含三维立体对象和二维平面对象的情况下,继续判断三维立体对象和二维平面对象是否为预设对象库中的对象。若判断出是,则确定采集到的现实场景图像满足ar触发条件。

需要说明的是,在本公开实施例中,目标对象即为在多个对象中检测到的所属于预设对象库的三维立体对象(也即,预设三维立体对象)和二维平面对象(也即,预设二维平面对象)。

s105:确定与检测到的所述目标对象相匹配的第一ar特效;并在所述ar设备的ar交互界面上展示所述相匹配的第一ar特效。

在本公开实施例中,在确定出满足ar触发条件之后,就可以确定与目标对象相匹配的第一ar特效,其中,第一ar特效可以为多个,还可以为一个,并在ar设备的ar交互界面上展示第一ar特效。

具体地,如图4所示,立体人形1代表三维立体对象,卡片2代表二维平面图像,半透明长方形3代表触发后展示的第一ar特效。

在本公开实施例中,在获取到包含多个对象的现实场景图像之后,可以对多个对象进行类型检测,进而根据该类型检测结果确定多个对象是否满足ar特效的触发条件。在根据类型检测结果确定多个对象中包含三维立体对象和二维平面对象,且检测出的三维立体对象和二维平面对象所属于预设对象库的情况下,确定与检测到的三维立体对象和二维平面对象相匹配的ar特效(即,第一ar特效),并在ar设备的ar交互界面上展示第一ar特效。通过在现实场景图像的多个对象中检测预设三维立体对象和预设二维平面对象的处理方式,并通过预设三维立体对象和预设二维平面对象之间的组合关系,确定出匹配的第一ar特效并展示在ar交互界面上,由此可以丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的互动效果,进而满足用户的多样化用户需求。

需要说明的是,在本公开实施例中,上述所描述的步骤s101至步骤s105可以的应用场景可以为游戏场景、社交场景、文化场景、教育场景。其中,不同的应用场景对应不同的预设对象库,不同预设对象库中包含不同的对象。

上述步骤s101至步骤s105可以应用在客户端中,该客户端可以安装在支持ar功能的计算机设备上,本公开对计算机设备的类型不作具体限定,以能够实现为准。

在一个可选的实施方式中,用户在计算机设备上安装该客户端时,可以设置该客户端的应用场景,例如,如图2所示,可以预先设置多种应用场景,即:游戏场景、社交场景、文化场景、教育场景。用户可以通过点击相应的按钮来确定该客户端的应用场景。

在另一个可选的实施方式中,用户在计算机设备上安装该客户端时,可以不用设置该客户端的应用场景。在进入到该客户端之后,可以点击客户端主页面中的相应按钮再选择对应的应用场景。例如,如图3所示,可以选择点击游戏场景,此时,可以在客户端主页面的右侧显示出对应的游戏场景1至游戏场景n。比如,用户在点击游戏场景1之后,可以获取现实场景图像,并进入到现实场景图像的展示页面。

在按照上述所描述的方式设置应用场景之后,首先获取增强现实ar设备采集到的包含多个对象的现实场景图像;并对现实场景图像中的多个对象进行检测,以在多个对象中检测目标对象。

在一个可选的实施方式中,步骤s103,在所述多个对象中检测目标对象,包括如下步骤:

步骤s1031,在检测出所述多个对象中包含至少一个初始二维平面对象和至少一个初始三维立体对象的情况下,在所述至少一个初始二维平面对象中确定所属于预设对象库的预设二维平面对象,以及在所述至少一个初始三维立体对象中确定所属于预设对象库的预设三维立体对象;

步骤s1032,将确定出的所述预设二维平面对象和所述预设三维立体对象确定为所述目标对象。

在本公开实施例中,首先,可以通过三维模型检测算法在多个对象中检测三维立体对象,并通过二维平面检测算法在多个对象中检测二维平面对象。假设,在多个对象中检测到二维平面对象(即,上述至少一个初始二维平面对象)和三维立体对象(即,上述至少一个初始三维立体对象)。此时,可以根据至少一个初始二维平面对象和至少一个初始三维立体对象判断现实场景图像是否满足ar触发条件。具体地,可以在所述至少一个初始二维平面对象中确定是否包含所属于预设对象库的预设二维平面对象,并在至少一个初始三维立体对象中确定是否包含所属于预设对象库的预设三维立体对象。

若确定出包含预设二维平面对象和预设三维立体对象,则确定现实场景图像满足ar触发条件,此时,可以将确定出的预设二维平面对象和预设三维立体对象确定为目标对象。

在本公开实施例中,若检测出多个对象中不同时包含至少一个初始二维平面对象和至少一个初始三维立体对象,则确定出该现实场景图像为无效图像,不满足ar触发条件。此时,可以在ar设备的显示界面上显示提示信息,通过该提示信息提示现实场景图像为无效图像,从而提示用户重新采集现实场景图像。

在本公开实施例中,通过上述处理方式,可以在多个对象中不同时包含二维平面对象和三维立体对象的情况下,及时停止执行后续步骤,从而节省了不必要的内存消耗,加快了数据展示的速度。

在本公开实施例中,在至少一个初始三维立体对象中确定所属于预设对象库的预设三维立体对象时,可以首先确定每个所述初始三维立体对象的第一对象特征信息,其中,所述第一对象特征信息包括:初始三维立体对象的对象特征点和该对象特征点的特征描述信息。

例如,针对每个初始三维立体对象,可以在现实场景图像中确定包含该初始三维立体对象的图像区域,进而,通过预先设定的目标网络模型对位于该图像区域内的图像进行处理,处理之后得到该初始三维立体对象的至少一个对象特征点,并确定每个对象特征点的描述子(也即,特征描述信息)。

之后,在所述预设对象库所包含的各个预设三维立体对象的预设对象特征信息中确定与所述第一对象特征信息相匹配的预设对象特征信息。

在得到上述第一对象特征信息之后,可以将该第一对象特征信息输入至词袋模型(bagofwords)中进行检索,得到检索结果,其中,该检索结果用于表征在预设对象库中是否包含与第一对象特征信息相匹配的预设对象特征信息。

在根据该搜索结果确定出预设对象库中包含与第一对象特征信息相匹配的预设对象特征信息的情况下,将该相匹配的预设对象特征信息所对应的对象确定为预设三维立体对象。

通过上述描述可知,在本公开实施例中,通过将每个初始三维立体对象的对象特征信息和预设对象库中的预设对象特征信息进行比对,在至少一个三维立体对象中确定预设三维立体对象的方式,可以准确并快速地在至少一个初始三维立体对象中识别出所属于预设对象库中的对象,上述处理方式,可以在满足数据处理要求的情况下,减少数据运算量,从而加快数据处理的速度。

在本公开实施例中,在所述至少一个初始二维平面对象中确定所属于预设对象库的预设二维平面对象时,可以首先提取每个所述初始二维平面对象的第二对象特征信息,其中,所述第二对象特征信息包括:所述初始二维平面对象的对象特征点和该对象特征点的特征描述信息。

具体地,可以通过特征金字塔网络对每个初始二维平面对象进行处理,得到多尺度图像;之后,提取每个尺度的图像的对象特征点,并确定该对象特征点的特征描述信息。此时,就可以将每个尺度的图像所对应的对象特征点及其特征描述信息确定为第二对象特征信息。

在本公开实施例中,上述对象特征点可以为orb特征点即采用fast(featuresfromacceleratedsegmenttest)算法来检测出的对象特征点;此时,orb特征点的特征描述信息可以为描述子

在提取到每个所述初始二维平面对象的第二对象特征信息之后,就可以根据第二对象特征信息在预设对象库中确定至少一个备选二维平面对象。

具体地,可以计算第二对象特征信息中的特征描述信息(例如,描述子)和预设对象库中所包含的预设对象特征信息中的特征描述信息(例如,描述子)之间的特征距离。在该特征距离小于或者等于预设阈值的情况下,确定该预设对象特征信息所对应的对象为备选二维平面对象。

在确定出至少一个备选二维平面对象之后,就可以根据每个初始二维平面对象和对应的至少一个备选二维平面对象之间的相似度在至少一个初始二维平面对象中确定目标对象中所包含的预设二维平面对象。

具体地,根据三维视觉的知识可知,一张图像可看成一个平面,平面在图像间的单应性变换过程可以用单应性矩阵h来描述。单应性变换可以理解为它来描述物体在世界坐标系和像素坐标系之间的位置映射关系。

在本公开实施例中,为了在备选二维平面对象中确定预设二维平面对象,可以采用ransac随机一致性采样算法分别计算第二对象特征信息和每个备选二维平面对象的对象特征信息的h矩阵。最后,再通过模板匹配的方法对h矩阵进行匹配处理,从而根据匹配结果判断备选二维平面对象和初始二维平面对象之间的相似度。其中,一种计算相似度的方法是通过计算两个图像之间每一个像素值的差的平方和来计算该相似度。

针对任意一个初始二维平面对象来说,可以计算该初始二维平面对象确定与其对应的每个备选二维平面对象之间的相似度值。若在相似度值中包含大于或者等于预设相似度阈值的备选二维平面对象,则确定该初始二维平面为预设对象库中的预设二维平面对象。

在本公开实施例中,根据特征比对的方式确定备选二维平面对象,再根据计算相似度的方式确定初始二维平面是否为预设二维平面对象,可以更加准确的确定初始二维平面是否为预设对象库中的对象,从而提高该数据展示方法的鲁棒性。

在本公开实施例中,在多个对象中检测目标对象之前,还需要向预设对象库中录入相应的预设对象特征信息,比如,录入预设三维立体对象的预设对象特征信息,以及录入预设二维立体对象的预设对象特征信息。

一、录入预设二维立体对象的预设对象特征信息的过程描述如下:

针对待录入的二维平面对象,称之为注册图像t。可以通过特征金字塔网络对注册图像t进行处理,得到多尺度图像。之后,提取每个尺度的图像的对象特征点,并确定该对象特征点的特征描述信息。此时,就可以将每个尺度的图像所对应的对象特征点及其特征描述信息确定为该注册图像的预设对象特征信息,并存储在预设对象库中。

在本公开实施例中,上述对象特征点可以为orb特征点即采用fast(featuresfromacceleratedsegmenttest)算法来检测出的对象特征点;此时,orb特征点的特征描述信息可以为描述子

二、录入预设三维立体对象的预设对象特征信息的过程描述如下:

(1)、通过所述ar设备的摄像装置在多个预设采集点按照预设朝向采集所述预设三维立体对象的图像,得到多个目标图像;

(2)、提取每个所述目标图像的图像特征信息,其中,所述图像特征信息包括:所述目标图像的特征点和特征点的特征描述信息;

(3)、将每个所述目标图像的图像特征信息作为所述预设三维立体对象的对象特征信息存储在所述预设对象库中。

针对待录入的三维立体对象,称之为注册三维模型p。首先,在注册三维模型p的水平面上等距离在圆上采样a个点。其中,该水平面为以注册三维模型p的中心为原点构建的直角坐标系xy所在平面。确定出的采样a个点与注册三维模型p的中心连线共形成a条射线。对于每一条射线,算法在离注册三维模型p中心50cm的范围内等距离采样b个点。此时,确定出的采样b个点即为上述多个预设采集点,预设朝向为摄像装置的镜头朝向指向注册三维模型p的中心。此时,可以在多个预设采集点并按照预设朝向采集注册三维模型p,得到多个目标图像。

接下来,就可以提取每个目标图像的图像特征信息,即:目标图像的特征点及其特征描述信息。最后,就可以将上述图像特征信息存储在预设对象库中。

通过上述描述可知,在本公开实施例中,通过在多个预设采集点并按照预设朝向对待录入的三维立体对象进行采集,从而根据采集到的多个目标图像确定该三维立体对象的预设对象特征信息并录入的方式,可以更加全面的录入任意一个三维立体对象的特征信息,从而提高了多个对象中三维立体对象的识别准确率。

需要说明的是,预设对象库中录入相应的预设对象特征信息可以为客户端预先设置的默认对象的对象特征信息,还可以为除默认对象之外,用户通过客户端录入的指定对象的对象特征信息,本公开对预设对象库中的预设对象特征信息的录入方式不作具体限定。

在本公开实施例中,在按照上述所描述的方式检测出目标对象之后,就可以确定与检测到的所述目标对象相匹配的第一ar特效,具体包括:

步骤s1051,确定所述目标对象的对象标识信息;

步骤s1052,在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效;所述目标关联文件用于表征预设的对象组合和ar特效之间的对应关系;

步骤s1053,将所述具有关联关系的ar特效确定为所述相匹配的第一ar特效。

在本公开实施例中,预先设置了一个目标关联文件,在该目标关联文件中包含对象组合和ar特效之间的对应关系,其中,该对象组合可以为以下组合:预设三维立体对象和预设二维平面对象的组合。针对每个组合,预先设定了对应的ar特效的特效标识信息。

在确定出目标对象之后,就可以确定每个目标对象的对象标识信息,进而,在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效。如果查找到具有关联关系的ar特效,则将该ar特效确定为第一ar特效。如果未查找到该具有关联关系的ar特效,则在ar交互界面上展示查找失败的提示信息。

在本公开实施例中,在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效可以描述为下述过程:

方式一:

基于对象标识信息确定目标对象中预设三维立体对象的对象标识信息,得到第一对象标识信息;并基于对象标识信息确定目标对象中预设二维平面对象的对象标识信息,得到第二对象标识信息;将第一对象标识信息和所述第二对象标识信息进行排列组合,得到多个对象组合;在所述目标关联文件中查找与一个或多个对象组合相匹配的ar特效作为第一ar特效。

具体地,可以在对象标识信息中将二维平面对象的对象标识信息记为m1(即,上述第二对象标识信息),将三维立体对象的对象标识信息记m2(即,上述第一对象标识信息)。将对象标识信息记m1和对象标识信息记m2进行任意的排列组合,得到多个对象组合,并在目标关联文件中查找与一个或多个对象组合相匹配的ar特效作为第一ar特效。

方式二:

针对任意一个对象标识信息,首先,在目标关联文件中确定包含该对象标识信息的备选对象组合,然后,在备选对象组合中确定是否包含目标对象组合,其中,目标对象组合中不包含除该对象标识信息之外的其他对象标识信息。如果确定出包含目标对象组合,将该目标对象组合所对应的ar特效确定为第一ar特效。

通过上述描述可知,在本公开实施例中,通过上述处理方式,可以实现针对不同的目标对象触发不同的ar特效,从而丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的应用场景,进而满足用户的多样化用户需求。

在本公开实施例中,在ar设备的ar交互界面上展示所述相匹配的第一ar特效之后,还可以在检测到所述多个对象发生变化的情况下,确定发生变更的目标对象;其中,变更包括以下至少之一:新增、删除、替换。

例如,保持目标对象中的三维立体对象不变,变更目标对象中的二维平面对象。又例如,保持目标对象中的二维平面对象不变,变更目标对象中的三维立体对象。又例如,同时变更目标对象中的三维立体对象和二维平面对象。

在根据所述发生变更的目标对象确定出所述现实场景图像满足ar特效的展示条件的情况下,确定与更新之后的多个对象相匹配的第二ar特效;并在ar设备的ar交互界面上展示所述相匹配的第二ar特效。

在一个可能的实施方式中,可以确定变更之后的目标对象中是否同时包含三维立体对象和二维平面对象,若是,则确定现实场景图像满足ar特效的展示条件。

具体地,可以分别确定未发生变更的目标对象和发生变更的目标对象的对象标识信息,并在目标关联文件中查找与该对象标识信息相匹配的ar特效,并将查找到的ar特效确定为第二ar特效。

通过上述描述可知,在本公开实施例中,通过上述处理方式,可以实现ar设备与用户之间的交互互动,从而丰富ar设备的特效展示方式,提高ar特效的交互体验。

在一个可选的实施方式中,还可以获取所述现实场景图像的场景类型信息。具体地,可以在获取现实场景图像之前,获取该场景类型信息。

若第一ar特效包括多个ar特效,那么在确定与检测到的所述目标对象相匹配的第一ar特效时,就可以在所述多个ar特效中确定与所述场景类型信息相匹配的目标ar特效,并在所述ar交互界面上展示所述目标ar特效。

具体地,如图2和3所示,用户在按照如图2和图3所示的方式设置应用场景时,就可以确定出该现实场景图像的场景类型信息,比如为游戏场景,此时,可以在多个ar特效中确定与该游戏场景相对应的ar特效作为目标ar特效,并在ar交互界面上展示所述目标ar特效。

在本公开实施例中,通过上述处理方式,可以在为用户提供多种应用场景的前提下,为用户提供与对应应用场景相匹配的ar特效进行展示,相对于现有ar设备中ar特效的单一展示方式,可以满足用户的多元化需求。

下面将结合具体的应用场景对上述过程进行介绍。

一、信息保密。

用户a向用户b发送ar寄语明信片。此时,用户a可以上传自己录制的视频或话语到明信片中,并邮寄明信片给用户b。用户b在获取到该明信片之后,可以通过计算机设备采集包含该明信片和用户b的现实场景图像,其中,明信片和用户b为多个对象,明信片为二维平面对象,用户b为三维立体对象。

按照上述所描述的过程对现实场景图像中的多个对象进行分析可知,该现实场景图像满足ar特效触发条件,此时,将明信片中的内容通过ar特效的方式展示在ar交互界面上,从而保证用户的隐私信息不被泄露。

二、互动解谜。

用户预先设置了相应的三维立体对象和二维平面对象,并设置了三维立体对象和二维平面对象的各种组合所对应的谜底,其中,三维立体对象和二维平面对象的组合可以组合成各种谜题。

用户可以通过尝试多种三维立体物体和二维平面物体组合的方式,找到能够相互匹配的组合,用来解开相应的谜题。

三、情侣互动。

用户预先设置三维立体对象为戒指,二维平面对象为结婚照。

当现实场景图像中所包含的多个对象为戒指和结婚照时,确定现实场景图像满足ar触发条件,此时,确定与该戒指和结婚照相对应的ar特效,例如,相应的ar影像。并在ar交互界面上展示该ar影像。

通过上述处理方式一方面增加情侣看ar影像的仪式感,一方面对用户私密信息起到保密效果。

四、多人社交。

在多人社交场景中,男生拿立体物体,女生拿平面物体。此时,可以通过增强现实ar设备采集包含该立体物体和平面物体的现实场景图像。

在按照上述所描述的方式对该现实场景图像进行处理之后,若确定出现实场景图像满足ar触发条件,则触发展示相应的ar特效。若不满足ar触发条件,则可以生成相应的提示信息,以提示用户更换立体物体和/或平面物体,直至满足ar触发条件。

通过上述处理方式,不仅可以实现用户和ar设备之间的互动交互,还可以增加用户之间的互动交互,从而为用户增加游戏乐趣。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与数据展示方法对应的数据展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图5所示,为本公开实施例提供的一种数据展示装置的示意图,所述装置包括:获取单元51、检测单元52、确定单元53、展示单元54;其中,

获取单元51,用于获取增强现实ar设备采集到的包含多个对象的现实场景图像;

检测单元52,用于在所述多个对象中检测目标对象,其中,所述目标对象包括所属于预设对象库中的预设三维立体对象和预设二维平面对象;

确定单元53,用于确定与检测到的所述目标对象相匹配的第一ar特效;

展示单元54,用于在所述ar设备的ar交互界面上展示所述相匹配的第一ar特效。

在本公开实施例中,通过在现实场景图像的多个对象中检测预设三维立体对象和预设二维平面对象的处理方式,并通过预设三维立体对象和预设二维平面对象之间的组合关系,确定出匹配的第一ar特效并展示在ar交互界面上,由此可以丰富ar特效的触发条件,增加ar交互方式,扩大ar文创产品的互动效果,进而满足用户的多样化用户需求。

一种可能的实施方式中,检测单元52,用于:在检测出所述多个对象中包含至少一个初始二维平面对象和至少一个初始三维立体对象的情况下,在所述至少一个初始二维平面对象中确定所属于预设对象库的预设二维平面对象,以及在所述至少一个初始三维立体对象中确定所属于预设对象库的预设三维立体对象;将确定出的所述预设二维平面对象和所述预设三维立体对象确定为所述目标对象。

一种可能的实施方式中,检测单元52,还用于:确定每个所述初始三维立体对象的第一对象特征信息,其中,所述第一对象特征信息包括:所述初始三维立体对象的对象特征点和该对象特征点的特征描述信息;在所述预设对象库所包含的各个预设三维立体对象的预设对象特征信息中确定与所述第一对象特征信息相匹配的预设对象特征信息;将所述相匹配的预设对象特征信息所对应的对象确定为所述预设三维立体对象。

一种可能的实施方式中,该装置,还用于:在所述多个对象中检测目标对象之前,通过所述ar设备的摄像装置在多个预设采集点按照预设朝向采集所述预设三维立体对象的图像,得到多个目标图像;提取每个所述目标图像的图像特征信息,其中,所述图像特征信息包括:所述目标图像的特征点和特征点的特征描述信息;将每个所述目标图像的图像特征信息作为所述预设三维立体对象的对象特征信息存储在所述预设对象库中。

一种可能的实施方式中,检测单元52,还用于:提取每个所述初始二维平面对象的第二对象特征信息,其中,所述第二对象特征信息包括:所述初始二维平面对象的对象特征点和该对象特征点的特征描述信息;根据所述第二对象特征信息在所述预设对象库中确定至少一个备选二维平面对象;根据每个所述初始二维平面对象和对应的所述至少一个备选二维平面对象之间的相似度在所述至少一个初始二维平面对象中确定所述预设二维平面对象。

一种可能的实施方式中,确定单元53,还用于:确定所述目标对象的对象标识信息;在目标关联文件中查找与所述对象标识信息具有关联关系的ar特效;所述目标关联文件用于表征预设的对象组合和ar特效之间的对应关系;将所述具有关联关系的ar特效确定为所述相匹配的第一ar特效。

一种可能的实施方式中,确定单元53,还用于:基于所述对象标识信息确定所述目标对象中预设三维立体对象的对象标识信息,得到第一对象标识信息;并基于所述对象标识信息确定所述目标对象中预设二维平面对象的对象标识信息,得到第二对象标识信息;将所述第一对象标识信息和所述第二对象标识信息进行排列组合,得到多个对象组合;在所述目标关联文件中查找与一个或多个对象组合相匹配的ar特效作为所述第一ar特效。

一种可能的实施方式中,确定单元53,还用于:在所述目标关联文件中确定包含所述对象标识信息的备选对象组合;在所述备选对象组合中确定是否包含目标对象组合;所述目标对象组合中不包含除该对象标识信息之外的其他对象标识信息所对应的对象;如果确定出包含所述目标对象组合,将所述目标对象组合所对应的ar特效确定为所述第一ar特效。

一种可能的实施方式中,该装置,还用于:在检测到所述多个对象发生变化的情况下,确定发生变更的目标对象,其中,所述变更包括以下至少之一:新增、删除、替换;在根据所述发生变更的目标对象确定出所述现实场景图像满足ar特效的展示条件下,确定与更新之后的多个对象相匹配的第二ar特效;并在ar设备的ar交互界面上展示所述相匹配的第二ar特效。

一种可能的实施方式中,该装置,还用于:获取所述现实场景图像的场景类型信息;确定单元,还用于:在第一ar特效包括多个ar特效的情况下,在所述多个ar特效中确定与所述场景类型信息相匹配的目标ar特效,并在所述ar交互界面上展示所述目标ar特效。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

对应于图1中的数据展示方法,本公开实施例还提供了一种计算机设备600,如图6所示,为本公开实施例提供的电子设备600结构示意图,包括:

处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当所述电子设备600运行时,所述处理器61与所述存储器62之间通过总线63通信,使得所述处理器61执行以下指令:

获取增强现实ar设备采集到的包含多个对象的现实场景图像;在所述多个对象中检测目标对象,其中,所述目标对象包括所属于预设对象库中的预设三维立体对象和预设二维平面对象;确定与检测到的所述目标对象相匹配的第一ar特效;并在所述ar设备的ar交互界面上展示所述相匹配的第一ar特效。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(softwaredevelopmentkit,sdk)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1