一种虚拟显示的处理方法、装置、设备和介质与流程

文档序号:29636372发布日期:2022-04-13 17:15阅读:89来源:国知局
一种虚拟显示的处理方法、装置、设备和介质与流程

1.本技术涉及增强现实技术领域,特别是涉及一种虚拟显示的处理方法、装置、设备和介质。


背景技术:

2.增强现实(augmented reality)技术是一种将虚拟信息与真实世界巧妙融合的技术,将计算机生成的文字、图像、空间特征点模型、音乐、视频等虚拟信息模拟仿真,在用户设备上一并显示虚拟信息和真实世界实时图像,两种信息互为补充,从而实现对真实世界的“增强”。例如,用户可以在设备中看到真实世界的实时图像和其中放置的虚拟的ar物体。
3.本技术的申请人在长期的研发过程中,发现现有技术中用户利用ar应用可以选择在真实世界的实时图像中放置ar物体,但是不能够对ar物体进行定位,一旦退出当前使用的ar应用,而后再次使用该应用时,就不能够在该位置看到历史放置的ar物体,ar物体不能够复现。


技术实现要素:

4.本技术主要解决的技术问题是提供一种虚拟显示的处理方法、装置、设备和介质。
5.为解决上述技术问题,本技术采用的一个技术方案是:提供一种虚拟显示的处理方法,该方法包括:获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据;获得预设虚拟物在空间模型中的目标显示位置;基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据,其中,目标空间数据用于在用户位于目标环境的情况下确定预设虚拟物在用户终端的显示位置。
6.因此,通过确定预设虚拟物在目标环境的空间模型的显示位置,进而确定预设虚拟物在目标环境中对应的目标空间数据,故能够为预设虚拟物配置目标空间数据,即为预设虚拟物配置在目标环境中的对应放置位置,以使后续在目标空间数据对应的位置显示预设虚拟物,实现虚拟物在固定位置的复现。
7.其中,获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据,包括:利用第一构建方式,构建得到目标环境的空间模型,利用第二构建方式,构建得到目标环境的地图数据,其中,地图数据包含与空间模型中的不同位置对应的空间数据,将构建得到的空间模型和地图数据同步对齐。
8.因此,能够获取到目标环境的空间模型以及地图数据,以用于后续预设虚拟物的放置和配置目标空间数据。另外,该空间模型和地图数据是同步对齐的,因此可以确定空间模型与地图数据中的空间数据之间的对应关系,进而实现预设虚拟物在目标环境中的对应位置的配置。
9.其中,空间模型的构建和地图数据的构建是同步进行的。
10.因此,通过构建空间模型和地图数据,以实现该空间模型和地图数据是同步对齐。
11.其中,第一构建方式为采用mesh构建方式构建,第二构建方式为采用arworldmap
方式构建。
12.因此,采用mesh构建方式和arworldmap构建方式,能够实现对空间模型和地图数据的构建。
13.其中,利用第一构建方式,构建得到目标环境的空间模型,包括:利用第一采集装置对目标环境进行采集,得到第一采集数据;基于第一采集数据,获取目标环境中的第一空间特征点以及第一空间特征点的深度;利用第一空间特征点以及第一空间特征点的深度,构建得到空间模型;和/或,利用第二构建方式,构建得到目标环境的地图数据,包括:利用第二采集装置对目标环境进行采集,得到第二采集数据;基于第二采集数据确定目标环境中的第二空间特征点以及第二空间特征点对应的空间数据。
14.因此,能够基于对目标环境的采集数据,构建空间模型和地图数据,得到反映目标环境的空间模型和地图数据。
15.其中,第一采集装置和第二采集装置为同一采集装置或两个采集装置,在第一采集装置和第二采集装置为两个采集装置的情况下,第一采集装置和第二采集装置设在同一设备上。
16.因此,通过同一采集装置或同一设备的两个采集装置能够实现同步对目标环境进行采集,从而空间模型和地图数据可以对齐。
17.其中,第一采集数据为图像数据和雷达数据中的至少一者,第二采集数据为图像数据。
18.因此,利用图像数据或雷达数据能够采集到目标环境的信息,进而构建得到反映目标环境的空间模型和地图数据。
19.其中,获得预设虚拟物在空间模型中的目标显示位置,包括:显示空间模型;响应于用户的放置操作,将预设虚拟物在空间模型上的指定位置显示;该放置操作用于指示将预设虚拟物放置于指定位置,获取指定位置作为目标显示位置。
20.因此,通过用户的放置操作可以确定预设虚拟物在空间模型中的指定位置,以确定预设虚拟物在目标环境中的位置,故实现了根据用户操作灵活配置预设虚拟物在目标环境中的位置。
21.其中,空间数据保存至目标环境的地图数据中,在基于目标显示位置对应的空间数据,得到预设虚拟物的目标空间数据之后,该方法还包括:将预设虚拟物的目标空间数据增加至地图数据中。
22.因此,通过将预设虚拟物的目标空间数据增加至地图数据中可以实现将预设虚拟物添加至地图数据中,即将虚拟物的位置保存在地图数据中,以用于在后续虚拟显示的过程中在利用该地图数据定位以确定显示虚拟物的位置,从而实现虚拟物在固定位置的复现。
23.其中,在基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据之后,该方法包括:保存预设虚拟物对应的目标空间数据,响应于用户的预设触发操作,获取保存的目标空间数据,以确定预设虚拟物在目标环境中的目标空间位置;响应于检测到当前拍摄到目标空间位置;在当前拍摄画面中显示预设虚拟物。
24.因此,通过保存预设虚拟物的目标空间数据,从而确定该预设虚拟物在目标环境中的目标空间位置,在当前拍摄到目标空间位置时,在当前拍摄画面中显示预设虚拟物,
即,实现在目标环境中的目标空间位置对预设虚拟物进行智能的虚拟显示,故而可以实现预设虚拟物在固定位置复现。
25.其中,保存预设虚拟物对应的目标空间数据包括将预设虚拟物的目标空间数据增加至地图数据中,获取保存的目标空间数据包括:从地图数据中获取目标空间数据,其中,目标空间数据表示预设虚拟物在目标环境中的目标空间位置;检测到当前拍摄到目标空间位置,包括:利用地图数据和当前拍摄画面进行定位,得到当前定位数据;基于当前定位数据检测到当前拍摄到目标空间位置。
26.因此,通过进行定位,可以从地图数据中获取预设虚拟物的目标空间数据,从而确定目标空间位置,以用于实现预设虚拟物在目标空间位置的虚拟显示。
27.其中,基于当前定位数据检测到当前拍摄到目标空间位置,包括:基于当前定位数据确定是否存在至少一组匹配点对,其中,匹配点对包括当前拍摄画面中的第一特征点和目标环境中位于目标空间位置的第二特征点;响应于存在至少一组匹配点对,确定当前拍摄到目标空间位置。
28.因此,利用特征点的匹配情况,能够确定当前是否拍摄到目标空间位置,从而确定是否需要显示预设虚拟物,从而准确显示预设虚拟物。
29.其中,当前定位数据包括当前位姿;在当前显示画面上显示预设虚拟物,包括:基于当前位姿与目标空间位置,确定预设虚拟物的显示参数,显示参数包括以下至少一者:在当前显示画面中的显示位置和预设虚拟物的显示形态;按照显示参数,将预设虚拟物显示在当前显示画面中。
30.因此,利用当前位姿和预设虚拟物的目标空间位置能够确定如何显示预设虚拟物,从而准确显示预设虚拟物。
31.其中,显示形态包括尺寸和朝向中的至少一者。
32.因此,利用尺寸和朝向中的至少一者可以准确显示预设虚拟物。
33.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种虚拟显示的处理装置,该装置包括:第一获取模块、第二获取模块和第三获取模块,其中,第一获取模块用于获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据,第二获取模块用于获得预设虚拟物在空间模型中的目标显示位置;第三获取模块用于基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据,其中,目标空间数据用于在用户位于目标环境的情况下确定预设虚拟物在用户终端的显示位置。
34.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种电子设备,该设备包括处理器和存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现上述任一虚拟显示的处理方法或虚拟显示的方法。
35.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储程序数据,程序数据能够被执行,用以实现上述任一虚拟显示的处理方法或虚拟显示的方法。
36.在上述方案中,能够为预设虚拟物预先配置目标空间位置,以使后续在该目标空间位置智能显示预设虚拟物,实现虚拟物在固定位置的复现。
附图说明
37.图1是本技术虚拟显示的处理方法一实施例的流程示意图;
38.图2是本技术虚拟显示的处理方法另一实施例的流程示意图;
39.图3是本技术步骤s210另一实施例的流程示意图;
40.图4是本技术步骤s220另一实施例的流程示意图;
41.图5是本技术步骤s240另一实施例的流程示意图;
42.图6是本技术中虚拟显示的处理方法再一实施例的流程示意图;
43.图7是本技术步骤s660另一实施例的流程示意图;
44.图8是本技术步骤s670另一实施例的流程示意图;
45.图9是本技术虚拟显示的处理装置一实施例的框架示意图;
46.图10是本技术电子设备一实施例的框架示意图;
47.图11是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
48.为使本技术的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本技术进一步详细说明。
49.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
50.可以理解的是,本技术方法可以包含任一个下述方法实施例以及任意不冲突的下述方法实施例的组合所提供的方法。
51.可以理解的是,本技术中的虚拟显示的处理方法可以由一处理设备执行,上述处理设备可以为任意具有处理能力的电子设备,例如,手机、平板电脑、计算机等。
52.请参阅图1,图1是本技术虚拟显示的处理方法一实施例的流程示意图,该方法包括:
53.步骤s110:获取目标环境的空间模型以及空间模型中不同位置对应的空间数据。
54.其中,目标环境是用户需要向其中添加预设虚拟物的环境,预设虚拟物为用户需要查看的虚拟物。
55.具体举例来说,一部分用户具有在特定环境中查看虚拟物的需求,例如,在房间养一只虚拟宠物,或者在地标建筑处看到打卡虚拟物等。那么为了实现上述需求,首先需要将用户需要查看的预设虚拟物固定放置到目标环境中,处理设备可以通过执行本技术中的虚拟显示的处理方法中虚拟物定位的相关步骤实现。
56.需要说明的是,本技术中虚拟显示的处理方法中的用户可以包括虚拟显示应用开发人员和虚拟显示应用使用者等。通常来说,虚拟显示的处理方法中涉及虚拟物定位的相关步骤的用户一般可以为开发人员,而涉及虚拟显示的相关步骤的用户可以为使用者。具体地,处理设备响应于用户的操作执行虚拟物定位的相关步骤,实现将需要查看的预设虚拟物固定放置到目标环境中。而后执行虚拟显示的相关步骤,实现在目标环境的目标空间位置显示预设虚拟物供用户查看。
57.其中,空间数据也就是空间位置信息,利用空间数据能够确定空间模型中的不同位置对应在目标环境中的空间位置信息。
58.步骤s120:获得预设虚拟物在空间模型中的目标显示位置。
59.需要说明的是,空间模型为基于目标环境构建的可视的模型,而空间模型中不同位置对应的空间数据为不可视的,空间模型可以用于供用户在该可视的模型中确定预设虚拟物的目标显示位置,该目标显示位置即可以对应预设虚拟物在目标环境中的目标空间位置,处理设备可以获取用户确定的预设虚拟物在空间模型中的目标显示位置,以供后续确定目标空间位置。
60.步骤s130:基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据。
61.需要说明的是,在已经获取到空间模型中不同位置对应的空间数据以及目标显示位置之后,就可以确定目标显示位置对应空间数据作为目标空间数据,该目标空间数据可以用于在虚拟显示的过程中确定预设虚拟物在目标环境中的目标空间位置。
62.需要说明的是,本技术虚拟显示的处理方法中包括虚拟显示的处理的相关步骤和虚拟显示的相关步骤,其中,虚拟显示的处理的相关步骤由本处理设备执行,虚拟显示的相关步骤可以由本处理设备执行,也可以由与本处理设备连接的用户终端执行。
63.在上述方案中,能够为预设虚拟物配置目标空间位置,以使后续在该目标空间位置智能显示预设虚拟物,实现虚拟物在固定位置的复现。
64.请参阅图2,图2是本技术虚拟显示的处理方法另一实施例的流程示意图,该方法包括:
65.需要说明的是,获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据可以是获取其他设备构建得到的空间模型和地图数据,其中,地图数据包含与空间模型中不同位置对应的空间数据;或者也可以是利用该处理设备构建得到目标环境的空间模型和地图数据,从而从中获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据。本实施例中以后者为例进行说明,步骤s110可以通过步骤s210和步骤s220来实现,由该处理设备执行。若由其他设备构建目标环境的空间模型和地图数据,则是由其他设备执行步骤s210和步骤s210,而后由该处理设备获取其他设备构建得到的空间模型和地图数据。
66.其中,构建得到的空间模型和地图数据均是针对目标环境而来的,两者同步对齐,该地图数据包含与空间模型中不同位置对应的空间数据。
67.步骤s210:利用第一构建方式,构建得到目标环境的空间模型。
68.进一步地,第一构建方式可以为采用mesh构建方式构建,通过该构建方式得到的可视的目标环境的空间模型能够反映目标环境中所包含的物体的大致轮廓。
69.步骤s220:利用第二构建方式,构建得到目标环境的地图数据。
70.进一步地,第二构建方式可以为采用arworldmap方式构建,通过该方式能够构建出目标环境的地图,也就是得到地图数据,该地图为用户不可见的,该地图可以用于确定处于该目标环境中不同位置的空间数据。
71.为了使上述空间模型和地图数据对齐,空间模型的构建和地图数据的构建是同步进行的,也就是同时执行步骤s210和步骤s220。
72.请结合参阅图2和图3,图3是本技术步骤s210另一实施例的流程示意图,步骤s210包括:
73.构建目标环境的空间模型和地图数据均基于对目标环境进行采集,而后依据采集得到的数据进行构建。处理设备可以包括采集装置,用于对目标环境进行采集,采用不同的构建方式所用的采集装置可以是相同的或不同的,若两构建方式使用的采集装置不同,那么两个采集装置设在同一处理设备上。
74.步骤s311:利用第一采集装置对目标环境进行采集,得到第一采集数据。
75.其中,步骤s210中使用的采集装置为第一采集装置,第一采集装置可以为拍摄组件或者雷达,第一采集数据的形式与使用的第一采集装置的类型对应,第一采集数据为图像数据和雷达数据中的至少一者。
76.具体来说,用户在目标环境中开启第一采集装置,并对目标环境进行扫描,从而实现利用处理设备的第一采集装置对目标环境进行采集。处理设备可以在用户扫描的过程中利用第一采集装置采集外界也就是目标环境的信息,从而得到第一采集数据。
77.步骤s312:基于第一采集数据,获取目标环境中的第一空间特征点以及第一空间特征点的深度。
78.第一空间特征点为从目标环境中选择的若干特征点,利用雷达数据能够提取到目标环境中的第一空间特征点以及确定对应的深度,其中,深度是指该第一空间特征点与处理设备之间的距离,或者,对图像数据进行分析提取到目标环境中的第一空间特征点以及确定对应的深度。
79.步骤s313:利用第一空间特征点以及第一空间特征点的深度,构建得到空间模型。
80.在得到了目标环境中的第一空间特征点以及对应的深度之后,处理设备可以基于上述信息构建目标环境的空间模型,通过第一空间特征点以及对应的深度,该空间模型能够大致反映目标环境中的物体轮廓等。
81.请结合参阅图2和图4,图4是本技术步骤s220另一实施例的流程示意图,步骤s220包括:
82.步骤s421:利用第二采集装置对目标环境进行采集,得到第二采集数据。
83.其中,第二采集装置为拍摄组件,具体来说,用户可以在目标环境中开启第二采集装置,并对目标环境进行扫描,从而实现利用设备的第二采集装置对目标环境进行采集,并且利用第一采集装置对目标环境进行采集和利用第二采集装置对目标环境进行采集这两个步骤是同步进行的,从而能够保证构建的空间模型和地图数据是对齐的。
84.需要说明的是,用户可以在目标环境中移动以及转动,以使处理设备能够从多位置和多角度对目标环境进行采集,采集到足够的数据,从而构建更加准确的空间模型和地图数据。
85.步骤s422:基于第二采集数据确定目标环境中的第二空间特征点以及第二空间特征点对应的空间数据。
86.其中,第二采集数据为图像数据,第二空间特征点为从目标环境中选择的若干特征点,处理设备可以从采集到的图像数据中提取得到第二空间特征点,目标环境中的环境纹理可以作为第二空间特征点,简单举例来说,例如桌子的边角或者桌子上的木头纹理等均可以作为第二空间特征点。
87.需要说明的是,地图数据中实际上存储了目标环境中的第二空间特征点的信息,故而目标环境的亮度、纹理细节等会影响对目标环境的采集进而影响地图数据的构建,若亮度过低或者缺少纹理细节,例如对一面白色墙壁进行采集可能会影响地图数据的构建。
88.其中,第二空间特征点对应的空间数据能够反映第二空间特征点在目标环境中的空间位置,具体地,将第二空间特征点以及对应的空间数据作为地图数据,地图数据可以反映目标环境中的第二空间特征点的分布,可以用于确定处于目标环境中的预设虚拟物和处理设备的位置和朝向,也就是位姿。由于地图数据和空间模型是对齐的,那么地图数据也就包括了空间模型中的不同位置对应的空间数据。
89.步骤s230:将构建得到的空间模型和地图数据同步进行对齐。
90.其中,空间模型和地图数据均为基于目标环境而构建的,并且两者可以是同步进行构建的,那么可以将两者同步进行对齐,也就能够将空间模型和地图数据对应,那么基于地图数据就能够确定空间模型中的不同位置对应的空间数据,也就是空间位置信息。
91.步骤s240:获得预设虚拟物在空间模型中的目标显示位置。
92.需要说明的是,处理设备可以运行一开发工具,该开发工具可以是为用户提供的供用户其中进行操作,从而实现步骤s240-步骤s260。用户可以利用该开发工具开发虚拟显示应用,也就是ar应用,该ar应用也就是后续执行虚拟显示方法的主体,具体举例说明,开发工具可以包括unity实时内容开发平台等。
93.在一些实施例中,一个空间模型中可以放置若干个相同或不同的虚拟物,可以根据用户的实际需求确定,在此不做具体限制。
94.请结合参阅图2和图5,图5是本技术步骤s240另一实施例的流程示意图,步骤s240包括:
95.步骤s541:显示空间模型。
96.具体地,将获取到的空间模型和对应的地图数据一并导入开发工具中,处理设备可以在该开发工具的界面中显示该空间模型供用户查看,以及确定预设虚拟物放置的位置。
97.由于该空间模型可以反映目标环境中的物体的大致轮廓,通过在空间模型中放置预设虚拟物,处理设备可以确定预设虚拟物在目标环境中的目标空间位置。
98.步骤s542:响应于用户的放置操作,将预设虚拟物在空间模型上的指定位置上显示。
99.需要说明的是,处理设备可以预存有若干已经构建完成的虚拟物,并且可以将上述虚拟物显示于开发工具界面中供用户从中选择预设虚拟物并放置。用户可以选择预设虚拟物,并且将预设虚拟物拖动到空间模型中的某位置放置,该位置即为用户确定的指定位置。
100.处理设备可以响应于上述放置操作,将预设虚拟物在空间模型上的指定位置上显示,从而用户可以查看到将该预设虚拟物放置到指定位置效果。
101.步骤s543:获取指定位置作为目标显示位置。
102.其中,该空间模型的目标显示位置与目标环境中预设虚拟物的目标空间位置对应。
103.步骤s250:基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间
数据。
104.在确定了目标显示位置对应的空间数据之后,依据空间模型和与之对齐的地图数据,可以获取目标显示位置对应的空间数据,将该空间数据作为预设虚拟物对应的目标空间数据,通过预设虚拟物对应的目标空间数据可以确定预设虚拟物在目标环境中的目标空间位置。
105.在一些实施例中,处理设备可以响应于用户在空间模型中移动预设虚拟物的位置的操作,对预设虚拟物的目标空间数据进行修改,从而在后续显示预设虚拟物的过程中,以修改后的目标空间数据为准,从而实现根据用户操作灵活配置预设虚拟物在目标环境中的位置,便捷地对预设虚拟物的位置进行调整,提高开发效率。
106.在一些实施例中,处理设备可以响应于用户对预设虚拟物的修改的操作,例如,增加、减少和替换等,对预设虚拟物的目标空间数据进行修改,从而在后续显示预设虚拟物的过程中,以修改后的目标空间数据为准,从而实现便捷地对预设虚拟物进行修改,提高开发效率。
107.步骤s260:将预设虚拟物的目标空间数据增加至地图数据中。
108.需要说明的是,若处理设备中预存有步骤s260中得到的地图数据,那么用户可以通过该处理设备安装的虚拟显示应用对用户身处的环境进行扫描,判断是否处于目标环境中,若处于,利用上述地图数据可以实现当拍摄到目标空间位置时,在目标空间位置处显示预设虚拟物。
109.在一些实施例中,可以重复执行上述步骤,得到多个地图数据,并将该多个地图数据预置在虚拟显示应用中,供设备获取和安装该虚拟显示应用,从而用户可以通过该处理设备在不同的环境中看到对应的预设虚拟物。
110.在上述方案中,能够为预设虚拟物配置目标空间位置,并将预设虚拟物的目标空间数据增加至地图数据中,即将虚拟物的位置保存在地图数据中,以用于在后续虚拟显示的过程中在利用该地图数据定位以确定显示虚拟物的位置,从而实现虚拟物在固定位置的复现。
111.请参阅图6,图6是本技术中虚拟显示的处理方法再一实施例的流程示意图,该方法包括:
112.步骤s610:获取目标环境的空间模型以及空间模型中不同位置对应的空间数据。
113.步骤s620:获得预设虚拟物在空间模型中的目标显示位置。
114.步骤s630:基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据。
115.可以理解的是,步骤s610-步骤s630的相关描述可以参考前述关于步骤s110-步骤s130的相关内容,在此不做赘述。
116.步骤s640:保存预设虚拟物的目标空间数据。
117.具体地,保存预设虚拟物的目标空间数据可以包括将预设虚拟物的目标空间数据增加至地图数据中。
118.需要说明的是,通过上述步骤s610-步骤s640,可以实现在目标环境中放置预设虚拟物,也可以重复执行步骤s610-步骤s640,从而在多个环境中分别放置虚拟物,为了便于说明和理解,本技术中以仅在目标环境中放置预设虚拟物,而后用户处于目标环境中进行
后续操作为例进行说明。
119.步骤s650:响应于用户的预设触发操作,获取保存的所述目标空间数据,以确定所述预设虚拟物在所述目标环境中的目标空间位置。
120.可以理解的是,处理设备中可以运行一虚拟显示应用,该虚拟显示应用可以是通过步骤s610-步骤s640而得到的,该应用的数据中可以包括有上述地图数据,也就是目标环境的地图数据。该目标环境的地图数据可以是由处理设备执行上述步骤s610-步骤s640而得到的,该地图数据中可以包括预设虚拟物的目标空间数据,该目标空间数据表示预设虚拟物在目标环境中的目标空间位置。
121.其中,预设触发操作可以是预设的用于触发执行虚拟显示的相关步骤的操作,例如打开虚拟显示应用等。
122.具体地,处理设备可以获取并安装该虚拟显示应用,从而也就能够获取目标环境的地图数据,响应于用户的预设触发操作,从该地图数据中获取目标空间数据,以利用该目标空间数据确定预设虚拟物在目标环境中的目标空间位置。
123.步骤s660:检测当前是否拍摄到目标空间位置。
124.需要说明的是,处理设备当前可能并没有拍摄到目标空间位置,此时处理设备即不会显示预设虚拟物。只有在拍摄到目标空间位置时才会显示预设虚拟物,故而首先要对处理设备当前是否拍摄到目标空间位置进行检测。
125.请结合参阅图6和图7,图7是本技术步骤s660另一实施例的流程示意图,步骤s660包括:
126.步骤s761:利用地图数据和当前拍摄画面进行定位,得到当前定位数据。
127.需要说明的是,该定位过程也可以称为重定位,用户可以利用处理设备中运行的虚拟显示应用对当前身处的环境进行扫描,也就得到当前拍摄画面,基于当前拍摄画面可以确定当前环境中的空间特征点信息,由于处理设备中已经预存有地图数据,也就是目标环境的地图数据,该地图数据中包括目标环境中的所有空间特征点信息,那么处理设备可以利用基于当前拍摄画面确定的当前环境中的空间特征点和地图数据中的目标环境的所有空间特征点进行匹配,从而判断当前环境是否与目标环境一致,若当前环境中的空间特征点与目标环境中的若干空间特征点匹配,那么可以确定当前环境与目标环境一致,那么可以确定当前处于目标环境中,可以不必对当前环境进行重新采集和构建地图,可以直接利用该地图数据进一步得到当前定位数据。
128.若当前环境的空间特征点没有与地图数据中的空间特征点对应,那么可以确定重定位失败。需要说明的是,即便用户处于目标环境中,在重定位时处理设备所处的位置与构建地图过程中所处的位置也可能是不同的。那么对于同一空间特征点来说,在构建地图时采集该空间特征点的信息时的采集角度,与在重定位过程中对该空间特征点采集的角度可能是不同的,若两者差异过大,可能导致即便是同一空间特征点,也可能匹配失败。故而,在构建地图时尽量从多位置多角度采集环境中的空间特征点的信息,能够提高后续重定位的成功率,在进行重定位时的采集位姿尽量与构建地图时的采集位姿一致,能够提高重定位的成功率。
129.步骤s762:基于当前定位数据检测当前是否拍摄到目标空间位置。
130.需要说明的是,在完成定位之后,能够确定当前位于目标环境中,也就能够确定目
标环境的地图数据以及其中包括的目标空间数据。
131.定位得到的当前定位数据包括了处理设备的当前位姿,也就是当前位于在目标环境中的位置和姿态。处理设备可以通过该位姿与目标空间位置的关系确定当前是否拍摄到目标空间位置。
132.或者还可以通当前拍摄画面中的特征点与目标空间位置处的特征点确定当前是否拍摄到目标空间位置,具体地,处理设备可以基于当前拍摄画面和当前定位数据确定是否存在至少一组匹配点对,其中,匹配点对包括当前拍摄画面中的第一特征点和目标环境中位于目标空间位置的第二特征点,响应于存在至少一组匹配点对,确定处理设备当前拍摄到目标空间位置。
133.步骤s670:响应于检测到当前拍摄到目标空间位置,在当前拍摄画面中显示预设虚拟物。
134.可以理解的是,对于同一预设虚拟物来说,处理设备在不同的位置处拍摄到的同一预设虚拟物均是不同的,例如,大小或者朝向等均可能不同,这是由预设虚拟物的目标空间位置以及朝向和处理设备的位姿决定的。
135.请结合参阅图6和图8,图8是本技术步骤s670另一实施例的流程示意图,步骤s670包括:
136.步骤s871:基于当前位姿与目标空间位置,确定预设虚拟物的显示参数。
137.可以理解的是,在重定位的过程中,可以确定处理设备的当前位姿作为当前定位数据。
138.具体地,依据处理设备的当前位姿与当前环境中的预设虚拟物的目标空间位置之间的位置关系可以确定预设虚拟物的显示参数。其中,显示参数可以包括以下至少一者:在当前显示画面中的显示位置和预设虚拟物的显示形态,显示形态又可以包括尺寸和朝向中的至少一者。
139.步骤s872:按照显示参数,将预设虚拟物显示在当前显示画面中。
140.具体地,将预设虚拟物依照确定的尺寸和朝向,在确定的显示位置处显示该预设虚拟物。
141.步骤s650-步骤s670可以认为是虚拟显示的相关步骤,该步骤可以由处理设备执行,也可以由用户终端执行。
142.在上述方案中,通过预存该预设虚拟物在目标环境中的目标空间位置,在处理设备当前拍摄到目标空间位置时,在当前拍摄画面中显示预设虚拟物,即,实现在目标环境中的目标空间位置对预设虚拟物进行智能的虚拟显示,故而可以实现预设虚拟物在固定位置复现。
143.请参阅图9,图9是本技术虚拟显示的处理装置一实施例的框架示意图。
144.本实施例中,虚拟显示的处理装置90包括第一获取模块91、第二获取模块92和第三获取模块93。
145.其中,第一获取模块91用于获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据,第二获取模块92用于获得预设虚拟物在空间模型中的目标显示位置,第三获取模块93用于基于目标显示位置对应的空间数据,得到预设虚拟物对应的目标空间数据,其中,目标空间数据用于在用户位于目标环境的情况下确定预设虚拟物在用户终端的
显示位置。
146.其中,上述获取目标环境的空间模型以及空间模型中的不同位置对应的空间数据,具体包括:利用第一构建方式,构建得到目标环境的空间模型,利用第二构建方式,构建得到目标环境的地图数据,其中,地图数据包含与空间模型中的不同位置对应的空间数据,构建得到的空间模型和地图数据同步对齐;或者,获取其他设备构建得到的空间模型和地图数据。
147.其中,空间模型的构建和地图数据的构建是同步进行的,第一构建方式为采用mesh构建方式构建,第二构建方式为采用arworldmap方式构建。
148.其中,上述利用第一构建方式构建得到目标环境的空间模型,具体包括:利用第一采集装置对目标环境进行采集,得到第一采集数据;基于第一采集数据,获取目标环境中的第一空间特征点以及第一空间特征点的深度;利用第一空间特征点以及第一空间特征点的深度,构建得到空间模型。
149.其中,上述利用第二构建方式构建得到目标环境的地图数据,具体包括:利用第二采集装置对目标环境进行采集,得到第二采集数据;基于第二采集数据确定目标环境中的第二空间特征点以及第二空间特征点对应的空间数据。
150.其中,第一采集装置和第二采集装置为同一采集装置或两个采集装置,在第一采集装置和第二采集装置为两个采集装置的情况下,第一采集装置和第二采集装置设在同一设备上;第一采集数据为图像数据和雷达数据中的至少一者,第二采集数据为图像数据。
151.其中,上述获得预设虚拟物在空间模型中的目标显示位置,具体包括:显示空间模型;响应于用户的放置操作,将预设虚拟物放置在显示的空间模型上;获取预设虚拟物在空间模型上的当前显示位置作为目标显示位置。
152.其中,上述虚拟显示的处理装置90还包括增加模块,用于将预设虚拟物的目标空间数据增加至地图数据中。
153.其中,上述虚拟显示的处理装置90还包括保存模块、第四获取模块和显示模块,保存模块用于保存预设虚拟物对应的目标空间数据,第四获取模块用于响应于用户的预设触发操作,获取保存的目标空间数据,以确定预设虚拟物在目标环境中的目标空间位置,显示模块用于在当前拍摄画面中显示预设虚拟物。
154.其中,上述保存预设虚拟物对应的目标空间数据具体包括,将预设虚拟物的目标空间数据增加至地图数据中,上述获取保存的目标空间数据具体包括,从地图数据中获取目标空间数据,其中,目标空间数据表示预设虚拟物在目标环境中的目标空间位置,上述检测到当前拍摄到目标空间位置具体包括利用地图数据和当前拍摄画面进行定位,得到当前定位数据;基于当前定位数据检测到当前拍摄到目标空间位置。
155.其中,上述基于当前定位数据检测到当前拍摄到目标空间位置具体包括,基于当前定位数据确定是否存在至少一组匹配点对,其中,匹配点对包括当前拍摄画面中的第一特征点和目标环境中位于目标空间位置的第二特征点;响应于存在至少一组匹配点对,确定当前拍摄到目标空间位置。
156.其中,上述当前定位数据包括当前位姿,上述在当前显示画面上显示预设虚拟物具体包括,基于当前位姿与目标空间位置,确定预设虚拟物的显示参数,显示参数包括以下至少一者:在当前显示画面中的显示位置和预设虚拟物的显示形态;按照显示参数,将预设
虚拟物显示在当前显示画面中。
157.请参阅图10,图10是本技术电子设备一实施例的框架示意图。
158.本实施例中,电子设备100可以是上述实施例中的处理设备或者用户终端,电子设备100包括存储器101、处理器102,其中存储器101耦接处理器102。具体地,电子设备100的各个组件可通过总线耦合在一起,或者电子设备100的处理器102分别与其他组件一一连接。该电子设备100可以为具有处理能力的任意设备,例如计算机、平板电脑、手机等。
159.存储器101用于存储处理器102执行的程序数据以及处理器102在处理过程中的数据等。例如,地图数据、空间模型、预设虚拟物等。其中,该存储器101包括非易失性存储部分,用于存储上述程序数据。
160.处理器102控制电子设备100的操作,处理器102还可以称为为cpu(central processing unit,中央处理单元)。处理器102可能是一种集成电路芯片,具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器102可以由多个成电路芯片共同实现。
161.处理器102通过调用存储器101存储的程序数据,用于执行指令以实现上述任一虚拟显示的处理方法或虚拟显示方法。
162.请参阅图11,图11是本技术计算机可读存储介质一实施例的框架示意图。
163.本实施例中,该计算机可读存储介质110存储有处理器可运行的程序数据111,该程序数据能够被执行,用以实现上述任一虚拟显示的处理方法或虚拟显示方法。
164.该计算机可读存储介质110具体可以为u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等可以存储程序数据的介质,或者也可以为存储有该程序数据的服务器,该服务器可将存储的程序数据发送给其他设备运行,或者也可以自运行该存储的程序数据。
165.在一些实施例中,计算机可读存储介质110还可以为如图10所示的存储器。
166.本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
167.可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
168.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
169.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似
之处可以互相参考,为了简洁,本文不再赘述。
170.以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1