使用多分辨率帧描述符进行地图处理的交叉现实系统的制作方法

文档序号:32349395发布日期:2022-11-26 12:24阅读:来源:国知局

技术特征:
1.一种分布式计算环境中的网络资源,所述网络资源用于向能够在三维3d环境中渲染虚拟内容的多个便携式电子设备提供共享的基于位置的内容,所述网络资源包括:一个或多个处理器;以及至少一个计算机可读介质,其包括:所述3d环境的多个存储地图;以及计算机可执行指令,其在由所述一个或多个处理器执行时使得所述网络资源:从便携式电子设备接收关于在由所述便携式电子设备捕获的图像中检测到的多个特征的信息;以及计算所述图像的帧描述符,其中,所计算的帧描述符具有大于512位的分辨率。2.根据权利要求1所述的网络资源,其中:所述3d环境的所述多个存储地图中的至少一个存储地图与具有大于512位的分辨率的至少一个帧描述符相关联。3.根据权利要求2所述的网络资源,其中:所述计算机可执行指令在由一个或多个处理器执行时进一步使得所述网络资源:将所计算的所述图像的帧描述符和与所述3d环境的所述多个存储地图中的至少一个存储地图相关联的所述至少一个帧描述符进行比较。4.根据权利要求3所述的网络资源,其中:所述计算机可执行指令在由一个或多个处理器执行时进一步使得所述网络资源:基于所计算的所述图像的帧描述符和与所述多个存储地图中的至少一个存储地图相关联的所述至少一个帧描述符的比较,从所述多个存储地图中选择一个或多个地图以将所述便携式电子设备定位到共享坐标系。5.根据权利要求4所述的网络资源,其中:所述计算机可执行指令在由所述一个或多个处理器中的处理器执行时进一步使得所述网络资源:向所述便携式电子设备发送所选择的一个或多个地图。6.根据权利要求3所述的网络资源,其中:所述计算机可执行指令在由所述一个或多个处理器中的处理器执行时进一步使得所述网络资源:基于所计算的所述图像的帧描述符和与所述多个存储地图中的至少一个存储地图相关联的所述至少一个帧描述符的比较,确定所述便携式电子设备的位置是否对应于来自所述3d环境的所述多个存储地图的存储地图。7.根据权利要求6所述的网络资源,其中:所述计算机可执行指令在由所述一个或多个处理器中的处理器执行时进一步使得所述网络资源:从所述便携式电子设备接收跟踪地图;将所述跟踪地图与所述存储地图合并,以基于所述存储地图和所述跟踪地图的位置信息生成包括位置信息的合并地图;以及将所述合并地图存储在所述计算机可读介质中。
8.根据权利要求1至7中任一项所述的网络资源,其中,所述便携式电子设备选自包括以下项的组:可穿戴设备,其包括头戴式显示器,所述头戴式显示器包括安装在其上的多个相机;以及便携式计算设备,其包括相机和显示器,并被配置有计算机可执行指令,所述计算机可执行指令用于在所述显示器上渲染与由所述相机获取的图像相关的虚拟内容。9.根据权利要求1至8中任一项所述的网络资源,其中,所述计算机可执行指令包括用于实现神经网络以计算帧描述符的指令。10.一种向能够在三维3d环境中渲染虚拟内容的多个便携式电子设备提供共享的基于位置的内容的方法,所述方法包括:在便携式电子设备上:获取所述3d环境的一个或多个图像;从所述一个或多个图像中识别一个或多个特征;向网络资源传输关于在所述3d环境的所述一个或多个图像中识别的一个或多个特征的信息;以及基于所述一个或多个特征,计算所述一个或多个图像的一个或多个第一帧描述符,所述第一帧描述符具有第一分辨率;在所述网络资源上:存储所述3d环境的多个地图;以及基于关于所述一个或多个特征的所述信息,计算表示所述一个或多个图像的一个或多个第二帧描述符,其中,所述一个或多个第二帧描述符具有大于所述第一分辨率的第二分辨率。11.根据权利要求10所述的方法,还包括:在所述便携式电子设备上,基于所述一个或多个第一帧描述符来选择本地地图的至少一部分;以及在所述网络资源上,基于所述一个或多个第二帧描述符来选择共享地图的至少一部分。12.根据权利要求11所述的方法,其中,选择所述共享地图的至少一部分包括:将所述一个或多个第二帧描述符和与所述3d环境的所述多个地图相关联的一个或多个帧描述符进行比较。13.根据权利要求12所述的方法,还包括:在所述网络资源上,基于所述一个或多个第二帧描述符和与所述3d环境的所述多个地图相关联的一个或多个帧描述符的比较,从所述多个地图中确定一个或多个地图以用于将所述便携式电子设备定位到共享坐标系。14.根据权利要求13所述的方法,还包括:对于所确定的用于定位所述便携式电子设备的一个或多个地图,计算一个或多个第三帧描述符,其中,所述一个或多个第三帧描述符具有所述第一分辨率;从所述网络资源向所述便携式电子设备发送所确定的用于定位所述便携式电子设备的一个或多个地图以及所述一个或多个第三帧描述符。15.根据权利要求11所述的方法,还包括:在所述网络资源上,基于根据从所述便携式
电子设备接收的关于像素群的信息而计算的一个或多个帧描述符和与所述3d环境的所述多个地图相关联的一个或多个帧描述符的比较,确定所述便携式电子设备的位置是否对应于来自所述3d环境的所述多个存储地图的存储地图。16.根据权利要求15所述的方法,其中:关于所述一个或多个特征的所述信息包括跟踪地图;以及所述方法还包括:在所述网络资源处,将所述跟踪地图与所述存储地图合并,以基于所述存储地图和所述跟踪地图的位置信息产生包括位置信息的合并地图;以及在网络资源处,将所述合并地图连同所述一个或多个第二帧描述符一起存储在所述计算机可读介质中。17.根据权利要求10至16中任一项所述的方法,其中,所述便携式电子设备选自包括以下项的组:可穿戴设备,其包括头戴式显示器,所述头戴式显示器包括安装在其上的多个相机;以及便携式计算设备,其包括相机和显示器,并被配置有计算机可执行指令,所述计算机可执行指令用于在所述显示器上渲染与由所述相机获取的图像相关的虚拟内容。18.根据权利要求10至17中任一项所述的方法,其中,计算一个或多个第一帧描述符的动作和/或计算一个或多个第二帧描述符的动作是使用神经网络执行的。19.一种用于向能够在三维3d环境中渲染虚拟内容的多个便携式电子设备提供共享的基于位置的内容的系统,所述系统包括:至少一个便携式电子设备,其被配置为渲染虚拟内容;以及至少一个网络资源;其中,所述至少一个便携式电子设备中的每一个包括至少一个处理器、至少一个相机、以及包括指令的至少一个计算机可读介质,所述指令在被执行时使得所述至少一个处理器执行:用所述至少一个相机拍摄所述3d环境的至少一个图像;对于所述至少一个图像,识别代表特征的多组像素;对于所述多组像素,计算表示所述多组像素的描述符;创建包括针对所述多组像素所计算的所述描述符的数据结构;将所述数据结构发送到网络资源;根据针对所述多组像素所计算的所述描述符,计算至少一个第一帧描述符,所述至少一个第一帧描述符具有第一分辨率;以及基于具有所述第一分辨率的所述至少一个第一帧描述符,比较所述便携式电子设备本地的图像帧;以及其中,所述至少一个网络资源包括一个或多个处理器和至少一个计算机可读介质,所述至少一个计算机可读介质包括:所述3d环境的多个存储地图,其中,所述多个存储地图中的至少一个存储地图与至少一个帧描述符相关联;以及计算机可执行指令,其在由所述一个或多个处理器执行时使得所述网络资源:
使用神经网络根据针对所述多组像素所计算的描述符来计算至少一个第二帧描述符,其中,所述至少一个第二帧描述符具有高于所述第一分辨率的第二分辨率;将所述至少一个第二帧描述符和与所述3d环境的所述至少一个存储地图相关联的所述至少一个帧描述符进行比较;以及基于所述至少一个第二帧描述符和与所述至少一个存储地图相关联的所述至少一个帧描述符的比较,将所述便携式电子设备定位到共享坐标系。20.根据权利要求19所述的系统,其中,所述至少一个便携式电子设备选自包括以下项的组:可穿戴设备,其包括头戴式显示器,所述头戴式显示器包括安装在其上的多个相机;以及便携式计算设备,其包括相机和显示器,并被配置有计算机可执行指令,所述计算机可执行指令用于在所述显示器上渲染与由所述相机获取的图像相关的虚拟内容。21.根据权利要求19所述的系统,其中,所述至少一个网络资源的所述计算机可执行指令还包括计算机可执行指令,所述计算机可执行指令在由所述一个或多个处理器执行时使得所述网络资源:从所述至少一个便携式电子设备中的便携式电子设备接收跟踪地图;以及将所述跟踪地图与所述至少一个存储地图合并,以基于所述至少一个存储地图和所述跟踪地图的位置信息产生包括位置信息的合并地图,以及将所述合并地图存储在所述计算机可读介质中。

技术总结
一种分布式、交叉现实系统有效且准确地比较包括图像帧的位置信息。每个帧都可以表示为数字描述符,该描述符能够识别具有相似内容的帧。基于图像比较的模糊度和/或设备的计算资源,描述符的分辨率可以针对分布式系统中的不同计算设备而变化。针对在大区域的地图上运行的基于云的组件计算的描述符可能导致对多个图像帧的模糊识别,可以使用高分辨率描述符。高分辨率描述符减少了计算密集型消歧处理。更可能在较小的地图上操作并且不太可能具有计算高分辨率描述符的计算资源的便携式设备可以使用较低分辨率的描述符。以使用较低分辨率的描述符。以使用较低分辨率的描述符。


技术研发人员:E
受保护的技术使用者:奇跃公司
技术研发日:2021.02.11
技术公布日:2022/11/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1