技术特征：
1.一种操作图像捕捉设备来捕捉在物理环境中的对象的二维图像的方法，所述方法包括：用所述图像捕捉设备从多个有利点捕捉所述对象的二维图像；使用与所述图像捕捉设备相关联的至少一个传感器来检测关于所述图像捕捉设备在所述物理环境中的一个或多个所述有利点处的位置、运动或取向中的一个或多个的信息；从所述二维图像中确定对象姿态；以及将检测到的关于所述图像捕捉设备在所述一个或多个所述有利点处的信息用于选择对象姿态来将所捕捉的二维图像中的对象特征转换成所述对象的三维计算模型。2.如权利要求1所述的方法，其特征在于，还包括：从所捕捉的二维图像中计算对象姿态，其中所述选择包括响应于在所计算的对象姿态和从所检测到的信息中确定的对象姿态之间的不一致丢弃对象姿态。3.如权利要求1所述的方法，其特征在于，还包括：将所选的对象姿态提供给被配置用于从所捕捉的二维图像中的对象特征中构建所述三维模型的过程。4.如权利要求1所述的方法，其特征在于，还包括：操作所述图像捕捉设备以响应于所检测到的所述图像捕捉设备的运动在预定阈值处或之下来捕捉所述对象的所述二维图像。5.如权利要求1所述的方法，其特征在于，还包括：展现与所述图像捕捉设备通信的用户界面，所述用户界面被配置为引导所述图像捕捉设备的用户控制所述图像捕捉设备的所述位置、运动或取向中的一个或多个以便捕捉所述对象的所述二维图像。6.如权利要求5所述的方法，其特征在于，还包括：将检测到的关于所述图像捕捉设备在所述一个或多个所述有利点处的信息用于在所述图像捕捉设备的操作期间引导所述用户。7.如权利要求1所述的方法，其特征在于，还包括：将在所述多个二维图像中的跨所有捕捉的二维图像基本一致定位的背景点标识为背景点；并且过滤所标识的背景点以避免在所述对象的三维计算模型的构建中使用。8.如权利要求7所述的方法，其特征在于，还包括：检查经过滤的点以确定在对象的对象特征中的位置差异，所述对象特征与在捕捉所述多个图像的每个图像的同时期时检测到的所述图像捕捉设备在所述物理环境内的位置、运动或取向不一致；将所述多个图像分割成按位置差异的显现划分的群；并且解析所述位置差异以基于将背景点移除的经过滤的点形成所述对象的一致计算模型。9.一种操作以通过应用传感器融合执行对象扫描的设备，包括：图像传感器，操作以捕捉在三维空间中的场景的二维图像；至少一个跟踪传感器，操作以检测包括所述设备在所述三维空间内的位置、运动或取向中的一个或多个的补充信息；一个或多个处理器；数据存储系统，操作以存储来自所述图像传感器的图像，并存储来自所述跟踪传感器的所述补充信息；和机器可读存储器设备，操作以存储指令，当执行所述指令时，使所述一个或多个处理器操作所述至少一个跟踪传感器以检测在所述三维空间内的所述设备的所述补充信息，应用传感器融合，通过所述传感器融合，利用来自跟踪传感器的所检测到的信息来操作所述图像传感器以捕捉所述场景在所述三维空间内的位置、运动或取向中所选的一个处的二维图
像。10.如权利要求9所述的设备，其特征在于，所述图像传感器包括二维图像传感器、立体图像传感器或深度传感器中的至少一个。11.如权利要求9所述的设备，其特征在于，还包括：提供听觉、视觉或触觉反馈中的至少一个给用户，并对所述用户的口头、触觉或姿态输入进行响应的用户界面。12.如权利要求9所述的设备，其特征在于，所述跟踪传感器包括跟踪相机、惯性传感器、磁性6自由度位置传感器、基于灯塔的激光扫描系统或在被跟踪的对象上的同步光电二极管中的一个。13.如权利要求9所述的设备，其特征在于，所述图像传感器被操作以捕捉关于所述对象在所述三维空间中的基本上均匀地间隔开的选定位置处的二维图像。14.如权利要求9所述的设备，其特征在于，所述指令使得所述一个或多个处理器将所检测到的所述设备的位置、运动或取向中的一个或多个作为用于确定对所捕捉的二维图像的变换的初始条件来从所捕捉的二维图像中构建三维模型。15.如权利要求9所述的设备，其特征在于，所述指令使得所述一个或多个处理器将检测到的所述设备的位置、运动或取向中的一个或多个用于控制所述图像传感器的曝光持续时间。16.如权利要求9所述的设备，其特征在于，还包括：扩展视野(fov)相机，其具有超过所述图像传感器的fov，在其中所述扩展fov相机提供数据以确定对象姿态。17.一种机器可读存储器设备，操作上存储指令，当所述指令由置于电子设备中的一个或多个处理器执行时，使得所述电子设备：使用设置在所述电子设备中的相机从相应的多个有利点处捕捉对象的多个图像，所述相机被配置为捕捉关于描述所述相机的位置、运动或取向中的至少一个的世界坐标的二维图像；生成所述电子设备在一个或多个所述有利位置处的世界跟踪元数据；使用所述世界跟踪元数据执行对象姿态优化，以将捕捉的图像转换为所述对象的三维模型，以提供优化的初始点；并且能够使用优化的对象姿态构建所述对象的所述三维模型。18.如权利要求17所述的机器可读存储器设备，其特征在于，其中所述指令进一步使所述电子设备使用设置在所述电子设备中的扩展视场(fov)相机，其中所述相机具有较高的角分辨率或被配置为捕捉相对于所述扩展fov相机而言增加水平的细节，并且所述扩展fov相机用于确定对象姿态。19.如权利要求17所述的机器可读存储器设备，其特征在于，所述指令使所述电子设备响应于丢弃哪些对象姿态以避免用于所述三维模型中，来使用所述世界跟踪元数据以确定逐个图像的姿态变化。20.如权利要求19所述的机器可读存储器设备，其特征在于，所述电子设备进一步包括深度相机，并且其中所述指令使所述电子设备使用来自所述深度相机的数据来确定丢弃哪些对象姿态以避免用于所述三维模型中。
技术总结
传感器融合被用在诸如头戴式显示(HMD)设备的电子设备中，所述电子设备具有配备有不同的传感器的传感器封装，从而对所捕捉的在现实世界环境中的对象或场景的2D图像进行补充的信息可被用于确定图像立体对的经优化变换并丢弃误差数据，否则这些误差数据将妨碍用于在例如虚拟世界应用中构建3D模型的成功扫描。这样的补充信息可以包括世界位置、世界旋转、来自扩展视野(FOV)的图像数据或深度图数据中的一个或多个。一个或多个。一个或多个。
技术研发人员：M
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2017.02.07
技术公布日：2022/12/22