对齐多视图扫描的制作方法_2

文档序号:9866572阅读:来源:国知局
6表示用于基于关键点提取和特征匹配来 产生多个扫描的对齐的功能。在初始对齐中,扫描中的至少一些被标识为具有在匹配关键 点特征之间的多个可能对齐或路径。任何适合的提取和/或特征对应技术可W用于提取关 键点和确定扫描之间的特征对应。在一些实施方式中,初始对齐模块116可W被配置为计 算误差,误差指示提取的关键点和/或特征之间的最小差异。在一个具体示例中,可W使用 迭代最近点(1C巧算法来计算误差,虽然可W使用任何适合的成对技术。在传统技术将运 一误差用于确定两个扫描之间的对齐(如本文中描述的)的同时,该误差可W用于选择部 分对齐W待进一步分析。
[0030] 例如,对齐优化器模块118可W被配置为在初始对齐期间形成的两个或更多可能 部分对齐之间进行选取。指示提取的关键点和/或特征之间的最小差异的误差可W用于选 择与最低最小差异相关联的部分对齐W待处理。
[0031] 在一些实施方式中,对齐优化器模块118可W被配置为确定是接受还是拒绝所选 部分对齐。例如,对齐优化器模块118可W被配置为使用各种不同操作来处理部分对齐。 运些操作的示例可W包括:比较部分对齐的关键点特征与一个或多个附加扫描的关键点特 征、计算指示当组合时相应关键点特征匹配得多好的误差、和/或比较计算误差与被建立 为删除诸如部分对齐之类的对齐选项的阔值。
[0032] 通过示例的方式,响应于计算误差与阔值的比较,可W拒绝部分对齐。在运一示例 中,对齐优化器模块118可W被配置为选择另一部分对齐,并且重复上面提到的操作中的 至少一些操作。
[0033] 备选地,响应于计算误差与阔值的比较,可W接受部分对齐。在一个实施方式中, 如本文中描述的,接受的部分对齐被包括在全局对齐中。在一些实施方式中,对齐优化器模 块118可W进一步被配置为在将接受的部分对齐插入在全局对齐中之前,处理附加部分对 齐。在运一实施方式中,处理扫描之间的多个部分对齐,即使当部分对齐之一具有在扫描的 提取的关键点和/或特征之间的较低误差时。接受和拒绝部分对齐联系图3和图4 W及在 其它地方进一步描述。
[0034] 如图1进一步所示,服务提供者106可W被配置为使各种资源120通过网络108可 用于客户端。在一些情景中,用户可W注册账户,该账户被采用于访问来自提供者的对应资 源。在向帐户和对应资源120授权访问之前,提供者可W认证用户的证书(例如,用户名和 密码)。可W使其它资源120自由可用(例如,无需认证或基于帐户的访问)。资源120可 W包括通常由一个或多个提供者使得通过网络可用的服务和内容的任何适合组合。服务的 一些示例包括但不限于照片编辑服务、web开发和管理服务、协作服务、社交联网服务、消息 传输服务、广告服务等。内容可W包括文本、视频、广告、音频、多媒体流、动画、图像、扫描、 web文档、web页、应用、设备应用等的各种组合。
[0035] 例如,图1中的服务提供者106被描绘为包括图像处理服务122,其可W实现包括 本文中描述的扫描对齐技术的各种处理。图像处理服务122表示网络可访问功能,可W使 网络可访问功能对于客户端来说通过网络108远程可访问,W实现本文中描述的技术的方 面。例如,联系对齐模块114讨论的功能可W全部或部分地经由图像处理服务122提供。从 而,图像处理服务122可W被配置为提供可操作用于自动对齐扫描W及上面和下面描述的 其它操作的基于云的访问。
[0036] 图2是示例实施方式中的其可操作为捕获扫描的环境200的图示。图示的环境200 包括可W W各种方式配置的多个图像捕获设备202和对象204。另外,图像捕获设备202可 W通过网络108通信地禪合到计算设备102和/或一个或多个服务提供者106。
[0037] 通过示例和非限制的方式,多个图像捕获设备202中的每个捕获对象204的不同 扫描,并且可W被配置为相似于图1的图像捕获设备104。不同扫描表示从不同视角的对象 204。捕获的扫描可W使用本文中描述的技术(例如,经由对齐模块114)自动对齐,而不管 多个图像捕获设备202是否是未校准的。从而,实现扫描的自动对齐(即,在捕获扫描之后 不要求来自用户的输入),不管用户是否将多个图像捕获设备中的一个或多个自由地移动 到新位置W便扫描。本文中,未校准的图像捕获设备不会知道另一设备的深度。然而,设想 的是,在其它情景中,多个图像捕获设备202是校准的。图像捕获设备202的一个具体示例 包括红、绿、蓝加深度(RGB-D)相机。
[0038] 在运一示例实施方式中,表示了在基本上相同的时间从不同视角捕获六个扫描。 备选地,从不同视角的扫描可W在不同时间使用单个图像捕获设备来捕获。无论哪种方式, 每个扫描表示对象图像,其具有可能与另一扫描的关键点对齐的关键点。自然,在不同情景 中可W捕获更大或更少数目的扫描。
[0039] 图3总体上在300处描绘示例实施方式中的其中图1的对齐模块114执行对齐 技术W自动对齐多个扫描的情景的表示。如图3中表示的,示例实施方式包括关键点提取 302、特征匹配304、初始对齐处理306、回溯308和对齐优化310。
[0040] 通过示例的方式,从不同视角的扫描可W从多个未校准的图像捕获设备获得,并 且被输入到对齐模块114中。例如,对齐模块114可W接收由如图2中表示的图像捕获设 备202捕获的扫描。
[0041] 通过从每个扫描提取关键点并且将对应关键点分组,特征可W被标识为匹配。即, 可W使用任何适合的提取技术从每个扫描提取关键点(302)。提取的关键点可W与描述符 相关联,并且保存在点云库中。在一个具体示例中,关键点提取包括均匀采样和通过显著性 和/或各向异性进行滤波。在一些实例中,对齐模块114可W被配置为生成定向直方图签 名(S册T)描述符,W传达针对每个关键点的几何和颜色信息。
[0042] 使用提取的关键点确定扫描对之间的特征对应(304)。例如,对齐模块114可W使 用快速近似最近邻算法来匹配扫描之间的特征。确定哪些扫描初始配对在一起可W基于扫 描的位置。目P,邻近的扫描可W初始配对,虽然扫描中的任何扫描可W配对在一起。
[0043] 扫描的初始对齐可W由初始对齐模块116执行(306)。在一个具体示例中,通过将 匹配的特征分组并且应用例如随机访问共识(RANSAC)的任何适合迭代算法,可W确定初 始对齐。作为结果,形成扫描之间的部分对齐。
[0044] 在初始对齐中,扫描中的至少一些被标识为具有在批评关键点特征之间的多个可 能对齐或路径。例如,可W沿着若干路径对齐扫描对,其中每个路径表示不同的部分对齐。 在一些实施方式中,初始对齐模块116可W被配置为计算和/或分派误差值,误差值指示扫 描对的关键点特征之间的最小差异。从而,每个部分对齐可W与误差值相关联,W指示关键 点特征匹配的似然。进一步地,每个部分对齐可w与若干内点(例如,其可w近似拟合成线 的点)相关联。
[0045] 然而,有时基于分派的误差值很好地对齐的扫描对当与其它扫描对齐时将引入模 糊。出于运一原因,可W考虑扫描的特征之间的不同潜在匹配。据此,在至少一些实施方式 中,在选择一个部分对齐W包括在全局对齐中前,对齐模块114可W '回溯'W考虑多个部 分对齐(308)。例如,对齐模块114可W处理多个部分对齐中的每个部分对齐,尽管部分对 齐之一与指示匹配关键点特征中的强对应的误差相关联。
[0046] 另外或备选地,'回溯'可W包括沿着部分对齐之一合并扫描对,并且相对于另一 扫描或扫描对处理合并的扫描对(及其相应匹配关键点特征)。相对于另一扫描或扫描 对处理合并的扫描对可W包括由对齐优化器模块118执行的各种操作,下面描述其一些示 例。在一个具体示例中,计算误差,其表示合并扫描的部分对齐与添加扫描对齐得多好。本 文中,针对作为整体的合并扫描,而不是针对合并的单独扫描,计算误差。在一些实施方式 中,针对合并扫描的计算误差将与阔值进行比较,W确定是接受还是拒绝扫描沿着部分对 齐的合并。拒绝扫描沿着部分对齐的合并可W造成'回溯',W选择可用于合并扫描对的另 一部分对齐。
[0047] 进一步地,'回溯'可W包括响应于拒绝先前形成的部分对齐,形成一个或多个新 的部分对齐。在选择和处理用于合并扫描对的若干部分对齐之后,可W确定的是,经处理的 部分对齐被拒绝W包括在全局对齐中(如下面关联对齐优化器模块118描述的)。在运一 情况下,基于指示扫描对(期望针对其的部分对齐)的提取的关键点和/或特征之间的最 小差异的误差,可W形成至少一个新的部分对齐。在一些实例中,'回溯'可W继续进行,直 到部分对齐被接受。
[0048] 对齐优化可W由对齐模块114执行,W生成全局对齐(310)。特别地,对齐优化包 括采用对齐优化器模块118来确定是接受还是拒绝部分对齐。各种不同操作可W被采用用 于接受或拒绝部分对齐。运些操作的示例可W包括但不限于选择用于进一步分析的部分对 齐、相对于另一扫描或扫描对来分析所选部分对齐、计算与将部分对齐与一个或多个其它 扫描的附加关键点特征组合相关联的误差值、和/或比较计算误差与被建立为删除部分对 齐的阔值。
[0049] 在一些实施方式中,选择用于进一步分析的部分对齐可W基于指示扫描对的关键 点特征之间的最小差异的分派误差。当形成扫描对之间的多个部分对齐时,具有在它们的 匹配关键点特征之间的最低误差的部分对齐可W被选择用于进一步分析。备选地,在另一 实施方式中,可W随机选择部分的多个对齐。当针对扫描对仅形成单个部分对齐时,用于进 一步分析的单个部分对齐的选择可W是自动的。所选部分对齐的进一步分析可W包括上面 提到的分析、计算和/或比较操作中的一个或多个。
[0050] 相对于另一扫描或扫描对分析所选部分
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1