用于数据库创建目的的交互式且自动3d对象扫描方法
【技术领域】
[0001] 本发明大体上涉及图像辨识，且明确地说，涉及可用于辅助识别对象的对象表示 基础信息的创建。
【背景技术】
[0002] 例如数码相机、具有嵌入式相机的电话，或其它相机或传感器装置等裝置识别并 跟踪三维环境中的对象。这可用于创建增强现实显示，其中关于系统所辨识的对象的信息 可呈现给正观察所述系统的显示器的用户。此类信息可在装置的显示器中在真实环境的覆 层上呈现。来自对象数据库从信息可随后用以识别装置所观察到的环境中的对象。
[0003] 特别是具有嵌入式数码相机的移动装置可能具有存储和处理，特别是与强大的固 定安装服务器系统相比。减少实施此类对象检测/跟踪的系统的处理和带宽负载的一种方 法是存储可用于识别环境中的对象的对象信息的本地数据库。此数据库信息可基本上被视 为帮助装置使用存储在数据库中的模板来识别对象的辅助信息。当装置正在增强现实或对 象识别模式下操作时，将所述装置所捕获的图像与数据库中的对象表示进行比较，以确定 是否存在对象匹配，且如果存在，那么将相机的当前姿态与所识别的物体进行比较。当发生 对象匹配时，可起始响应性操作，或可结合含有所识别的对象的图像，在装置显示器中呈现 关于所述对象的额外信息。
[0004] 虽然存在用于创建此类数据库信息的系统，但现存的系统无法根据各种各样的移 动装置而缩放。此现存系统的一个实施例使用所关注对象的组合是几何/纹理模型。这些 模型有时是对象生产级（CAD模型）处已知的，但在大多数情况下，它们是不可用的。另一 已知方法是使用基于激光或基于IR的扫描系统，来同时估计几何形状并收集对象的图像。 然而，此类扫描系统通常较昂贵，且归因于对所使用的不同传感器的物理限制而具有纹理 挑战。因此，一般来说，所述模型不可用或有点准确达到它们会影响检测性能的点。
[0005] 用于创建三维对象表示以用于如本文所述的计算机视觉的系统和方法可以当前 获得对象表示以用于检测和跟踪系统的方式来提供改进和简化。
【发明内容】
[0006] 本文中描述用于创建三维对象表示的系统和方法。一个实施例可为捕获适合于 离线对象检测的三维对象的紧凑表示的方法，其包括：使用装置的相机模块，捕获场景的多 个图像，其中所述场景的多个图像中的每一者包含对象的至少一部分的图像；识别多个图 像中作为第一关键帧的第一图像，以及所述装置的与所述第一图像相关联的第一位置，其 中所述第一图像是由所述装置从所述第一位置捕获；识别多个图像中作为第二关键帧的第 二图像，以及与所述装置的所述第二图像相关联的第二位置，其中所述第二图像是由所述 装置从所述第二位置捕获，且其中所述第二位置不同于所述第一位置；从所述第一关键帧 识别第一多个关注点，其中所述第一多个关注点识别来自所述场景的特征；从第二关键帧 识别第二多个关注点，其中所述第二多个关注点识别来自所述场景的所述特征的至少一部 分；使所述第一多个关注点与所述第二多个关注点匹配；至少部分地基于所述第一多个关 注点与所述第二多个关注点的所述匹配，来识别与所述对象相关联的关键点；以及将与所 述对象相关联的关键点作为对象表示存储在对象检测数据库中。
[0007] 额外实施例可进一步操作，其中识别与对象相关联的关键点包括：对所述第一多 个关注点和所述第二多个关注点进行滤波，以识别与所述对象相关联的关注点。
[0008] 额外实施例可进一步操作，其中对所述第一多个关注点和所述第二多个关注点进 行滤波包含包括以下各项中的一者或一者以上：删除距阈值数目个最近关注点的平均距 离小于阈值距离的关注点；删除与来自其它关键帧的关注点不匹配的关注点；以及删除在 场景的限定容量之外的关键点。
[0009] 额外实施例可进一步操作，其中所述场景进一步包含平面目标，或其中使所述第 一多个关注点与所述第二多个关注点匹配包括：从所述第一图像中的所述平面目标的第一 位置识别所述装置的所述第一位置；从所述第二图像中的平面目标的第二位置识别所述装 置的所述第二位置；确定所述装置的所述第一位置与所述装置的所述第二位置之间的相对 位置；基于所述第一位置与所述第二位置之间的相对位置，使所述第一多个关注点与所述 第二多个关注点匹配；以及确定并记录每一关键点在坐标系中的位置。
[0010] 额外实施例可进一步操作，其中每一关键点包括关键点定位信息和关键点描述 符，包括从所关注的关键点周围的像素区域的外形导出的信息。在某些实施例中，关键点描 述符可包含与关键点和所述关键点周围的像素相关联的梯度或其它信息。
[0011] 额外实施例可进一步操作，其中识别作为第一关键帧的第一图像包括用户选择。
[0012] 额外实施例可进一步操作，其中识别作为第一关键帧的第一图像包括装置的自动 选择。
[0013] 额外实施例可进一步操作，其中识别作为第二关键帧的第二图像包括：识别第二 图像内的关键点密度；识别第二位置与第一位置之间的空间关系；确定第二位置处的关键 帧将提供具有高于阈值的数据值的数据以用于对象表示；以及选择第二图像作为第二关键 帧。
[0014] 替代实施例可为用于捕获适合于离线对象检测的三维对象的紧凑表示的系统，其 包括：装置的相机模块，其捕获场景的多个图像，其中所述场景的所述多个图像中的每一 者包含对象的至少一部分的图像；一个或多个处理器，其（1)识别所述多个图像中作为第 一关键帧的第一图像，以及所述装置的与所述第一图像相关联的第一位置，其中所述第一 图像由所述装置从所述第一位置捕获；（2)识别所述多个图像的作为第二关键帧的第二图 像，以及所述装置的与所述第二图像相关联的第二位置，其中所述第二图像由所述装置从 所述第二位置捕获，且其中所述第二位置不同于所述第一位置；(3)从所述第一关键帧识 别第一多个关注点，其中所述第一多个关注点识别来自所述场景的特征；( 4)从第二关键 帧识别第二多个关注点，其中所述第二多个关注点识别来自所述场景的所述特征的至少一 部分；（5)使所述第一多个关注点与所述第二多个关注点匹配；以及（6)至少部分地基于所 述第一多个关注点与所述第二多个关注点的匹配，识别与所述对象相关联的关键点；以及 存储器，其将与所述对象相关联的关键点作为对象表示存储在对象检测数据库中。
[0015] 此实施例可进一步起作用，其中所述装置进一步包含：显示器，其耦合到所述相机 模块，其中当所述装置的所述相机模块捕获到所述场景的所述多个图像的至少一部分时， 所述显示器输出所述关键点的至少一部分的图像。
[0016] 此实施例可进一步起作用，其中所述显示器进一步输出关键点重叠在对象上的场 景的视频图像，其中所述装置进一步包含运动传感器，其中所述装置的第二位置由一个或 多个处理器使用来自运动传感器的信息来识别，或其中所述装置进一步包含：用户输入模 块，其中识别作为第一关键帧的第一图像包括在装置的用户输入模块处接收到的用户选 择。
[0017] 此实施例可进一步起作用，其中所述装置进一步包含：天线；以及无线收发器；其 中一个或多个处理器经由网络、所述天线和所述无线收发器耦合到所述装置。
[0018] 另一实施例可为非暂时性计算机可读媒体，其包括指令，所述指令在由耦合到所 述非暂时性计算机可读媒体的处理器执行时，致使装置：使用所述装置的相机模块，捕获场 景的多个图像，其中所述场景的所述多个图像中的每一者包含对象的至少一部分的图像； 识别所述多个图像中作为第一关键帧的第一图像，以及所述装置的与所述第一图像相关联 的第一位置，其中所述第一图像是由所述装置从所述第一位置捕获；识别所述多个图像中 作为第二关键帧的第二图像，以及所述装置的与所述第二图像相关联的第二位置，其中第 二图像是由所述装置从所述第二位置捕获，且其中所述第二位置不同于所述第一位置；从 所述第一关键帧识别第一多个关注点，其中所述第一多个关注点识别来自所述场景的特 征；从所述第二关键帧识别第二多个关注点，其中所述第二多个关注点识别来自所述场景 的所述特征的至少一部分；使所述第一多个关注点与所述第二多个关注点匹配；至少部分 地基于所述第一多个关注点与所述第二多个关注点的匹配，识别与所述对象相关联的关键 点；以及将与所述对象相关联的关键点作为对象表示存储在对象检测数据库中。
[0019] 此实施例的实例可进一步操作，其中所述指令在由所述处理器执行时，进一步致 使所述装置：对所述第一多个关注点和所述第二多个关注点进行滤波，以识别与所述对象 相关联的关注点，作为识别与所述对象相关联的关键点的一部分
[0020] 此实施例的实例可进一步操作，其中所述指令在由所述处理器执行时，进一步致 使所述装置：删除距阈值数目个其它关注点的平均距离小于阈值距离的关注点；以及删除 与来自其它关键帧的关注点不匹配的关注点，作为对所述第一多个关注点和所述第二多个 关注点进行滤波的一部分，以识别与所述对象相关联的关注点。
[0021] 此实施例的实例可进一步操作，其中所述指令在由所述处理器执行时，进一步致 使所述装置：删除在所述对象的限定容量之外的关键点，作为对所述第一多个关注点和所 述第二多个关注点进行滤波的一部分，以识别与所述对象相关联的关注点。
[0022] 此实施例的实例可进一步操作，其中作为对象检测数据库中的对象表示的与所述 对象相关联的关键点中的每一关键点包括坐标信息、亮度信息和周围像素模式信息。
【附图说明】
[0023] 图1说明包含将扫描到数据库中的对象的一个实施例的方面；
[0024] 图2说明根据一个实施例的扫描对象以为数据库创建对象表示的方法的方面；
[0025] 图3A说明包含来自一个装置位置的未过滤的关注点的一个可能实施例的方面；
[0026] 图3B说明包含关注点的直方图的一个实施例的方面；
[0027] 图3C说明包含经滤波关注点的一个可能实施例的方面；
[0028] 图3D说明包含经滤波关注点的一个实施例的方面；
[0029] 图3E说明包含组成对象表示以用于存储在数据库中的3D关键点的一个实施例的 方面；
[0030] 图4说明与三角测量有关的一个实施例的方面；
[0031] 图5是结合本文所描述的各种实施例使用的装置的一个实施例；
[0032] 图6是结合本文所描述的各种实施例使用的计算装置的一个实施例；以及
[0033] 图7是可连接本文所述的各种实施例中的裝置和数据库的网络系统的一个实施 例。
【具体实施方式】
[0034] 本文所述的实施例涉及用于扫描对象以创建对象表示的系统和方法，其中创建所 述对象表示来优化装置的对象辨识。
[0035] 本文所述的实施例可创建紧凑对象表示，其可存储在数据库中，且稍后用来使在 装置处捕获的图像中所见的对象与此前所扫描的对象匹配。这可与创建对象的紧凑表示并 用来跟踪所述对象但不存储以供将来的对象识别的其它实施例区分开。对于本文所述的实 施例，紧凑表示可将大量视频或图片图像压缩成具有相关联描述性数据的相对少量的关键 点。在一个实例中，可处理若干兆字节的视频数据，以实现具有1〇〇〇个关键点以及关于那 些关键点的描述性信息（例如从不同角度观看的周围区域的梯度信息）的紧凑对象模型。 显著关键点的提取器可通过首先借助于选择图像的子集作为关键帧，将图像从视频数据中 的所有图像滤出，来处理此类视频数据。接着可通过关键帧内较高对比度或较高曲率的关 注点来处理所述关键帧。接着可根据关键帧上的重复、其与其它关注点的接近性，或其它图 像层级或几何关注点值，来进一步对所述关注点进行排序。此类处理以先前技术中未知的 方式进行，所述处理取得一端上的图像序列，并产生由显著关键点及其描述组成的紧凑对 象。某些实施例可使用SLAM(同时定位和映射）或PTAM(并行跟踪和映射）系统的方面，作 为用于将图像分为关键帧并建立在图像上观察到关注点与关键帧之间的几何关系的装置， 且接着可另外提供关注点分段和精简，以便以先前技术中未知的方式来从若干组关键点实 现紧凑对象。此类系统因此以先前未知的方式提供适合于创建任意对象的紧凑对象信息的 数据库的对象表示的高效创建。此类对象表示可存储在不连接到网络的装置上，和可用于 辨识装置所捕获的图像中的对象。
[0036] 举例来说，可将待扫描的对象放置在紧挨着已知场景的表格上。已知场景可由已 知平面对象（平面目标）、已知三维对象（3D目标）或两者的组合给出。目标的位置和定向 是将扫描所述对象的移动装置已知的。这是通过对先前已知对象-目标的对象检测和跟踪 来实现。移动装置可为例如具有相机的电话、处理器和可用存储器存储空