对象检测方法和设备的制造方法
【技术领域】
[0001 ] 本发明总体涉及图像处理，具体涉及目标对象的检测方法和设备。
【背景技术】
[0002] 对象检测技术是视频监控、机器人导航、智能驾驶辅助系统以及互联网搜索等应 用所需的关键技术。目前，对象检测的精度仍难以满足真实应用的需要。
[0003] 例如，在稠密对象的环境下，对象检测的精度往往较低。稠密是一个相对主观的词 汇，稠密对象的环境是指在检测范围内存在大量的检测对象，并且由于对象数量众多通常 伴随有对象遮挡。由于存在对象遮挡，因此在稠密对象的环境中难以对相机捕获的图像进 行对象分割，从而导致对象检测精度较低。
[0004] 另一方面，众所周知，对于进行拍摄的相机而言，误差是一个固有的问题。基本上， 随着相机与被拍摄对象之间的距离的增大，通过该相机获得的信息的误差越大。采用多个 相机进行拍摄并对于从多个相机获取的信息进行融合是解决误差问题并提高对象的检测 精度的一种方式。按照融合对象层次的不同，融合大致可以分为三类：原始数据集的融合、 特征集的融合、以及结果集的融合。原始数据集的融合由于网络传输数据量大和处理的数 据量大，因此无法在实际场景中进行实时应用。对于结果集的融合，由于各结果集已经丢失 了许多原始的信息和特征，因此结果集本身的置信度不确定，从而可能导致融合的结果的 错误率高。另外，无论采用上述三类融合中的哪一种，都仍然存在在稠密对象的环境下对象 检测的精度较低的问题。
【发明内容】
[0005] 根据本发明的一个实施例，提供了一种对象检测方法，包括：确定至少一个立体相 机捕获的深度图像中的前景像素在现实世界中的对应前景像素点；基于所述前景像素点的 密度，在坚直方向上对由所述前景像素点形成的点云进行分层；响应于分层后的层数多于 一层，对于除了最低层之外的各层，从最高层开始顺序地对于每一层进行以下检测处理：对 该层及该层以上的各层中的前景像素点进行聚类以获得各个候选对象的局部；对于聚类得 到的每一个候选对象的局部向下进行区域生长；基于预先设定的目标对象模型确定每一个 区域生长得到的候选对象是否为目标对象。
[0006] 根据本发明的另一实施例，提供了一种目标对象检测设备，包括：确定单元，配置 为确定至少一个立体相机捕获的深度图像中的前景像素在现实世界中的对应前景像素点； 划分单元，配置为基于所述前景像素点的密度，在坚直方向上对由所述前景像素点形成的 点云进行分层；检测单元，包括聚类单元、区域生长单元和验证单元，配置为在划分单元所 分的层数多于一层的情况下，对于除了最低层之外的各层，从最高层开始顺序地对于每一 层进行以下处理：聚类单元对该层及该层以上的各层中的前景像素点进行聚类以获得各个 候选对象的局部；区域生长单元对于聚类得到的每一个候选对象的局部向下进行区域生 长；验证单元基于预先设定的目标对象模型确定每一个区域生长得到的候选对象是否为目 标对象。
[0007] 根据本发明实施例的目标对象检测技术即使在发生对象遮挡的情况下，也能实现 较高的检测精度。
【附图说明】
[0008] 图1示出了根据本发明第一实施例的目标对象检测方法的流程图。
[0009] 图2例示了将前景像素投影至现实的三维世界中得到的对应的前景像素点的示 意图。
[0010] 图3示出了对于从最高层至最低层的上一层中的每一层进行的对象检测处理的 流程图。
[0011] 图3示出了根据本发明第一实施例的利用视差图的对象跟踪方法的流程图。
[0012] 图4例示了对于最高层中的前景像素点进行聚类得到的候选对象的局部的示意 图。
[0013] 图5示出了示例性的目标对象模型的示意图。
[0014] 图6例示了对于3D现实世界中的前景像素点执行根据本发明实施例的上述目标 对象检测处理的示例情形。
[0015] 图7示出了根据本发明第二实施例的目标对象检测方法的流程图。
[0016] 图8例示了将由多个立体相机捕获的前景像素投影至现实的三维世界中得到的 对应的前景像素点的示意图。
[0017] 图9(a)_9(c)示出了表征相机与特定距离相关联的定位误差的高斯分布的示意 图。
[0018] 图10示出了根据本发明实施例的目标对象检测设备的功能配置框图。
[0019] 图11示出了根据本发明实施例的目标对象检测系统的总体硬件框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021] 首先对本发明的基本思想进行简要的介绍。如前所述，稠密对象的环境是指在检 测范围内存在大量待检测的目标对象、并且由于对象数量众多通常伴随有对象遮挡的情 形。为了便于理解，可以认为目标对象是人，并设想例如超市、银行、医院中拥挤的人群的场 景。由于拥挤的人群中的各个人相互遮挡，因此基于相机捕获的图像通过例如聚类等方式 分割各个人是很困难的。然而，在例如超市、银行、医院等场所中，相机（摄像机）通常安装 在高处，因此虽然各个人体互相遮挡，但是高处（例如，人的头部）的遮挡是较小的。在本 发明中，基于高处的遮挡小这一物理特性，利用人体在高处的部位（例如，人的头部）来分 割各个人，从而能够获得较为准确的分割，进而改善了对象的检测精度。
[0022] 〈第一实施例〉
[0023] 图1示出了根据本发明第一实施例的目标对象检测方法的流程图。
[0024] 如图1所示，在步骤S101，确定单个立体相机捕获的深度图像中的前景像素在现 实世界中的对应前景像素点。
[0025] 待检测的对象位于深度图像的前景中，因此在该步骤中，从立体相机捕获的深度 图像中分割出前景像素，随后通过例如坐标转换确定所述前景像素在现实的三维世界中的 对应前景像素点。
[0026] 可以采用本领域中任何公知的技术从深度图像中分割出前景像素。例如，可以基 于深度图进行背景建模，然后根据建立的背景模型，通过差值运算得到前景像素。所述前景 像素可以通过例如Foreground_Pixel (u, V，depth)来表示，其中u, V是前景像素在深 度图像中的位置，depth是前景像素的深度值。
[0027] 通过坐标转换确定前景像素投影在现实的三维世界中的对应前景像素点是本领 域中的公知技术，为了避免不必要地混淆本发明的
【发明内容】
，此处省略对该转换过程的详 细描述。图2例示了通过坐标转换将前景像素投影至现实的三维世界中得到的对应的前景 像素点的示意图。前景像素在三维世界中的对应前景像素点可以通过Foreground_Point (X，y，z)来表示，其中x，y，z是该前景像素点在三维世界坐标系中的坐标值。
[0028] 在步骤S102,基于所述前景像素点的密度，在坚直方向上对由所述前景像素点形 成的点云进行分层。
[0029] 如前所述，在本发明中，基于高处的遮挡小这一物理特性，利用对象在高处的部位 来分割各个对象，从而能够获得较为准确的分割。为了获得对象在高处的部位，可以在坚直 方向上对由前景像素点形成的点云进行分层。
[0030] 例如，以待检测的目标对象是成年人为例。通常情况下，成年人的高度在150cm到 200cm之间。因此，可以将由前景像素点形成的点云分为以下几层：180cm以上为第一层，从 160cm到180 cm为第二层；从140cm到160cm为第三层，140cm以下为第四层。当然，这一 分层方法仅仅是一种示例，其他分层方案也是可行的。例如可以将175cm以上划分为第一 层，将从160cm到175 cm划分为第二层，将从145cm到165cm划分为第三层，将145cm以下 作为第四层。而且，每一层的高度可以是相同的，也可以是不同的。另外，所分的层数并非是 固定的，而是可以根据前景像素点的密度来确定要分的层数。作为一种极端情况，如果前景 像素点的密度很小，即待检测对象数量少，也可以将由前景像素点形成的点云仅分为一层。 总之，可以根据待检测对象的具体情况来对前景像素点形成的点云进行分层。
[0031] 在步骤S103,响应于分层后的层数多于一层，对于除了最低层之外的各层，从最高 层开始顺序地对于每一层进行对象检测。
[0032] 为了便于说明，将最高层称为第1层，假设最低层为第N层，则在该步骤S103中， 响应于分层后的层数N大于1，从第1层开始，顺序地对于第1层到第N-I层中的每一层进 行对象检测。
[0033] 图3示出了对于从第1层到第N-I层中的每一层进行的对象检测处理的流程图。 也就是说，在步骤S103中，将从第1层开始，顺序地对于第1层到第N-I层中的每一层进行 如图3所示的对象检测处理。下面，将对图3中所示的对象检测处理进行详细的说明。
[0034] 如图3所示，在步骤S1031，对预定层及该层以上的各层中的前景像素点进行聚类 以获得各个候选对象的局部。
[0035] 所述预定层为按照顺序从要进行对象检测处理的各层中选择的层。如上所述，首 先将对于第1层（即最高层）进行该步骤。由于第1层没有在其之上的层，因此在该步骤 中仅对于第1层中的前景像素点进行聚类。
[0036] 可以采用诸如K-MEANS算法、CLARANS算法、BIRCH算法、⑶RE算法等本领域中各 种公知的聚类算法对所述前景像素点进行聚类。在本实施例中，作为示例，采用K-MEANS算 法。
[0037] K