一种基于立体视觉的目标检测方法和系统的制作方法
【技术领域】
[0001] 本公开涉及立体视觉图像处理领域，且更具体地，涉及基于立体视觉的目标检测 技术。
【背景技术】
[0002] 诸如人的目标的检测与跟踪是W例如人为中也计算的技术的基础，在人被准确的 定位后方能提供和推送主动的服务。诸如人的目标定位是得到目标在室内或者室外的位置 信息，也就是得到目标在世界坐标系中的坐标值（X，y，Z)。
[0003] 诸如人的目标的检测的正确性是诸如人的目标的定位的根本问题。目前，其仍是 一个挑战性的技术课题。H维视觉的引入对于解决该个问题有了很大的提高。H维视觉不 仅包含图像的红、绿、蓝（RGB)的颜色信息，还包含深度(距离）信息。立体相机是一种常见 的可W输出H维视觉图像的设备。
[0004] 虽然利用H维视觉的目标检测和跟踪的系统可W获得优于二维视觉系统的性能， 但是，现存的H维视觉系统还是存在着很大的可改进空间。比如，基于立体相机的人的检测 技术在处理稠密(拥挤）人群时，精度仍然有限。比如在超市和购物大厦中人的检测，此时 目标稠密，单个目标被严重遮挡，该将导致现有技术检测难度很大或者检测精度比较低。因 此，如何更充分的利用H维信息来提高稠密目标的检测效率是充满了挑战和实际意义的课 题。
[0005]BRUMITT在 2003 年 12 月 2 日公告的题为"Systemandprocessforlocating andtrackingapersonorobjectinasceneusingaseriesofrangeimages'，的美 国专利号US6658136B1提出了一种方法和装置，利用一系列的深度图像来进行人的定位和 跟踪。该方法主要流程为，利用多峽连续图像建立背景模型，通过与背景模型相减获得前景 图像；利用前景像素与立体相机的距离，将前景图像分割为不同区域，每一个区域代表了一 个目标；将分割的区域投影到鸟橄视图上来进行目标定位。该专利提出的方法首先是基于 距离信息的分割方法，然后在鸟橄视图上，采用基于联通性的分割优化技术，来达到将单个 目标检测出来并且完成目标定位。
[0006]ZHANG等人于 2013 年 7 月 18 日公开的题为"SYSTEMANDMET册DFORVIDEO CONTENTANALYSISUSINGDEPTHSENSING"的美国专利申请公开号US20130182904A1 提出 了一种基于深度传感器的视频内容分析的系统和方法。该方法首先利用2D(RGB)图像进 行前景提取，然后对前景像素的3D点云进行聚类，最后利用分割块的物理(高度）体积对目 标进行检查和分类。总结来说，该方法利用3D点云的聚类来得到关于聚类块的3D模型(高 度和体积)，然后利该些信息来检查目标和对目标进行分类。
[0007] 但是，仍然需要改进的基于立体视觉的目标检测技术。
【发明内容】
[0008] 鉴于上述情况，提出了本发明。
[0009] 需要解决如何正确地、有效地分割和检测目标，特别是针对比较拥挤的场景。在引 入深度设备巧日双目相机和飞行时间（Timeoffli曲t，T0F)相机）后，获取的图像包含了 (X，y，Z)的3D信息。在3D视觉中，为了解决在2D图像中的遮挡问题，目标检测一般会在鸟 橄视图上进行。然而，当2个或者多个目标彼此很近又存在遮挡，使得目标在图像中只有部 分身体。在现有目标检测技术中，该样的多个目标容易出现漏检的情况。
[0010] 因此，需要利用3D信息更准确、有效地将每个目标分割出来，特别是在目标相互 很近又存在遮挡的情况下。
[0011] 根据本公开的一个方面，提供一种基于立体视觉的目标检测方法，包括：获得从立 体深度图像提取的前景深度图像；设置高度阔值，W得到在前景深度图像中高于所述高度 阔值的区块；如果得到的区块满足预定单目标条件，则将所述得到的区块检测为单个目标 所在的区块；如果得到的区块满足预定多目标条件，则将得到的区块中的多个目标所在的 每个更小的区块检测为单个目标所在的区块；如果得到的区块不满足预定单目标条件或预 定多目标条件，则改变所述高度阔值，直到确定得到的区块满足所述预定单目标条件或预 定多目标条件。
[0012] 根据本公开的另一个方面，提供一种基于立体视觉的目标检测系统，包括；前景提 取装置，被配置为获得从立体深度图像提取的前景深度图像；高度阔值设置装置，被配置为 设置高度阔值，W得到在前景深度图像中高于所述高度阔值的区块；目标检测装置，被配置 为：如果得到的区块满足预定单目标条件，则将所述得到的区块检测为单个目标所在的区 块；如果得到的区块满足预定多目标条件，则将得到的区块中的多个目标所在的每个更小 的区块检测为单个目标所在的区块；高度阔值改变装置，被配置为如果得到的区块不满足 预定单目标条件或预定多目标条件，则改变所述高度阔值，直到所述目标检测装置确定得 到的区块满足所述预定单目标条件或预定多目标条件。
【附图说明】
[0013] 图1示出了应用根据本发明的一个实施例的目标检测技术的场景示意图。
[0014] 图2示出了根据本发明的一个实施例的基于立体视觉的目标检测方法的流程图。
[0015] 图3A示出了根据本发明的另一实施例的基于立体视觉的目标检测方法的流程 图；图3B示出了示例前景图像；图3C示出了示例鸟橄视图。
[0016] 图4A示出在图3A的方法中的基于高度信息的区块的分割(步骤S14)的示例的具 体流程图；图4B示出了基于高度信息的区块的分割的原理图；
[0017] 图5示出了在图3A的方法中的对分割得到的区块进行单目标验证和多目标验证 (步骤S15)和输出目标检测结果（S16)的示例的具体流程图。
[001引图6A示出了如图5中的步骤S151的初级验证的实例示意图；图6B示出了如图 5中的步骤S153的获得区块内的运动矢量的实例示意图；图6C示出了如图5中的步骤 S153-S155-S16 (聚类的个数〉1的情况）的实例示意图。
[0019] 图7A示出了如图5中的步骤S156的计算区块的高度分布特征与预定的高度分布 特征之间的置信度的示例的具体流程图；图7B示出了如图7A所示的流程图的实例示意图。
[0020] 图8示出了如图5中的步骤S158-S159-S16的实例示意图。
[0021] 图9A-9G示出了应用本技术的各个实施例得到的目标检测的过程和结果的示例 示意图。
[0022] 对于单个目标(斑块）来说，分布都极为相似一具有较高高度的头肩部分在目标 (斑块)中间，具有较低高度的手足部分在目标(斑块)周围。同时，底部的图片示出多个目标 非常靠近时，在鸟橄是图上他们是连接起来的。
[0023] 图10示出了根据本发明的另一实施例的基于立体视觉的目标检测系统的方框 图。
[0024] 图11示出了根据本发明的另一实施例的基于立体视觉的目标检测系统的方框 图。
【具体实施方式】
[0025] 现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结 合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆 盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，该 里描述的方法步骤都可W由任何功能块或功能布置来实现，且任何功能块或功能布置可被 实现为物理实体或逻辑实体、或者两者的组合。
[0026] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0027] 图1示出了应用根据本发明的一个实施例的目标检测技术的场景示意图。
[0028]图1主要示出了应用根据本发明的一个实施例的目标检测技术的输入和输出。其 中，输入的信息来自于一个双目相机1。在经过应用了根据本发明的实施例的目标检测技术 的计算机之后，输出是将图像中的目标分割开来，例如W鸟橄图的形式呈现出来。如图1右 下所示的鸟橄图中，不同的区块可W表示不同的单个目标。当然，图1只是一个应用场景的 示例示意图，只显示了一个双目相机作为输入，但是实际上，本技术的输入可W是任何能输 出深度信息的设备。
[0029] 在此，鸟橄视图（或鸟橄图）是本领域常用的技术名词，通常表示从上往下的俯视 图。
[0030] 图2示出了根据本发明的一个实施例的基于立体视觉的目标检测方法的流程图。
[0031] 图2所示的基于立体视觉的目标检测方法200包括；步骤S201，获得从立体深度 图像提取的前景深度图像；步骤S202,设置高度阔值，W得到在前景深度图像中高于所述 高度阔值的区块；步骤S203,如果得到的区块满足预定单目标条件，则将所述得到的区块 检测为单个目标所在的区块；步骤S204,如果得到的区块满足预定多目标条件，则将得到 的区块中的多个目标所在的每个更小的区块检测为单个目标所在的区块；步骤S205,如果 得到的区块不满足预定单目标条件或预定多目标条件，则改变所述高度阔值，直到确定得 到的区块满足所述预定单目标条件或预定多目标条件。
[0032] 如此，通过基于立体视觉的图像中的前景图像的高度信息，来得到高于某一高度 阔值的区块，并通过改变高度阔值一次或多次来得到满足预定单目标条件或预定多目标条 件的区块，从而检测到该立体图像中的目标所在的区块。在一个例子中，该种基于前景图像 的高度信息和高度阔值的设置和改变来检测目标区块的方式能够很好地检测有高度变化 的通常直立的目标、例如行人、车辆、建筑物。
[0033] 在一个实施例中，所述预定单目标条件可W包括；条件1，得到的区块在鸟橄视图 上的大小小于与要检测的目标相关联的预定大小。
[0034] 通常，如果已知要检测目标之后，可W通过经验值或通过样本学习来得到与检测 的目标相关联的预定大小，例如在目标是人的区块下，可W将预定大小设置为40cmX40cm， 该数值40cm是通常的人的肩膀的宽度。当然该示例中仅使用正方形作为与要检测的目标 相关联的预定大小，实际上也可W根据目标的鸟橄视图的形状而采用其他形状、例如长方 形、圆形、H角形、多边形等，而形状的大小也是可W根据实际目标的情况来重新设置的。 [00巧]如此，可W粗略地将前景图像分割为包括目标的区块。如果为了算法简单、节省时 间，在该实施例（W下，称为初级验证）中，已经可W得到粗略的目标分割的结果了。
[0036] 当然，在有些情况下，实际上存在在与要检测的目标相关联的预定大小内的两个 或更多目标，例如