接近的目标物检测方法及装置的制作方法

专利名称：接近的目标物检测方法及装置的制作方法
技术领域：
本申请涉及图像处理技术领域，尤其涉及一种接近的目标物检测方法及装置。
背景技术：
在车辆行驶过程中，由于车辆盲区的存在或者驾驶人员的疏忽，导致接近车辆的 目标物(例如，其它车辆、摩托车等)容易成为车辆行驶的安全隐患，如果驾驶人员没有发 现目标物，则容易在行驶过程中发生危险。为了克服车辆的安全隐患，需要对车辆行驶周围 区域的目标物进行检测，根据检测结果对驾驶人员进行提醒。现有技术中，可以利用光流方法对接近车辆的目标物进行检测，即对全图进行特 征点检测，并计算相对于所提取的特征点的光流，从左右视野图像的特征点中选择具有趋 近方向上的矢量特征点作为趋近特征，根据该趋近特征检测接近车辆的目标物。发明人在 对现有技术的研究过程中发现，现有技术通过对全部图像采用特征点检测，因此计算速度 相对较慢；由于受到图像噪声和特征点跟踪错误的影响，某些特征点的光流方向容易产生 错误，因此将这样的光流检测结果作为判断接近车辆的目标物的依据不准确；并且，对于接 近车辆的非刚体目标物来说，目标物的光流方向和大小并不完全相同，甚至差异较大，因此 进一步导致了判断结果不准确。

发明内容
本申请实施例的目的是提供一种接近的目标物检测方法及装置，以解决现有技术 中光流算法对接近车辆的目标物的检测结果不准确的问题。为解决上述技术问题，本申请实施例提供了如下技术方案一种接近的目标物检测方法，包括从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧图像；对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对所述当前帧图像与 所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区域块；对所述目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合；对所述集合中的特征光流向量进行聚类，根据聚类结果从所述候选区域块中筛选 出接近的目标物区域块；将所述筛选出的目标物区域块进行连通，获得当前帧图像的接近的目标物区域。所述对目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合包 括通过特征点检测算法对当前帧图像中的候选区域块进行特征点检测；通过对检测出的特征点进行跟踪，获得相邻帧图像中与所述检测出的特征点匹配 的匹配特征点；根据所述检测出的特征点和所述匹配特征点计算所述候选区域块的特征光流向量。
4
所述对目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合 后，还包括将检测出的特征点作为第一特征点，对所述第一特征点进行跟踪，获得所述第一 特征点在所述相邻帧图像中的匹配的第二特征点；对所述第二特征点进行跟踪，获得所述第二特征点在所述当前帧图像上的匹配的 第三特征点；当所述第一特征点与所述第三特征点之间的距离大于预设的阈值时，或者当第一 特征点、第二特征点形成的向量与第二特征点、第三特征点形成的向量所形成的向量夹角 大于预设的阈值时，删除与所述第一特征点对应的特征光流向量。所述对所述集合中的特征光流向量进行聚类，根据聚类结果从所述候选区域块中 筛选出接近的目标物区域块包括计算所述集合中的特征光流向量的光流方向，并获取光流方向在接近的目标物的 预设方向范围内的特征光流向量；对所述获取的特征光流向量进行聚类生成若干聚类子集合，每个所述聚类子集合 中的特征光流向量满足预设的聚类规则；判断每个所述聚类子集合中的特征光流向量的数量是否大于预设的阈值；根据判断的结果，当大于所述阈值时，保留相应的聚类子集合，当小于所述阈值 时，删除相应的聚类子集合；将包含保留的聚类子集合的目标物候选区域块作为接近的目标物区域块。当所述方法应用于车辆检测驶向十字路口时的接近的目标物时，所述摄像装置安 装在所述车辆的头部。当所述方法应用于车辆检测倒车时交叉车道上的接近的目标物时，所述摄像装置 安装在所述车辆的尾部。一种接近的目标物检测装置，包括获取单元，用于从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧图像；差分单元，用于对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对所 述当前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候 选区域块；检测单元，用于对所述目标物候选区域块分别进行特征点检测和跟踪，获得特征 光流向量集合；聚类单元，用于对所述集合中的特征光流向量进行聚类，根据聚类结果从所述候 选区域块中筛选出接近的目标物区域块；连通单元，用于将所述筛选出的目标物区域块进行连通，获得当前帧图像的接近 的目标物区域。所述检测单元包括特征点检测单元，用于通过特征点检测算法对当前帧图像中的候选区域块进行特 征点检测；特征点跟踪单元，用于通过对检测出的特征点进行跟踪，获得相邻帧图像中与所 述检测出的特征点匹配的匹配特征点；
5
光流向量计算单元，用于根据所述检测出的特征点和所述匹配特征点计算所述候 选区域块的特征光流向量。还包括跟踪单元，用于将检测出的特征点作为第一特征点，对所述第一特征点进行跟踪， 获得所述第一特征点在所述相邻帧图像中的匹配的第二特征点，对所述第二特征点进行跟 踪，获得所述第二特征点在所述当前帧图像上的匹配的第三特征点；删除单元，用于当所述第一特征点与所述第三特征点之间的距离大于预设的阈值 时，或者当第一特征点、第二特征点形成的向量与第二特征点、第三特征点形成的向量所形 成的向量夹角大于预设的阈值时，删除与所述第一特征点对应的特征光流向量。所述聚类单元包括光流方向计算单元，用于计算所述集合中的特征光流向量的光流方向，并获取光 流方向在接近的目标物的预设方向范围内的特征光流向量；子集合生成单元，用于对所述获取的特征光流向量进行聚类生成若干聚类子集 合，每个所述聚类子集合中的特征光流向量满足预设的聚类规则；阈值判断单元，用于判断每个所述聚类子集合中的特征光流向量的数量是否大于 预设的阈值；结果执行单元，用于根据判断的结果，当大于所述阈值时，保留相应的聚类子集 合，当小于所述阈值时，删除相应的聚类子集合；区域块确定单元，用于将包含保留的聚类子集合的目标物候选区域块作为接近的 目标物区域块。可见，本申请实施例中从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧 图像，对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对当前帧图像与相邻帧 图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区域块，对目标物候选区 域块分别进行特征点检测和跟踪，获得特征光流向量集合，对集合中的特征光流向量进行 聚类，根据聚类结果从候选区域块中筛选出接近的目标物区域块，将筛选出的目标物区域 块进行连通，获得当前帧图像的接近的目标物区域。本申请实施例采用图像帧块分析方法 进行运动目标检测，与现有应用光流的方法相比，具有不限定接近目标物类型、同时适用于 检测刚体目标物和非刚体目标物、计算简单且速度快、检测准确、不易受特征点跟踪错误造 成的错误光流的影响等优点。


为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提 下，还可以根据这些附图获得其他的附图。图1为本申请接近的目标物检测方法的第一实施例流程图；图2A为本申请接近的目标物检测方法的第二实施例流程图；图2B为图2A所示实施例中的车辆对接近的目标物检测的示意图；图2C为图2A所示实施例中的通过反跟踪法得到的特征点的示意6
图2D为图2A所示实施例中图像坐标系的示意图；图2E为图2B中安装在车辆右侧摄像机所拍摄图像中的特征点光流方向的示意 图；图2F为对图2E中的特征点光流向量进行聚类后的结果示意图；图2G为所生成的接近目标物区域块的示意图；图2H为将八邻域块进行相连生成接近的目标物区域的示意图；图3为应用本申请实施例的另一种车辆对接近的目标物检测的示意图；图4A为应用本申请实施例的又一种车辆对接近的目标物检测的示意图；图4B为图4A中所示情况下进行检测时的图像坐标系的示意图；图5为本申请接近的目标物检测装置的第一实施例框图；图6为本申请接近的目标物检测装置的第二实施例框图。
具体实施例方式本申请实施例提供一种接近的目标物检测方法及装置，通过基于图像块的特征光 流方法检测接近车辆的目标物。为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实 施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方 案作进一步详细的说明。参见图1，为本申请接近的目标物检测方法的第一实施例流程图步骤101 从摄像装置中获取当前帧图像和当前帧图像的相邻帧图像。步骤102 对当前帧图像和相邻帧图像划分为相同的若干图像块，对当前帧图像 与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区域块。具体的，将所述当前帧图像和所述相邻帧图像划分为若干相同的图像块，对所述 当前帧图像和所述相邻帧图像中相互对应的图像块分别进行差分运算，当差分运算的结果 大于预设的阈值时，将对应的图像块选择为接近目标物候选区域块。步骤103 对目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量
皇A
朱口 o具体的，通过特征点检测算法(本发明实施例中可以采用Harris算法)对当前帧 图像中的候选区域块进行特征点检测，通过对检测出的特征点进行跟踪，获得相邻帧图像 中与所述检测出的特征点匹配的匹配特征点，根据所述检测出的特征点和所述匹配特征点 计算所述候选区域块的特征光流向量。步骤104 对集合中的特征光流向量进行聚类，根据聚类结果从候选区域块中筛 选出接近的目标物区域块。具体的，计算集合中的特征光流向量的光流方向，并获取光流方向在接近的目标 物的预设方向范围内的特征光流向量，对获取的特征光流向量进行聚类生成若干聚类子集 合，每个所述聚类子集合中的特征光流向量满足预设的聚类规则，判断每个聚类子集合中 的特征光流向量的数量是否大于预设的阈值，根据判断的结果，当大于所述阈值时，保留相 应的聚类子集合，当小于所述阈值时，删除相应的聚类子集合，将包含保留的聚类子集合的 目标物候选区域块作为接近的目标物区域块。
步骤105 将筛选出的目标物区域块进行连通，获得当前帧图像的接近的目标物 区域。具体的，判断所述筛选出的区域块中每个区域块的八邻域块是否属于所述筛选出 的区域块，将属于筛选出的区域块中的区域块和其八邻域块相连。由上述实施例可见，采用图像帧块分析方法进行运动目标检测，与现有应用光流 的方法相比，计算简单、对刚体非刚体均可检测、不易受特征点跟踪错误造成的错误光流的 影响，计算速度更快、检测结果更准确。进一步，上述步骤103与步骤104之间还可以执行步骤通过对检测出的特征点进 行反向跟踪，删除跟踪结果大于阈值的特征点所对应的特征光流向量。具体的，将检测出的 特征点作为第一特征点，对第一特征点进行跟踪，获得第一特征点在相邻帧图像中的匹配 的第二特征点，对第二特征点进行跟踪，获得第二特征点在当前帧图像上的匹配的第三特 征点，当第一特征点与第三特征点之间的距离大于预设的阈值时，或者当第一特征点、第二 特征点形成的向量与第二特征点、第三特征点形成的向量所形成的向量夹角大于预设的阈 值时，删除与第一特征点对应的特征光流向量。该步骤由于通过反跟踪可以进一步去除光 流向量中的错误光流向量，因此误识别减少，使得检测结果更准确。参见图2A，为本申请接近的目标物检测方法的第二实施例流程图，该实施例详细 示出了对接近的目标物检测的过程步骤201 从摄像装置中获取当前帧图像和当前帧图像的相邻帧图像。为了实现本申请实施例对目标物的检测，可以在车辆两侧安装摄像装置，例如摄 像头，通过摄像装置实时捕获接近车辆的目标物的序列图像。对于每个摄像装置捕获的序 列图像，从该序列图像中获取当前帧图像和与该当前帧图像的帧间隔大于等于1帧的相邻 帧图像。参见图2B，为本申请实施例中车辆对目标物检测的示意图，其中车辆上的位置1和 位置2处安装摄像装置，用于对两侧接近该车辆的目标物A和目标物B进行检测。步骤202 将当前帧图像和相邻帧图像划分为若干相同的图像块。当前帧图像和相邻帧图像是大小和像素相等的两帧图像，将该两帧图像划分为相 同的若干图像块，在两帧图像中具有相同位置的图像块为相互对应的图像块，每两帧图像 可以划分为若干组相互对应的图像块。步骤203 对当前帧图像和相邻帧图像中相互对应的图像块分别进行差分运算。对当前帧图像与相邻帧图像中相同位置的图像块进行差分运算。其中，在对图像 块做差分运算时，可以采用彩色图像差分运算，也可以采用灰度图像差分运算。本实施例中以灰度图像差分运算为例，按照如下公式进行计算S =去 Σ 0(χ，力-(χ，力父
N X^yeI上式中，N为图像块中的像素个数，例如可以令N = η2，其中该图像块为正方形，η 表示所图像块在横向或纵向上的像素个数；s(x，y)，s' (x,y)分别为当前帧图像和相邻帧 图像中相同位置的图像块内的一对对应像素的灰度值；I表示该图像块。步骤204:当差分运算的结果大于预设的阈值时，将对应的图像块选择为接近目 标物候选区域块。例如，步骤203中计算得到的S如果满足^^ ，则可以确定该图像块所在的区域是存在差异的候选区域块。其中，o是以0为均值且符合高斯分布的噪声的变化范围， 即方差，o为常数；I表示块区域；Thre表示预设的阈值，，取值范围Thre G (0，1]例如可 以取值为0.8。步骤205 通过特征点检测算法对当前帧图像中的候选区域块进行特征点检测。步骤204获得了接近目标物候选区域块，对位于当前帧图像中的候选区域块进行 特征点检测，特征点检测可以采用现有技术中的Harris算法、Susan算法、SIFT算法等，在 此不再赘述。步骤206 通过对检测出的特征点进行跟踪，获得相邻帧图像中与该检测出的特 征点匹配的匹配特征点。步骤205中对当前帧图像中的接近目标物候选区域块进行特征点检测，获得了检 测的特征点，然后可以采用Lucas and Kanade’ s特征点跟踪方法对检测出的特征点进行跟 踪，获得在相邻帧图像中的匹配特征点，其中两个相互匹配的特征点构成特征点对。例如， A是第t帧图像中检测到的第k个特征点，i^1是第t-1帧图像中与乂匹配的匹配特征点， 则乂和；^构成匹配的特征点对。步骤207 根据检测出的特征点和匹配特征点计算候选区域块的特征光流向量。通过步骤206中获得的特征点对乂和;^可以构成对应的特征光流向量&，其中特 征光流向量；^1。上述对每个候选区域块分别进行特征点检测和跟踪，并形成特征光流向量可以避 免全图检测特征点时由于某块图像区域纹理过于复杂而导致的大量检测到的特征点全都 集中在该图像区域，而其它区域检测的特征点数量很少的问题，可以有效避免对接近目标 物检测的不完整性。步骤208 通过对检测出的特征点进行反向跟踪，删除跟踪结果大于阈值的特征 点所对应的特征光流向量。由于图像噪声、图像中纹理自相似背景的存在(如车道线等)、或者跟踪算法的误 差，可能导致一些错误的匹配特征点对出现，根据这些错误的匹配特征点对计算得到的特 征光流向量也相应是错误的。为了减少出现错误的光流向量，可以利用反向跟踪的方法去 掉错误的特征光流向量。例如，反向跟踪时，对当前帧图像中检测到的特征点p进行跟踪，获得该特征点p 在相邻帧图像中的匹配特征点P'，再对匹配特征点P'利用相同的反向跟踪法获得P'在 当前帧图像上的匹配特征点P"；理论上，匹配特征点P"的坐标位置应该和当前帧图像中 检测到的特征点P的坐标位置相同或差距非常小，因此如果根据反向跟踪法得到的两个特 征点P和P"的坐标距离很远，则说明在跟踪过程出现了错误跟踪的情况，由此将根据特 征点对P和P'计算出的特征光流向量确定为无效特征光流向量；否则，认为跟踪过程正 确，跟踪结果可靠，保留该特征光流向量。除可以匹配特征点P"和特征点p的坐标距离判 断外，还可以根据特征点P、特征点P'形成的向量与特征点P'、特征点P"形成的向量所 形成的向量夹角来判断跟踪过程是否正确，如果夹角很小，例如小于5度，认为跟踪过程正 确，跟踪结果可靠，保留该特征光流向量。参见图2C，其中点1为最初检测到当前帧图像中的特征点，点2为第一次跟踪得到 的相邻帧图像中匹配特征点，点3为反向跟踪点2得到的当前帧图像中的匹配特征点，若点
91和点3的坐标距离d超过一定的阈值，则说明本次跟踪失败，抛弃根据该特征点对计算得 到的特征光流向量，否则，保留该匹配特征点对并根据匹配特征点对计算光流向量。步骤209 计算集合中的特征光流向量的光流方向，并获取光流方向在接近的目 标物的预设方向范围内的特征光流向量。由于在车辆行驶过程中所拍摄的侧方图像区域中，可能存在树木、护栏等静止背 景，这些背景也会形成特征光流，但这些静止背景的特征光流与接近目标物的特征光流在 方向上不同，静止背景的特征光流是由于车辆运动引起的，而接近目标物的特征光流是由 于目标物自身运动引起的。因此，可以通过对特征光流向量(向量也称为运动矢量，包括大 小和方向)进行判断从而去除静止背景的特征光流。以安装在车辆右侧的摄像机拍摄的图像为例，在图像坐标系下进入车辆侧方区域 的接近目标物，其特征光流方向在[n/2，Ji] U [-^1/2，-^!]范围内，而相对路面静止的物 体的光流方向在[_n/2，Ji/2]范围内，该坐标系参见图2D所示；其中，按照如下公式计算 光流方向d = arctan(^上式中，p[k].v和p[k].u分别为对当前帧(如第t帧)图像中检测到的第k个 特征点在V轴和U轴上的坐标，p'[k].u分别为对当前帧图像中检测到的第 k个特征点进行跟踪得到的在前一帧(如第t-1帧)图像上的特征点在V轴和U轴上的坐 标。参见图2E，为图2B中安装在车辆右侧摄像机所拍摄图像中的特征点光流方向的示意 图。步骤210 对获取的特征光流向量进行聚类生成若干聚类子集合，每个聚类子集 合中的特征光流向量满足预设的聚类规则。对于刚体运动目标如车辆的特征点形成的光流具有相似的方向、大小，而对于非 刚体运动目标如行人的特征点形成的光流则大小方向变化都较大。但是无论是刚体还是非 刚体，其特征点形成的光流在局部范围内都具有大小方向相似的特点。因此，本实施例对前述得到的候选特征光流向量分别进行聚类，得到聚类后的特 征光流向量集合；对光流聚类有利于形成目标物，除此之外还能将上述的候选区域块中的 特征光流向量中一些离散的特征光流向量去除，这些离散的特征光流向量可能是利用反向 跟踪法没有去除的错误的特征光流向量。参见图2F，为对图2E中的特征点光流向量进行聚 类后的结果示意图。聚类的过程按照如下方式进行首先，若候选特征光流向量中第i个特征光流向量！^能与已有的光流聚类子集合 Cj(j = 1，…，m)中的任何一个特征光流向量满足聚类规则，则将该特征光流向量。加入 到该聚类子集合G中，否则将第i个特征光流向量^归属到一个新的特征光流向量聚类子 集合Cm+1中；其次，重复上述操作，直到所有的特征光流向量都被聚类到某一个聚类子集合中。其中，判断任意两个特征光流向量能否归属到一个聚类子集合中，设候选特征光 流向量中第i个特征光流向量为IV其长度为L”光流方向为di，第j个特征光流向量为
其长度为Lp光流方向为…，则将满足如下规则的两个候选特征光流归属到一个聚类子集合中 首先，按照如下公式判断光流向量的大小是否相似
abs(Lt -Lj) <丁 [OH3] mea^L^Lj) 1上式中，如果结果小于等于预设的阈值，则说明特征光流向量巧和 的大小本 似，0彡彡0. 4，本实施例中= 0. 3 ；其次，按照如下公式判断光流向量的方向是否相似如果absWi-dj) < Ji，则两个光流向量的夹角Ad = abs (d-dj)；否则，两个光流向量的夹角A d = 2 Ji-abs (di-dj)；上式中，如果两个光流向量的夹角Ad小于预设的阈值1~2，则说明特征光流向量^ 和r」的方向相似，0 ^ T2 ^ 0. 5236，本实施例中T2 = 0. 1弧度；最后，判断两个特征光流向量的距离，将特征光流向量^和 的起点和终点分别 连接所形成的四个线段中最小的线段是否小于某一阈值T3，如果小于T3则说明特征光流向 量巧和r」的距离相近，0彡T3彡20，本实施例中T3 = 8像素。步骤211 判断每个聚类子集合中的特征光流向量的数量是否大于预设的阈值， 若是，则执行步骤212 ；否则，执行步骤213。根据上述判断过程确定了若干类聚类子集合后，对于每个聚类子集合，如果该聚 类子集合中的特征光流向量的数量大于某一阈值时，则将该聚类子集合中的特征光向量保 留，否则，删除该聚类子集合。步骤212 保留相应的聚类子集合，执行步骤214。步骤213 删除相应的聚类子集合。步骤214 将包含聚类子集合的候选区域块作为接近目标物的区域块。统计每个候选区域块中是否包含被成功聚类的光流，如果包含，则保留该候选区 域块作为接近目标物区域块。参见图2G，为所生成的接近目标物区域块的示意图。步骤215 判断筛选出的区域块中每个区域块的八邻域块是否属于筛选出的区域 块。步骤216 将属于筛选出的区域块中的区域块和其八邻域块相连。如果某一图像块被确定为接近目标物区域块，且该图像块的8邻域块同样为接近 目标物区域块，则将该区域块与其8邻域块相连接，共同构成接近目标物区域，由此检测出 目标物。参见图2H，为将八邻域块进行相连生成接近的目标物区域的示意图。上述本申请接近的目标物检测的实施例还可以进一步用于对交叉接近车辆的检 测，如检测车辆驶向十字路口时或倒车时交叉车道上的接近车辆。如图3所示，为检测驶向 十字路口时的接近车辆示意图，其中在位置3处安装摄像装置；如图4A所示，为检测倒车时 交叉车道上的接近车辆示意图，其中位置4处安装摄像装置。以检测图4A中所示接近车辆的情况为例，在应用前述第二实施例进行检测时，仅 需要将步骤209中计算光流方向，并记录光流方向在接近目标物的坐标范围内的特征光流 向量时，将图2D中所示的坐标系修改为如图4B所示的坐标系，该坐标系中将图像等分成左 右两个等大的子图，再进行特征光流向量的方向判断和选择即可。其中，对于右子图，驶向 车辆的目标物其特征光流方向在[n/2，Ji] U [-^/2,-JI]范围内，而相对世界静止的物体的光流方向在[_n/2，Ji/2]范围内；对于左子图，驶向车辆的目标物其特征光流方向在 [-Ji/2，Ji/2]范围内，而相对世界静止的物体的光流方向在[Ji/2，Ji] U [-JI/2，-JI]范 围内。 与本申请接近的目标物检测方法的实施例相对应，本申请还提供了接近的目标物 检测装置的实施例。参见图5，为本申请接近的目标物检测装置的第一实施例框图该接近的目标物检测装置包括获取单元510、差分单元520、检测单元530、聚类 单元540和连通单元550。其中，获取单元510，用于从摄像装置中获取当前帧图像和所述当前帧图像的相邻 帧图像；差分单元520，用于对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对 所述当前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物 候选区域块；检测单元530，用于对所述目标物候选区域块分别进行特征点检测和跟踪，获得特 征光流向量集合；聚类单元540，用于对所述集合中的特征光流向量进行聚类，根据聚类结果从所述 候选区域块中筛选出接近的目标物区域块；连通单元550，用于将所述筛选出的目标物区域块进行连通，获得当前帧图像的接 近的目标物区域。参见图6，为本申请接近的目标物检测装置的第二实施例框图该接近的目标物检测装置包括获取单元610、差分单元620、检测单元630、跟踪 单元640、删除单元650、聚类单元660和连通单元670。其中，获取单元610，用于从摄像装置中获取当前帧图像和所述当前帧图像的相邻 帧图像；差分单元620，用于对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对 所述当前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物 候选区域块；检测单元630，用于对所述目标物候选区域块分别进行特征点检测和跟踪，获得特 征光流向量集合；跟踪单元640，用于将检测出的特征点作为第一特征点，对所述第一特征点进行跟 踪，获得所述第一特征点在所述相邻帧图像中的匹配的第二特征点，对所述第二特征点进 行跟踪，获得所述第二特征点在所述当前帧图像上的匹配的第三特征点；删除单元650，用于当所述第一特征点与所述第三特征点之间的距离大于预设的 阈值时，或者当第一特征点、第二特征点形成的向量与第二特征点、第三特征点形成的向量 所形成的向量夹角大于预设的阈值时，删除与所述第一特征点对应的特征光流向量。聚类单元660，用于对所述集合中的特征光流向量进行聚类，根据聚类结果从所述 候选区域块中筛选出接近的目标物区域块；连通单元670，用于将所述筛选出的目标物区域块进行连通，获得当前帧图像的接 近的目标物区域。
12
具体的，检测单元630可以包括(图6中未示出)特征点检测单元，用于通过特征 点检测算法对当前帧图像中的候选区域块进行特征点检测；特征点跟踪单元，用于通过对 检测出的特征点进行跟踪，获得相邻帧图像中与所述检测出的特征点匹配的匹配特征点； 光流向量计算单元，用于根据所述检测出的特征点和所述匹配特征点计算所述候选区域块 的特征光流向量。具体的，聚类单元660可以包括(图6中未示出)光流方向计算单元，用于计算 所述集合中的特征光流向量的光流方向，并获取光流方向在接近的目标物的预设方向范围 内的特征光流向量；子集合生成单元，用于对所述获取的特征光流向量进行聚类生成若干 聚类子集合，每个所述聚类子集合中的特征光流向量满足预设的聚类规则；阈值判断单元， 用于判断每个所述聚类子集合中的特征光流向量的数量是否大于预设的阈值；结果执行单 元，用于根据判断的结果，当大于所述阈值时，保留相应的聚类子集合，当小于所述阈值时， 删除相应的聚类子集合；区域块确定单元，用于将包含保留的聚类子集合的目标物候选区 域块作为接近的目标物区域块。通过以上的实施方式的描述可知，本申请实施例中从摄像装置中获取当前帧图像 和所述当前帧图像的相邻帧图像，对所述当前帧图像和相邻帧图像划分为相同的若干图像 块，对当前帧图像与相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候 选区域块，对目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合，对集 合中的特征光流向量进行聚类，根据聚类结果从候选区域块中筛选出接近的目标物区域 块，将筛选出的目标物区域块进行连通，获得当前帧图像的接近的目标物区域。本申请实 施例采用图像帧块分析方法进行运动目标检测，与现有应用光流的方法相比，具有不限定 接近目标物类型、同时适用于检测刚体目标物和非刚体目标物、计算简单且速度快、检测准 确、不易受特征点跟踪错误造成的错误光流的影响等优点。通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可 借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质 上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品 可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些 部分所述的方法。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实 施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例 的部分说明即可。本申请可用于众多通用或专用的计算系统环境或配置中。例如个人计算机、服务 器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶 盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的 分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序 模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组 件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由
13通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以 位于包括存储设备在内的本地和远程计算机存储介质中。 虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和 变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的 精神。
权利要求
一种接近的目标物检测方法，其特征在于，包括从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧图像；对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对所述当前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区域块；对所述目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合；对所述集合中的特征光流向量进行聚类，根据聚类结果从所述候选区域块中筛选出接近的目标物区域块；将所述筛选出的目标物区域块进行连通，获得当前帧图像的接近的目标物区域。
2.根据权利要求1所述的方法，其特征在于，所述对目标物候选区域块分别进行特征 点检测和跟踪，获得特征光流向量集合包括通过特征点检测算法对当前帧图像中的候选区域块进行特征点检测； 通过对检测出的特征点进行跟踪，获得相邻帧图像中与所述检测出的特征点匹配的匹 配特征点；根据所述检测出的特征点和所述匹配特征点计算所述候选区域块的特征光流向量。
3.根据权利要求2所述的方法，其特征在于，所述对目标物候选区域块分别进行特征 点检测和跟踪，获得特征光流向量集合后，还包括将检测出的特征点作为第一特征点，对所述第一特征点进行跟踪，获得所述第一特征 点在所述相邻帧图像中的匹配的第二特征点；对所述第二特征点进行跟踪，获得所述第二特征点在所述当前帧图像上的匹配的第三 特征点；当所述第一特征点与所述第三特征点之间的距离大于预设的阈值时，或者当第一特征 点、第二特征点形成的向量与第二特征点、第三特征点形成的向量所形成的向量夹角大于 预设的阈值时，删除与所述第一特征点对应的特征光流向量。
4.根据权利要求1所述的方法，其特征在于，所述对所述集合中的特征光流向量进行 聚类，根据聚类结果从所述候选区域块中筛选出接近的目标物区域块包括计算所述集合中的特征光流向量的光流方向，并获取光流方向在接近的目标物的预设 方向范围内的特征光流向量；对所述获取的特征光流向量进行聚类生成若干聚类子集合，每个所述聚类子集合中的 特征光流向量满足预设的聚类规则；判断每个所述聚类子集合中的特征光流向量的数量是否大于预设的阈值； 根据判断的结果，当大于所述阈值时，保留相应的聚类子集合，当小于所述阈值时，删 除相应的聚类子集合；将包含保留的聚类子集合的目标物候选区域块作为接近的目标物区域块。
5.根据权利要求1所述的方法，其特征在于，当所述方法应用于车辆检测驶向十字路 口时的接近的目标物时，所述摄像装置安装在所述车辆的头部。
6.根据权利要求1所述的方法，其特征在于，当所述方法应用于车辆检测倒车时交叉 车道上的接近的目标物时，所述摄像装置安装在所述车辆的尾部。
7.一种接近的目标物检测装置，其特征在于，包括获取单元，用于从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧图像；差分单元，用于对所述当前帧图像和相邻帧图像划分为相同的若干图像块，对所述当 前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区 域块；检测单元，用于对所述目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合；聚类单元，用于对所述集合中的特征光流向量进行聚类，根据聚类结果从所述候选区 域块中筛选出接近的目标物区域块；连通单元，用于将所述筛选出的目标物区域块进行连通，获得当前帧图像的接近的目 标物区域。
8.根据权利要求7所述的装置，其特征在于，所述检测单元包括特征点检测单元，用于通过特征点检测算法对当前帧图像中的候选区域块进行特征点 检测；特征点跟踪单元，用于通过对检测出的特征点进行跟踪，获得相邻帧图像中与所述检 测出的特征点匹配的匹配特征点；光流向量计算单元，用于根据所述检测出的特征点和所述匹配特征点计算所述候选区 域块的特征光流向量。
9.根据权利要求7所述的装置，其特征在于，还包括跟踪单元，用于将检测出的特征点作为第一特征点，对所述第一特征点进行跟踪，获得 所述第一特征点在所述相邻帧图像中的匹配的第二特征点，对所述第二特征点进行跟踪， 获得所述第二特征点在所述当前帧图像上的匹配的第三特征点；删除单元，用于当所述第一特征点与所述第三特征点之间的距离大于预设的阈值时， 或者当第一特征点、第二特征点形成的向量与第二特征点、第三特征点形成的向量所形成 的向量夹角大于预设的阈值时，删除与所述第一特征点对应的特征光流向量。
10.根据权利要求7所述的装置，其特征在于，所述聚类单元包括光流方向计算单元，用于计算所述集合中的特征光流向量的光流方向，并获取光流方 向在接近的目标物的预设方向范围内的特征光流向量；子集合生成单元，用于对所述获取的特征光流向量进行聚类生成若干聚类子集合，每 个所述聚类子集合中的特征光流向量满足预设的聚类规则；阈值判断单元，用于判断每个所述聚类子集合中的特征光流向量的数量是否大于预设 的阈值；结果执行单元，用于根据判断的结果，当大于所述阈值时，保留相应的聚类子集合，当 小于所述阈值时，删除相应的聚类子集合；区域块确定单元，用于将包含保留的聚类子集合的目标物候选区域块作为接近的目标 物区域块。
全文摘要
本发明公开了一种接近的目标物检测方法及装置，该方法包括从摄像装置中获取当前帧图像和所述当前帧图像的相邻帧图像；对当前帧图像和相邻帧图像划分为相同的若干图像块，对当前帧图像与所述相邻帧图像的对应位置的图像块做差分，获得当前帧图像的目标物候选区域块；对目标物候选区域块分别进行特征点检测和跟踪，获得特征光流向量集合；对集合中的特征光流向量进行聚类，根据聚类结果从候选区域块中筛选出接近的目标物区域块；将筛选出的目标物区域块进行连通，获得当前帧图像的接近的目标物区域。本发明采用图像帧块分析方法进行运动目标检测，不限定接近目标物类型，同时适用于检测刚体目标物和非刚体目标物、计算简单、检测准确且速度快。
文档编号G06T7/20GK101930609SQ20101026688
公开日2010年12月29日 申请日期2010年8月24日 优先权日2010年8月24日
发明者于红菲, 刘威, 袁淮 申请人:东软集团股份有限公司