识别图像中障碍物的方法和装置的制作方法

专利名称：识别图像中障碍物的方法和装置的制作方法
技术领域：
本发明涉及障碍物识别技术领域，特别涉及识别图像中障碍物的方法和 装置。
背景技术：
在本领域，障碍物通常是指高于地面的立体物。
它的原理是在道路平坦、短时间内光照条件不变前提下，道路平面的任一点 在相邻时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中 所有的点都是路面上的点的对应的成像点，则由相机运动参数和成像原理， 能够计算出由前一时刻图像中所有的点在下一时刻相才几发生运动后所组成的 假想图像，则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些 不是道路平面上的点所引起的。这些差异所对应的图像像素即可能是突出地 面的障碍物。
目前的方法主要是单纯基于运动补偿的结果来判断图像中某个区域是存 在障碍物，这种识别策略在运动参数精度较低或图像噪声的影响下，会导致
运动补偿的结果达不到理想的效果，从而对于某些非障碍物被误识别为障碍 物。

发明内容
本发明实施例提供一种识别图像中障碍物的方法和装置，能够降低误检 测率。
本发明实施例提供的一种识别图像中障碍物的方法，包括
获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像
按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障
碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动
障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 根据每个块区域确定图像中的障碍物。
其中，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括
i) 获取运动参数，生成当前帧之前n-k时刻的假想图像；n>=2， k>=l;
ii) 对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一 运动置信度C—M—Al;
iii) 对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度， 获得第二运动置信度C—M—A2;
iv) 若所述第一运动置信度C—M—Al的值大于第一运动阈值，且所述第 一运动置信度C—M—Al与第二运动置信度C—M—A2的比值大于第二运动阈 值，则当前帧的该块区域的运动障碍物置信度C—M为1,否则当前帧的该块 区域的运动障碍物置信度C一M为0;
v) 重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。
其中，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括
若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障 碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像中该块区域 的总置信度C—Total为1 ，否则该块区域的总置信度C—Total为0;
若当前帧图像中所述某个块区域的总置信度C—Total为1,则该块区域为 障碍物，否则该块区域为非障碍物。
本发明实施例提供的另 一种识别图像中障碍物的方法，包括
获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像 按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障 碍物置信度，和每个块区域的特征障碍物置信度；
根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动 障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中 每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。
其中，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括
i) 获取运动参数，生成当前帧之前n-k时刻的假想图像；n>=2， k>=l;
ii) 对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一 运动置信度C—M—Al;
iii) 对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度， 获得第二运动置信度C—M—A2;
iv) 若所述第一运动置信度C—M_A1的值大于第一运动阔值，且所述第 一运动置信度C—M—Al与第二运动置信度C—M—A2的比值大于第二运动阈 值，则当前帧的该块区域的运动障碍物置信度C—M为1,否则当前帧的该块 区域的运动障碍物置信度C—M为0;
v) 重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。
其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、 或者基于紋理特性的特征障碍物置信度。
其中，所述根据垂直特性计算当前帧的每个块区域的特征障碍物置信度 的—步骤包括................... — —
a) 判断当前帧一块区域是否具有垂直属性，若有则当前帧该块区域的特 征障碍物置信度为1,否则当前帧的该块区域的特征障碍物置信度C—F为0;
b) 重复执行步骤a)，直到计算出每个块区域的特征障碍物置信度。 其中，所述判断当前帧一块区域是否具有垂直属性的步骤包括 a01)计算一个块区域的垂直方向的强度/y;
/:=() /=G
其中，中(是当前帧图像的第/行，第y列像素的灰度值，*为整数，
/,乂ei ， i 为该图像块区域，N为图像宽度，M为图像高度。
a02)若步骤a01)所述垂直方向的强度人大于强度阈值，则所述块区域
具有垂直属性，否则所述块区域不具有垂直属性。
其中，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括 若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最 近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1
的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度C—Total为
1,否则该块区域的总置信度C一Total为0;
若当前帧图像中所述某个块区域的总置信度C—Total为1 ，则该块区域为
障碍物，否则该块区域为非障碍物。
本发明实施例提供的 一种识别图像中障碍物的装置，包括 图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，
对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分
后的块区域；
运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的运动障碍物置信度，
第 一块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的
之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每
个块区域是否为障碍物；
障碍物确定单元，用于根据每个块区域确定图像中的障碍物。
其中，所述运动障碍物置信度计算单元包括
假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假 想图4象；n>=2， k>=l;
第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想 图像的相似程度，获得第一运动置信度C—M—Al;
第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k 时刻图像的相似程度，获得第二运动置信度C—M—A2;
运动障碍物置信度确定单元，用于在所述第一运动置信度C—M一A1的值 大于第一运动阈值，且所述第一运动置信度C—M_A1与第二运动置信度 C_M—A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物 置信度C—M为1，否则确定当前帧的该块区域的运动障碍物置信度C—M为 0。
其中，所述第一块区域障碍物识别单元包括第一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈
值时，确定当前帧图像中该块区域的总置信度C—Total为1，否则确定该块区
域的总置信度C—Total为0;
第 一 识别单元，用于获知当前帧图像中所述某个块区域的总置信度
C—Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 本发明实施例提供的另 一种识别图像中障碍物的装置，包括 图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，
对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分
后的块区域；
运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的运动障碍物置信度，
特征障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的特征障碍物置信度；
第二块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的 之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍 物置信度，依次确定当前帧图像中每个块区域是否为障碍物；
障碍物确定单元，用于根据每个块区域确定图像中的障碍物。
其中，所述运动障碍物置信度计算单元包括
假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假 想图i"象；n>=2， k>=l;
第 一运动置信度计算单元，用于对于一个块区域计算当前帧与所述^f艮想 图像的相似程度，获得第一运动置信度C—M—Al;
第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k 时刻图像的相似程度，获得第二运动置信度C—M—A2;
运动障碍物置信度确定单元，用于在所述第一运动置信度CLM—A1的值 大于第一运动阈值，且所述第一运动置信度C—M—Al与第二运动置信度 C—M—A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物 置信度C一M为1,否则确定当前帧的该块区域的运动障碍物置信度C—M为0。
其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、 基于垂直边缘特性的特征障碍物置信度，或者基于紋理特性的特征障碍物置 信度。
其中，在所述特征障碍物置信度基于垂直特性时，所述特征障碍物置信
度计算单元包括
垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性， 将判断结果通知给特征障碍物置信度确定单元；
特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时，
确定当前帧该块区域的特征障碍物置信度为1，否则确定当前帧的该块区域 的特征障碍物置信度C_F为0。
其中，所述第二块区域障碍物识别单元包括
第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈 值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的 特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像 中该块区域的总置信度C一Total为1,否则确定该块区域的总置信度C—Total 为0;
第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度 C一Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。
应用本发明实施例提供的一种识别图像中障碍物的方法和装置，与传统 仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，还 釆用了基于运动补偿的相对的策略，从而降低了误检测率，能够准确的判断 出图像中的障碍物。
应用本发明实施例提供的另一种识别图像中障碍物的方法和装置，与传 统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略， 以及采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分 析的策略，从而更进一步地降低了误检测率，能够准确的判断出图像中的障 碍物。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的识别图像中障碍物的方法流程图； 图2是根据本发明实施例的计算当前帧的每个块区域的运动障碍物置信 度的方法流程图3是根据本发明实施例的所设定的世界坐标系和前一时刻图像的摄相 机的世界坐标系的关系示意图4是根据本发明实施例的当前时刻假想图像的示意图5是根据本发明实施例的一种识别图像中障碍物的装置结构图6是根据本发明实施例的另一种识别图像中障碍物的装置结构图。
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种识别图像中障碍物的方法，包括获取当前帧 以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行 划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前 帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；根据所述当前 帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依 次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中 的障碍物。应用本发明，与传统仅基于运动补偿方法相比，不但采用了基于 运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，从而降 低了误检测率，能够准确的判断出图像中的障碍物。
本发明实施例提供的另一种识别图像中障碍物的方法，包括获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进
行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当 前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，和每个块区 域的特征障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所 述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依 次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中 的障碍物。应用本发明，与传统仅基于运动补偿方法相比，不但采用了基于 运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，并在此 基础上进一步融合了特征分析的策略，从而在降低了误检测率的同时提高了 检测的准确率，能够准确的判断出图像中的障碍物。
参见图1，其是根据本发明实施例的识别图像中障碍物的方法流程图。 本例中既采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的 相对的策略，并在此基础上进一步融合了特征分析的策略。具体包括
步骤101,划分图像块区域，具体的，获取当前帧以及与当前帧最近的 之前N帧的图像，对所获取的每帧图像按照相同的方式进行划分，对于每帧
图像均获得若干个划分后的块区域。
例如，首先从图像序列中取出当前帧的图像《和之前与当前帧最接近的
N帧图，其中，n>=l;图^f象序列的帧间隔可以设为A,。
其次，将上述的每帧图像都分成多个块区域，块区域的形状可以是矩形, 也可以是三角形等能够将图像完全划分的任何形状，本实施例为都划分为 NxM像素的互不重叠的矩形块区域，这样，对于每帧图像均获得了相同的 若干个划分的矩形块区域。至于具体的分割方法本文未做限定，只要能够分 割成多个矩形块区域即可。
上述与当前帧最近的之前N帧图像中的N，具体数目可根据实际需要确 定，例如，可以根据物体移动的速度，在相机中从出现到消失这段时间内所 获得的帧数作为前述N的具体数目。
步骤102，计算当前帧以及与当前帧最近的之前N帧所对应的每个块区 域的运动障碍物置信度。所谓运动障碍物置信度，是指基于运动补偿后的该块区域是否为障碍物 的置信度，这里的运动补偿与现有的运动补偿稍有不同，现有的运动补偿通 常只包括基于运动补偿的绝对程度，而本发明中的运动补偿包括基于运动补 偿的绝对程度和相对程度。
可以理解，由于与当前帧最近的之前N帧所对应的每个块区域的运动障 碍物置信度的计算方法，和当前帧的每个块区域的运动障碍物置信度的计算
方法相同，下面仅对当前帧的每个块区域的运动障碍物置信度的计算方法进
行说明，对于与当前帧最近的之前N帧的不再重复"i兌明。
参见图2，其是根据本发明实施例的计算当前帧的每个块区域的运动障 碍物置信度的方法流程图。具体包括
步骤201，获取相机运动参数。
速度传感器和陀螺仪传感器等获取，也可以由序列图像用计算的方法获得， 如采用光流方法、运动'恢复结构(Structure form Motion, SFM)的方法或基于 特征点;险测、直接法等方法估计得到，如文献1" A robust method for computing vehicle ego-motion ( —种计算自车运动的直接方法)，，采用直接的方法估计运 动参数，文献2"Transforming camera geometry to a virtual downward-looking camera: robust ego-motion estimation and ground-layer detection"采用改进的直 接方法获得运动参数。本发明实施例采用文献l的直接估计方法获取相机运
在本发明实施例中设定世界坐标系[^A，l，zj和前一时刻图像的相机
的世界坐标系[";^，uj的原点o，o'重合，坐标轴之间可以有旋转角，世界
坐标系的^轴平行于道路平面，^垂直于道路平面。如图3所示。
根据道路平面假设，相机运动参数m表示为附"H6^,即在A，^方
向有一个平移，在^方向有一个旋转。
步骤202,生成当前帧之前n-k时刻的假想图像；其中，n>=2， k>=l; 所谓的假想图像是指假设前一时刻图像中所有像素点都是道路平面上的点所成的像(其中^=相机高度)，相机运动后，这些地面上的点在新的相机 位置下所成的像，即为假想图像。如图4所示。下面以前一时刻图像上某点 P为例，说明如何生成新的相机位置下的假想图像。
假设前一时刻图像上点P是道路平面上点^所成的像(实际上是立体物 上的点《所成的像)，相机运动后，《所成的像点,即为当前时刻假想图像上 与户对应的点，即将点？的灰度值赋给点尸'。基于这一原理，可以得到当前 时刻假想图像上其它像素点与前一时刻图像上点的对应关系，从而可以得到 新的相机位置下的当前时刻的假想图像。
下面说明如何求得假想图像中尸'点的坐标。
以前一时刻图像中某一像素点为例，分别为该点在图像中的行 坐标和列坐标，P是道路平面上点A )的所成的像点。
根据摄像机成像公式可以计算出点^的世界坐标(H,ZJ 。
0
0 s 0 0
w。 0 v0 0 1 0
R f 0T 1
1
(1)
其中a,，c^,w。,v。是相机内部参数，可由相机标定获得；
其中^[7;，7;，7;f为平移向量，7;,7;,7;为摄像机坐标系原点在世界坐标系 下的位置，为相机外部参数，在安装相机时获得；
cosy cos" cosysin/ sina —sinycosa cos"in/ cosa + sinysina sin ;k cos cos or cos y + sin ;k sin ;5 sin a sin ;k sin / cos a — cos ;k sin a 一 sin A cos々sin a cos ^ cos
为旋转矩阵，a，A^分别是摄像机坐标系绕世界坐标系X,y,Z轴的旋转
角，为相机外部参数，在安装相机时获得；
已知^=摄像机高度，P(r,c)为像素的坐标；
求解上述方程，可得j^,z『和Zc， Zc是p的在摄像机坐标系中z轴的坐标。
利用获得的运动参数附=k ，" ，可得运动后摄像机坐标系原点在世界
坐标系下的坐标为^ +《，7>7>~ ,摄像机坐标系绕世界坐标系x，y，z轴的旋转角变为"，"+ A，、根据此时摄像机的旋转矩阵和平移矩阵，以及已经计算出
的A的世界坐标(z『，^，z『)，再由上述摄像机成像公式(1 )，方程右端为已
知，可求得左端未知数，即点^在假象图像中的成像尸坐标。具体的，基于 上述变换，可将之前某图像F"上所有的点按运动参数运动，产生了一幅新 的假想图像F"。如果不考虑噪声的影响，在平面运动的假设前提下，假想图 像中的平面区域与当前时刻的图像《的平面区域是完全一致的，而非平面区 域则不同，以下将利用这个原理，确定区域为立体物的置信度。
步骤203，对于一个块区域计算当前帧与之前n-k时刻的假想图像的相 似程度，将所述获得的相似程度作为基于运动补偿的第一运动置信度 C—M一A1。
需要说明的是，本文将当前帧与之前n-k时刻的假想图像的相似程度称 为第一运动置信度C—M—Al,该第一运动置信度实际是基于运动补偿绝对程 度的；将当前帧与之前实际的n-k时刻图像的相似程度称为第二运动置信度 C—M—A2，该第二运动置信度实际是经运动补偿的；而第一运动置信度 C—M—Al与第二运动置信度C—M_A2的比值实际是基于运动补偿相对程度 的。
具体的，步骤203包括针对图像F"中某个块区域中的所有像素，在假 想图像中寻找坐标相同的像素，然后基于对应点的像素值计算该块区域的当 前时刻图像和当前时刻的假想图像的相似程度，从而获得该块区域为障碍物 的第一运动置信度C—M一Al,其中可以采用归一化相关值(NC)计算所述相 似程度NC:
其中，块区域的大小为N*M, X(/J)为图像《中的像素(/J)的灰度值， Z'(/J)为图像《的假想图像F"中的像素灰度值。
步骤204，对于一个块区域计算当前帧与之前n-k时刻图像的相似程度,
将所述获得的相似程度作为不进行运动补偿的第二运动置信度C—M—A2; 具体的，针对图像《中某个块区域中的所有像素，在F"中寻找坐标相同的像素，然后基于对应点对的像素值计算该块区域的当前时刻图像和之前
n-k时刻图像的相似程度，从而得该块区域为障碍物的第二运动置信度 C—M—A2，其中可以采用归一化相关值(NC)计算所述相似程度NC:
其中，块区域的大小为N*M, X(z,力为图像F"中的像素a力的灰度值， X"(/，y)为之前n-k时刻图像F""中的像素(/,_/)灰度值。 步骤205,确定运动障碍物置信度C—M。
具体的，若所述第一运动置信度C—M—Al的值大于第一运动阈值，且所 述第一运动置信度C—M—Al与第二运动置信度C—M—A2的比值大于第二运 动阈值，则当前帧的该块区域的运动障碍物置信度C—M为1，否则当前帧的 该块区域的运动障碍物置信度C—M为0。
也就是说，上述运动障碍物置信度C一M是基于运动补偿绝对程度(即 C一M—Al的值大于第一运动阈值的情况)，与基于运动补偿相对程度(即 C—M_A1与C—M—A2的比值大于第二运动阈值的情况)获得的。
其中需要说明的是，第一运动置信度C—M—Al与第二运动置信度 C_M—A2的比值是一个广义的概念，该比值既可以是C—M—Al/ C—M—A2的 值，也可以是(C—M—Al- C一M—A2)/(l- C—M—A2)的值，还可以是其他表现形 式的值。
步骤206，重复执行上述步骤203~205,直到计算出每个块区域的运动 障碍物置信度。
步骤103，计算当前帧以及与当前帧最近的之前N帧所对应的每个块区 域的特征障碍物置信度C一F。
其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、 基于垂直边缘特性的特征障碍物置信度，或者基于紋理特性的特征障碍物置 信度。
下面以垂直特性为例，具体说明如何计算特征障碍物置信度C—F。 步骤a，判断当前帧一块区域是否具有垂直属性，若有则当前帧该块区
SZ义(/,力xX"(/,y)域的特征障碍物置信度C_F为1,否则当前帧的该块区域的特征障碍物置信 度C^F为0。具体的判断当前帧一块区域是否具有垂直属性的步骤包括 a01)计算一个块区域的垂直方向的强度人；
/=0 /=0
其中，中^是当前帧图像的第/行，第/列像素的灰度值，/t为整数，
U'ei ， 7 为该图像块区域，N为图像宽度，M为图像高度。
a02)若步骤a01)所述垂直方向的强度/y大于强度阈值T,即/,,>7，则 所述块区域具有垂直属性，否则所述块区域不具有垂直属性。
步骤b,重复执行步骤a,直到计算出每个块区域的特征障碍物置信度。
步骤104，根据所述当前帧以及与当前帧最近的之前N帧的所述每个块 区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当 前帧图像中每个块区域是否为障碍物。
具体的，取一块区域对应最近N帧的运动障碍物置信度，设为 C—Mt,C—Mt小…，C—Mt—N_，统计运动障碍物置信度的值等于1的数量Sum—M;
取该块区域对应最近N帧的特征置信度，设为C—Ft，C—Ft.,，…,C—Ft—N-,， 统计特征障碍物置信度的值等于1的数量Sum—F;
若Sum—M大于第一数量阈值S_M—Limit,且Sum—F大于第二数量阈值 C—F—Limit,则总置信度C—Total为1,否则为0。
若当前帧图像中所述某个块区域的总置信度C—Total为1,则该块区域为 障碍物，否则该块区域为非障碍物。
也就是说，若当前帧及与当前帧最近的之前N帧所对应的某个相同块区 域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及 与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度 的值等于1的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度 C—Total为l,否则该块区域的总置信度C—Total为0;在当前帧图像中某个 块区域的总置信度C—Total为1时，则该块区域为障碍物，否则该块区域为 非障碍物。
步骤105,根据每个块区域确定图像中的障碍物。具体的，当判断出每个块区域是否为障碍物后，综合所有结果，即可得 到图像中的障碍物。
可见，图1所提供的识别图像中障碍物的方法，与传统仅基于运动补偿
方法相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动 补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从而在降 低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍 物。
图l所示为一较佳实施例，在实际应用中，还可以有另一种情况是，即， 只进行运动补偿(包括绝对程度和相对程度)，而不再基于特征分析进行补偿， 这同样可以达到降低了误检测率的目的。这种实施方式下，与图l所示步骤
基本相同，其区别是，不再执行步骤103，相应的步骤104变为根据所述 当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信 度，依次确定当前帧图像中每个块区域是否为障碍物。其中，确定当前帧图 像中每个块区域是否为障碍物的步骤包括
具体的，取一块区域对应最近N帧的运动障碍物置信度，设为 C—Mt,C—Mt小…,C—Mt.w,统计运动障碍物置信度的值等于1的数量Sum—M; 若Sum—M大于第一数量阈值S—M—Limit,则总置信度C一Total为1，否则为0。
若当前帧图像中所述某个块区域的总置信度C—Total为1,则该块区域为 障碍物，否则该块区域为非障碍物。
也就是说，若当前帧及与当前帧最近的之前N帧所对应的某个相同块区 域的运动障碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像 中该块区域的总置信度C—Total为1,否则该块区域的总置信度C—Total为0; 在当前帧图像中某个块区域的总置信度C—Total为1时，则该块区域为障碍 物，否则该块区域为非障碍物。
本发明实施例还提供了一种识别图像中障碍物的装置，参见图5，其与 图l所示实施例对应，包括图像分割单元501、运动障碍物置信度计算单 元502、特征障碍物置信度计算单元503、第二块区域障碍物识别单元504和障碍物确定单元505。其中，
图像分割单元501,用于获取当前帧以及与当前帧最近的之前N帧的图 像，对所获取的每帧图像按相同的方式进行划分，对于每帧图像均获得若干 个划分后的块区域；
运动障碍物置信度计算单元502,用于计算当前帧以及与当前帧最近的 之前N帧所对应的每个块区域的运动障碍物置信度，
特征障碍物置信度计算单元503,用于计算当前帧以及与当前帧最近的 之前N帧所对应的每个块区域的特征障碍物置信度；该特征障碍物置信度可 以包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物 置信度，或者基于紋理特性的特征障碍物置信度。
第二块区域障碍物识别单元504,用于根据所述当前帧以及与当前帧最 近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征 障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；
障碍物确定单元505,用于根据每个块区域确定图像中的障碍物。
上述运动障碍物置信度计算单元502还可以包括假想图像生成单元、 第一运动置信度计算单元、第二运动置信度计算单元以及运动障碍物置信度 确定单元。其中，
假想图像生成单元，用于获耳又运动参数，生成当前帧之前n-k时刻的假 想图4象；n>=2， k>=l;
第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述々支想 图像的相似程度，获得第一运动置信度C—M—Al;
第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k 时刻图像的相似程度，获得第二运动置信度C—M—A2;
运动障碍物置信度确定单元，用于在所述第一运动置信度C—M—Al的值 大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度 C—M—A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物 置信度C—M为1，否则确定当前帧的该块区域的运动障碍物置信度C一M为 0;
当上述特征障碍物置信度基于垂直特性时，所述特征障碍物置信度计算单元503可以包括垂直属性判断单元和特征障碍物置信度确定单元。其中， 垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性，
将判断结果通知给特征障碍物置信度确定单元；
特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时，
确定当前帧该块区域的特征障碍物置信度为1,否则确定当前帧的该块区域
的特征障碍物置信度C—F为0。
上述第二块区域障碍物识别单元504可以包括第二总置信度确定单元
和第二识别单元，其中，
第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈 值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的 特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像 中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C—Total 为0;
第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度 C—Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。
本发明实施例还提供了一种识别图像中障碍物的装置，参见图6,其与 图5所示实施例的区别是，不包括特征障碍物置信度计算单元503,也即， 图6所示装置包括图像分割单元601、运动障碍物置信度计算单元602、第 一块区域障碍物识别单元603和障碍物确定单元604。其中，
图像分割单元601,用于获取当前帧以及与当前帧最近的之前N帧的图 像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个 划分后的块区域；
运动障碍物置信度计算单元602,用于计算当前帧以及与当前帧最近的 之前N帧所对应的每个块区域的运动障碍物置信度，
第一块区域障碍物识别单元603,用于根据所述当前帧以及与当前帧最 近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像 中每个块区域是否为障碍物；障碍物确定单元604,用于根据每个块区域确定图像中的障碍物。 上述运动障碍物置信度计算单元602与图5中的运动障碍物置信度计算 单元502相同，包括'.^暇想图像生成单元、第一运动置信度计算单元、第二 运动置信度计算单元以及运动障碍物置信度确定单元，具体不再赘述。 上述第一块区域障碍物识别单元603可以包括
第一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈 值时，确定当前帧图像中该块区域的总置信度C—Total为1,否则确定该块区 域的总置信度C—Total为0;
第 一识别单元，用于获知当前帧图像中所述某个块区域的总置信度 C—Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。
应用本发明所提供的识别图像中障碍物的装置，与传统仅基于运动补偿 的逻辑装置相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基 于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从 而在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中 的障碍物。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机 可读取存储介质中，这里所称得的存储介质，如ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均 包含在本发明的保护范围内。
权利要求
1、一种识别图像中障碍物的方法，其特征在于，包括获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。
2、 根据权利要求1所述的方法，其特征在于，所述计算当前帧的每个块 区域的运动障碍物置信度的步骤包括i) 获取运动参数，生成当前帧之前n-k时刻的假想图像；n>=2， k>=l;ii) 对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一 运动置信度C—M—Al;iii) 对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度， 获得第二运动置信度C—M—A2;iv) 若所述第一运动置信度C—M—Al的值大于第一运动阈值，且所述第 一运动置信度C—M—Al与第二运动置信度C—M—A2的比值大于第二运动阔 值，则当前帧的该块区域的运动障碍物置信度C—M为1,否则当前帧的该块 区域的运动障碍物置信度C—M为0;v) 重复执行步骤ii)至iv),直到计算出每个块区域的运动障碍物置信度。
3、 根据权利要求2所述的方法，其特征在于，所述确定当前帧图像中每 个块区域是否为障碍物的步骤包括若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障 碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像中该块区域 的总置信度C—Total为1,否则该块区域的总置信度C—Total为0;若当前帧图像中所述某个块区域的总置信度C—Total为1,则该块区域为 障碍物，否则该块区域为非障碍物。
4、 一种识别图像中障碍物的方法，其特征在于，包括获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像 按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障 碍物置信度，和每个块区域的特征障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动 障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中 每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。
5、 根据权利要求4所述的方法，其特征在于，所述计算当前帧的每个块 区域的运动障碍物置信度的步骤包括i) 获取运动参数，生成当前帧之前n-k时刻的假想图像；n>=2， k>=l;ii) 对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一 运动置信度C—M—Al;iii) 对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度， 获得第二运动置信度C—M—A2;iv) 若所述第一运动置信度C—M—Al的值大于第一运动阈值，且所述第 一运动置信度C—M—Al与第二运动置信度C—M—A2的比值大于第二运动阔 值，则当前帧的该块区域的运动障碍物置信度C—M为1,否则当前帧的该块 区域的运动障碍物置信度C—M为0;v) 重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。
6、 根据权利要求4所述的方法，其特征在于，所述特征障碍物置信度包 括基于垂直特性的特征障碍物置信度、或者基于紋理特性的特征障碍物置信 度。
7、 根据权利要求6所述的方法，其特征在于，所述根据垂直特性计算当 前帧的每个块区域的特征障碍物置信度的步骤包括a)判断当前帧 一块区域是否具有垂直属性，若有则当前帧该块区域的特 征障碍物置信度为1，否则当前帧的该块区域的特征障碍物置信度C—F为0;b)重复执行步骤a),直到计算出每个块区域的特征障碍物置信度。
8、 根据权利要求7所述的方法，其特征在于，所述判断当前帧一块区域 是否具有垂直属性的步骤包括a01)计算一个块区域的垂直方向的强度/y;其中，争°(°是当前帧图像的第/行，第y列像素的灰度值，/t为整数，/Jei ，及为该图像块区域，N为图像宽度，M为图像高度。a02)若步骤a01)所述垂直方向的强度/v大于强度阈值，则所述块区域 具有垂直属性，否则所述块区域不具有垂直属性。
9、 根据权利要求7所述的方法，其特征在于，所述确定当前帧图像中每 个块区域是否为障碍物的步骤包括若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障 碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最 近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1 的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度C—Total为 1,否则该块区域的总置信度C一Total为0;若当前帧图像中所述某个块区域的总置信度C—Total为1,则该块区域为 障碍物，否则该块区域为非障碍物。
10、 一种识别图像中障碍物的装置，其特征在于，包括图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像， 对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分 后的块区域；运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的运动障碍物置信度，第 一块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的 之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每 个块区域是否为障碍物；障碍物确定单元，用于根据每个块区域确定图像中的障碍物。
11、 根据权利要求IO所述的装置，其特征在于，所述运动障碍物置信度计算单元包括假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假 想图像；n>=2， k>=l;第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想 图像的相似程度，获得第一运动置信度C—M—Al;第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k 时刻图像的相似程度，获得第二运动置信度C—M—A2;运动障碍物置信度确定单元，用于在所述第一运动置信度C—M—Al的值 大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度 C—M—A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物 置信度C一M为1,否则确定当前帧的该块区域的运动障碍物置信度C—M为 0。
12、 根据权利要求IO所述的装置，其特征在于，所述第一块区域障碍物 识别单元包括第 一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈 值时，确定当前帧图像中该块区域的总置信度C—Total为1,否则确定该块区 域的总置信度C—Total为0;第 一 识别单元，用于获知当前帧图像中所述某个块区域的总置信度 C—Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。
13、 一种识别图像中障碍物的装置，其特征在于，包括图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像， 对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分 后的块区域；运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的运动障碍物置信度，特征障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前 N帧所对应的每个块区域的特征障碍物置信度；第二块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 障碍物确定单元，用于根据每个块区域确定图像中的障碍物。
14、 根据权利要求13所述的装置，其特征在于，所述运动障碍物置信度 计算单元包括假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假 想图<象；n>=2， k>=l;第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想 图像的相似程度，获得第一运动置信度C—M—Al;第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k 时刻图像的相似程度，获得第二运动置信度C—M—A2;运动障碍物置信度确定单元，用于在所述第一运动置信度C—M—Al的值 大于第一运动阈值，且所述第一运动置信度C_M—Al与第二运动置信度 C—M—A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物 置信度C—M为1,否则确定当前帧的该块区域的运动障碍物置信度C—M为 0。
15、 根据权利要求13所述的装置，其特征在于，所述特征障碍物置信度 包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物置 信度，或者基于紋理特性的特征障碍物置信度。
16、 根据权利要求15所述的方法，其特征在于，在所述特征障碍物置信 度基于垂直特性时，所述特征障碍物置信度计算单元包括垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性， 将判断结果通知给特征障碍物置信度确定单元；特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时， 确定当前帧该块区域的特征障碍物置信度为1，否则确定当前帧的该块区域 的特征障碍物置信度C—F为0。
17、 根据权利要求13所述的装置，其特征在于，所述第二块区域障碍物 识别单元包括 第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈 值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的 特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像中该块区域的总置信度C—Total为1,否则确定该块区域的总置信度C—Total 为0;第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度 C Total为l时，确定该块区域为障碍物，否则确定该块区域为非障碍物。
全文摘要
本发明公开了一种识别图像中障碍物的方法，包括获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同的方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。应用本发明，在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍物。同时，本发明还公开了一种识别图像中障碍物的装置。
文档编号G06T7/00GK101419667SQ20081018583
公开日2009年4月29日 申请日期2008年12月15日 优先权日2008年12月15日
发明者威 刘, 段勃勃, 淮 袁 申请人:东软集团股份有限公司