专利名称：一种用于从图像中分割出对象的方法及装置的制作方法
技术领域：
本发明涉及图像识别领域，尤其涉及一种用于从图像中分割出对 象的方法及装置。
背景技术：
在基于机器视觉的车辆识别系统中，当从安装在自身车辆或其它 移动/固定的物体上的摄像机这样的图像拾取装置所拾取的图像中识 别车辆时，首先需要从该拾取的图像中分割出包含车辆的区域(也称
为ROI (感兴趣区域))，然后再根据该分割的区域来识别车辆。
由于在阳光或其它光源的照射下，对于不同形状的车辆而言，底 部存在阴影是其共同特征，因此，车底阴影是基于机器视觉的车辆图 像分割技术中从图像中分割出包含车辆的区域时所依据的一个主要 特征。
在现有技术中，基于车底阴影从图像中分割出包含车辆的区域的
方法主要有两种 一种方法是利用车底阴影的灰度比路面暗的特点， 计算当前路面的灰度平均值，并以这个平均值作为基准值，将图像中 所有灰度值低于这个基准值的区域提取作为车底阴影区域，然后基于
该车底阴影区域来分割出包含车辆的区域；另一种方法是利用车底阴 影区域始终比其周围区域更暗的特点，将图像中局部更暗的区域提取 作为车底阴影区域，然后基于该车底阴影区域来分割出包含车辆的区 域，这种方法在特开2003-76987的日本专利文献和2006年3月17 日提交的申请号为200610009379.8、发明名称为"车辆图像分割方法 和装置"的中国专利申请中有详细描述。
由于车底阴影在车辆图像分割技术中的重要作用，所以车底阴影 对从图像中能否分割出包含车辆的区域具有较大影响。然而，在一些 情况下，由于受光照角度的影响，车底阴影是不完整的，导致基于该
车底阴影从图像中分割的区域仅包括部分车辆特征，如图1-4所示； 而在另外一些情况下，由于受光照角度和车辆间相互位置的影响，车 底阴影是由两个车辆的车底阴影连接在一起构成的，所以导致基于该
车底阴影从图像中分割的区域包括了两个车辆的特征,如图5-6所示。
对于分割的仅包括部分车辆特征的区域，由于其包含的车辆特征 不够充足，所以识别系统基于该区域可能不能正确识别出其中所包含
的车辆；而对于分割的包括了两个车辆特征的区域，识别系统基于该
区域可能会漏识别其中一个车辆或将两个车辆误识别成为一个车辆，
这也会导致不能正确识别出该区域中所包含的车辆。
上述问题不但在基于机器视觉的车辆识别系统中存在，在基于机 器视觉的对诸如行人这样的对象的识别系统中也存在。
发明内容
考虑到上述问题，本发明的目的在于提供一种用于从图像中分割 对象的方法及装置。利用该方法及装置，能够从图像中分割出包含完 整对象的区域，从而系统能够正确识别出该分割的区域中所包含的车 辆。
为了实现本发明的目的，按照本发明的一种用亍从图像中分割出 对象的方法，包括步骤
(A) 预先设定一个用于所述对象的参考宽度；
(B) 从所述图像中提取所述对象的底部阴影，并基于所述提取的 底部阴影确定所述图像中包含所述对象的候选区域；
(C) 获得所述参考宽度在所述图像中的所述对象的底部阴影位置 处的成像宽度；以及
(D) 根据所述参考宽度的成像宽度来调整所述确定的候选区域以 使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述 图像中分割出所述调整后的候选区域作为包含所述对象的区域。
为了实现本发明的目的，按照本发明的一种用于从图像中分割出
对象的装置，包括
设置单元，用于预先设定一个用于所述对象的参考宽度； 提取和确定单元，用于从所述图像中提取所述对象的底部阴影，
并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区
域；
获得单元，用于获得所述参考宽度在所述图像中的所述对象的底 部阴影位置处的成像宽度；以及
调整和分割单元，用于根据所述参考宽度的成像宽度来调整所述 确定的候选区域以使得所述调整后的候选区域包含基本上完整的所 述对象，并从所述图像中分割出所述调整后的候选区域作为包含所述 对象的区域。
图1-4示出了车底阴影不完整的例子；
图5-6示出了车底阴影由两个车辆阴影连接在--起构成的例子； 图7示出了本发明一个实施例的用于从图像中分割出对象的方 法的流程图8A和8B示出了利用小孔透视成像原理计算最大车宽的成像 宽度的示意图9和10示出了基于本发明的方法分割出包括车辆的区域的示 意图11示出了基于本发明的方法分割出两个包括车辆的区域的示 意图12示出了本发明的用于从图像中分割出对象的装置。
具体实施例方式
下面将结合附图7-8B，以从所拍摄到的图像中分割出包含车辆 的区域为例，详细描述本发明一个实施例的用于从图像中分割出对象 的方法。 如图7所示，首先，预先将路面行驶的正常车辆的最大车宽设置 为车辆的参考宽度(步骤SIO)。通常情况下，路面行驶的正常车辆 的最大车宽为2.5m，不过在实际应用中，考虑到计算误差可以把最 大车宽设定为2.8m。
接着，从摄像机所拍摄的图像中提取车辆的车底阴影，并且基于 该提取的车底阴影确定该图像中包含车辆的候选区域(步骤S20)。 在本发明中，既可以利用上述特开2003-76987的日本专利文献和申 请号为200610009379.8的中国专利申请所公开的方法来从图像中提 取车辆的车底阴影，也可以使用其它方法来从图像中提取车辆的车底 阴影。
接下来，基于小孔透视成像原理，计算作为参考宽度的最大车宽 在图像中的该提取的车底阴影位置处的成像宽度(步骤S30)。
图8A和8B示出了利用小孔透视成像原理计算最大车宽的成像 宽度的示意图。在图8A中，AB表示最大车宽，0'0表示最大车宽 到摄像机镜头的垂直距离，A'B'表示最大车宽在摄像机的成像装置上 的成像的像素宽度(即成像宽度)，OT表示最大车宽的成像到摄像机 镜头的垂直距离(等于摄像机的焦距/)， 4为摄像机中的径向畸变， 那么基于小孔透视成像原理可以得到以下等式(l:"
<formula>formula see original document page 9</formula>
在图8B中，H表示摄像机到地面的距离，TA'表示真实世界中车 辆下底边的成像到图像消失线的像素距离，^为摄像机中的切向畸 变，O'0和OT与图8A中的O'O和0T相同，那么基于小孔透视成 像原理可以得到下面的等式(2):
<formula>formula see original document page 9</formula>
根据等式(i)和(2)，可以得到等式(3):
在等式(3)中，Ax和Ay是每个摄像机的已知内部参数，H可 以预先测定，以及AB作为最大车宽是已知的，所以根据等式(3)， 通过对TA'取不同的值，就可以得到最大车宽在图像中的不同位置处 的成像宽度A'B'。
然后，判断该提取的车底阴影的宽度是否小于作为参考宽度的最 大车宽在图像中的该提取的车底阴影位置处的成像宽度(步骤S40)。
如果判断结果为该提取的车底阴影的宽度小于作为参考宽度的 最大车宽在图像中的该提取的车底阴影位置处的成像宽度，则进一步 判断在图像中是否能从该提取的车底阴影左右边缘附近找到车辆的 左右垂直边缘(步骤S50)。由于在2006年3月17日提交的申请号 为200610055053.9、发明名称为"基于车辆特征的车辆定位方法和装 置"的中国专利申请和其它的一些科技和专利文献中已经详细描述了 寻找垂直边缘的方法，所以在此省略对其的说明。
如果判断结果为能够找到车辆的左右垂直边缘，或者不能找到车 辆的左右垂直边缘，则根据等式(4)计算Awidth (步骤S60):
△width- (widthmax—widthshadow) /2 (4)
其中，Widthmax表示作为参考宽度的最大车宽在图像中的该提取 的车底阴影位置处的成像宽度，widthshad。w表示该提取的车底阴影的 宽度。
然后，将该确定的候选区域的左右两边分别向外延伸Awidth(步 骤S70)。
如果判断结果为仅能找到车辆的左垂直边缘，则分别基于等式
(5)和(6)来计算Awidt、ft和Awidthright (步骤S80): △widthleft = widthmax X 0.05 (5) △ widthright = widthmax—widthshadow (6)
然后，将该确定的候选区域的左右两边分别向外延伸Awidth,eft
和Awidthright (步骤S90)。
如果判断结果为仅能找到车辆的右垂直边缘，则分别基于等式 (7)和(8)来计算Awidth,eft和Awidthright (步骤S100): △ widthleft = widthmax — widthshadow (7)
△widthright = widthmax X 0.05 (8)
然后，将该确定的候选的左右两边分别向外延伸Awidth,eft和厶
widthdght (步骤SllO)。
最后，将该经过如此延伸的候选区域从图像中分割出作为包含完 整车辆的区域，如图9和10所示(步骤S120)。
如果判断结果为该提取的车底阴影的宽度大于作为参考宽度的 最大车宽在图像中的该提取的车底阴影位置处的成像宽度，则进一步 判断该提取的车底阴影的宽度与作为参考宽度的最大车宽在图像中 的该提取的车底阴影位置处的成像宽度的比值是否在1.2-2.5的范围 内(步骤S130)。
车底阴影的宽度大于作为参考宽度的最大车宽是由于两车水平 间距较近两车的车底阴影连在一起造成的，而且现有车辆的最小车宽 为1.5m，因此当两车阴影连在一起时，车底阴影的宽度与作为参考 宽度的最大车宽的比值一般在1.2-2.5的范围之内。
当判断结果为该比值在1.2-2.5的范围内时，将该确定的候选区 域中从该提取的底部阴影左边起向右宽度等于该参考宽度的成像宽 度的区域分割出作为完整包含一个车辆的区域，以及，将该确定的候 选区域中从该提取的底部阴影右边起向左宽度等于该参考宽度的成 像宽度的区域分割出作为完整包含另一个车辆的区域，如图11所示 (步骤S140)。
上述就是本发明一个实施例的用于从图像中分割出对象的方法。 从上面的描述可以看出，在车辆的车底阴影的宽度小于参考宽度的相 应成像宽度的情况下，基于参考宽度的成像宽度来延伸候选区域的各 个边，因此，根据该延伸后的候选区域从图像中分割出来的区域己经
包括完整的车辆，从而识别系统基于该分割的区域能够正确识别出其 中所包含的车辆；而在车辆的车底阴影的宽度大于参考宽度的相应成 像宽度并且两者的比值位于预定范围内的情况下，分别从车辆的车底 阴影的两边向内分割出两个宽度与参考宽度的成像宽度相等的区域， 因此，这两个区域中的每一个仅完整地包含一个车辆，从而识别系统 基于该分割的区域能够正确识别出每个区域所包含的车辆。
其它变型
虽然在上述实施例中将路面行驶的正常车辆的最大车宽设置为 车辆的参考宽度，但是本发明并不局限于此。在本发明中，该参考宽 度可以根据需要设置为其它合适的宽度。
虽然在上述实施例中，首先在步骤20中从摄像机所拍摄的图像 中提取车辆的车底阴影并确定候选区域，然后在步骤30中基于小孔 透视成像原理直接计算最大车宽在图像中的该提取的车底阴影位置 处的成像宽度，但是本发明并不局限于此。在本发明中，可以首先基 于小孔透视成像原理预先计算最大车宽在摄像机所拍摄的图像中的 不同位置处的成像宽度，然后从图像中提取车辆的车底阴影并确定候 选区域，接着从所预先计算的最大车宽在图像中的不同位置处的成像 宽度中，检索出最大车宽在图像中的该提取的车底阴影位置处的成像 宽度。
虽然在上述实施例和变型中基于小孔透视成像原理计算参考宽 度在由摄像机拍摄的图像中的不同位置处的成像宽度，但是本发明并 不局限于此。在本发明中，可以基于其它合适的方法来计算参考宽度 在由摄像机拍摄的图像中的不同位置处的成像宽度。
虽然在上述实施例中以车辆为例说明了本发明，但是本发明并不 局限于此。本发明可以应用在用于识别诸如行人这样的对象的识别系 统中。
本发明的用于从图像中分割出对象的方法可以利用软件、硬件或 软硬件结合的方式来实现。
图12示出了本发明的利用软件、硬件或软硬件结合的方式实现
的用于从图像中分割出对象的装置。在图12中，仅示出了与本发明 相关的部件。
如图12所示，用于从图像中分割出对象的装置IO包括设置单 元12，用于预先设定一个用于所述对象的参考宽度；提取和确定单 元14，用于从所述图像中提取所述对象的底部阴影，并且基于所述 提取的底部阴影确定所述图像中包含所述对象的候选区域；获得单元 16，用于获得所述参考宽度在所述图像中的所述提取的底部阴影位置 处的成像宽度；以及，调整和分割单元18，用于根据所述参考宽度 的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区 域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后 的候选区域作为包含所述对象的区域。
本领域的技术人员应当理解，本发明所公开的用于从图像中分割 出对象的方法及装置，还可以在不脱离本发明内容的基础上做出各种 改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。
权利要求
1、一种用于从图像中分割出对象的方法，包括步骤(A)预先设定一个用于所述对象的参考宽度；(B)从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；(C)获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及(D)根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。
2、 如权利要求1所述的方法，其中，所述步骤(D)进一步包括(Dl )判断所述提取的底部阴影的宽度是否小于所述参考宽度 在所述图像中的所述提取的底部阴影位置处的成像宽度；(D2)如果所述判断结果是肯定的，则基于所述提取的底部阴 影的宽度与所述参考宽度在所述图像中的所述提取的底部阴影位置 处的成像宽度的差值，来延伸所述确定的候选区域；以及(D3)从所述图像中分割出所述延伸后的候选区域作为包含所 述对象的区域。
3、 如权利要求2所述的方法，其中，所述步骤(D2)进一步包括判断在所述图像中是否能够在所述提取的底部阴影的左右边缘 附近找到所述对象的左右垂直边缘；如果所述判断结果为能找到或者不能找到所述对象的左右垂直 边缘，则将所述确定的候选区域左右两边分别向外延伸所述提取的底 部阴影的宽度与所述参考宽度的成像宽度的差值的二分之一。
4、 如权利要求3所述的方法，其中，还包括步骤 如果所述判断结果为仅能找到所述对象的右垂直边缘，则将所述确定的候选区域左边向外延伸所述提取的底部阴影的宽度与所述参 考宽度的成像宽度的差值。
5、 如权利要求4所述的方法，其中，还包括步骤 在将左边向外延伸的同时，还将所述确定的候选区域右边向外延伸预定长度。
6、 如权利要求3所述的方法，其中，还包括步骤 如果所述判断结果为仅能找到所述对象的左垂直边缘，则将所述确定的候选区域右边向外延伸所述提取的底部阴影的宽度与所述参 考宽度的成像宽度的差值。
7、 如权利要求6所述的方法，其中，还包括步骤 在将右边向外延伸的同时，还将所述确定的候选区域左边向外延伸预定长度。
8、 如权利要求2所述的方法，其中，还包括步骤 如果所述判断结果是否定的，则判断所述提取的底部阴影的宽度与所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度的比值是否处于预定范围之内；如果所述比值在所述预定范围之内，则将所述确定的候选区域中 从所述提取的底部阴影左边起向右宽度等于所述参考宽度在所述图 像中的所述提取的底部阴影位置处的成像宽度的区域分割作为基本 上完整包含一个所述对象的区域，以及，将所述确定的候选区域中从 所述提取的底部阴影右边起向左宽度等于所述参考宽度在所述图像 中的所述提取的底部阴影位置处的成像宽度的区域分割作为基本上 完整包含另一个所述对象的区域。
9、 如权利要求8所述的方法，其中，所述预定范围是1.2至2.5。
10、 如权利要求l所述的方法，其中，所述步骤(C)进一步包括计算所述参考宽度在所述图像中的所述对象的底部阴影位置处 的成像宽度。
11、 如权利要求l所述的方法，其中，所述步骤(C)进一歩包括预先计算所述参考宽度在所述图像中的各个位置处的成像宽度；以及从所述预先计算的成像宽度中，检索出所述参考宽度在所述图像 中的所述对象的底部阴影位置处的成像宽度。
12、 如权利要求1至11的任意一个所述的方法，其中，所述参考宽度等于所述对象的最大宽度。
13、 如权利要求1至11的任意一个所述的方法，其中，所述对 象包括车辆。
14、 如权利要求10或11所述的方法，其中，进一步包括-基于小孔透视成像原理来计算所述参考宽度在所述图像中的成像宽度。
15、 一种用于从图像中分割出对象的装置，包括设置单元，用于预先设定一个用于所述对象的参考宽度； 提取和确定单元，用于从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；获得单元，用于获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及调整和分割单元，用于根据所述参考宽度的成像宽度来调整所述 确定的候选区域以使得所述调整后的候选区域包含基本上完整的所 述对象，并从所述图像中分割出所述调整后的候选区域作为包含所述 对象的区域。
全文摘要
本发明涉及一种用于从图像中分割出对象的方法及装置，该方法包括步骤(A)预先设定一个用于所述对象的参考宽度；(B)从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；(C)获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及，(D)根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。利用该方法及装置，能够从图像中分割出包含完整对象的区域，从而系统能够正确识别出该分割的区域中所包含的车辆。
文档编号G06K9/34GK101187982SQ20061014945
公开日2008年5月28日 申请日期2006年11月17日 优先权日2006年11月17日
发明者傅鹏宇, 苏上海, 淮 袁 申请人:沈阳东软软件股份有限公司;阿尔派株式会社