一种基于单目视觉的夜间前方车辆检测方法与流程

文档序号:11134681阅读:来源:国知局

技术特征:

1.一种基于单目视觉的夜间前方车辆检测方法,其特征在于,包括以下步骤:

步骤1,采集图像,基于CenSurE算子对夜间前方车辆进行车灯检测,得到强角点;

步骤2,基于车灯颜色信息进行夜间前方车辆的分割,得到分割区域;

步骤3,选择步骤2的分割区域中占有步骤1的强角点最多的区域,得到检测区域;

步骤4,对步骤3中的检测区域进行车灯配对,确定目标车辆的位置。

2.根据权利要求1所述的一种基于单目视觉的夜间前方车辆检测方法,其特征在于,所述的步骤1的操作步骤具体为:

步骤1.1,拍照采集图像,根据采集图像计算对应的积分图的值,积分图中任一点I(x,y)的值均为原图像中对应位置左上角区域所有值的总和,如式(1),

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <munder> <mo>&Sigma;</mo> <mrow> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>&le;</mo> <mi>x</mi> </mrow> </munder> <mrow> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>&le;</mo> <mi>y</mi> </mrow> </munder> <mi>i</mi> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>)</mo> </mrow> <mo>;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

步骤1.2,构造CenSurE滤波器对积分图进行对数尺度采样,

将任一点I(x,y)的值表示的尺度空间分成三组,其中,第一组中每层的CenSurE滤波器内核大小依次增加2,第二组中每层的CenSurE滤波器内核大小依次增加4,第三组中每层的CenSurE滤波器内核大小依次增加8,每一组中均选择5层尺度图像,CenSurE滤波器外核大小也按照上述方式进行计算;

即CenSurE滤波器的内核尺寸应满足(2n+1)×(2n+1),外核尺寸应满足(4n+1)×(4n+1),为了使滤波器的DC响应为零,对尺度空间归一化,则内核的权重系数In应满足式(2),

<mrow> <msub> <mi>I</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mfrac> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mo>(</mo> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <mo>,</mo> <mi>n</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3...</mn> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

外核的权重系数On应满足式(3)

<mrow> <msub> <mi>O</mi> <mi>n</mi> </msub> <mo>=</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mfrac> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mrow> <mo>(</mo> <mn>4</mn> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <mo>,</mo> <mi>n</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3...</mn> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

当外核包含的像素值总和为out_value,内核包含的像素值总和为in_value,则像素滤波响应值L满足式(4),

L=On·out_value-In·in_value, (4)

步骤1.3,对步骤1.2中的尺度空间进行极值检测,

将经过步骤1.2处理的图像,按照式(4)计算图像中每个尺度空间的像素滤波响应值,然后在尺度空间上进行非极大值抑制,并记录极值点;

步骤1.4,对步骤1.3中的极值点进行滤除不稳定特征点,

Lx和Ly为像素滤波响应值L在x和y方向的偏导,对Lx、Ly、LxLy进行高斯滤波,获得Harris矩阵特征值,如果较小的特征值大于自适应阈值t,则得到强角点。

3.根据权利要求1所述的一种基于单目视觉的夜间前方车辆检测方法,其特征在于,所述的步骤2的操作步骤具体为,将步骤1采集的图像由RGB空间转换到HSV颜色空间,使用红色阈值分割出的所有区域,使用白色阈值分割出的所有区域中位于左侧1/3的区域,共同作为HSV颜色空间分割的结果,

H表示色调,其中红色阈值的H≥340°或H≤30°,白色阈值的H为0°~360°;S表示饱和度,红色阈值的S≤30,白色阈值的S≤20;V表示色彩的明度,红色阈值和白色阈值均取80≤V≤100。

4.根据权利要求1所述的一种基于单目视觉的夜间前方车辆检测方法,其特征在于,所述的步骤4的车灯配对的操作步骤具体为,假设Li、Lj为两候选车灯,面积分别为Ai、Aj,车灯中心的图像坐标为(xi,yi)、(xj,yj),配对约束条件如下:

a.当两候选车灯高度一致,既两车灯纵坐标应满足式(5)

|yi-yj|<Δh, (5)

b.当两候选车灯水平方向距离在一定范围内,应满足式(6)

Δw1<|xi-xj|<Δw2, (6)

c.当两候选车灯面积一致,应满足式(7)

|Ai-Aj|<ΔA, (7)

式(5)中Δh为高度差阈值,式(6)中Δw1和Δw2为水平差阈值,式(7)中ΔA为面积差阈值,满足配对约束条件,配对完成后得到车灯对应的外接矩形框应满足宽高比在一定范围内,满足式(8),

<mrow> <mfrac> <mrow> <msub> <mi>x</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> </msub> </mrow> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>y</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>min</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>t</mi> <mi>o</mi> <mi>p</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>y</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>t</mi> <mi>o</mi> <mi>p</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&le;</mo> <mi>&Delta;</mi> <mi>r</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

其中,xi,left、xj,right分别为区域的最左边和最右边坐标,yi,top、yj,bottom为区域的最上边和最下边坐标,Δration为框的宽高比阈值。

5.根据权利要求2所述的一种基于单目视觉的夜间前方车辆检测方法,其特征在于,步骤1.3中的非极大值抑制的具体步骤为:尺度空间中的每个点与其26个相邻点,其中26个相邻点包括位于中间的检测点和其同尺度的8个相邻点,以及上下相邻尺度对应的9×2个点进行比较,然后记录极值点。

6.根据权利要求2所述的一种基于单目视觉的夜间前方车辆检测方法,其特征在于,所述的步骤1.4中的自适应阈值使用多级Otsu方法获取,其具体步骤为:

在灰度直方图中,设fi为灰度级为i的像素点个数,N为像素点总数,则N满足式(9)

N=f0+f1+…+fl-1, (9)

其中l为直方图个数,l=1,2,3,4……,

则灰度级为i的像素点个数fi的分布概率Pi为式(10),

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4......</mn> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

使用k个阈值T={t1,…,tn,…,tk},将图像分为k+1个类别,类间方差VBC(T)为式(11)

<mrow> <msub> <mi>V</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>w</mi> <mi>n</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>&mu;</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> <mrow> <mo>(</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3...</mn> <mo>,</mo> <mi>n</mi> <mo>,</mo> <mn>...</mn> <mo>;</mo> <mn>1</mn> <mo>&le;</mo> <mi>n</mi> <mo>&le;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

其中,式(11)μn为k=n时的灰度均值,μT为总体的灰度均值,wn和μn的值如式(12),

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>w</mi> <mi>n</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <msub> <mi>t</mi> <mi>n</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&mu;</mi> <mi>n</mi> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <msub> <mi>t</mi> <mi>n</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>n</mi> </msub> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

类内方差vWC(T)为式(13)

<mrow> <msub> <mi>v</mi> <mrow> <mi>W</mi> <mi>C</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>w</mi> <mi>n</mi> </msub> <msup> <msub> <mi>&sigma;</mi> <mi>n</mi> </msub> <mn>2</mn> </msup> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>

其中,式(13)中σn为k=n时的灰度方差,wn和σn的值如式(14)

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>w</mi> <mi>n</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <msub> <mi>t</mi> <mi>n</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>&sigma;</mi> <mi>n</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <msub> <mi>t</mi> <mi>n</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <msub> <mi>&mu;</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msub> <mi>w</mi> <mi>n</mi> </msub> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

将式(9)~式(14)联合,得出图像的总方差vT和图像的总均值μT,为式(15)

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>v</mi> <mi>T</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <msub> <mi>&mu;</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&mu;</mi> <mi>T</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>iP</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>

定义图像的分割因子SF为式(16),

<mrow> <mi>S</mi> <mi>F</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </mrow> <msub> <mi>v</mi> <mi>T</mi> </msub> </mfrac> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </mrow> <msub> <mi>v</mi> <mi>T</mi> </msub> </mfrac> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>

当SF>0.9时,停止分类,取此时的tk为自适应阈值。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1