一种基于车牌尺寸计算的车距检测方法与流程

文档序号:15159047发布日期:2018-08-14 09:15阅读:302来源:国知局

本申请涉及图像处理技术领域,尤其涉及一种基于车牌尺寸计算的车距检测方法。



背景技术:

道路交通事故给人民生命财产和国民经济带来了巨大损失,而交通事故主要是由于车辆间没有保持安全距离造成的。由此可见,及时检测当前车辆与前方车辆之间的距离并做出预警作为高级驾驶辅助系统中的一部分具有非常重要的意义。

在机器视觉进行车辆检测与跟踪方面,主要分为两类:一类是基于立体视觉,一类是基于单目视觉。基于立体视觉的检测方法采用对极几何规则测量两个目标之间的距离,由于复杂的特征匹配,该方法需要很大的存储空间,比较长的计算时间,而且对外界噪声和光线比较敏感;基于单目视觉的检测方法仅需要一个摄像头,不需要考虑特征匹配问题,因此,该方法具有成本低,实时性好等优点,适用于车辆安全辅助驾驶领域。在目前的基于单目视觉的车距测量研究中,大多利用前方车辆的特征先检测出车辆,再根据相关的测距算法来计算车距。车辆的特征主要有底部阴影、尾灯、纹理、边缘、宽高比、对称性、矩形度等,其中底部阴影是检测车辆使用最多的特征。由于车辆的形状各异、布局差异、车辆行驶环境复杂性,上述特征无法精确的获取相关数据。而车辆的车牌由于相关法律法规的约定,车辆行驶过程中一方面要充分保证车牌的可见性,另一方面车牌的形状、大小、色彩、字体具有严格的规定,因此可根据拍摄到的含有前车的图像,利用车牌的特征进行高精度的两车之间的车距计算和测量。

在现有的基于车牌图像进行测距的技术方案中,都是分别对每一帧的图像进行处理,需要完成的计算量大,对硬件的要求高,车距计算的实时性较差,使得驾驶员或车辆的控制器难以实时获取车距信息并采取相应的措施。



技术实现要素:

针对现有技术存在的上述不足,本申请要解决的技术问题是:如何降低基于车牌进行测距的计算量,提高车距计算的实时性。

为解决上述技术问题,本申请采用了如下的技术方案:

一种基于车牌尺寸计算的车距检测方法,包括如下步骤:

步骤a:采集被测车辆的当前帧图像,执行步骤b;

步骤b:对所述当前帧图像进行预处理,执行步骤c;

步骤c:对预处理后的当前帧图像进行边缘检测,生成彩色边缘图像,执行步骤d;

步骤d:基于所述彩色边缘图像定位所述被测车辆的车牌位置并获车牌尺寸,若当前帧图像为车距检测过程中的第一帧图像,执行步骤e,否则,执行步骤f;

步骤e:基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息,返回步骤a获取下一帧的图像;

步骤f:采用帧间差分法计算所述当前帧图像及其前一帧的图像中所述被测车辆的车牌位置及车牌尺寸的帧间变化值,若所述帧间变化值大于预设变化值,则基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息并返回步骤a获取下一帧的图像,否则直接返回步骤a获取下一帧的图像。

优选地,步骤b包括利用深度持续记忆网络进行图像预处理,其中:

所述深度持续记忆网络使用特征提取网络fenet从输入图像中提取图像特征b0,b0=fext(x);

其中fext表示特征提取函数,b0是提取的要发送到第一级存储器块的特征,bm是提取的要发送到第m级存储器块的特征;

设置m个存储块堆叠成密集连接的结构作为特征映射,

bm=mm(mm-1(…(m1(b0))))

再利用reconnet中的卷积层重构残差图像,以训练得到深度持续记忆网络;

所述深度持续记忆网络具体表示如下:

y=d(x)=frec(mm(mm-1(…(m1(fext(x)))…))+x

其中,x为所述深度持续记忆网络的输入,即需要被预处理的当前帧图像,y为经过所述深度持续记忆网络进行预处理后的输出图像,即预处理后的当前帧图像,frec表示重构函数,fext表示特征提取函数,m表示存储块的个数,m表示存储块的级数,m和m均为正整数,mm、mm-1、……、m1分别表示m、m-1、……、1级的存储块的个数,d表示基本深度持续记忆网络函数。

优选地,步骤c包括采用卷积神经网络模型对预处理后的当前帧图像进行边缘检测,生成彩色边缘图像,其中:

标准细胞神经网络模型的状态方程为:

标准细胞神经网络模型的输出方程为:

其中,为xi,j的一阶导数,xi,j为细胞的状态,ui,j为输入p×q的彩色图像在(i,j)坐标处的像素值,yi,j为细胞的输出,即经过细胞神经网络模型后输出的图像在(i,j)坐标处的像素值,z为阈值,a、b为最初的卷积神经网络模型,a为第一卷积神经网络模型参数、bk,l为第二卷积神经网络模型参数(k=-1,0,1;l=-1,0,1)、z为第三卷积神经网络模型参数,其中,k等于-1或0或1,l等于-1或0或1;

采用自适应检测算法,具体步骤如下:

a)为了较好地对彩色图像进行边缘检测,首先将经步骤b处理所得的p×q的彩色图像转换到hsv颜色空间,再将其分成大小为p×q的若干子区域,p×q为预处理后的当前帧图像的大小;

b)计算图像各子区域的单元信息熵;

c)计算图像各子区域的单元信息熵的最大值、最小值和平均值,在最大值和平均值之间进行三等分,靠近最大值的三分之二的区域属于边缘区,剩余三分之一属于复合区,在平均值和最小值之间进行三等分,靠近平均值的三分之一的区域属于复合区,剩余三分之二属于平滑区,从而实现用熵值动态地判断各子区域的性质;

d)根据各子区域的性质,设置各子区域的g值,平滑区取g=0.2,复合区取g=0.15,边缘区取g=0.1;

e)基于各子区域的g值设置p×q的矩阵g,将其代入最初的卷积神经网络模型中,得到新的卷积神经网络模型。

优选地,步骤d包括:

基于车牌区域的边缘特征对所述彩色边缘图像进行车牌初定位,车牌初定位可定位若干个第一待定车牌;

判断第一待定车牌的字符密度是否在预设密度范围内,若是,则将所述第一待定车牌记为第二待定车牌,若不是,则认为所述第一待定车牌为伪车牌并将其排除;

利用形态学运算去除第二待定车牌的图像孤立的背景噪声,然后对形态学处理后的第二待定车牌的图像进行连通标记处理,如果得到的连通区域只有1个,则直接认为第二待定车牌的图像为车牌区域,进行下一步骤;若得到2个及以上连通区域,则判断所述第二待定车牌的宽高比是否符合我国标准车牌的宽高比,若是,则判断所述第二待定车牌为真实车牌,若不是,则判断所述第二待定车牌为伪车牌;

获取真实车牌的车牌位置及车牌尺寸。

优选地,步骤f包括:

获取所述当前帧图像中车牌的预设区域的一个预设大小的像素块,并与前一帧图像中与所述像素块相同位置的像素块进行比较,计算所述帧间像素块对应位置的像素值变化方差,若所述帧间变化方差值大于预设值,则认为被测车辆与本车的车距发生了变化,则基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息并返回步骤a获取下一帧的图像,否则,认为被测车辆与本车的车距未发生变化,延用上一次测得距离并直接返回步骤a获取下一帧的图像。

优选地,基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息的方法包括:

通过预设数量的视频数据,拟合实际道路情况中车牌尺寸与距离之间的关系;

利用车牌尺寸与距离之间的关系计算所述被测车辆的车牌尺寸所对应的车距信息。

优选地,本方法还包括:

实时显示所述被测车辆的车距信息。

优选地,本方法还包括:

判断所述被测车辆的车距是否小于或等于报警阈值,若是,则进行报警。

优选地,所述当前帧图像中车牌的预设区域包括所述当前帧图像中车牌的中心区域。

综上所述,本发明公开了一种基于车牌尺寸计算的车距检测方法,包括如下步骤:步骤a:采集被测车辆的当前帧图像,执行步骤b;步骤b:对所述当前帧图像进行预处理,执行步骤c;步骤c:对预处理后的当前帧图像进行边缘检测,生成彩色边缘图像,执行步骤d;步骤d:基于所述彩色边缘图像定位所述被测车辆的车牌位置并获车牌尺寸,若当前帧图像为车距检测过程中的第一帧图像,执行步骤e,否则,执行步骤f;步骤e:基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息,返回步骤a获取下一帧的图像;步骤f:采用帧间差分法计算所述当前帧图像及其前一帧的图像中所述被测车辆的车牌位置及车牌尺寸的帧间变化值,若所述帧间变化值大于预设变化值,则基于所述当前帧图像中的所述被测车辆的车牌尺寸计算所述被测车辆的车距信息并返回步骤a获取下一帧的图像,否则直接返回步骤a获取下一帧的图像。本发明采用帧间差分法,极大地减少了车距检测过程中的计算量,有效的提高了车距检测的实时性,使得驾驶员或车辆的控制器能够实时获取车距信息并采取相应的措施,提高了车辆行驶的安全性。

附图说明

为了使申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步的详细描述,其中:

图1为本发明公开的一种基于车牌尺寸计算的车距检测方法的流程图;

图2为本发明公开的一种基于车牌尺寸计算的车距检测方法中,第二卷积神经网络模型参数的取值示意图。

具体实施方式

下面结合附图对本申请作进一步的详细说明。

如图1所示,本发明公开了一种基于车牌尺寸计算的车距检测方法,包括如下步骤:

s101:采集被测车辆的当前帧图像,执行s102;

s102:对当前帧图像进行预处理,执行s103;

s103:对预处理后的当前帧图像进行边缘检测,生成彩色边缘图像,执行s104;

s104:基于彩色边缘图像定位被测车辆的车牌位置并获车牌尺寸,若当前帧图像为车距检测过程中的第一帧图像,执行s105,否则,执行s106;

s105:基于当前帧图像中的被测车辆的车牌尺寸计算被测车辆的车距信息,返回s101获取下一帧的图像;

s106:采用帧间差分法计算当前帧图像及其前一帧的图像中被测车辆的车牌位置及车牌尺寸的帧间变化值,若帧间变化值大于预设变化值,则基于当前帧图像中的被测车辆的车牌尺寸计算被测车辆的车距信息并返回s101获取下一帧的图像,否则直接返回s101获取下一帧的图像。

与现有技术相比,本发明不需要对每一帧的图像均进行测距,只需要在相邻两帧的图像中的车牌的位置或大小发生了明显变化时,即判断被测车辆与本车的车距发生了明显变化时才进行测距,这样极大的降低了测距过程中的计算量,有效的提高了车距检测的实时性,使得驾驶员或车辆的控制器能够实时获取车距信息并采取相应的措施,提高了车辆行驶的安全性。

具体实施时,s102包括利用深度持续记忆网络进行图像预处理,其中:

深度持续记忆网络使用特征提取网络fenet从输入图像中提取图像特征b0,b0=fext(x);

其中fext表示特征提取函数,b0是提取的要发送到第一级存储器块的特征,bm是提取的要发送到第m级存储器块的特征;

设置m个存储块堆叠成密集连接的结构作为特征映射,

bm=mm(mm-1(…(m1(b0))))

再利用reconnet中的卷积层重构残差图像,以训练得到深度持续记忆网络;

深度持续记忆网络具体表示如下:

y=d(x)=frec(mm(mm-1(…(m1(fext(x)))…))+x

其中,x为深度持续记忆网络的输入,即需要被预处理的当前帧图像,y为经过深度持续记忆网络进行预处理后的输出图像,即预处理后的当前帧图像,frec表示重构函数,fext表示特征提取函数,m表示存储块的个数,m表示存储块的级数,m和m均为正整数,mm、mm-1、……、m1分别表示m、m-1、……、1级的存储块的个数,d表示基本深度持续记忆网络函数。

深度持续记忆网络通过内存块来完成门控机制,以帮助消除长期的依赖关系从而达到解决深度模型难以实现长期依赖的问题,再构建一个深入的端到端永久存储器网络用于图像恢复。利用深度持续记忆网络可以对输入的低质量图像进行有效滤波,滤除环境噪声以及恢复得到高质量的输出图像,能够有效消除复杂环境对车牌定位精度的影响,减少后续图像处理量。

具体实施时,s103步骤c包括采用卷积神经网络模型对预处理后的当前帧图像进行边缘检测,生成彩色边缘图像,其中:

标准细胞神经网络模型的状态方程为:

标准细胞神经网络模型的输出方程为:

其中,为xi,j的一阶导数,xi,j为细胞的状态,ui,j为输入p×q的彩色图像在(i,j)坐标处的像素值,yi,j为细胞的输出,即经过细胞神经网络模型后输出的图像在(i,j)坐标处的像素值,z为阈值,a、b为最初的卷积神经网络模型,a为第一卷积神经网络模型参数、bk,l为第二卷积神经网络模型参数(k=-1,0,1;l=-1,0,1)、z为第三卷积神经网络模型参数,其中,如图2所示,bk,l为非线性函数bk,l(δu),k等于-1或0或1,l等于-1或0或1,c为一个常数,△u是像素变化幅度,是随细胞神经网络的输出或状态而变化的,设置不同的模型参数值可以实现不同的图像处理效果;

其中z,c满足如下关系式:

采用自适应检测算法,具体步骤如下:

a)为了较好地对彩色图像进行边缘检测,首先将经步骤b处理所得的p×q的彩色图像转换到hsv颜色空间,再将其分成大小为p×q的若干子区域,p×q为预处理后的当前帧图像的大小;

b)计算图像各子区域的单元信息熵;

c)计算图像各子区域的单元信息熵的最大值、最小值和平均值,在最大值和平均值之间进行三等分,靠近最大值的三分之二的区域属于边缘区,剩余三分之一属于复合区,在平均值和最小值之间进行三等分,靠近平均值的三分之一的区域属于复合区,剩余三分之二属于平滑区,从而实现用熵值动态地判断各子区域的性质;

d)根据各子区域的性质,设置各子区域的g值,平滑区取g=0.2,复合区取g=0.15,边缘区取g=0.1;

e)基于各子区域的g值设置p×q的矩阵g,将其代入最初的卷积神经网络模型中,得到新的卷积神经网络模型。

具体实施时,s104包括:

基于车牌区域的边缘特征对彩色边缘图像进行车牌初定位,车牌初定位可定位若干个第一待定车牌;

判断第一待定车牌的字符密度是否在预设密度范围内,若是,则将第一待定车牌记为第二待定车牌,若不是,则认为第一待定车牌为伪车牌并将其排除;

利用形态学运算去除第二待定车牌的图像孤立的背景噪声,然后对形态学处理后的第二待定车牌的图像进行连通标记处理,如果得到的连通区域只有1个,则直接认为第二待定车牌的图像为车牌区域,进行下一步骤;若得到2个及以上连通区域,则判断第二待定车牌的宽高比是否符合我国标准车牌的宽高比,若是,则判断第二待定车牌为真实车牌,若不是,则判断第二待定车牌为伪车牌;

获取真实车牌的车牌位置及车牌尺寸。

首先基于车牌上的字符密度进行初筛,根据第一待定车牌上的字符的数量及密度可以排除密度过大或过小的伪车牌,因为根据字符密度进行判断,计算量小,可以提高车牌识别的效率,之后再采用连通标记处理进行第二次筛查,采用连通标记处理无法判断的再采用我国标准车牌的宽高比进行判断,通过三次判断可以精确的识别出图像中的车牌,提高了车牌识别的精准度。

具体实施时,s106包括:

获取当前帧图像中车牌的预设区域的一个预设大小的像素块,并与前一帧图像中与像素块相同位置的像素块进行比较,计算帧间像素块对应位置的像素值变化方差,若帧间变化方差值大于预设值,则认为被测车辆与本车的车距发生了变化,则基于当前帧图像中的被测车辆的车牌尺寸计算被测车辆的车距信息并返回s101获取下一帧的图像,否则,认为被测车辆与本车的车距未发生变化,延用上一次测得距离并直接返回s101获取下一帧的图像。

本申请只采用车牌中的一部分区域来判断车距是否发生改变,与采用整个车牌来进行判断相比,计算量更小,效率更高。具体实施时,当前帧图像中车牌的预设区域包括当前帧图像中车牌的中心区域。因为车牌的中心不会出现空白,因此采用车牌的中心区域作为车距检测的基准,期判断的精度更高,且需要截取的区域的面积更小,进一步的减少了计算量。

具体实施时,基于当前帧图像中的被测车辆的车牌尺寸计算被测车辆的车距信息的方法包括:

通过预设数量的视频数据,拟合实际道路情况中车牌尺寸与距离之间的关系;

利用车牌尺寸与距离之间的关系计算被测车辆的车牌尺寸所对应的车距信息。

具体实施时,本方法还包括:

实时显示被测车辆的车距信息。

具体实施时,本方法还包括:

判断被测车辆的车距是否小于或等于报警阈值,若是,则进行报警。

本发明还可实时显示车距,便于驾驶员根据车距信息进行驾驶操作,还可以自动根据车距的大小进行报警或实现自动停车,进一步提高驾驶的安全性。

最后说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管通过参照本申请的优选实施例已经对本申请进行了描述,但本领域的普通技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本申请的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1