一种车辆候选区域推荐方法及系统、电子设备与流程

本发明涉及图像处理的技术领域，特别是涉及一种车辆候选区域推荐方法及系统、电子设备。

背景技术：

车辆检测技术是智能交通系统的重要组成部分。交通智能化管理需要通过车辆检测技术采集客观、有效的道路交通信息，获得交通流量、车速、道路占有率、车间距、车辆类型等基础数据，从而有目的地实现监测、控制、分析、决策、调度和疏导等智能化手段。

具体地，车辆检测技术是指利用图像传感手段对图像中的车辆进行搜寻和判定，以获得图像中车辆的多种属性(如位置、速度、形状、外观)的过程。它是汽车主动安全领域，尤其是实现追尾预警以及自动紧急刹车功能的关键技术之一。目前车辆检测技术广泛应用于智能交通系统和高级驾驶辅助系统(advanceddriverassistantsystems，adas)。在城市的智能化的交通系统中，很多交通卡口都安装有视频传感器，每天都会产生成千上万的视频数据。而城市交通中交通密度大，交通拥堵严重，各道路使用者呈现多样性，从城市交通复杂的背景中检测获取车辆，对城市交通和城市公共安全至关重要。在高级驾驶辅助系统中，车辆检测技术主要用于前方碰撞预警系统(forwardcollisionwarning，fcw)中，通过车辆检测技术，判断本车与前车之间的距离、方位及相对速度，并在存在潜在碰撞危险时对驾驶者进行警告。

目前，主流的车辆检测方法都是采用先筛选候选区域，再使用机器学习手段或深度学习手段进行进一步精确确认的方法，以得到车辆在图像中的位置信息。通常，筛选候选区域采用候选区域推荐的方法。因此，候选区域推荐的方法定位越准确，对分类器帮助会越大。因为定位越准确，分类器返回的分数会越高，从而可以在一定程度上抑制虚警。

现有技术中，候选区域推荐的方法大致可以分为以下两类：

(1)groupingmethod

具体地，先将图片打碎，然后再聚合的一种方法。例如selectivesearch算法。

(2)windowscoringmethod。

具体地，生成大量window并打分，然后过滤掉低分的一种方法。例如objectness算法。

(3)介乎上述两种算法之间的方法，例如multibox。

但是，现有的候选区域推荐方法对天气情况、路况和背景环境的要求都比较高，很难获取精确定位，且对不同类型的车辆很难统一适用，容易出现虚警。因此，如何能够更加精确地定位车辆候选区域成为了本领域技术人员所亟待解决的问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车辆候选区域推荐方法及系统、电子设备，通过对输入图像进行基于显著性分析的预处理，得到筛选后的含有目标车辆的候选区域；再对含有目标车辆的候选目标区域进行基于梯度的边界合并，得到候选的推荐区域，从而实现车辆候选区域的精确定位。

为实现上述目的及其他相关目的，本发明提供一种车辆候选区域推荐方法，包括以下步骤：基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像；对所述目标图像进行二值化处理，得到二值化图像；对所述二值化图像进行基于梯度的边界合并，得到所推荐的车辆候选区域。

于本发明一实施例中，所述输入图像为经过采样处理的y通道图像信息。

于本发明一实施例中，所述基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像包括以下步骤：

遍历所述输入图像，获取所述输入图像中各个像素的像素值；

计算每个像素点到其他各个像素点的距离之和，并记录最大距离之和和最小距离之和；

计算所述最大距离之和和所述最小距离之和的差值，并依据所述差值对各个像素点对应的距离之和进行归一化处理；

将所述输入图像进行归一化处理，得到拉伸图像；所述输入图像归一化处理后各个像素点的像素值的变化范围与各个距离之和归一化处理后的变化范围相同；

基于所述拉伸图像中各个像素点的像素值和距离之和，计算各像素点的显著性特征值，得到显著性分析图像；

将所述显著性分析图像减去所述拉伸图像，得到目标图像。

于本发明一实施例中，通过以下步骤对所述目标图像进行二值化处理：

将所述目标图像上各像素点与水平方向上左侧像素点的像素和减去与水平方向上右侧像素点的像素和，得到第一差值；

将所述目标图像上各像素点与竖直方向上上方两个像素点的像素和减去与竖直方向上下方两个像素点的像素和，得到第二差值；

当所述第一差值和所述第二差值中至少一个大于预设阈值时，将对应像素点的像素值设置为1；否则，将对应像素点的像素值设置为0。

于本发明一实施例中，对所述二值化图像进行基于梯度的边界合并，得到所推荐的车辆候选区域包括以下步骤：

记录所述二值化图像中的每一条水平方向的线段；

将相邻或相间的水平方向的线段合并，直至合并为一条线段；所述合并是指将上方的水平方向的线段向下移动至下方的水平方向的线段，且叠加两条线段的长度；

将合并后得到的线段底边候选线，选取以底边候选线作为底边，底边候选线的长作为边长的正方形区域作为所推荐的车辆候选区域。

同时，本发明提供一种车辆候选区域推荐系统，包括显著性分析模块、二值化模块和边界合并模块；

所述显著性分析模块用于基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像；

所述二值化处理模块用于对所述目标图像进行二值化处理，得到二值化图像；

所述边界合并模块用于对所述二值化图像进行基于梯度的边界合并，得到所推荐的车辆候选区域。

于本发明一实施例中，所述输入图像为经过采样处理的y通道图像信息。

于本发明一实施例中，所述显著性分析模块执行以下操作：

遍历所述输入图像，获取所述输入图像中各个像素的像素值；

计算每个像素点到其他各个像素点的距离之和，并记录最大距离之和和最小距离之和；

计算所述最大距离之和和所述最小距离之和的差值，并依据所述差值对各个像素点对应的距离之和进行归一化处理；

将所述输入图像进行归一化处理，得到拉伸图像；所述输入图像归一化处理后各个像素点的像素值的变化范围与各个距离之和归一化处理后的变化范围相同；

基于所述拉伸图像中各个像素点的像素值和距离之和，计算各像素点的显著性特征值，得到显著性分析图像；

将所述显著性分析图像减去所述拉伸图像，得到目标图像。

于本发明一实施例中，所述二值化处理模块执行以下操作：

将所述目标图像上各像素点与水平方向上左侧像素点的像素和减去与水平方向上右侧像素点的像素和，得到第一差值；

将所述目标图像上各像素点与竖直方向上上方两个像素点的像素和减去与竖直方向上下方两个像素点的像素和，得到第二差值；

当所述第一差值和所述第二差值中至少一个大于预设阈值时，将对应像素点的像素值设置为1；否则，将对应像素点的像素值设置为0。

于本发明一实施例中，所述边界合并模块执行以下操作：

记录所述二值化图像中的每一条水平方向的线段；

将相邻或相间的水平方向的线段合并，直至合并为一条线段；所述合并是指将上方的水平方向的线段向下移动至下方的水平方向的线段，且叠加两条线段的长度；

将合并后得到的线段底边候选线，选取以底边候选线作为底边，底边候选线的长作为边长的正方形区域作为所推荐的车辆候选区域。

另外，本发明还提供一种电子设备，包括上述任一所述的车辆候选区域推荐系统。

如上所述，本发明的车辆候选区域推荐方法及系统、电子设备，具有以下有益效果：

(1)利用显著性分析得到信息相对丰富的目标图像，通过求取水平与竖直方向的不均等的梯度来进行水平与竖直方向上有倾向性地边界增强，进而为后续确定候选底边提供倾向性的边缘素材；

(2)利用增强了边缘的二值化图像进行候选底边筛选，利用落线机制进一步增强了底边候选区域的特征范围，从而能够更加精确地定位车辆候选区域。

附图说明

图1显示为本发明的车辆候选区域推荐方法的流程图；

图2显示为本发明的基于显著性分析对输入图像进行预处理的流程图；

图3显示为本发明的图像二值化处理的流程图；

图4显示为本发明的对二值化目标图像进行基于梯度的边界合并的流程图；

图5显示为本发明的线段合并的示意图；

图6显示为本发明的车辆候选区域推荐系统的结构示意图；

图7显示为本发明的电子设备的结构示意图。

元件标号说明

1显著性分析模块

2二值化模块

3边界合并模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的车辆候选区域推荐方法及系统、电子设备基于显著性分析与梯度边界合并的方法来更加精确地确定图像中的车辆候选区域，以将车辆候选区域送给分类器进行更加精确的判断，从而识别目标车辆图像，提高车辆检测的准确度。

参照图1，本发明的车辆候选区域推荐方法包括以下步骤：

步骤s1、基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像。

在本发明中，输入图像为图像采集设备所采集，采用yuv格式。其中，yuv是被欧洲电视系统所采用的一种颜色编码方法，其中“y”表示明亮度(luminance或luma)，也就是灰阶值；而“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色其。也就是说，y通道图像信息表示图像的亮度信息，u通道图像信息和v通道图像信息表示图像的彩色信息，将y通道图像信息、u通道图像信息和v通道图像信息结合起来，就能够形成彩色图片。在本发明中，输入图像为经过采样处理的y通道图像信息。

如图2所示，基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像包括以下步骤：

步骤s11、遍历输入图像，获取输入图像中各个像素的像素值，并记录最大像素值和最小像素值。

步骤s12、计算每个像素点到其他各个像素点的距离之和，并记录最大距离之和和最小距离之和。

优选地，每个像素点到输入图像中其他各个像素点的距离为欧氏距离，但不限于欧氏距离。欧氏距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

在本发明中，每个像素点到其他各个像素点的距离之和作为衡量该像素点对比度的一种度量。

步骤s13、计算最大距离之和和最小距离之和的差值，并依据该差值对各个像素点对应的距离之和进行归一化处理。

具体地，依据最大距离之和和最小距离之和的差值，将各个像素点对应的距离之和线性映射至0-255的范围内。

依据最大距离之和和最小距离之和的差值对各个像素点对应的距离之和进行归一化处理后，将归一化后得到的数据逐行展开，得到用于表示各像素值效率的数组。也就是说，按照从上到下的顺序，将各行归一化后得到的数据依次拼接起来得到一个大小为256的数组。该数组的索引为0-255。

步骤s14、将输入图像进行归一化处理，得到拉伸图像；输入图像归一化处理后各个像素点的像素值的变化范围与各个距离之和归一化处理后的变化范围相同。

具体地，对输入图像进行归一化处理时，将各个像素点的像素值线性映射至0-255的范围内，从而得到拉伸图像。

步骤s15、基于拉伸图像中各个像素点的像素值和距离之和，计算各像素点的显著性特征值，得到显著性分析图像。

具体地，将拉伸图像中各个像素点的像素值作为用于表示各像素值效率的数组的索引，从用于表示各像素值效率的数组中查找到对应值，作为各像素点的显著性特征值。各像素点的显著性特征值构成了显著性分析图像。

步骤s16、将显著性分析图像减去拉伸图像，得到目标图像。

显著性分析图像和拉伸图像是在相同的值域空间内，且具有映射关系。而且，显著性分析图像对输入图像中的对比度相对强烈的区域进行了增强处理，而拉伸图像是近似均衡的图像。求取显著性分析图像和拉伸图像的差值，则得到目标图像。目标图像剔除了输入图像中相对没有被增强的区域，保留增强了对比度强烈的区域，即增强了对比度强烈的包括车辆图像的区域，剔除了其他的背景区域，从而获得了突出显著性对象，即车辆图像的目标图像。

步骤s2、对目标图像进行二值化处理，得到二值化图像。

为了使得目标图像的对比度更加强烈，对目标图像进行二值化处理。二值化图像呈现出明显的黑白效果，更加便于车辆候选区域的定位。

具体地，如图3所示，通过以下步骤对目标图像进行二值化处理：

步骤s21、将目标图像上各像素点与水平方向上左侧像素点的像素和减去与水平方向上右侧像素点的像素和，得到第一差值。

需要说明的是，当两个像素点的像素和超过255时，则将像素和修正为255。

步骤s22、将目标图像上各像素点与竖直方向上上方两个像素点的像素和减去与竖直方向上下方两个像素点的像素和，得到第二差值。

需要说明的是，当三个像素点的像素和超过255时，则将像素和修正为255。

步骤s23、当第一差值和第二差值中至少一个大于预设阈值时，将对应像素点的像素值设置为1；否则，将对应像素点的像素值设置为0。

至此，便可得到二值化图像。

步骤s3、对二值化图像进行基于梯度的边界合并，得到所推荐的车辆候选区域。

如图4所示，步骤s3包括以下步骤：

步骤s31、记录二值化图像中的每一条水平方向的线段。

具体地，从二值化图像中获取水平方向的线段，并记录二值化图像中的每一条水平方向的线段在竖直方向的行数、以及在水平方向上的起始点和终止点。

步骤s32、将相邻或相间的水平方向的线段合并，直至合并为一条线段；合并是指将上方的水平方向的线段向下移动至下方的水平方向的线段，且叠加两条线段的长度。

具体地，在竖直方向上，由低到高查找相邻直线段之间的关系。将上方相邻差一行或者多行的直线段向下移动至下方的直线段，这样两个直线段有可能重合。当上下两个直线段合并时，长度为移动后两个直线段长度的叠加。另外，上下两个直线段间相间的行数根据具体情况而定。

例如，如图5所示，首先将线段2与线段3合并，得到线段长度l1，再将合并后的线段与线段1合并，得到最终的线段，其长度为l2。

步骤s33、将合并后得到的线段底边候选线，选取以底边候选线作为底边，底边候选线的长作为边长的正方形区域作为所推荐的车辆候选区域。

当获取该车辆候选区域后，输出至分类器模块，以精确确定车辆在图像中的位置信息。

参照图6，本发明的车辆候选区域推荐系统包括显著性分析模块1、二值化模块2和边界合并模块3。

显著性分析模块1用于基于显著性分析对输入图像进行预处理，得到包含有车辆图像的目标图像。

在本发明中，输入图像为图像采集设备所采集，采用yuv格式。其中，yuv是被欧洲电视系统所采用的一种颜色编码方法，其中“y”表示明亮度(luminance或luma)，也就是灰阶值；而“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色其。也就是说，y通道图像信息表示图像的亮度信息，u通道图像信息和v通道图像信息表示图像的彩色信息，将y通道图像信息、u通道图像信息和v通道图像信息结合起来，就能够形成彩色图片。在本发明中，输入图像为经过采样处理的y通道图像信息。

如图2所示，显著性分析模块1执行以下操作：

步骤s11、遍历输入图像，获取输入图像中各个像素的像素值，并记录最大像素值和最小像素值。

步骤s12、计算每个像素点到其他各个像素点的距离之和，并记录最大距离之和和最小距离之和。

优选地，每个像素点到输入图像中其他各个像素点的距离为欧氏距离，但不限于欧氏距离。欧氏距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

在本发明中，每个像素点到其他各个像素点的距离之和作为衡量该像素点对比度的一种度量。

步骤s13、计算最大距离之和和最小距离之和的差值，并依据该差值对各个像素点对应的距离之和进行归一化处理。

具体地，依据最大距离之和和最小距离之和的差值，将各个像素点对应的距离之和线性映射至0-255的范围内。

依据最大距离之和和最小距离之和的差值对各个像素点对应的距离之和进行归一化处理后，将归一化后得到的数据逐行展开，得到用于表示各像素值效率的数组。也就是说，按照从上到下的顺序，将各行归一化后得到的数据依次拼接起来得到一个大小为256的数组。该数组的索引为0-255。

步骤s14、将输入图像进行归一化处理，得到拉伸图像；输入图像归一化处理后各个像素点的像素值的变化范围与各个距离之和归一化处理后的变化范围相同。

具体地，对输入图像进行归一化处理时，将各个像素点的像素值线性映射至0-255的范围内，从而得到拉伸图像。

步骤s15、基于拉伸图像中各个像素点的像素值和距离之和，计算各像素点的显著性特征值，得到显著性分析图像。

具体地，将拉伸图像中各个像素点的像素值作为用于表示各像素值效率的数组的索引，从用于表示各像素值效率的数组中查找到对应值，作为各像素点的显著性特征值。各像素点的显著性特征值构成了显著性分析图像。

步骤s16、将显著性分析图像减去拉伸图像，得到目标图像。

显著性分析图像和拉伸图像是在相同的值域空间内，且具有映射关系。而且，显著性分析图像对输入图像中的对比度相对强烈的区域进行了增强处理，而拉伸图像是近似均衡的图像。求取显著性分析图像和拉伸图像的差值，则得到目标图像。目标图像剔除了输入图像中相对没有被增强的区域，保留增强了对比度强烈的区域，即增强了对比度强烈的包括车辆图像的区域，剔除了其他的背景区域，从而获得了突出显著性对象，即车辆图像的目标图像。

二值化处理模块2与显著性分析模块1相连，用于对目标图像进行二值化处理，得到二值化图像。

为了使得目标图像的对比度更加强烈，对目标图像进行二值化处理。二值化图像呈现出明显的黑白效果，更加便于车辆候选区域的定位。

具体地，如图3所示，二值化处理模块2通过以下步骤对目标图像进行二值化处理：

步骤s21、将目标图像上各像素点与水平方向上左侧像素点的像素和减去与水平方向上右侧像素点的像素和，得到第一差值。

需要说明的是，当两个像素点的像素和超过255时，则将像素和修正为255。

步骤s22、将目标图像上各像素点与竖直方向上上方两个像素点的像素和减去与竖直方向上下方两个像素点的像素和，得到第二差值。

需要说明的是，当三个像素点的像素和超过255时，则将像素和修正为255。

步骤s23、当第一差值和第二差值中至少一个大于预设阈值时，将对应像素点的像素值设置为1；否则，将对应像素点的像素值设置为0。

至此，便可得到二值化图像。

边界合并模块3与二值化处理模块2相连，用于对二值化图像进行基于梯度的边界合并，得到所推荐的车辆候选区域。

如图4所示，边界合并模块3执行以下操作：

步骤s31、记录二值化图像中的每一条水平方向的线段。

具体地，从二值化图像中获取水平方向的线段，并记录二值化图像中的每一条水平方向的线段在竖直方向的行数、以及在水平方向上的起始点和终止点。

步骤s32、将相邻或相间的水平方向的线段合并，直至合并为一条线段；合并是指将上方的水平方向的线段向下移动至下方的水平方向的线段，且叠加两条线段的长度。

具体地，在竖直方向上，由低到高查找相邻直线段之间的关系。将上方相邻差一行或者多行的直线段向下移动至下方的直线段，这样两个直线段有可能重合。当上下两个直线段合并时，长度为移动后两个直线段长度的叠加。另外，上下两个直线段间相间的行数根据具体情况而定。

例如，如图5所示，首先将线段2与线段3合并，得到线段长度l1，再将合并后的线段与线段1合并，得到最终的线段，其长度为l2。

步骤s33、将合并后得到的线段底边候选线，选取以底边候选线作为底边，底边候选线的长作为边长的正方形区域作为所推荐的车辆候选区域。

当获取该车辆候选区域后，输出至分类器模块，以精确确定车辆在图像中的位置信息。

如图7所示，本发明还提供一种服务器，包括上述车辆候选区域推荐系统，其具体结构如上所述，故在此不再赘述。

综上所述，本发明的车辆候选区域推荐方法及系统、电子设备利用显著性分析得到信息相对丰富的目标图像，通过求取水平与竖直方向的不均等的梯度来进行水平与竖直方向上有倾向性地边界增强，进而为后续确定候选底边提供倾向性的边缘素材；利用增强了边缘的二值化图像进行候选底边筛选，利用落线机制进一步增强了底边候选区域的特征范围，从而能够更加精确地定位车辆候选区域。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。