一种用于智能泊车的图像处理方法和系统与流程

本发明涉及汽车智能技术领域，特别是涉及一种用于智能泊车的图像处理方法和系统。

背景技术：

随着经济的发展，人们的生活发生了极大的变化，为了节省时间成本，很多人选择了驾车出行。

随着驾车出行的人数的增加，且我国多数城市人口密度大，这使得停车位越来越紧凑，准确将车倒入车位或者说准确将车停好已经成为每个驾驶员所必须具备的技能。但是，在倒车过程中往往会存在视角盲区，这使得驾驶员在倒车过程中会出现刮碰的情况，为了解决这一问题，很多车辆配备了车辆辅助安全倒车系统，以将车辆周围的环境信息和车辆的位置信息以俯视图的方式反馈到车内的显示屏上，驾驶员根据显示屏的提示进行安全准确的倒车和停车。

但是，目前车辆的辅助安全倒车系统的显示屏并不能很好的显示车辆四周的环境信息，这是由于辅助安全倒车系统往往会将同一场景的至少两张图像进行拼接，形成一幅大场景图像。例如申请号为CN201110070860.9的专利文件公开了一种车辆辅助系统中图像处理方法以及子系统，其对图像进行了拼接处理，但是其仅仅通过像素点与两边界的距离之比来估计权重，这导致重叠区域过渡不够均匀，使得图像拼接过程中仍然存在缝隙。这使得车辆辅助安全倒车系统的显示屏不能很好的呈现车辆四周的环境信息，不能给用户以良好的视觉效果。

因而，如何在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，以辅助驾驶员安全准确地将车辆停在停车位等位置，是本领域技术人员目前需要解决的技术问题。

技术实现要素：

本发明的目的是提供一种用于智能泊车的图像处理方法和系统，可以在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，以辅助驾驶员安全准确地将车辆停在停车位等位置。

为解决上述技术问题，本发明提供了如下技术方案：

一种用于智能泊车的图像处理方法，包括：

采集目标车辆四周的环境图像；

对各所述环境图像进行俯视变换，得到对应的俯视环境图像；

根据各所述俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射；

根据所述连续映射，构造所述闭圆盘上的连续函数；

根据对应的连续函数，对各所述俯视环境图像进行融合。

优选地，在对各所述环境图像进行俯视变换之前，还包括：

获取所述目标车辆的位置信息；

根据所述目标车辆的位置信息对各所述环境图像进行图像几何校正。

优选地，在根据各所述俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射之前，还包括：

通过SIFT图像拼接算法对各所述俯视环境图像进行图像配准。

优选地，所述构造两两俯视环境图像的重合区域到闭圆盘上的连续映射，包括：

根据两两俯视环境图像及对应的重合区域，建立第一数学模型，其中，所述第一数学模型为h(x,y)＝a(x,y)*f₁(x,y)+b(x,y)*f₂(x,y)，a(x,y)+b(x,y)＝1，h(x,y)为两两俯视环境图像融合后所得图像的像素值，f₁(x,y)为第一俯视环境图像的像素值，f₂(x,y)为第二俯视环境图像的像素值，a(x,y)为权重函数；

构造该重合区域到闭圆盘上的连续映射f→Δ，其中Δ为一个闭圆盘。

优选地，根据所述连续映射，构造所述闭圆盘上的连续函数，包括：

分析判断出所述权重函数在对应的重合区域的两个不连续点，定义为第一不连续点和第二不连续点；

以所述两个不连续点的连线中点O为圆心作圆，其中，该圆的直径大于该两个不连续点之间的距离；

在所述重合区域内取一非O的点P，连接点O和点P并延长交该重合区域的边界于点M，交该圆的边界于点N；

在点O与点N的连线上取一点Q，且OP/OM＝OQ/ON；

定义f(P)＝Q，并设点P坐标为(x,y)，点Q坐标为(u,v)，构造第一连续函数u＝u(x,y)和第二连续函数v＝v(x,y)；

建立u-v坐标系，并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点；

在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K，点H为所述垂线与所述闭圆盘的下半圆的交点；

定义闭圆盘上的连续函数z(u,v)＝GH/HK，且z在所述闭圆盘的上半圆的取值为1，在所述闭圆盘的下半圆的取值为0；

解析所述闭圆盘上的连续函数为

一种用于智能泊车的图像处理系统，包括：

分别设置在目标车辆前后左右，用于采集所述目标车辆四周的环境图像的四个图像采集装置；

与各所述图像采集装置连接，将各所述图像采集装置所采集的环境图像进行俯视变换的图像变换模块；

与所述图像变换模块连接，根据所有经过俯视变换得到的俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射的图像映射处理模块；

与所述图像映射处理模块连接，构造所述闭圆盘上的连续函数的函数构造模块；

根据所述函数构造模块的所述连续函数对各所述俯视环境图像进行融合的图像融合处理模块。

优选地，还包括：

获取所述目标车辆的位置信息，并对各所述环境图像进行图像几何校正的图像几何校正模块。

优选地，还包括：

与所述图像映射处理模块连接，根据SIFT图像拼接算法对各所述俯视环境图像进行图像配准的图像配准模块。

优选地，所述图像映射处理模块包括：

根据两两俯视环境图像及对应的重合区域，建立第一数学模型的第一建模单元，其中，所述第一数学模型为h(x,y)＝a(x,y)*f₁(x,y)+b(x,y)*f₂(x,y)，a(x,y)+b(x,y)＝1，h(x,y)为两两俯视环境图像融合后所得图像的像素值，f₁(x,y)为第一俯视环境图像的像素值，f₂(x,y)为第二俯视环境图像的像素值，a(x,y)为权重函数；

构造该重合区域到闭圆盘上的连续映射f→Δ的映射构造单元，其中Δ为一个闭圆盘。

优选地，所述函数构造模块包括：

用于分析判断出所述权重函数在对应的重合区域的两个不连续点，并定义为第一不连续点和第二不连续点的不连续点获取单元；

用于以所述两个不连续点的连线中点O为圆心作圆，其中，该圆的直径大于该两个不连续点之间的距离，并在所述重合区域内取一非O的点P，连接点O和点P并延长交该重合区域的边界于点M，交该圆的边界于点N，在点O与点N的连线上取一点Q，且OP/OM＝OQ/ON，定义f(P)＝Q，并设点P坐标为(x,y)，点Q坐标为(u,v)，构造第一连续函数u＝u(x,y)和第二连续函数v＝v(x,y)的第二数学模型单元；

用于建立u-v坐标系，并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点，在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K，点H为所述垂线与所述闭圆盘的下半圆的交点，定义闭圆盘上的连续函数z(u,v)＝GH/HK，且z在所述闭圆盘的上半圆的取值为1，在所述闭圆盘的下半圆的取值为0，解析所述闭圆盘上的连续函数为的闭圆盘连续函数生成单元。

与现有技术相比，上述技术方案具有以下优点：

本发明实施例所提供的用于智能泊车的图像处理方法，包括：采集目标车辆四周的环境图像；对各环境图像进行俯视变换，得到对应的俯视环境图像；根据各俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射；根据连续映射，构造闭圆盘上的连续函数；根据对应的连续函数，对各俯视环境图像进行融合。将目标车辆四周的环境图像转换为俯视环境图像，并根据两两俯视环境图像构造对应重合区域的连续函数，可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙，实现了平滑过渡，使得图像的融合达到更优的效果，在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，辅助驾驶员安全准确地将车辆停在停车位等位置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种具体实施方式所提供的用于智能泊车的图像处理方法流程图；

图2为本发明一种实施方式所提供的图像融合的第一数学模型示意图；

图3为本发明一种实施方式所提供的闭圆盘上的连续函数示意图；

图4为本发明一种实施方式所提供的用于智能泊车的图像处理系统结构示意图。

具体实施方式

正如背景技术部分所述，目前的车辆辅助安全倒车系统的显示屏不能很好的呈现车辆四周的环境信息，不能给用户以良好的视觉效果。

发明人研究发现，现有技术中仅通过像素点与两边界的距离之比来估计权重，没有在整个区域构建合适的模型来反映实际问题的变化规律，导致重合区域过渡不够均匀，缝隙消除不明显，从而不能给用户提供优良精确的图像信息。

基于上述研究的基础上，本发明实施例提供了一种用于智能泊车的图像处理方法和系统，可以在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，以辅助驾驶员安全准确地将车辆停在停车位等位置。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

请参考图1，图1为本发明一种具体实施方式所提供的用于智能泊车的图像处理方法流程图。

本发明的一种具体实施方式提供了一种用于智能泊车的图像处理方法，包括：

S11：采集目标车辆四周的环境图像。

即采集目标车辆前后左右四个方向的环境图像。

S12：对各环境图像进行俯视变换，得到对应的俯视环境图像。由于用户是通过显示屏观看车辆四周的环境信息，因而为了方便用户观看，也为了方便后续的图像融合，在本实施方式中，将获得的环境图像转换为对应的俯视环境图像。

S13：根据各俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射。

在本发明的一种实施方式中，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射，包括：

根据两两俯视环境图像及对应的重合区域，建立第一数学模型，其中，第一数学模型为h(x,y)＝a(x,y)*f₁(x,y)+b(x,y)*f₂(x,y)，a(x,y)+b(x,y)＝1，h(x,y)为两两俯视环境图像融合后所得图像的像素值，f₁(x,y)为第一俯视环境图像的像素值，f₂(x,y)为第二俯视环境图像的像素值，a(x,y)为权重函数；a(x,y)，z(x，y)为矩形ABCD区域关于像素的连续函数，后面的z(u，v)是闭圆盘上的连续函数。

构造该重合区域到闭圆盘上的连续映射f→Δ，其中Δ为一个闭圆盘。

在本实施方式中，如图2所示，图2为本发明一种实施方式所提供的图像融合的第一数学模型示意图。在本实施方式中，以第一俯视环境图像和第二俯视环境图像均为矩形，且重合区域也为矩形为例进行说明，其中，矩形ABCD即为两个俯视环境图像的重合区域。由图2可以看出，图像融合之后的缝隙可能出现在左右两边(AD和BC)或者上下两边(AB和CD)。通过现有技术的方法，在消除左右两边的缝隙后，再使用相同的方法消除上下两边的缝隙时，会导致权重函数a(x,y)在左右两边再次变得不连续，从而使得融合之后的图像的左右两边的缝隙再次出现。发明人研究发现，缝隙出现的位置即为权重函数不连续的位置，也就是说，若权重函数a(x,y)的不连续点构成一条直线，则该直线将会是一条缝隙。因此，要想消除缝隙就要构造全图像上的连续函数a(x,y)。由直接平均值法可知，要想权重函数a(x,y)在全图像上连续，那么a(x,y)在边界AD和AB的取值必须为1，在BC和CD上的取值必须为0，这将使得权重函数a(x,y)在B和D两点必然是不连续的，但是只要不连续点不构成一条直线那么从视觉上来说就看不出缝隙，因此，构造在全图像上除去B点和D点的连续函数就可以消除所有的缝隙。

其中，直接平均值法的计算公式为：

其中，f₁₂(x,y)为图像融合后的像素值，f₁(x,y),f₂(x,y)为两幅待融合的图像，S₁₀为参考图像中未与待匹配图像重合的区域，S₂₀为待匹配图像中未与参考图像重合的区域，S为两幅图像的重合区域。

S14：根据连续映射，构造闭圆盘上的连续函数。

在上述实施方式的基础上，在本发明一种实施方式中，根据连续映射，构造闭圆盘上的连续函数，包括：

分析判断出权重函数在对应的重合区域的两个不连续点，定义为第一不连续点和第二不连续点；

以两个不连续点的连线中点O为圆心作圆，其中，该圆的直径大于该两个不连续点之间的距离；

在重合区域内取一非O的点P，连接点O和点P并延长交该重合区域的边界于点M，交该圆的边界于点N；

在点O与点N的连线上取一点Q，且OP/OM＝OQ/ON；

定义f(P)＝Q，并设点P坐标为(x,y)，点Q坐标为(u,v)，构造第一连续函数u＝u(x,y)和第二连续函数v＝v(x,y)；

建立u-v坐标系，并以第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点；

在闭圆盘内取任一点G作u轴的垂线并交闭圆盘的边界于点H和点K，点H为垂线与闭圆盘的下半圆的交点；

定义闭圆盘上的连续函数z(u,v)＝GH/HK，且z在闭圆盘的上半圆的取值为1，在闭圆盘的下半圆的取值为0；

解析闭圆盘上的连续函数为

在本实施方式中，仍旧以重合区域为矩形为例进行说明。构造ABCD围成的矩形区域到闭圆盘上的连续映射f:ABCD→Δ。在本实施方式中，第一不连续点为点B，第二不连续点为点D。连接BD，取BD的中点O为圆心，并以r为半径作圆。其中，f的定义方法为：如图2所示，取矩形ABCD区域内的一个非O点P，连接OP并交矩形ABCD的边界于M，脚圆O的边界于N，在ON上取一点Q，使得OP/OM＝OQ/ON，并定义f(P)＝Q，易验证该f是连续的，设点P坐标为(x,y)，点Q坐标为(u,v)，构造第一连续函数u＝u(x,y)和第二连续函数v＝v(x,y)。

如图2所示，点E和点F为过点B和点D的直径与圆O的边界的两个交点。如图3所示，图3为本发明一种实施方式所提供的闭圆盘上的连续函数示意图。点E和点F通过映射f分别对应到了矩形的点D和点B。由上述实施方式可知，只有构造全图像上除去点B和点D上的连续函数就可以消除缝隙，因此，在本实施方式中所构造的闭圆盘上的连续函数的定义域不包括点E和点F。对圆内任一点G(u，v)，作关于u轴的垂线并分别交闭圆盘的上半圆和下半圆于点K和点H，定义函数z(u,v)＝GH/HK，易知z(u,v)是关于u和v的连续函数，且对应上述实施方式，函数z在上半圆的取值为1，在下半圆的取值为0，易得该函数的表达式为：因此，可以得知重合区域ABCD(除去点B和点D)边界以及内部的连续函数为

需要说明的是，本实施方式只是以重合区域为矩形为例进行说明，当重合区域为其他形状时，或者具有多个不连续点时，只有至少两个不连续点在一条直线上时才会产生缝隙，因此，只需找出同一直线上的位于两边的不连续点，按照上述的方法进行映射和寻找合适的连续函数，即可排除掉不连续的点，在后续图像融合时，均可以消除掉所有的缝隙。

S15：根据对应的连续函数，对各俯视环境图像进行融合。

在本实施方式中，将目标车辆四周的环境图像转换为俯视环境图像，并根据两两俯视环境图像构造对应重合区域的连续函数，即构造了在全图像上除去不连续点的连续函数，可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙，实现了平滑过渡，使得图像的融合达到更优的效果，在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，辅助驾驶员安全准确地将车辆停在停车位等位置。

在本发明的一种实施方式中，在对各环境图像进行俯视变换之前，还包括：获取目标车辆的位置信息；根据目标车辆的位置信息对各环境图像进行图像几何校正。

进一步地，在根据各俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射之前，还包括：

通过SIFT图像拼接算法对各俯视环境图像进行图像配准。

在本实施方式中，无论是对图像进行图像几何校正还是对图像进行图像配准，其目的均在于提高图像融合时的准确性。对图像进行校正才能将目标车辆和所采集的环境图像的位置关系进行精确地配对，而对图像进行图像配准，尤其是采用SIFT图像拼接算法对各俯视环境图像进行图像配准，可以精确地确定各环境图像在融合前的排列位置，方便各图像按照最佳的相对位置来进行图像融合。

请参考图4，图4为本发明一种实施方式所提供的用于智能泊车的图像处理系统结构示意图。

相应地，本发明一种实施方式还提供了一种用于智能泊车的图像处理系统，包括：

分别设置在目标车辆前后左右，用于采集目标车辆四周的环境图像的四个图像采集装置1，优选地，图像采集装置为安装在目标车辆上的摄像头；

与各图像采集装置1连接，将各图像采集装置1所采集的环境图像进行俯视变换的图像变换模块2；

与图像变换模块2连接，根据所有经过俯视变换得到的俯视环境图像，构造两两俯视环境图像的重合区域到闭圆盘上的连续映射的图像映射处理模块3；

与图像映射处理模块3连接，构造闭圆盘上的连续函数的函数构造模块4；

根据函数构造模块4的连续函数对各俯视环境图像进行融合的图像融合处理模块5。

进一步地，该系统还包括：

获取目标车辆的位置信息，并对各环境图像进行图像几何校正的图像几何校正模块。

与图像映射处理模块连接，根据SIFT图像拼接算法对各俯视环境图像进行图像配准的图像配准模块。

在上述任一实施方式的基础上，图像映射处理模块包括：根据两两俯视环境图像及对应的重合区域，建立第一数学模型的第一建模单元，其中，第一数学模型为h(x,y)＝a(x,y)*f₁(x,y)+b(x,y)*f₂(x,y)，a(x,y)+b(x,y)＝1，h(x,y)为两两俯视环境图像融合后所得图像的像素值，f₁(x,y)为第一俯视环境图像的像素值，f₂(x,y)为第二俯视环境图像的像素值，a(x,y)为权重函数；构造该重合区域到闭圆盘上的连续映射f→Δ的映射构造单元，其中Δ为一个闭圆盘。

函数构造模块包括：用于分析判断出权重函数在对应的重合区域的两个不连续点，并定义为第一不连续点和第二不连续点的不连续点获取单元；用于以两个不连续点的连线中点O为圆心作圆，其中，该圆的直径大于该两个不连续点之间的距离，并在重合区域内取一非O的点P，连接点O和点P并延长交该重合区域的边界于点M，交该圆的边界于点N，在点O与点N的连线上取一点Q，且OP/OM＝OQ/ON，定义f(P)＝Q，并设点P坐标为(x,y)，点Q坐标为(u,v)，构造第一连续函数u＝u(x,y)和第二连续函数v＝v(x,y)的第二数学模型单元；用于建立u-v坐标系，并以第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点，在闭圆盘内取任一点G作u轴的垂线并交闭圆盘的边界于点H和点K，点H为垂线与闭圆盘的下半圆的交点，定义闭圆盘上的连续函数z(u,v)＝GH/HK，且z在闭圆盘的上半圆的取值为1，在闭圆盘的下半圆的取值为0，解析闭圆盘上的连续函数为的闭圆盘连续函数生成单元。

本实施方式所提供的用于智能泊车的图像处理系统，无论是对图像进行图像几何校正还是对图像进行图像配准，其目的均在于提高图像融合时的准确性。对图像进行校正才能将目标车辆和所采集的环境图像的位置关系进行精确地配对，而对图像进行图像配准，尤其是采用SIFT图像拼接算法对各俯视环境图像进行图像配准，可以精确地确定各环境图像在融合前的排列位置，方便各图像按照最佳的相对位置来进行图像融合。

该系统的技术方案将目标车辆四周的环境图像转换为俯视环境图像，并根据两两俯视环境图像构造对应重合区域的连续函数，即构造了在全图像上除去不连续点的连续函数，可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙，实现了平滑过渡，使得图像的融合达到更优的效果，在驾驶员进行泊车时，能够为驾驶员提供优良的车辆四周环境信息，辅助驾驶员安全准确地将车辆停在停车位等位置。

以上对本发明所提供一种用于智能泊车的图像处理方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。