一种车载图像拼接方法
【专利摘要】本发明公开了一种车载图像拼接方法，包括：通过设置于汽车的摄像头获取原始环境图像，并在目标图像中查询到与原始环境图像相对应的拼接区域，且进一步基于原始环境图像与拼接区域之间的关联性构建方向梯度图；对方向梯度图进行正则化处理，得到共性特征空间，并进一步基于相似性距离测度与所述得到的共性特征空间之间的关联性，构造出共性特征空间的能量函数；求解使得能量函数的值最小的最优解，将最优解作为原始环境图像的最终像素值，并进一步根据最终像素值赋值给拼接区域后显示。实施本发明，能够降低计算量，提高计算速度，避免出现图像匹配特征点的匹配性低，使得拼接的图像畸变产生率降低等问题。
【专利说明】
一种车载图像拼接方法
技术领域
[0001] 本发明属于汽车电子技术领域，特别是涉及一种车载图像拼接方法。
【背景技术】
[0002] 全景图像拼接作为新兴技术，在近几年得到了快速发展，也得到越来越多研究者 的关注。在全景可视化辅助泊车中，需要通过全景图像拼接的技术来生成车身周围的全景 视图。
[0003] 目前，现有技术中的全景拼接方法采用一个全局单应矩阵，即以一个单应矩阵来 表示输入的图像之间的透视变换关系。以两个图像拼接为例，首先获的两个图像的匹配特 征点，所谓匹配特征点即两特征点在空间上表示同一点;然后根据获取的匹配特征点，求解 单应矩阵;最后，根据该单应矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅 图像所在平面的对应位置，即得到两幅图的拼接结果，从而进一步对图像进行颜色融合等 处理，得到较好的拼接图。
[0004] 但是，这种拼接方法存在计算量大，计算速度慢的缺点，而且容易出现图像匹配特 征点的匹配性低，使得拼接的图像畸变产生率降低。
【发明内容】
[0005] 本发明所要解决的技术问题在于，提供一种车载图像拼接方法及系统，能够降低 计算量，提高计算速度，避免出现图像匹配特征点的匹配性低，使得拼接的图像畸变产生率 降低等问题。
[0006] 为解决上述技术问题，本发明实施例提供一种车载图像拼接方法，所述方法包括： [0007] a、通过设置于汽车的摄像头获取原始环境图像，并在目标图像中查询到与所述原 始环境图像相对应的拼接区域，且进一步基于所述原始环境图像与所述拼接区域之间的关 联性构建方向梯度图；
[0008] b、对所述方向梯度图进行正则化处理，得到共性特征空间，并进一步基于相似性 距离测度与所述得到的共性特征空间之间的关联性，构造出所述共性特征空间的能量函 数；
[0009] C、求解使得所述能量函数的值最小的最优解，将所述最优解作为所述原始环境图 像的最终像素值，并进一步根据所述最终像素值赋值给所述拼接区域后显示。
[0010]其中，所述步骤a中"在目标图像中查询到与所述原始环境图像相对应的拼接区 ±或"通过查询预设的目标图像拼接映射表来实现;其中，所述映射信息至少包括原始环境图 像的序号、原始环境图像的像素坐标信息。
[0011]其中，所述预设的目标图像拼接映射表的具体步骤实现如下：
[0012]将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处 的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环 境图像的序号；
[0013] 根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系 与世界坐标系之间的映射关系，获得所述目标图像上每一目标像素点与原始图像相映射的 映射信息;其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图 像上的一个特定像素点相映射；
[0014] 将所述目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信 息进行保存，获得目标图像拼接映射表。
[0015] 其中，所述步骤b具体包括：
[0016] 通过公式
f所述方向梯度图进行正则化 处理，得到共性特征空间；其中，G(x，y)为所述得到的共性特征空间；|VI(x，y)|为所述方 向梯度图的梯度模值;W(x，y)为所述方向梯度图内具有一定面积大小的中心窗口；K为固定 常数，可取值为1〇〇;
[0017] 基于变分原理，采用多种距离测度的组合构成所述共性特征空间的能量函数，使 得所述共性特征空间的能量函数可以表示为:E(p，x，y) = -EN(p，x，y)+AiEH(p，x，y)-A2EG(p, x,y);其中，E(p,x,y)为所述共性特征空间的能量函数;EN(p,x,y) ,EH(p,x，y)，Ec(p,x，y)分 别表示基于去均值的归一化相关系数测量能量函数、基于Hausdorff距离的能量函数和基 于局部极大值掩模统计量的能量函数;λι，λ 2表示拉格朗日乘子重;p表示图像变形参数。
[0018] 实施本发明实施例，具有如下的有益效果：
[0019] 本发明提供的车载图像拼接方法，一次扫描完成原始环境图像的检测，并在检测 的同时完成目标变形参数的估计，解决图像中多目标（同一目标在不同观测几何下的成像 表现)快速、高检测率等难题，降低了计算量，提高了计算速度，实现图像匹配特征点的匹配 可靠性高及精度高的目的，避免拼接的图像畸变产生率降低等问题。
【附图说明】
[0020] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0021 ]图1为本发明实施例提供的一种车载图像拼接方法的流程示意图；
[0022] 图2为本发明实施例提供的一种车载图像拼接方法应用场景中对目标图像进行区 域划分的结构示意图；
[0023] 图3是本发明提供实施例的一种车载图像拼接系统的结构示意图。
【具体实施方式】
[0024]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0025] 如图1所示，为本发明实施例中，提供的一种车载图像拼接方法，所述方法包括：
[0026] 步骤S10、通过设置于汽车的摄像头获取原始环境图像，并在目标图像中查询到与 所述原始环境图像相对应的拼接区域，且进一步基于所述原始环境图像与所述拼接区域之 间的关联性构建方向梯度图；
[0027] 具体为，通过设置于汽车的任一个摄像头获取一原始环境图像，每一幅原始环境 图像均对应有一个序号，每一幅原始环境图像的像素点的坐标位置、像素值等信息会被记 录下来。此时，目标图像即为需要拼接并显示的全景图像(最终拼接后的俯瞰图），而拼接区 域是通过查询预设的目标图像拼接映射表来实现，该目标图像拼接映射表中存储有目标图 像中每一个像素点与原始环境图像的序号、像素坐标之间对应关系。
[0028] 为了排除背景噪声与成像光照条件对原始环境图像的影响，得到像素更精确的拼 接全景图，因此设计了一种新颖的特征空间：正则化梯度的特征空间。该特征空间通过计算 水平与垂直方向的梯度模值来实现，因此需要基于原始环境图像与拼接区域之间的关联性 形成方向梯度图，该方向梯度图为二维梯度图，其由水平方向梯度图与垂直方向梯度图形 成。
[0029] 方向梯度图的构造，可通过公式(1)来实现：
[0030] VI(x,y) = VIx(x,y)+i X VIy(x,y) (1);
[0031] 式（1)中，VIx(x,y)，VIy(x,y)分别表示x与y向的梯度图；其中，VI x(x，y) = I(x+ 1 ,y)+I(x-l ,y)-2X I(x,y), VIy(x,y) = I(x,y+l)+I(x,y-l)-2XI(x,y)；
[0032] 由于VI(X，y)是一个复数，则可计算其幅度值及其梯度方向（梯度方向角），其计 算公式(1)变形如下：
[0033]
[0034] 0=atg( VIy(x,y)/VIx(x,y)) (3)；
[0035] 在本发明实施例中，目标图像拼接映射表的具体步骤实现如下：
[0036] (1)将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交 界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原 始环境图像的序号；
[0037] 为便于理解，请参考图2所示，其示出了对目标图像进行区域划分的一个实施例的 示意图，在该实施例中，在目标图像中，将处于汽车前后左右的区域划分出具体的F、B、L、R 四个区域，其中，点P1~P4为汽车的四周的四个顶点，而由点P3、P4组成的线段和由点P5、P6 组成的线段形成目标图像的两条边界，通过测量可以获得目标图像中h0~h3、wl、H_CAR，W_ CAR等的具体距离信息，其中，H_CAR为目标图像中汽车图像的长度，而W_CAR为目标图像中 汽车图像的宽度，可以理解的是，根据的长度与汽车的实际长度等的缩放平移关 系，可以用来确定目标图像中像素点与原始环境图像中像素点的坐标之间的映射关系。同 时，可以确定每一区域的像素点的像素值来自哪一幅原始环境图像，例如，F区域的像素点 的像素值可以来自汽车前面摄像头（图3中以小圆圈以及小方框的组合图来表示该摄像头， 下同)所拍摄的原始环境图像，R区域的像素点的像素值来自汽车右侧摄像头所拍摄的原始 环境图像，L区域的像素点的像素值来自汽车左侧摄像头所拍摄的原始环境图像，B区域的 像素点的像素值来自汽车后侧摄像头所拍摄的原始环境图像;不同摄像头所拍摄的原始环 境图像可以通过不同的环境图像序号i来进行区分。
[0038] (2)根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐 标系与世界坐标系之间的映射关系，获得目标图像上每一目标像素点与原始图像相映射的 映射信息;其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图 像上的一个特定像素点相映射；
[0039] 可以理解的是，在目标图像的拼接区域中，由于需要进行像素点的融合，每一像素 点分别与两幅不同的原始环境图像上的一个特定像素点相映射;例如，目标图像中A1区域 的像素点的像素值，需要根据汽车前侧摄像头和左侧摄像头所拍摄的图片中分别一个特定 点的像素点的像素进行计算获得；
[0040] 具体地，记原始环境图像坐标为(UQl，VQl)，目标图像坐标为(u，v)，所述目标图像 上每一个像素点与原始图像的映射关系即为原始环境图像坐标(u Ql，VQl)和环境图像序号i 与目标图像坐标(u，v)之间的映射关系。取世界坐标(Xw，yw，zw)作为中间量，分别找出(u，v) 与(UQi，VQi)二者与其映射关系，从而可以获得(U, V)与(UQi, VQi)之间的映射关系。
[0041] 具体地，在一个例子中，原始环境图像的坐标映射关系由成像模型确定，例如，摄 像头坐标系与原始图像坐标系之间的关系，可以采用诸如scara模型。
[0042] 而目标图像(俯视图）与世界坐标之间的映射关系较为简单，世界坐标到俯视图坐 标之间只经过缩放、平移的变换过程。简言之，目标图像与汽车车身周围需要显示的区域是 缩放关系，因此由目标图像的坐标，可计算出相应车身坐标，再由摄像头外参，计算出相应 的摄像头坐标，最后根据摄像头内参，计算出原始环境图像的坐标。
[0043]在上述坐标转换的过程中，从(u，v)映射到世界坐标(Xw，yw，zw)后，即可根据(x w， yw，Zw)所属的区域(F、L、R、B)，来确定环境图像的序号i的值。
[0044] (3)将目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信息 进行保存，获得目标图像拼接映射表。
[0045]步骤S20、对所述方向梯度图进行正则化处理，得到共性特征空间，并进一步基于 相似性距离测度与所述得到的共性特征空间之间的关联性，构造出所述共性特征空间的能 量函数；
[0046]具体为，通过公式(4)对方向梯度图进行正则化处理，得到共性特征空间，具体如 下；
[0047]
[0048] 式(4)中，G(x，y)为所述得到的共性特征空间；| VI(x，y) |为所述方向梯度图的梯 度模值;W(x，y)为所述方向梯度图内具有一定面积大小的中心窗口；K为固定常数，可取值 为 100;
[0049] 基于变分原理，采用多种距离测度的组合构成共性特征空间的能量函数，使得共 性特征空间的能量函数通过公式(5)表示，具体如下：
[0050] Ε(ρ,χ,γ)=-ΕΝ(ρ,χ,γ)+λιΕΗ(ρ,χ,γ)-λ2Ε〇(ρ,χ,γ) (5)；
[0051] 式(5)中，E(p,x,y)为共性特征空间的能量函数;EN(p,x,y) ,EH(p,x，y)，Ec(p，x,y) 分别表示基于去均值的归一化相关系数测量能量函数、基于Hausdorff距离的能量函数和 基于局部极大值掩模统计量的能量函数;λι，λ2表示拉格朗日乘子重;p表示图像变形参数。
[0052] 仿射条件下，图像的变形模型如公式(6):
[0053]
[0054] 这时p = (a，b，c，d, Δχ，Ay)1。
[0055] 当滿足一宙的备件时，图像的夺形樽型公式（6)可以简化为公式(7):
[0056]
[0057] 其中p = (a，b，c，d, Δ X，Δ y)T。
[0058] 综上可知，图像变形参数P的获取，则代表共性特征空间中目标值的确认，使得每 一个图像变形参数P均表示为一个像素值，因此可通过共性特征空间的能量函数上的每一 个局部极值点的快速定位(即每一个局部极值点对应于一个检测目标），从而实现原始环境 图像与目标图像之间的匹配。
[0059] 步骤S30、求解使得所述能量函数的值最小的最优解，将所述最优解作为所述原始 环境图像的最终像素值，并进一步根据所述最终像素值赋值给所述拼接区域后显示。
[0060] 具体为，采用多粒子群算法对共性特征空间的能量函数进行优化，求得共性特征 空间的能量函数中图像变形参数P的最优值，将最优解作为原始环境图像的最终像素值，并 进一步根据最终像素值赋值给拼接区域后显示，从而拥有传统算法无法比拟的效果和优 势；同时为了达到更准确和效率的算法结果，并且可动态的生成或者消除粒子群，减少不必 要的计算量，从而达到实现图像匹配的可靠性高及精度高的目的，加入收敛性以及排斥性 的判断，增加了粒子群之间的互动。
[0061 ]共性特征空间的能量函数采用多粒子群算法的具体实现步骤如下：
[0062] 步骤S301、确定粒子群的参数;其中，参数包括与匹配检测的数量相等的初始粒子 群数量，以及还包括粒子群收敛半径、粒子群排斥半径、个体学习因子、种群学习因子和惯 性权重；
[0063] 步骤S302、初始化粒子群，其包括设置最大迭代次数和初始迭代次数为0,以及随 机设定每一粒子群的速度及其对应的速度方向，随机设定每一粒子群中每一粒子的空间位 置；
[0064] 步骤S303、获取当前迭代次数，并判断获取到的当前迭代次数是否小于最大迭代 次数;如果是，则执行下一步骤S304;如果否，则跳转执行步骤S305;
[0065]步骤S304、获取到的当前迭代次数加一，且对各粒子群内的每一粒子进行遍历更 新，并根据所述预设的个体学习因子、种群学习因子和惯性权重，以及根据单个粒子群内粒 子在当前遍历进化轨迹中的最优值以及所有粒子群内粒子在当前遍历进化轨迹中的最优 值，得到遍历更新后的各粒子群速度；以及
[0066]根据得到的遍历更新后的各粒子群速度，对各粒子群的位置进行更新，并依序对 更新位置后的粒子群进行排斥判定处理和收敛判定处理后，返回步骤S303;
[0067] 步骤S305、终止对各粒子群内的每一粒子进行遍历更新，并筛选出各粒子群内粒 子在终止遍历的前一进化轨迹中的最优值，且进一步将筛选的各粒子群内粒子的最优值作 为相应的局部极值点输出。
[0068] 如图3所示，为本发明实施例中，提供的一种车载图像拼接系统，所述系统包括：
[0069] 方向梯度图构建单元10,用于通过设置于汽车的摄像头获取原始环境图像，并在 目标图像中查询到与所述原始环境图像相对应的拼接区域，且进一步基于所述原始环境图 像与所述拼接区域之间的关联性构建方向梯度图；
[0070] 能量函数获取单元12,用于对所述方向梯度图进行正则化处理，得到共性特征空 间，并进一步基于相似性距离测度与所述得到的共性特征空间之间的关联性，构造出所述 共性特征空间的能量函数；
[0071] 拼接处理单元14,用于求解使得所述能量函数的值最小的最优解，将所述最优解 作为所述原始环境图像的最终像素值，并进一步根据所述最终像素值赋值给所述拼接区域 后显不 。
[0072] 其中，所述拼接区域通过查询预设的目标图像拼接映射表来实现;其中，所述映射 信息至少包括原始环境图像的序号、原始环境图像的像素坐标信息。
[0073]其中，所述能量函数获取单元12包括：
[0074] 共性特征空间获取模块，用于通过公式
吋 所述方向梯度图进行正则化处理，得到共性特征空间；其中，G(x，y)为所述得到的共性特征 空间；I VI(X，y) I为所述方向梯度图的梯度模值;w(x，y)为所述方向梯度图内具有一定面 积大小的中心窗口； K为固定常数，可取值为100;
[0075]能量函数获取模块，用于基于变分原理，采用多种距离测度的组合构成所述共性 特征空间的能量函数，使得所述共性特征空间的能量函数可以表示为:E(p，x，y)=-E N(p， x，y)+A1EH(p，x，y)-A2EG(p，x，y);其中，E(p，x，y)为所述共性特征空间的能量函数;En(p，x, y) ,Eh(p ,x ,y) ,Ec(p ,x ,y)分别表示基于去均值的归一化相关系数测量能量函数、基于 Hausdorff距离的能量函数和基于局部极大值掩模统计量的能量函数;表示拉格朗日 乘子重;Ρ表示图像变形参数。
[0076] 实施本发明实施例，具有如下的有益效果：
[0077] 本发明提供的车载图像拼接方法，一次扫描完成原始环境图像的检测，并在检测 的同时完成目标变形参数的估计，解决图像中多目标（同一目标在不同观测几何下的成像 表现)快速、高检测率等难题，降低了计算量，提高了计算速度，实现图像匹配特征点的匹配 可靠性高及精度高的目的，避免拼接的图像畸变产生率降低等问题。
[0078] 值得注意的是，上述系统实施例中，所包括的各个系统单元只是按照功能逻辑进 行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的 具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0079]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以 通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中， 所述的存储介质，如R0M/RAM、磁盘、光盘等。
[0080]以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权 利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【主权项】
1. 一种车载图像拼接方法，其特征在于，所述方法包括： a、 通过设置于汽车的摄像头获取原始环境图像，并在目标图像中查询到与所述原始环 境图像相对应的拼接区域，且进一步基于所述原始环境图像与所述拼接区域之间的关联性 构建方向梯度图； b、 对所述方向梯度图进行正则化处理，得到共性特征空间，并进一步基于相似性距离 测度与所述得到的共性特征空间之间的关联性，构造出所述共性特征空间的能量函数； C、求解使得所述能量函数的值最小的最优解，将所述最优解作为所述原始环境图像的 最终像素值，并进一步根据所述最终像素值赋值给所述拼接区域后显示。2. 如权利要求1所述的方法，其特征在于，所述步骤a中巧目标图像中查询到与所述原 始环境图像相对应的拼接区域"通过查询预设的目标图像拼接映射表来实现;其中，所述映 射信息至少包括原始环境图像的序号、原始环境图像的像素坐标信息。3. 如权利要求2所述的方法，其特征在于，所述预设的目标图像拼接映射表的具体步骤 头现如下： 将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预 定范围内的区域确定为拼接区域，并确定每一目标区域W及拼接区域所对应的原始环境图 像的序号； 根据原始环境图像坐标系与世界坐标系之间的映射关系，W及目标图像的坐标系与世 界坐标系之间的映射关系，获得所述目标图像上每一目标像素点与原始图像相映射的映射 信息;其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图像上 的一个特定像素点相映射； 将所述目标图像的各目标像素点的位置信息W及每一目标像素点对应的映射信息进 行保存，获得目标图像拼接映射表。4. 如权利要求1所述的方法，其特征在于，所述步骤b具体包括： 通过公式：对所述方向梯度图进行正则化处理， 得到共性特征空间；其中，G(x，y)为所述得到的共性特征空间；I ▽/(YJ引为所述方向梯度图 的梯度模值;W(x，y)为所述方向梯度图内具有一定面积大小的中屯、窗口；K为固定常数，可 取值为100; 基于变分原理，采用多种距离测度的组合构成所述共性特征空间的能量函数，使得所 述共性特征空间的能量函数可W表示为:E(p，x，y) =-EN(p，x，y)+AiEH(p，x，y)-A2EG(p，x, y);其中，E(p，x，y)为所述共性特征空间的能量函数;E^p，x，y)，EH(p，x，y)，EG(p，x，y)分别 表示基于去均值的归一化相关系数测量能量函数、基于化usdod^g离的能量函数和基于 局部极大值掩模统计量的能量函数;λι，λ2表示拉格朗日乘子重;P表示图像变形参数。
【文档编号】G06T3/40GK105976324SQ201610335450
【公开日】2016年9月28日
【申请日】2016年5月19日
【发明人】昝乡镇, 沈良忠, 刘文斌
【申请人】温州大学城市学院