一种车载全景图像无缝拼接处理方法及系统与流程
本发明属于汽车电子技术领域，特别是涉及一种用于泊车辅助的车载全景图像无缝拼接处理方法及系统。
背景技术：
全景图像拼接作为新兴技术，在近几年得到了快速发展，也得到越来越多研究者的关注。在全景可视化辅助泊车中，需要通过全景图像拼接的技术来生成车身周围的全景视图。其中，无缝拼接技术是全景系统的核心，图像无缝拼接是通过对齐空间一系列重叠的图像，构成一个无缝的、高清晰的图像，具有比单个图像更高的分辨率和更大的视野。
目前，在现有技术中，一般采用基于区域的拼接方法和基于特征点的拼接方法来进行全景图像拼接。
其中，基于区域拼接方法是基于待拼接图像的灰度值，对待匹配图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或其他数学方法计算灰度值的差异，通过比较、判断待拼接图像重叠区域的相似度，最终实现拼接。也可以通过FFT变换将图像由时域变换到频域，然后再进行匹配。
基于特征的拼接方法通过图像像素导致图像特征，以此特征为标准，对图像重叠部分的对应特征区域进行搜索匹配。该方法主要有两个过程：特征提取和特征匹配。该方法采用基于特征的图像拼接方法，利用图像的明显特征来估计图像之间的变换，不需要利用图像的全部信息，这类明显特征如图像的特征点(角点或关键点)、轮廓和一些不变矩等。
发明人在实施本发明过程中，发现现有的这两种方法均存在不足之处：
基于区域的拼接方法可以归结为求解图像的特征点集，在待拼接的图像中选取一些特征点，对准这些特征点，即实现了两幅图的配准。然而，这些特征点往往要借助人工选取初始匹配点，这样降低了算法的速度，无法适应大数据量的图像融合。基于特征的拼接方法，采用特征块匹配算法，即利用相关性准则的图像配准法，由于相关法是一种全局寻优的搜索方法，计算量相当大，拼 接速度较慢，难以保证算法的实时性。
综上，可知上述两种拼接方法均存在拼接速度慢，实时性不强的缺点。
技术实现要素：
本发明所要解决的技术问题在于，提供一种车载全景图像无缝拼接处理方法及系统，通过提供一目标图像拼接映射表，可以实现多个摄像头所拍摄的多幅图像的无缝拼接，同时具有图像拼接速度快、实时性强，且重叠区域不会存在明显失真的特点。
为解决上述技术问题，本发明实施例提供一种车载全景图像无缝拼接处理方法，所述方法包括如下步骤：
通过设置于汽车四周的摄像头分别获取原始环境图像；
通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对应的映射信息，其中，所述映射信息至少包括原始环境图像的序号、原始环境图像的像素坐标信息；
根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像上每一目标像素点的最终像素值。
其中，进一步包括预先生成目标图像拼接映射表的步骤，其具体包括：
将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环境图像序号；
根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一目标像素点与原始图像相映射的映射信息，其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图像上的一个特定像素点相映射；
将所述目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信息进行保存，获得目标图像拼接映射表。
其中，根据所述目标图像中每一目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像上每一目标像素点的最终像素值的步骤，进一步包括：
对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
对于拼接区域的目标像素点，分别获得其每一像素点所映射的两幅原始环境图中对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上像素值进行计算，获得所述目标像素点的最终像素值。
其中，按照预定的权重对所述两幅原始环境图中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值的步骤具体为：
按下述公式获得目标像素点的最终像素值：
其中，d为目标像素点的序号，s1和s2为两幅原始环境图中对应像素点的序号；f1与f2为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
其中，进一步包括：
对拼接区域图像的亮度进行调整。
相应地，本发明实施例还提供一种车载全景图像无缝拼接处理系统，用于将多幅原始环境图像拼接成一幅全景的目标图像，其特征在于，所述系统包括：
原始环境图像获取单元，用于通过设置于汽车四周的摄像头分别获取原始环境图像；
查询单元，用于通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对应的映射信息，其中，所述映射信息至少包括原始环境图像的序号、原始环境图像的像素坐标信息；
拼接处理单元，用于根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像上每一目标像素点的最终像素值。
其中，进一步包括目标图像拼接映射表生成单元，具体包括：
目标图像划分单元，用于将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环境图像序号；
映射关系确定单元，用于根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一个目标像素点与原始图像相映射的映射信息，其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图像上的一个特定像素点相映射；
映射表生成单元，用于将所述目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信息进行保存，获得目标图像拼接映射表。
其中，所述拼接处理单元进一步包括：
目标区域处理单元，用于对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
拼接区域处理单元，用于对于拼接区域的目标像素点，分别获得其每一像素点所映射的两幅原始环境图中对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值。
其中，所述拼接区域处理单元进一步包括：
计算单元，用于按下述公式获得目标像素点的最终像素值：
其中，d为目标像素点的序号，s1和s2为两幅原始环境图中对应像素点的序号；f1与f2为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
其中，进一步包括：
拼接区亮度调整单元，用于对拼接区域图像的亮度进行调整。
实施本发明，具有如下的有益效果：
首先，本发明提供的车载全景图像无缝拼接处理方法，可以实现多个摄像头所拍摄的多幅图像进行拼接，形成全景鸟瞰图，其视觉效果与实际的俯视图效果基本一致；
同时，本发明提供的实施例，通过根据目标图像中每一个像素点的坐标与 对应原始环境图像的坐标信息进行映射信息，形成生成目标图像拼接映射表；在进行全景图像无缝拼接时，只需通过查找该目标图像拼接映射表，即可以获得目标图像上每一目标像素点所映射的对应原始环境图像上相应像素坐标上的像素值，从而可以快速完成全景图像的无缝拼接，具有图像拼接速度快、实时性强的优点，降低了全景图像无缝拼接处理系统对硬件的要求以及复杂性；；
另外，在目标图像中将两个原始环境图像相拼接的区域，设置为拼接区域；在该拼接区域，其图像的像素点来源自两个相邻的摄像头，即通过权重分别计算其在相邻两个摄像头原始图像中对应的像素点的像素值，形成目标图像的最终像素值，同时，可以对拼接区域的图像进行亮度调整；从而可以提高拼接区域图像的真实度以及显示效果，避免出现图像失真和畸形的现象发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种车载全景图像无缝拼接处理方法一个实施例的主流程示意图；
图2是本发明提供的一种车载全景图像无缝拼接处理方法中生成目标图像拼接映射表的流程示意图；
图3是图2中对目标图像进行区域划分的一个实施例的示意图；
图4是图2中对目标图像进行区域划分的另一个实施例的示意图；
图5是本发明提供的一种车载全景图像无缝拼接处理系统一个实施例的结构示意图；
图6是图5中目标图像拼接映射表生成单元的结构示意图；
图7是图5中拼接处理单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，是本发明提供的一种车载全景图像无缝拼接处理方法一个实施例的主流程示意图。在该实施例中，该方法可以将将多幅原始环境图像拼接成一幅全景的目标图像，具体地，该方法包括如下的步骤：
步骤S10，通过设置于汽车四周的摄像头分别获取原始环境图像(即摄像头获取的俯瞰图片)；具体地，通过设置于汽车前后左右的四个摄像头获取四幅原始环境图像，每一幅原始环境图像均对应有一个序号，每一幅原始环境图像的像素点的坐标位置、像素值等信息会被记录下来；
步骤S12，通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对应的映射信息，所述映射信息至少包括原始环境图像的序号、原始环境图像的像素坐标等信息；其中，目标图像即为需要拼接并显示的全景图像(最终拼接后的俯瞰图)，该目标图像拼接映射表中存储有目标图像中每一个像素点与原始环境图像的序号、像素坐标之间对应关系；
步骤S14，根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像上每一目标像素点的最终像素值，并将所述最终像素值赋值给相应的目标像素点，并显示，从而在目标图像中显示对应于原始环境图像的画面内容；其中，目标图像拼接映射表会记录每一目标像素点的映射信息，即会记录每一目标像素点对应的原始环境图像的序号，以及在该序号的原始环境图像上的像素坐标，故通过查询目标图像拼接映射表，即可以获得与每一目标像素点相映射的相应序号的原始环境图像上对应像素坐标，从而获得该对应像素坐标的像素值；
可以理解的是，在其他一些实施例中，可以进一步包括步骤S16(图1中未示出)，对拼接区域图像的亮度进行调整，从而在目标图像上生成无缝拼接的全景视图。
如图2所示，示出了本发明提供的一种车载全景图像无缝拼接处理方法中预先生成目标图像拼接映射表的流程示意图；其中，生成目标图像拼接映射表的过程具体包括如下的步骤：
步骤S20，将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以 及拼接区域所对应的原始环境图像的序号；
为便于理解，请参考图3所示，其示出了对目标图像进行区域划分的一个实施例的示意图，在该实施例中，在目标图像中，将处于汽车前后左右的区域划分出具体的F、B、L、R四个区域，其中，点P1～P4为汽车的四周的四个顶点，而由点P3、P4组成的线段和由点P5、P6组成的线段形成目标图像的两条边界，通过测量可以获得目标图像中h0～h3、w1、H_CAR，W_CAR等的具体距离信息，其中，H_CAR为目标图像中汽车图像的长度，而W_CAR为目标图像中汽车图像的宽度，可以理解的是，根据该H_CAR的长度与汽车的实际长度等的缩放平移关系，可以用来确定目标图像中像素点与原始环境图像中像素点的坐标之间的映射关系。同时，可以确定每一区域的像素点的像素值来自哪一幅原始环境图像，例如，F区域的像素点的像素值可以来自汽车前面摄像头(图3中以小圆圈以及小方框的组合图来表示该摄像头，下同)所拍摄的原始环境图像，R区域的像素点的像素值来自汽车右侧摄像头所拍摄的原始环境图像，L区域的像素点的像素值来自汽车左侧摄像头所拍摄的原始环境图像，B区域的像素点的像素值来自汽车后侧摄像头所拍摄的原始环境图像；不同摄像头所拍摄的原始环境图像可以通过不同的环境图像序号i来进行区分。
如图4所示，示出了对目标图像进行区域划分的另一个实施例的示意图，在该实施例中，在目标图像中，除了将处于汽车前后左右的区域划分出具体的F、B、L、R四个区域，还在两幅原始环境图像之间拼接缝的两侧，按照相同角度(图中为a角度)分别扩大一定范围，以形成拼接区域，即图中示出的A1区域、A2区域、A3区域和A4区域。对于目标图像中这些拼接区域内的像素点的像素值可以通过计算其在相邻两个摄像头所拍摄的原始环境图像中对应的像素点的像素值所获得，此过程在本发明中被称为像素点的融合过程，在下文中会详细描述。
步骤S22，根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一个像素点与原始环境图像相映射的映射信息，其中，可以理解的是，在目标图像的拼接区域中，由于需要进行像素点的融合，每一像素点分别与两幅不同的原始环境图像上的一个特定像素点相映射；例如，目标图像中A1区域的像素点的像素值，需要根据汽车前侧摄像头和左侧摄像头所拍摄的图片中分别一个特定点 的像素点的像素进行计算获得；
具体地，记原始环境图像坐标为(u0i,v0i)，目标图像坐标为(u,v)，所述目标图像上每一个像素点与原始图像的映射关系即为原始环境图像坐标(u0i,v0i)和环境图像序号i与目标图像坐标(u,v)之间的映射关系。取世界坐标(xw,yw,zw)作为中间量，分别找出(u,v)与(u0i,v0i)二者与其映射关系，从而可以获得(u,v)与(u0i,v0i)之间的映射关系。
具体地，在一个例子中，原始环境图像的坐标映射关系由成像模型确定，例如，摄像头坐标系与原始图像坐标系之间的关系，可以采用诸如scara模型，映射关系如下：
摄像头坐标<->实际成像坐标:
其中，Xci、Yci、Zci指摄像头的坐标，Ai表示仿射变换矩阵；fi()表示内外参数的非线性投影函数用泰勒级数展开的多项式。
而目标图像(俯视图)与世界坐标之间的映射关系较为简单，世界坐标到俯视图坐标之间只经过缩放、平移的变换过程。简言之，目标图像与汽车车身周围需要显示的区域是缩放关系，因此由目标图像的坐标，可计算出相应车身坐标，再由摄像头外参，计算出相应的摄像头坐标，最后根据摄像头内参，计算出原始环境图像的坐标。
在上述坐标转换的过程中，从(u,v)映射到世界坐标(xw,yw,zw)后，即可根据(xw,yw,zw)所属的区域(F、L、R、B)，来确定环境图像的序号i的值。
步骤S24，将所述目标图像的各像素点的位置信息以及每一像素点对应的映射信息进行保存，获得目标图像拼接映射表。
下面结合图4，对图1中的一些步骤进行详细说明。
在步骤S14中进一步包括：
对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
对于拼接区域的目标像素点，分别获得其每一目标像素点所映射的两幅原始环境图中对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值，该过程可以简称之为两个像素点像素值的融合过程；
具体地，按下述公式对两幅原始环境图中对应像素点上的像素值进行计算，获得目标像素点的最终像素值：
其中，d为目标像素点的序号，s1和s2为两幅原始环境图中对应像素点的序号；f1与f2为每一像素点的预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
具体地，例如，在区域A1中，有一个点Pd，其与处于F区域的夹角边界的距离为1，而与处于L区域的夹角边界的距离为9，假设s1为对应的汽车前侧摄像头所拍摄的原始环境图像中的对应像素点；假设s2为对应的汽车左侧摄像头所拍摄的原始环境图像中的对应像素点；在一个实施例中，可以将可f1取值为9，而将f2取值为1，通过上面的公式可以获得Pd点的最终像素值。通过这样的方法，可以根据像素点与两个夹角边界之间的距离的关系取相应的权重，距离越小，则权重越大，可以使拼接区域的图像能够很好在进行还原，不会出现失真过大的现象。
同时，在步骤S16中，即对拼接区域图像的亮度及颜色进行调整的步骤包括：
预先计算各摄像头的调整参数；
采用所述摄像头的调整参数对所述拼接区域的各像素点的最终像素值进行调整。
可以理解的是，由于颜色整体调整的复杂性和稳定性很难把握，假设不同摄像头图像之间白平衡一致，其差别主要在整体亮度上。也即对RGB三原色信号而言，认为不同摄像头之间R、G、B颜色分量比例一致，仅在强度上略有不同。这样无需对R/G/B三个通道单独进行处理，单幅图像调节参数仅有一个。由于YUV数据的Y分量表示图像亮度，因此可以仅在Y通道上计算调节参数。
在一个例子中，可以采用下述的方法来计算各摄像头的调整参数：
对拼接缝两侧的四个拼接区域(图4中标注为A1、A2、A3和A4区域，在其他的例子中，可以直接标注为A、B、C、D区域)，分别统计其在相邻两个摄像头原始图像中的值，为AF、AL、BF、BR、CL、CT、DR、DT，设四个摄像头的调 整参数分别为JF、JL、JR、JT，则令ε＝(JFAF-JLAL)2＋(JFBF-JRBR)2＋(JLCL-JTCT)2＋(JRDR-JTDT)2为最小，即可求出需要的各摄像头的调整参数。
可以理解的是，在其他的实施例中，也可以以其他的方式来获得各摄像头的调整参数，例如，可以采用相邻的摄像头的平均亮度来获得该拼接区域的各摄像头的调整参数。
请参照图5所示，示出了本发明提供的一种车载全景图像无缝拼接处理系统一个实施例的结构示意图；同时一并参考图6和图7，在该实施例中，该车载全景图像无缝拼接处理系统1可以将多幅原始环境图像拼接成一幅全景的目标图像，其包括：
原始环境图像获取单元10，用于通过设置于汽车四周的摄像头分别获取原始环境图像；
查询单元12，用于通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对应的映射信息，其中，所述映射信息至少包括原始环境图像的序号、原始环境图像的像素坐标信息；
拼接处理单元14，用于根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像上每一目标像素点的最终像素值，并将所述最终像素值赋值给相应的目标像素点，并显示。
目标图像拼接映射表生成单元16，用于生成目标图像拼接映射表，所述目标图像拼接映射表中存储有目标区域以及拼接区域的各目标像素点的位置信息以及每一像素点与原始环境图像的对应的映射关系；
拼接区亮度调整单元18，用于对拼接区域图像的亮度进行调整。
其中，目标图像拼接映射表生成单元16具体包括：
目标图像划分单元160，用于将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环境图像序号；
映射关系确定单元162，用于根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一个像素点与原始图像相映射的映射信息，其中，在目标图像的拼接区域中，每一像素点分别与两幅不同的原始环境图像上的一个特定像素点相 映射；
映射表生成单元164，用于将所述目标图像的各目标像素点的位置信息以及每一目标像素点与原始环境图像的对应的映射信息进行保存，获得目标图像拼接映射表。
所述拼接处理单元14进一步包括：
目标区域处理单元140，用于对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
拼接区域处理单元142，用于对于拼接区域的目标像素点，分别获得其每一目标像素点所映射的两幅原始环境图中对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值。
所述拼接区域处理单元142进一步包括：
计算单元144，用于按下述公式获得目标像素点的最终像素值：
其中，d为目标像素点的序号，s1和s2为两幅原始环境图中对应像素点的序号；f1与f2为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
更多的细节可以参考前述对图1至图4的描述，在此不进行详述。
实施本发明，具有如下的有益效果：
首先，本发明提供的车载全景图像无缝拼接处理方法，可以实现多个摄像头所拍摄的多幅图像进行拼接，形成全景鸟瞰图，其视觉效果与实际的俯视图效果基本一致；
同时，本发明提供的实施例，通过根据目标图像中每一个像素点的坐标与对应原始环境图像的坐标信息进行映射信息，形成生成目标图像拼接映射表；在进行全景图像无缝拼接时，只需通过查找该目标图像拼接映射表，即可以获得目标图像上每一目标像素点所映射的对应原始环境图像上相应像素坐标上的像素值，从而可以快速完成全景图像的无缝拼接，具有图像拼接速度快、实时 性强的优点，降低了全景图像无缝拼接处理系统对硬件的要求以及复杂性；
另外，在目标图像中将两个原始环境图像相拼接的区域，设置为拼接区域；在该拼接区域，其图像的像素点来源自两个相邻的摄像头，即通过权重分别计算其在相邻两个摄像头原始图像中对应的像素点的像素值，形成目标图像的最终像素值，同时，可以对拼接区域的图像进行亮度调整；从而可以提高拼接区域图像的真实度以及显示效果，避免出现图像失真和畸形的现象发生。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
- 还没有人留言评论。精彩留言会获得点赞！