一种车载全景图像无缝拼接处理方法
【专利摘要】本发明公开了一种车载全景图像无缝拼接处理方法，包括如下步骤：通过设置于汽车四周的摄像头分别获取原始环境图像；通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对应的映射信息，其中，所述映射信息至少包括原始环境图像的序号、像素坐标信息；根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值获得目标图像中每一目标像素点的最终像素值，且进一步将所述最终像素值赋值给相应的目标像素点后显示。实施本发明，可以提高全景图像拼接的速度以及拼接效果。
【专利说明】
一种车载全景图像无缝拼接处理方法
技术领域
[0001] 本发明属于汽车电子技术领域，特别是涉及一种车载全景图像无缝拼接处理方 法。
【背景技术】
[0002] 全景图像拼接作为新兴技术，在近几年得到了快速发展，也得到越来越多研究者 的关注。在全景可视化辅助泊车中，需要通过全景图像拼接的技术来生成车身周围的全景 视图。其中，无缝拼接技术是全景系统的核心，图像无缝拼接是通过对齐空间一系列重叠的 图像，构成一个无缝的、高清晰的图像，具有比单个图像更高的分辨率和更大的视野。
[0003] 目前，在现有技术中，全景图像拼接一般包括基于区域的拼接方法和基于特征点 的拼接方法。
[0004] 在基于区域的拼接方法中，该方法是基于待拼接图像的灰度值，对待匹配图像中 一块区域与参考图像中的相同尺寸的区域使用最小二乘法或其他数学方法计算灰度值的 差异，通过比较、判断待拼接图像重叠区域的相似度，最终实现拼接，也可通过FFT变换将图 像由时域变换到频域，然后再进行匹配；
[0005] 在基于特征的拼接方法中，其通过图像像素导致图像特征，以此特征为标准，对图 像重叠部分的对应特征区域进行搜索匹配。该方法主要有两个过程:特征提取和特征匹配。 该方法采用基于特征的图像拼接方法，利用图像的明显特征来估计图像之间的变换，不需 要利用图像的全部信息，这类明显特征如图像的特征点（角点或关键点）、轮廓和一些不变 矩等。
[0006] 发明人发现，现有的上述两种方法均存在不足之处:一、基于区域的拼接方法可以 归结为求解图像的特征点集，在待拼接的图像中选取一些特征点，对准这些特征点，即实现 了两幅图的配准。然而，这些特征点往往要借助人工选取初始匹配点，这样降低了算法的速 度，无法适应大数据量的图像融合;二、基于特征的拼接方法，采用特征块匹配算法，即利用 相关性准则的图像配准法，由于相关法是一种全局寻优的搜索方法，计算量相当大，拼接速 度较慢，难以保证算法的实时性。
[0007] 综上，可知上述两种拼接方法均存在拼接速度慢，实时性不强的缺点。
【发明内容】
[0008] 本发明所要解决的技术问题在于，提供一种车载全景图像无缝拼接处理方法及系 统，通过提供目标图像拼接映射表，实现多个摄像头所拍摄的多幅图像的无缝拼接，同时具 有图像拼接速度快、实时性强，且重叠区域不会存在明显失真的特点。
[0009] 为解决上述技术问题，本发明实施例提供一种车载全景图像无缝拼接处理方法， 所述方法包括：
[0010] 通过设置于汽车四周的摄像头分别获取原始环境图像；
[0011] 通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点 所对应的映射信息;其中，所述映射信息至少包括原始环境图像的序号、原始环境图像的像 素坐标信息；
[0012] 根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原始环境图 像上对应像素坐标上的像素值，并根据所述像素值，获得所述目标图像中每一目标像素点 的最终像素值，且进一步将所述最终像素值赋值给相应的目标像素点后显示。
[0013] 其中，所述预先生成目标图像拼接映射表的步骤具体包括：
[0014] 将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处 的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环 境图像序号；
[0015] 根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系 与世界坐标系之间的映射关系，获得所述目标图像上每一目标像素点与原始图像相映射的 映射信息，其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图 像上的一个特定像素点相映射；
[0016] 将所述目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信 息进行保存，获得目标图像拼接映射表。
[0017] 其中，根据所述目标图像中每一目标像素点的映射信息，获得相应序号的原始环 境图像上对应像素坐标上的像素值，并根据所述像素值，获得所述目标图像中每一目标像 素点的最终像素值的步骤，进一步包括：
[0018] 对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对 应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
[0019] 对于拼接区域的目标像素点，分别获得其每一像素点所映射的两幅原始环境图中 对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上像素值 进行计算，获得所述目标像素点的最终像素值。
[0020] 其中，按照预定的权重对所述两幅原始环境图中对应像素点上的像素值进行计 算，获得所述目标像素点的最终像素值的步骤具体为：
[0021] 桉下祙公忒莽徨曰烷僮麦占的最终像素值：
[0022]
[0023]其中，d为目标像素点的序号，Sl和s2为两幅原始环境图中对应像素点的序号；Π 与f2为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
[0024] 实施本发明实施例，具有如下的有益效果：
[0025] 1、本发明提供的车载全景图像无缝拼接处理方法，可以实现多个摄像头所拍摄的 多幅图像进行拼接，形成全景鸟瞰图，其视觉效果与实际的俯视图效果基本一致；
[0026] 2、本发明提供的实施例，通过根据目标图像中每一个像素点的坐标与对应原始环 境图像的坐标信息进行映射信息，形成生成目标图像拼接映射表;在进行全景图像无缝拼 接时，只需通过查找该目标图像拼接映射表，即可以获得目标图像上每一目标像素点所映 射的对应原始环境图像上相应像素坐标上的像素值，从而可以快速完成全景图像的无缝拼 接，具有图像拼接速度快、实时性强的优点，降低了全景图像无缝拼接处理系统对硬件的要 求以及复杂性；；
[0027] 3、在目标图像中将两个原始环境图像相拼接的区域，设置为拼接区域;在该拼接 区域，其图像的像素点来源自两个相邻的摄像头，即通过权重分别计算其在相邻两个摄像 头原始图像中对应的像素点的像素值，形成目标图像的最终像素值，同时，可以对拼接区域 的图像进行亮度调整;从而可以提高拼接区域图像的真实度以及显示效果，避免出现图像 失真和畸形的现象发生。
【附图说明】
[0028] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0029]图1是本发明提供的一种车载全景图像无缝拼接处理方法一个实施例的主流程示 意图；
[0030] 图2是本发明提供的一种车载全景图像无缝拼接处理方法中生成目标图像拼接映 射表的流程示意图；
[0031] 图3是图2中对目标图像进行区域划分的一个实施例的示意图；
[0032] 图4是图2中对目标图像进行区域划分的另一个实施例的示意图；
[0033]图5是本发明提供的一种车载全景图像无缝拼接处理系统一个实施例的结构示意 图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0035]如图1所示，是本发明提供的一种车载全景图像无缝拼接处理方法一个实施例的 主流程示意图。在该实施例中，该方法可以将将多幅原始环境图像拼接成一幅全景的目标 图像，具体地，该方法包括如下的步骤：
[0036] 步骤S10,通过设置于汽车四周的摄像头分别获取原始环境图像（即摄像头获取的 俯瞰图片）；具体地，通过设置于汽车前后左右的四个摄像头获取四幅原始环境图像，每一 幅原始环境图像均对应有一个序号，每一幅原始环境图像的像素点的坐标位置、像素值等 信息会被记录下来；
[0037] 步骤S12,通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目 标像素点所对应的映射信息，所述映射信息至少包括原始环境图像的序号、原始环境图像 的像素坐标等信息；其中，目标图像即为需要拼接并显示的全景图像(最终拼接后的俯瞰 图），该目标图像拼接映射表中存储有目标图像中每一个像素点与原始环境图像的序号、像 素坐标之间对应关系；
[0038] 步骤S14,根据所述目标图像中每一个目标像素点的映射信息，获得相应序号的原 始环境图像上对应像素坐标上的像素值，并根据所述像素值，获得目标图像中每一目标像 素点的最终像素值，且进一步将所述最终像素值赋值给相应的目标像素点后显示，从而在 目标图像中显示对应于原始环境图像的画面内容;其中，目标图像拼接映射表会记录每一 目标像素点的映射信息，即会记录每一目标像素点对应的原始环境图像的序号，以及在该 序号的原始环境图像上的像素坐标，故通过查询目标图像拼接映射表，即可以获得与每一 目标像素点相映射的相应序号的原始环境图像上对应像素坐标，从而获得该对应像素坐标 的像素值；
[0039] 可以理解的是，在其他一些实施例中，可以进一步包括步骤S16(图1中未示出），对 拼接区域图像的亮度进行调整，从而在目标图像上生成无缝拼接的全景视图。
[0040] 如图2所示，示出了本发明提供的一种车载全景图像无缝拼接处理方法中预先生 成目标图像拼接映射表的流程示意图；其中，生成目标图像拼接映射表的过程具体包括如 下的步骤：
[0041 ]步骤S20，将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区 域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应 的原始环境图像的序号；
[0042]为便于理解，请参考图3所示，其示出了对目标图像进行区域划分的一个实施例的 示意图，在该实施例中，在目标图像中，将处于汽车前后左右的区域划分出具体的F、B、L、R 四个区域，其中，点P1~P4为汽车的四周的四个顶点，而由点P3、P4组成的线段和由点P5、P6 组成的线段形成目标图像的两条边界，通过测量可以获得目标图像中h0~h3、wl、H_CAR，W_ CAR等的具体距离信息，其中，H_CAR为目标图像中汽车图像的长度，而W_CAR为目标图像中 汽车图像的宽度，可以理解的是，根据的长度与汽车的实际长度等的缩放平移关 系，可以用来确定目标图像中像素点与原始环境图像中像素点的坐标之间的映射关系。同 时，可以确定每一区域的像素点的像素值来自哪一幅原始环境图像，例如，F区域的像素点 的像素值可以来自汽车前面摄像头（图3中以小圆圈以及小方框的组合图来表示该摄像头， 下同)所拍摄的原始环境图像，R区域的像素点的像素值来自汽车右侧摄像头所拍摄的原始 环境图像，L区域的像素点的像素值来自汽车左侧摄像头所拍摄的原始环境图像，B区域的 像素点的像素值来自汽车后侧摄像头所拍摄的原始环境图像;不同摄像头所拍摄的原始环 境图像可以通过不同的环境图像序号i来进行区分。
[0043] 如图4所示，示出了对目标图像进行区域划分的另一个实施例的示意图，在该实施 例中，在目标图像中，除了将处于汽车前后左右的区域划分出具体的F、B、L、R四个区域，还 在两幅原始环境图像之间拼接缝的两侧，按照相同角度（图中为a角度)分别扩大一定范围， 以形成拼接区域，即图中示出的Al区域、A2区域、A3区域和A4区域。对于目标图像中这些拼 接区域内的像素点的像素值可以通过计算其在相邻两个摄像头所拍摄的原始环境图像中 对应的像素点的像素值所获得，此过程在本发明中被称为像素点的融合过程，在下文中会 详细描述。
[0044] 步骤S22,根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像 的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一个像素点与原始环境图 像相映射的映射信息，其中，可以理解的是，在目标图像的拼接区域中，由于需要进行像素 点的融合，每一像素点分别与两幅不同的原始环境图像上的一个特定像素点相映射;例如， 目标图像中Al区域的像素点的像素值，需要根据汽车前侧摄像头和左侧摄像头所拍摄的图 片中分别一个特定点的像素点的像素进行计算获得；
[0045] 具体地，记原始环境图像坐标为(UQl，VQl)，目标图像坐标为(u，v)，所述目标图像 上每一个像素点与原始图像的映射关系即为原始环境图像坐标(u Ql，VQl)和环境图像序号i 与目标图像坐标(u，v)之间的映射关系。取世界坐标( Xw，yw，zw)作为中间量，分别找出(u，v) 与(UQi ,VQi )二者与其映射关系，从而可以获得(U，V)与(UQi ,VQi )之间的映射关系。
[0046] 具体地，在一个例子中，原始环境图像的坐标映射关系由成像模型确定，例如，摄 像头坐标系与原始图像坐标系之间的关系，可以采用诸如scara模型。
[0047] 而目标图像(俯视图）与世界坐标之间的映射关系较为简单，世界坐标到俯视图坐 标之间只经过缩放、平移的变换过程。简言之，目标图像与汽车车身周围需要显示的区域是 缩放关系，因此由目标图像的坐标，可计算出相应车身坐标，再由摄像头外参，计算出相应 的摄像头坐标，最后根据摄像头内参，计算出原始环境图像的坐标。
[0048]在上述坐标转换的过程中，从(u，v)映射到世界坐标(Xw，yw，zw)后，即可根据(x w， yw，Zw)所属的区域(F、L、R、B)，来确定环境图像的序号i的值。
[0049] 步骤S24,将所述目标图像的各像素点的位置信息以及每一像素点对应的映射信 息进行保存，获得目标图像拼接映射表。
[0050] 下面结合图4,对图1中的一些步骤进行详细说明。
[0051 ] 在步骤S14中进一步包括：
[0052]对于目标区域的目标像素点，获得每一个目标像素点所映射的原始环境图像上对 应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
[0053]对于拼接区域的目标像素点，分别获得其每一目标像素点所映射的两幅原始环境 图中对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上的 像素值进行计算，获得所述目标像素点的最终像素值，该过程可以简称之为两个像素点像 素值的融合过程；
[0054]具体地，按下述公式对两幅原始环境图中对应像素点上的像素值进行计算，获得 目标像素点的最终像素值：
[0055
[0056] 其中，d为目标像素点的序号，si和s2为两幅原始环境图中对应像素点的序号；Π 与f2为每一像素点的预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关 联。
[0057] 具体地，例如，在区域Al中，有一个点Pd，其与处于F区域的夹角边界的距离为1，而 与处于L区域的夹角边界的距离为9,假设si为对应的汽车前侧摄像头所拍摄的原始环境图 像中的对应像素点;假设s2为对应的汽车左侧摄像头所拍摄的原始环境图像中的对应像素 点；在一个实施例中，可以将可Π取值为9,而将f2取值为1，通过上面的公式可以获得Pd点 的最终像素值。通过这样的方法，可以根据像素点与两个夹角边界之间的距离的关系取相 应的权重，距离越小，则权重越大，可以使拼接区域的图像能够很好在进行还原，不会出现 失真过大的现象。
[0058]同时，对拼接区域图像的亮度及颜色进行调整的步骤包括：
[0059]预先计算各摄像头的调整参数；
[0060] 采用所述摄像头的调整参数对所述拼接区域的各像素点的最终像素值进行调整。
[0061] 对拼接缝两侧的四个拼接区域（图4中标注为Al、A2、A3和A4区域，在其他的例子 中，可以直接标注为A、B、C、D区域），分别统计其在相邻两个摄像头原始图像中的值，为Af、 Al、Bf、Br、Cl、Ct、Dr、Dt，设四个摄像头的调整参数分别为Jf、Jl、Jr、Jt，则令ε = ( JfAf-JlAl )2+ (JfBf-JrBr )2+( JlCl-JtCt) 2+ ( JrDr-JtDt )2为最小，即可求出需要的各摄像头的调整参数。
[0062] 可以理解的是，在其他的实施例中，也可以以其他的方式来获得各摄像头的调整 参数，例如，可以采用相邻的摄像头的平均亮度来获得该拼接区域的各摄像头的调整参数。 [0063]请参照图5所示，示出了本发明提供的一种车载全景图像无缝拼接处理系统一个 实施例的结构示意图；在该实施例中，该车载全景图像无缝拼接处理系统可以将多幅原始 环境图像拼接成一幅全景的目标图像，其包括：
[0064] 原始环境图像获取单元10,用于通过设置于汽车四周的摄像头分别获取原始环境 图像；
[0065] 查询单元12,用于通过一预先生成的目标图像拼接映射表，查询获得目标图像中 每一个目标像素点所对应的映射信息，其中，所述映射信息至少包括原始环境图像的序号、 原始环境图像的像素坐标信息；
[0066] 拼接处理单元14，用于根据所述目标图像中每一个目标像素点的映射信息，获得 相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值，获得所述目标 图像中每一目标像素点的最终像素值，且进一步将所述最终像素值赋值给相应的目标像素 点后显示。
[0067] 其中，所述系统还包括目标图像拼接映射表生成单元16,所述目标图像拼接映射 表生成单元16具体包括：
[0068] 目标图像划分模块，用于将目标图像根据世界坐标系划分成多个目标区域，并将 位于两个目标区域交界处的预定范围内的区域确定为拼接区域，并确定每一目标区域以及 拼接区域所对应的原始环境图像序号；
[0069] 映射关系确定模块，用于根据原始环境图像坐标系与世界坐标系之间的映射关 系，以及目标图像的坐标系与世界坐标系之间的映射关系，获得所述目标图像上每一目标 像素点与原始图像相映射的映射信息，其中，在目标图像的拼接区域中，每一目标像素点分 别与两幅不同的原始环境图像上的一个特定像素点相映射；
[0070] 映射表生成模块，用于将所述目标图像的各目标像素点的位置信息以及每一目标 像素点对应的映射信息进行保存，获得目标图像拼接映射表。
[0071] 其中，所述拼接处理单元14包括：
[0072] 目标区域处理模块，用于对于目标区域的目标像素点，获得每一个目标像素点所 映射的原始环境图像上对应像素坐标上的像素值，并作为所述目标像素点的最终像素值；
[0073] 拼接区域处理模块，用于对于拼接区域的目标像素点，分别获得其每一目标像素 点所映射的两幅原始环境图中对应像素点上的像素值，并按照预定的权重对所述两幅原始 环境图中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值。
[0074]其中，所述拼接区域处理模块包括：
[0075] 计算子模块，用于按下述公式获得目标像素点的最终像素值：
[0076]
[0077]兵甲，d73曰称1冢系点的;予亏，si和s2为两幅原始环境图中对应像素点的序号；Π 与f2为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
[0078] 实施本发明，具有如下的有益效果：
[0079] 1、本发明提供的车载全景图像无缝拼接处理方法，可以实现多个摄像头所拍摄的 多幅图像进行拼接，形成全景鸟瞰图，其视觉效果与实际的俯视图效果基本一致；
[0080] 2、本发明提供的实施例，通过根据目标图像中每一个像素点的坐标与对应原始环 境图像的坐标信息进行映射信息，形成生成目标图像拼接映射表;在进行全景图像无缝拼 接时，只需通过查找该目标图像拼接映射表，即可以获得目标图像上每一目标像素点所映 射的对应原始环境图像上相应像素坐标上的像素值，从而可以快速完成全景图像的无缝拼 接，具有图像拼接速度快、实时性强的优点，降低了全景图像无缝拼接处理系统对硬件的要 求以及复杂性；
[0081] 3、在目标图像中将两个原始环境图像相拼接的区域，设置为拼接区域;在该拼接 区域，其图像的像素点来源自两个相邻的摄像头，即通过权重分别计算其在相邻两个摄像 头原始图像中对应的像素点的像素值，形成目标图像的最终像素值，同时，可以对拼接区域 的图像进行亮度调整;从而可以提高拼接区域图像的真实度以及显示效果，避免出现图像 失真和畸形的现象发生。
[0082]以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权 利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【主权项】
1. 一种车载全景图像无缝拼接处理方法，其特征在于，所述方法包括： 通过设置于汽车四周的摄像头分别获取原始环境图像； 通过一预先生成的目标图像拼接映射表，查询获得目标图像中每一个目标像素点所对 应的映射信息;其中，所述映射信息至少包括原始环境图像的序号、原始环境图像的像素坐 标信息； 根据所述目标图像中每一目标像素点的映射信息，获得相应序号的原始环境图像上对 应像素坐标上的像素值，并根据所述像素值，获得所述目标图像中每一目标像素点的最终 像素值，且进一步将所述最终像素值赋值给相应的目标像素点后显示。2. 如权利要求1所述的方法，其特征在于，所述预先生成目标图像拼接映射表的步骤具 体包括： 将目标图像根据世界坐标系划分成多个目标区域，并将位于两个目标区域交界处的预 定范围内的区域确定为拼接区域，并确定每一目标区域以及拼接区域所对应的原始环境图 像的序号； 根据原始环境图像坐标系与世界坐标系之间的映射关系，以及目标图像的坐标系与世 界坐标系之间的映射关系，获得所述目标图像上每一目标像素点与原始图像相映射的映射 信息;其中，在目标图像的拼接区域中，每一目标像素点分别与两幅不同的原始环境图像上 的一个特定像素点相映射； 将所述目标图像的各目标像素点的位置信息以及每一目标像素点对应的映射信息进 行保存，获得目标图像拼接映射表。3. 如权利要求2所述的方法，其特征在于，根据所述目标图像中每一目标像素点的映射 信息，获得相应序号的原始环境图像上对应像素坐标上的像素值，并根据所述像素值，获得 所述目标图像中每一目标像素点的最终像素值的步骤，进一步包括： 对于目标区域的目标像素点，获得每一目标像素点所映射的原始环境图像上对应像素 坐标上的像素值，并作为所述目标像素点的最终像素值； 对于拼接区域的目标像素点，分别获得其每一目标像素点所映射的两幅原始环境图中 对应像素点上的像素值，并按照预定的权重对所述两幅原始环境图中对应像素点上的像素 值进行计算，获得所述目标像素点的最终像素值。4. 如权利要求3所述的方法，其特征在于，所述按照预定的权重对所述两幅原始环境图 中对应像素点上的像素值进行计算，获得所述目标像素点的最终像素值的步骤具体为： 按下述公式获得目标像素点的最终像素值：其中，d为目标像素点的序号，s 1和s2为两幅原始环境图中对应像素点的序号；Π 与f 2 为预定权重，其与所述像素点与所述拼接区域两条边界之间的距离相关联。
【文档编号】G06T3/40GK106056536SQ201610335476
【公开日】2016年10月26日
【申请日】2016年5月19日
【发明人】沈良忠, 暂乡镇, 刘文斌
【申请人】温州大学城市学院