图像拍摄拼接方法及系统与流程

本发明涉及，具体地，涉及一种图像拍摄拼接方法及系统。

背景技术：

随着技术、资金、相关法律法规等因素的配套落地，自动驾驶车辆将逐步落地量产并最终服务广大消费者。自动驾驶车辆须配备大量的传感器来进行场景、障碍物等相关因素的识别，并通过信息融合模块对各个传感器收集的信息进行融合处理，最终将融合处理后的信息交付运算决策模块进行路径规划和车身运动控制。

在场景、障碍物识别的过程中，相机作为其中一个关键传感器起到非常重要的作用，但是单个相机基于本身的配置，其视域比较窄，自动驾驶车辆如果要在道路上行进需要了解其周围较大区域内的道路状态，需要大视域的相机进行辅助判断。

现有自动驾驶车辆相机一般采用的是标准镜头，其视角比较窄，如果采用多个相机进行图像采集拼接会涉及对图像重叠区域的特征点识别、根据重叠区域确定相邻关系，最终计算确定去重后的拼接方案。上述方案在实施的时候会产生两个问题，一是计算量大，二是当不存在重叠区域时难以进行图像拼接。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种图像拍摄拼接方法及系统。

根据本发明提供的一种图像拍摄拼接方法，包括：

相机安装步骤：对多个相机进行标定接近安装，所述标定接近安装指在相机安装的时候保持相邻两相机的物理安装距离最近，从而保证两相机的光心距离最近；

映射表获取步骤：通过安装的多个相机的位置，建立多个相机获取图像的像素点的映射表；

图像拼接步骤：根据建立的图像的像素点的映射表，确定对应图像的图像拼接关系，并根据同一时刻多个相机分别拍摄的图像进行图像拼接处理，获得拼接完成的图像。

优选地，还包括：

信息融合步骤：根据拼接完成的图像，结合激光雷达或者其他传感器获取的数据信息进行信息的融合处理，将融合后的信息用于自动驾驶车辆场景、障碍物识别；

所述数据信息包括：点云数据。

优选地，还包括：

图像输出步骤：将拼接完成的图像发送给车载显示屏或者发送给后台处理器；

所述后台服务器为车辆控制管理系统运行的服务器，用于车辆的远程控制。

优选地，所述图像的像素点的映射表指：相机图像像素点与拼接后图像像素点的映射关系查询表。

优选地，所述映射表获取步骤包括：

相机标定步骤：求解多个相机的几何模型参数；

图像畸变矫正步骤：由于透镜制造精度以及组装工艺的偏差会引入图像畸变，对多个相机获取的图像，通过畸变模型将畸变图像转换为非畸变图像，获得图像畸变矫正后的待拼接图像；

特征点提取和匹配：对待拼接图像进行特征点提取，提取到的特征点以特征向量表示，通过计算两两向量之间的距离确定待拼接图像序列中各特征点的匹配点对；

图像配准步骤：通过匹配点对，构建待拼接图像序列之间的变换矩阵；

图像拼接步骤：确定拼接后图像的基准坐标系，更新每个待拼接图像的变换矩阵，利用变换矩阵将待拼接图像序列映射到拼接后图像；

所述映射表即待拼接图像与拼接后图像之间的像素点映射关系。

根据本发明提供的一种图像拍摄拼接系统，包括：

相机安装模块：对多个相机进行标定接近安装，所述标定接近安装指在相机安装的时候保持相邻两相机的物理安装距离最近，从而保证两相机的光心距离最近；

映射表获取模块：通过安装的多个相机的位置，建立多个相机获取图像的像素点的映射表；

图像拼接模块：根据建立的图像的像素点的映射表，确定对应图像的图像拼接关系，并根据同一时刻多个相机分别拍摄的图像进行图像拼接处理，获得拼接完成的图像。

优选地，还包括：

信息融合模块：根据拼接完成的图像，结合激光雷达或者其他传感器获取的数据信息进行信息的融合处理，将融合后的信息用于自动驾驶车辆场景、障碍物识别；

所述数据信息包括：点云数据。

优选地，还包括：

图像输出模块：将拼接完成的图像发送给车载显示屏或者发送给后台处理器；

所述后台服务器为车辆控制管理系统运行的服务器，用于车辆的远程控制。

优选地，所述图像的像素点的映射表指：相机图像像素点与拼接后图像像素点的映射关系查询表。

优选地，所述映射表获取模块包括：

相机标定模块：求解多个相机的几何模型参数；

图像畸变矫正模块：由于透镜制造精度以及组装工艺的偏差会引入图像畸变，对多个相机获取的图像，通过畸变模型将畸变图像转换为非畸变图像，获得图像畸变矫正后的待拼接图像；

特征点提取和匹配：对待拼接图像进行特征点提取，提取到的特征点以特征向量表示，通过计算两两向量之间的距离确定待拼接图像序列中各特征点的匹配点对；

图像配准模块：通过匹配点对，构建待拼接图像序列之间的变换矩阵；

图像拼接模块：确定拼接后图像的基准坐标系，更新每个待拼接图像的变换矩阵，利用变换矩阵将待拼接图像序列映射到拼接后图像；

所述映射表即待拼接图像与拼接后图像之间的像素点映射关系。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过两个或者两个以上相机获取图像信息，扩大了视域。

2、本发明通过对两个或者两个以上相机的位置关系进行标定设置，提供了一种相机的标定设置方案。

3、通过对两个或者两个以上相机获取的图像进行近似拼接，减少了图像拼接的计算量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的多相机视域示意图。

图2为本发明提供的图像拍摄拼接方法流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种图像拍摄拼接方法，包括：

相机安装步骤：对多个相机进行标定接近安装，所述标定接近安装指在相机安装的时候保持相邻两相机的物理安装距离最近，从而保证两相机的光心距离最近；

映射表获取步骤：通过安装的多个相机的位置，建立多个相机获取图像的像素点的映射表；

图像拼接步骤：根据建立的图像的像素点的映射表，确定对应图像的图像拼接关系，并根据同一时刻多个相机分别拍摄的图像进行图像拼接处理，获得拼接完成的图像。

具体地，还包括：

信息融合步骤：根据拼接完成的图像，结合激光雷达或者其他传感器获取的数据信息进行信息的融合处理，将融合后的信息用于自动驾驶车辆场景、障碍物识别；

所述数据信息包括：点云数据。

具体地，还包括：

图像输出步骤：将拼接完成的图像发送给车载显示屏或者发送给后台处理器；

所述后台服务器为车辆控制管理系统运行的服务器，用于车辆的远程控制。

具体地，所述图像的像素点的映射表指：相机图像像素点与拼接后图像像素点的映射关系查询表。

具体地，所述映射表获取步骤包括：

相机标定步骤：求解多个相机的几何模型参数；

图像畸变矫正步骤：由于透镜制造精度以及组装工艺的偏差会引入图像畸变，对多个相机获取的图像，通过畸变模型将畸变图像转换为非畸变图像，获得图像畸变矫正后的待拼接图像；

特征点提取和匹配：对待拼接图像进行特征点提取，提取到的特征点以特征向量表示，通过计算两两向量之间的距离确定待拼接图像序列中各特征点的匹配点对；

图像配准步骤：通过匹配点对，构建待拼接图像序列之间的变换矩阵；

图像拼接步骤：确定拼接后图像的基准坐标系，更新每个待拼接图像的变换矩阵，利用变换矩阵将待拼接图像序列映射到拼接后图像；

所述映射表即待拼接图像与拼接后图像之间的像素点映射关系。

根据本发明提供的一种图像拍摄拼接系统，包括：

相机安装模块：对多个相机进行标定接近安装，所述标定接近安装指在相机安装的时候保持相邻两相机的物理安装距离最近，从而保证两相机的光心距离最近；

映射表获取模块：通过安装的多个相机的位置，建立多个相机获取图像的像素点的映射表；

图像拼接模块：根据建立的图像的像素点的映射表，确定对应图像的图像拼接关系，并根据同一时刻多个相机分别拍摄的图像进行图像拼接处理，获得拼接完成的图像。

具体地，还包括：

信息融合模块：根据拼接完成的图像，结合激光雷达或者其他传感器获取的数据信息进行信息的融合处理，将融合后的信息用于自动驾驶车辆场景、障碍物识别；

所述数据信息包括：点云数据。

具体地，还包括：

图像输出模块：将拼接完成的图像发送给车载显示屏或者发送给后台处理器；

所述后台服务器为车辆控制管理系统运行的服务器，用于车辆的远程控制。

具体地，所述图像的像素点的映射表指：相机图像像素点与拼接后图像像素点的映射关系查询表。

具体地，所述映射表获取模块包括：

相机标定模块：求解多个相机的几何模型参数；

图像畸变矫正模块：由于透镜制造精度以及组装工艺的偏差会引入图像畸变，对多个相机获取的图像，通过畸变模型将畸变图像转换为非畸变图像，获得图像畸变矫正后的待拼接图像；

特征点提取和匹配：对待拼接图像进行特征点提取，提取到的特征点以特征向量表示，通过计算两两向量之间的距离确定待拼接图像序列中各特征点的匹配点对；

图像配准模块：通过匹配点对，构建待拼接图像序列之间的变换矩阵；

图像拼接模块：确定拼接后图像的基准坐标系，更新每个待拼接图像的变换矩阵，利用变换矩阵将待拼接图像序列映射到拼接后图像；

所述映射表即待拼接图像与拼接后图像之间的像素点映射关系。

下面通过优选例，对本发明进行更为具体地说明。

优选例1：

本发明专利技术方案通过固定好两个相机的位置并建立两个相机获取图像的像素点的映射表，即该相机图像像素点与拼接后图像像素点的映射关系查询表，经由相机标定、图像畸变矫正、特征点提取、特征点匹配、图像配准等步骤计算得到，两个相机分别采集图像，根据映射表拼接对应图像。

映射表的获取过程如下：

1.相机标定：

求解相机几何模型参数的过程即为相机标定，常用方法例如张正友标定法。

2.图像畸变校正：

由于透镜制造精度以及组装工艺的偏差会引入图像畸变；通过畸变模型可将畸变图像转换为非畸变图像。

3.特征点提取和匹配：

一张图片所包含的特征点通常就是周围含有较大信息量的点，特征点提取常用方法例如surf(speededuprobustfeatures)算法；提取到的特征点以特征向量表示，可以通过计算两两向量之间的距离确定待拼接图像序列中各特征点的匹配点对。

4.图像配准：

通过匹配点对构建待拼接图像序列之间的变换矩阵，常用方法例如ransac(randomsampleconsesus)算法。

5.图像拼接：

确定拼接后图像的基准坐标系，更新每个待拼接图像的变换矩阵；利用变换矩阵将待拼接图像序列映射到拼接后图像。

6.映射表：

待拼接图像，经由畸变校正得到非畸变图像，再由变换矩阵映射到拼接后图像，映射表即待拼接图像与拼接后图像之间的像素点映射关系。

通过对两个或者两个以上的相机进行标定接近安装，以两个相机为例，分别为第一相机和第二相机，标定接近安装为在相机安装的时候保持相邻两相机的物理安装距离最近，从而保证两相机的光心距离最近。

进一步确定两个相机获取图像的像素点的映射表，根据映射表拼接对应的图像，生成拼接图像。

进一步，图像拼接模块根据相机获取图像的像素点的映射表确定对应图像的图像拼接关系，并根据同一时刻两个相机分别拍摄的图像进行图像拼接处理。

进一步，在保证前述相机标定安装与拼接的基础上，相机可以是三个或者三个以上。

进一步，图像拼接模块完成图像拼接之后可以将拼接完成的图像发送给信息融合模块，信息融合模块结合激光雷达或者其他传感器获取的信息进行信息的融合处理，即指拼接后图像数据信息与其它传感器获取数据信息(例如点云数据)进行融合处理。

进一步，图像拼接模块完成图像拼接之后可以将拼接完成的图像发送给车载显示屏，或者发送给后台处理器，后台服务器为车辆控制管理系统运行的服务器，用于车辆的远程控制。

镜头光心在物理上无法做到完全重合，则会导致两个镜头拍到的画面会有微小的差异，即：近处的物体与远处物体之间存在视差。拼接算法若选择在接缝处将近处物体拼好，则远处物体会出现“重影”，反之，近处物体则会缺失。

实际使用时虽无法做到物理上完全重合，但光心距离靠的尽量近，可以尽量减少这种影响。通过将两个相机标定接近安装，建立相机获取图像的像素点的映射表，在实际拼接的时候无需进行计算即可按照映射表进行图像拼接。

镜头光心在物理上无法做到完全重合，则会导致两个镜头拍到的画面会有微小的差异，即：近处的物体与远处物体之间存在视差。拼接算法若选择在接缝处将近处物体拼好，则远处物体会出现“重影”，反之，近处物体则会缺失。

实际使用时虽无法做到物理上完全重合，但光心距离靠的尽量近，可以尽量减少这种影响。通过将两个相机标定接近安装，建立相机获取图像的像素点的映射表，在实际拼接的时候无需进行计算即可按照映射表进行图像拼接。

优选例2：

本专利技术方案提供了一种图像拍摄拼接方法，如图2所示，通过设置相邻相机的位置关系，保证两相机光心距离最短，可以左右相邻设置也可以上下相邻设置，相机相机根据相机获取图像的像素点的映射表确定对应图像的拼接关系，根据拼接关系确定最后拼接输出的图像。

最优的，在自动驾驶车辆进行相机安装的时候，使一个相机在下，另一个相机在上，并用标定设备进行标定，保证两相机设备的光心距离最小，同时通过标定设备的标定，使两相机视域区间错位，使两相机视域有重叠或者边缘相接，建立两个相机获取图像的像素点的映射表。对标定好的相机进行机械固定，使其位置不会轻易变动。

相机图像拼接模块将同一时刻的第一相机拍摄的第一图像和第二相机拍摄的第二图像进行按照映射表拼接得到目标图像，将目标图像发送给车辆信息融合模块进行信息融合处理，用于自动驾驶车辆场景、障碍物识别。

同时，如图1所示，为了进一步扩大视域，可以设置三个或者三个以上的相机，其位置关系和拼接方案按照上述方案进行。

相机采集图像之后将图像发送给图像拼接模块，图像拼接模块根据映射表确定对应图像的图像拼接位置关系，并将同一时刻多个相机分别拍摄的图像进行图像拼接处理。

图像拼接模块完成图像拼接之后，可以将拼接完成的图像发送给信息融合模块，信息融合模块结合激光雷达或者其他传感器获取的信息进行信息的融合处理。同时激光雷达或者其他传感器识别的信息与拼接图像识别的信息存在较大误差的时候，可以将误差信息反馈给整车控制器，整车控制器将前述信息反馈给后台，便于在相机安装位置存在误差的时候，及时反馈重新标定。

图像拼接模块完成图像拼接之后可以将拼接完成的图像发送给车载显示屏，或者发送给后台。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。