一种鱼眼相机的图像融合拼接方法、系统及电子设备与流程

本发明涉及图像处理，更具体地，涉及一种鱼眼相机的图像融合拼接方法、系统及电子设备。

背景技术：

1、随着计算机视觉技术的快速发展，图像融合拼接已经成为计算机视觉领域里的热门研究课题。鱼眼相机以其超广角的视野和良好的透视表现能力，越来越被广泛应用于智能监控、智能交通、虚拟现实等多个领域，对于需要拍摄大景观或者行人、车辆等多目标的应用场景具有重要意义。但是，由于鱼眼镜头在映射图像时存在着很大的畸变，因此在实际应用中，需要对鱼眼相机所拍摄的图像进行校正和拼接，以便进行后续处理，如目标检测、视频编码等。

2、目前，常见的图像融合拼接方法主要有以下几种：基于特征点的拼接、基于变形模型的拼接、基于卷积神经网络的拼接等。这些方法在一定程度上能够实现对鱼眼相机拍摄的图像的校正和拼接，但是在实际应用中，仍然存在着一定的缺陷，如图像拼接的结果不够自然、所需时间过长、计算量过大等问题。因此，有必要设计一种更优的鱼眼相机图像的处理方法。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种鱼眼相机的图像融合拼接方法、系统及电子设备，其能准确、快速地对鱼眼相机拍摄的图像进行校正和拼接，使得图像拼接结果更加自然、精细，且计算时间相对较短。

2、根据本发明的第一方面，提供了一种鱼眼相机的图像融合拼接方法，包括：

3、对沿标定车周向拍摄的各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；

4、以标定车的轮廓为基准，将每张所述鸟瞰图切割为中间静态区域以及左、右重叠区域，计算相邻视角鸟瞰图的重叠区域轮廓；

5、计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；

6、将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。

7、在上述技术方案的基础上，本发明还可以作出如下改进。

8、可选的，对鱼眼视图进行预处理，至少包括：去除图像噪声，对图像进行直方图均衡化。

9、可选的，对图像进行校正与映射，包括：

10、使用基于opencv库的鱼眼相机对图像进行校正，使用映射库对图像进行映射。

11、可选的，将鱼眼图转换为鸟瞰图，包括：

12、在每个矫正后鱼眼图像的感兴趣区域选取多个固定角点；

13、预先设定鸟瞰图视图，将其左上角作为坐标原点，假设表征上下方向的轴z＝0，依次计算每个鱼眼图像里所述角点对应的物理点坐标；

14、利用上述自定义的多个所述角点分别计算每个鱼眼视图的逆透视变换矩阵，根据所述逆透视变换矩阵将鱼眼视图转换成鸟瞰图。

15、可选的，将校正后的各鱼眼视图转换为鸟瞰图后，还包括：

16、对所述鸟瞰图进行亮度动态平滑处理。

17、可选的，计算相邻视角鸟瞰图的重叠区域轮廓之前，还包括，对相邻视角的鱼眼鸟瞰图的重叠区域做预处理，至少包括灰度化、二值化、滤波。

18、可选的，所述将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图，包括：

19、按照预设的像素与物理尺度比例，定义全景鸟瞰图mask；

20、依次将每个视角下分割的中间静态区域图像与对应融合后的重叠区域图像填充到mask图，得到车身全景图。

21、根据本发明的第二方面，提供一种鱼眼相机的图像融合拼接系统，包括：

22、矫正转换模块，用于对沿标定车周向拍摄的各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；

23、切割模块，用于以标定车的轮廓为基准，将每张所述鸟瞰图切割为中间静态区域以及左、右重叠区域，并计算相邻视角鸟瞰图的重叠区域轮廓；

24、融合模块，用于计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，还用于将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；

25、拼接模块，用于将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。

26、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述鱼眼相机的图像融合拼接方法的步骤。

27、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述鱼眼相机的图像融合拼接方法的步骤。

28、本发明提供的一种鱼眼相机的图像融合拼接方法、系统、电子设备及存储介质，该技术通过采集多个摄像头的鱼眼图像数据，利用数字图像处理技术，能够准确、快速地对鱼眼相机拍摄的图像进行畸变校正后并无缝融合拼接，得到全方位、高清晰度、无死角的全景图像。本发明使得图像拼接结果更加自然、精细，且计算时间相对较短。

技术特征：

1.一种鱼眼相机的图像融合拼接方法，其特征在于，包括：

2.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，对鱼眼视图进行预处理，至少包括：去除图像噪声，对图像进行直方图均衡化。

3.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，对图像进行校正与映射，包括：

4.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，将鱼眼图转换为鸟瞰图，包括：

5.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，将校正后的各鱼眼视图转换为鸟瞰图后，还包括：

6.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，计算相邻视角鸟瞰图的重叠区域轮廓之前，还包括，对相邻视角的鱼眼鸟瞰图的重叠区域做预处理，至少包括灰度化、二值化、滤波。

7.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，所述将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图，包括：

8.一种鱼眼相机的图像融合拼接系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的鱼眼相机的图像融合拼接方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的鱼眼相机的图像融合拼接方法的步骤。

技术总结
本发明提供一种鱼眼相机的图像融合拼接方法、系统及电子设备，包括对各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；以标定车的轮廓为基准，将每张鸟瞰图切割为中间静态区域以及左、右重叠区域，计算相邻视角鸟瞰图的重叠区域轮廓；计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。本发明能够准确、快速地对鱼眼相机拍摄的图像进行校正、融合和拼接，使得图像拼接结果更加自然、精细，且计算时间相对较短。

技术研发人员：乔少华,李汉玢,尹玉成,刘奋
受保护的技术使用者：武汉中海庭数据技术有限公司
技术研发日：
技术公布日：2024/1/15