长短焦图像融合方法、装置、电子设备及存储介质与流程

1.本技术涉及自动驾驶技术领域，特别涉及一种长短焦图像融合方法、装置、电子设备及存储介质。


背景技术：

2.随着科技的飞速发展，自动驾驶技术的稳步发展已经成为了趋势，同时由于硬件平台和算法的快速发展，自动驾驶级别也越来越高，逐步向l3、l4阶段跨进，因此，车辆的自动驾驶技术需要更好的安全性，能够精确识别车辆周围的目标和障碍物。
3.然而，相关技术中针对远距离、小目标的识别和检测图像算法存在检出率低、稳定性差等问题。


技术实现要素：

4.本技术提供一种长短焦图像融合方法、装置、电子设备及存储介质，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率。
5.本技术第一方面实施例提供一种长短焦图像融合方法，包括以下步骤：建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将所述第一多层图像金字塔的顶层图像与所述第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像；按照预设放大倍数放大所述最佳匹配区域图像，并将放大后的所述最佳匹配区域图像和所述长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取所述匹配特征点的初始仿射变换关系；根据所述初始仿射变换关系和所述匹配特征点确定最终仿射变换关系，并基于所述最终映射变换关系，将所述长焦图像映射到所述短焦图像进行长短焦图像融合。
6.根据上述技术手段，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率，通过获取图像金字塔，提高算法的时效性。
7.进一步地，所述根据所述初始仿射变换关系和所述匹配特征点确定最终仿射变换关系，并基于所述最终映射变换关系，包括：通过所述初始仿射变换关系约束所述匹配特征点，并剔除所述匹配特征点中不满足第一预设条件的异常匹配特征点，得到目标匹配特征点；根据所述目标匹配特征点获取目标仿射变换关系，且通过所述目标仿射变换关系对所述目标匹配特征点重投影，根据重投影结果剔除不满足第二预设条件的匹配特征点，得到最优匹配特征点；根据所述最优匹配特征点获取所述最终仿射变换关系。
8.根据上述技术手段，通过获取最终仿射映射关系，提高识别融合图像的准确率。
9.进一步地，所述将所述第一多层图像金字塔的顶层图像与所述第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像，包括：缩放所述第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像；将所述长焦顶层缩放图像与所述第二多层图像金
字塔的顶层图像中相似度最大区域作为所述最佳匹配区域图像。
10.根据上述技术手段，通过获取的最佳匹配区域图像，提高了特征匹配的精度和准确性，又提高了实时性。
11.进一步地，所述缩放所述第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像，包括：根据长焦图像的长焦视场和短焦图像的短焦视场确定尺度缩放系数；根据所述尺度缩放系数缩放所述第一多层图像金字塔的顶层图像，得到所述长焦顶层缩放图像。
12.根据上述技术手段，将长焦金字塔图像的顶层图像进行尺度缩放为了与短焦金字塔图像基本保持在同一尺度上，便于后续相似度求取。
13.进一步地，采用预设的归一化相关性度量函数，确定所述所述第一多层图像金字塔的顶层图像与所述第二多层图像金字塔的顶层图像相似度最大区域。
14.根据上述技术手段，对两幅图像进行相似度的度量，采用预设的归一化相关性度量函数为更精确的获得数据。
15.本技术第二方面实施例提供一种长短焦图像融合装置，包括：建立模块，用于建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将所述第一多层图像金字塔的顶层图像与所述第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像；获取模块，用于按照预设放大倍数放大所述最佳匹配区域图像，并将放大后的所述最佳匹配区域图像和所述长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取所述匹配特征点的初始仿射变换关系；融合模块，用于根据所述初始仿射变换关系和所述匹配特征点确定最终仿射变换关系，并基于所述最终映射变换关系，将所述长焦图像映射到所述短焦图像进行长短焦图像融合。
16.进一步地，所述融合模块，具体用于：通过所述初始仿射变换关系约束所述匹配特征点，并剔除所述匹配特征点中不满足第一预设条件的异常匹配特征点，得到目标匹配特征点；根据所述目标匹配特征点获取目标仿射变换关系，且通过所述目标仿射变换关系对所述目标匹配特征点重投影，根据重投影结果剔除不满足第二预设条件的匹配特征点，得到最优匹配特征点；根据所述最优匹配特征点获取所述最终仿射变换关系。
17.进一步地，所述建立模块，具体用于：缩放所述第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像；将所述长焦顶层缩放图像与所述第二多层图像金字塔的顶层图像中相似度最大区域作为所述最佳匹配区域图像。
18.进一步地，所述建立模块，还用于：根据长焦图像的长焦视场和短焦图像的短焦视场确定尺度缩放系数；根据所述尺度缩放系数缩放所述第一多层图像金字塔的顶层图像，得到所述长焦顶层缩放图像。
19.进一步地，采用预设的归一化相关性度量函数，确定所述所述第一多层图像金字塔的顶层图像与所述第二多层图像金字塔的顶层图像相似度最大区域。
20.本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的长短焦图像融合方法。
21.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的长短焦图像融合方法。
22.由此，本技术通过建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图
像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像，并按照预设放大倍数放大最佳匹配区域图像，将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取初始仿射变换关系，根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。由此，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率。
23.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
24.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
25.图1为根据本技术实施例提供的一种长短焦图像融合方法的流程图；
26.图2为根据本技术一个实施例的双摄融合的算法的流程图；
27.图3为根据本技术一个实施例的相似度匹配方法的示意图；
28.图4为根据本技术实施例的长短焦图像融合装置的方框示意图；
29.图5为根据本技术实施例的车辆的结构示意图。
30.附图标记说明：10-长短焦图像融合装置、100-建立模块、200-获取模块、300-融合模块、503-通信接口、501-存储器、502-处理器。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参考附图描述本技术实施例的长短焦图像融合方法、装置、电子设备及存储介质。针对上述背景技术中提到的相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，本技术提供了一种长短焦图像融合方法，在该方法中，建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像；按照预设放大倍数放大最佳匹配区域图像，并将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取匹配特征点的初始仿射变换关系；根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。由此，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率。
33.具体而言，图1为本技术实施例所提供的一种长短焦图像融合方法的流程示意图。
34.如图1所示，该长短焦图像融合方法包括以下步骤：
35.在步骤s101中，建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最
大区域作为最佳匹配区域图像。
36.本领域技术人员应该理解到的是，图像金字塔是由一幅图像的多个不同分辨率的子图构成的图像集合，是通过一个图像不断的降低采样率产生。本技术时实施例通过长焦摄像头拍摄获取长焦图像，用短焦摄像头拍摄获取短焦图像，可以通过向上采样的方式或者向下采样的方式获取长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔。
37.可选地，在一些实施例中，将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像，包括：缩放第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像；将长焦顶层缩放图像与第二多层图像金字塔的顶层图像中相似度最大区域作为最佳匹配区域图像。
38.其中，在一些实施例中，缩放第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像，包括：根据长焦图像的长焦视场和短焦图像的短焦视场确定尺度缩放系数；根据尺度缩放系数缩放第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像。
39.具体地，如图2所示，首先获取长焦摄像头和短焦摄像头的焦距，得到长焦摄像头拍摄区域的长焦视场和短焦摄像头拍摄区域的短焦视场，根据长焦视场和短焦视场的比例确定尺度缩放系数，将长焦图像的第一多层图像金字塔进行尺度缩放，得到顶层缩放图像，记为图像a，并获取第二多层图像金字塔的顶层图像，记为图像b。
40.可选地，在一些实施例中，采用预设的归一化相关性度量函数，确定第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域。
41.进一步，如图3所示，采用预设的归一化相关性度量函数，将长焦顶层缩放图像(即图像a)在第二多层图像金字塔的顶层图像(即图像b)中进行遍历，获取相似度图像，并计算相似度图像中的最大值，便是相似度最大区域，将相似度最大区域作为最佳匹配区域图像。
42.在步骤s102中，按照预设放大倍数放大最佳匹配区域图像，并将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取匹配特征点的初始仿射变换关系。
43.其中，预设放大倍数可以是用户预先设定的阈值，可以是通过有限次实验获取的阈值，也可以是通过有限次计算机仿真得到的阈值，为方便理解，本技术实施例将预设放大倍数设置为1.2倍。
44.具体地，将最佳匹配区域图像进放大变换，本技术实施例将最佳匹配区域图像放大1.2倍，得到放大后的最佳匹配区域图像，将放大后的最佳匹配区域图像和长焦顶层缩放图像特征点进行匹配，获取放大后的最佳匹配区域图像和长焦顶层缩放图像的匹配特征点，利用匹配的特征点获取长焦顶层缩放图像与短焦第二多层图像金字塔的顶层图像初始仿射变换关系。其中，图像特征点可以为角点、交点、边缘点，特征点的属性有特征点周围影像的灰度值及分布，也可以是与周围特征点的关系、不变矩及角度等特征参数，本技术实施例可以根据不同的特征点参数进行特征点匹配。
45.在步骤s103中，根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。
46.可选地，在一些实施例中，根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，包括：通过初始仿射变换关系约束匹配特征点，并剔除
匹配特征点中不满足第一预设条件的异常匹配特征点，得到目标匹配特征点；根据目标匹配特征点获取目标仿射变换关系，且通过目标仿射变换关系对目标匹配特征点重投影，根据重投影结果剔除不满足第二预设条件的匹配特征点，得到最优匹配特征点；根据最优匹配特征点获取最终仿射变换关系。
47.本领域技术人员应该理解到的是，本技术实施例从初始仿射变换关系获取变换矩阵匹配特征点的约束条件，采用随机一致算法剔除不满足第一约束条件的特征匹配点，得到目标匹配特征点，重新计算目标仿射变换关系，采用目标仿射变换关系匹配特征点重投影，计算其重投影误差，将各个匹配特征点的重投影误差进行从小到大的排序，保留误差较小的40％特征匹配点，作为最优匹配特征点，并重新计算长短焦图像的仿射变换关系，作为长焦顶层缩放图像与第二多层图像金字塔的顶层图像的最终仿射变换关系。
48.根据最终映射变换关系，将长焦相机的长焦图像映射到短焦相机的短焦图像，然后将短焦和长焦的目图像进行融合。
49.根据本技术实施例提出的长短焦图像融合方法，通过建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像，并按照预设放大倍数放大最佳匹配区域图像，将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取初始仿射变换关系，根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。由此，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率。
50.其次参照附图描述根据本技术实施例提出的长短焦图像融合装置。
51.图4是本技术实施例的长短焦图像融合装置的方框示意图。
52.如图4所示，该长短焦图像融合装置10包括：建立模块100、获取模块200和融合模块300。
53.其中，建立模块100，用于建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像；获取模块200，用于按照预设放大倍数放大最佳匹配区域图像，并将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取匹配特征点的初始仿射变换关系；融合模块300，用于根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。
54.可选地，在一些实施例中，融合模块300，具体用于：通过初始仿射变换关系约束匹配特征点，并剔除匹配特征点中不满足第一预设条件的异常匹配特征点，得到目标匹配特征点；根据目标匹配特征点获取目标仿射变换关系，且通过目标仿射变换关系对目标匹配特征点重投影，根据重投影结果剔除不满足第二预设条件的匹配特征点，得到最优匹配特征点；根据最优匹配特征点获取最终仿射变换关系。
55.可选地，在一些实施例中，建立模块100，具体用于：缩放第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像；将长焦顶层缩放图像与第二多层图像金字塔的顶层图像中相似度最大区域作为最佳匹配区域图像。
56.可选地，在一些实施例中，建立模块100，还用于：根据长焦图像的长焦视场和短焦图像的短焦视场确定尺度缩放系数；根据尺度缩放系数缩放第一多层图像金字塔的顶层图像，得到长焦顶层缩放图像。
57.可选地，在一些实施例中，采用预设的归一化相关性度量函数，确定第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域。
58.需要说明的是，前述对长短焦图像融合方法实施例的解释说明也适用于该实施例的长短焦图像融合装置，此处不再赘述。
59.根据本技术实施例提出的长短焦图像融合装置，通过建立长焦图像的第一多层图像金字塔和短焦图像的第二多层图像金字塔，并将第一多层图像金字塔的顶层图像与第二多层图像金字塔的顶层图像相似度最大区域作为最佳匹配区域图像，并按照预设放大倍数放大最佳匹配区域图像，将放大后的最佳匹配区域图像和长焦顶层缩放图像进行特征点匹配，得到匹配特征点，并获取初始仿射变换关系，根据初始仿射变换关系和匹配特征点确定最终仿射变换关系，并基于最终映射变换关系，将长焦图像映射到短焦图像进行长短焦图像融合。由此，解决了相关技术中长短焦相机检测远距离、小目标物体准确率低的问题，提高了远距离、小目标的检测准确率。
60.图5为本技术实施例提供的车辆的结构示意图。该电子设备可以包括：
61.存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
62.处理器502执行程序时实现上述实施例中提供的长短焦图像融合方法。
63.进一步地，电子设备还包括：
64.通信接口503，用于存储器501和处理器502之间的通信。
65.存储器501，用于存放可在处理器502上运行的计算机程序。
66.存储器501可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
67.如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
68.可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
69.处理器502可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
70.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的长短焦图像融合方法。
71.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
72.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
73.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
74.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
75.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
76.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。