一种自适应双光融合方法及装置与流程

本发明实施例涉及图像处理领域，尤其涉及一种自适应双光融合方法及装置。

背景技术：

1、在如今的信息时代，车载摄像头在自动驾驶技术中发挥着重要作用。目前的车载摄像头包括可见光摄像头和红外光摄像头两种，其中，可见光摄像头和红外光摄像头各有各的长处和痛点。例如，对于可见光摄像头，其在夜晚、恶劣天气(雨、雾天气等)等场景下，在图像亮度、清晰度等方面表现欠佳，在阳光、路灯等光源照耀场景下，容易发生高亮区域过曝。对于红外光摄像头，其对车牌、红绿灯等同温不同色的标识，有明显的成像短板，区分不明，并且部分低温区域会显示一片黑，以及被玻璃阻挡的部分无法进行红外成像。

2、基于此，可见光和红外光的双光融合技术开始发展起来。然而，目前的双光融合技术中，对于不同的场景均按照统一的融合参数进行可见光图像和红外光图像的融合，而不同的场景下成像条件(例如光照)必然有所不同，这就很容易导致双光融合结果不够理想。

技术实现思路

1、鉴于此，为解决上述的技术问题，本发明实施例提供一种自适应双光融合方法及装置。

2、第一方面，本发明实施例提供一种自适应双光融合方法，包括：

3、获取热红外图像采集设备和可见光图像采集设备采集同一场景的热红外图像和可见光图像；

4、从所述热红外图像中提取出第一决策数据，以及从所述可见光图像中提取出第二决策数据；

5、获取所述场景的场景数据；

6、基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，以利用所述目标双光融合参数对所述热红外图像和所述可见光图像进行融合，得到双光融合图像。

7、在一可能的实施方式中，所述基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，包括：

8、基于所述第一决策数据，确定所述热红外图像对应的第一双光融合参数；

9、基于所述第二决策数据，确定所述可见光图像对应的第二双光融合参数；

10、基于所述场景数据，确定所述场景对应的第三双光融合参数；

11、对所述第一双光融合参数、所述第二双光融合参数，以及所述第三双光融合参数进行拟合，将拟合结果确定为所述目标双光融合参数。

12、在一可能的实施方式中，所述第一决策数据包括所述热红外图像的多个第一特征数据，所述基于所述第一决策数据，确定所述热红外图像对应的第一双光融合参数，包括：

13、确定每个所述第一特征数据对应的双光融合参数；

14、对每个所述第一特征数据对应的双光融合参数进行拟合，将拟合结果确定为所述热红外图像对应的第一双光融合参数；

15、所述第二决策数据包括所述可见光图像的多个第二特征数据，所述基于所述第一决策数据，确定所述可见光图像对应的第二双光融合参数，包括：

16、确定每个所述第二特征数据对应的双光融合参数；

17、对每个所述第二特征数据对应的双光融合参数进行拟合，将拟合结果确定为所述可见光图像对应的第二双光融合参数；

18、所述场景数据包括所述场景的多个场景特征数据，所述基于所述场景数据，确定所述场景对应的第三双光融合参数，包括：

19、确定每个所述场景特征数据对应的双光融合参数；

20、对每个所述场景特征数据对应的双光融合参数进行拟合，将拟合结果确定为所述场景对应的第三双光融合参数。

21、在一可能的实施方式中，所述基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，包括：

22、将所述第一决策数据、所述第二决策数据，以及所述场景数据输入至训练好的智能模型，得到所述智能模型输出的目标双光融合参数。

23、在一可能的实施方式中，所述智能模型通过以下方式训练得到：

24、获取训练样本，所述训练样本包括热红外训练图像对应的第三决策数据、可见光训练图像对应的第四决策数据、训练场景的训练场景数据，以及所述热红外训练图像和所述可见光训练图像对应于所述训练场景的最优双光融合参数；

25、利用所述训练样本对初始模型进行训练，得到所述智能模型。

26、在一可能的实施方式中，所述热红外训练图像和所述可见光训练图像对应于所述训练场景的最优双光融合参数通过以下方式得到：

27、基于所述热红外训练图像对应的第三决策数据，确定所述热红外训练图像对应的第四双光融合参数；

28、基于所述可见光训练图像对应的第四决策数据，确定所述可见光训练图像对应的第五双光融合参数；

29、基于所述训练场景的训练场景数据，确定所述训练场景对应的第六双光融合参数；

30、对所述第四双光融合参数、所述第五双光融合参数，以及所述第六双光融合参数进行拟合，将拟合结果确定为所述热红外训练图像和所述可见光训练图像对应于所述训练场景的最优双光融合参数。

31、在一可能的实施方式中，所述热红外图像采集设备和所述可见光图像采集设备安装于车辆上，所述场景为道路场景，所述场景数据至少包括所述车辆的颠簸参数。

32、第二方面，本发明实施例提供一种自适应双光融合装置，包括：

33、双光图像获取模块，用于获取热红外图像采集设备和可见光图像采集设备采集同一场景的热红外图像和可见光图像；

34、决策数据提取模块，用于从所述热红外图像中提取出第一决策数据，以及从所述可见光图像中提取出第二决策数据；

35、场景数据获取模块，用于获取所述场景的场景数据；

36、双光融合模块，用于基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，以利用所述目标双光融合参数对所述热红外图像和所述可见光图像进行融合，得到双光融合图像。

37、第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的自适应双光融合程序，以实现第一方面中任一项所述的自适应双光融合方法。

38、第四方面，本发明实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的自适应双光融合方法。

39、本发明实施例提供的技术方案，通过从热红外图像中提取出第一决策数据，从可见光图像中提取出第二决策数据，以及获取当前场景的场景数据，基于第一决策数据、第二决策数据，以及场景数据共同来确定目标双光融合参数，以利用目标双光融合参数对热红外图像和所述可见光图像进行融合，得到双光融合图像，实现了有针对性且自适应地确定出符合当下实际场景的双光融合参数，这一方案不仅具有智能性，还能够在不同的场景下提升最终的双光融合效果。

技术特征：

1.一种自适应双光融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一决策数据包括所述热红外图像的多个第一特征数据，所述基于所述第一决策数据，确定所述热红外图像对应的第一双光融合参数，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，包括：

5.根据权利要求4所述的方法，其特征在于，所述智能模型通过以下方式训练得到：

6.根据权利要求5所述的方法，其特征在于，所述热红外训练图像和所述可见光训练图像对应于所述训练场景的最优双光融合参数通过以下方式得到：

7.根据权利要求1所述的方法，其特征在于，所述热红外图像采集设备和所述可见光图像采集设备安装于车辆上，所述场景为道路场景，所述场景数据至少包括所述车辆的颠簸参数。

8.一种自适应双光融合装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的自适应双光融合程序，以实现权利要求1～7中任一项所述的自适应双光融合方法。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述的自适应双光融合方法。

技术总结
本发明实施例涉及一种自适应双光融合方法及装置，包括：获取热红外图像采集设备和可见光图像采集设备采集同一场景的热红外图像和可见光图像；从所述热红外图像中提取出第一决策数据，以及从所述可见光图像中提取出第二决策数据；获取所述场景的场景数据；基于所述第一决策数据、所述第二决策数据，以及所述场景数据，确定目标双光融合参数，以利用所述目标双光融合参数对所述热红外图像和所述可见光图像进行融合，得到双光融合图像。由此，可以实现有针对性且自适应地确定出符合当下实际场景的双光融合参数，这一方案不仅具有智能性，还能够在不同的场景下提升最终的双光融合效果。

技术研发人员：向买阳,谌安军,徐庆
受保护的技术使用者：北京瞰瞰智域科技有限公司
技术研发日：
技术公布日：2024/1/13