基于深度学习的双输入模型的自动聚焦方法、装置及设备与流程

本发明涉及人工智能领域，更具体地，涉及一种基于深度学习的双输入模型的自动聚焦方法、装置及设备。

背景技术：

1、在计算机视觉领域，获得清晰的图片是后续图像分析的重要前提，而为了获得清晰的图片，则需要在拍摄图像时进行良好的聚焦。

2、目前常用的聚焦算法包括：

3、对比度聚焦算法：通过计算图像中不同区域的对比度来确定焦点位置。算法会在不同的焦距下计算图像对比度，并选择对比度最高的图像作为最佳聚焦位置。

4、边缘检测聚焦算法：基于图像中的边缘信息来确定焦点位置。算法会计算图像中各个位置的边缘强度，并选择边缘最为清晰的位置作为聚焦位置。

5、频谱聚焦算法：通过分析图像中不同频率的成分，选择频率最高的位置作为聚焦位置。

6、上述聚焦算法只是单单统计这张图直方图、梯度等特征，没有大规模学习历史图片参数，容易受到外界环境的干扰，例如在室外强光、夜间或者有灯光时聚焦效果较差。

技术实现思路

1、本发明提供一种基于深度学习的双输入模型的自动聚焦方法、装置及设备，以改善上述问题。

2、本发明第一实施例提供了一种基于深度学习的双输入模型的自动聚焦方法，其包括：

3、获取摄像头采集的视频流的当前帧图像以及上一帧图像；

4、将所述当前帧图像与所述上一帧图像分别通过轻量级backbone网络，以获取当前帧图像的第一特征图以及上一帧图像的第二特征图；

5、将所述第一特征图与所述第二特征图输入至合并层，以得到合并特征；

6、将所述合并特征依次经过第一卷积层、注意力层以及第二卷积层，输出得到当前帧图像以及上一帧图像的清晰度；

7、根据当前帧图像以及上一帧图像的清晰度，控制摄像头的电机的步进，以对所述摄像头进行自动聚焦。

8、优选地，所述第一卷积层用于对所述合并特征进行卷积，所述注意力层用于对卷积后的合并特征进行聚焦，所述第二卷积层用于降低聚焦后的合并特征的维数与学习特征的参数。

9、优选地，所述合并层将第一特征图与所述第二特征图在通道方向上进行连接得到合并特征。

10、优选地，设定图像清晰度的范围为1-100，且数值越高，清晰度越高；则根据当前帧图像以及上一帧图像的清晰度，控制摄像头的电机的步进，以对所述摄像头进行聚焦，具体包括：

11、若50>x2>x1，则控制电机加速，并沿第一方向运行第一步数，以对所述摄像头进行聚焦；其中，x2为当前帧图像的清晰度，x1为上一帧图像的清晰度；

12、若90>x2>x1>50,则控制电机沿第一方向运行第二步数，以对所述摄像头进行聚焦；

13、若x2>x1>90，则控制电机运动沿第一方向运行第三步数，以使得摄像头靠近清晰区域；其中，第一步数大于第二步数大于第三步数。

14、优选地，还包括：

15、若50>x1>x2，则控制电机加速，并沿第二方向运行第一步数，以对所述摄像头进行聚焦；

16、若90>x1>x2>50,则控制电机沿第二方向运行第二步数，以对所述摄像头进行聚焦；

17、若x1>x2>90，则控制电机运动沿第二方向运行第三步数，以使得摄像头靠近清晰区域；其中，第一方向与第二方向反向。

18、优选地，还包括：

19、获取训练数据集，其中，所述训练数据集包括多个图像对，每个图像对包括两张图像以及其对应的清晰度；两种图像的清晰度不同；

20、将所述图像对的两张图像作为输入，其对应的两个清晰度作为输出，对模型进行训练，获得训练后的模型。

21、本发明实施例还提供了一种基于深度学习的双输入模型的自动聚焦装置，其包括：

22、图像获取单元，用于获取摄像头采集的视频流的当前帧图像以及上一帧图像；

23、特征提取单元，用于将所述当前帧图像与所述上一帧图像分别通过轻量级backbone网络，以获取当前帧图像的第一特征图以及上一帧图像的第二特征图；

24、特征合并单元，用于将所述第一特征图与所述第二特征图输入至合并层，以得到合并特征；

25、清晰度输出单元，用于将所述合并特征依次经过第一卷积层、注意力层以及第二卷积层，输出得到当前帧图像以及上一帧图像的清晰度；

26、电机控制单元，用于根据当前帧图像以及上一帧图像的清晰度，控制摄像头的电机的步进，以对所述摄像头进行自动聚焦。

27、优选地，设定图像清晰度的范围为1-100；则电机控制单元具体用于：

28、若50>x2>x1，则控制电机加速，并沿第一方向运行第一步数，以对所述摄像头进行聚焦；其中，x2为当前帧图像的清晰度，x1为上一帧图像的清晰度；

29、若90>x2>x1>50,则控制电机沿第一方向运行第二步数，以对所述摄像头进行聚焦；

30、若x2>x1>90，则控制电机运动沿第一方向运行第三步数，以使得摄像头靠近清晰。

31、优选地，电机控制单元还用于：

32、若50>x1>x2，则控制电机加速，并沿第二方向运行第一步数，以对所述摄像头进行聚焦；

33、若90>x1>x2>50,则控制电机沿第二方向运行第二步数，以对所述摄像头进行聚焦；

34、若x1>x2>90，则控制电机运动沿第二方向运行第三步数，以使得摄像头靠近清晰区域；其中，第一方向与第二方向反向。

35、本发明实施例还提供了一种基于深度学习的双输入模型的自动聚焦设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的基于深度学习的双输入模型的自动聚焦方法。

36、本实施例通过基于深度学习的轻量级模型对前后两帧图像的清晰度进行识别，再根据两帧图像的清晰度的变化来实现对摄像头的自动聚焦，可以实现快速聚焦，且能够克服现有技术在室外、夜间、有灯光时聚焦效果差，图像统计变化太局限以及干扰性强等缺陷。

技术特征：

1.一种基于深度学习的双输入模型的自动聚焦方法，其特征在于，包括：

2.根据权利要求1所述的基于深度学习的双输入模型的自动聚焦方法，其特征在于，所述第一卷积层用于对所述合并特征进行卷积，所述注意力层用于对卷积后的合并特征进行聚焦，所述第二卷积层用于降低聚焦后的合并特征的维数与学习特征的参数。

3.根据权利要求1所述的基于深度学习的双输入模型的自动聚焦方法，其特征在于，所述合并层将第一特征图与所述第二特征图在通道方向上进行连接得到合并特征。

4.根据权利要求1所述的基于深度学习的双输入模型的自动聚焦方法，其特征在于，设定图像清晰度的范围为1-100，且数值越高，清晰度越高；则根据当前帧图像以及上一帧图像的清晰度，控制摄像头的电机的步进，以对所述摄像头进行聚焦，具体包括：

5.根据权利要求4所述的基于深度学习的双输入模型的自动聚焦方法，其特征在于，还包括：

6.根据权利要求1所述的基于深度学习的双输入模型的自动聚焦方法，其特征在于，还包括：

7.一种基于深度学习的双输入模型的自动聚焦装置，其特征在于，包括：

8.根据权利要求7所述的基于深度学习的双输入模型的自动聚焦装置，其特征在于，设定图像清晰度的范围为1-100，且数值越高，清晰度越高；则电机控制单元具体用于：

9.根据权利要求8所述的基于深度学习的双输入模型的自动聚焦装置，其特征在于，电机控制单元还用于：

10.一种基于深度学习的双输入模型的自动聚焦设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所述的基于深度学习的双输入模型的自动聚焦方法。

技术总结
本发明公开一种基于深度学习的双输入模型的自动聚焦方法、装置及设备，方法包括：获取摄像头采集的视频流的当前帧图像以及上一帧图像；将所述当前帧图像与所述上一帧图像分别通过轻量级Backbone网络，以获取当前帧图像的第一特征图以及上一帧图像的第二特征图；将所述第一特征图与所述第二特征图输入至合并层，以得到合并特征；将所述合并特征依次经过第一卷积层、注意力层以及第二卷积层，输出得到当前帧图像以及上一帧图像的清晰度；根据当前帧图像以及上一帧图像的清晰度，控制摄像头的电机的步进，以对所述摄像头进行自动聚焦。本发明可以实现快速聚焦，且能够克服现有技术在室外、夜间、灯光时聚焦效果差，图像统计变化太局限以及干扰性强等缺陷。

技术研发人员：唐仕斌,陈淑武,蓝发财,彭府,林建立,曾原野,林怡彬
受保护的技术使用者：厦门四信通信科技有限公司
技术研发日：
技术公布日：2024/3/17