一种基于无参考结构清晰度的自动调焦方法与流程

本发明属于自动调焦技术领域，具体涉及一种基于无参考结构清晰度的自动调焦方法。

背景技术：

在微循环监测领域，获取清晰的医学图像至关重要，这对调焦精度和实时性提出了很高的要求。传统的手动调焦过分依赖人眼的判断，要得到清晰的图像需要反复手动操作，直到获得看似清晰的图像，由于人眼的反应速度受到一定的限制，调焦的精度难以保证。近些年，随着计算机硬件水平以及数字图像处理技术的不断发展，基于数字图像处理的自动调焦技术开始蓬勃发展起来。

现有技术的数字图像处理自动调焦技术从与传统的自动调焦技术完全不同的角度出发，直接针对拍摄的图像采用图像处理技术，对图像进行成像质量的清晰度评价，得到系统当前的对焦状态，然后，通过驱动机构调整成像系统镜头的焦距，从而实现自动调焦。

然而，现有的自动调焦技术应用于医学图像领域还存在各种缺陷，例如，对焦精确度不够高，易对焦失误；对焦稳定性不强，易受环境影响，导致图像容易失真；对焦速度低，不能满足微循环图像监测对于实时性的要求等。

技术实现要素：

本发明的目的在于克服现有技术的不足之处，提供一种基于无参考结构清晰度的自动调焦方法，利用下采样法对图像进行图像预处理，具有较强的鲁棒性，不会出现不可处理的图像或清晰度评估失真的结果，且节省计算时间，很好的满足了微循环监测对于自动调焦的实时性要求，其通过以下技术方案实现：

一种基于无参考结构清晰度的自动调焦方法，包括以下步骤：

步骤s1：对原图像进行灰度化处理；

步骤s2：采用下采样法对灰度化后的图像进行图像预处理，得到下采样图像；如此，采用下采样方法进行图像预处理，有利于后续计算节省时间，以满足微循环监测对于自动调焦的实时性要求；

步骤s3：对下采样图像通过低通平滑滤波处理得到参考图像；由于下采样图像为空域图像，直接针对空域图像构造参考图像，有利于进一步节省计算时间；

步骤s4：设定图像的块大小与移动步长，根据设定的块大小与移动步长，对所述下采样图像及所述参考图像进行有重叠的分块，得到图像子块；计算所述图像子块的块内方差，并设定阈值参数，选出块内方差大于阈值参数的图像子块；

步骤s5：对选出的所述下采样图像和所述参考图像对应的图像子块依次计算结构相似性值，即ssim值，记大于阈值参数的图像子块总数为n，则得到n个ssim值，取平均后，计算所述原图像的无参考结构清晰度值，即nrss值，作为图像清晰度评估值；

步骤s6：将nrss值转化为电压信号，镜头接收电压信号后，采用变步长的峰值搜索爬山算法对所述电压信号、镜头及控制模块进行反馈控制，从而完成实时自动对焦。

优选地，所述步骤s2中，下采样图像的表示为id＝ds(i)，其中i表示原图像，具体地，保留1个原图像上的每9个像素点：

{i(i,j),i(i,j+1),i(i,j+2),

i(i+1,j),i(i+1,j+1),i(i+1,j+2),

i(i+2,j),i(i+2,j+1),i(i+2,j+2)}

或保留1个原图像上的每16个像素点：

{i(i,j),i(i,j+1),i(i,j+2),i(i,j+3),

i(i+1,j),i(i+1,j+1),i(i+1,j+2),i(i+1,j+3),

i(i+2,j),i(i+2,j+1),i(i+2,j+2),i(i+2,j+3),

i(i+3,j),i(i+3,j+1),i(i+3,j+2),i(i+3,j+3)}

优选地，所述步骤s3中，所述低通平滑滤波处理采用二维高斯滤波器。

优选地，所述二维高斯滤波器具体为窗口模板大小5×5或7×7、滤波参数σ>2的二维高斯滤波。

优选地，所述步骤s4中，块大小设定为像素点16×16，移动步长设定为块边长的一半，即8个像素点；对于所述下采样图像，以像素点16×16选出一个图像子块，下一次向右移动8个像素点得到下一个16×16的图像子块，直到下采样图像右边界后，向下移动8个像素点回到下采样图像最左边，重复图像子块设定的操作。

优选地，所述步骤s4中，计算所述图像子块的块内方差方法具体如下：

对于图像子块t，其块内方差值为其中i,j分别为像素点横向坐标和纵向坐标；

所述阈值参数设定在[0.5,6]范围内，根据设定的阈值参数，选出块内方差值v(t)超过阈值参数的图像子块。

所述ssim值采用简化的ssim公式计算，所述简化的ssim公式如下：

其中，设定基于下采样图像选出的图像子块为x，基于参考图像选出的图像子块为y，μ,σ分别表示均值和标准差，σxy表示协方差，c1、c2为常数。

其中，结构相似度值ssim具体计算过程如下：

图像亮度比较函数

图像对比度比较函数

图像结构比较函数

结构相似度值为ssim(x,y)＝l(x,y)α*c(x,y)^β*s(x,y)^γ，其中α,β,γ＞0，用来调整上述三个比较函数之间的重要性，c1、c2和c3为常数；取α＝β＝γ＝1，且c3＝c2/2，从而得到结构相似度值的简化形式：

优选地，所述步骤s5中，根据设定的阈值参数所选出的n个下采样图像的图像子块与n个参考图像的图像子块，分别对应计算ssim值，并通过以下公式计算图像清晰度评估值：

优选地，所述步骤s6中，采用变步长的峰值搜索爬山算法对电压信号、镜头及镜头控制模块进行反馈控制，从而完成自动调焦，具体为：通过对初始[vmin,vmax]范围内的电压进行设置，其中vmin为最小电压，vmax为最大电压，在这个范围内不断的缩小，达到最终对焦，其具体步骤如下：

(1)首先设定初始固定焦平面焦距，以及初始调焦区域范围；

(2)所述初始调焦区域范围内以粗调方式进行调焦，对每次调焦得到的图像进行步骤s1～s5处理，比较按粗调方式计算出的nrss值；

(3)采用变步长的峰值爬山搜索算法进行nrss峰值搜索，在峰值爬山搜索过程中，如果图像清晰度评估值nrss值在不断上升的过程中，突然下降，并保持两次连续下降，则表示已经过了nrss值的峰值所对应的焦平面，此时，重新设定新的调焦区域，即将nrss值第一次下降所对应的焦距位置设定为调焦区域的左边界，而第一次下降的前一次焦距位置设定为右边界；

(4)对缩小的调焦范围，以粗调方式调焦区域的1/4作为调焦补偿，即调焦区域左边界以调焦补偿向左延伸，右边界以调焦补偿向右延伸，重新设定调焦区域；

(5)重复步骤(3)、步骤(4)，缩小调焦范围，对应调焦步长减小，直到达到最小调焦步长，在调焦范围内按变步长的峰值爬山搜索算法不断重复步骤(3)、步骤(4)，直到找到nrss值的峰值，及其所对应的调焦位置为止。

通常以上变步长峰值爬山搜索算法，只需要8～12步的调焦过程就可以完成一次对焦，调焦过程在1秒钟左右自动完成，满足了实时性需求。

优选地，所述镜头为液体镜头或根据电压信号控制马达进行驱动的镜头。

本发明相对现有技术，具有如下有益效果：

(1)通过采用图像下采样预处理方法，从而在保证整体不丢失图像结构信息前提下，节省了图像存储空间，并且有利于节省图像清晰度评估值的计算时间，满足自动对焦的实时性需求。

(2)结合方差函数与阈值参数来选择图像子块，从而能保证针对实际设备收集数据的精度以及数据类型的不同而灵活选取参数，有利于保证方法的准确性，从而有利于本发明的自动调焦方法适用于微循环监测领域的无参考图像清晰度评估任务，实现精准快速的自动调焦。

(3)通过采用变步长的爬山算法，从而有利于快速寻找到nrss峰值而完成自动调焦，保证方法的实时性。

附图说明

图1是本发明的基于无参考结构清晰度的自动调焦方法流程示意图；

图2是本发明的基于无参考结构清晰度的自动调焦方法的清晰度评估函数曲线图；

图3是本发明的基于无参考结构清晰度的自动调焦方法的计算单幅图像时间效率函数曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的技术方案可用于微循环检测领域或其他相关领域，本发明的一个较佳实施例，如图1所示，一种基于无参考结构清晰度的自动调焦方法，包括以下步骤：步骤s1：对原图像进行灰度化处理；具体灰度化处理方式，从现有技术中选取。在图像处理中，图像的灰度化就是把由rgb三通道的数据的彩色图像变为单通道数据的灰度图像；图像灰度化处理可以作为图像处理的预处理步骤，为之后的图像分割、图像识别和图像分析等操作做准备；图像灰度化处理有以下几种方式：

1)分量法：将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。

2)最大值法：将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。

3)平均值法：将彩色图像中的三分量亮度求平均得到一个灰度值。

4)加权平均法：根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对rgb三分量进行加权平均能得到较合理的灰度图像。本发明从以上四种方式中选择其一进行灰度化处理。

步骤s2：采用下采样法对灰度化后的图像进行图像预处理，得到下采样图像；其中，图像的下采样和上采样技术是本领域的成熟技术，本发明此处不对下采样的具体过程进行阐述；

步骤s3：对下采样图像通过低通平滑滤波处理得到参考图像；

步骤s4：设定图像的块大小与移动步长，根据设定的块大小与移动步长，对下采样图像及参考图像进行有重叠的分块，得到图像子块；计算图像子块的块内方差，并设定阈值参数，选出块内方差大于阈值参数的图像子块；

步骤s5：对选出的下采样图像和参考图像对应的图像子块依次计算结构相似性值，即ssim值，记大于阈值参数的图像子块总数为n，则得到n个ssim值，取平均后，计算原图像的无参考结构清晰度值，即nrss值，作为图像清晰度评估值；

步骤s6：将nrss值转化为电压信号，镜头接收电压信号后，采用变步长的峰值搜索爬山算法对电压信号、镜头及镜头控制模块进行反馈控制，从而完成实时自动对焦。

其中，步骤s2中，下采样图像的表示为id＝ds(i)，其中i表示原图像，具体地，保留1个原图像上的每9个像素点：

{i(i,j),i(i,j+1),i(i,j+2),

i(i+1,j),i(i+1,j+1),i(i+1,j+2),

i(i+2,j),i(i+2,j+1),i(i+2,j+2)}

或保留1个原图像上的每16个像素点：

{i(i,j),i(i,j+1),i(i,j+2),i(i,j+3),

i(i+1,j),i(i+1,j+1),i(i+1,j+2),i(i+1,j+3),

i(i+2,j),i(i+2,j+1),i(i+2,j+2),i(i+2,j+3),

i(i+3,j),i(i+3,j+1),i(i+3,j+2),i(i+3,j+3)}

其中，i,j分别为像素点横向坐标和纵向坐标，如此，每9个像素点或每16个像素点不重复地遍历原图像，即得到所要的下采样图像。采样这两种方式任意一种均可，但为了节省更多计算时间，优选以单次每16个像素点下采样方式，即在实际应用中，针对仪器设备所采集的图像大小，每16个像素点取一个像素点的方案。

其中，步骤s3中，低通平滑滤波处理采用二维高斯滤波器，具体地，采用窗口模板大小5×5或7×7、滤波参数σ>2的二维高斯滤波器。本发明同样采用的是现有技术中的二维高斯滤波器，此处介绍下其基本原理：

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器，高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一个二维高斯滤波器函数如下：

其中(x,y)为点坐标，在图像处理中可认为是整数；σ是标准差。

需要特别强调的是，对下采样图像采用低通平滑滤波构造参考图像，是本发明的技术方案的核心点之一，直接针对空域图像构造参考图像。该方案与现有技术中基于图像梯度度量的清晰度评价方法、基于相邻像素灰度梯度差方法等都是有区别的，诸多现有技术是基于图像变换方法来构造参考图像，这样可能对一般自然图像的清晰度评估有较好的效果，但存在计算耗时的问题，直接针对空域图像的参考图像构造，有利于节省计算时间，这在微循环图像监测领域是至关重要的。

具体地，步骤s4中，块大小设定为像素点16×16，设定移动步长为块边长的一半，即8个像素点；对于下采样图像，以像素点16×16选出一个图像子块，下一次向右移动8个像素点得到下一个16×16的图像子块，直到下采样图像右边界后，向下移动8个像素点回到下采样图像最左边，重复图像子块设定的操作。

此外，步骤s4中，计算图像子块的块内方差方法具体如下：

对于图像子块t，其块内方差值为其中i,j分别为像素点横向坐标和纵向坐标；

阈值参数设定在[0.5,6]范围内，根据设定的阈值参数，选出块内方差值v(t)超过阈值参数的图像子块。

ssim值采用简化的ssim公式计算，简化的ssim公式如下：

其中，设定基于下采样图像选出的图像子块为x，基于参考图像选出的图像子块为y，μ,σ分别表示均值和标准差，σxy表示协方差，c1、c2为常数。

具体地，ssim值计算过程如下：

图像亮度比较函数

图像对比度比较函数

图像结构比较函数

结构相似度值为ssim(x,y)＝l(x,y)α*c(x,y)^β*s(x,y)^γ，其中α,β,γ＞0，用来调整上述三个比较函数之间的重要性，c1、c2和c3为常数；取α＝β＝γ＝1，且c3＝c2/2，从而得到ssim值的简化形式：

在实际应用中，阈值参数设定为0.5～6，理论上来讲，阈值参数可以设置为零，如果设置为零的情况，则表示所有图像子块都参与计算；阈值参数也可以设置得很大，如果阈值参数设置过大，比如，阈值参数大于所有图像子块算出的方差值的最大值，那么将会没有图像子块留下来参与下一步的计算的情况。

所以，以微循环图像为例，通过多次实验与调整，阈值参数在0.5～6范围内比较合理，对焦效果好，优选地，阈值参数取0.6或1.5效果更佳。进一步需要说明的是，本发明的调焦方法并不是做图像阈值分割，如血管图像分割，本发明的选取阈值参数的核心意义在于选取部分图像子块，高效地得到图像清晰度评价值。

具体地，步骤s5中，根据设定的阈值参数所选出的n个下采样图像的图像子块与n个参考图像的图像子块，分别对应计算ssim值，并通过以下公式计算nrss值：

具体地，步骤s6中，采用变步长的峰值搜索爬山算法对电压信号、镜头及镜头控制模块进行反馈控制，从而完成自动调焦，具体为：通过对初始[vmin,vmax]范围内的电压进行设置，其中vmin为最小电压，vmax为最大电压，在这个范围内不断的缩小，达到最终对焦，具体步骤如下：

(1)首先设定初始固定焦平面焦距，以及初始调焦区域范围，在初始焦平面上成像；

(2)初始调焦区域范围内以粗调方式进行调焦，对每次调焦得到的图像进行步骤s1～s5处理，比较以粗调方式计算出的nrss值；

(3)采用变步长的峰值爬山搜索算法进行nrss峰值搜索，在峰值爬山搜索过程中，如果图像清晰度评估值nrss值在不断上升的过程中，突然下降，并保持两次连续下降，则表示已经过了nrss值的峰值所对应的焦平面，此时，重新设定新的调焦区域，即将nrss值第一次下降所对应的焦距位置设定为调焦区域的左边界，而第一次下降的前一次焦距位置设定为右边界；

(4)对缩小的调焦范围，以粗调方式调焦区域的1/4作为调焦补偿，即调焦区域左边界以调焦补偿向左延伸，右边界以调焦补偿向右延伸，重新设定调焦区域；

(5)重复步骤(3)、步骤(4)，缩小调焦范围，对应调焦步长减小，直到达到最小调焦步长，在调焦范围内按变步长的峰值爬山搜索算法不断重复步骤(3)、步骤(4)，直到找到nrss值的峰值，及其所对应的调焦位置为止。

图2、3分别呈现的是在实际应用中，依据本发明的基于无参考结构清晰度的自动调焦方法计算得到的图像清晰度评估函数曲线以及本发明利用图像下采样的nrss计算方法计算单幅图像的时间效率函数曲线。通常本发明中的变步长峰值爬山搜索算法，只需要8～12步的调焦过程就可以完成一次对焦，而由于本发明使用图像下采样的nrss计算方法，使得单幅图像评价时间大大缩短，因而，总体调焦过程在1秒钟左右自动完成，满足了实时性需求。

本发明中的镜头为液体镜头，或为根据电压信号控制马达进行驱动的镜头。

本发明通过采用图像下采样预处理方法，从而在保证整体不丢失图像结构信息前提下，节省了图像存储空间，并且有利于节省图像清晰度评估值的计算时间，满足自动对焦的实时性需求；结合方差函数与阈值参数来选择图像子块，从而能保证针对实际设备收集数据的精度以及数据类型的不同而灵活选取参数，有利于保证方法的准确性，从而有利于本发明的自动调焦方法适用于微循环监测领域的无参考图像清晰度评估任务，实现精准快速的自动调焦；通过采用变步长的峰值爬山算法，从而有利于快速寻找到nrss值的峰值而完成自动调焦，保证方法的实时性。

以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。