水下空间选通气泡探测及统计的方法

1.本发明涉及水下二维气泡成像技术领域，尤其涉及一种水下空间选通气泡探测及统计的方法。


背景技术：

2.由于微生物分解作用、舰船航行、海洋热液“海底烟囱”、“海底冷泉”、海底天然气水合物溢出等原因，气泡广泛存在于水体环境中。水下气泡是探测目标存在的重要依据，因此，气泡的探测和统计技术广泛应用于船舰尾流的实时探测、海底管道的气密性检测、生物考察、水下资源勘测等领域。
3.水下气泡的声学特性、光学特性、磁特性及热特性等多种特性不同于正常水体，这些物理特性是进行气泡探测和统计的基础，例如利用声散射、衰减、非线性声学方法、热探测等方法测量气泡粒子的尺寸分布信息。声探测受海况以及海水能见度的影响小，探测距离远，但是，水声信号易受到各种噪声的干扰，为信号的提取和识别带来了很大的困难。由于海水对光具有强烈的吸收作用，红外探测目前很少能够应用在水下测量中。光学测量在水下应用中有其本身特有的优势：由于光的波长比声波等其它波的波长要小很多，光学测量受到的干扰极小，因此可以测量气泡微观结构等信息；与声纳或是sar成像相比，光学测量的大面阵高速图像传感器可一次性获得大量的气泡图像数据，为各种应用提供海量数据。以光学的方法在水下实现气泡探测是一种值得研究的测量方法，相关的研究也受到越来越多的重视。
4.现有气泡探测方法由于气泡数量较多引起目标混叠，无法实现目标清晰成像；水体对光线较强的吸收作用和散射作用、水中杂光干扰使成像质量受限；海水中非气泡悬浮杂质的干扰使目标识别率较低；气泡半径动态范围较大，无法实现多种半径气泡的数密度统计，因此不能满足水下气泡探测的方便性和灵敏性。


技术实现要素：

5.有鉴于此，本发明提出一种水下空间选通气泡探测及统计的方法，基于气泡空间选通的光学特性，利用深度学习和模板匹配方法有效地实现水下气泡的探测和统计。
6.本发明的一个方面，提出一种水下空间选通气泡探测的方法，具体为：构造水下空间选通气泡探测模型，其中，水下空间选通气泡探测模型为改进的resnet-18模型，包括：依次连接的第一卷积层、basicblock模块、basicblock模块、basicblock模块、池化层及全连接层，basicblock模块包括依次连接的第一卷积层、batch normalization模块、relu模块、第二卷积层及batch normalization模块；利用水下空间选通气泡探测模型对水下空间选通切片图进行目标识别，确定水下空间选通气泡探测的结果。
7.进一步地，本发明的水下空间选通气泡探测的方法，利用水下空间选通气泡探测模型对水下空间选通切片图进行目标识别包括：将水下空间选通切片图分割为多个特征域；对多个特征域分别进行binning处理；将多个特征域分别输入水下空间选通气泡探测模
型进行模型计算；根据模型计算的结果将多个特征域标记为信息域或非信息域，其中，信息域为包含气泡的特征域，非信息域为不包含气泡的特征域。
8.进一步地，本发明的水下空间选通气泡探测的方法，包括对水下空间选通气泡探测模型进行模型训练，具体为：对已采集的水下空间选通切片图进行二分类，根据是否包含气泡信息将已采集的水下空间选通切片图分为信息帧或非信息帧；对已采集的水下空间选通切片图进行增强处理，其中，增强处理包括分割已采集的水下空间选通切片图；对已采集的水下空间选通切片图进行binning处理；采用二分法对已采集的水下空间选通切片图进行旋转增强；将已采集的水下空间选通切片图输入水下空间选通气泡探测模型；将水下空间选通气泡探测模型标记的信息域或非信息域与信息帧或非信息帧进行对比，确定模型计算损失函数；根据损失函数反向传播梯度更新的网络参数，以使损失函数值达到最小。
9.进一步地，本发明的水下空间选通气泡探测的方法，水下空间选通切片图的获取方式为：设置主动照明光源，其中，主动照明光源为片光源，在水下空间形成切片式照明域；在切片式照明域一侧固定距离处设置探测器，以对切片式照明域进行成像。
10.进一步地，本发明的水下空间选通气泡探测的方法，切片式照明域的切面方向与探测器的成像方向垂直。
11.进一步地，本发明的水下空间选通气泡探测的方法，切片式照明域的切片厚度不大于探测器的景深。
12.本发明的另一个方面，提出一种水下空间选通气泡统计的方法，包括：设置多阶图像金字塔，其中，多阶图像金字塔的不同阶用于表征水下空间选通气泡的不同尺寸；将水下空间选通切片图输入到多阶图像金字塔的不同阶进行信息帧卷积，计算水下空间选通切片图与模板之间的归一化相关系数，其中，模板为已知多阶图像金字塔的阶与气泡尺寸对应关系的水下空间选通切片图；将归一化相关系数大于阈值的数据点确定为有效点；统计有效点数量以统计水下空间选通切片图的不同尺寸气泡数量及尺寸分布情况。
13.进一步地，本发明的水下空间选通气泡统计的方法，归一化相关系数按如下公式计算：
[0014][0015]
其中，w为所述模板的图像数据集，f为所述水下空间选通切片图的图像数据集，求和的上下限取w和f的共同范围，是模板的平均值，是f中与w重合区域的平均值。
[0016]
进一步地，本发明的水下空间选通气泡统计的方法，包括：针对多阶图像金字塔的不同阶所对应的有效点，当任意两个多阶图像金字塔的不同阶所对应的有效点间距小于指征值，则将其中一个标记为误差点。
[0017]
本发明具有如下有益效果：
[0018]
(1)由于采用空间选通成像技术，可抑制成像器件到感兴趣区域的水体散射噪声的影响，减少水中杂光干扰，提高成像的信噪比和对比度；
[0019]
(2)由于采用空间选通成像技术，可有效避免目标混叠，实现气泡清晰成像；
[0020]
(3)采用改进的resnet-18深度学习神经模型进行目标识别，可有效排除海水中非气泡悬浮杂质的干扰，提高目标识别率；
[0021]
(4)利用多阶图像金字塔进行模板匹配，可实现较大动态范围下特定大小气泡的
探测，同时可实现不同半径气泡的数密度统计。
附图说明
[0022]
图1是本发明一些实施例对水下空间选通切片图进行目标识别流程示意图；
[0023]
图2是本发明一些实施例在对水下空间选通气泡探测模型进行模型训练流程示意图；
[0024]
图3是本发明一些实施例获取水下空间选通切片图的方法流程示意图；
[0025]
图4a是本发明的一个实施例获取水下空间选通切片图的设备结构示意图；
[0026]
图4b是本发明一个实施例获取水下空间选通切片图的成像工作时序示意图；
[0027]
图5是本发明一些实施例水下空间选通气泡统计的方法流程示意图。
[0028]
图6是本发明一个实施例中气泡切片图中耀斑示意图；
[0029]
图7a是本发明一个实施例数据集训练过程中的训练集的准确率区曲线；
[0030]
图7b是本发明一个实施例数据集训练过程中的测试集的准确率区曲线；
[0031]
图8是本发明一个实施例利用模板匹配方法统计气泡信息帧中不同半径气泡的数密度。
[0032]
图中：
[0033]
1-水密外壳；2-电源；3-信息处理模块；4-片光源激光器；5-面阵图像传感器；6-成像窗口；7-激光束；8-回波信号；9-后向散射；10-气泡；11-选通工作区；12-照明窗口；13-反射镜。
具体实施方式
[0034]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0035]
resnet-18模型常用来进行图像分类，本发明将基于resnet-18模型的深度学习神经网络模型用于水下空间选通气泡的探测，通过模型探测，来辨别水下空间选通切片图中是否存在气泡。本发明采用的深度学习神经网络模型为改进的resnet-18模型，具体包括：依次连接的第一卷积层、basicblock模块、basicblock模块、basicblock模块、池化层及全连接层，basicblock模块包括依次连接的第一卷积层、batch normalization模块、relu模块、第二卷积层及batch normalization模块。
[0036]
由于针对大图像中的小目标即气泡的识别时，特征不够明显，本发明所采用的改进的resnet-18模型通过减少resnet-18的网络层数和池化层以提高感受野和分辨率，从而保护气泡细节信息。
[0037]
根据本发明的一些实施例，本发明提出的水下空间选通气泡探测的方法为构造水下空间选通气泡探测模型即改进的resnet-18模型并利用该模型对水下空间选通切片图进行目标识别，以确定水下空间选通气泡探测的结果。
[0038]
参照图1，根据本发明的一些实施例，本发明利用水下空间选通气泡探测模型对水下空间选通切片图进行目标识别包括：
[0039]
s101，将水下空间选通切片图分割为多个特征域。
[0040]
根据本发明的一些实施例，在实际进行水下空间选通气泡探测时，由于获取的水
下空间选通切片图中往往包含大量图像信息，例如气泡图像信息，使得探测模型在探测图像信息时时间增加，准确度下降，因此本发明在将图像输入到探测模型中进行目标识别之前，先将水下空间选通切片图分割为多个特征域，以方便后续探测工作的进行。
[0041]
s102，对多个特征域分别进行binning处理。
[0042]
binning(合并读出)是一种图像读出模式，将相邻的像元中感应的电荷加在一起，以一个像素的模式读出。binning能够在视野面积和比例不变的前提下提高帧数，同时也可以提高暗处对光感应的灵敏度。
[0043]
深海中水体对光线有较强的吸收能力，因此常为较暗的作业环境。根据本发明的一些实施例，对已分割的多个特征域进行binning处理，以提高暗处对光感应的灵敏度。
[0044]
s103，将多个特征域分别输入水下空间选通气泡探测模型进行模型计算。
[0045]
已经分割得到多个特征域后，可以将其图像数据信息分别输入到水下空间选通气泡探测模型进行模型计算。
[0046]
s104，根据模型计算的结果将多个特征域标记为信息域或非信息域，其中，信息域为包含气泡的特征域，非信息域为不包含气泡的特征域。
[0047]
水下空间选通气泡探测模型在进行模型训练时已分别针对信息域及非信息域的图像数据信息设置了标签，因此当采用该模型进行模型计算时，可以分别针对图像数据信息的不同对输入的特征域添加标签并进行输出，完成模型计算，将特征域区分为信息域和非信息域。
[0048]
根据本发明的一些实施例，信息域指包含气泡信息的特征域，非信息域指不包含气泡信息的特征域，如，在特征域中只包含背景信息，或包含水草、鱼群或微生物等非气泡信息。
[0049]
参见图2，根据本发明的一些实施例，在对水下空间选通气泡探测模型进行模型训练时，采用如下方法：
[0050]
s201，对已采集的水下空间选通切片图进行二分类，根据是否包含气泡信息将已采集的水下空间选通切片图分为信息帧或非信息帧。
[0051]
在已采集到的水下空间选通切片图中，可能存在气泡信息，也可能不存在气泡信息，只有两个类别，可以采用二分类方法来训练模型，使得最终输出的结果为存在气泡信息或不存在气泡信息，即将已采集的水下空间选通切片图分为信息帧或非信息帧，信息帧表示存在气泡信息，非信息帧表示不存在气泡信息。
[0052]
s202，对已采集的水下空间选通切片图进行增强处理，其中，增强处理包括分割已采集的水下空间选通切片图。
[0053]
使用分割方法处理水下空间选通切片图可以使得每一个分割部分的信息细节更少，从而使得模型计算更加简单，时间更短，准确率更高。
[0054]
s203，对已采集的水下空间选通切片图进行binning处理。
[0055]
同样为了提高暗处对光感应的灵敏度，对已分割后的水下空间选通切片图进行binning处理。
[0056]
s204，采用二分法对已采集的水下空间选通切片图进行旋转增强。
[0057]
s205，将已采集的水下空间选通切片图输入水下空间选通气泡探测模型。
[0058]
经过上述步骤对已采集的水下空间选通切片图处理后，可以输入到模型进行模型
计算。在进行模型训练时，采用的水下空间选通切片图已知是否存在气泡信息，因此当模型进行计算后，可以将与信息帧图像数据相同的域标记为信息域，反之，与非信息帧图像数据相同的域标记为非信息域。
[0059]
s206，将水下空间选通气泡探测模型标记的信息域或非信息域与信息帧或非信息帧进行对比，确定模型计算损失函数。
[0060]
训练模型时计算结果与标记值有出入，因此可以通过数据对比的方式计算模型的损失函数，通过调整损失函数使得模型计算更准确。
[0061]
s207，根据损失函数反向传播梯度更新的网络参数，以使损失函数值达到最小。
[0062]
通过损失函数反向传播梯度更新的网络参数即可调整损失函数，当损失函数值达到最小时可视为模型计算准确度最高。
[0063]
参见图3，根据本发明的一些实施例，获取水下空间选通切片图的方式为：
[0064]
s301，设置主动照明光源，其中，主动照明光源为片光源，在水下空间形成切片式照明域。
[0065]
根据本发明的一些实施例，设置的主动照明光源为激光器。在一些实施例中，激光器产生竖直方向的红光片光源。
[0066]
s302，在切片式照明域一侧固定距离处设置探测器，以对切片式照明域进行成像。
[0067]
根据本发明的一些实施例，在切片式照明域一侧固定距离处设置探测器，从而使片光源照亮探测器固定距离前的部分空间水域，方便探测器对该空间水域进行成像，实现空域选通功能。
[0068]
根据本发明的一些实施例，主动照明光源与探测器均为水平设置，因此需要采用光学器件将主动照明光源调制为竖直方向的片光源。在本发明的一些实施例中，工作过程中，主动照明光源采用激光器，探测器采用面阵图像传感器即ccd成像器件，该器件处于常开状态，采用反射镜调整激光器发射激光片光源的发射角度，使得ccd成像器件的成像方向与激光片光源的发射方向垂直。由于激光片光源仅照亮切片式照明域，非切片式照明域因缺少光照而无法参与成像，因此，ccd成像器件仅能接收到切片式照明域中目标的回波信号，而目标前后的无关信息均不会被接收，从而仅获取指定区域内的空间切片信息。
[0069]
为了满足探测器进行水下空间选通气泡探测，切片式照明域的切片厚度不大于探测器的景深，以防止探测器无法完整成像。
[0070]
参见图4a为本发明的一个实施例获取水下空间选通切片图的设备结构示意图。在该实施例中，面阵图像传感器为ccd成像器件，该器件处于常开状态，采用反射镜将激光光源调制为竖直方向的片光源，ccd成像器件的成像角度与激光片光源的发射角度之间呈90
°
夹角，用激光片光源照射感兴趣区域水体，通过ccd成像器件采集感兴趣区域的图像。其在获取水下空间选通切片图的成像工作时序如图4b所示。
[0071]
参见图5，本发明的另一方面提出一种水下空间选通气泡统计的方法，包括：
[0072]
s501，设置多阶图像金字塔，其中，多阶图像金字塔的不同阶用于表征水下空间选通气泡的不同尺寸。
[0073]
s502，将水下空间选通切片图输入到多阶图像金字塔的不同阶进行信息帧卷积，计算水下空间选通切片图与模板之间的归一化相关系数，其中，模板为已知多阶图像金字塔的阶与气泡尺寸对应关系的水下空间选通切片图。
[0074]
根据本发明的一些实施例，归一化相关系数按如下公式计算：
[0075][0076]
其中，w为所述模板的图像数据集，f为所述水下空间选通切片图的图像数据集，求和的上下限取w和f的共同范围，是模板的平均值，是f中与w重合区域的平均值。
[0077]
s503，将归一化相关系数大于阈值的数据点确定为有效点。
[0078]
归一化系数实际表示水下空间选通切片图与模板图像的接近程度，当归一化相关系数大于阈值时可以将此是的数据点确定为有效点。
[0079]
s504，统计有效点数量以统计水下空间选通切片图的不同尺寸气泡数量及尺寸分布情况。
[0080]
对各不同阶中的有效点数量进行统计即可统计在水下空间选通切片图的不同尺寸气泡数量及尺寸分布情况。
[0081]
根据本发明的一些实施例，针对多阶图像金字塔所对应的有效点，当任意两个多阶图像金字塔所对应的有效点间距小于指征值，则将其中一个标记为误差点。
[0082]
采用标记误差点的方式可以进一步提高水下空间选通气泡统计的准确度。
[0083]
为了能使该方法能够清楚、详细呈现本发明所提出的方法的有效性，选取本实验室自主研发的水下空间选通成像系统，采集气泡图像作为实验图像。激光照明器的中心波长为650nm。相机ccd分辨率为4096
×
3072像素，位元深度为8位。系统分辨率4.6um，成像视场12.9mm
×
9.45mm，切片成像景深0.79mm。
[0084]
采集螺旋桨产生的气泡图像作为信息帧，如图6所示，气泡切片图呈现左右两个大小不一的耀斑，根据该光学特征对图像中的气泡进行识别和统计。搅动水池和实验装置底部杂质，采集杂质图像或无目标的水体背景图作为非信息帧。对原始图进行裁剪增强获得数据集。图7a、7b所示为数据集训练过程中的准确率曲线，其中，图7a为训练集的准确率区曲线，图7b为测试集的准确率区曲线。由图7a、7b可见，经过共30次迭代后，训练集中目标识别的准确率稳定在95％左右，测试集中目标识别的准确率稳定在90％左右。
[0085]
图8所示为利用模板匹配方法统计气泡信息帧中不同半径气泡的数密度。通过设置气泡间距阈值，即剔除间距小于8个像素的误差点，可减小气泡识别的误差。利用直径约为50um、100um、200um及400um的单气泡金字塔图像分别对直径约50um、100um、200um及400um的气泡的数密度进行统计。识别直径约50um、100um、200um及400um的气泡的准确率分别为：6@7，13@14，9@10，10@10。(识别出的气泡数@图中的气泡个数。)
[0086]
根据本公开实施例提供的方法，本公开实施例提供的水下空间选通气泡探测和统计方法，由于利用片光源实现空间选通，可抑制成像器件到感兴趣区域的水体散射噪声的影响，减少水中杂光干扰，提高成像的信噪比和对比度；由于采用切片成像技术，可有效避免目标混叠，实现气泡清晰成像；由于利用特定角度片光源对气泡进行成像，根据目标光学特性提取目标特征，进行目标识别，可有效排除海水中非气泡悬浮杂质的干扰，提高目标识别率；由于利用多阶图像金字塔进行模板匹配，可实现较大动态范围下特定大小气泡的探测，同时可实现不同半径气泡的数密度统计。所以，相对于传统的成像方法，本发明提出的水下空间选通气泡探测和统计方法具有明显的优越性。
[0087]
至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员
应当对本发明的水下空间选通气泡探测和统计方法有了清楚的认识。
[0088]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。