一种水下鱼类观测方法和水下鱼类观测机器人与流程

本发明涉及图像处理，特别涉及一种水下鱼类观测方法和水下鱼类观测机器人。

背景技术：

1、海洋湖泊中生存有大量的鱼类，而不同水深下，生存的鱼类种类存在差异，为了对不同鱼类的生长过程、生存能力等进行监测评估，需要获取不同水深下、不同鱼类在各个时期的图像资料，进而通过对图像资料的分析来获得鱼类的体尺体长数据等。

2、然而，水中复杂成像环境导致光视觉系统获取到的水下图像通常伴随着多种类型的退化，水下图像衰退的主要原因是光在水下传播时的能量衰减和散射现象。目前，一些专门针对水下成像环境设计的成像设备已经能够克服部分水下成像问题，采集到较为清晰的图像，但在实际应用中对水下图像质量的要求远不止于此，仅依靠采集设备依然难以满足这些需求；而且先进的水下成像设备费用和后期维护成本极高，不利于大范围、长时间的水下鱼类观测。

3、相比于昂贵的水下成像设备，图像处理技术具有成本低和易操作等优点。常用于水下图像处理的方式主要分为两类：

4、一类是对水下图像的退化过程进行数学建模，通过估计模型参数，反演退化过程以获得清晰的水下图像，此类方法需要人工获取水体的光学参数、摄像机参数以及摄像机与目标物体的距离等信息，然而由于人工获取的信息较不准确，因此增强后的图像容易出现细节模糊和色彩偏差等问题；此外，当水下环境发生变化时，需要重新获取相应参数并进行建模，耗时耗力。

5、另一类是使用基于深度学习的方法，虽然该方法具有较强的学习特征表示能力，但由于水下环境过于复杂，现有的基于深度学习的方法在水下图像的局部和细节增强方面尚有不足之处，恢复出的图像会出现色彩偏差和细节模糊等问题。

技术实现思路

1、本发明的目的在于提供一种水下鱼类观测方法和水下鱼类观测机器人，以解决现有水下图像处理方法成本高且效果差，无法准确获得水下鱼类的体尺数据的问题。

2、为解决上述技术问题，本发明提供一种水下鱼类观测方法，包括：

3、获取原始水下图像，所述原始水下图像中拍摄有水下鱼类；

4、对原始水下图像进行图像增强处理，以得到清晰度高于原始水下图像的增强图像；

5、对增强图像进行检测分析，以得到增强图像中水下鱼类的轮廓；

6、根据增强图像中水下鱼类的轮廓评估水下鱼类的体尺数据。

7、可选的，在所述的水下鱼类观测方法中，所述对原始水下图像进行图像增强处理，以得到清晰度高于原始水下图像的增强图像的方法包括：

8、对原始水下图像进行离散小波变换，以将原始水下图像分解为不同频率的信号分量；

9、将所有信号分量分为高频信号分量和低频信号分量；

10、对高频信号分量进行卷积处理，以得到高频信号特征；

11、将高频信号特征与低频信号分量进行融合，并进行逆离散小波变换，以得到增强图像。

12、可选的，在所述的水下鱼类观测方法中，所述对高频信号分量进行卷积处理，以得到高频信号特征的方法包括：

13、使高频信号分量依次进入卷积层和relu函数层进行卷积处理；

14、对高频信号分量进行多次快速傅里叶卷积，并将每次快速傅里叶卷积得到的特征矩阵进行相加，以得到特征总矩阵；

15、使特征总矩阵依次进入卷积层、批量归一化层、卷积层、relu函数层、卷积层、relu函数层和卷积层进行卷积处理，以得到高频信号特征。

16、可选的，在所述的水下鱼类观测方法中，所述对增强图像进行检测分析，以得到增强图像中水下鱼类的轮廓的方法包括：

17、利用transformer模型对增强图像进行编码处理，以得到特征图；

18、对特征图进行逆离散小波变换，以得到重构特征图；

19、利用多尺度融合前馈网络和线性频率感知注意力机制对重构特征图进行处理，以得到信息增强的特征图；

20、利用transformer模型对信息增强的特征图进行解码处理，以得到增强图像中水下鱼类的轮廓。

21、可选的，在所述的水下鱼类观测方法中，所述transformer模型包括多个transformer模块；所述对增强图像进行检测分析，以得到增强图像中水下鱼类的轮廓的方法包括：

22、利用4个transformer模块同时对增强图像进行编码处理，以得到4个特征图；

23、对前3个transformer模块输出的特征图进行逆离散小波变换，以得到重构特征图；

24、将第4个transformer模块输出的特征图和第3个transformer模块输出的重构特征图输入至另一个transformer模块中以得到合并特征图；

25、利用多尺度融合前馈网络和线性频率感知注意力机制，对第2个transformer模块输出的重构特征图和合并特征图一同进行处理，以得到信息增强的特征图；

26、利用另外的若干个transformer模块对第1个transformer模块输出的重构特征图和信息增强的特征图一同进行解码处理，以得到增强图像中水下鱼类的轮廓。

27、可选的，在所述的水下鱼类观测方法中，所述利用4个transformer模块同时对增强图像进行编码处理，以得到多个特征图的方法包括：

28、第一个transformer模块直接对增强图像进行编码处理，以得到特征图；

29、第i个transformer模块先输入一个卷积层，再对第i-1个transformer模块输出的特征图进行编码处理，其中，第i个transformer模块输出的特征图的尺寸为：

30、

31、其中，i＝2,3,4；h和w分别为第一个transformer模块输出的特征图的高和宽。

32、可选的，在所述的水下鱼类观测方法中，所述利用多尺度融合前馈网络和线性频率感知注意力机制对重构特征图进行处理，以得到信息增强的特征图的方法包括：

33、构建多尺度融合前馈网络，所述多尺度融合前馈网络包括局部路径和全局路径；

34、利用局部路径对重构特征图进行细节信息提取；

35、利用全局路径对重构特征图进行全局信息提取；

36、利用线性频率感知注意力机制从重构特征图中得到查询、键和值。

37、可选的，在所述的水下鱼类观测方法中，所述构建多尺度融合前馈网络的方法包括：

38、构建局部路径和全局路径，所述局部路径和所述全局路径均包括两支并行的卷积路径；

39、将局部路径中的一支卷积路径与全局路径中的一支卷积路径进行融合，并连接至局部卷积单元；将局部路径中的另一支卷积路径与全局路径中的另一支卷积路径进行融合，并连接至全局卷积单元；

40、将局部卷积单元和全局卷积单元进行融合，并连接至一卷积层；

41、其中，每一卷积路径均包括依次设置的卷积层、深度可分离卷积层和gelu函数层；局部卷积单元和全局卷积单元均包括依次设置的深度可分离卷积层和gelu函数层；所述卷积层的卷积核为1×1，所述深度可分离卷积层的卷积核为3×3。

42、可选的，在所述的水下鱼类观测方法中，所述利用线性频率感知注意力机制从重构特征图中得到查询、键和值的方法包括：

43、使重构特征图依次进入卷积层和深度可分离卷积层中进行卷积处理，以生成查询；

44、使重构特征图依次进入离散小波变换层、卷积层和深度可分离卷积层中进行卷积处理，以生成键和值；

45、对查询和键进行矩阵乘法，并经过softmax层处理后与值进行矩阵乘法；

46、其中，所述卷积层的卷积核为1×1，所述深度可分离卷积层的卷积核为3×3。

47、为解决上述技术问题，本发明还提供一种水下鱼类观测机器人，用于进行如上任一项所述的水下鱼类观测方法，所述水下鱼类观测机器人包括生成器和检测器，所述生成器用于对原始水下图像进行图像增强处理，以得到清晰度高于原始水下图像的增强图像；所述检测器用于对所述增强图像进行检测分析，以得到所述增强图像中水下鱼类的轮廓，并根据所述水下鱼类的轮廓评估水下鱼类的体尺数据。

48、本发明提供的水下鱼类观测方法和水下鱼类观测机器人，包括：获取原始水下图像，所述原始水下图像中拍摄有水下鱼类；对原始水下图像进行图像增强处理，以得到清晰度高于原始水下图像的增强图像；对增强图像进行检测分析，以得到增强图像中水下鱼类的轮廓；根据增强图像中水下鱼类的轮廓评估水下鱼类的体尺数据。通过对原始水下图像进行图像增强处理，使得用于获取水下鱼类轮廓的图像清晰度较高，从而提高了轮廓的识别准确度和效率；进而在利用增强图像中水下鱼类的轮廓来获取水下鱼类的体尺数据时，能够在成本较低的情况下高效精准地获取水下鱼类的体尺数据，解决了现有水下图像处理方法成本高且效果差，无法准确获得水下鱼类的体尺数据的问题。