一种影像处理方法、装置、水下成像设备及介质与流程

1.本技术涉及海装工程装备技术领域，更具体地说，涉及一种影像处理方法、装置、水下成像设备及介质。


背景技术：

2.水下成像设备是海洋工程装备研究的重要领域之一。
3.目前，水下成像设备拍摄高清的水下影像，并将拍摄到的水下影像传输到水上。但是，由于水声通信传输带宽很小，而拍摄的水下影像容量通常非常大，因此，当前的水下成像设备从水下拍摄并传输一张水下影像所花费的时间比较长，传输效率比较低，从而不便于及时获取水下信息。
4.综上所述，如何便于及时获取水下信息，是目前本领域技术人员亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本技术的目的是提供一种影像处理方法、装置、水下成像设备及可读存储介质，用于便于及时获取水下信息。
6.为了实现上述目的，本技术提供如下技术方案：一种影像处理方法，包括：获取水下影像，从所述水下影像中提取语义信息；将所述语义信息通过水声通信方式传输至上位机；利用所述上位机对所述语义信息进行重构，以得到重构水下影像。
7.优选的，从所述水下影像中提取语义信息，包括：利用预先训练得到的水下影像语义表达模型，从所述水下影像中提取语义信息；其中，所述水下影像语义表达模型为利用带有语义标注的水下数据集进行训练得到的。
8.优选的，利用预先训练得到的水下影像语义表达模型，从所述水下影像中提取语义信息，包括：利用预先训练得到的image captioning算法，从所述水下影像中提取语义信息。
9.优选的，利用所述上位机对所述语义信息进行重构，以得到重构水下影像，包括：利用所述上位机将所述语义信息输入到预先训练得到的水下影像语义重构与推演模型中，以得到所述重构水下影像；其中，所述水下影像语义重构与推演模型为利用带有语义标注的水下数据集进行训练得到的。
10.优选的，还包括：计算所述水下影像与所述重构水下影像间的相似度。
11.优选的，将所述语义信息通过水声通信方式传输至上位机，包括：
利用水声通信系统将所述语义信息传输至所述上位机；其中，所述水声通信系统包括水声语义通信发射机、水声语义通信接收机及主控端，所述水声语义通信发射机及所述水声语义通信接收机受所述主控端的控制，所述水声语义通信发射机用于接收所述语义信息，所述水声语义通信接收机用于将所述语义信息传输至所述上位机。
12.一种影像处理装置，包括：获取模块，用于获取水下影像，从所述水下影像中提取语义信息；传输模块，用于将所述语义信息通过水声通信方式传输至上位机；利用模块，用于利用所述上位机对所述语义信息进行重构，以得到重构水下影像。
13.优选的，所述获取模块包括：提取单元，用于利用预先训练得到的水下影像语义表达模型，从所述水下影像中提取语义信息；其中，所述水下影像语义表达模型为利用带有语义标注的水下数据集进行训练得到的。
14.一种水下成像设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一项所述的影像处理方法的步骤。
15.一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的影像处理方法的步骤。
16.本技术提供了一种影像处理方法、装置、水下成像设备及可读存储介质，其中，该方法包括：获取水下影像，从水下影像中提取语义信息；将语义信息通过水声通信方式传输至上位机；利用上位机对语义信息进行重构，以得到重构水下影像。
17.本技术公开的上述技术方案，通过对水下影像中语义信息的提取实现对水下影像的解译，让水下影像拍摄能够从“看得见”到“看得懂”，实现水下影像拍摄领域的层级跨越。并且，由于语义信息的数据量比水下影像的数据量小的多，因此，对从水下影像中提取的语义信息采用水声通信方式进行传输时可以缩短传输时间，提高传输效率，且通过对语义信息的提取和传输可以实现对水下影像中有用信息的提取和传输，使得水声通信能够从“传的全”到“传的精”，实现低冗余的信息传输。而且，通过对语义信息进行重构得到重构水下影像可以实现对水下影像的还原，以便于实现对水下信息的准确获取。通过上述可知，本技术通过从水下影像中提取语义信息，通过水声通信方式对语义信息进行传输，然后，再利用上位机对接收到的语义信息进行重构而得到重构水下影像可以实现水下信息快速、高效、及时的传输，从而便于及时获取水下信息。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
19.图1为本技术实施例提供的一种影像处理方法的流程图；图2为本技术实施例提供的水下数据集标注形式示意图；图3为本技术实施例提供的水下数据集部分样本示意图；图4为本技术实施例提供的水声通信系统整体框架结构示意图；图5为本技术实施例提供的水声语义通信发射机流程示意图；图6为本技术实施例提供的水声语义通信接收机流程示意图；图7为本技术实施例提供的串口帧结构示意图；图8为本技术实施例提供的一种影像处理装置的结构示意图；图9为本技术实施例提供的一种水下成像设备的结构示意图。
具体实施方式
20.目前，水下成像设备拍摄高清的水下影像，并将拍摄到的水下影像传输到水上。但是，水声通信的宽带很小，如1000km距离的水声通信，带宽仅为1hz。而拍摄的水下影像通常容量非常大，如高清的水下影像能达几兆甚至几十兆，因此，当前的水下成像设备从水下拍摄并传输一张水下影像的时间非常长，包含的信息量也较少，很难实时准确地获取水下信息。
21.目前的水下成像设备大多为光学相机，在水下作业时具体面临以下问题：（1）水下拍摄方面，虽然水下影像拍摄功能不断提升，“看得见”能力越来越强，但对水下拍摄场景无区别对待，未涉及水下影像解译；（2）水声通信方面，目前仅仅强调无失真传输，达到信息“传的全”的目的，但对传输信息未加区分，有用无用信息均无差别传输，让本来受限带宽更加拥挤；（3）水下影像呈现方便，虽然水下图像增加技术已经取得广泛关注，能够最大限度将水下退化图像进行复原，但是，现有水下图像增加技术均是对光线、色彩等进行增强，无法实现对水下信息的准确获取。
22.为此，本技术提供一种影像处理方法、装置、水下成像设备及可读存储介质，用于便于及时获取水下信息，并便于实现对水下信息的准确获取。
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.参见图1，其示出了本技术实施例提供的一种影像处理方法的流程图。本技术实施例提供的一种影像处理方法，可以包括：s11：获取水下影像，从水下影像中提取语义信息。
25.在本技术中，水下成像设备可以拍摄获取海洋等水下的水下影像。然后，可以从所获取到的水下影像中提取语义信息，形成语义表达。其中，提取到的语义信息即是对水下影像的文本描述，也即是从水下影像中提取水下信息。
26.通过从拍摄到的水下影像中提取语义信息可以实现对水下影像的解译，让水下影像拍摄能够从“看得见”到“看得懂”，实现水下影像拍摄领域的层级跨越。
27.s12：将语义信息通过水声通信方式传输至上位机。
28.在步骤s11的基础上，水下成像设备可以将语义信息通过水声通信方式传输至上
位机。其中，上位机具体可以位于水上。
29.由于语义信息的数据量要比水下影像的数据量小的多，因此，相比于直接对水下影像进行水声通信传输，对从水下影像中提取的语义信息进行水声通信传输可以缩短传输时间，提高传输效率，从而便于及时获取水下信息，实现对水下信息的实时获取。并且，通过上述过程可实现仅对水下影像中的有用信息（即提取出的语义信息）进行传输，而不对无用信息进行传输，以节省带宽，并使得水声通信能够从“传的全”到“传的精”，突破水声带宽极限。
30.s13：利用上位机对语义信息进行重构，以得到重构水下影像。
31.在步骤s12的基础上，可以利用上位机对语义信息进行重构，以推演得到重构水下影像，即利用语义信息实现对水下影像的还原，从而实现对水下信息的准确获取，并提升水下成像设备实时获取水下信息的能力。
32.本技术公开的上述技术方案，通过对水下影像中语义信息的提取实现对水下影像的解译，让水下影像拍摄能够从“看得见”到“看得懂”，实现水下影像拍摄领域的层级跨越。并且，由于语义信息的数据量比水下影像的数据量小的多，因此，对从水下影像中提取的语义信息采用水声通信方式进行传输时可以缩短传输时间，提高传输效率，且通过对语义信息的提取和传输可以实现对水下影像中有用信息的提取和传输，使得水声通信能够从“传的全”到“传的精”，实现低冗余的信息传输。而且，通过对语义信息进行重构得到重构水下影像可以实现对水下影像的还原，以便于实现对水下信息的准确获取。通过上述可知，本技术通过从水下影像中提取语义信息，通过水声通信方式对语义信息进行传输，然后，再利用上位机对接收到的语义信息进行重构而得到重构水下影像可以实现水下信息快速、高效、及时的传输，从而便于及时获取水下信息。
33.本技术实施例提供的一种影像处理方法，从水下影像中提取语义信息，可以包括：利用预先训练得到的水下影像语义表达模型，从水下影像中提取语义信息；其中，水下影像语义表达模型为利用带有语义标注的水下数据集进行训练得到的。
34.在本技术中，可以对水下数据集中包含的水下图像进行语义标注，以得到带有语义标注的水下数据集。其中，这里提及的水下数据集具体可以为uieb（水下图像增强基准数据集），该水下数据集包含950张真实世界水下影像，涵盖了众多的水下场景。当然，也可以为其他水下数据集。具体可以参见图2和图3，其中，图2示出了本技术实施例提供的水下数据集标注形式示意图，图3示出了本技术实施例提供的水下数据集部分样本示意图，其中，图2是以语义标注为中文形式进行说明，当然，语义标注也可以为英文形式等，本技术对语义标注的形式不做限定。
35.在得到带有语义标注的水下数据集之后，可以利用带有语义标注的水下数据集对初始语义表达模型进行训练，以得到水下影像语义表达模型。其中，模型训练过程可以由其他设备（例如上位机等）进行预先实现，也可以由水下成像设备进行预先实现。在训练得到水下影像语义表达模型之后，可以将预先训练得到的水下影像语义表达模型保存在水下成像设备中。
36.通过上述方式可以实现基于深度学习的方式得到水下影像语义表达模型，以便于提高语义信息提取的准确性。
37.在上述基础上，水下成像设备在从水下影像中提取语义信息时，具体可以利用预先训练得到的水下影像语义表达模型来从水下影像中提取语义信息，以使得提取的语义信息可以更加准确地描述水下影像，从而提高水下信息获取的准确性。
38.当然，除了采用上述基于深度学习的方式进行语义信息提取外，还可以采用基于模板的方法（生成的句子有固定的模板，通常使用语法决策树算法来构造数据模型）、基于检索的方法（将大量的图像描述储存在一个描述集合中，搜索相似的图像，以该相似图像的图像描述为候选描述并进行适当修改）等方法来从水下影像中提取语义信息。
39.本技术实施例提供的一种影像处理方法，利用预先训练得到的水下影像语义表达模型，从水下影像中提取语义信息，可以包括：利用预先训练得到的image captioning算法，从水下影像中提取语义信息。
40.在本技术中，在利用预先训练得到的水下影像语义表达模型，从水下影像中提取语义信息时，具体可以利用预先训练得到的image captioning算法（图像描述算法）来从水下影像中提取语义信息，以提高语义信息提取的准确性。
41.需要说明的是，在水下影像语义表达模型为image captioning算法的基础上，初始语义表达模型也为image captioning算法，区别在于水下影像语义表达模型对应的是训练好的image captioning算法，初始语义表达模型为未训练的image captioning算法。
42.image captioning算法的模型结构的输入数据由两个元素的列表构成，其中一个为文本特征，另一个为图像特征。输入的文本特征是40维向量，经过嵌入层，被映射到128维向量空间。嵌入层的作用是将稀疏的one-hot（又称为独热编码表示，只有一位有效位）向量编码成维数较低的矩阵，经过lstm（长短期记忆网络）层与timedistributed（时间分布层）包装过的dense层（全连接层），得到结果为（40，128）维的向量。输入的图像特征是由resnet（残差网络）50模型网络提取出来的2048维特征向量，经过嵌入层和repeat vector（重复向量）扩充维度，得到结果为（1，128）维的向量。模型将两种特征首先通过concatenate函数（连接函数）融合成（41，128）维特征；之后再通过两个lstm网络和三个dropout层（删除层，用于防止模型过拟合），提取两种特征的信息；最后通过1024*17628的全连接层输出17628维数据。
43.当然，在利用预先训练得到的水下影像语义表达模型，从水下影像中提取语义信息时，除了利用image captioning算法进行实现外，还可以采用基于编码解码机制的方法、基于生成对抗网络的方法等方法进行实现。
44.本技术实施例提供的一种影像处理方法，利用上位机对语义信息进行重构，以得到重构水下影像，可以包括：利用上位机将语义信息输入到预先训练得到的水下影像语义重构与推演模型中，以得到重构水下影像；其中，水下影像语义重构与推演模型为利用带有语义标注的水下数据集进行训练得到的。
45.在本技术中，可以对水下数据集中包含的水下图像进行语义标注，以得到带有语义标注的水下数据集。其中，这里提及的水下数据集与上述提及的参与到水下影像语义表达模型中的水下数据集可以为同一个数据集，也即一个带有语义标注的水下数据集可以既参与到水下影像语义表达模型的训练中，又可以参与到水下影像语义重构与推演模型的训
练中，以减少水下数据集标注的工作量。
46.在得到带有语义标注的水下数据集之后，可以利用带有语义标注的数据集对初始语义重构与推演模型进行训练，以得到水下影像语义重构与推演模型。其中，模型训练过程可以由其他设备（例如除上位机之外的设备等）进行预先实现。通过该方式可以实现基于深度学习的方式得到水下影像语义重构与推演模型，以便于提高水下影像重构与推演的准确性，从而便于从重构水下影像中准确获取水下信息。
47.在得到水下影像语义重构与推演模型之后，可以将水下影像语义重构与推演模型保存在上位机上。在利用上位机对语义信息进行重构时，具体可以利用上位机上语义信息输入到预先训练得到的水下影像语义重构与推演模型中，以利用预先训练得到的水下影像语义重构与推演模型对语义信息进行重构与推演，从而得到重构水下影像，以提高重构水下影像获取的准确性，从而便于提高水下信息获取的准确性。
48.其中，本技术提及的水下影像语义重构与推演模型具体可以为text-to-image算法（文本生成图像算法）。text-to-image算法主体部分使用清华大学开源的cogview模型。在前述模型已有权重的基础上，与带有语义标注的水下数据集结合，进行水下影像的生成训练。当然，水下影像语义重构与推演模型也可以为attngan（注意力生成对抗网络）、dm-gan（动态记忆生成对抗网络）或者基于扩散模型的方法模型（例如openai公司的dall-e 2和谷歌公司的imagen）等。
49.本技术实施例提供的一种影像处理方法，还可以包括：计算水下影像与重构水下影像间的相似度。
50.在本技术中，在利用上位机对语义信息进行重构，以得到重构水下影像之后，还可以计算水下影像与重构水下影像间的相似度，具体可以由水下成像设备自主计算水下影像与重构水下影像间的相似度，或者可以利用上位机计算水下影像与重构水下影像间的相似度，本技术对此不做限定。通过计算水下影像与重构水下影像间的相似度可以便于相关人员获知重构水下影像的质量。
51.具体地，可以计算水下影像与重构水下影像间的fid（frechet inception distance score，距离得分），其中，fid是计算真实图像与生成图像特征向量之间距离的一种度量，fid越小，生成图像与真实图像越相似。
52.本技术实施例提供的一种影像处理方法，将语义信息通过水声通信方式传输至上位机，可以包括：利用水声通信系统将语义信息传输至上位机；其中，水声通信系统可以包括水声语义通信发射机、水声语义通信接收机及主控端，水声语义通信发射机及水声语义通信接收机受主控端的控制，水声语义通信发射机用于接收语义信息，水声语义通信接收机用于将语义信息传输至上位机。
53.在本技术中，水下成像设备可以通过水声通信系统将所提取到的语义信息传输至上位机。具体地，水声通信系统可以包括主控端、水声语义通信发射机及水声语义通信接收机（水声语义通信接收机可以和上位机相连）。其中，水下成像设备可以与水声通信系统中的主控端进行通信，以让主控端对水声语义通信发射机和水声语义通信接收机进行控制，使得水下成像设备利用水声通信发射机接收语义信息，并利用水声语义通信接收机将语义信息传输至上位机。
54.其中，水声语义通信发射机及水声语义通信接收机可采用ofdm模型进行实现，主控端可采用picorv32和verilog语言进行实现。具体地，水声语义通信发射机及水声语义通信接收机采用ofdm（正交频分复用技术）模型和verilog语言（一种硬件描述语言，以文本形式来描述数字系统硬件的结构和行为的语言）进行实现，同时可以采用picorv32自主设计开源的cpu及verilog语言设计主控端，从而实现语义信息的水声传输。
55.具体可以参见图4-图7，其中，图4示出了本技术实施例提供的水声通信系统整体框架结构示意图，图5示出了本技术实施例提供的水声语义通信发射机流程示意图，图6示出了本技术实施例提供的水声语义通信接收机流程示意图，图7本技术实施例提供的串口帧结构示意图。
56.ofdm模型具有抗衰落能力强、频率利用高、传输速率快等优点，因此，采用该模型进行水声语义通信发射机及水声语义通信接收机的设计可以提高语义信息传输的效率，并减少衰落，很好地满足水声语义通信的需求。
57.在水声语义通信发射机的设计中，水声语义通信发射机接收语义信息后，首先进行qam（正交振幅调制）调制操作，得到映射的数据后，在对应位置插入导频，然后再对加入导频的数据进行厄米特变换，同时将本地ram（随机存取存储器） 存储数据的经过ifft（快速傅里叶逆变换）操作的同步序列读取出，添加循环前缀输出作为系统的第一个 ofdm符号，之后通过dac（数模转换器）驱动输出模拟信号，以此驱动换能器。
58.在水声语义通信接收机的设计中，水声语义通信接收机首先通过ad（模数转换）转换模块，接收到水声语义通信发射机发送的语义信息，然后进行去循环前缀操作，得到ofdm数据。之后再通过fft（快速傅里叶变换）、厄米特反变换、去导频、qam解调等一系列发射机操作的逆过程，将相应数据进行还原。
59.在以picorv32自主设计开源的cpu作为主控端的设计中，picorv32控制部分包括串口模块和risc-v软件设计。串口模块中串口帧格式由1个起始位（必须为0）、8个数据位、1个奇偶校验位和1或2个停止位（必须为1）组成。数据传输时，1个低电平的脉冲表示起始位，然后连续传输8个数据位和若干个高电平的停止位。risc-v是一个基于精简指令集原则的开源指令集架构（isa）。与大多数isa不同，risc-v完全开源，采用宽松的bsd协议，可供使用者自由免费使用。本设计方法基于risc
⁃
v，使用verilog语言编码，设计了一个独立的ip 核控制接口，该接口可控制水声语义通信发射机及水声语义通信接收机的模式转换，还可用于创建其他自定义核，使后续自主研发更加方便。
60.当然，水声语义通信发射机及水声语义通信接收机也可采用扩频技术（如cdma（code division multiple access，码分多址）），以及一些其他调制技术（如ask（ask modulation，幅移键控，又称为振幅键控），fsk（频移键控）和psk（相移键控）等）进行实现。对于编程语言，除了采用verilog语言外，还可以使用python等方法编程实现，其中，verilog语言编写的主要优势在于以后方便做成芯片。
61.本技术实施例还提供了一种影像处理装置，参见图8，其示出了本技术实施例提供的一种影像处理装置的结构示意图，可以包括：获取模块121，用于获取水下影像，从水下影像中提取语义信息；传输模块122，用于将语义信息通过水声通信方式传输至上位机；利用模块123，用于利用上位机对语义信息进行重构，以得到重构水下影像。
62.本技术实施例提供的一种影像处理装置，获取模块121可以包括：提取单元，用于利用预先训练得到的水下影像语义表达模型，从水下影像中提取语义信息；其中，水下影像语义表达模型为利用带有语义标注的水下数据集进行训练得到的。
63.本技术实施例提供的一种影像处理装置，提取单元可以包括：提取子单元，用于利用预先训练得到的image captioning算法，从水下影像中提取语义信息。
64.本技术实施例提供的一种影像处理装置，利用模块123可以包括：利用单元，用于利用上位机将语义信息输入到预先训练得到的水下影像语义重构与推演模型中，以得到重构水下影像；其中，水下影像语义重构与推演模型为利用带有语义标注的水下数据集进行训练得到的。
65.本技术实施例提供的一种影像处理装置，还可以包括：计算模块，用于计算水下影像与重构水下影像间的相似度。
66.本技术实施例提供的一种影像处理装置，传输模块122可以包括：传输单元，用于利用水声通信系统将语义信息传输至上位机；其中，水声通信系统可以包括水声语义通信发射机、水声语义通信接收机及主控端，水声语义通信发射机及水声语义通信接收机受主控端的控制，水声语义通信发射机用于接收语义信息，水声语义通信接收机用于将语义信息传输至上位机。
67.本技术实施例还提供了一种水下成像设备，参见图9，其示出了本技术实施例提供的一种水下成像设备的结构示意图，可以包括：存储器131，用于存储计算机程序；处理器132，用于执行存储器131存储的计算机程序时可实现如下步骤：获取水下影像，从水下影像中提取语义信息；将语义信息通过水声通信方式传输至上位机；利用上位机对语义信息进行重构，以得到重构水下影像。
68.本技术实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：获取水下影像，从水下影像中提取语义信息；将语义信息通过水声通信方式传输至上位机；利用上位机对语义信息进行重构，以得到重构水下影像。
69.该可读存储介质可以包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
70.本技术实施例提供的一种影像处理装置、水下成像设备及可读存储介质中相关部分的说明可以参见本技术实施例提供的一种影像处理方法中相关部分的详细说明，在此不再赘述。
71.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、
ꢀ“
包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本技术实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
72.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。