一种用于智能目标识别的图像语义通信方法及系统

本发明涉及语义通信，更具体的，涉及一种用于智能目标识别的图像语义通信方法及系统。

背景技术：

1、语义通信是一种可将用户的需求和信息含义融入通信过程中的全新架构，可以通过探索语义信息来显着提高传输效率。而近年来人工智能技术不断发展，在算法、算力、数据方面的巨大进步，使得其能够进行提取图像、文本、语音等语义信息的精准高效提取，使语义通信在工程层面成为可能。由于语义通信放松了对信息传输的无差错要求，避免了冗余数据的传输。因此在传输等量的源信息时，传输的数据量会更小，但传输精度不会降低，系统可以获得更高的效率。

2、在目标识别场景中，图像采集端如无人机等遇到信号较弱的情况或者进入信号弱的区域时，将难以进行检测图片的正常回传，降低了目标识别的质量。传统的通信方法传输比特流的信息冗余度较大且目标识别易受信道条件影响，而现有的语义通信框架是基于集中式训练的端到端的框架，由于缺乏对图像上下文特征的挖掘，接收端恢复的图像会识别会存在偏差，并且很多移动端设备无法承担相当的计算量，通过云计算中心来处理复杂的语义编解码的话计算时延则无法保证，一些实时性的任务需求便无法满足。因此，如何在减少通信资源占用的同时，使得图像信息进行高质量传输是需要解决的问题之一。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种用于智能目标识别的图像语义通信方法及系统。

2、本发明第一方面提供了一种用于智能目标识别的图像语义通信方法，包括：

3、获取待检测图像数据集，将所述待检测图像数据集中的待检测图像数据进行归一化处理；

4、基于图卷积神经网络获取目标识别的语义提取偏好，构建多语义特征模型，将归一化处理的待检测图像数据作为模型输入，结合所述语义提取偏好提取不同图像语义特征；

5、将不同图像语义特征进行上下文融合，赋予不同权重信息，获取上下文图像语义特征，根据不同图像语义特征及上下文图像语义特征表征待检测图像的图像语义向量；

6、对所述图像语义向量进行解码，获取解码后图像语义向量进行图像重建，生成目标图像数据进行目标识别。

7、本方案中，将所述待检测图像数据集中的待检测图像数据进行归一化处理，具体为：

8、获取用于目标识别的待检测图像数据集，将待检测图像数据中的像素坐标进行坐标中心化处理，将坐标中心化后待检测图像数据利用矩阵变换进行归一化处理，映射到区间[0,1]；

9、根据待检测图像数据的检测时间戳基于预设时间步长构建待检测图像数据序列，读取待检测图像数据序列对应归一化数据的平均值，根据所述平均值生成待检测图像数据序列的初始权重信息；

10、基于所述初始权重信息设置数据标签，利用数据标签对待检测图像数据序列进行标注，更新所述待检测图像数据集。

11、本方案中，基于图卷积神经网络获取目标识别的语义提取偏好，具体为：

12、获取待识别目标的目标特征，根据所述目标特征利用大数据方法进行检索，获取目标特征对应的历史识别数据，提取历史识别数据中的历史检测图像，通过所述历史识别数据及历史检测图像构建训练数据集；

13、通过所述训练数据集对图卷积神经网络进行训练，将所述训练数据集中的历史识别数据作为实体节点进行图表示，获取历史检测图像对应的语义特征，将所述语义特征作为实体节点的附加描述节点；

14、获取历史识别数据节点的邻接矩阵，基于邻接矩阵进行邻居聚合获取历史识别数据节点的向量化表示，将所述向量化表示通过向量拼接进行特征拟合，获取目标识别的语义提取偏好。

15、本方案中，构建多语义特征模型，将归一化处理的待检测图像数据作为模型输入，结合所述语义提取偏好提取不同图像语义特征，具体为：

16、构建多语义特征模型，根据所述语义提取偏好分析语义特征的模态信息及种类信息，通过所述模态信息及种类信息设置对应数量的图像语义特征提取分支；

17、在各图像语义特征提取分支中设置对应的特征提取模块，将归一化处理后的待检测图像序列导入所述多语义特征模型，并引入多头注意力机制设置不同提取分支的自注意力权重；

18、获取待检测图像序列的初始权重，结合所述自注意力权重对获取的图像语义特征进行加权，表征不同图像语义特征的重要程度；

19、将不同图像语义特征导入全连接层进行维度整合，利用编码器模块将维度整合后的图像语义特征进行特征编码。

20、本方案中，将不同图像语义特征进行上下文融合，赋予不同权重信息，获取上下文图像语义特征，具体为：

21、获取特征编码后的不同图像语义特征，生成待检测图像序列对应的图像语义特征序列，计算各图像语义特征序列中不同特征之间的曼哈顿距离，根据所述曼哈顿距离表征特征之间的相似度；

22、预设相似度阈值区间，根据所述相似度筛选落入相似度阈值区间中的图像语义特征，将筛选的图像语义特征进行上下文融合；

23、根据所述相似度设置上下文融合图像语义特征的相对注意力，赋予不同的相对注意力权重，利用所述相对注意力权重进行加权生成上下文图像语义特征，并获取对应的编码输出。

24、本方案中，对所述图像语义向量进行解码，获取解码后图像语义向量进行图像重建，生成目标图像数据进行目标识别，具体为：

25、通过门控单元将不同图像语义特征的编码输出及上下文图像语义特征的编码输出设置门控权重，进行特征编码融合获取图像语义向量；

26、当接收端接收到带检测图像数据集的图像语义向量时，利用参数共享读取训练好图卷积神经网络进行图像语义推理，获取图像语义向量对应的目标特征；

27、根据上采样将所述目标特征进行特征升维，将相同维度的目标特征进行级联，并利用残差网络对级联后的目标特征进行处理，获取待检测图像数据重建后的目标图像数据；

28、根据所述目标图像数据进行待检测目标的识别。

29、本发明第二方面还提供了一种用于智能目标识别的图像语义通信系统，该系统包括：存储器、处理器，所述存储器中包括用于智能目标识别的图像语义通信方法程序，所述用于智能目标识别的图像语义通信方法程序被所述处理器执行时实现如下步骤：

30、获取待检测图像数据集，将所述待检测图像数据集中的待检测图像数据进行归一化处理；

31、基于图卷积神经网络获取目标识别的语义提取偏好，构建多语义特征模型，将归一化处理的待检测图像数据作为模型输入，结合所述语义提取偏好提取不同图像语义特征；

32、将不同图像语义特征进行上下文融合，赋予不同权重信息，获取上下文图像语义特征，根据不同图像语义特征及上下文图像语义特征表征待检测图像的图像语义向量；

33、对所述图像语义向量进行解码，获取解码后图像语义向量进行图像重建，生成目标图像数据进行目标识别。

34、本发明公开了一种用于智能目标识别的图像语义通信方法及系统，包括，获取待检测图像数据集，进行归一化处理；基于图卷积神经网络获取目标识别的语义提取偏好，构建多语义特征模型，将归一化处理的待检测图像数据作为模型输入，结合语义提取偏好提取不同图像语义特征；将不同图像语义特征进行上下文融合，获取上下文图像语义特征，得到图像语义向量；对图像语义向量进行解码，获取解码后图像语义向量进行图像重建，生成目标图像数据进行目标识别。本发明通过挖掘图像不同图像语义特征及上下文图像语义特征表征图像语义向量，实现语义的可靠恢复，提高了语义恢复的准确性；并且利用图卷积神经网络构建编码及解码网络，在有限带宽条件下具有较好的鲁棒性。