一种基于全局结构编码的全景图像修复方法与流程

本发明属于图像处理，尤其涉及一种基于全局结构编码的全景图像修复方法。

背景技术：

1、全景图像修复是计算机视觉领域中一项复杂而关键的任务，其主要挑战之一是克服全景图像中的球面畸变问题，以及确保修复过程中全局信息的一致性，全景图像通常是通过将多个图像拼接而成，这导致了球面畸变的出现，因为在球形表面上观察到的物体可能会因其弯曲而被扭曲。这种畸变对于传统的图像修复算法来说是一个挑战，因为它们通常基于平面图像的假设，而无法有效处理球面上的结构信息，例如cn116957977a公开的基于立方体投影格式的双生成器全景图像修复方法，其包括获取待修复全景图像，并将其格式转换为立方体贴图投影格式；将待修复全景图像的前、后、左、右四个面进行拼接，得待修复矩形图像；利用四面生成器对待修复矩形图像进行修复，得重构矩形图像；将重构矩形图像与上、下两面按通道拼接，得多通道的待修复图像；利用六面生成器对多通道的待修复图像进行修复，得重构全景图像；将重构全景图像的格式转换为等距柱状投影格式，即为修复后的全景图像；cn111131689a提供的一种全景图像修复方法和系统，所述方法包括响应于图像采集设备处于待修复区域内，采集素材图像并根据素材图像生成全景图像；待修复区域是由围绕所述图像采集设备的多个标志限定的，每一标志具有唯一的标识符；将全景图像转换为包括底面图像的立面体图像；响应于图像采集设备处于待修复区域外，图像采集设备拍摄包括多个标志和待修复区域的第一图像，并拍摄仅包括待修复区域的第二图像；基于标志确定从底面图像到第一图像的变换矩阵；用变换矩阵对第二图像进行投影变换；用经投影变换的第二图像修复底面图像。

技术实现思路

1、为了解决全景畸变问题，本发明提出了一种基于全局结构编码的全景图像修复方法，采用全局结构编码算法有效地处理球面上的物体结构信息，并采用球面几何学建模方法更准确地表示球面上物体的形状和结构，在修复过程中更好地考虑球面上物体的真实形态，从而提高修复的准确性。

2、为实现上述目的，本发明通过以下技术方案实现：

3、一种基于全局结构编码的全景图像修复方法，具体包括如下步骤：

4、（1）收集并整理包含全景图像构建全景图像修复数据集；

5、（2）将全景图像修复数据集中的全景图像作为输入图像，采用vit方式将输入图像分割成小块并通过线性层进行特征嵌入得到视觉特征，在特征嵌入过程中，将输入特征划分为像素级的卷积输入；

6、（3）对全景图像进行角点检测和边缘检测，将角点检测和边缘检测的结构输入深度学习网络提取全景图像结构特征分别得到角点特征和边缘特征，并将角点特征和边缘特征进行拼接融合得到结构特征；

7、（4）采用结合深度特征的奇异值分解方式进行视觉特征和结构特征之间的交互得到增强后的视觉特征；

8、（5）使用滤波或去噪技术对增强后的视觉特征进行处理得到经过噪声过滤的视觉特征，再将经过噪声过滤的视觉特征输入到convgru神经网络中得到输出结果；

9、（6）采用全局池化层对步骤（2）得到的视觉特征操作，将其转化为一个高维度的向量，得到全局特征，并从全局特征中提取高维度语义信息得到高纬度的全局特征；

10、（7）将全局特征进行修复，得到增强后的特征；

11、（8）对步骤（7）得到的增强后的特征，通过对当前局部区域与其他区域之间的相似性进行约束得到经过约束处理后的特征；

12、（9）对经过约束处理后的特征进行精细化处理后输出；

13、（10）采用 adam 优化器训练整个网络模型，并对训练好的网络模型进行测试。

14、作为本发明的进一步技术方案，步骤（1）所述构建全景图像修复数据集涵包括受到球面畸变影响的全景图像，球面畸变指损坏、缺失或扭曲。

15、作为本发明的进一步技术方案，步骤（2）所述vit 方式为：

16、，表示vit处理的函数形式， imagesegmentation 为图像分割函数，linearlayer 为线性层特征嵌入函数，image为输入图像；

17、每个所述卷积输入包含9个不同位置的特征值，每个卷积的特征值是根据全景图像的投影信息获得的，包括1个中心坐标和8个邻域坐标，先获取中心坐标，然后通过邻域投影得到8个邻域坐标，从而确定erp投影的位置，再采用球面切线投影的方法，在球面中心坐标位置将球面上的8邻域投影到平面，从而获得平面上的9个坐标点，具体表示为：

18、，

19、其中为视觉特征，和分别表示中心坐标和邻域坐标的函数；input为经过提取的特征信息；

20、，

21、表示erp投影函数，sphericalprojection 表示球面投影函数，sphericaltangentpatchprojection 表示球面切线投影函数，为球面上与erp上相对应位置的坐标信息。

22、作为本发明的进一步技术方案，步骤（3）所述角点检测使用角点检测算法识别全景图像中的关键角点，得到角点的位置和强度信息，其中i为全景图像，为角点的位置，为强度信息；

23、所述边缘检测使用边缘检测算法检测全景图像中的边缘，获得边缘的位置和强度信息，其中为边缘的位置，为强度信息；

24、所述角点特征为；

25、所述边缘特征为；其中表示深度学习网络；

26、所述结构特征为，其中为特征拼接， 为卷积层。

27、作为本发明的进一步技术方案，步骤（4）的具体过程表示为：

28、作为本发明的进一步技术方案，步骤（5）得到的输出结果为：

29、，其中noisefiltered 表示噪声过滤操作，convgru 表示卷积门控循环单元的操作。

30、作为本发明的进一步技术方案，步骤（6）所述全局特征为，globalpooling 表示全局池化操作；高纬度的全局特征为，semanticinfo 表示从全局特征中提取高维度语义信息的操作。

31、作为本发明的进一步技术方案，步骤（7）增强后的特征为，其中，α为权重系数，用于平衡对相似性的影响，

32、，

33、β为权重系数，用于平衡与的相似性和与的相似性，表示与 之间的余弦相似性，表示与之间的余弦相似性。

34、作为本发明的进一步技术方案，步骤（8）经过约束处理后的特征为：

35、，

36、为步骤（7）增强后的特征， wq,  wk,  wv 是分别用于查询、键、值的权重矩阵，softmax 是 softmax 激活函数，是 dk 的平方根，其中 dk 是查询/键向量的维度。

37、作为本发明的进一步技术方案，步骤（9）的输出结果为：，其中：是经过约束处理后的特征，refine 表示特征精细化操作，特征精细化操作包括卷积层和激活层操作。

38、作为本发明的进一步技术方案，步骤（10）在进行网络训练时，将样本图像的尺寸调整为 256×256，同时采用随机位置放置缺失区域的策略，损失函数为：

39、，

40、其中reconstruction loss为重建损失，perceptual loss为感知损失，styleloss为风格损失，gt表示不需要修复的完整图像。

41、与现有技术相比，本发明不仅更好地处理了球面畸变，还能够保持修复结果在全景图像中的一致性，对于全景图像的后续应用，如虚拟现实、增强现实等，具有重要的意义，不仅仅是一种修复工具，更是提供了更高质量全景图像的生成路径，为各种应用场景提供了更真实、更具吸引力的图像内容，具体具有以下有益效果：

42、（1）更准确的修复效果：通过引入全局结构编码，更全面地理解全景图像的整体语境，从而在修复过程中提供更准确、更自然的结果，而且全局结构信息的有效利用有助于恢复缺失区域，使修复的图像更贴近原始的全景场景。

43、（2）更好的语义信息保留：全局结构编码策略能够捕捉全景图像中更高层次、更抽象的语义信息，相对于仅仅关注局部特征的方法，在修复过程中更好地保留了图像的语义内容，使得修复后的图像更富有意义。

44、（3）适应性强： 通过对训练样本的裁剪和缺失区域的随机放置，在处理不同场景和缺失模式时表现出较强的适应性，在自然场景或特定环境的全景图像修复任务中都能够表现出色，为全景图像修复任务带来了更智能、更高效的解决方案，标志着全景图像修复领域的重大突破，为实现高水平的修复质量奠定了坚实基础。