基于语义信息的图像处理方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种基于语义信息的图像处理方法及电子设备。

背景技术：

1、图像语义分割是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。

2、目前，利用卷积神经网络(convolutional neuron network，cnn)来处理图像语义分割任务是业界比较普遍的方案。在该方案中，利用cnn先对输入图像进行编码(下采样)，再进行解码(上采样)和融合操作，得到最终的图像分割结果。然而，基于该方案得到的图像分割结果在图像纹理细节上不够清晰，导致图像处理效果不佳。

技术实现思路

1、本技术提供一种基于语义信息的图像处理方法及电子设备，能够优化图像中的特定语义部分，使得图像纹理更加清晰。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术提供一种基于语义信息的图像处理方法，该方法包括：

4、基于待处理图像的语义标签图，获取第一特征数据和第二特征数据；其中，所述语义标签图是采用不同标签表示不同语义信息的矩阵；所述第一特征数据和所述第二特征数据分别包含不同特征强度的语义信息；

5、根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图；其中，所述第一特征图是将所述待处理图像输入二维卷积网络后得到的特征映射矩阵；

6、将所述基于不同语义信息的特征图和所述待处理图像的第二特征图进行融合，获得目标特征图；其中，所述第二特征图是将所述待处理图像输入u-net神经网络后得到的特征映射矩阵；

7、对所述目标特征图进行二维卷积运算，得到目标图像。

8、通过本技术实施例提供的基于语义信息的图像处理方法，以待处理图像中每个像素的语义种类为先验信息，将不同语义信息经过不同二维卷积核后，再拼接到u-net神经网络中，优化图像处理能力。由于本技术方案基于不同语义信息的特征图，对u-net神经网络后得到的特征映射矩阵进行微调，因此可以获得更加精准的分割结果，提升对应语义区域的图像质量，使得对应语义区域的图像清晰度更高。经过本技术方案优化后，图像中的特定语义部分明显优化，纹理更加清晰。

9、在一些可能的实现方式中，上述根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图，可以包括：

10、将所述第二特征数据和所述待处理图像的第一特征图之间的点乘结果，与所述第一特征数据相加，得到所述基于不同语义信息的特征图。

11、在一些可能的实现方式中，上述基于待处理图像的语义标签图，获取第一特征数据和第二特征数据，具体可以包括：

12、采用第一权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第一特征数据；

13、采用第二权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第二特征数据。

14、本技术方案以待处理图像中每个像素的语义种类为先验信息，将不同语义信息经过不同二维卷积核后，再拼接到u-net神经网络中，可以优化图像处理能力。

15、在一些可能的实现方式中，所述第二特征数据中预设语义信息的特征强度大于所述第一特征数据中所述预设语义信息的特征强度。

16、在一些可能的实现方式中，上述将所述基于不同语义信息的特征图和所述待处理图像的第二特征图进行融合，获得目标特征图，具体可以包括：

17、将所述基于不同语义信息的特征图与所述待处理图像的第二特征图进行逐像素求和运算，得到所述目标特征图。

18、由于本技术方案基于不同语义信息的特征图，对u-net神经网络后得到的特征映射矩阵进行微调，因此可以获得更加精准的分割结果，由此可以提升对应语义区域的图像质量，使得对应语义区域的图像清晰度更高。

19、在一些可能的实现方式中，在所述基于待处理图像的语义标签图，获取第一特征数据和第二特征数据之前，本技术实施例提供的基于语义信息的图像处理方法还可以包括：

20、将所述待处理图像输入语义分割模型；

21、通过所述语义分割模型对所述待处理图像进行语义分割，得到所述语义标签图。

22、在一些可能的实现方式中，本技术实施例提供的基于语义信息的图像处理方法还可以包括：

23、通过电子设备的摄像头连续采集多帧图像；

24、将所述多帧图像进行图像配准，得到所述待处理图像。

25、在一些可能的实现方式中，在所述获得目标特征图之后，本技术实施例提供的基于语义信息的图像处理方法还可以包括：

26、通过电子设备的显示屏显示所述目标图像。

27、电子设备所拍摄的图像在经过本技术方案优化后，图像中的特定语义部分明显优化，纹理更加清晰。

28、在一些可能的实现方式中，在根据所述基于不同语义信息的特征图和所述待处理图像的第二特征图，获得目标特征图之前，本技术实施例提供的基于语义信息的图像处理方法还可以包括：

29、对所述待处理图像进行二维卷积运算，得到中间特征图；

30、将所述中间特征图输入所述u-net神经网络，输出得到所述第二特征图。

31、在一些可能的实现方式中，上述将所述中间特征图输入所述u-net神经网络，输出得到所述第二特征图，具体可以包括：

32、将所述中间特征图输入所述u-net神经网络；

33、通过所述u-net神经网络，对所述中间特征图依次进行n次下采样处理和n次上采样处理；其中，在每次上采样处理得到的特征图与对应等级的下采样处理得到的特征图进行特征融合之后，再基于特征融合得到的特征图进行下一次的上采样处理；

34、当执行完第n次上采样处理之后，得到所述第二特征图。

35、第二方面，本技术提供一种基于语义信息的图像处理装置，该装置包括用于执行上述第一方面中的方法的单元。该装置可对应于执行上述第一方面中描述的方法，该装置中的单元的相关描述请参照上述第一方面的描述，为了简洁，在此不再赘述。

36、其中，上述第一方面描述的方法可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，图像特征提取单元或模块、图像特征融合单元或模块和图像输出单元或模块等。

37、其中，图像特征提取单元可以用于根据待处理图像的语义标签图，获取所述待处理图像的第一特征数据和第二特征数据；其中，所述语义标签图是采用不同标签表示不同语义信息的矩阵；所述第一特征数据和所述第二特征数据分别包含不同的语义信息；

38、其中，图像特征融合单元可以用于根据所述第一特征数据、所述第二特征数据和第一特征图，获得基于不同语义信息的特征图；其中，所述第一特征图是将所述待处理图像输入二维卷积网络后得到的特征映射矩阵；

39、其中，图像特征融合单元可以还用于将所述基于不同语义信息的特征图和所述待处理图像的第二特征图进行融合，获得目标特征图；其中，所述第二特征图是将所述待处理图像输入u-net神经网络后得到的特征映射矩阵；

40、其中，图像输出单元可以用于对所述目标特征图进行二维卷积运算，得到目标图像。

41、可选地，在一些可能的实现方式中，上述图像特征融合单元具体可以用于：

42、将所述第二特征数据和所述待处理图像的第一特征图之间的点乘结果，与所述第一特征数据相加，得到所述基于不同语义信息的特征图。

43、可选地，在一些可能的实现方式中，上述图像特征提取单元具体可以用于：

44、采用第一权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第一特征数据；

45、采用第二权重矩阵对所述待处理图像的语义标签图进行卷积运算，得到所述第二特征数据。

46、可选地，在一些可能的实现方式中，所述第二特征数据中预设语义信息的特征强度大于所述第一特征数据中所述预设语义信息的特征强度。

47、可选地，在一些可能的实现方式中，上述图像特征融合单元可以具体用于：

48、将所述基于不同语义信息的特征图与所述待处理图像的第二特征图进行逐像素求和运算，得到所述目标特征图。

49、可选地，在一些可能的实现方式中，本技术实施例提供的基于语义信息的图像处理装置还可以包括图像语义分割单元；

50、其中，图像语义分割模块可以用于：将所述待处理图像输入语义分割模型；并通过所述语义分割模型对所述待处理图像进行语义分割，得到所述语义标签图。

51、进一步地，图像特征提取单元可以根据待处理图像的语义标签图，获取所述待处理图像的第一特征数据和第二特征数据。

52、可选地，在一些可能的实现方式中，本技术实施例提供的基于语义信息的图像处理装置还可以包括图像采集单元。其中，图像采集单元可以用于：通过电子设备的摄像头连续采集多帧图像；并将所述多帧图像进行图像配准，得到所述待处理图像。

53、可选地，在一些可能的实现方式中，本技术实施例提供的基于语义信息的图像处理方法还可以包括图像显示单元。其中，图像显示单元可以用于在图像输出单元830获得目标特征图之后，通过电子设备的显示屏显示所述目标图像。

54、可选地，在一些可能的实现方式中，图像特征提取单元还可以用于：对所述待处理图像进行二维卷积运算，得到中间特征图；并将所述中间特征图输入所述u-net神经网络，输出得到所述第二特征图。

55、进一步地，图像特征融合单元可以根据上述基于不同语义信息的特征图和待处理图像的第二特征图，获得目标特征图。

56、可选地，在一些可能的实现方式中，图像特征提取单元具体可以用于：将所述中间特征图输入所述u-net神经网络；并通过所述u-net神经网络，对所述中间特征图依次进行n次下采样处理和n次上采样处理；其中，在每次上采样处理得到的特征图与对应等级的下采样处理得到的特征图进行特征融合之后，再基于特征融合得到的特征图进行下一次的上采样处理。当执行完第n次上采样处理之后，得到所述第二特征图。

57、第三方面，本技术提供一种电子设备，所述电子设备包括处理器，处理器与存储器耦合，存储器用于存储计算机程序或指令，处理器用于执行存储器存储的计算机程序或指令，使得第一方面中的方法被执行。例如，处理器用于执行存储器存储的计算机程序或指令，使得该装置执行第一方面中的方法。

58、第四方面，本技术提供一种计算机可读存储介质，其上存储有用于实现第一方面中的方法的计算机程序(也可称为指令或代码)。例如，该计算机程序被计算机执行时，使得该计算机可以执行第一方面中的方法。

59、第五方面，本技术提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。可选地，所述芯片还包括存储器，存储器与处理器通过电路或电线连接。

60、第六方面，本技术提供一种芯片系统，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。可选地，所述芯片系统还包括存储器，存储器与处理器通过电路或电线连接。

61、第七方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序(也可称为指令或代码)，所述计算机程序被计算机执行时使得所述计算机实现第一方面中的方法。

62、可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。