图像块的正交位置编码表示方法及上采样模块实现方法

本发明属于计算机视觉，具体涉及一种图像块的正交位置编码表示方法以及基于正交位置编码的上采样模块实现方法。

背景技术：

1、图像超分辨率是计算机视觉的一个基本分支，它以低分辨率图像与指定的整数超分辨率尺度（通常为2,3,4）为输入，输出对应高分辨率的清晰图像。其流程为：低分辨率图像首先经过基于卷积神经网络的编码器获得特征图，之后将特征图经过相应超分辨率尺度所设计的上采样模块，进一步经过卷积运算得到高分辨率图像。由于上采样模块需要针对不同的超分辨率尺度单独设计，这造成了应用的不方便，因此，进一步产生了任意尺度图像超分辨率相关技术。

2、作为图像超分辨率的一个新兴分支，其目的在于设计一种全新的上采样模块，可以接收任意非整数超分辨率尺度作为上采样因子，以便于实际应用。其流程与图像超分辨率类似：低分辨率图像首先经过基于卷积神经网络的编码器获得特征图，之后特征图经过相应超分辨率尺度所设计的上采样模块。不同之处在于上采样模块可以支持非整数尺度，而满足如此要求的上采样模块采用了一种新兴的技术得以实现：隐式神经表示。

3、隐式神经表示：基于坐标的隐式神经表示起源于三维视觉，基本思想为使用神经网络直接表示复杂、连续的场景或各种信号。在图像连续表示领域，其以图像像素坐标为神经网络（通常为多层感知机）的输入，输出对应坐标像素的rgb通道数值。由于输入坐标具有连续性与稠密性，因此可以表示一张“连续”的图像，体现在分辨率便是任意大小的分辨率。

4、任意尺度图像超分辨率的上采样模块采用了隐式神经表示，因此，得以支持任意尺度的超分辨率，它以特征图，指定超分辨率尺度为输入，首先根据超分辨率尺度计算输出图像的分辨率大小，之后为每个输入图像的像素分配一个二维笛卡尔坐标系坐标值，将这些坐标值与特征图一并作为隐式神经表示的输入，得到相应数量的rgb数值，作为最终图像的结果。该技术充分地解决了图像任意尺度超分辨率中尺度的问题，但是在实现较高尺度（如30）图像超分辨率时，面临着可解释性低，计算量大，显存占用高等问题。

技术实现思路

1、发明目的：本发明的目的在于克服现有方法的不足，提供一种图像块的正交位置编码表示方法以及基于正交位置编码的上采样模块实现方法。

2、技术方案：一方面，本发明提供一种图像块的正交位置编码表示方法，包括以下步骤：

3、s1将待渲染的目标超分辨率图像切割成多个超分辨率图像块；

4、s2确定所述超分辨率图像块在相对坐标域中所对应的连续二元函数以及正交位置编码；

5、所述正交位置编码为：首先利用傅里叶基分别对所述超分辨率图像块横向和纵向维度的坐标信息进行位置编码，之后将各个维度的位置编码一一相乘，从而得到一个综合的位置编码向量。

6、进一步的，包括：

7、所述超分辨率图像块表示方法为：

8、将所述待渲染的目标超分辨率图像进行等距横向和纵向切割为低分辨率输入图像的尺寸部分，且所述待渲染的目标超分辨率图像对应的尺寸表示为，则得到个尺寸的图像区域小块，每一个这样的图像区域小块为超分辨率图像块。

9、所述相对域坐标定义为：

10、若所述低分辨率输入图像的尺寸为，则将2d域划分为个网格，称该2d域为绝对坐标域；每个网格都对应一个低分辨率图像像素，也对应了一个目标超分辨率图像的图像块，所述图像块的尺寸为，即超分辨率尺度，进一步将一个新的2d域划分为个网格，称作相对坐标域。

11、进一步的，包括：

12、所述正交位置编码表示方法为：

13、对于rgb图像的每个通道，将超分辨率图像块表示为 i，将这个图像块在相对坐标域中的以 x, y为中心点坐标的像素值记为，被看作为由二元函数 f进行采样的结果，而 f表示为一组正交基与投影的线性组合：

14、；

15、；

16、；

17、；

18、其中，表示展开2d域矩阵到1d域，z为数学运算时泛指的隐编码，其是一组正交基的投影，表示某一坐标的位置编码， n表示位置编码的最大频率，p为正交位置编码ope。

19、进一步的，包括：

20、所述二元函数 f为图像块所对应的连续二元函数，其定义域为[-1,1]，该二元函数属于内积空间m，令 x, y为根据图像块每个像素中心点映射在2d域内的坐标，从而 f( x,y)为一个标量，代表了图像块上某一个像素点的取值。

21、所述2d域矩阵的每个元素都看作是一个二元函数，满足如下关系：

22、；

23、其中，构成了连续图像空间的一组正交基，而根据正交位置编码的上述定义，其包含了这组正交基。因此，一张连续图像块表示为一组基本平面波的线性组合，正交位置编码不包含复指数项。

24、另一方面，本发明还提供一种基于正交位置编码的上采样模块实现方法，所述上采样模块的实现方法，包括：

25、s1低分辨率输入图像经过编码器得到尺寸为的特征图，所述低分辨率输入图像尺寸为，且所述特征图的长宽与输入图像保持一致，图像通道数变为，其中， n为整数，为预先选择的位置编码最大频率。

26、s2所述特征图的每个像素按照通道维度进行提取，得到形状为的一维隐编码，其用于表示目标超分辨率图像相对应的图像块。

27、所述目标超分辨率图像为rgb图像，对应的图像块由三个通道组成，每一个通道实际上各自被隐编码的三分之一所表示，即形状为的部分，在后续计算中，形状为的正交位置编码p与形状为的隐编码进行线性组合，以表示目标图像块的一个像素某一个rgb通道的像素值。

28、s3由于rgb图像包括三个通道，则将相同的正交位置编码复制3次，分别与对应形状为隐编码进行特征图渲染或图像块聚合后即可得到超分辨率图像某一个像素三个rgb通道的像素值。

29、s4重复步骤s2~s3，直至计算完所有的目标分辨率像素值，之后将所有的像素值重排列到的矩形即可得到目标超分辨率图像。

30、进一步的，包括：

31、所述步骤s2具体包括：

32、s21为了渲染尺寸为的超分辨率图像，将2d域划分为个网格区域，因此，每个目标像素均可分配得绝对中心点坐标。

33、s22相同的2d域根据所述特征图的尺寸划分为个网格区域，每个特征图的z均可分配得一个绝对中心点坐标，这样，对于每一个目标像素，均可以根据中心点坐标计算得到与之最短距离的一个z，记为隐编码，并且得到该目标像素与隐编码的相对坐标，之后该相对坐标使用正交位置编码后，与线性组合即可得到该坐标下的某一个rgb通道的目标像素值，表示为：

34、。

35、其中，，渲染函数代表将相对坐标执行正交位置编码后进行线性组合。

36、进一步的，包括：

37、所述步骤s2具体采用图像块聚合计算目标像素值，所述图像块聚合表示为：

38、。

39、对于每一个中心点，寻找最近的四个相邻隐编码，即；分别对应着四个中心点坐标，之后计算与四个隐编码的相对坐标并得到四个待定像素值，之后这四个待定像素值重叠的部分进行插值，得到某一个rgb通道的目标像素值。

40、其中，代表当前的隐编码与中心点所围成矩形区域的面积，分母的s代表所有的和，四个分别表示为，为了区分就用了下标 t，，对应的分别是这四个隐编码在2d阈内的坐标各自与该目标像素值的绝对中心点坐标所围成的矩形区域面积，也即以这两个坐标为对角线的矩形面积。

41、进一步的，包括：

42、在计算与最近的隐编码的相对坐标时，取值范围在2d域内，而计算其余三个隐编码的相对坐标时则会超出2d域，因此，计算相对坐标时，得到对应所述相对坐标后继续将该相对坐标除以2，保证相对坐标在2d域内，从整体的角度来看，目标超分辨率图像的图像块彼此之间产生了重叠，从而使得目标超分辨率图像不会因为图像块产生不连续的效果，即表示为：。

43、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。

44、最后，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。

45、有益效果：（1）与基于隐式神经表示的上采样模块相比，本发明的计算量采用macs，乘加操作数，因此，节省了2个数量级，显存占用节省了1-2个数量级，且神经网络参数数量为0。

46、（2）在实测中，本发明的方法不同超分辨率尺度下的渲染速度平均提升了40%左右。

47、（3）本发明具备可解释性，解释了特征图即为一组正交基上的投影，而位置编码对应一组正交基，上采样模块的输入与输出均具有严格的数学意义，可以解释运作原理。

48、（4）本发明具有对称性先验，针对翻转的特征图：因为超分辨率图像由特征图隐编码与坐标的正交位置编码的线性组合构成，而坐标的正交位置编码因为使用了正弦函数，所以具有对称性。因此，可以得到清晰的翻转的超分辨率图像，而基于隐式神经表示的上采样模块无法得到清晰的翻转图像，需要在训练时使用数据增强。