基于动态斑块计算的多出口视觉合成网络的制作方法

本文描述的实施例概括而言涉及视觉处理，更具体而言涉及基于动态斑块计算(dynamic patch computing，dpc)的多出口视觉合成网络。

背景技术：

1、由于计算的未来是异构的，可缩放性对于视觉合成(比如在像图形处理单元(graphic processing unit，gpu)之类的通用处理器上进行的图像超分辨率(super-resolution，sr))而言是一个非常重要的问题。最近的工作试图训练可缩放的网络，该网络可以被部署在具有不同容量的平台上。然而，可缩放网络可能依赖于像素级(pixel-wise)稀疏卷积，这种卷积对硬件不友好，并且实现的实际加速有限。从而，为视觉合成设计实际可缩放的解决方案仍然有待探索。

技术实现思路

技术特征：

1.一种用于视觉合成的装置，包括：接口电路；以及处理器电路，该处理器电路与所述接口电路耦合并且被配置为：

2.如权利要求1所述的装置，其中，所述处理器电路被配置为通过以下步骤来确定所述vsn的最终出口和所述输入斑块的最终合成斑块：当所述增量改善低于预定阈值时，将第i出口确定为所述最终出口并且将所述第i中间合成斑块确定为所述输入斑块的最终合成斑块，否则，递增i并且继续执行所述合成过程并且预测所述增量改善，直到所述增量改善低于所述预定阈值或者所述vsn中的所有层已被所述合成过程遍历为止。

3.如权利要求2所述的装置，其中，所述处理器电路还被配置为基于所述多出口vsn的准确性和效率之间的权衡来调整所述预定阈值。

4.如权利要求1所述的装置，其中，所述处理器电路被配置为利用回归算子来预测所述增量改善，所述回归算子被定义为对于所述第i出口层是ri＝σ(w*g(fi)+b)，其中fi表示所述第i中间合成斑块中的一组特征，ri表示所述第(i+1)中间合成斑块相对于所述第i中间合成斑块的预测增量改善，σ是双曲正切函数，g是全局平均池化操作，w和b分别是所述多出口vsn的权重和偏置。

5.如权利要求4所述的装置，其中，所述回归算子的回归损失ji被定义为所述第i出口层的ri和地面真实增量改善ii之间的l2损失。

6.如权利要求1所述的装置，其中，所述多出口vsn被基于所述多出口vsn中的每个出口层的重建损失li＝|yi-ygt|之和来进行训练，其中yi表示所述第ith中间合成斑块，并且ygt表示所述输入斑块的地面真实合成斑块。

7.如权利要求6所述的装置，其中，所述多出口vsn被基于包括以下损失的总损失的总和来进行训练：所述多出口vsn中的每个出口层的重建损失li和所述回归算子的回归损失ji。

8.如权利要求7所述的装置，其中，所述总损失被定义为li+λji，其中，λ是用于平衡所述重建损失li和所述回归损失ji的超参数。

9.如权利要求1至8中的任一项所述的装置，其中，所述多出口vsn被基于斑块级稀疏模式来进行训练，并且所述处理器电路被配置为基于与所述斑块级稀疏模式相对应的斑块级稀疏卷积来执行所述合成过程。

10.如权利要求1至8中的任一项所述的装置，其中，所述多出口vsn包括图像超分辨率网络、图像去噪网络、或者图像去模糊网络。

11.一种用于视觉合成的方法，包括：

12.如权利要求11所述的方法，其中，确定所述vsn的最终出口和所述输入斑块的最终合成斑块包括：当所述增量改善低于预定阈值时，将第i出口确定为所述最终出口并且将所述第i中间合成斑块确定为所述输入斑块的最终合成斑块，否则，递增i并且继续执行所述合成过程并且预测所述增量改善，直到所述增量改善低于所述预定阈值或者所述vsn中的所有层已被所述合成过程遍历为止。

13.如权利要求12所述的方法，还包括：基于所述多出口vsn的准确性和效率之间的权衡来调整所述预定阈值。

14.如权利要求11所述的方法，其中，预测所述增量改善包括利用回归算子来预测所述增量改善，所述回归算子被定义为对于所述第i出口层是ri＝σ(w*g(fi)+b)，其中fi表示所述第i中间合成斑块中的一组特征，ri表示所述第(i+1)中间合成斑块相对于所述第i中间合成斑块的预测增量改善，σ是双曲正切函数，g是全局平均池化操作，w和b分别是所述多出口vsn的权重和偏置。

15.如权利要求14所述的方法，其中，所述回归算子的回归损失ji被定义为所述第i出口层的ri和地面真实增量改善ii之间的l2损失。

16.如权利要求11所述的方法，其中，所述多出口vsn被基于所述多出口vsn中的每个出口层的重建损失li＝|yi-ygt|之和来进行训练，其中yi表示所述第ith中间合成斑块，并且ygt表示所述输入斑块的地面真实合成斑块。

17.如权利要求16所述的方法，其中，所述多出口vsn被基于包括以下损失的总损失的总和来进行训练：所述多出口vsn中的每个出口层的重建损失li和所述回归算子的回归损失ji。

18.如权利要求17所述的方法，其中，所述总损失被定义为li+λji，其中，λ是用于平衡所述重建损失li和所述回归损失ji的超参数。

19.如权利要求11至18中的任一项所述的方法，其中，所述多出口vsn被基于斑块级稀疏模式来进行训练，并且所述合成过程是基于与所述斑块级稀疏模式相对应的斑块级稀疏卷积来执行的。

20.如权利要求11至18中的任一项所述的方法，其中，所述多出口vsn包括图像超分辨率网络、图像去噪网络、或者图像去模糊网络。

21.一种计算机可读介质，其上存储有指令，其中，所述指令当被处理器电路执行时，使得所述处理器电路执行如权利要求11至20中的任一项所述的方法。

22.一种用于视觉合成的设备，该设备包括用于执行如权利要求11至20中的任一项所述的方法的装置。

技术总结
本申请涉及基于动态斑块计算的多出口视觉合成网络(VSN)。提供了一种用于视觉合成的方法，并且该方法包括：将输入图像分割为多个输入斑块；利用多出口VSN的第一层至第i出口层对每个输入斑块执行合成过程以获得第i中间合成斑块，其中i是VSN的中间出口的索引并且被预定为大于或等于1的整数；基于第i中间合成斑块中的特征，预测第(i+1)中间合成斑块相对于第i中间合成斑块的增量改善；基于预测的增量改善来确定VSN的最终出口和输入斑块的最终合成斑块；并且合并多个输入斑块的相应最终合成斑块，以生成输出图像。

技术研发人员：陆鸣,姚安邦,潘燕杰,许莉,陈玉荣
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/11/28