用于高效视频处理的跳跃卷积的制作方法

背景技术：

1、人工神经网络可包括诸群互连的人工神经元(例如，神经元模型)。人工神经网络可以是计算设备，或者被表示为要由计算设备执行的方法。

2、神经网络由消耗张量和产生张量的操作数组成。神经网络可以被用来解决复杂问题；然而，由于网络大小和可被执行以产生解的计算量可能是浩繁的，因此网络完成任务的时间可能很长。此外，由于这些任务可在移动设备(其可能具有有限的计算能力)上执行，因此深度神经网络的计算成本可能会有问题。

3、卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(cnn)(诸如深度卷积神经网络(dcn))具有众多应用。具体而言，这些神经网络架构被用于各种技术，诸如图像识别、模式识别、语音识别、自动驾驶和其他分类任务。

4、神经网络在基于图像的视频或视频流处理方面也有众多应用，诸如人体姿态估计、对象检测、语义表义、以及视频压缩和去噪。遗憾的是，此类视频处理是计算密集型的，这会导致大量时间和能量消耗。

技术实现思路

0、概述

1、本公开在独立权利要求中分别阐述。本发明的一些方面在从属权利要求中描述。

2、在本公开的一方面，提供了一种用人工神经网络(ann)进行视频处理的方法。该方法包括在人工神经网络处接收视频流作为输入。该方法还包括基于该视频流的当前帧的第一特征与该视频流的先前帧的第二特征之间的差异来计算残差。附加地，该方法包括基于该残差来处理该视频流的当前帧的一个或多个部分。

3、在本公开的另一方面，提供了一种用人工神经网络(ann)进行视频处理的装置。该装置包括存储器以及耦合到该存储器的一个或多个处理器。该处理器被配置成在人工神经网络处接收视频流作为输入。该处理器还被配置成基于该视频流的当前帧的第一特征与该视频流的先前帧的第二特征之间的差异来计算残差。另外，该处理器被配置成基于该残差来处理该视频流的当前帧的一个或多个部分。

4、在本公开的一方面，提供了一种用人工神经网络(ann)进行视频处理的设备。该设备包括用于在人工神经网络处接收视频流作为输入的装置。该设备还包括用于基于该视频流的当前帧的第一特征与该视频流的先前帧的第二特征之间的差异来计算残差的装置。附加地，该设备包括用于基于该残差来处理该视频流的当前帧的一个或多个部分的装置。

5、在本公开的进一步方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有用人工神经网络(ann)进行视频处理的程序代码。该程序代码由处理器执行并且包括用于在人工神经网络处接收视频流作为输入的代码。该程序代码还包括用于基于该视频流的当前帧的第一特征与该视频流的先前帧的第二特征之间的差异来计算残差的代码。此外，该程序代码包括用于基于该残差来处理该视频流的当前帧的一个或多个部分的代码。

6、本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

技术特征：

1.一种用人工神经网络(ann)进行视频处理的方法，包括：

2.如权利要求1所述的方法，其中所述当前帧的所述一个或多个部分仅包括所述当前帧的显著区域。

3.如权利要求2所述的方法，进一步包括仅向所述当前帧的所述显著区域应用卷积内核。

4.如权利要求2所述的方法，进一步包括基于所述残差是否大于预定阈值来确定所述显著区域。

5.如权利要求1所述的方法，进一步包括基于所述残差来抑制处理所述视频流的所述当前帧的至少一个部分。

6.如权利要求5所述的方法，其中与所述当前帧的所述至少一个部分相对应的第一输出被设置成等于与所述先前帧的至少一个部分相对应的第二输出。

7.如权利要求1所述的方法，进一步包括：

8.如权利要求1所述的方法，进一步包括学习门控函数以基于所述残差来向所述当前帧的一个或多个部分应用掩蔽。

9.如权利要求8所述的方法，进一步包括基于所述门控函数来生成显著性图。

10.如权利要求1所述的方法，进一步包括基于每帧观察到的信息量来自适应地调整在处理所述视频流时执行的计算量。

11.一种用人工神经网络(ann)进行视频处理的装置，包括：

12.如权利要求11所述的装置，其中所述当前帧的所述一个或多个部分仅包括所述当前帧的显著区域。

13.如权利要求12所述的装置，其中所述至少一个处理器被进一步配置成仅向所述当前帧的所述显著区域应用卷积内核。

14.如权利要求12所述的装置，其中所述至少一个处理器被进一步配置成基于所述残差是否大于预定阈值来确定所述显著区域。

15.如权利要求11所述的装置，其中所述至少一个处理器被进一步配置成基于所述残差来抑制处理所述视频流的所述当前帧的至少一个部分。

16.如权利要求15所述的装置，其中与所述当前帧的所述至少一个部分相对应的第一输出被设置成等于与所述先前帧的至少一个部分相对应的第二输出。

17.如权利要求11所述的装置，其中所述至少一个处理器被进一步配置成：

18.如权利要求11所述的装置，其中所述至少一个处理器被进一步配置成学习门控函数以基于所述残差来向所述当前帧的一个或多个部分应用掩蔽。

19.如权利要求18所述的装置，其中所述至少一个处理器被进一步配置成基于所述门控函数来生成显著性图。

20.如权利要求11所述的装置，其中所述至少一个处理器被进一步配置成基于每帧观察到的信息量来自适应地调整计算量。

21.一种用人工神经网络(ann)进行视频处理的设备，包括：

22.如权利要求21所述的设备，其中所述当前帧的所述一个或多个部分仅包括所述当前帧的显著区域。

23.如权利要求22所述的设备，进一步包括用于仅向所述当前帧的所述显著区域应用卷积内核的装置。

24.如权利要求22所述的设备，进一步包括用于基于所述残差是否大于预定阈值来确定所述显著区域的装置。

25.如权利要求21所述的设备，进一步包括用于学习门控函数以基于所述残差来向所述当前帧的一个或多个部分应用掩蔽的装置。

26.一种非瞬态计算机可读介质，其上记录有用人工神经网络(ann)进行视频处理的程序代码，所述程序代码由处理器执行并且包括：

27.如权利要求26所述的非瞬态计算机可读介质，其中所述当前帧的所述一个或多个部分仅包括所述当前帧的显著区域。

28.如权利要求27所述的非瞬态计算机可读介质，其中所述至少一个处理器被进一步配置成仅向所述当前帧的所述显著区域应用卷积内核。

29.如权利要求28所述的非瞬态计算机可读介质，其中所述至少一个处理器被进一步配置成基于所述残差是否大于预定阈值来确定所述显著区域。

30.如权利要求26所述的非瞬态计算机可读介质，其中所述至少一个处理器被进一步配置成学习门控函数以基于所述残差来向所述当前帧的一个或多个部分应用掩蔽。

技术总结
一种用于经由人工神经网络进行视频处理的方法包括在该人工神经网络处接收视频流作为输入。基于该视频流的当前帧的第一特征与该视频流的先前帧的第二特征之间的差异来计算残差。基于该残差来处理该视频流的当前帧的一个或多个部分。附加地，基于该残差来跳过对视频的当前帧的一个或多个部分的处理。

技术研发人员：A·哈比比安,D·阿巴蒂,B·艾特沙米·贝诺狄
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/13