基于动态层次化掩码的神经网络有损传输优化方法及系统与流程

本发明涉及深度神经网络优化，尤其涉及基于动态层次化掩码的神经网络有损传输优化方法及系统。

背景技术：

1、随着物联网(iot)和深度神经网络(dnns)领域的飞速发展，推动了人工智能(ai)应用的不断进步，如人脸识别、目标检测、增强现实等典型应用。然而，移动设备上有限的计算资源对移动机器学习应用构成了重大挑战。现阶段一些应用通常采用优化后的算力模型，其规模比标准模型小几个数量级。虽然这种方法减少了计算负担，但也可能导致推理精度降低，因此严苛的算力约束使得更多的计算密集型ai任务变得难以实现，进一步阻碍了移动端应用的发展，而现有的对于神经网络进行优化是通过修改模型结构，创造一个人为的bottleneck，使得中间传输的特征更少，从而提升系统效率即减少通信延迟，但需要修改原模型结构，工作量大，而现有的对于修改模型结构，需要引入一个次级神经网络，例如auto-encoder在训练过程模拟通信传输的丢失，但引入额外神经网络会引入额外的算力消耗和时延。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供基于动态层次化掩码的神经网络有损传输优化方法及系统，通过引入动态层次化掩码，能够避免网络传输对中间特征造成的损失以及提升分布式协同推理的效率。

2、本发明所采用的第一技术方案是：基于动态层次化掩码的神经网络有损传输优化方法，包括以下步骤：

3、获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；

4、基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；

5、对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；

6、将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。

7、进一步，所述获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络这一步骤，其具体包括：

8、基于深度神经网络进行分布式部署，构建待推理的深度神经网络，所述待推理的深度神经网络表示分布式的深度神经网络；

9、基于所述待推理的深度神经网络的隐藏层，进行设置拆分点；

10、根据所述待推理的深度神经网络的拆分点进行拆分处理，得到若干子深度神经网络。

11、进一步，所述基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络这一步骤，其具体包括：

12、基于所述若干子深度神经网络的输出层，插入动态层次化掩码，所述动态层次化掩码包括通道间掩码和通道内掩码；

13、基于所述动态层次化掩码，获取所述若干子深度神经网络的输出层的权重分布；

14、根据所述若干子深度神经网络的输出层的权重分布，生成动态层次化掩码值，所述动态层次化掩码值考虑每个子深度神经网络输出层的权重大小和考虑不同子深度神经网络输出层之间的权重关系；

15、基于所述动态层次化掩码值，得到若干具有层次化掩码的子深度神经网络。

16、进一步，所述通道间掩码用于区分不同子深度神经网络的输出层的信号，控制不同子深度神经网络的输出层之间的信息传递和干扰，进行不同子深度神经网络的输出层之间的特征提取和信息交互。

17、进一步，所述通道内掩码用于抑制子深度神经网络输出层的通道的权重，通过计算每个通道的权重分布，生成一个对应的通道内掩码值，所述通道内掩码值中的每个元素表示该通道的权重是否被抑制，若对应的通道内掩码值的元素值为0，表示该通道的权重被抑制，若对应的通道内掩码值的元素值为1，表示该通道的权重不被抑制。

18、进一步，所述若干子深度神经网络的输出层的表达式具体如下所示：

19、

20、上式中，表示神经网络在第m层第i个位置的输出，表示第m层第i个位置的特征图，表示第m层第i个位置的神经网络权重，表示第l层的输入，和ij表示第0层的输入即原始图像。

21、进一步，所述通道间掩码的表达式具体如下所示：

22、

23、m1(p1)～bernoulli(p1)

24、上式中，p1表示将输入数据被设置为0的概率，1-p1表示将输入数据被设置为1的概率，σ表示激活函数，w表示深度神经网络权重，x表示子深度神经网络的输出，m1(·)表示伯努利分布，⊙表示element-wise的乘法，bernoulli(·)表示服从伯努利分布。

25、进一步，所述通道内掩码的表达式具体如下所示：

26、

27、m2(γ)～bernoulli(γ)

28、上式中，m2(γ)表示由γ参数化的伯努利分布，γ表示激活成为矩形块的中心点的概率，f(·)表示填充函数，p2表示控制掩码设置为0的比例，1-p2表示控制掩码设置为1的比例。

29、进一步，所述激活成为矩形块的中心点的概率的表达式具体如下所示：

30、

31、上式中，b表示矩形块的长度，h、w表示输出数据的空间维度。

32、本发明所采用的第二技术方案是：基于动态层次化掩码的神经网络有损传输优化系统，包括：

33、拆分模块，用于获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；

34、插入模块，用于基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；

35、训练模块，用于对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；

36、推理模块，用于将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。

37、本发明方法及系统的有益效果是：本发明通过获取待推理的深度神经网络并进行拆分处理，基于若干子深度神经网络的输出层，引入动态层次化掩码，以便描述网络通信过程中由于噪声和设备故障等引起的常见丢失模式，动态层次化掩码中可以根据当前所在的网络通信情况进行动态取值，以实现自适应，通过抑制某些网络层的通道信息或是不同网络层之间的权重关系，避免数据在网络层中间传输的数据损失且能够减少通信延迟，进一步将这些子网络部署在不同的设备上进行推理，可以降低分布式协同推理的基础算力成本和提升分布式协同推理的效率。

技术特征：

1.基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络这一步骤，其具体包括：

3.根据权利要求1所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络这一步骤，其具体包括：

4.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道间掩码用于区分不同子深度神经网络的输出层的信号，控制不同子深度神经网络的输出层之间的信息传递和干扰，进行不同子深度神经网络的输出层之间的特征提取和信息交互。

5.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道内掩码用于抑制子深度神经网络输出层的通道的权重，通过计算每个通道的权重分布，生成一个对应的通道内掩码值，所述通道内掩码值中的每个元素表示该通道的权重是否被抑制，若对应的通道内掩码值的元素值为0，表示该通道的权重被抑制，若对应的通道内掩码值的元素值为1，表示该通道的权重不被抑制。

6.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述若干子深度神经网络的输出层的表达式具体如下所示：

7.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道间掩码的表达式具体如下所示：

8.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道内掩码的表达式具体如下所示：

9.根据权利要求8所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述激活成为矩形块的中心点的概率的表达式具体如下所示：

10.基于动态层次化掩码的神经网络有损传输优化系统，其特征在于，包括以下模块：

技术总结
本发明公开了基于动态层次化掩码的神经网络有损传输优化方法及系统，该方法包括：获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络；基于若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；对若干具有层次化掩码的子深度神经网络进行训练；将训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到输入数据对应的输出数据。本发明通过引入动态层次化掩码，能够避免网络传输对中间特征造成的损失以及提升分布式协同推理的效率。本发明作为基于动态层次化掩码的神经网络有损传输优化方法及系统，可广泛应用于深度神经网络优化技术领域。

技术研发人员：黄志青,余俊
受保护的技术使用者：广州恒沙数字科技有限公司
技术研发日：
技术公布日：2024/1/22