实时应用场景下的神经网络切片部署方法、系统与流程

本发明属于神经网络应用，具体涉及一种实时应用场景下的神经网络切片部署方法、系统。

背景技术：

1、近年来，神经网络以其强大的性能而广泛应用于场景分析和视频处理。但是，在低延迟的实时应用场景中，基于神经网络的方案往往受限于吞吐量的限制。换言之，由于吞吐量的制约，神经网络无法获得完整的帧信息进行进一步的分析和处理，只能基于部分帧信息（切片）进行操作。

2、但是因为神经网络在特征工程（通过原始数据提取特征）中会使用到局部和全局信息，基于切片的分析操作可能会导致结果的误差大。

技术实现思路

1、本发明针对实时场景中神经网络由于吞吐量的限制只能使用切片信息进行分析导致误差大的问题，提供一种实时应用场景下的神经网络切片部署方法、系统。对于低延迟的实时应用场景，对切片使用自信息、帧内信息和帧间信息进行帧补全，补全后用神经网络进行图像分析，抽取分析结果来支持后续的后处理或编码流程。

2、为解决上述技术问题，本发明所采用的技术方案为：

3、一种实时应用场景下的神经网络切片部署方法，对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。

4、作为本发明的优选方案，所述的切片帧补全方法为：

5、获取视频流的d个帧，每个帧具有n*m个切片，且完整帧以n*m切片形式展现；

6、令第d帧为当前帧，第k个切片为当前切片，d∈[1,d]，k∈[1,n*m]；

7、若第d帧为第一帧，则对第d帧各切片的帧补全为：

8、对于第k个切片，缺失的前k-1个切片信息以自信息补全，缺失的后n*m-k个切片信息以帧内信息补全；

9、若第d帧不是第一帧，则对第d帧各切片的帧补全为：

10、对于第k个切片，缺失的前k-1个切片信息以自信息补全，缺失的后n*m-k个切片信息则根据当前切片与前一帧对应切片在直方图分布的相似度选择帧内信息补全还是帧间信息补全；

11、当相似度大于设定阈值则使用帧间信息补全，当相似度小于设定阈值则使用帧内信息补全。

12、作为本发明的一种优选方案，所述的自信息是当前帧已有的切片信息；

13、所述的帧内信息是在视频流的先验知识下，基于当前帧已有切片信息的估计；当前帧的第k个切片为当前切片，缺失的后n*m-k个切片信息使用前k个切片信息作为需补全切片的信息进行补全，假定要分析第d帧的第二个切片，在分析第二个切片的时候，第一个切片已经得到了，所以，我们会把第一个切片用做第二个切片的自信息补全。

14、所述的帧间信息是在视频流的先验知识下，基于相同场景临近帧的估计；意思是使用相同场景的前帧信息进行补全，譬如要分析第d帧的第二个切片，需要补全第d帧的第三个切片，如果第d帧的第二个切片和第d-1帧的第二个切片直方图分布类似，我们就认为第d帧和第d-1帧场景相同。然后，我们会用第d-1帧的第三个切片来补全第d帧的第三个切片。

15、本发明还提供了一种实时应用场景下的神经网络切片部署系统，包括预处理模块，用于从视频流中获得d个帧的各切片；

16、自信息模块，获得第d帧已有的切片信息；

17、帧内信息模块，获得第d帧已有的切片信息并在先验知识的基础上对第d帧已有的切片信息进行估计；

18、帧间信息模块，基于相同场景对第d帧的前一帧的切片信息进行估计；

19、首帧判断模块，判断第d帧是否为第一帧；

20、相似度比较模块，对临近两帧同一切片的直方图分布的相似度进行比较；

21、补全模块，若首帧判断模块判断第d帧为第一帧时，则对第d帧的第k个切片缺少的前k-1个切片信息以自信息模块的结果进行补全；缺失的后n*m-k个切片信息以帧内信息模块的结果补全；

22、若首帧判断模块判断第d帧不是第一帧时，则对于第k个切片，缺失的前k-1个切片信息以自信息模块的结果补全，缺失的后n*m-k个切片信息则根据相似度比较模块的比较结果选择；

23、当相似度大于设定阈值则使用帧间信息模块的结果补全，当相似度小于设定阈值则使用帧内信息模块的结果补全；

24、神经网络模块，对补全模块补全获得的各切片的补全帧进行神经网络推理并获得各切片的分析结果。

25、本发明还提供了一种计算机系统，包括存储器、处理器和存储在存储器上并可运行的计算机程序，所述计算机程序被加载至处理器时实现上述神经网络切片部署方法。

26、本发明主要是应用于基于神经网络的场景分析，比如显著区域检测，图像分割等任务，并使用自信息，帧间信息，帧内信息对切片进行补全，补全后应用神经网络进行图像分析，然后抽取分析后的结果，以支持后续的实时后处理和编码流程，解决了实时神经网络部署中帧信息不完整的问题。

技术特征：

1.一种实时应用场景下的神经网络切片部署方法，其特征在于：对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。

2.根据权利要求1所述的实时应用场景下的神经网络切片部署方法，其特征在于，所述的切片帧补全方法为：

3.根据权利要求2所述的实时应用场景下的神经网络切片部署方法，其特征在于：所述的自信息是当前帧已有的切片信息；

4.一种实时应用场景下的神经网络切片部署系统，其特征在于：包括预处理模块，用于从视频流中获得d个帧的各切片；

5.一种计算机系统，包括存储器、处理器和存储在存储器上并可运行的计算机程序，其特征在于：所述计算机程序被加载至处理器时实现如权利要求1或2或3所述的神经网络切片部署方法。

技术总结
本发明公开了一种实时应用场景下的神经网络切片部署方法、系统,对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。本发明主要是应用于基于神经网络的场景分析，比如显著区域检测，图像分割等任务，并使用自信息，帧间信息，帧内信息对切片进行补全，补全后应用神经网络进行图像分析，然后抽取分析后的结果，以支持后续的实时后处理和编码流程，解决了实时神经网络部署中帧信息不完整的问题。

技术研发人员：高熙和,张磊
受保护的技术使用者：瀚博半导体（上海）有限公司
技术研发日：
技术公布日：2024/1/14