多层信号编码的分布式分析的制作方法

本公开涉及用于执行数字信号的自动分析的系统，例如用于执行图像序列中的对象分析和/或场景分类的人工智能(“ai”)系统。此外，本公开涉及用于操作上述系统以对在与执行数据分析的系统的位置不同的位置捕获、编码和/或存档的数据执行分析的方法。此外，本公开涉及一种计算机程序产品，其包括上面存储有计算机可读指令的非暂时性计算机可读存储介质，这些计算机可读指令可由包括处理硬件的计算机化设备执行以执行上述方法。本文描述的某些实例采用自动深度学习分析来执行复杂信号(诸如，作为非限制性实例，音频、图像、视频和沉浸式媒体信号)的场景和/或对象检测、分类、识别和标记。为简单起见，本公开主要针对视频信号的情况，但是本领域的技术人员能够容易地推导出相同的概念如何可以应用于除视频信号之外的其他类型的信号的自动分析。

背景技术：

1、应当理解，时间演变信号诸如视频信号典型地通过时间上的样本序列(例如，速率为60hz或每秒60个样本的时间上的样本序列)来表示，其中每个样本(例如，视频帧)包含多个颜色平面(例如rgb、yuv、hsv等)，其中每个颜色平面包含大量像素(例如，3840x2160像素、或大约800万像素用于超高清全分辨率平面)，并且其中每个像素值用给定位深度(例如，8位、10位等)的值表示。总而言之，应当理解，未压缩的视频信号需要每秒极高的位数才能从一个给定位置传送到另一个位置，诸如12千兆位(即1.5gb)仅用于4：2：2 uhd 10位视频信号的一秒。

2、虽然人工智能和神经网络算法的力量令人兴奋，但信号分析仍然存在基本的分布问题。许多组织拥有大型数据中心，其中包含许多图形或张量处理单元，能够使用复杂的神经网络架构执行推理。然而，这些复杂的神经网络架构被配置成接收和处理高分辨率信号，诸如高分辨率图像或视频源。遇到的问题之一是如何有效地将构成分析输入的高分辨率图像或视频源提供给这些数据中心；特别是在这些源的来源在地理上偏远的情况下。例如，体育赛事或音乐事件可能有许多摄像机以高分辨率捕获视频数据；然而，需要与任何数据中心的高速连接来处理和混合此视频数据。为此，需要在现场执行复杂的视频分析或混合；然而，用于高级神经网络分析的处理资源可能无法移植到赛事或事件场地(因为其可能包括足球场大小的高级冷却处理设备)。类似的问题适用于来自远程事件和/或边缘传感器网络的高质量音频信号。

3、更详细地说，每当待分析的信号位于与意图分析该信号的计算资源的位置不同的位置时，传统方法对图像帧执行ai分析的一个显著局限性就会随之而来。此情况对于视频信号来说非常频繁，因为视频信号通常是通过轻型摄像机和/或边缘设备“在现场”捕获的，而复杂的ai分析需要在数据中心(其中很多时候由于数据来自多个位置而定期重新训练神经网络算法)中通常可用的处理资源。为了应对此挑战，最常见的方法是将ai处理能力转移到边缘设备(由于处理资源的限制以及仅能获得本地数据用于神经网络训练和机器学习的目的，这会产生成本低效并且牺牲分析的价值)或以某种方式将待分析的所有视频数据从边缘传输到数据中心。

4、已经讨论的解决方案侧重于传输用于人工智能分析的特征。然而，通常没有关于这些“特征”应该是什么的指导。典型地，建议的解决方案具有某种形式的现场特定本地特征提取，并且将此数据传输到具有用于更复杂的分析的处理资源的数据中心。然而，此方法是不灵活的，例如很难改变特征提取。通常需要本地实施神经网络架构的一部分，这会产生另外的问题。此外，在分析之前很难知道哪些特征可能对分析有用。

技术实现思路

1、本发明的各个方面和变化在所附权利要求中阐述。

2、在下面的详细描述中进一步阐述了某些未要求保护的方面。

技术特征：

1.一种分析多个视频摄像机源的方法，所述方法包括：

2.一种远程信号分析方法，其包括：

3.一种编码方法，其包括：

4.根据权利要求2或权利要求3所述的方法，其中不同的质量层级对应于不同的空间分辨率，较高层表示较高空间分辨率。

5.根据权利要求1或权利要求4所述的方法，其中所述基于层的编码包括处于最低空间分辨率的基础层和在所述基础层之上的处于较高空间分辨率的多个残差层，在所述多个残差层中的给定残差层是基于从处于针对所述层的分辨率的输入信号导出的数据与从较低层导出的数据之间的比较来确定的。

6.根据前述权利要求中任一项所述的方法，其包括：

7.根据权利要求6所述的方法，其进一步包括：

8.根据权利要求6或权利要求7所述的方法，其包括：

9.根据前述权利要求中任一项所述的方法，其包括：

10.根据前述权利要求中任一项所述的方法，其包括：

11.根据前述权利要求中任一项所述的方法，所述方法包括以下项中的一项或多项：

12.根据权利要求11所述的方法，其包括：

13.根据前述权利要求中任一项所述的方法，其包括：

14.根据权利要求13所述的方法，其中将编码数据传输到多个用户包括将编码数据传输到分布中心用于分布给所述多个用户。

15.根据权利要求14所述的方法，其包括：

16.根据权利要求15所述的方法，其中所述多个输入信号或多个视频输入源与用于捕获现场事件的多个视频摄像机相关联，其中所述远程服务器确定将选择所述多个视频摄像机中的哪一个视频摄像机用于传输到所述多个用户，并且确定针对将传输到所述多个用户的所述编码数据的质量层级用于所选择的视频摄像机。

17.根据权利要求2或权利要求3所述的方法，其中每个质量层级具有不同的编码位率。

18.根据前述权利要求中任一项所述的方法，其中从所述第一编码位置传输的所述编码数据包括用于编码信号分量的子集的编码数据。

19.根据权利要求18所述的方法，其中所述编码信号分量包括所述视频信号的不同颜色分量，并且编码分量的所述子集至少包括明度或亮度分量。

20.根据前述权利要求中任一项所述的方法，其包括：

21.根据前述权利要求中任一项所述的方法，其包括：

22.根据权利要求21所述的方法，其中所述放大使用在训练集上训练的神经网络架构，所述训练集包括在处于两个空间分辨率的图像上的版本，以便学习参数值来将处于较低分辨率的重构映射到处于较高分辨率的重构。

23.根据权利要求22所述的方法，其中响应于针对处于所述较高分辨率以及所述较高分辨率之上的一个或多个层的编码数据是不可用的而执行所述放大。

24.根据前述权利要求中任一项所述的方法，其中多层编码包括基于smpte vc-62117的编码。

25.根据权利要求1至24中任一项所述的方法，其中所述多层编码包括基于iso/iecmpeg-5第2部分lcevc的编码。

26.一种实施当从属于权利要求3时的方法权利要求4至25中任一项的编码系统。

27.一种实施当从属于权利要求2时的方法权利要求4至25中任一项的远程分析系统。

技术总结
本公开涉及一种分析多个视频摄像机源的方法，所述方法包括：在第一位置使用基于层的编码对所述多个视频摄像机源进行编码，包括生成针对在所述基于层的编码内的多个层中的每个层的编码数据流，其中在所述多个层中的不同层对应于不同的空间分辨率，较高层表示较高空间分辨率；向相对于所述第一位置远程的第二位置传输针对所述多个视频摄像机源的一个或多个最低层的编码数据流；在所述第二位置对编码数据流进行解码来生成所述多个视频摄像机源的处于第一空间分辨率的一组重构；将一个或多个视频分析功能应用于所述一组重构来标识用于进一步分析的一个或多个视频摄像机源；向针对所标识的用于进一步分析的一个或多个视频摄像机源的所述第一位置发送对针对在所述一个或多个最低层之上的一个或多个层的进一步编码数据流的请求；响应于所述请求，向所述第二位置传输针对在所述一个或多个最低层之上的一个或多个层的所述进一步编码数据流；在第二位置处，对所述进一步编码数据流进行解码来生成针对所标识的一个或多个视频摄像机源的处于第二空间分辨率的一组重构；并将一个或多个视频分析功能应用于处于所述第二空间分辨率的所述一组重构。

技术研发人员：圭多·梅迪,L·温尼尔
受保护的技术使用者：威诺瓦国际有限公司
技术研发日：
技术公布日：2024/1/13