用于在多维数据的编码中使用联合编码来压缩特征数据的系统和方法与流程

本公开涉及对多维数据进行编码，并且更具体地涉及用于压缩特征数据的技术。

背景技术：

1、数字视频和音频功能可结合到各种设备中，包括数字电视、计算机、数字录音设备、数字媒体播放器、视频游戏设备、智能电话、医学成像设备、监视系统、跟踪和监控系统等。数字视频和音频可表示为阵列的集合。表示为一组阵列的数据可称为多维数据。例如，数字视频中的图片可表示为采样值二维阵列的集合。即，例如，视频分辨率提供采样值阵列的宽度和高度维度，并且颜色空间的每个分量提供集合中二维阵列的数量。此外，数字视频序列中图片的数量提供另一个数据维度。例如，具有三个颜色分量的1080p分辨率的一秒60hz视频可以对应于数据值的四个维度，即，采样的数量可表示如下：1920×1080×3×60。因此，数字视频和图像是多维数据的示例。应当指出的是，可使用附加和/或另选维度(例如，层数量、视图/通道数量等)来表示数字视频。

2、可以根据视频编码标准对数字视频进行编码。视频编码标准定义了封装编码视频数据的兼容比特流的格式。兼容比特流是可以由视频解码设备接收和解码以生成重构视频数据的数据结构。通常，重构视频数据旨在供人类消费(即，在显示器上观看)。视频编码标准的示例包括iso/iec mpeg-4visual和itu-t h.264(也被称为iso/iec mpeg-4avc)和高效视频编码(hevc)。hevc在2016年12月的itu-t h.265建议书的高效视频编码(hevc)中有所描述，该文献以引用方式并入本文，并且在本文中被称为itu-t h.265。itu-t视频编码专家组(vceg)和iso/iec活动图像专家组(mpeg)(被统称为联合视频研究组(jvet))一直致力于标准化压缩能力超过hevc的视频编码技术。这一标准化努力被称为通用视频编码(vvc)项目。2020年10月7日至16日举行的iso/iec jtc1/sc29/wg11第20次会议中的“versatilevideo coding(draft 10)”(文档jvet-t2001-v2，其以引用方式并入本文，并且称为vvc)表示对应于vvc项目的视频编码规范的草稿文本的当前迭代。

3、视频编码标准可利用视频压缩技术。视频压缩技术通过利用视频序列中固有的冗余来减少用于存储和/或传输视频数据的数据需求。视频压缩技术通常将视频序列细分为更小的连续部分(即，视频序列内的图片组、图片组内的图片、图片内的区域、区域内的子区域等)并且利用帧内预测编码技术(例如，图片内的空间预测技术)和帧间预测技术(即，图片间技术(时间))来生成待编码的视频数据单元与参考视频数据单元之间的差值。该差值可以被称为残差数据。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引和运动信息)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在形成兼容比特流的数据结构中。

技术实现思路

1、在一个示例中，一种压缩对应于视频数据的特征数据的方法包括：针对包括在视频数据中的n张图片中的每一者，生成包括与缩放比例相对应的通道的数量的特征数据，使得所生成的特征数据包括特征张量，该特征张量包括通道维度、高度维度和宽度维度；关于该通道维度级联所生成的特征数据，使得该级联特征数据包括特征张量，该特征张量包括通道维度、高度维度和宽度维度，其中该通道的数量由n乘以与该缩放比例相对应的该通道的数量给出；减小该级联特征数据中的该通道的数量以生成减小的级联特征数据；以及将该减小的级联特征数据编码到比特流中。

2、在以下附图和描述中阐述了一个或多个示例的细节。根据描述和附图以及权利要求书，其他特征、对象和优点将显而易见。

技术特征：

1.一种压缩对应于视频数据的特征数据的方法，所述方法包括：

2.根据权利要求1所述的方法，其中生成特征数据包括生成对应于1/4缩放比例的特征数据的256个通道。

3.根据权利要求2所述的方法，其中减小所述级联特征数据中的所述通道的数量包括将所述通道的数量减小到n乘以32个通道。

4.根据权利要求1所述的方法，其中减小所述级联特征数据中的所述通道的数量包括执行压缩自动编码。

5.根据权利要求4所述的方法，其中减小所述通道的数量还包括在执行压缩自动编码之前增强所述级联特征数据。

6.根据权利要求5所述的方法，其中增强所述级联特征数据包括执行残差块操作的序列。

7.根据权利要求4所述的方法，其中将所述减小的级联数据编码到比特流中包括对所述减小的级联特征数据进行量化和熵编码。

技术总结
本公开内容公开了一种压缩对应于视频数据的特征数据的方法。该方法包括：针对包括在视频数据中的N张图片中的每一者，生成包括与缩放比例相对应的通道的数量的特征数据，关于该通道维度级联所生成的特征数据，减小该级联特征数据中的该通道的数量以生成减小的级联特征数据，以及将该减小的级联特征数据编码到比特流中。

技术研发人员：基兰·穆克什·米斯拉,计天颖,克里斯托弗·安德鲁·塞格尔,弗兰克·博森
受保护的技术使用者：夏普株式会社
技术研发日：
技术公布日：2024/5/8