利用shvc的关注区域可伸缩性的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请在 35 U. S. C. § 119(e)下要求标题为 "REGION OF INTEREST SCALABILITY WITH SHVC"的于2013年4月8日提交的序列号为61/809, 747的美国临时专利申请、和标 题为"REGION OF INTEREST SCALABILITY WITH SHVC" 的于 2013 年 7 月 15 日提交的序列 号为61 /846，558的美国临时专利申请的优先权，这两个美国临时专利申请的全部内容都 为了所有目的而通过引用包含于此。
技术领域
[0003] 本发明涉及成像的领域。更具体地讲，本发明涉及视频编码。
【背景技术】
[0004] 在可伸缩HEVC模型（SHM) I. 0中，由空间可伸缩性提供更高分辨率，并且由信噪比 (SNR)可伸缩性提供更高质量，并且增强被应用于整个图片。然而，在一些应用（诸如，交通 监测和安全监测）中，不需要整个图片的增强。
【发明内容】
[0005] 能够实现利用SHVC的关注区域（ROI)可伸缩性，其中可伸缩性被用于图片的一部 分而非整个图片。ROI可伸缩性的应用包括交通监测、安全监测和图块式流传输。
[0006] 在一个方面，一种编程在装置的非暂态存储器中的方法，包括：获取基本层图像和 增强层图像；以及对增强层图像的一部分应用关注区域可伸缩性实现，其中增强层图像的 所述一部分小于整个增强层图像。关注区域可伸缩性实现包括利用补充增强信息消息传达 关注区域映射以操纵编码器。补充增强信息消息指示关注区域的位置。每个关注区域是重 要编码树单元的一个或多个矩形集合。补充增强信息消息包括关注区域的数量、和对每个 关注区域而言该关注区域中的重要编码树单元的每个矩形集合按照图像的扫描次序的第 一编码树单元的地址。所述地址在利用差分编码的情况下编码。所述地址在不利用差分编 码的情况下编码。补充增强信息消息包括用于得到用编码树单元的数量表示的关注区域的 列宽的信息、和用于得到用编码树单元的数量表示的关注区域的行高的信息。当传达补充 增强信息消息时，编码器在比特流中对增强层的不重要编码树单元进行编码，其中针对信 噪比可伸缩性从位于同一位置的基本层复制增强层的所有不重要编码树单元。当传达补充 增强信息消息时，编码器在比特流中对增强层的不重要编码树单元进行编码，其中针对空 间可伸缩性从位于同一位置的上采样的基本层复制增强层的所有不重要编码树单元。关注 区域可伸缩性实现包括补充增强信息消息以指示解码器不应该对增强层的不重要编码树 单元进行解码。关注区域可伸缩性实现使用具有比基本层高的空间分辨率的增强层来记录 图像中的关注区域。关注区域可伸缩性实现使用具有不同于基本层的帧率的增强层来记录 图像中的关注区域。
[0007] 在另一方面，一种编程在照相机装置的非暂态存储器中的系统，包括：传感器，被 配置为获取基本层图像和增强层图像；和应用部件，被配置为对增强层图像的一部分应用 关注区域可伸缩性实现，其中增强层图像的所述一部分小于整个增强层图像。关注区域可 伸缩性实现包括利用补充增强信息消息传达关注区域映射以操纵编码器。补充增强信息消 息指示关注区域的位置。每个关注区域是重要编码树单元的一个或多个矩形集合。补充增 强信息消息包括关注区域的数量、和对每个关注区域而言该关注区域中的重要编码树单元 的每个矩形集合按照图像的扫描次序的第一编码树单元的地址。所述地址在利用差分编码 的情况下编码。所述地址在不利用差分编码的情况下编码。补充增强信息消息包括用于得 到用编码树单元的数量表示的关注区域的列宽的信息、和用于得到用编码树单元的数量表 示的关注区域的行高的信息。当传达补充增强信息消息时，编码器在比特流中对增强层的 不重要编码树单元进行编码，其中针对信噪比可伸缩性从位于同一位置的基本层复制增强 层的所有不重要编码树单元。当传达补充增强信息消息时，编码器在比特流中对增强层的 不重要编码树单元进行编码，其中针对空间可伸缩性从位于同一位置的上采样的基本层复 制增强层的所有不重要编码树单元。关注区域可伸缩性实现包括补充增强信息消息以指示 解码器不应该对增强层的不重要编码树单元进行解码。关注区域可伸缩性实现使用具有比 基本层高的空间分辨率的增强层来记录图像中的关注区域。关注区域可伸缩性实现使用具 有不同于基本层的帧率的增强层来记录图像中的关注区域。
[0008] 在另一方面，一种设备，包括：非暂态存储器，用于存储应用，该应用用于获取基本 层图像和增强层图像以及对增强层图像的一部分应用关注区域可伸缩性实现，其中增强层 图像的所述一部分小于整个增强层图像；和处理部件，耦合到该存储器，该处理部件被配置 为处理该应用。关注区域可伸缩性实现包括利用补充增强信息消息传达关注区域映射以操 纵编码器。补充增强信息消息指示关注区域的位置。每个关注区域是重要编码树单元的一 个或多个矩形集合。补充增强信息消息包括关注区域的数量、和对每个关注区域而言该关 注区域中的重要编码树单元的每个矩形集合按照图像的扫描次序的第一编码树单元的地 址。所述地址在利用差分编码的情况下编码。所述地址在不利用差分编码的情况下编码。 补充增强信息消息包括用于得到用编码树单元的数量表示的关注区域的列宽的信息、和用 于得到用编码树单元的数量表示的关注区域的行高的信息。当传达补充增强信息消息时， 编码器在比特流中对增强层的不重要编码树单元进行编码，其中针对信噪比可伸缩性从位 于同一位置的基本层复制增强层的所有不重要编码树单元。当传达补充增强信息消息时， 编码器在比特流中对增强层的不重要编码树单元进行编码，其中针对空间可伸缩性从位于 同一位置的上采样的基本层复制增强层的所有不重要编码树单元。关注区域可伸缩性实现 包括补充增强信息消息以指示解码器不应该对增强层的不重要编码树单元进行解码。关注 区域可伸缩性实现使用具有比基本层高的空间分辨率的增强层来记录图像中的关注区域。 关注区域可伸缩性实现使用具有不同于基本层的帧率的增强层来记录图像中的关注区域。
【附图说明】
[0009] 图1表示根据一些实施例的ROI可伸缩性的示图。
[0010] 图2表示根据一些实施例的方法1的示例性图块的示图。
[0011] 图3表示根据一些实施例的方法2的示例性图块的示图。
[0012] 图4表不根据一些实施例的具有图块的不例性隐式ROI映射的不图。
[0013] 图5表示根据一些实施例的使用ROI可伸缩性方法的方法的流程图。
[0014] 图6表示根据一些实施例的被配置为实现ROI可伸缩性方法的示例性计算装置的 方框图。
【具体实施方式】
[0015] 在智能交通监测系统、安全监测系统或任何其它系统中，计算机视觉能够与视频 记录系统组合以智能地识别一个或多个关注区域（ROI)。如图1中所示，记录系统能够记录 具有较宽观察区域的低分辨率图片作为基本，并且记录具有较高空间分辨率或较高图片质 量的图片中的一个或多个ROI作为增强。ROI还能够被记录在具有不同于基本层的帧率的 增强层中。
[0016] 使用ROI可伸缩性的应用仅对在ROI内提供可伸缩性感兴趣。因此，ROI中的像 素对于可伸缩解码器而言是重要的，并且ROI之外的像素对于该解码器而言是不重要的。
[0017] 在一些实施例中，定义下面的内容：
[0018] ROI是编码树单元（CTU)的一个或多个矩形集合。
[0019] 增强层图片具有一个或多个ROI。
[0020] ROI中的CTU被定义为重要CTU。
[0021] 不在任何ROI中的CTU被定义为不重要CTU。
[0022] 能够利用高级语法变化、低级语法变化或二者执行ROI的编码。
[0023] 这里描述一种在ROI中提供更多细节的方法。对于具有空间可伸缩性的R0I，希望 在基本层（BL)中的ROI中提供更多细节。通过在增强层（EL)中提供ROI的更多细节能够 实现这一点。ROI和增强数据的位置是重要的。
[0024] 对于具有信噪比（SNR)可伸缩性的R0I，希望在基本层（BL)中的ROI中提供更多 细节。通过在增强层（EL)中提供ROI的更高的峰值SNR(PSNR)能够实现这一点。ROI和增 强数据的位置是重要的。
[0025] 对于具有可伸缩性的R0I，图片中的CTU被划分成两个分离的组。一个组中的CTU 被指定为重要。重要CTU是CTU的一个或多个矩形集合。ROI是重要CTU的一个或多个矩 形集合。另一组中的CTU被指定为不重要。对于SNR可伸缩性，由EL解码器通过从位于同 一位置的基本层复制像素来重构不重要CTU。对于空间可伸缩性，由EL解码器通过从位于 同一位置的上采样的基本层复制像素来重构不重要CTU。根据传达方法，可在片区段数据中 对每个不重要CTU进行编码或者可不在片区段数据中对每个不重要CTU进行编码。
[0026] 通过下面类型的方法之一传达这两组的CTU的位置：显式或隐式。在显式方法中， 在比特流中以显式方式传达关注区域的位置。在隐式方法中，在比特流中不以显式方式传 达关注区域的位置。通过其它方式（例如，通过网络抽象层（NAL)类型）来以隐式方式得 到位置。
[0027] 存在用于扩展S