用于交互性的运动约束贴片集合sei消息的扩展的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请在35U.S.C. § 119(e)下要求以下专利申请的优先权：2013年7月15日 提交的美国临时专利申请No. 61/846, 555,其标题为"EXTENSIONOFMOTION-CONSTRAINED TILESETSSEIMESSAGEFORINTERACTIVITY(用于交互性的运动约束贴片集合SEI消 息的扩展）"；2013年7月29日提交的美国临时专利申请No. 61/859, 347,其标题为 "EXTENSIONSOFMOTION-CONSTRAINEDTILESETSSEIMESSAGEFORINTERACTIVITY(用 于交互性的运动约束贴片集合SEI消息的扩展）" ；2014年1月3日提交的美国临时专利 申请No. 61/923, 351，其标题为"HLE:EXTENSI0NTOTEMPORALMOTIONCONSTRAINEDTILE SETSSEIMESSAGEFORNODISPLAY(HLE:针对无显示的时间运动约束贴片集合SEI消 息的扩展）"；以及2014年1月16日提交的美国临时专利申请No.61/928, 107,其标题 为"HLE:EXTENSIONTOTEMPORALMOTIONCONSTRAINEDTILESETSSEIMESSAGEFORN0 DISPLAY(HLE:针对无显示的时间运动约束贴片集合SEI消息的扩展）"，通过引用的方式将 所有这些专利申请全文合并在此。
技术领域
[0003] 本发明涉及成像领域。更具体来说，本发明涉及视频编码。
【背景技术】
[0004]范围扩展文本规范第 3 版草稿（RangeExtensionstextspecification,Draft 3)中的运动约束贴片集合不具有用信号表明所有贴片都是独立可解码的以及用信号表明 对于每个感兴趣区段（R0I)可能具有多于一个贴片的R0I的功能。
【发明内容】
[0005] 针对运动约束贴片集合SEI消息的扩展提供了用信号表明所有贴片都是独立可 解码的以及用信号表明对于每个R0I可以具有多于一个贴片的R0I的功能。通过这一扩 展，实现了基于用户交互性在编码树单元层级重新定义CVS中的任何独立可解码的感兴 趣区段的功能。所述扩展支持利用在多种应用中的交互性，比如交互式超高清晰度电视 (UHDTV)、动态高质量焦距拉近应用、交互式点播、电子学习、智能监控以及许多其他应用。 此外，时间MCTSSEI消息能够被编码器使用于贴片式流送，以便明确地用信号向解码器表 明解码器只需要显示R0I。
[0006] 在一个方面中，一种编程在设备的非瞬时性存储器中的方法包括：接收视频的比 特流，其中所述比特流包括补充增强信息消息，并且其中所述补充信息消息用信号表明所 有贴片（tile)都是独立可解码的并且各个感兴趣区段能够对于每个感兴趣区段具有多于 一个贴片；以及在所述设备上解码所述比特流。视频的基本层中的所有贴片都是独立可解 码的。视频的增强层中的所有贴片都是独立可解码的。解码包括提供增强层中的感兴趣区 段到基本层中的该感兴趣区段的映射。解码包括提供基本层中的感兴趣区段到增强层中的 该感兴趣区段的映射。视频的感兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈 现在所述设备上。视频的感兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈现在 第二设备上。视频的感兴趣区段由导演选择，其中由导演选择的感兴趣区段被呈现在用户 的设备上。视频通过独立可解码的贴片被编码在一个或多个分辨率层中，并且被存储在服 务器上。不同的用户请求视频的不同分辨率层。不同的导演请求视频的不同分辨率层。补 充增强信息消息表明处于所选感兴趣区段之外的编码树块，其中处于所选感兴趣区段之外 的编码树块不被显示。补充增强信息消息表明处于所选感兴趣区段之外的编码树块，其中 处于所选感兴趣区段之外的编码树块被编码成灰色贴片以降低比特率。
[0007] 在另一个方面中，一种系统包括：被配置成存储应用的非瞬时性存储器，所述应用 被配置成接收视频的比特流，其中所述比特流包括补充增强信息消息，并且其中所述补充 信息消息用信号表明所有贴片都是独立可解码的并且各个感兴趣区段能够对于每个感兴 趣区段具有多于一个贴片，所述应用还被配置成解码所述比特流；以及被配置成显示已解 码比特流的显示器。视频的基本层中的所有贴片都是独立可解码的。视频的增强层中的所 有贴片都是独立可解码的。解码包括提供增强层中的感兴趣区段到基本层中的该感兴趣区 段的映射。解码包括提供基本层中的感兴趣区段到增强层中的该感兴趣区段的映射。视频 的感兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈现在所述设备上。视频的感 兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈现在第二设备上。视频的感兴趣 区段由导演选择，其中由导演选择的感兴趣区段被呈现在用户的设备上。视频通过独立可 解码的贴片被编码在一个或多个分辨率层中，并且被存储在服务器上。不同的用户请求视 频的不同分辨率层。不同的导演请求视频的不同分辨率层。补充增强信息消息表明处于所 选感兴趣区段之外的编码树块，其中处于所选感兴趣区段之外的编码树块不被显示。补充 增强信息消息表明处于所选感兴趣区段之外的编码树块，其中处于所选感兴趣区段之外的 编码树块被编码成灰色贴片以降低比特率。
[0008] 在另一个方面中，一种装置包括：用于存储应用的非瞬时性存储器，所述应用用于 接收视频的比特流，其中所述比特流包括补充增强信息消息，并且其中所述补充信息消息 用信号表明所有贴片都是独立可解码的并且各个感兴趣区段能够对于每个感兴趣区段具 有多于一个贴片，所述应用还用于解码所述比特流；以及耦合到存储器的处理组件，所述处 理组件被配置成处理所述应用。视频的基本层中的所有贴片都是独立可解码的。视频的增 强层中的所有贴片都是独立可解码的。解码包括提供增强层中的感兴趣区段到基本层中的 该感兴趣区段的映射。解码包括提供基本层中的感兴趣区段到增强层中的该感兴趣区段的 映射。视频的感兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈现在所述设备上。 视频的感兴趣区段由用户选择，其中由用户选择的感兴趣区段被呈现在第二设备上。视频 的感兴趣区段由导演选择，其中由导演选择的感兴趣区段被呈现在用户的设备上。视频通 过独立可解码的贴片被编码在一个或多个分辨率层中，并且被存储在服务器上。不同的用 户请求视频的不同分辨率层。不同的导演请求视频的不同分辨率层。补充增强信息消息表 明处于所选感兴趣区段之外的编码树块，其中处于所选感兴趣区段之外的编码树块不被显 示。补充增强信息消息表明处于所选感兴趣区段之外的编码树块，其中处于所选感兴趣区 段之外的编码树块被编码成灰色贴片以降低比特率。
[0009] 在另一个方面中，一种编程在设备的非瞬时性存储器中的方法包括：接收具有基 本层以及一个或多个增强层的视频的比特流，其中所述比特流包括增强层的补充增强信息 消息，并且其中所述补充信息消息与层间约束贴片集合一起被利用，其可以用信号表明所 有贴片都可以独立于该层中的任何其他贴片被解码并且各个感兴趣区段对于该层中的每 个感兴趣区段具有多于一个贴片；以及在所述设备上解码所述比特流。视频的感兴趣区段 由用户选择，其中由用户选择的感兴趣区段被呈现在所述设备上。视频的感兴趣区段由用 户选择，其中由用户选择的感兴趣区段被呈现在第二设备上。视频的感兴趣区段由导演选 择，其中由导演选择的感兴趣区段被呈现在用户的设备上。不同的用户请求视频的不同分 辨率层。不同的导演请求视频的不同分辨率层。
[0010] 在另一个方面中，一种系统包括：被配置成存储应用的非瞬时性存储器，所述应用 被配置成接收具有基本层以及一个或多个增强层的视频的比特流，其中所述比特流包括增 强层的补充增强信息消息，并且其中所述补充信息消息与层间约束贴片集合一起被利用， 其可以用信号表明所有贴片都可以独立于该层中的任何其他贴片被解码并且各个感兴趣 区段对于该层中的每个感兴趣区段具有多于一个贴片，所述应用还被配置成解码所述比特 流；以及被配置成显示已解码比特流的显示器。视频的感兴趣区段由用户选择，其中由用户 选择的感兴趣区段被呈现在所述设备上。视频的感兴趣区段由用户选择，其中由用户选择 的感兴趣区段被呈现在第二设备上。视频的感兴趣区段由导演选择，其中由导演选择的感 兴趣区段被呈现在用户的设备上。不同的用户请求视频的不同分辨率层。不同的导演请求 视频的不同分辨率层。
[0011] 在另一个方面中，一种装置包括：用于存储应用的非瞬时性存储器，所述应用用于 接收具有基本层以及一个或多个增强层的视频的比特流，其中所述比特流包括增强层的补 充增强信息消息，并且其中所述补充信息消息与层间约束贴片集合一起被利用，其可以用 信号表明所有贴片都可以独立于该层中的任何其他贴片被解码并且各个感兴趣区段对于 该层中的每个感兴趣区段具有多于一个贴片，所述应用还用于解码所述比特流；以及耦合 到存储器的处理组件，所述处理组件被配置成处理所述应用。视频的感兴趣区段由用户选 择，其中由用户选择的感兴趣区段被呈现在所述设备上。视频的感兴趣区段由用户选择，其 中由用户选择的感兴趣区段被呈现在第二设备上。视频的感兴趣区段由导演选择，其中由 导演选择的感兴趣区段被呈现在用户的设备上。不同的用户请求视频的不同分辨率层。不 同的导演请求视频的不同分辨率层。
【附图说明】
[0012] 图1示出了根据一些实施例的贴片式流送的一个实例。
[0013] 图2示出了根据一些实施例用最少的比特对R0I之外的贴片进行重新编码的图 不。
[0014] 图3示出了根据一些实施例的贴片式流送方法的流程图。
[0015] 图4示出了根据一些实施例的贴片式流送方法的流程图。
[0016] 图5示出了根据一些实施例的贴片式流送方法的流程图。
[0017] 图6示出了被配置成实施根据一些实施例的贴片式流送方法的示例性计算设备 的方框图。
【具体实施方式】
[0018] 在高效率视频编码（HEVC)标准的第1版中，当tiles_enabled_flag等于1时，每 一幅画面由被称作贴片的矩形区段构成。在范围扩展文本规范第3版草稿中，这些贴片能 够被收集从而形成被称作感兴趣区段（R0I)的贴片集合的总集。能够通过运动约束贴片集 合补充增强信息（SEI)消息将贴片集合表明为是独立可解码的。
[0019] 这样的HEVC贴片结构能够被应用于交互式贴片流送。贴片式流送的一个实例是 其中能够把多分辨率全景视频分解成由不同的R0I和分辨率构成的各个视频的应用。
[0020] 针对运动约束贴片集合SEI消息的扩展提供了用信号表明所有贴片都是独立可 解码的以及用信号表明可以对于每个R0I具有多于一个贴片的R0I的功能。通过这一扩 展，实现了基于用户或导演交互性在贴片层级重新定义已编码视频流（CVS)中的任何独立 可解码感兴趣区段的功能。导演是控制内容和/或能够修改内容（例如根据其被发送到的 用户组来修改内容）的人。所述扩展支持利用在多种应用中的交互性，比如交互式超高清 晰度电视（UHDTV)、动态高质量焦距拉近应用、交互式点播、电子学习、智能监控以及许多其 他应用。
[0021] R0I被定义成一个或多个贴片的并集。这里所描述的扩展被用来对于单层视频或 者具有基本层和至少一个增强层的视频基于用户或导演通过交互方式用信号表明R0I。存 在增强层中的R