用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令的制作方法

用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令的制作方法
【专利摘要】实施方式涵盖通过生成视频编码的比特流的编码视频数据，其中所述视频编码的比特流包括用于层间参考图片的参考图片集(RPS)扩展并且所述扩展包括层间变化图片顺序计数(POC)。实施方式还包括用信号发送较低层参考图片在较低层解码图片缓存(DPB)和/或聚合DPB中可用，所述较低层参考图片可以被添加到较高层的RPS集。所述比特流可以包括用信号表示较高层RPS是否可以由较低层RPS指定以及所述较低层RPS是否为时序的，层间预测(ILP)或者两者。
【专利说明】用于可缩放的高效视频编码（HEVC)的参考图片集（RPS)信 令
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年1月31日提交的美国临时专利申请No. 61/593256,名称为"用 于HEVC可缩放编码的信令参考图像的方法和设备"的权益，以及2012年4月27日提交的 美国临时专利申请No. 61/639776,名称为"用于视频编码的参考图像集预测信令的方法和 设备"的权益，所述两个申请的内容分别全部作为引用结合于此。

【背景技术】
[0003] 在过去二十年，各种数字视频压缩技术已经被开发并且标准化以使得能够进行有 效的数字视频通信、分发和消费。大部分商业广泛使用的标准由IS0/IEC和ITU-T开发，诸 如 H. 261、MPEG-1、MPEG-2、H. 263、MPEG-4(部分 2)和 H. 264(MPEG-4 部分 10)。由于新高级 视频压缩技术的出现和成熟，新视频编码标准，高效视频编码（HEVC，如在JCTVC-F803中阐 述。WD4 :高效视频编码的草案4, 2011年7月）由ITU-T视频编码专家组（VCEG)和MPEG 联合开发。HEVC被期望在2013年早期处于最终标准阶段。
[0004] 高效视频编码（HEVC)为被开发成H. 264继任者的视频压缩标准。HEVC实际上具 有比H. 264高的压缩能力。


【发明内容】

[0005] 提供本
【发明内容】
以简化的形式引进概念选择，所述概念选择还将在以下具体实施 方式中描述。本
【发明内容】
不是为了标识要求保护主题的关键特征或者必要特征，也不是为 了用来限制要求保护主题的范围。
[0006] 实施方式涵盖（contemplate)提供针对HEVC可缩放编码的层间预测的方法和系 统、针对HEVC可缩放编码的时序（temporal)参考图片信令设计、针对HEVC可缩放编码的 层间参考图片信令设计和/或层间参考图片列表构造进程。
[0007] 实施方式涵盖用信号发送参考图片集（RPS)中的层间参考图片可以被配置成支 持用于可缩放HEVC的层间运动补偿预测（或者估计）。在一些实施方式中，编码器和/或 解码器可以从可缩放HEVC编码中的较低层RPS中预测（例如，获得或者估计）较高层RPS 从而节省语法（syntax)开销比特。
[0008] 实施方式涵盖一个或者多个编码视频数据技术可以包括生成视频编码的比特流， 所述视频编码的比特流可以包括针对层间参考图片的参考图片集（RPS)扩展，其中所述扩 展可以包括或者指示层间变化（delta)图片顺序计数（POC)。所述技术还包括用信号发送 RPS扩展，所述RPS扩展可以包括较低层解码器缓存中的图片。可替换地或者附加地，技术 可以包括用信号发送在较低层解码图片缓存（DPB)和/或聚合DPB中可用，且可以被添加 到较高层的RPS集的较低层参考图片。所述比特流可以包括表明较高层RPS是否可以由较 低层RPS指定并且所述较低层RPS是否为时序的、层间预测（ILP)或者两者的信号。
[0009] 实施方式涵盖解码视频流的一种或多种技术。技术可以包括解析包含层间参考图 片集（RPS)扩展信号的比特流。技术还可以包括根据一个或多个扩展信号将较低层参考图 片的变化POC添加到较高层RPS集中。技术还包括解码视频数据以及接收包括针对针对层 间参考图片的参考图片集（RPS)扩展。所述技术还包括根据RPS扩展保留解码后的图片缓 存中的参考图片和/或使用至少部分保留的参考图片对编码后的视频进行解码。所述技术 还包括接收编码后的视频比特流中的信令，所述编码后的视频比特流可以包括较低层参考 图片的指针，所述较低层参考图片在较低层解码图片缓存（DPB)或者聚合DPB中保持可用。 所述技术还可以包括将较低层参考图片添加到较高层的RPS集。在一些实施方式中，诸如 标志的信号可以被用来指示所述较高层RPS可以被较低层RPS指定。一种或者多种实施方 式可以用信号发送较低层RPS可以为时序的或者可以为层间预测或者两者。
[0010] 实施方式涵盖通过生成视频编码后的比特流对视频数据进行编码，所述视频编码 后的比特流可以包括对层间参考图片的参考图片集（RPS)扩展，并且所述扩展可以包括层 间变化图片顺序计数（POC)。所述实施方式还包括用信号发送较低层参考图片在较低层解 码图片缓存（DPB)和/或聚合DPB中可用，且可以被添加到较高层的RPS集。所述比特流 可以包括指示所述较高层RPS是否可以由较低层RPS指定并且所述较低层RPS是否为时序 的，层间预测（ILP)或者两者的信号。
[0011] 实施方式涵盖用于视频数据编码的设备，所述设备可以被配置成至少部分生成比 特流。所述比特流可以包括一个或者多个参考图片集（RPS)扩展，所述参考图片集（RPS) 扩展可以指示一个或者多个针对一个或者多个解码图片缓存（DPB)的层间参考图片。所述 一个或者多个DPB可以分别与一个或者多个视频编码层关联。
[0012] 实施方式涵盖用于视频数据编码的设备，所述设备可以被配置成至少部分生成比 特流。所述比特流可以包括一个或者多个参考图片集（RPS)扩展，所述参考图片集（RPS) 扩展可以指示一个或者多个层间变化图片顺序计数（POC)。所述一个或者多个POC可以分 别与一个或者多个视频编码层关联。
[0013] 实施方式涵盖用于视频数据处理的设备，所述设备可以被配置成至少部分生成第 一视频编码层。所述第一视频编码层可以包括第一参考图片集（RPS)。所述第一 RPS可以 在第一解码图片缓存（DPB)中包括一个或者多个时序参考图片。所述设备还被配置成至少 部分基于第一 RPS的时序参考图片生成第二视频编码层。所述第二视频编码层包括第二 RPS。所述第二RPS包括在第二DPB中的一个或者多个层间参考图片以及一个或者多个时 序参考图片。所述设备还被配置成至少部分基于第一 RPS和第二RPS的至少一者生成第三 视频编码层。

【专利附图】

【附图说明】
[0014] 从以下描述中可以更详细地理解本发明，这些描述是以实例方式给出的，并且可 以结合附图加以理解，其中：
[0015] 图IA是在其中一个或更多个公开的实施例可得以实现的示例通信系统的系统 图；
[0016] 图IB是可在图IA所示的通信系统中使用的示例无线发射/接收单元（WTRU)的 系统图；
[0017] 图IC是可在图IA所示的通信系统中使用的示例无线电接入网和示例核心网的系 统图；
[0018] 图ID是可在图IA所示的通信系统中使用的另一示例无线电接入网和示例核心网 的系统图；
[0019] 图IE是可在图IA所示的通信系统中使用的另一示例无线电接入网和示例核心网 的系统图；
[0020] 图2示出了描述多层视频编码器示例的框图，所述多层视频编码器实现与实施方 式一致的示例参考图片集信令和预测技术；
[0021] 图3示出了具有针对与实施方式一致的可缩放视频编码（SVC)空间可缩放编码的 附加层间预测的示例可缩放结构；
[0022] 图4示出了与实施方式一致的示例层间预测结构；
[0023] 图5示出了与实施方式一致的示例二元（dyadic)和嵌套（nested)时序可缩放编 码结构；
[0024] 图6示出了与实施方式一致的具有层间预测的HEVC空间可缩放编码结构示例；
[0025] 图7示出了与实施方式一致的具有层间预测的示例HEVC空间/时序组合的可缩 放编码结构；
[0026] 图8为与实施方式一致的层-2层间图片（ILP)参考图片列表（POC)架构的表格 图示；
[0027] 图9为与实施方式一致的层_2合并（consolidated)参考图片列表（POC)架构不 例的表格图示；
[0028] 图10为描述不例视频编码和解码系统的框图，所述视频编码和解码系统可以利 用实施方式涵盖的运动预测技术；
[0029] 图11和图12为与实施方式一致的视频编码器和解码器部分的示例框图；
[0030] 图13示出了与实施方式一致的示例增强层时序参考图片子集构造过程；
[0031] 图14描述了与实施方式一致的短期参考图片集预测的各种源示例；
[0032] 图15和图16描述了与实施方式一致的时序参考图片子集和层间参考图片子集的 解码过程示例；
[0033] 图17示出了与实施方式一致的用于参考图片集扩展的示例解码过程；
[0034] 图18示出了与实施方式一致的时序参考和层间参考的示例时序共存配对；
[0035] 图19为与实施方式一致的具有不同帧速率的双层二元和嵌套时序可缩放编码结 构的示例。

【具体实施方式】
[0036] 现在可以参照附图描述【具体实施方式】。虽然该描述提供了可能实施的具体示例， 但应当注意的是具体示例是示例性的，并且不以任何方式限制本申请的范围。以下所使用 的冠词"一"或者"一个"，不是进一步的量化或者特征化，可以理解为诸如"一个或者多个" 或者"至少一个"。
[0037] 图IA是在其中可以实施一个或更多个实施方式的示例通信系统的系统图。通信 系统100可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系 统。通信系统100可以使多个无线用户通过系统资源共享（包括无线带宽）访问这些内 容。例如，通信系统可以使用一种或多种信道接入方法，例如码分多址（CDMA)，时分多址 (TDMA)，频分多址（FDMA)，正交 FDMA (OFDMA)，单载波 FMDA (SC-FDMA)等。
[0038] 如图IA所示，通信系统100可以包括无线发射/接收单元（WTRU) 102a、102b、 102c、和/或102d (其通常或整体上被称为WTRU)，无线电接入网（RAN) 103、104、105,核心 网106、107、109,公共交换电话网（PSTN) 108、因特网110和其他网络112。不过应该理解 的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、 102b、102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的 设备。作为示例，可以将WTRU 102a、102b、102c、102d配置为发送和/或接收无线信号，并 可以包括用户设备（UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理 (PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
[0039] 通彳目系统100还可以包括基站114a和基站114b。基站114a、114b的每 Iv都可 以是配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者更 多个通信网络，例如核心网106、107、109、因特网110和/或网络112的任何设备类型。作 为示例，基站114a、114b可以是基站收发信台（BTS)、节点B)、演进的节点B (e节点B)、家庭 节点B、家庭eNB、站点控制器、接入点（AP)、无线路由器等等。虽然基站114a、114b的每一 个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量互连的基 站和/或网络元件。
[0040] 基站114a可以是RAN 103、104、105的一部分，RAN 104还可以包括其他基站和/ 或网络元件（未显示），例如基站控制器（BSC)、无线电网络控制器（RNC)、中继节点等。可 以将基站114a和/或基站114b配置为在特定地理区域之内发送和/或接收无线信号，该 区域可以被称为小区（未显示）。小区还可以被划分为小区扇区。例如，与基站114a关联 的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机， 即每一个用于小区的一个扇区。在另一种实施方式中，基站114a可以使用多输入多输出 (ΜΙΜΟ)技术，因此可以将多个收发信机用于小区的每一个扇区。
[0041] 基站 114a、114b 可以通过空中接口 115、116、117 与 WTRU 102a、102b、102c、102d 中的一个或者更多个通信，该空中接口 115、116、117可以是任何合适的无线通信链路（例 如，射频（RF)、微波、红外（IR)、紫外线（UV)、可见光等）。可以使用任何合适的无线电接入 技术（RAT)来建立空中接口 116。
[0042] 更具体地，如上所述，通信系统100可以是多接入系统，并可以使用一种或者多种 信道接入方案，例如CDMA、TDMA、FDMA、0FDMA、SC-FDMA等等。例如，RAN103、104、105中的基 站114a和WTRU 102a、102b、102c可以使用例如通用移动电信系统（UMTS)陆地无线电接入 (UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口 115、116、117。WCDMA 可以包括例如高速分组接入（HSPA)和/或演进的HSPA (HSPA+)的通信协议。HSPA可以包 括高速下行链路分组接入（HSDPA)和/或高速上行链路分组接入（HSUPA)。
[0043] 在另一种实施方式中，基站114a和WTRU 102a、102b、102c可以使用例如演进的 UMTS陆地无线电接入（E-UTRA)的无线电技术，其可以使用长期演进（LTE)和/或高级 LTE(LTE-A)来建立空中接口 115、116、117。
[0044] 在其他实施方式中，基站114a和WTRU 102a、102b、102c可以使用例 如 IEEE802. 16(即，全球微波接入互操作性（WiMAX))、CDMA2000、CDMA2000 IX、 CDMA2000EV-D0、暂行标准 2000 (IS-2000)、暂行标准 95 (IS-95)、暂行标准 856 (IS-856)、全 球移动通信系统（GSM)、GSM演进的增强型数据速率（EDGE)、GSM EDGE (GERAN)等等的无线 电技术。
[0045] 图IA中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例 如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车 辆、校园等等。在一种实施方式中，基站114b和WTRU 102c、102d可以实施例如IEEE 802. 11 的无线电技术来建立无线局域网（WLAN)。在另一种实施方式中，基站114b和WTRU 102c、 102d可以使用例如IEEE 802. 15的无线电技术来建立无线个域网（WPAN)。在另一种实施 方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000， GSM，LTE，LTE-A等）来建立微微小区或毫微微小区。如图IA所示，基站114b可以具有到 因特网110的直接连接。因此，基站114b可以不需要经由核心网106、107、109而接入到因 特网110。
[0046] RAN 103、104、105可以与核心网106、107、109通信，所述核心网106、107、109可以 是被配置为向WTRU 102a、102b、102c、102d中的一个或更多个提供语音、数据、应用和/或 基于网际协议的语音（VoIP)服务等的任何类型的网络。例如，核心网106、107、109可以提 供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或 执行高级安全功能，例如用户认证。虽然图IA中未示出，应该理解的是，RAN 103、104、105 和/或核心网106、107、109可以与使用和RAN 103、104、105相同的RAT或不同RAT的其他 RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 103、 104、105之外，核心网106、107、109还可以与使用GSM无线电技术的另一个RAN(未示出） 通信。
[0047] 核心网 106、107、109 还可以充当 WTRU 102a、102b、102c、102d接入到PSTN108、因 特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务（POTS) 的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的 全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议（TCP)、用户数据报协议 (UDP)和网际协议（IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无 线的通信网络。例如，网络112可以包括连接到一个或更多个RAN的另一个核心网，该RAN 可以使用和RAN 103、104、105相同的RAT或不同的RAT。
[0048] 通信系统100中的WTRU 102a、102b、102c、102d的一个或多个或全部可以包括多 模式能力，即WTRU 102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网 络进行通信的多个收发信机。例如，图IA中示出的WTRU 102c可被配置为与基站114a通 信，所述基站114a可以使用基于蜂窝的无线电技术，以及与基站114b通信，所述基站114b 可以使用IEEE802无线电技术。
[0049] 图IB是WTRU 102示例的系统图。如图IB所示，WTRU 102可以包括处理器118、 收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不 可移动存储器130、可移动存储器132、电源134、全球定位系统（GPS)芯片组136和其他外 围设备138。应该理解的是，WTRU102可以在保持与实施方式一致时，包括前述元件的任何 子组合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表不的节 点（诸如但不局限于收发信台（BTS)、节点B、站点控制器、接入点（AP)、家庭节点B、演进型 家庭节点B (e节点B)、家庭演进型节点B (HeNB)、家庭演进型节点B网关和代理节点等）可 以包括图IB所描绘和这里描述的一个或多个或所有元件。
[0050] 处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器（DSP)、 多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电 路（ASIC)、场可编程门阵列（FPGA)电路、任何其他类型的集成电路（1C)、状态机等等。处 理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102运行于 无线环境中的任何其他功能。处理器118可以耦合到收发信机120,所述收发信机120可耦 合到发射/接收元件122。虽然图IB描述了处理器118和收发信机120是单独的部件，但 是应该理解的是，处理器118和收发信机120可以一起集成在电子封装或芯片中。
[0051] 发射/接收元件122可以被配置为通过空中接口 115、116、117将信号发送到基站 (例如，基站114a)，或从基站（例如，基站114a)接收信号。例如，在一种实施方式中，发射 /接收元件122可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，发 射/接收元件122可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检 测器。在另一种实施方式中，发射/接收元件122可以被配置为发送和接收RF和光信号两 者。应当理解，发射/接收元件122可以被配置为发送和/或接收无线信号的任何组合。
[0052] 另外，虽然发射/接收元件122在图IB中描述为单独的元件，但是WTRU102可以包 括任意数量的发射/接收元件122。更具体的，WTRU 102可以使用例如MMO技术。因此， 在一种实施方式中，WTRU 102可以包括用于通过空中接口 115、116、117发送和接收无线信 号的两个或更多个发射/接收元件122 (例如，多个天线）。
[0053] 收发信机120可以被配置为调制要由发射/接收元件122发送的信号和/或解调 由发射/接收元件122接收的信号。如上面提到的，WTRU 102可以具有多模式能力。因此 收发信机120可以包括使WTRU 102经由多个例如UTRA和IEEE 802. 11的RAT通信的多个 收发信机。
[0054] WTRU 102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输 入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128 (例如，液晶显示器（LCD) 显示单元或有机发光二极管（OLED)显示单元）。处理器118还可以输出用户数据到扬声器 /麦克风124、键盘126和/或显示/触摸板128。另外，处理器118可以从任何类型的适当 的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储 器130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器（RAM)、只 读存储器（ROM)、硬盘或任何其他类型的存储器设备。可移动存储器132可以包括用户标识 模块（SM)卡、记忆棒、安全数字（SD)存储卡等等。在其他实施方式中，处理器118可以从 在物理位置上没有位于WTRU 102上，例如位于服务器或家用计算机（未示出）上的存储器 访问信息，并且可以将数据存储在该存储器中。
[0055] 处理器118可以从电源134接收电能，并且可以被配置为分配和/或控制到WTRU 102中的其他部件的电能。电源134可以是给WTRU 102供电的任何适当的设备。例如，电 源134可以包括一个或更多个干电池（例如，镍镉（NiCd)、镍锌（NiZn)、镍氢（NiMH)、锂离 子（Li-ion)等等），太阳能电池，燃料电池等等。
[0056] 处理器118还可以耦合到GPS芯片组136,所述GPS芯片组136可以被配置为提 供关于WTRU 102当前位置的位置信息（例如，经度和纬度）。另外，除来自GPS芯片组136 的信息或作为其替代，WTRU 102可以通过空中接口 115、116、117从基站（例如，基站114a、 114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位 置。应当理解，WTRU 102在保持实施方式的一致性时，可以通过任何适当的位置确定方法 获得位置信息。
[0057] 处理器118可以耦合到其他外围设备138,所述外围设备138可以包括一个或更 多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备 138可以包括加速计、电子罗盘、卫星收发信机、数字相机（用于照片或视频）、通用串行总 线（USB)端口、振动设备、电视收发信机、免提耳机、蓝牙（Bluetooth?)模块、调频（FM)无 线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
[0058] 图IC是根据实施方式的RAN 103和核心网106a的系统图。如上面提到的，RAN 103可使用UTRA无线电技术通过空中接口 115与WTRU 102a、102b和102c通信。RAN 103 还可以与核心网l〇6a通信。如图IC所示，RAN103可以包括节点B 140a、140b、140c，fA B 140a、140b、140c的每一个包括一个或更多个用于通过空中接口 115与WTRU 102a、102b、 102c、102d通信的收发信机。节点B 140a、140b、140c的每一个可以与RAN 103内的特定小 区（未显示）关联。RAN 103还可以包括RNC 142a、142b。应当理解的是，RAN 103在保持 实施方式的一致性时，可以包括任意数量的节点B和RNC。
[0059] 如图IC所示，节点B 140a、140b、140c可以与RNC 142a通信。此外，节点B 140c 可以与RNC 142b通信。节点B 140a、140b、140c可以通过Iub接口分别与RNC 142a、142b 通信。RNC 142a、142b可以通过Iur接口相互通信。RNC 142a、142b的每一个可以被配置以 控制其连接的各个节点B140a、140b、140c。另外，RNC 142a、142b的每一个可以被配置以执 行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、 安全功能、数据加密等等。
[0060] 图IC中所示的核心网106可以包括媒体网关（MGW) 144、移动交换中心（MSC) 146、 服务GPRS支持节点（SGSN) 148、和/或网关GPRS支持节点（GGSN)。尽管前述元件的每一 个被描述为核心网106的部分，应当理解的是，这些元件中的任何一个可以被不是核心网 运营商的实体拥有或运营。
[0061] RAN 103中的RNC 142a可以通过IuCS接口连接至核心网106中的MSC146。MSC 146可以连接至MGW 144。MSC 146和MGW 144可以向WTRU102a、102b、102c提供到电路交 换网络（例如PSTN 108)的接入，以便于WTRU 102a、102b、102c和传统陆地线路通信设备 之间的通信。
[0062] RAN 103中RNC 142a还可以通过IuPS接口连接至核心网106中的SGSN 148。SGSN 148 可以连接至 GGSN 150。SGSN 148 和 GGSN 150 可以向 WTRU 102a、102b、102c 提供到分 组交换网络（例如因特网110)的接入，以便于WTRU 102a、102b、102c和IP使能设备之间 的通信。
[0063] 如上所述，核心网106还可以连接至网络112,网络112可以包括由其他服务提供 商拥有或运营的其他有线或无线网络。
[0064] 图ID是根据实施方式的RAN 104和核心网107的系统图。如上面提到的，RAN 104 可使用E-UTRA无线电技术通过空中接口 116与WTRU 102a、102b、102c通信。RAN 104还可 以与核心网107通信。
[0065] RAN 104可包括e节点B 160a、160b、160c，但可以理解的是，RAN 104可以包括任 意数量的e节点B而保持与各种实施方式的一致性。eNB 160a、160b、160c的每一个可包括 一个或更多个用于通过空中接口 116与WTRU102a、102b、102c通信的收发信机。在一种实 施方式中，e节点B 160a、160b、160c可以使用MMO技术。因此，e节点B 160a例如可以使 用多个天线来向WTRU 102a发送无线信号和/或从其接收无线信号。
[0066] e节点B 160a、160b、160c的每一个可以与特定小区关联（未显示），并可以被配 置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如 图ID所示，e节点B 160a、160b、160c可以通过X2接口相互通信。
[0067] 图ID中所示的核心网107可以包括移动性管理实体（MME) 162、服务网关164和/ 或分组数据网络（PDN)网关166。虽然前述单元的每一个被描述为核心网107的一部分， 应当理解的是，这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运 营。
[0068] MME 162可以经由Sl接口连接到RAN 104中的e节点B 160a、160b、160c的每一 个，并可以作为控制节点。例如，MME 162可以负责WTRU 102a、102b、102c的用户认证、承载 激活/去激活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162 还可以提供控制平面功能，用于在RAN 104和使用例如GSM或者WCDM的其他无线电技术 的其他RAN (未显示）之间切换。
[0069] 服务网关164可以经由Sl接口连接到RAN 104中的eNB 160a、160b、160c的每一 个。服务网关164通常可以向/从WTRU 102a、102b、102c路由和转发用户数据分组。月艮 务网关164还可以执行其他功能，例如在eNB间切换期间锚定用户平面、当下行链路数据 对于WTRU 102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文 (context)等等。
[0070] 服务网关164还可以连接到PDN网关166, PDN网关166可以向WTRU102a、102b、 102c提供到分组交换网络（例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP 使能设备之间的通信。
[0071] 核心网107可以便于与其他网络的通信。例如，核心网107可以向WTRU102a、102b、 102c提供到电路交换网络（例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统 陆地线路通信设备之间的通信。例如，核心网107可以包括IP网关（例如IP多媒体子系 统（MS)服务器），或者与之通信，该IP网关作为核心网107与PSTN 108之间的接口。另 夕卜，核心网107可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括 被其他服务提供商拥有和/或运营的其他有线或无线网络。
[0072] 图IE是根据实施方式的RAN 105和核心网109的系统图。RAN 105可以是使用 IEEE 802. 16无线电技术通过空中接口 117与WTRU 102a、102b、102c进行通信的接入服务 网络（ASN)。如下面进一步讨论的，WTRU 102a、102b、102c，RAN 105和核心网109的不同功 能实体之间的链路可以被定义为参考点。
[0073] 如图IE所示，RAN 105可以包括基站180a、180b、180c和ASN网关182,但应当理 解的是，RAN 105可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站180a、 180b、180c的每一个可以与RAN 105中特定小区（未示出）关联并可以包括一个或更多个 通过空中接口 117与WTRU102a、102b、102c通信的收发信机。在一个示例中，基站180a、 180b、180c可以使用MMO技术。因此，基站140g例如使用多个天线来向WTRU 102a发送无 线信号，或从其接收无线信号。基站180a、180b、180c可以提供移动性管理功能，例如呼叫 切换（handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN 网关182可以充当业务聚集点，并且负责寻呼、缓存用户资料（profile)、路由到核心网109 等等。
[0074] WTRU 102a、102b、102c和RAN 105之间的空中接口 117可以被定义为使用802. 16 规范的Rl参考点。另外，WTRU 102a、102b、102c的每一个可以与核心网109建立逻辑接口 (未显示）。WTRU 102a、102b、102c和核心网109之间的逻辑接口可以定义为R2参考点，其 可以用于认证、授权、IP主机（host)配置管理和/或移动性管理。
[0075] 基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于WTRU切换和 基站间转移数据的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的通信链 路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 102g、102h、102i的每 一个关联的移动性事件的移动性管理的协议。
[0076] 如图IE所示，RAN 105可以连接至核心网109。RAN 105和核心网109之间的通信 链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网109 可以包括移动IP本地代理（MIP-HA) 184,认证、授权、计费（AAA)服务器186和网关188。尽 管前述的每个元件被描述为核心网109的部分，应当理解的是，这些元件中的任意一个可 以由不是核心网运营商的实体拥有或运营。
[0077] MIP-HA可以负责IP地址管理，并可以使WTRU 102a、102b、102c在不同ASN和/或 不同核心网之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供分组交换网络（例如 因特网110)的接入，以促进WTRU 102a、102b、102c和IP使能设备之间的通信。AAA服务器 186可以负责用户认证和支持用户服务。网关188可促进与其他网络互通。例如，网关可以 向WTRU 102a、102b、102c提供电路交换网络（例如PSTN 108)的接入，以促进WTRU 102a、 102b、102c和传统陆地线路通信设备之间的通信。此外，网关188可以向WTRU 102a、102b、 102c提供网络112,其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
[0078] 尽管未在图IE中显示，应当理解的是，RAN 105可以连接至其他ASN，并且核心网 109可以连接至其他核心网。RAN 105和其他ASN之间的通信链路可以定义为R4参考点， 其可以包括协调RAN 105和其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心 网109和其他核心网之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网和 被访问核心网之间的互通的协议。
[0079] 实施方式认识到与通过卫星、电缆和/或陆地传输信道相比，越来越多的其它视 频应用，诸如视频聊天、移动视频和流视频可以应用在与客户端侧以及网络侧异构的环境 中。诸如智能手机、平板和电视的三种屏幕可以在客户端侧占主导，其中所述视频可以通过 因特网、移动网络和/或两者的组合进行传送。为了改进用户体验和/或服务的视频质量， 可以使用可缩放的视频编码。可缩放的视频编码可以以高分辨率（例如，可能"最高"分辨 率）对信号进行编码和/或可能根据一些应用所要求的特定速率和分辨率等因素启动从流 子集中解码，所述特定速率和分辨率可以由客户端设备来支持。实施方式认识到国际视频 标准MPEG-2视频、H. 263、可视MPEG4和H. 264具有支持可缩放性模式的工具和/或简档。
[0080] 图2描述了基于通用模块的混合可缩放视频编码系统的示例框图。由层-0(基 层）表示的空间/时序信号分辨率可以首先通过对输入视频信号下采样生成。在后续的编 码阶段，量化器（QO)的合适设置可以引起基本信息（例如，视频信号）的特定质量等级。 基层重构YO可以为一种或者多种或者所有更高层分辨率等级的近似值并且可以在后续层 的编码和/或解码中利用。上采样单元可以对基层重构信号进行上采样从而匹配在一个或 者多个或者任何一个更高层处的分辨率。下采样和上采样可以在一个或者多个或者所有层 (例如，〇, 1，2,……N)中执行，尽管下采样和/或上采样速率根据在不同层处视频信号的 相对维度等因素不同。例如，对于具有层-n(0〈 = n〈 = N)解码能力的终端设备，从层-0 至层-η的比特流的子集（或者在一些实施方式中，可能仅这种子集）可以被传送至所述终 端设备。更高层（例如，η+1，……Ν)的子流可能被丢弃，可能无需传输等原因，从而节省带 宽。或许当由层nl和η2两个层表示的视频信号具有相同或者相似的空间分辨率，诸如对 应的下采样和上采样操作可以被忽视（by-passed)。
[0081] 实施方式认识到可缩放视频编码（SVC)是H. 264的扩展，所述H. 264的扩展可以 启动部分比特流的传输和解码从而以较低时序或者空间分辨率或者减少的保真度提供视 频服务，同时保持相对于部分比特流速率高的的重构质量。图3示出了改进可缩放编码效 率的示例性双层SVC层间预测机制。在一些实施方式中，相同的机制还可以被应用到多层 SVC编码结构。在图3中，基层和增强层可以表示两个具有不同分辨率的相邻空间可缩放 层。在一个或者多个或者每个单层内，运动补偿的预测和帧内预测可以被当作标准H. 264 编码器（图中以虚线表示）。层间预测可以利用尽可能多的基层信息，诸如但不限于空间纹 理、运动向量预测器、参考图片索引和剩余信号从而提高增强层的速率失真效率。在一些实 施方式中，SVC可以不要求来自较低层的参考图片完全重构。
[0082] 实施方式涵盖包括用信号发送针对时序预测（或者估计）和/或层间预测（或 者估计）的参考图片从而支持HEVC的多层可缩放增强扩展（HEVC的可缩放增强扩展被称 作可缩放HEVC视频编码（SHVC)，所述SHVC在此处出于解释而不是限制目的被称作可缩放 HEVC)的系统和方法。一些实施方式可以与单层HEVC参考图片缓存和/或列表构造过程兼 容，并且还可以支持针对多层可缩放编码的层间预测。在一些实施方式中，所述信令可以与 单层HEVC参考图片缓存和/或列表构造兼容和/或支持层间时序参考图片集预测（例如， 节省带宽）和/或支持在诸如增强层和/或较低参考层之间的层间图片预测。
[0083] 实施方式涵盖层间预测方法论可以在HEVC可缩放编码扩展中使用等原因以提高 效率。图4示出了针对HEVC可缩放编码所涵盖的示例性层间预测结构。增强层的预测（或 者估计）可以根据重构（例如，当两层之间的空间分辨率不同时在上采样之后）的基层信 号，或者根据当前增强层范围内的时序参考图片，通过对具有时序预测信号的基层重构信 号求平均的方式，和/或根据多于一种预测源的组合的运动补偿预测形成。在一些实施方 式中，可能与SVC相比（诸如参考图3描述），该方法要求较低层图片的至少一些重构或者 完全重构。在一些实施方式中，相同的机制还可以被用于多层（例如，多于2层）HEVC可缩 放编码结构。
[0084] 实施方式认识到针对参考图片缓存和列表构造的HEVC信令支持单层内的时序运 动补偿预测。实施方式还认识到通过从H.264/SVC采用的内存管理控制操作（MMCO)指令 和切片（slice)报头中移除帧_数目（fram e_num)的方式简化参考图片缓存管理。实施方 式还认识到在参数集语法和切片报头中添加的参考图片集（RPS)的信令，其中一个或者多 个或者每个集可以包括由当前图片使用的多个参考图片或者被保存用于诸如未来图片的 预测（或者估计）。
[0085] 表1示出了示例性参考图片集语法。一个或者多个或者每个参考图片可以通过变 化POC(图片顺序计数）来标识，所述变化POC可以为当前图片和参考图片之间的距离。例 如，对于第一图片，POC可以为0,对于第二图片，POC可以为1，并且对于第三图片，POC可以 为2,其中第一图片和第三图片之间的距离可以为2。此外举个例子，假定当前图片的POC为 10并且编码器想包括具有POC= {9,7}的两个参考图片。所述编码器可以发送信号数目_ 负 _ 图片（num_negative_pics) = 2 和数目 _ 正_ 图片（num_positive_pics) = 0。由于 POC 10减POC 9为1，变化_?〇(^0_减1[0]值为0。并且由于POC 9减POC 7为2,变化 _口〇。_8〇_减 1[1]变成 1。
[0086] 表1:示例参考图片集语法
[0087]

【权利要求】
1. 一种用于视频数据编码的设备，该设备至少部分被配置成： 生成比特流，该比特流包括： 一个或多个参考图片集（RPS)扩展，所述一个或多个RPS扩展指示针对一个或多个解 码图片缓存（DPB)的一个或多个层间参考图片，所述一个或多个DPB分别与一个或多个视 频编码层相关联。
2. 根据权利要求1所述的设备，其中所述设备还被配置使得所述比特流被生成以进一 步包括所述一个或多个视频编码层中的视频编码层用作针对所述一个或多个视频编码层 中的至少一个较高视频编码层的至少一个层间预测的参考层的至少一个指示。
3. 根据权利要求1所述的设备，其中所述设备还被配置使得所述比特流被生成以进一 步包括与所述一个或多个视频编码层中的第一视频编码层的DPB相关联的一个或多个层 间参考图片中的至少一者还与所述一个或多个视频编码层中的第二视频编码层相关联的 指示。
4. 根据权利要求3所述的设备，其中所述一个或多个视频编码层中的所述第二视频编 码层高于所述一个或多个视频编码层中的所述第一视频编码层。
5. 根据权利要求1所述的设备，其中所述设备还被配置使得所述比特流被生成以进一 步包括指示针对所述一个或多个DPB的一个或多个时序参考图片的一个或多个RPS扩展， 所述比特流还包括所述一个或多个时序参考图片和所述一个或多个层间参考图片包括在 至少一个参考图片列表中的指示。
6. 根据权利要求5所述的设备，其中所述一个或多个层间参考图片包括一个或多个共 存参考图片和一个或多个非共存参考图片，并且所述设备还被配置使得所述比特流被生成 以进一步包括在所述一个或多个时序参考图片中的至少一者的位置之前和位置之后中的 至少一者的位置处放置所述一个或多个共存参考图片在所述参考图片列表中的指示。
7. 根据权利要求6所述的设备，其中所述设备还被配置使得所述比特流被生成以使得 放置指示还指示在所述一个或多个时序参考图片中的至少一者的位置之前和位置之后中 的至少一者的位置处放置所述一个或多个非共存参考图片中的至少一者。
8. 根据权利要求1所述的设备，其中所述一个或多个层间参考图片包括一个或多个共 存层间参考图片和一个或多个非共存层间参考图片，并且所述设备还被配置使得所述一个 或多个RPS扩展指示针对所述一个或多个DPB的所述一个或多个共存层间参考图片。
9. 根据权利要求8所述的设备，其中所述设备还被配置使得所述比特流被生成以进一 步包括指示针对所述一个或多个DPB的一个或多个时序参考图片的一个或多个RPS扩展， 所述比特流还包括所述一个或多个非共存层间参考图片中的至少一者能从所述一个或多 个时序参考图片中预测的指示。
10. 根据权利要求1所述的设备，其中所述设备还被配置使得所述比特流被生成以包 括指示针对参数集中的一个或多个解码图片缓存（DPB)的一个或多个层间参考图片的一 个或多个参考图片集（RPS)扩展。
11. 根据权利要求1所述的设备，其中所述设备还被配置使得所述比特流被生成以进 一步包括与第一视频编码层的第一 DPB相关联的一个或多个层间参考图片将被包括在第 二视频编码层的第二DPB中的至少一个指示。
12. 根据权利要求11所述的设备，其中所述第二视频编码层高于所述第一视频编码 层。
13. -种用于视频数据编码的设备，该设备至少部分被配置成： 生成比特流，该比特流包括： 一个或多个参考图片集（RPS)扩展，所述一个或多个RPS扩展指示一个或多个层间变 化图片顺序计数（POC)，所述一个或多个POC分别与一个或多个视频编码层相关联。
14. 根据权利要求13所述的设备，其中所述设备还被配置使得所述比特流被生成以进 一步包括指示针对所述一个或多个视频编码层的一个或多个时序参考图片的一个或多个 PRS扩展。
15. 根据权利要求13所述的设备，其中所述设备还被配置使得所述比特流被生成以进 一步包括与第一视频编码层相关联的一个或多个时序参考图片将被用于第二视频编码层 的指示。
16. 根据权利要求15所述的设备，其中所述指示为一比特标志，所述第一视频编码层 为基层和参考层中的至少一者，并且所述第二视频编码层为增强层，所述增强层高于所述 第一视频编码层。
17. -种用于视频数据处理的设备，该设备至少部分被配置成： 生成第一视频编码层，所述第一视频编码层包括第一参考图片集（RPS)，所述第一 RPS 包括第一解码图片缓存（DPB)中的一个或者多个时序参考图片； 至少部分根据所述第一 RPS的时序参考图片生成第二视频编码层，所述第二视频编码 层包括第二RPS，所述第二RPS包括一个或者多个时序参考图片以及在第二DPB中的一个或 者多个层间参考图片；以及 至少部分根据所述第一 RPS和第二RPS中的至少一者生成第三视频编码层。
18. 根据权利要求17所述的设备，其中至少所述第一视频编码层根据高效视频编码 (HEVC)协议生成。
19. 根据权利要求17所述的设备，其中所述设备还被配置成在所述第二视频编码层和 所述第三视频编码层中的至少一者内执行时序上的运动补偿预测。
20. 根据权利要求17所述的设备，其中所述第三视频编码层包括第三DPB，所述第三 DPB包括被包括在所述第二DPB中的一个或多个层间参考图片中的至少一者。
21. 根据权利要求17所述的设备，其中所述设备还被配置使得生成所述第三视频编码 层包括根据所述第一 RPS和所述第二RPS的至少一者对第三RPS的一个或者多个时序参考 图片的预测。
22. 根据权利要求17所述的设备，其中所述设备还被配置成接收对所述第一 RPS和所 述第二RPS的至少一者进行缩放的指示，以及所述生成第三视频编码层包括根据缩放的第 一 RPS和缩放的第二RPS的至少一者对第三RPS的一个或者多个时序参考图片的预测。
23. 根据权利要求17所述的设备，其中所述设备还被配置使得所述第二视频编码层的 RPS扩展包括所述第二DPB的一个或多个时序参考图片的集合以及所述第二DPB的一个或 多个流间参考图片的集合，并且所述第三视频编码层的RPS扩展能从所述第二视频编码层 的RPS扩展中预测。
【文档编号】H04N19/187GK104396240SQ201380007485
【公开日】2015年3月4日 申请日期:2013年1月31日 优先权日:2012年1月31日
【发明者】Y·何, 叶琰, G·W·麦克莱伦, 董洁 申请人:Vid拓展公司