用于帧内预测的模式决策简化的制作方法
【技术领域】
[0001] 本发明涉及视频译码，并且更确切地说，涉及视频译码的帧内预测方面。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及 其类似者。数字视频装置实施视频压缩技术（例如，由MPEG-2、MPEG-4、ITU-TH. 263或 ITU-TH. 264/MPEG-4第10部分高级视频译码（AVC)所定义的标准及这些标准的扩展中所 描述的视频压缩技术），以较有效地发射及接收数字视频信息。人们正在研发新视频译码标 准，例如，由"视频译码联合开发团队"（JCT-VC)开发的高效率视频译码（HEVC)标准，其为 MPEG与ITU-T之间的合作成果。新出现的的HEVC标准有时被称作ITU-TH. 265,但此名称 尚未正式确定。
【发明内容】
[0003] -般来说，本发明描述用于当从多个不同预测模式进行选择时减少模式选择的复 杂性的技术。通常，视频译码器可使用帧内模式编码（例如，相对于同一图片的其它块而编 码）或帧间模式编码（相对于先前译码的图片块而编码）对图片块进行译码。在一些实例 中，视频译码器可从大量不同模式中选择译码给定块的模式。视频译码器可基于表示选定 模式的近似失真速率的对应近似成本值而选择模式。并非确定每一可能的预测模式的近似 成本值，视频译码器可通过初始地选择更可能提供低失真的模式的子集且随后以针对提供 低失真的额外模式的搜索精炼所述选定子集而减少模式的数目。
[0004] 在一个实施例中，一种对视频数据进行编码的方法包含计算在包含具有至少一个 帧内预测模式的帧内预测模式的预定义集合的帧内预测模式的当前集合中识别的每一帧 内预测模式的近似成本。帧内预测模式的当前集合可包含比可用于对视频数据的当前块进 行译码的帧内预测模式的总数少的帧内预测模式。所述方法还可包含计算基于用以对邻近 于所述当前块的视频数据的一或多个相邻块进行编码的帧内预测模式而确定的所述当前 块的一或多个最可能帧内预测模式的近似成本。所述方法可进一步包含将针对所述一或多 个最可能帧内预测模式计算的所述近似成本中的每一者与阈值进行比较。所述方法还可包 含基于所述比较以所述一或多个最可能帧内预测模式替换帧内预测模式的所述当前集合 中识别的所述帧内预测模式中的一或多者。所述方法可进一步包含相对于帧内预测模式的 所述当前集合中识别的每一帧内预测模式执行速率失真分析以确定帧内预测模式的所述 当前集合中识别的每一帧内预测模式的速率失真成本。所述方法还可包含基于所述所确定 的速率失真成本根据帧内预测模式的所述当前集合中识别的所述帧内预测模式中的一者 执行相对于所述当前块的帧内预测译码以对所述当前块进行编码。
[0005] 在一个实施例中，一种视频译码装置可经配置以执行帧内预测过程以对视频数据 进行译码，所述视频译码装置。所述视频译码装置可包含处理器，所述处理器经配置以计算 在包含具有至少一个帧内预测模式的帧内预测模式的预定义集合的帧内预测模式的当前 集合中识别的每一帧内预测模式的近似成本，其中帧内预测模式的所述当前集合包含比可 用于对所述视频数据的当前块进行译码的帧内预测模式的总数目少的帧内预测模式。所述 视频译码装置可进一步经配置以计算基于用以对邻近于所述当前块的视频数据的一或多 个相邻块进行编码的帧内预测模式而确定的所述当前块的一或多个最可能帧内预测模式 的近似成本。所述视频译码装置还可经配置以将针对所述一或多个最可能帧内预测模式计 算的所述近似成本中的每一者与阈值进行比较。所述视频译码装置可进一步经配置以基于 所述比较以所述一或多个最可能帧内预测模式替换帧内预测模式的所述当前集合中识别 的所述帧内预测模式中的一或多者。所述视频译码装置还可经配置以相对于帧内预测模式 的所述当前集合中识别的每一帧内预测模式执行速率失真分析以确定帧内预测模式的所 述当前集合中识别的每一帧内预测模式的速率失真成本。所述视频译码装置可进一步经配 置以基于所述所确定的速率失真成本根据帧内预测模式的所述当前集合中识别的所述帧 内预测模式中的一者执行相对于所述当前块的帧内预测译码以对所述当前块进行编码。
[0006] 在一个实施例中，一种视频译码装置可经配置以执行帧内预测过程以对视频数据 进行译码，所述视频译码装置包含用于计算在包含具有至少一个帧内预测模式的帧内预测 模式的预定义集合的帧内预测模式的当前集合中识别的每一帧内预测模式的近似成本的 装置，其中帧内预测模式的所述当前集合包含比可用于对所述视频数据的当前块进行译码 的帧内预测模式的总数目少的帧内预测模式。所述视频译码装置还可包含用于计算基于用 以对邻近于所述当前块的视频数据的一或多个相邻块进行编码的帧内预测模式而确定的 所述当前块的一或多个最可能帧内预测模式的近似成本的装置。所述视频译码装置可进一 步包含用于将针对所述一或多个最可能帧内预测模式计算的所述近似成本中的每一者与 阈值进行比较的装置。所述视频译码装置还可包含用于基于所述比较以所述一或多个最可 能帧内预测模式替换帧内预测模式的所述当前集合中识别的所述帧内预测模式中的一或 多者的装置。所述视频译码装置可进一步包含用于相对于帧内预测模式的所述当前集合中 识别的每一帧内预测模式执行速率失真分析以确定帧内预测模式的所述当前集合中识别 的每一帧内预测模式的速率失真成本的装置。所述视频译码装置还可包含用于基于所述所 确定的速率失真成本根据帧内预测模式的所述当前集合中识别的所述帧内预测模式中的 一者执行相对于所述当前块的帧内预测译码以对所述当前块进行编码的装置。
[0007] 在一个实施例中，一种非暂时性计算机可读存储媒体包含存储于其上的指令，所 述指令当经执行时致使一或多个处理器计算在包含具有至少一个帧内预测模式的帧内预 测模式的预定义集合的帧内预测模式的当前集合中识别的每一帧内预测模式的近似成本， 其中帧内预测模式的所述当前集合包含比可用于对所述视频数据的当前块进行译码的帧 内预测模式的总数目少的帧内预测模式。所述非暂时性计算机可读存储媒体还可包含存储 于其上的指令，所述指令当经执行时致使一或多个处理器计算基于用以对邻近于所述当前 块的视频数据的一或多个相邻块进行编码的帧内预测模式而确定的所述当前块的一或多 个最可能帧内预测模式的近似成本。所述非暂时性计算机可读存储媒体还可包含存储于其 上的指令，所述指令当经执行时致使一或多个处理器将针对所述一或多个最可能帧内预测 模式计算的所述近似成本中的每一者与阈值进行比较。所述非暂时性计算机可读存储媒体 还可包含存储于其上的指令，所述指令当经执行时致使一或多个处理器基于所述比较以所 述一或多个最可能帧内预测模式替换帧内预测模式的所述当前集合中识别的所述帧内预 测模式中的一或多者。所述非暂时性计算机可读存储媒体还可包含存储于其上的指令，所 述指令当经执行时致使一或多个处理器相对于帧内预测模式的所述当前集合中识别的每 一帧内预测模式执行速率失真分析以确定帧内预测模式的所述当前集合中识别的每一帧 内预测模式的速率失真成本。所述非暂时性计算机可读存储媒体还可包含存储于其上的指 令，所述指令当经执行时致使一或多个处理器基于所述所确定的速率失真成本根据帧内预 测模式的所述当前集合中识别的所述帧内预测模式中的一者执行相对于所述当前块的帧 内预测译码以对所述当前块进行编码。
[0008] 随附图式及以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从描 述及附图以及从权利要求书中显而易见。
【附图说明】
[0009] 图1是说明可经配置以利用本发明中描述的技术以在从多个不同预测模式进行 选择时减少模式选择的复杂性的实例视频编码和解码系统的框图。
[0010] 图2是说明可实施技术以当从多个不同预测模式进行选择时减少模式选择的复 杂性的视频编码器的实例的框图。
[0011] 图3是图解说明可实施本发明中描述的技术的实例视频解码器的框图。
[0012] 图4A是说明根据本发明中描述的技术的视频译码器可选择的帧内预测模式的概 念表不的框图。
[0013] 图4B是说明根据本发明中描述的技术的待进行帧内预测性译码的当前块和相邻 块的概念表示的框图。
[0014] 图5是说明当从多个不同预测模式进行选择时减少模式选择的复杂性的例如图2 中所示的视频编码器等视频译码器的示范性操作的流程图。
[0015] 图6是说明根据本发明的技术初始地构造帧内预测模式的当前集合的例如图2中 所示的视频编码器等视频译码器的示范性操作的流程图。
[0016] 图7A是说明例如图2中所示的视频编码器等视频译码器对帧内预测模式的当前 集合进行后处理的示范性操作的流程图。
[0017] 图7B是说明例如图2中所示的视频编码器等视频译码器对帧内预测模式的当前 集合进行后处理的示范性操作的流程图。
[0018] 图8是说明例如图2中所示的视频编码器等视频译码器对帧内预测模式的当前集 合进行精炼的示范性操作的流程图。
【具体实施方式】
[0019] 本发明中描述可使例如视频编码器的视频译码器能够在从多个不同预测模式进 行选择时减少模式选择的复杂性的技术。总的来说，经编码的视频数据可包含预测数据和 残余数据。举例来说，视频编码器可在帧内预测模式或帧间预测模式期间产生预测数据。帧 内预测例如大体上涉及相对于图片的相邻经先前译码块中的参考样本预测同一图片的块 中的像素值，其中所述选定经先前译码块可被称为参考块。帧内预测也可被称作空间预测， 因为所述选定参考块是来自与待预测的块相同的图片。帧间预测通常涉及相对于经时间移 除图片中的一或多个参考样本预测图片的块中的像素值。出于此原因，帧间预测可被称为 时间预测，因为所述选定参考块是来自与具有待预测的块的图片不同（并且因此经时间移 除）的图片。
[0020] 当执行帧内预测时，视频编码器可从多个不同帧内预测模式当中进行选择。当执 行帧内预测时，视频编码器常常分析与35个帧内预测模式中的每一者相关联的近似成本。 此近似成本可近似全速率失真成本。计算全速率失真成本通常要求视频编码器使用帧内预 测模式中的每一者计算经预测块。视频编码器随后确定经预测块中的每一者与当前块之间 的差异（通常被称为"残余块"，其指定上文参考的残余像素值）且将残余块中的每一者从 空间域变换到频域。接着，视频编码器可量化经变换残余块中的每一者以产生对应经编码 视频块。最后，视频编码器可对经编码视频块进行解码，将经解码视频块中的每一者与当前 块进行比较以确定失真度量。此外，此全速率失真分析涉及针对帧内预测模式中的每一者 计算用以用信号表示经编码视频块中的每一者的位的量。因此，视频编码器可针对使用35 个帧内预测模式中的对应一者预测的块中的每一者计算近似成本而不是执行此速率失真 分析。
[0021] 在一些实例中，视频编码器可计算针对帧内预测模式中的每一者预测的预测块中 的每一者的近似成本。举例来说，视频编码器可初始地计算对应于35个帧内预测模式中的 每一者的35个近似成本。视频编码器可随后针对帧内预测模式的某个子集执行全速率失 真分析，因为在某些情况下近似成本可能不正确地近似速率失真成本。
[0022] 虽然上文使用子集的简化与强力搜索相比可减少所需的计算量，但此些技术总体 可仍需要对应于35个帧内预测模式中的每一者的近似成本的35次计算。虽然此些技术可 减少视频编码器执行计算上密集的全速率失真分析的次数，但在给定计算35个模式中的 每一者的近似成本所需的复杂性和时间的情况下，此过程可能不会良好适合于视频数据的 实时编码或近实时编码。在一些实时视频编码环境中，计算所有可能的模式的近似成本的 处理要求可超过设计约束。
[0023] 根据本发明中描述的技术，视频编码器可减少执行近似、且在某些情况下全速率 失真分析的模式的数目，进而潜在地减少与执行帧内预测过程相关联的时间和复杂性。通 过减少与执行帧内预测过程相关联的时间和复杂性，视频编码器可执行实时视频编码或近 实时视频编码。
[0024] 在操作中，视频编码器可计算包含至少一个帧内预测模式但少于可用于对视频数 据的当前块进行译码的帧内预测模式的总数的帧内预测模式的预定义集合中识别的每一 帧内预测模式的近似成本。此预定义集合常常包含已经观测为以统计方式更可能当执行帧 内预测时使用的那些模式。在一些情况下，此预定义集合可为固定的。在一个实例中，此预 定义集合包含模式〇、1和26。此预定义集合可在此时包括用于当前块的帧内预测模式的当 前集合。在一些情况下，所述预定义集合可通过平面模式、最可能模式以及以取样偏移取样 的角度模式形成。
[0025] 视频编码器可随后在精炼过程中搜索额外帧内预测模式，从而将额外帧内预测模 式添加到帧内预测模式的当前集合。在一些实例中，此搜索可类似于对分搜索，从帧内预测 模式的预定义集合中在针对帧内预测模式的所述预定义集合中识别的每一模式计算的近 似成本当中具有最低相对计算近似成本的模式开始。
[0026] 为了说明，在当前实例中模式26可具有最低近似成本。在此假设下，对分搜索可 从模式26开始，其中模式值（即，26)以某个偏移F递减和递增而到达26+F和26-F。视频 编码器可随后计算模式26+F和26-F中的每一者的近似成本且选择模式26、26+F和26-F当 中具有最低近似成本的模式。视频编码器可随后基于此比较而替换当前集合中的模式，例 如，以模式26、26+F和26-F当中具有最低近似成本的选定模式替换当前集合中的模式26。
[0027] 所述搜索随后以此方式重复，将F减半到F/2,使搜索再聚焦于模式26 (如果模式 26+F和模式26-F都不具有小于模式26的近似成本）、模式26+F(如果模式26+F被添加到 当前集合）或模式26-F(如果模式26-F被添加到当前集合）。搜索过程继续直到F被划分 成分数（假定F作为二的幂的值而开始）。因此如果F设定成例如4,那么过程以F= 4重 复一次，以F= 2重复一次，以F= 1重复一次且随后当F= 0. 5时终止。
[0028] 以此方式，视频编码器可基于针对帧内预测模式的当前集合中识别的帧内预测模 式的所计算近似成本而搜索额外帧内预测模式。视频编码器可随后计算额外帧内预测模式 中的每一者的近似成本，基于针对帧内预测模式的当前集合中识别的帧内预测模式中的每 一者计算的近似成本与针对额外帧内预测模式计算的近似成本的比较而将额外帧内预测 模式添加到帧内预测模式的当前集合。因此，本发明的技术可简化帧内预测中的模式决策 且同时不会显著减少预测的精度，且不会显著影响译码效率。所提议的技术在一些实例中 可将近似成本计算的数目和全速率失真成本计算的数目减少二分之一以上。
[0029] 图1是说明可经配置以利用本发明中描述的技术来在从多个不同预测模式进行 选择时减少模式选择的复杂性的实例视频编码和解码系统10的框图。如图1的实例中所 示，系统10包含源装置12,其产生经编码视频用于通过目的地装置14解码。源装置12可 以经由通信信道16向目的地装置14发射经编码视频，或者可以在存储媒体34或文件服务 器36上存储所述经编码视频，以使得目的地装置14可以按期望接入经编码视频。源装置 12和目的地装置14可包括任何广泛多种装置，包含桌上型计算机、笔记型（S卩，膝上型）计 算机、平板计算机、机顶盒、电话手持机（包含蜂窝电话或手持机以及所谓的智能电话）、电 视、相机、显示装置、数字媒体播放器、视频游戏控制台或类似装置。
[0030] 在许多情况下，此类装置可以经配备用于无线通信。因此，通信信道16可包括无 线信道。或者，通信信道16可包括适合于发射经编码的视频数据的有线信道、无线和有线 信道的组合或任何其它类型的通信信道或通信信道的组合，例如射频（RF)频谱或一或多 个物理发射线路。在一些实例中，通信信道16可形成例如局域网（LAN)、广域网（WAN)或例 如因特网等全球网络等分组网络的一部分。通信信道16因此大体上表示用于将视频数据 从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有 线或无线媒体的任何合适的组合。通信信道16可包含路由器、交换器、基站或可以用于促 进从源装置12到目的地装置14的通信的任何其它装备。
[0031] 如图1的实例中进一步展示，源装置12包含视频源18、视频编码器20、调制器/ 解调器22 ( "调制解调器22"）和发射器24。在源装置12中，视频源18可包含例如视频俘 获装置等源。借助于实例，视频俘获装置可包含摄像机、含有先前俘获的视频的视频档案、 用以从视频内容提供者接收视频的视频馈送接口和/或用于产生计算机图形数据作为源 视频的计算机图形系统中的一或多者。作为一个实例，如果视频源18是摄像机，那么源装 置12和目的地装置14可形成所谓的摄像机电话或视频电话。但是，本发明中描述的技术 不限于无线应用或设置，并且可以应用于包含视频编码和/或解码能力的非无线装置。因 此，源装置12和目的地装置14仅是可以支持本文所述的技术的译码装置的实例。
[0032] 视频编码器20可以对俘获、预俘获或计算机产生的视频进行编码。一旦经编码， 视频编码器20可以向调制解调器22输出此经编码视频。调制解调器22可以接着根据一 种通信标准（例如无线通信协议）调节经编码视频，于是发射器24可以向目的地装置14 发射经调制的经编码视频数据。数据机22可包含各种混合器、滤波器、放大器或经设计以 用于信号调制的其它组件。发射器24可包含经设计用于发射数据的电路，包含放大器、滤 波器及一或多个天线。
[0033] 被视频编码器20编码的俘获、预先俘获或计算机产生的视频还可存储到存储媒 体34或文件服务器36上以用于日后检索、解码和消耗。存储媒体34可包含蓝光光盘、DVD、 CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置 14可以存取存储在存储媒体34或文件服务器36上的经编码视频，并且对此经编码视频进 行解码以产生经解码视频并且回放此经解码视频。
[0034] 文件服务器36可为任何类型的能够存储经编码视频且将经编码视频发射到目的 地装置14的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网 络附接存储（NAS)装置、本机磁盘驱动器或任何其它类型的能够存储经编码的视频数据并 且将经编码的视频数据发射到目的地装置的装置。经编码的视频数据从文件服务器36的 发射可能是流式发射、下载发射或两者的组合。目的地装置14可以根据任何标准数据连接 (包含因特网连接）接入文件服务器36。这个连接可包含无线信道（例如，Wi-Fi连接或 无线蜂窝式数据连接）、有线连接（例如，DSL、电缆调制解调器等）、有线和无线信道两者的 组合或任何其它类型的适合于接入存储在文件服务器上的经编码视频数据的通信信道。
[0035] 在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和 显示装置32。目的地装置14的接收器26经由信道16接收信息，并且调制解调器28对所 述信息进行解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含 由视频编码器20产生用于视频解码器30在对相关联经编码视频数据进行解码时使用的多 种语法信息。此类语法还可包含在存储于存储媒体34或文件服务器36上的经编码的视频 数据中。视频编码器20和视频解码器30中的每一者可以形成能够对视频数据进行编码或 解码的相应编码器-解码器（编解码器）的一部分。
[0036] 目的地装置14的显示装置32表示任何类型的能够呈现视频数据以供观看者消费 的显示器。虽然展示为与目的地装置14集成，但是显示装置32可以与目的地装置14集成 或者在其外部。在一些实例中，目的地装置14可包含集成式显示装置，且还经配置以与外 部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将 经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器（LCD)、 等离子显示器、有机发光二极管（0LED)显示器或另一类型的显示装置。
[0037] 视频编码器20及视频解码器30可根据视频压缩标准（例如，目前正在开发的高 效率视频译码（HEVC)标准）来操作，且可符合HEVC测试模型（腿)。或者，视频编码器20 和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-TH. 264标 准，也被称为MPEG4第10部分高级视频译码（AVC)或此类标准的扩展。然而，本发明的技 术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH. 263。
[0038] 尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音 频编码器及解码器集成，且可包含适当多路复