图像处理器以及图像处理方法
【专利摘要】一种图像处理器以及图像处理方法。该图像处理方法包括：以一参数集调适单元提供一储存单元储存一参数集数据库，并以该参数集调适单元对图像处理器所接收的视频作图像分析，并基于分析出的图像特征自该参数集数据库寻得一匹配参数集；以及以该图像处理器的一编码单元根据该匹配参数集作视频编码。本发明可提升高阶视频编解码(又称H.264)或高效率视频编码(又称HEVC或H.265)的编码速度。
【专利说明】图像处理器以及图像处理方法
【技术领域】
[0001] 本发明有关于图像处理器（Graphics Processing Unit,简称GPU)以及图像处理 方法，特别有关于高阶视频编码（又称Η. 264)或高效率视频编码（又称HEVC或Η. 265)等 高精度视频录制、压缩以及发行格式。
【背景技术】
[0002] 高阶视频编码（又称Η. 264)或高效率视频编码（又称HEVC或Η. 265)等高精度 视频录制、压缩以及发行格式常用于视频会议、视频监控、消费类电子、视频存储和流媒体 点播等产品，一般以芯片方式实现高清视频编解码。
【发明内容】
[0003] 本发明揭露一种采用编码参数数据库的图像处理技术，其中采用调适型 (adaptive)参数集作视频编码。
[0004] 本发明一种实施方式所实现的一图像处理器包括一参数集调适单元以及一编码 单元。该参数集调适单元提供一储存单元储存一参数集数据库，并对该图像处理器所接收 的视频作图像分析，并基于分析出的图像特征自该参数集数据库寻得一匹配参数集。该编 码单元根据该匹配参数集作视频编码。
[0005] 本发明另一实施方式还以上述单元实现了图像处理方法。该图像处理方法包括： 以一参数集调适单元提供一储存单元储存一参数集数据库，并以该参数集调适单元对一图 像处理器所接收的视频作图像分析，并基于分析出的图像特征自该参数集数据库寻得一匹 配参数集；以及以一编码单元根据该匹配参数集作视频编码。
[0006] 本发明可提升高阶视频编解码（又称H. 264)或高效率视频编码（又称HEVC或 H. 265)的编码速度。
【专利附图】
【附图说明】
[0007] 图1图解一种图像处理器100的应用。
[0008] 图2为方块图，根据本发明一种实施方式说明图像处理器100中的硬件，其中包括 编码硬件200以及参数集调适硬件220。
[0009] 图3A为流程图，根据图2硬件架构说明一图像处理方法，其中采参数调适型编码。 [0010] 图3B为流程图，图解根据本发明其他实施方式所实现的图像处理方法。
[0011] 图4为流程图，根据本发明一种实施方式图解步骤S308的参数训练。
[0012] 其中，附图中符号的简单说明如下：
[0013] 100?图像处理器；
[0014] 102?高清晰度多媒体接口； 104?色差端子；
[0015] 106?复合视频广播信号接口； 108?音视频接口；
[0016] 110?三原色输入视频接口； 112?电视调谐器；
[0017] 114?通用串行总线接口； 116?网络接口；
[0018] 118?储存装置； 120?显示器；
[0019] 200?编码硬件； 202?离散余弦转换的硬件；
[0020] 204?量化的硬件； 206?熵编码的硬件；
[0021] 208?视频编码流； 210?反量化的硬件；
[0022] 212?反离散余弦转换硬件；214?去方块滤波的硬件；
[0023] 220?参数集调适硬件； 222?图像分析的硬件；
[0024] 224?参数集匹配分析的硬件；226?参数集训练的硬件；
[0025] 228?储存参数集数据库的储存单元；
[0026] C?变换系数；
[0027] D (η)?残差； D'（η)?重构残差；
[0028] F(η)?当前待编码帧；
[0029] F'（η)?重构帧； F'（η-1)?参考帧；
[0030] P?预测像素；
[0031] S302-S314、S322、S402-S414 ?步骤；以及
[0032] μ F'（η)?重构像素。
【具体实施方式】
[0033] 下文特举实施例，并配合所附图示，详细说明本
【发明内容】
。
[0034] 以下叙述列举本发明的多种实施例。以下叙述介绍本发明的基本概念，且并非意 图限制本
【发明内容】
。实际发明范围应依照权利要求书的范围界定。
[0035] 图1图解一种图像处理器100的应用。图像处理器100可以以系统单芯片（SOC) 实现，作高阶视频编解码（又称Η. 264)、或高效率视频编码（又称HEVC或Η. 265)。图像处 理器100可以以高清晰度多媒体接口（HDMI) 102、色差端子（YPbPr) 104、复合视频广播信号 接口（Multiple CVBS) 106、音视频接口（SCART) 108、三原色输入视频接口（RGB) 110、电视 调谐器（hybrid tuner) 112、通用串行总线接口（USB 3. 0)114、网络接口（RJ45) 116等取得 视频数据作编码，并将编码后的压缩视频储存于储存单元118。图像处理器100还可将压缩 视频还原为高清视频,交由显示器120播放。
[0036] 图2为方块图，根据本发明一种实施方式说明图像处理器100中的硬件，其中包括 编码硬件（编码单元）200以及参数集调适硬件（参数集调适单元）220。
[0037] 首先讨论编码硬件200,其可采用帧内预测编码或帧间预测编码等多种模式。帧内 预测编码采用当前待编码帧F(n)的像素来得到预测像素 P。帧内预测编码则还采用前一帧 的重构图像F'（η-I)(又称为"参考帧"）来得到预测像素 P。预测像素 P相对当前待编码 帧F (η)可计算出残差D (η)。残差D (η)再经离散余弦转换（DCT)的硬件202以及量化的硬 件204处理后形成变换系数C。变换系数C经熵编码的硬件206处理后，形成视频编码流 208。另一方面，变换系数C经反量化的硬件210以及反离散余弦转换的硬件212处理后形 成重构残差D'（η)。重构残差D'（η)加回预测像素 P后形成重构像素 μ F'（η)，将经过后 续的去方块处理的硬件214处理后，形成重构帧F'（η)，作为下一编码帧的参考帧。
[0038] 关于编码硬件200所进行的视频编码，其中使用的参数集由参数集调适硬件220 视当前视频的图像特征而供应。参数集调适硬件220包括图像分析的硬件222、参数集匹配 分析的硬件224、参数集训练的硬件226以及储存一参数集数据库的一储存单元228。图像 分析的硬件222用于分析该图像处理器100所接收视频的图像特征，使参数集匹配分析的 硬件224据以搜寻该储存单元228上的该参数集数据库。倘若该储存单元228上的该参数 集数据库存在与目前视频的图像特征匹配的参数集，则参数集匹配分析的硬件224自该参 数集数据库寻得匹配目前视频特征的参数集（称为匹配参数集），据以驱动该编码硬件200 动作。倘若该参数集数据库不存在与目前视频的图像特征匹配的参数集，则参数集训练的 硬件226受驱动，以具有不同参数组合的多套参数集检测编码效果，估算出匹配目前视频 的图像特征的参数集，并将其储存至该储存单元228填入该参数集数据库，使该参数集匹 配分析的硬件224得以采匹配目前视频的图像特征的参数集驱动该编码硬件200作视频编 码。
[0039] 图像分析的硬件222可对图像的色彩空间YUV信息作分析，提取运动特征、以及空 间纹理复杂特征等等。图像的色彩空间YUV信息可提供图像平均动量^来表征每帧图像 的运动状况，还可提供平均绝对误差MD (原始图像与预测图像对应像素的差值平均）来表 征复杂或简单图像。一种实施方式基于图像的色彩空间YUV信息将图像分为包括以下数种 类别：静止且平坦；静止且复杂；运动缓慢且平坦；运动缓慢且复杂；运动快速且平坦；以 及运动快速且复杂。以上不同类别对应不同参数集。
[0040] 另外，图像分析的硬件222除了可对当前帧的色彩空间YUV信息作分析，还可将当 前帧与前一帧作比对（例如，直方图比对），分析两者相似度。以上相似度分析又称I帧检 测，可用于辨识场景切换。场景内容亦可用来决定使用何种参数集作编码。
[0041 ] -种实施方式中，可调适参数集包括：巾贞类别（frame type)、量化参数 (quantization parameter，缩写为 QP)、搜寻范围（search range)、编码处理单位 (⑶Size)、编码处理单位阶层划分深度（⑶depth)、离散余弦转换处理单位（TUSize，由 H. 265技术采用）、离散余弦转换处理单位阶层划分深度（TU split d印th，由H. 265技术采 用）等等。储存单元228上的参数集数据库可以以表格方式为不同图像特征分类记载对应 的一套参数集。
[0042] 倘若有图像特征分类未有对应的参数集储存在该参数集数据库中，参数集训练的 硬件226会变化参数集中的参数组合，试验多套参数集对如此图像特征分类的图像的编 码效果，取最佳者填入该参数集数据库。编码效果一种评断方式计算PSNR比特率（PSNR bitrate)，以BD-rate (Bjontegaard失真率）为评断依据。各种图像特征所对应的参数集 可以以表格方式记录在储存单元228组成参数集数据库。
[0043] 图3A为流程图，根据图2硬件架构说明一图像处理方法，其中采参数调适型编码。 步骤S302,图像分析的硬件222分析图像特征。步骤S304,参数集匹配分析的硬件224基于 硬件222所分析出的图像特征搜寻储存单元228上的参数集数据库，寻找匹配图像特征的 参数集。步骤S306若判定储存单元228上的参数集数据库不存在匹配目前图像特征的参 数集，则流程进入步骤S308,以参数集训练的硬件226变化参数集内的参数组合，评断出匹 配目前图像特征的参数集。步骤S310将匹配目前图像特征的参数集存入该储存单元228， 登录在上述参数集数据库上。步骤S312即编码硬件200以匹配目前图像特征的参数集执 行视频编码。步骤S314则用于侦测图像特征是否切换，可以以图像分析的硬件222负责执 行。倘若图像特征发生切换，则流程重回步骤S304。
[0044] 另外，若步骤S306自储存单元228上的参数集数据库找到匹配目前图像特征的参 数集，则流程略过步骤S308及S310,进行步骤S312,以所搜寻到的匹配目前图像特征的参 数集执行视频编码。
[0045] 此外，在某些实施方式中，碍于硬件成本，参数集数据库并非动态地随使用者使用 而更新。图2的参数集训练的硬件226于工厂端的机台实现，而非制作于图像处理器100 中。图3B根据本发明一种实施方式图解如此设计的图像处理方法。相较于图3A，步骤S306 若判定储存单元228上的参数集数据库不存在匹配目前图像特征的参数集，则流程进入步 骤S322,视目前使用的参数集为匹配参数集，再以步骤S312令编码硬件200以被视为匹配 参数集的该些参数执行视频编码。
[0046] 图4为流程图，根据本发明一种实施方式图解步骤S308的参数集训练。为了在储 存单元228上建立参数集信息库，可以以一训练用视频提供一系列训练图像来寻找多种图 像特征所适合的视频编码参数集。步骤S402负责更新训练图像。步骤S404对训练图像作 图像分析，包括以上所述的对图像的色彩空间YUV信息作分析，提取运动特征、以及空间纹 理复杂特征等，将图像分为"静止且平坦"、"静止且复杂"、"运动缓慢且平坦"、"运动缓慢且 复杂"、"运动快速且平坦"或"运动快速且复杂"。甚至，某些实施方式还可通过步骤S404 执行上述I帧检测辨识场景切换。步骤S404的图像分析结果用于设定当前训练图像的图 像特征类别。步骤S406则用于视频编码；例如，以预设参数集作训练图像的视频编码。步 骤S408用作评断以及收集编码效果。步骤S410将判断是否有其他高可能性的变数组合 的参数集尚未测试。倘若还有其他高可能性的变数组合的参数集没有测试到，流程进行步 骤S412,变动参数集的变数组合，以回到步骤S406,变数组合变动后的参数集作视频编码。 倘若步骤S410判定已无需要试验的其他高可能性变数组合的参数集未测试，则流程进行 步骤S414,将最佳编码效果的变数组合的参数集登录至储存单元228形成上述参数集数据 库，根据匹配步骤S404所作的图像特征分类。
[0047] 其他采用上述概念作图像处理的技术都属于本发明所欲保护的范围。基于以上技 术内容，本发明还涉及图像处理方法，不限定以特定硬件架构实现。
[0048] 以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本 项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因 此本发明的保护范围当以本申请的权利要求书所界定的范围为准。
【权利要求】
1. 一种图像处理器，其特征在于，包括： 一参数集调适单元，提供一储存单元储存一参数集数据库，并对该图像处理器所接收 的视频作图像分析，并基于分析出的图像特征自该参数集数据库寻得一匹配参数集；以及 一编码单元，根据该匹配参数集作视频编码。
2. 根据权利要求1所述的图像处理器，其特征在于， 该参数集调适单元还在无法于该参数集数据库寻得匹配所分析的图像特征的参数集 时，以具有不同参数组合的多套参数集检测编码效果，评断获得上述匹配参数集。
3. 根据权利要求2所述的图像处理器，其特征在于， 该参数集调适单元还将评断获得的上述匹配参数集填入该参数集数据库。
4. 根据权利要求3所述的图像处理器，其特征在于， 该参数集调适单元随着视频的图像特征变化而即时变换上述匹配参数集。
5. 根据权利要求1所述的图像处理器片，其特征在于， 该参数集调适单元包括自该图像处理器所接收的视频的色彩空间YUV信息提取运动 特征、以及空间纹理复杂特征，据以搜寻该参数集数据库。
6. 根据权利要求5所述的图像处理器，其特征在于， 该参数集调适单元还包括自该图像处理器所接收的视频的色彩空间YUV信息侦测场 景变化，据以搜寻该参数集数据库。
7. 根据权利要求1所述的图像处理器，其特征在于， 该参数集数据库以表格型式提供多套参数集；且 各套参数集包括帧类别、量化参数、搜寻范围、编码处理单位、编码处理单位阶层划分 深度、离散余弦转换处理单位、以及离散余弦转换处理单位阶层划分深度中的至少一参数。
8. -种图像处理方法，其特征在于，包括： 以一参数集调适单元提供一储存单元储存一参数集数据库，并以该参数集调适单元对 一图像处理器所接收的视频作图像分析，并基于分析出的图像特征自该参数集数据库寻得 一匹配参数集；以及 以一编码单元根据该匹配参数集作视频编码。
9. 根据权利要求8所述的图像处理方法，其特征在于，还包括： 在该参数集调适单元无法于该参数集数据库寻得匹配所分析的图像特征的参数集时， 还令该参数集调适单元以具有不同参数组合的多套参数集检测编码效果，评断获得上述匹 配参数集。
10. 根据权利要求9所述的图像处理方法，其特征在于，还包括： 令该参数集调适单元还将评断获得的上述匹配参数集填入该参数集数据库。
11. 根据权利要求10所述的图像处理方法，其特征在于，还包括： 令该参数集调适单元随着视频的图像特征变化而即时变换上述匹配参数集。
12. 根据权利要求8所述的图像处理方法，其特征在于，还包括： 令该参数集调适单元包括自该图像处理器所接收的视频的色彩空间YUV信息提取运 动特征、以及空间纹理复杂特征，据以搜寻该参数集数据库。
13. 根据权利要求12所述的图像处理方法，其特征在于，还包括： 令该参数集调适单元还包括自该图像处理器所接收的视频的色彩空间YUV信息侦测 场景变化，据以搜寻该参数集数据库。
14.根据权利要求8所述的图像处理方法，其特征在于，还包括： 令该参数集数据库以表格型式提供多套参数集；以及 令各套参数集包括帧类别、量化参数、搜寻范围、编码处理单位、编码处理单位阶层划 分深度、离散余弦转换处理单位、以及离散余弦转换处理单位阶层划分深度中的至少一参 数。
【文档编号】H04N19/86GK104410863SQ201410765122
【公开日】2015年3月11日 申请日期:2014年12月11日 优先权日:2014年12月11日
【发明者】董萌, 陈瑞阳, 吴永海, 王伟 申请人:上海兆芯集成电路有限公司