专利名称：一种图像填充方法、装置及设备的制作方法
技术领域：
本发明涉及视频技术领域，特别是涉及一种图像填充的方法、装置及设备。
#景駄
现有的视频编码标准大都是基于图像大小为Mx(NxN)设计的，其中NxN是 宏块的大小(M、 N均为整数值)。目前，最新的视频编码标准H. 264视频编 码标准/高级视频编码标准(H.264/AVC)以NxN (N的值为16)的宏块作为其 基本语法语义单元。
图像填充技术是为了实现任意分辨率视频编码，所谓任意分辨率视频编 码，就是指输入视频序列中的矩形图像的宽度和高度可以为任意值，即图像 大小可以不是上述宏块的整数倍。因为当图像大小不是宏块的整数倍时，图 像编码器就需要在图像的外侧(通常在右侧和底侧)填充一定数量的象素点， 使得填充后的图像大小是宏块的整数倍，这样，使用H.264/AVC或其它编码 标准的编码器就可以对填充后的图像进行编码和组织码流。
现有技术中的图像填充方法基本包括以下两种
一. 直接复制填充法直接使用原始图像右侧的最后一列及底侧的最后一 行像素点作为填充像素点的值，然后往右侧和底侧分别复制填充。
二. 镜像复制填充法将原始图像右侧和底侧的像素点对称地复制到填充区域。
发明人在实现本发明的过程中发现，现有技术存在着以下缺陷
1.由于直接复制填充法或者镜像复制填充法仅考虑了图像垂直方向上的纹理信息的连续性，因此无论采用帧间预测还是帧内预测编码，填充区域都 不可避免地有非零的预测差值存在，而非零的预测差值将会占用较多的编码 比特数。
2.当摄像机位置的一系列变化时，如平动、绕物体转动、晃动(如fore 等，会使得图像右侧和底侧处物体产生出、入的情况，现有的填充方法在确 定图像填充值的过程中也没有考虑到这些运动信息，就必然会导致填充区域 作为帧间预测或帧内预测时的效率较低。
发明内容
本发明实施例提供一种图像填充的方法和装置，以提高图像编码的效率。 本发明实施例提供了一种视频编码中的图像填充方法，该方法包括为 包含填充区域像素点的图像块选择预测模式；根据上述预测模式确定上述图 像块内填充区域像素点的预测值；将上述预测值的解码恢复值作为后续图像 帧中对应图像块内填充区域像素点的填充值。
本发明实施例还提供了一种图像填充装置，该装置包括模式选择单元， 用于为包含填充区域像素点的图像块选择预测模式；预测值确定单元，用于 根据上述预测模式确定上述图像块内填充区域像素点的预测值；填充单元， 用于将上述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像 素点的的填充值。
本发明实施例还提供了一种电子设备，其包括上述的图像填充装置以及 收发装置，所述收发装置用于接收或发送视频信息。
本发明实施例利用预测值的解码恢复值作为后续图像帧中对应图像块内 填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因 而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也 运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了 帧间或帧内预测的效率。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种图像填充方法流程示意图； 图2为本发明实施例二提供的一种图像填充方法流程示意图； 图3为本发明实施例三提供的一种计算填充区域像素点最优值的方法流 程图4为本发明实施例四提供的一种图像填充装置的结构示意图5为本发明实施例五提供的一种图像填充装置的结构示意图6为本发明实施例六提供的一种电子设备的结构示意图。
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例对于图像的填充是以块为单位进行的，具体来说就是将图 像分成若干个块，对其中包含填充区域像素点的块逐块进行填充，这里的图 像块大小可以任意设定，在本实施例及以下各个实施例，我们将以宏块为例 对本发明实施例的技术方案进行说明。
实施例一
如图1所示为本发明实施例一提供的一种图像填充方法流程示意图，需要指出的是，本实施例的描述是从图像编码的编码端进行描述的，该方法包 括如下步骤S101:为包含填充区域像素点的宏块选择预测模式。
在本发明实施例中，为包含填充区域像素点的宏块可以选择预测模式进 行预测，以此来提高上述宏块预测编码的效率。
图像编码中有两种基本的预测模式帧间预测模式和帧内预测模式，其 中帧间预测模式是利用图像帧间的相关性，即时间相关性，来达到图像压縮 的目的，活动图像是由时间上以帧周期为间隔的连续图像帧组成的时间图像 序列，它在时间上比在空间上具有更大的相关性(因为连续两帧间的变化往 往很小)，因此编码器采用帧间预测模式先得到一预测参考图像帧，然后和 后续的输入帧相比较，对于预测误差较小的像素点可以不再进行传输或仅利 用少量的编码比特数进行传输。在对包含填充区域像素点的宏块选择这种帧 间预测模式，可以在填充过程中考虑到物体的整体运动特性，保证填充区域 在时域上的运动连续性。因此采用了帧间预测模式的填充方式充分利用了填 充区域在帧间或帧内的相关性，因此可以在很大程度上提高上述宏块作为帧 间预测参考时的效率。
帧内预测模式是在空间域上进行的预测，如果前后帧之间的时域相关性 较小，则需要采用帧内预测模式根据当前图像帧中的纹理特点来确定填充区 域中像素点的值。对包含填充区域的宏块采用帧内预测模式，即根据本宏块 中非填充区域(4x4或8x8大小的块)中的纹理特性，或者与当前宏块相邻的 已编码宏块中的纹理特性来确定当前宏块中填充区域像素点的像素值，这样， 可以保证宏块中填充区域与非填充区域之间的纹理连续性，从而提高了上述 宏块作为帧内预测参考时的效率。
需要指出的是，不管是帧间预测模式还是帧内预测模式，它们都包含了 若干种子模式，本发明实施例中预测模式的选择是具体到各种子模式的，这
些子模式比如帧内垂直预测模式，水平预测 式，DC模式等，帧间P16xl6 模式，P8x8模式等。S102:根据所述预测模式确定上述宏块内填充区域像素点的预测值。
当步骤S101确定了某种预测模式后，就可以根据该种预测模式的特性来
确定上述宏块内填充区域像素点的预测值了。比如对于选定的某种帧间预测
模式，可以根据率失真准则使用下式来确定最优的运动矢量(Motion Vector ，MV)、参考帧索引(refldx)及上述宏块填充区域内各个像素点的像素值-
其中，MV表示运动矢量；re/7fl^表示参考帧索引；X表示上述宏块内填 充区域像素点的值，X- 0r。，》，…，^-,)T ，M为所述填充区域像素点的数 量；i/ z^r i/o&表示选定的某种帧间预测模式；iFZ (X)表示使用X进行填 充时，当前宏块的预测误差值；瓜。，0z^， re/Trfr)表示该填充方式下当前块 的运动矢量和参考帧索引的编码比特数；入w，为帧间预测过程中所使用的L agrange因子；B表示X中各分量的容许取值范围。
再比如，对于选定的某种帧内预测模式，可以根据率失真准则使用下式 来确定上述宏块填充区域内各个像素点的像素值
其中，罚表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X-(A，》，…，為—》t ，M为所述填充区域像素点的数量；Z (冯X)表示当前宏 块使用索引序号为仿的帧内预测模式进行编码时，使用X进行填充时的编码
失真；/ 0z , X)表示该填充方式下宏块的编码比特数；人，f为模式选择过程中
的Lagrange因子；B表示X中各分量的容许取值范围。
利用上述率失真准则公式可以为确定的预测模式选择最优的预测值，当 然，本发明实施例并不限定以上述方式率失准准则来确定预测值。
S103:将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区 域像素点的填充值。在图像编码中，无论是帧间预测还是帧内预测，都是以一参考图像帧作 为模板，然后在后续帧的编码过程中用作帧间预测或帧内预测参考，即在图 像编码的编码器端，会将当前帧的本地解码恢复图像放入一解码图像缓冲区
(Decoded Picture Buffer ， DPB)，然后用作帧间预测或帧内预测参考。
在本发明实施例中，可以将所述预测值的解码恢复值作为后续图像帧中 对应宏块内填充区域像素点的填充值，即保证了该宏块填充区域内像素点的 预测差值恒为零。
我们知道，填充区域在编码过程中会占用一定的编码比特数，其主要体 现在以下两个方面-
1. 宏块头信息开销中与填充区域有关的参数填充区域的宏块划分的模 式、运动矢量、参考帧索引、编码块模板(Coded Block Pattern, CBP)等 信息的编码比特数；
2. 宏块纹理信息开销中与填充区域有关的参数包含填充区域的宏块划 分的DCT系数的编码比特数。
而预测差值对于上述和填充区域有关的参数所占编码比特数的影响很 大，总体而言，预测差值越大，为了保证图像传输的正确性，填充区域所占 用的编码比特数越多；预测差值越小，填充区域所占用的编码比特数越少， 但并不表示不占用。
本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。
本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填 充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而 降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运 用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧 间或帧内预测的效率。
实施例二
如图2所示为本发明实施例二提供的一种图像填充方法流程示意图，该方法包括如下步骤
S201:根据填充宏块标记找到所述包含填充区域像素点的宏块；以及根 据填充像素位置标记找到所述宏块填充区域内各个像素点的位置。本发明实 施例的图像填充方法是以宏块为单位进行操作的，因此，必须需要准确定位 待填充宏块，以及该宏块内待填充像素点的位置。
本发明实施例采用填充宏块标记找到所述包含填充区域像素点的宏块， 该填充宏块标记记录了 "当前宏块中是否包含填充区域中的像素点"；而填 充像素位置记录了 "宏块中填充区域像素点位置标识"。本发明实施例以最 少的标记来定位待填充宏块，以及该宏块内待填充像素点的位置，使得本发 明实施例提供的图像填充方法所增加的计算复杂度很小，几乎可以忽略不计。
S202:根据率失真准则为包含填充区域像素点的宏块选择最优的帧间预 测模式或帧内预测模式。
帧间预测模式和帧内预测模式中又各自包括了若干种模式，为了得到最 优的模式，本发明实施例采用了迭代最优化的方法，该方法包括-
首先根据图像帧的特性，比如根据其时间域或者空间域相关性的大小来 确定采用帧间预测模式或是帧内预测模式；
假设上述步骤中采用了帧间预测模式，则根据率失真准则迭代计算第k 种帧间预测模式下Xk的代价函数Jk， X为为宏块内填充区域像素点的值，X-(Z。，》，…，A-;" ，M为所述填充区域像素点的数量；k为帧间预测模式的
种类，其为大于零的整数。
如果Jk满足预设的条件，则选择第k种帧间预测模式。这里所指的预设
条件可以包括多种，比如
预先设定一固定值Q和阈值T,计算Jk和固定值Q差值的绝对值，如果 计算结果小于阈值T， g卩lJk-Ql 〈T时，迭代终止，选择第k种帧间预测模式 为最优的预测模式；或
当满足"代价函数的下降值小于给定阈值T"时，即lJk一 Jk-,| <T时，迭代终止，选择第k种帧间预测模式为最优的预测模式，Jk-,为第k-l种帧间 或帧内预测模式下填充区域像素点的最优代价函数，需要指出的是，这种情 况下k的取值为大于等于2的整数。
上述迭代方法同样也适用于帧内预测模式。
S203:根据所述帧间预测模式或帧内预测模式确定上述宏块内填充区域 像素点的预测值。该步骤其实已经包含在了步骤S202中，步骤S202中为了 计算Xk和Xh的代价函数Jk和Jh，必须先得到Xk和Xw内各分量的值，在本 实施例中，也可以使用率失真准则来计算Xk和XH内各分量的最优值。这样， 本步骤即为将Xk中各分量的最优值作为所述宏块内填充区域像素点的预测 值。
S204:将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区 域像素点的填充值。
该步骤同实施例一中步骤S103，通过该步骤可以使上述宏块内填充区域 像素点的预测误差恒为零，从而可以使填充区域占用最少的编码比特数以提 高编码效率。
本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。 本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填 充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而 降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运 用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧 间或帧内预测的效率。 实施例三
如图3所示为本发明实施例三提供的一种计算填充区域像素点最优值的 方法流程图。本实施例是对实施例二中步骤S202和步骤S203的详细阐述。 如图3所示，该种计算填充区域像素点最优值的方法包括如下步骤 S301:初始化Xk中各分量的值，X为为宏块内填充区域像素点的值，X-U。，《，…，A-》t ，M为所述填充区域像素点的数量，此时，帧间预测模式 或者帧内预测模式的编号1^0。
该步骤中X中各分量的值，可以采用现有技术中的"直接复制填充法" 或者"镜像复制填充法"来确定。
S302:通过下式计算X。的代价函数值J。
S303: k k+l,初始化i的值，使i:O, i《M-l,其为X中各分量的标号。 S304:判断i是否大于M: 如果是，进入步骤S306; 如果否，则进入步骤S305。
S305:固定Xk中除,i外其它各分量的值，并计算A的最优值，同时i:二i +1，然后返回步骤S304。
在本步骤中》最优值的计算是通过如下方式来实现的
如果k表示帧间预测模式的编号，则通过下式来确定Xi的最优值
其中，MV表示运动矢量；re/7a(Y表示参考帧索引；X表示上述宏块内填 充区域像素点的值，X= Cr。， x,，…，A-,)7 ，M为所述填充区域像素点的数 量；//7t" ifo&表示选定的某种帧间预测模式；ZFZ (X)表示使用X进行填 充时，当前宏块的预测误差值；瓜。 。， 0^， re/7o^)表示该填充方式下当前块 的运动矢量和参考帧索引的编码比特数；Aw为帧间预测过程中所使用的L agrange因子；B表示X中各分量的容许取值范围。
如果k表示帧内预测模式的编号，则通过下式来确定a的最优值
其中，忍表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X=
"V,X印,)=argmin{￡)(m,X) + AM0O/r.及(w,X)}U。， A，…，A-》T ，M为所述填充区域像素点的数量；Z (777，X)表示当前宏 块使用索引序号为"的帧内预测模式进行编码时，使用X进行填充时的编码 失真；X)表示该填充方式下宏块的编码比特数；入恥w为模式选择过程中
的Lagrange因子；B表示X中各分量的容许取值范围。
S306:计算Xk的代价函数值Jk，该计算过程同步骤S302。 S307:判断IJw- Jk|是否小于T， T为一预设的阈值
如果是，则输出X的最优值；
如果否，则返回步骤S303。
本实施中包括了两个最优化的过程确定最优化的预测模式以及确定该
模式下x分量的最优值。可以运用了循环迭代的方式使该两个过程得以同时 实现，从而可以方便的得到最优的X值，即最优的宏块内填充区域像素点的 值，该最优的X值可以最大限度地提高包含填充区域像素点的宏块作为帧间 或帧内预测参考时的效率。
需要指出的是实施例一至实施例三都是从图像编码的编码器加以描述 的，但实际上除了在编码器端需要进行图像填充外，在解码器端也有可能进 行图像填充。
比如在解码过程中，在解码端需要将解码恢复视频中人为填充的像素点
"裁剪"掉，然后再送给播放设备。因此编码器需要在SPS中设置的如下参数
是否需要对解码恢复图像进行裁剪；若需要则在图像顶侧、底侧、左侧、右 侧四个边界处需要裁剪掉的像素点的宽度。然后，解码端在解码当前NxN宏 块时，如果需要裁减，则可采用和编码端相同的如实施例一至实施例三所述 的填充方法。
本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。 实施例四
如图4所示为本发明实施例四提供的一种图像填充装置的结构示意图， 该图像填充装置400包括模式选择单元410、预测值确定单元420和填充单元430，其中预测值确定单元420分别和模式选择单元410及填充单元430相连。
模式选择单元410用于为包含填充区域像素点的宏块选择预测模式。本 发明实施例对于图像的填充是以宏块为单位进行的，具体来说可以是将图像 分成若千个NxN的宏块，对其中包含填充区域像素点的宏块逐块进行填充。
对包含填充区域像素点的宏块选择预测模式，可以提高该宏块作为预测 参考时的效率，这里所说的预测模式包括了帧间预测模式和帧内预测模式。
当前后图像帧之间时域相关性很高，即出现物体出、入图像的情况时， 当前帧的边界位置上可能会包含有参考帧中没有的内容，或参考帧中包含有 当前帧中没有的内容。这就需要在图像填充过程中，选择帧间预测来预测填 充内容，以提高运动预测的效率。
当前后帧之间的时域相关性较小时，则选择帧内预测根据当前图像中的 纹理特点确定填充区域中像素点的值，以使得填充区域能够保持原始图像区 域中的纹理特性。
需要指出的是，不管是帧间预测模式还是帧内预测模式，它们都包含了 若干种子模式，本发明实施例中预测模式的选择是具体到各种子模式的，如 帧内垂直预测模式，水平预测模式，DC模式等，帧间P16xl6模式，P8x8模 式等。
预测值确定单元420用于根据所述预测模式确定所述宏块内填充区域像 素点的预测值。
当模式选择单元410确定了某种预测模式后，预测值确定单元420就可 以根据该种预测模式的特性来确定上述宏块内填充区域像素点的预测值了。 比如对于选定的某种帧间预测模式，可以根据率失真准则使用下式来确定最 优的运动矢量(MV)、参考帧索引(refldx)及上述宏块填充区域内各个像素 点的像素值
<formula>formula see original document page 15</formula>其中，MV表示运动矢量；re/7&表示参考帧索引；X表示上述宏块内填 充区域像素点的值，X- Cr。， &，…，a-,)1 ，M为所述填充区域像素点的数 量；i)^er ifoJe表示选定的某种帧间预测模式；ZH (X)表示使用X进行填 充时，当前宏块的预测误差值；A。， (/^， "/To^)表示该填充方式下当前块 的运动矢量和参考帧索引的编码比特数；入w，为帧间预测过程中所使用的L agrange因子；B表示X中各分量的容许取值范围。
再比如，对于选定的某种帧内预测模式，可以根据率失真准则使用下式 来确定上述宏块填充区域内各个像素点的像素值-
("V ， x印,)=arg min {￡> (附，x) + .及(附，x)}
XsB'"
其中，历表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X= (义。，&…，a-," ,M为所述填充区域像素点的数量；"(m，X)表示当前宏 块使用索引序号为"的帧内预测模式进行编码时，使用X进行填充时的编码
失真；X)表示该填充方式下宏块的编码比特数；A彬w为模式选择过程中
的Lagrange因子；B表示X中各分量的容许取值范围。
利用上述率失真准则公式可以为确定的预测模式选择最优的预测值，当 然，本发明实施例并不限定以上述方式率失准准则来确定预测值。
填充单元430用于将所述预测值的解码恢复值作为后续图像帧中对应宏 块内填充区域像素点的的填充值。这种填充方式保证了该宏块填充区域内像 素点的预测差值恒为零。
预测差值对于填充区域所占编码比特数的影响很大，总体而言，预测差 值越大，为了保证图像传输的正确性，填充区域所占用的编码比特数越多； 预测差值越小，填充区域所占用的编码比特数越少，但并不表示不占用。
本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填 充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而 降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运 用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。 实施例五
如图5所示为本发明实施例五提供的一种图像填充装置的结构示意图，该
图像填充装置500包括位置査找单元510、模式选择单元520、预测值确定单 元530和填充单元540，其中模式选择单元520又包括帧间预测模式选择模块52 1和帧内预测模式选择模块522 。
位置查找单元510用于根据填充宏块标记找到所述包含填充区域像素点 的宏块；以及根据填充像素位置标记找到所述宏块填充区域内各个像素点的 位置。本发明实施例的图像填充方法是以宏块为单位进行操作的，因此，必 须需要准确定位待填充宏块，以及该宏块内待填充像素点的位置。
本发明实施例采用填充宏块标记找到所述包含填充区域像素点的宏块， 该填充宏块标记记录了 "当前宏块中是否包含填充区域中的像素点"；而填 充像素位置标记记录了 "宏块中填充区域像素点位置标识"。上述填充宏块 标记及填充像素位置标记可以位于宏块的开销部分，位置査找单元510通过 读取该开销部分来确定该宏块内待填充像素点的位置。
本发明实施例以最少的标记来定位待填充宏块，以及该宏块内待填充像 素点的位置，因此本发明实施例提供的图像填充方法所增加的计算复杂度很 小，几乎可以忽略不计。
帧间预测模式选择模块521用于根据率失真准则为包含填充区域像素点 的宏块选择最优的帧间预测模式。为了选择最优的帧间预测模式，本发明实 施例的帧间预测模式选择模块521采用了迭代最优化的方法，该方法包括
首先根据图像帧的特性，比如根据其时间域或者空间域相关性的大小来 确定采用帧间预测模式或是帧内预测模式；
假设上述步骤中采用了帧间预测模式，则根据率失真准则迭代计算第k 和k-1种帧间预测模式下Xk和Xh的代价函数Jk和Jk-,， X为为宏块内填充区 域像素点的值，X- U。， a，…，》t ，M为所述填充区域像素点的数量；k为帧间预测模式的种类。
如果Jk和Jw满足预设的条件，则选择第k种帧间预测模式，比如当满
足"代价函数的下降值小于给定阈值T"时，即lJk一 Jwl <T时，迭代终止, 选择第k种帧间预测模式为最优的预测模式。
帧内预测模式选择模块522用于根据率失真准则为包含填充区域像素点 的宏块选择最优的帧内预测模式，其同样可以采用和帧间预测模式选择模块7 2 l相同的迭代算法来实现最优帧内预测模式的选择。
预测值确定单元530和填充单元540的作用和实施例四相类似，在此就 不再对其加以赘述了。
本发明实施例的装置具体可以表现为电路、集成电路或芯片等。本发明 实施例的各个单元可以集成于一体，也可以分离部署。上述单元可以合并为 一个单元，也可以进一步拆分成多个子单元。
本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填 充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而 降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运 用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧 间或帧内预测的效率。
实施例六
如图6所示为本发明实施例六提供的一种电子设备的结构示意图，其包括 图像填充装置601及收发装置602，其中，
图像填充装置601的技术方案可以结合参考实施例四或实施例五中的技 术方案，在此就不再对其进行赘述了；
收发装置602用于接收或发送视频信息，该视频信息可以是通过图像填充 装置601填充过后的视频信息。
本发明实施例的电子设备可以是手机、视频处理设备、计算机、服务器等。本发明实施例提供的电子设备，利用预测值的解码恢复值作为后续图像 帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预 测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施 例的电子设备对填充区域也运用了预测模式，充分利用了填充区域在帧间或 帧内的相关性，从而提高了帧间或帧内预测的效率。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各 示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实 现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一 般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执 行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个 特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超 出本发明的范围。
另外本领域普通技术人员可以理解实现上述实施例方法中的全部或部分 流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于 一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施
例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random Access Memory, RAM)等。 以上所述的具体实施方式
，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式
而 己，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做 的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种图像填充方法，其特征在于，所述方法包括为包含填充区域像素点的图像块选择预测模式；根据所述预测模式确定所述图像块内填充区域像素点的预测值；将所述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值。
2. 如权利要求1所述的图像填充方法，其特征在于，还包括根据填充块 位置标记确定所述包含填充区域像素点的图像块的位置；以及根据填充像素位置标记确定所述包含填充区域像素点的图像块填充区域 内各个像素点的位置。
3. 如权利要求1所述的图像填充方法，其特征在于，所述为包含填充区域 像素的图像块选择预测模式包括根据率失真准则为包含填充区域像素点的图像块选择最优的帧间预测模 式或帧内预测模式。
4. 如权利要求3所述的图像填充方法，其特征在于，所述根据率失真准则为包含填充区域像素点的图像块选择最优的帧间预测模式包括根据率失真准则计算第k种帧间预测模式下Xk中各分量的最优值，其中X 为所述图像块内填充区域像素点的值，X-(询，力，...，；^-》t ，M为所述填充区域像素点的数量，k为大于零的整数；根据Xk内各分量的最优值计算Xk的最优代价函数Jk;如果Jk满足预先设定的终止条件，则所述第k种帧间预测模式即为所述最 优的帧间预测模式。
5. 如权利要求4所述的图像填充方法，其特征在于，所述根据所述预测模 式确定所述图像块内填充区域像素点的预测值包括将所述第k种帧间预测模式下Xk中各分量的最优值作为所述图像块内填充区域像素点的预测值。
6. 如权利要求3所述的图像填充方法，其特征在于，所述根据率失真准则为包含填充区域像素点的图像块选择最优的帧内预测模式包括根据率失真准则计算第k种帧内预测模式下Xk中各分量的最优值，其中x 为所述图像块内填充区域像素点的值，X=(局，力，...，;w_》T ， M为所述填充区 域像素点的数量；根据Xk内各分量的最优值计算Xk的最优代价函数Jk;如果Jk满足预先设定的终止条件，则所述第k种帧内预测模式即为所述最 优的帧内预测模式。
7. 如权利要求6所述的图像填充方法，其特征在于，所述根据所述预测模 式确定所述图像块内填充区域像素点的预测值包括-将所述第k种帧内预测模式下Xk中各分量的最优值作为所述图像块内填充 区域像素点的预测值。
8. 如权利要求4或6所述的图像填充方法，其特征在于，所述预先设定的 终止条件包括所述最优代价函数Jk和固定值Q差值的绝对值小于阈值T ，所述固定值Q及 阈值T为预先设定的值，或者，所述最优代价函数Jk和jH差值的绝对值小于阈值T，其中，J^为第k-1 种帧间或帧内预测模式下填充区域像素点的最优代价函数，阈值T为预先设定 的值。
9. 一种图像填充装置，其特征在于，所述装置包括 模式选择单元，用于为包含填充区域像素点的图像块选择预测模式；预测值确定单元，用于根据所述预测模式确定所述图像块内填充区域像素点的预测值；填充单元，用于将所述预测值的解码恢复值作为后续图像帧中对应图像 块内填充区域像素点的填充值。
10. 如权利要求9所述的图像填充装置，其特征在于，还包括位置查找单元，用于根据填充图像块位置标记找到所述包含填充区域像素点的图像块的位置；以及根据填充像素位置标记找到所述图像块填充区域内各个像素点的位置。
11. 如权利要求9所述的图像填充装置，其特征在于，所述模式选择单元 包括帧间预测模式选择模块，用于根据率失真准则为包含填充区域像素点的块选择最优的帧间预测模式；或者帧内预测模式选择模块，用于根据率失真准则为包含填充区域像素点的 块选择最优的帧内预测模式。
12. —种电子设备，其特征在于，其包括收发装置以及如权利要求9至11 中任一项所述的图像填充装置，所述收发装置用于接收或发送视频信息。
全文摘要
本发明实施例提供了一种图像填充方法、装置和设备，该方法包括为包含填充区域像素点的图像块选择预测模式；根据所述预测模式确定所述图像块内填充区域像素点的预测值；将所述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值。本发明实施例利用解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。
文档编号H04N7/50GK101610417SQ20091015868
公开日2009年12月23日 申请日期2009年7月9日 优先权日2009年7月9日
发明者常义林, 明 李, 林四新 申请人:华为技术有限公司