本发明涉及动图的处理装置、处理方法以及计算机可读存储介质。
背景技术：
专利文献1公开了利用帧内预测(intra-frameprediction)/帧间预测(inter-frameprediction)、残差变换、熵编码以及环路滤波的动图的编码装置以及解码装置。图6是专利文献1中记载的编码装置的结构图。此外，以作为对帧进行分割后的多个不同大小中的任意大小的块为单位而进行编码。
首先，将输入图像数据输入至帧间预测部15以及帧内预测部16。此外，从帧缓存17将以前的帧的图像数据输入至帧间预测部15，并从加法运算部14将与处理对象相同的帧的已经处理的块的图像数据输入至帧内预测部16。帧间预测部15基于以前的帧而将帧间预测的处理对象块的预测块输出。帧内预测部16基于与处理对象块相同的帧的其他块而将处理对象块的预测块输出。而且，根据针对处理对象块是应用帧间预测、还是应用帧内预测，将帧间预测部15和帧内预测部16的任一者的输出向减法运算部10输出。
减法运算部10将表示处理对象块的图像、与帧间预测部15或者帧内预测部16所输出的预测图像的误差的误差(残差)信号输出。变换-量化部11对误差信号进行正交变换以及量化而输出等级值(levelvalue)。编码部12对该等级值和边信息(未图示)进行熵编码而生成比特流。此外，边信息是指解码装置中使用的像素值的重建所需的信息，包含表示使用了帧内预测或者帧间预测中的哪一种的编码模式、量化参数、块大小等信息。
逆量化-逆变换部13进行与变换-量化部11相反的处理而生成误差信号。加法运算部14对逆量化-逆变换部13所输出的误差信号、和帧间预测部15或者帧内预测部16所输出的预测图像进行加法运算，生成处理对象块并将其输出至帧内预测部16以及环路滤波器18。若环路滤波器18接收到一个帧的所有的块，则生成与该帧对应的局部解码图像并将其输出至帧缓存17。在帧间预测部15的帧间预测中使用该局部解码图像。
此外，在非专利文献1公开了如下内容：在环路滤波器18中，进行去块处理和采样点自适应偏移处理。去块处理是指减少在帧内的块的边界部产生的畸变的处理。由此，防止在帧间预测中画质劣化的传播。此外，采样点自适应偏移处理是指对像素值加上/减去偏移值的处理。
图7是专利文献1中记载的解码装置的结构图。在解码部20中对编码装置生成的比特流进行熵解码并取出等级值和边信息。逆量化-逆变换部21根据等级值而生成误差信号。关于该误差信号，根据是对与该误差信号对应的块进行帧间预测而得到的、还是进行帧内预测而得到的，在加法运算部22中将该误差信号与帧间预测部23或者帧内预测部24所输出的该块的预测图像相加。由此，加法运算部22重新生成该块。为了进行帧内预测而将加法运算部22重新生成的块输出至帧内预测部24。另外，加法运算部22重新生成的块还输出至环路滤波器26。若环路滤波器26接收到一个帧的所有的块，则生成与该帧对应的局部解码图像并将其输出至帧缓存25。该局部解码图像，在帧间预测部23的帧间预测中使用，同时作为输出图像数据而被输出。
图8表示非专利文献1所公开的设置于环路滤波器18以及26的去块滤波器的结构。此外，分别对垂直方向的边界和水平方向的边界进行去块。在图8中，标注奇数的参照符号的结构要素进行垂直方向的边界的去块，标注偶数的参照符号的结构要素进行水平方向的边界的去块。首先，变换块边界检测部31基于表示变换块的大小的边信息而对变换块的垂直方向的边界进行检测。接下来，预测块边界检测部33基于表示预测块的大小的边信息而对预测块的垂直方向的边界进行检测。此外，变换块是指与变换-量化部11所执行的正交变换相关的块，预测块是指帧间预测部15或者帧内预测部16所进行的预测处理中的块。此外，以下简单地将变换块以及预测块的边界统称为“边界”。
边界强度判定部35根据边信息，具体而言，根据是帧内预测还是帧间预测、是否为变换块的边界且存在非零的正交变换系数、隔着边界的两个块的动态矢量之差是否为阈值以上、隔着边界的两个块的动态补偿的参照图像是否不同、或者动态矢量的数量是否不同而分为0、1、2的三个等级，对边界强度进行评价。此外，边界强度0为最弱，边界强度2为最强。滤波决定部37基于使用处理对象的边界的边界强度、边信息中包含的量化参数以及作为滤波对象图像的去块前图像的像素值的决定基准而决定对于处理对象的边界是否应用滤波，以及在应用滤波的情况下决定是应用弱滤波还是应用强滤波。滤波部39根据滤波决定部37的决定针对去块前图像应用滤波而进行去块。
变换块边界检测部32、预测块边界检测部34、边界强度判定部36以及滤波决定部38中的处理，与变换块边界检测部31、预测块边界检测部33、边界强度判定部35以及滤波决定部37中的处理相比，仅是作为对象的边界的方向不同，从而将重复的说明省略。而且，滤波部40根据滤波决定部38的决定针对滤波对象图像应用滤波并输出去块后图像，其中，滤波对象图像是针对滤波部39所输出的垂直方向的边界应用滤波而得到的图像。
图9示出了垂直方向的边界。其中，pxy以及qxy(x以及y分别为0至3的整数)分别为像素。在非专利文献1中，在滤波种类的决定中，使用px0、qx0、px3、qx3(这里，x为0至3的整数)的共计16个像素的像素值。另外，以pxy以及qxy(x以及y分别为0至3的整数)的共计32个像素为单位而进行滤波处理。即，在垂直方向的边界的情况下，决定是否在垂直方向上以四个像素为单位而应用滤波、以及在应用滤波的情况下决定其强度。此外，在弱滤波的情况下，通过滤波处理而对p0y以及q0y的像素值进行变更，在强滤波的情况下，通过滤波处理而对p2y、p1y、p0y、q0y、q1y以及q2y的像素值进行变更。此外，在水平方向的边界的情况下，使图9旋转90度而进行与垂直方向的边界同样的处理。即，在水平方向的边界的情况下，在滤波种类的决定中使用的像素的位置、通过滤波而使值发生变更的像素的位置与边界之间的关系，与垂直方向的边界的情况相同。
专利文献2公开了如下结构：为了抑制块畸变，预测块越大，边界强度越强。另外，非专利文献2公开了如下内容：为了抑制块畸变，进行编码控制以便不大可能选择较大大小的块。
现有技术文献
专利文献
专利文献1：日本特开2014-197847号公报
专利文献2：日本特开2011-223302号公报
非专利文献
非专利文献1：itu-th.265highefficiencyvideocoding
非专利文献2：jctvc-l0232ahg6：ondeblockingfilterandparameterssignaling
技术实现要素：
发明要解决的问题
专利文献2仅考虑了预测块，根据变换块的大小会产生块畸变。另外，在非专利文献2的结构中，编码量有所增加。
用于解决问题的方法
根据本发明的一个方面，动图的处理装置的特征在于，具备：检测单元，该检测单元对块的边界进行检测；判定单元，该判定单元对上述检测单元检测出的边界的强度进行判定；以及决定单元，该决定单元基于上述判定单元判定出的边界的强度而决定是否对该边界应用滤波，上述判定单元在边界的强度的判定中使用变换块的大小。
通过参照附图的以下说明会使得本发明的其他特征以及优点变得明朗。此外，在附图中，对相同或同样的结构标注相同的参照编号。
附图说明
图1是一个实施方式所涉及的去块滤波器的结构图。
图2是一个实施方式所涉及的去块滤波器的结构图。
图3是表示强滤波的滤波系数的图。
图4是表示一个实施方式所涉及的滤波系数的图。
图5是一个实施方式所涉及的滤波处理的说明图。
图6是一个实施方式所涉及的编码装置的结构图。
图7是一个实施方式所涉及的解码装置的结构图。
图8是去块滤波器的结构图。
图9是垂直方向的边界的情况下的滤波判定中使用的像素、和滤波对象像素的说明图。
具体实施方式
以下，参照附图对本发明的示例性的实施方式进行说明。此外，以下实施方式为示例，本发明并不限定于实施方式的内容。另外，在以下各图中，对于实施方式的说明不必要的结构要素，将其从附图中省略。
＜第一实施方式＞
本实施方式的编码装置以及解码装置的基本结构与图6及图7相同，从而将重复的说明省略。另外，本实施方式所涉及的编码装置以及解码装置的环路滤波器18以及26的结构相同。以下，对本实施方式所涉及的编码装置以及解码装置的环路滤波器18以及26中包含的去块滤波器进行说明，但不对编码装置以及解码装置加以区分，将它们统称为动图的处理装置。图1示出了环路滤波器18以及26中包含的去块滤波器。在图1所示的去块滤波器中，对与图8所示的去块滤波器相同的结构要素标注相同的参照符号并将重复的说明省略。另外，本实施方式所涉及的去块滤波器也与图8所示的去块滤波器同样地具有进行针对垂直方向的边界的滤波处理的部分(奇数的参照编号)、以及进行针对水平方向的边界的滤波处理的部分(偶数的参照符号)，但除了边界的方向以外，处理的内容均相同，因此，以下仅对垂直方向的边界进行说明。
在本实施方式中，在图8所示的现有的边界强度的判定基准的基础上，边界强度判定部55在边界强度的判定中还使用变换块大小。首先，对现有的边界强度的判定基准进行说明。若图9所示的垂直方向的边界的一个块为帧内预测，则边界强度判定部55将边界强度判定为2。另外，若边界为变换块的边界、且存在非零的正交变换系数，则边界强度判定部55将边界强度判定为1。另外，若隔着边界的两个块的动态矢量之差的绝对值为一个像素以上，则边界强度判定部55将边界强度判定为1。另外，若隔着边界的两个块的动态补偿的参照图像不同或者动态矢量的数量不同，则边界强度判定部55将边界强度判定为1。而且，若不符合上述任一种情况，则边界强度判定部55将边界强度判定为0。
在本实施方式中，若图9所示的垂直方向的边界为变换块的边界、且至少一个变换块的垂直方向的大小为第一阈值以上，则边界强度判定部55对基于此前说明的现有的判定基准而判定出的边界的强度加上1，并将其作为最终的边界强度而输出。即，在本实施方式中，边界强度判定部55将0～3的边界强度中的任意值输出。例如，可以将该第一阈值设为变换块的块畸变容易变得显著的16个像素。
滤波决定部37基于边界的边界强度、边信息中包含的量化参数、以及去块前图像的像素值并根据滤波的决定基准而决定是否对该边界应用滤波，并且，在应用滤波的情况下，决定应用弱滤波还是应用强滤波。
在这里，在决定基准中，边界强度的值越强，判定为应用滤波的概率越高。更具体而言，关于亮度值，当边界强度为0时，判定为不应用滤波。另一方面，当边界强度为1以上时，对根据px0、qx0、px3、qx3(在这里，x为0至2的整数)的共计12个像素的像素值而计算出的值、以及根据构成边界的两个块的量化参数的平均值而求出的值进行比较，由此决定是否应用滤波。另外，关于色差值，当边界强度为2以上时，判定为应用滤波。换言之，在决定基准中，将边界的强度值为阈值(亮度值为1，色差值为2)以上设定为用于应用滤波的条件之一。而且，当边界的强度值为阈值以上时，关于亮度值，进一步地，若根据px0、qx0、px3、qx3(在这里，x为0至2的整数)的共计12个像素的像素值计算出的值小于根据构成边界两个块的量化参数的平均值而求出的值，则判定为应用滤波。此外，关于色差值，若边界的强度值为阈值以上，则判定为应用滤波。
另外，在决定基准中，边界强度越强，决定应用强滤波的概率越高。具体而言，在对于亮度值而应用滤波的情况下，基于px0、qx0、px3、qx3(在这里，x为0至3的整数)的共计16个像素的像素值对六个值进行计算，在所有的值都满足规定基准的情况下，决定为应用强滤波。若p00与q00之差、以及p03与q03之差小于第二阈值，则满足上述规定基准中的两个基准，但基于边界强度而设定该第二阈值。更具体而言，基于边界强度而求出中间值。边界强度越强，该中间值设定为越大的值。而且，基于该中间值而求出第二阈值。此外，预先规定中间值和第二阈值的关系。该中间值和第二阈值的关系规定如下：若当中间值为第一值时，第二阈值为第三值，当中间值为大于第一值的第二值时，第二阈值为第四值，则第四值为第三值以上的值。即，若边界强度从第一值变为较大的第二值，则第二阈值从第三值变为第三值以上的值。而且，在决定基准中，将p00与q00之差的绝对值、以及p03与q03之差的绝对值小于第二阈值设为用于选择强滤波的条件之一。因而，若边界强度增强，则应用强滤波的概率升高。此外，关于色差值，使用一种滤波。
以上，在本实施方式中，在边界强度的判定中使用变换块的大小。更具体而言，对预测块的边界以及变换块的边界进行检测，并在变换块的边界的强度的判定中使用该变换块的大小。此时，若边界的两侧的变换块中的至少一个变换块的与该边界相同方向的大小为第一阈值以上，则判定为该边界的强度比小于第一阈值的情况下强。例如，若边界的两侧的变换块中的至少一个变换块的与该边界相同方向的大小为第一阈值以上，则使该边界的强度与小于第一阈值的情况下相比增大规定值，例如1。滤波决定部37以及38根据包含边界的强度的决定基准而决定是否对该边界应用滤波，但如上所述，边界的强度越强，针对该边界而应用滤波的概率越高。因此，若变换块的大小为第一阈值以上，则应用滤波的概率升高而能够使滤波畸变变得显著的情况得到抑制。另外，由于未抑制块的大小的增大，因此，还不会增加编码量。
进一步，在对边界应用滤波的情况下，滤波决定部37以及38从不同强度的多个滤波中决定对该边界应用的滤波。此外，在上述实施方式中，不同强度的多个滤波为弱滤波、以及滤波强度比弱滤波的滤波强度强的强滤波这两种。但是，也可以设为使用三种以上的不同强度的滤波的结构。而且，滤波决定部37以及38基于边界的强度而设定用于决定对该边界应用的滤波的第二阈值。在这里，在决定基准中，边界强度越强，则第二阈值越大，第二阈值越大，则选择更强的滤波的可能性越高。因此，若变换块的大小为第一阈值以上，则应用更强的滤波的概率升高而能够使滤波畸变得显著的情况得到抑制。
＜第二实施方式＞
接下来，以与第一实施方式的不同点为焦点对第二实施方式进行说明。在本实施方式中，将图1中的边界强度判定部55和滤波决定部37，以及边界强度判定部56和滤波决定部38分别置换为图2中示出的边界强度判定部60以及滤波决定部61。此外，边界强度判定部60中的处理与图8中的边界强度判定部35相同。即，边界强度判定部60将0～2的边界强度输出。在本实施方式中，若边界为变换块的边界，则滤波决定部61判定其对应的方向(垂直或者水平)的块的大小是否为第一阈值以上。而且，若为第一阈值以上，则决定应用强滤波。另一方面，若大小小于第一阈值，则通过现有方法而决定是否应用滤波，并且，在应用滤波的情况下，决定应用强滤波还是应用弱滤波。此外，可以与第一实施方式同样地将该第一阈值设为16个像素。
如上，在本实施方式中，若边界的任一侧的变换块的大小为第一阈值以上，则始终应用强滤波。因此，即使变换块的大小较大，也能够抑制块畸变。此外，在本实施方式中也可以将滤波的强度设为3以上。在该情况下，若变换块的大小为第一阈值以上，则始终应用最强的滤波。
＜第三实施方式＞
接下来，以与第二实施方式的不同点为焦点对第三实施方式进行说明。本实施方式的结构与第二实施方式相同。但是，在第二实施方式中，若边界为变换块的边界、且其大小为第一阈值以上，则始终应用强滤波。如已说明的那样，针对图9中的pxy以及qxy(在这里，x为0～2、且y为0～3)的像素而应用强滤波。即，针对距边界的距离为三个像素以下的像素而进行滤波处理。图3示出了应用强滤波时的滤波系数。例如，像素p2y基于像素p3y、p2y、p1y、p0y以及q0y的像素值而进行变更。在本实施方式中，若边界为变换块的边界、且其大小为阈值以上，则使用与通常的强滤波相比而扩大了距应用滤波的像素范围的边界的距离的其他种类的滤波。例如，若边界为变换块的边界、且其大小为阈值以上，则将该应用范围从边界起扩大至七个像素。图4示出了其他种类的滤波的滤波系数的一个例子，在图4中，从边界起至七个像素的范围设为滤波对象。
如上，在本实施方式中，若变换块的大小为第一阈值以上，则与通常的强滤波相比而扩大以边界为基准的应用滤波的像素范围。根据该结构，即使变换块的大小较大，也能够抑制块畸变。
＜第四实施方式＞
在第一实施方式至第三实施方式中，对于边界的两侧同样地应用了滤波。在本实施方式中，若边界的一侧的变换块的大小为第一阈值以上、例如为16个像素以上，则对于该一侧的变换块根据第一实施方式至第三实施方式的任意处理而决定滤波，对于另一侧的块则应用根据现有方法而决定的滤波。例如，如图5所示，处理对象的边界的右侧的变换块的大小为第一阈值以上，该边界的左侧的变换块的大小小于第一阈值。若应用第一实施方式的方法，则边界强度判定部55分别决定：用于决定对于边界的左侧的变换块的像素是否滤波和滤波种类的第一强度、以及用于决定对于边界的右侧的变换块的像素是否滤波和滤波种类的第二强度。此外，根据第一实施方式，第二强度为对第一强度加上1所得的值。另外，若应用第二实施方式的方法，则滤波决定部61根据现有技术的方法而决定对于边界的左侧的变换块的像素是否滤波和滤波种类，并对于边界的右侧的变换块的像素而决定应用强滤波。进一步地，若应用第三实施方式的方法，则滤波决定部61根据现有技术的方法而决定对于边界的左侧的变换块的像素是否滤波和滤波种类，并对于边界的右侧的变换块的像素而决定应用扩大了距边界的距离范围的滤波。
由此，能够将应用的滤波强度、其范围限定到第一阈值以上的变换块上，从而能够抑制滤波处理负荷的增加。
此外，本发明所涉及的处理装置、即编码装置或者解码装置，能够通过使计算机作为上述处理装置而执行动作的程序来实现。这些计算机程序存储于计算机能够读取的存储介质、或者能够经由网络发布。
本发明并不局限于上述实施方式，可以在不脱离本发明的精神以及范围的前提下进行各种变更及变形。因此，为了将本发明的范围公布于众，以下附上权利要求。
本申请以2015年9月30日提交的日本专利申请的日本特愿2015-194343为基础而主张优先权，将其全部记载内容引用于此。