专利名称：图像编码设备，图像解码设备，其方法和程序的制作方法
技术领域：
本公开涉及图像编码设备，图像解码设备，其方法和程序，尤其涉及实现主观图像质量和编码效率的改进。
背景技术：
现有技术中，静止图像和运动图像具有大量的数据，从而通常在传输时或者在记录到介质上时被编码。诸如H. 264/MPEG (运动图像专家组)-4AVC (高级视频编码)(这里称为H. 264/AVC)系统之类的编码系统进行离散余弦变换(下面称为DCT)/逆离散余弦变换(下面称为IDCT)。通过在水平方向和垂直方向，两次进行一维DCT/IDCT，实现DCT/IDCT。另一方面，当帧内预测(内预测)的预测误差包括边缘时，通过在顺着所述边缘的方向进行DCT，而不是在水平方向和垂直方向进行DCT，可使能量更加聚集。例如，当进行如利用空间相关性的H. 264/AVC系统中一样的帧内预测时，日本公开特许公报No. 2009-272727按照帧内预测的方式，确定进行正交变换的方向，因为预测方向和预测误差的方向相同的可能性高。通过这样确定进行正交变换的方向，实现更高的能量聚集，从而提高编码效率。
发明内容
当进行正交变换时，作为正交变换的单元的变换块的块大小，以及正交变换的方向是改善能量聚集的重要要素。在这种情况下，当连续的边缘跨越多个变换块时，作为随后的量化的结果，诸如所述边缘在块边界被中断之类的退化变得明显。另外，由于DCT具有易于聚集稳定信号的能量的特性，因此当大量的变换块包括边缘时，编码效率降低。因此，可取的是提供能够改善主观图像质量和编码效率的图像编码设备，图像解码设备，其方法和程序。按照本发明的第一实施例，提供一种图像编码设备，包括配置成利用编码对象块的参考图像的图像信号进行边缘检测的边缘检测部分；配置成通过根据边缘检测的结果，分割编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块的变换块设定部分；和配置成通过进行包括每个变换块的正交变换的处理生成编码数据的编码处理部分。在本发明中，利用编码对象块的参考图像的图像信号，检测边缘的位置和边缘的强度。根据边缘检测的结果，分割编码对象块，并设定待经历正交变换等的变换块。设定变换块，以致作为编码对象块的分割后的各个块的变换块之间的边界不包括边缘。另外，按照边缘的强度，判定边缘的优先级，设定变换块，以致不包括高优先级的边缘。在检测边缘时，与编码对象块相邻的编码块的图像被用作参考图像。另外，利用估计在帧内预测方式的预测方向连续的检测边缘，设定变换块。另外，选择编码效率高的预测方式，进行编码处理，把指示选择的预测方式的信息包括在通过进行编码处理而获得的编码数据中。另外，把指示 设定的变换块的信息包括在编码数据中。另外，在检测边缘时，还利用相对于编码对象块、在时间方向上的编码图像。
按照本发明的第二实施例，提供一种图像编码方法，包括利用编码对象块的参考图像的图像信号进行边缘检测；通过根据边缘检测的结果，分割编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和通过进行包括每个变换块的正交变换的处理生成编码数据。按照本发明的第三实施例，提供一种在计算机上进行的实现图像编码的程序，所述程序包括利用编码对象块的参考图像的图像信号进行边缘检测；通过根据边缘检测的结果，分割编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和通过进行包括每个变换块的正交变换的处理生成编码数据。按照本发明的第四实施例，提供一种图像解码设备，包括配置成从编码数据中提取预测方式信息的信息提取部分；配置成利用解码对象块的参考图像的图像信号进行边缘检测的边缘检测部分；配置成通过根据预测方式信息和边缘检测的结果，分割解码对象块， 使得分割后的块之间的边界不包括边缘，来设定变换块的变换块设定部分；和配置成通过进行包括每个变换块的逆正交变换的处理生成图像信号的解码处理部分。在本发明中，从编码数据中提取预测方式信息。另外，利用解码对象块的参考图像的图像信号，检测边缘，并检测边缘的位置和强度；根据边缘检测的结果和提取的预测方式信息，分割解码对象块，并设定待经历逆正交变换等的变换块。设定变换块，以致作为解码对象块的分割后的各个块的变换块之间的边界不包括边缘。另外，按照边缘的强度，判定边缘的优先级，设定变换块，以致变换块之间的边界不包括高优先级的边缘。在检测边缘时，与解码对象块相邻的解码块的图像被用作参考图像。另外，利用估计在帧内预测方式的预测方向连续的检测边缘，设定变换块。另外，利用相对于解码对象块，沿时间方向的解码图像作为参考图像，检测边缘。在这样设定变换块之后，通过进行包括每个设定的变换块的逆正交变换的处理，生成解码图像。按照本发明的第五实施例，提供一种图像解码方法，包括从编码数据中提取预测方式信息；利用解码对象块的参考图像的图像信号进行边缘检测；通过根据预测方式信息和边缘检测的结果，分割解码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和通过进行包括每个变换块的逆变换处理的处理生成图像信号。按照本发明的第六实施例，提供一种在计算机上进行的实现编码数据的解码的程序，所述程序包括从编码数据中提取预测方式信息；利用解码对象块的参考图像的图像信号进行边缘检测；通过根据预测方式信息和边缘检测的结果，分割解码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和通过进行包括每个变换块的逆变换处理的处理生成图像信号。根据本发明的第七实施例，提供一种图像解码设备，包括配置成从编码数据中提取预测方式信息和变换块设定信息的信息提取部分，其中所述变换块设定信息在编码过程中生成并指示设定的变换块；和配置成通过进行包括每个所述变换块的逆正交变换的处理生成图像信号的解码处理部分。根据本发明的第八实施例，提供一种图像解码方法，包括从编码数据中提取预测方式信息和变换块设定信息，其中所述变换块设定信息在编码过程中生成并指示设定的变换块；和通过进行包括每个所述变换块的逆正交变换的处理生成图像信号的解码处理部分。
顺便提及，按照本发明的实施例的程序例如是可用以计算机可读格式设置在能够执行各种程序代码的通用计算机系统中的存储介质，和利用通信介质，例如利用诸如光盘、磁盘、半导体存储器之类的存储介质，或者利用诸如网络之类的通信介质提供的程序。这样的程序是以计算机可读格式提供的，从而在计算机系统上实现与所述程序相应的处理。按照本发明的实施例，利用编码对象块的参考图像的图像信号，检测边缘。根据边缘检测的结果，通过分割编码对象块，以致分割后的各个块之间的边界不包括边缘，来设定变换块。另外，对每个变换块进行变换处理，并生成编码数据。解码编码数据的图像解码设备利用解码对象块的参考图像的图像信号，检测边缘。根据边缘检测的结果，通过分割解码对象块，以致分割后的各个块之间的边界不包括边缘，来设定变换块。另外，对每个变换块进行逆变换处理，从而生成解码图像的图像信号。于是，能够防止连续边缘跨越多个变换块，从而改善主观图像质量。另外，不包括边缘的变换块能够被增多，以致能够获得改善能量聚集的效率的效果。
图I是表示第一实施例中的图像编码设备的结构的示图；图2A和2B是表不第一变换部分和第一量化部分的结构的不图；图3是表示第二变换部分的示图；图4是表示第二量化部分的示图；图5A和5B是表示第一逆变换部分和第一逆量化部分的结构的示图；图6是表示第二逆量化部分的结构的示图；图7是表示第二逆变换部分的结构的示图；图8A，8B，8C和8D是表示H. 264/AVC系统中的帧内预测的宏块的示图；图9是帮助解释子块和相邻像素信号之间的位置关系的示图；图10A，10B，10C，10D，10E，10F，10G，10H 和 101 是表示帧内预测中的 4X4 像素的预测方式的示图；图11A，IlB和IlC是帮助解释在预测方式3的情况下的一维DCT的示图；图12A和12B是帮助解释在预测方式5的情况下的一维DCT的示图；图13是表示第一实施例中的图像编码设备的操作的流程图(1/2)；图14是表示第一实施例中的图像编码设备的操作的流程图(2/2)；图15A，15B, 15C，15D，15E和15F是帮助解释参考图像边缘检测部分的操作的示图；图16A，16B, 16C和16D是帮助解释变换块设定部分的操作的示图；图17是表示设定变换块的过程的流程图；图18A，18B，18C，18D和18E是表示其中通过把8 X 8像素的子块分成4个部分，设定变换块的情况的示图；图19是表示第一实施例中的图像解码设备的结构的示图；图20是表示第一实施例的图像解码设备的操作的流程图；图21是表示第二实施例中的图像编码设备的结构的示图；图22是表示第二实施例中的图像解码设备的结构的示图23是表示第一实施例的图像解码设备的操作的流程图；图24是表示第三实施例中的图像编码设备的结构的示图；图25是表示第三实施例中的图像编码设备的操作的流程图(1/2)；图26是表示第三实施例中的图像编码设备的操作的流程图(2/2)；图27A和27B是帮助解释利用运动补偿的边缘检测的示图；图28是表示第三实施例中的图像解码设备的结构的示图；图29是表示第三实施例中的图像解码设备的操作的流程图。
具体实施例方式下面说明实现本发明的方式。本发明通过根据帧内预测(内预测)的方式，考虑边缘连续性，设定正交变换的变换块，防止连续边缘跨越多个变换块，从而改善主观图像质量。另外，本发明通过增多不包括边缘的变换块，改善能量聚集。此外，将说明本发明也适用于帧间预测(间预测)。顺便提及，将按照下述顺序进行说明。I.第一实施例1-1.图像编码设备的结构1-2.图像编码设备的操作1-3.图像解码设备的结构1-4.图像解码设备的操作2.第二实施例2-1.图像编码设备的结构2-2.图像编码设备的操作2-3.图像解码设备的结构2-4.图像解码设备的操作3.第三实施例3-1.图像编码设备的结构3-2.图像编码设备的操作3-3.图像解码设备的结构3-4.图像解码设备的操作〈I.第一实施例>[1-1.图像编码设备的结构]图I表示第一实施例中的图像编码设备的结构。图像编码设备10包括算术部分11，处理选择开关12，第一变换部分13，第二变换部分14，第一量化部分15，第二量化部分16和熵编码部分17。图像编码设备10还包括处理选择开关18，第一逆量化部分19，第二逆量化部分20，第一逆变换部分21，第二逆变换部分22，算术部分23，参考存储器24和预测部分25。图像编码设备10还包括参考图像边缘检测部分31，变换块设定部分32和编码控制部分40。算术部分11通过从输入图像信号DSl中，减去在后面说明的预测部分25中生成的预测图像信号DS18，计算预测图像相对于输入图像的预测误差。算术部分11把指示预测误差的预测误差信号DS2输出给处理选择开关12。
处理选择开关12根据从编码控制部分40供给的变换信息DS40，做出开关选择，从而把预测误差信号DS2输出给第一量化部分15或第二量化部分16。如图2A中所示，第一变换部分13包括水平和垂直DCT部分131。水平和垂直DCT部分131进行从处理选择开关12供给的预测误差信号DS2的水平和垂直DCT。另外，水平和垂直DCT部分131根据从后面说明的变换块设定部分32供给的变换块设定信息DS32，设定其中进行水平和垂直DCT的变换块。水平和垂直DCT部分131把通过进行水平和垂直DCT而获得的变换系数DS3输出给第一量化部分15。如图2B中所示，第一量化部分15具有水平和垂直量化部分151。水平和垂直量化部分151量化从第一变换部分13输出的变换系数DS3。水平和垂直量化部分151把通过进 行量化而获得的量化数据DS5输出给熵编码部分17和处理选择开关18。第二变换部分14包括为作为倾斜方向的相应预测方向设置的DCT部分,和用于选择与预测方向对应的DCT部分的模式选择开关。例如，如后参考图10A-10I所述，假定在帧内预测方式中设置从预测方式3到预测方式8的其预测方向为倾斜方向的6种方式。这种情况下，如图3中所示，第二变换部分14包括与预测方式3的倾斜方向对应的第一倾斜方向模式DCT部分141，...，和与预测方式8的倾斜方向对应的第六倾斜方向模式DCT部分146。第二变换部分14还包括用于选择与预测方式对应的DCT部分的模式选择开关140。模式选择开关140根据来自后面说明的预测部分25的预测方式信息DS20，把从处理选择开关12供给的预测误差信号DS2提供给第一到第六倾斜方向模式DCT部分141-146之一。例如，当预测方式信息DS20指示预测方式3时，模式选择开关140把预测误差信号DS2提供给与预测方式3的倾斜方向对应的第一倾斜方向模式DCT部分141。当预测方式信息DS20指示预测方式8时，模式选择开关140把预测误差信号DS2提供给与预测方式8的倾斜方向对应的第六倾斜方向模式DCT部分146。第一倾斜方向模式DCT部分141对经模式选择开关140供给的预测误差信号DS2，进行与预测方向相应的DCT。另外，第一倾斜方向模式DCT部分141根据从后面说明的变换块设定部分32供给的变换块设定信息DS32，设定用于DCT的变换块。第一倾斜方向模式DCT部分141把通过进行DCT而获得的变换系数DS4输出给第二量化部分16。第二到第六倾斜方向模式DCT部分142-146类似地对预测误差信号DS2，进行与预测方向相应的DCT，并把作为结果的变换系数DS4输出给第二量化部分16。从而，第二变换部分14根据预测模式信息DS20，有选择地使用第一到第六倾斜方向模式DCT部分141-146，以根据变换块设定信息DS32，在每个变换块中进行与预测方式相应的DCT。第二量化部分16包括为作为倾斜方向的相应预测方向设置的量化部分，和用于选择与预测方向对应的量化部分的模式选择开关。例如，假定设置从预测方式3到预测方式8的其预测方向为倾斜方向的6种方式。这种情况下，如图4中所示，第二量化部分16包括与预测方式3的倾斜方向对应的第一倾斜方向模式量化部分161，...，和与预测方式8的倾斜方向对应的第六倾斜方向模式量化部分166。第二量化部分16还包括用于选择与预测方式对应的量化部分的模式选择开关160。模式选择开关160根据来自预测部分25的预测方式信息DS20，把从第二变换部分14供给的变换系数DS4提供给第一到第六倾斜方向模式量化部分161-166之一。例如，当预测方式信息DS20指示预测方式3时，模式选择开关160把在第二变换部分14的第一倾斜方向模式DCT部分141中获得的变换系数DS4，提供给与预测方式3的倾斜方向对应的第一倾斜方向模式量化部分161。当预测方式信息DS20指示预测方式8时，模式选择开关160把在第二变换部分14的第六倾斜方向模式DCT部分146中获得的变换系数DS4，提供给与预测方式8的第六倾斜方向对应的模式量化部分166。第一倾斜方向模式量化部分161量化经模式选择开关160,从第二变换部分14的第一倾斜方向模式DCT部分141供给的变换系数DS4。另外，第一倾斜方向模式量化部分161根据从后面说明的变换块设定部分32供给的变换块设定信息DS32，量化每个变换块中的变换系数DS4。第一倾斜方向模式量化部分161把通过进行量化而获得的量化数据DS6输出给熵编码部分17和处理选择开关18。第二到第六倾斜方向模式量化部分162-166类似地量化每个变换块中，通过与预测方向相应的DCT而获得的变换系数DS4，并把作为结果的量化数据DS6输出给熵编码部分17和处理选择开关18。从而，第二量化部分16沿着相 应的预测方向，量化每个DCT块中，通过在第二变换部分14中进行与预测方向相应的DCT而获得的变换系数。图I中的熵编码部分17进行从第一量化部分15供给的量化数据DS5，或者从第二量化部分16供给的量化数据DS6的熵编码。熵编码部分17还进行后面说明的在预测部分25中生成的预测方式信息DS20、在编码控制部分40中生成的变换信息DS40等的熵编码。熵编码部分17输出通过进行熵编码而获得的编码数据DSC。处理选择开关18根据从编码控制部分40供给的变换信息DS40，选择逆变换方法。处理选择开关18把来自第一量化部分15的量化数据DS5输出给第一逆量化部分19，把来自第二量化部分16的量化数据DS6输出给第二逆量化部分20。如图5A中所示,第一逆量化部分19具有水平和垂直逆量化部分191。水平和垂直逆量化部分191逆量化经处理选择开关18供给的量化数据DS5。另外，水平和垂直逆量化部分191根据从变换块设定部分32供给的变换块设定信息DS32，逆量化与第一量化部分15的变换块对应的每个变换块中的量化数据。第一逆量化部分19把通过进行逆量化获得的变换系数DSll输出给第一逆变换部分21。如图5B中所示，第一逆变换部分21具有水平和垂直逆DCT部分211。水平和垂直逆DCT部分211对从第一逆量化部分19供给的变换系数DSll进行水平和垂直方向的逆DCT，所述逆DCT对应于第一变换部分13中的水平和垂直方向的DCT。水平和垂直逆DCT部分211把通过进行逆DCT而获得的预测误差信号DS13输出给算术部分23。第二逆量化部分20被配置成进行与在第二量化部分16中进行的量化对应的逆量化。例如，如图6中所示，第二逆量化部分20包括模式选择开关200和第一倾斜方向模式逆量化部分201-第六倾斜方向模式逆量化部分206。模式选择开关200根据来自预测部分25的预测方式信息DS20，把经处理选择开关18供给的量化数据DS6提供给第一到第六倾斜方向模式逆量化部分201-206之一。例如，当预测方式信息DS20指示预测方式3时，模式选择开关200把在第二量化部分16的第一倾斜方向模式量化部分161中获得的量化数据DS6，提供给与预测方式3对应的第一倾斜方向模式逆量化部分201。类似地，当预测方式信息DS20指示预测方式8时，模式选择开关200把在第二量化部分16的第六倾斜方向模式量化部分166中获得的量化数据DS6，提供给与预测方式8对应的第六倾斜方向模式逆量化部分206。
第一倾斜方向模式逆量化部分201对经模式选择开关200供给的量化数据DS6进行与第二量化部分16中的第一倾斜方向模式量化部分161的量化对应的逆量化。另外，第一倾斜方向模式逆量化部分201根据从变换块设定部分32供给的变换块设定信息DS32，逆量化与第二量化部分16的变换块对应的每个变换块中的量化数据。第一倾斜方向模式逆量化部分201把通过进行逆量化而获得的变换系数DS12输出给第二逆变换部分22。另夕卜，第二到第六倾斜方向模式逆量化部分202-206类似地逆量化供给的量化数据DS6，把作为结果的变换系数DS12输出给第二逆变换部分22。从而，第二逆量化部分20进行与第二量化部分16的量化一致的逆量化。第二逆变换部分22被配置成进行与在第二变换部分14中进行的DCT对应的逆DCT。例如，如图7中所示，第二逆变换部分22包括模式选择开关220和第一倾斜方向模式逆DCT部分221到第六倾斜方向模式逆DCT部分226。模式选择开关220根据来自预测部分25的预测方式信息DS20，把从第二逆量化部分20供给的变换系数DS12提供给第一到第六倾斜方向模式逆DCT部分221-226之一。例如，当预测方式信息DS20指示预测方式3时，模式选择开关220把在第二逆量化部分20中的第一倾斜方向模式逆量化部分201中获得的变换系数DS12，提供给与预测方式3对应的第一倾斜方向模式逆DCT部分221。类似地，当预测方式信息DS20指示预测方式8时，模式选择开关220把在第二逆量化部分20中的第六倾斜方向模式逆量化部分206中获得的变换系数DS12，提供给与预测方式8对应的第六倾斜方向模式逆DCT部分226。第一倾斜方向模式逆DCT部分221对经模式选择开关220供给的变换系数DS12，进行与第二变换部分14中的第一倾斜方向模式DCT部分141的DCT对应的逆DCT。第一倾斜方向模式逆DCT部分221根据从变换块设定部分32供给的变换块设定信息DS32，进行与第二变换部分14的变换块对应的每个变换块中的变换系数的逆DCT。第一倾斜方向模式逆DCT部分221把通过进行逆DCT而获得的预测误差信号DS14输出给算术部分23。另外，第二到第六倾斜方向模式逆DCT部分222-226类似地进行供给的变换系数DS12的逆DCT，然后把作为结果的预测误差信号DS14输出给算术部分23。从而，第二逆变换部分22进行第二变换部分14中的与预测方向相应的DCT对应的逆DCT。算术部分23通过相加在预测部分25中生成的预测图像信号DS18和从第一逆变换部分21供给的预测误差信号DS13或者从第二逆变换部分22供给的预测误差信号DS14，生成参考图像信号DS15。算术部分23把生成的参考图像信号DS15保存在参考存储器24中。保存在参考存储器24中的参考图像信号DS15被提供给预测部分25和参考图像边缘检测部分31。预测部分25利用参考图像信号DS15，按照每种预测方式进行帧内预测。另外，预测部分25确定使编码效率最大化的预测方式，并生成指示使编码效率最大化的预测方式的预测方式信息DS20。预测部分25把生成的预测方式信息DS20输出给第二变换部分14，第二量化部分16，熵编码部分17，第二逆量化部分20，第二逆变换部分22和变换块设定部 分32。此外，预测部分25按照使编码效率最大化的预测方式，生成预测图像信号DS18，并把预测图像信号DS18输出给算术部分11和23。参考图像边缘检测部分31利用保存在参考存储器24中的编码相邻块的图像信号，检测边缘，然后把指示边缘的位置和边缘的强度(密度变化的陡度)的索引DS31输出给变换块设定部分32。变换块设定部分32根据从参考图像边缘检测部分31供给的索引DS31，和从预测部分25供给的预测方式信息DS20，估计作为编码对象的子块内的边缘的连续性。变换块设定部分32根据估计结果，分割作为编码对象的子块，设定正交变换和量化中的变换块，并生成指示设定的变换块的变换块设定信息DS32。变换块设定部分32把生成的变换块设定信息DS32输出给第一变换部分13，第二变换部分14，第一量化部分15，第二量化部分16，第一逆量化部分19，第二逆量化部分20，第一逆变换部分21，和第二逆变换部分22。编码控制部分40生成变换信息DS40。变换信息DS40是用于选择进行关于正交变 换的水平和垂直DCT以及水平和垂直量化的处理，或者沿着预测方式信息DS20指示的预测方向，进行一维DCT和量化的处理的信息。编码控制部分40把生成的变换信息DS40输出给处理选择开关12，熵编码部分17和处理选择开关18。[1-2.图像编码设备的操作]下面说明图像编码设备的操作。就H. 264/AVC系统的帧内预测中的亮度信号来说，如图8A中所示，在编码对象帧中设定多个宏块。图SB表示具有4X4像素的16个子块的宏块。图8C表示具有8X8像素的4个子块的宏块。图8D表示具有16X 16像素的I个子块的宏块。在H. 264/AVC系统中，设定4种方式，S卩，预测方式0-3，作为16 X 16像素子块的预测方式。另外，设定9种方式，S卩，预测方式0-8，作为8X8像素子块的预测方式。此外，设定9种方式，即，预测方式0-8，作为4X4像素子块的预测方式。图9是帮助说明属于4X4像素子块的像素a-p与在所述子块的左侧、左上侧、上侧和右上侧的相邻块中，邻近所述子块的像素A-M之间的位置关系的示图。图10A-10I表示帧内预测中，关于4X4像素的预测方式。顺便提及，图10A-10I中的箭头指示预测方向。图IOA表示预测方式0(垂直)。预测方式0根据垂直方向上邻接的参考像素A-D，生成预测值。图IOB表示预测方式I (水平)。如箭头所示，预测方式I根据水平方向上邻接的参考像素I-L，生成预测值。图IOC表示预测方式2 (DC)。预测方式2根据13个参考像素A-M之中，在块的垂直方向和水平方向邻接的参考像素A-D和I-L，生成预测值。图IOD表示预测方式3 (左下对角)。预测方式3根据13个参考像素A-M之中，在水平方向连续的参考像素A-H，生成预测值。图IOE表示预测方式4 (右下对角)。预测方式4根据13个参考像素A-M之中，与所讨论的块相邻的参考像素A-D和I-M，生成预测值。图IOF表示预测方式5 (垂直偏右)。预测方式5根据13个参考像素A-M之中，与所讨论的块相邻的参考像素A-D和I-M，生成预测值。图IOG表示预测方式6 (水平偏下)。如同预测方式4和预测方式5 —样，预测方式6根据13个参考像素A-M之中，与所讨论的块相邻的参考像素A-D和I-M，生成预测值。图IOH表示预测方式7 (垂直偏左)。预测方式7根据13个参考像素A-M之中，在所讨论的块的上侧相邻的4个参考像素A-D,和在所述4个参考像素A-D之后的3个参考像素E-G,生成预测值。图101表示预测方式8 (水平偏上)。预测方式8根据13个参考像素A-M之中，在所讨论的块的左侧相邻的4个参考像素I-L，生成预测值。
预测部分25按照上述预测方式中的每一种，生成预测图像信号DS18。另外，编码控制部分40按照预测部分25选择的预测方式，生成变换信息DS40。例如，编码控制部分40生成变换信息DS40，作为用于选择进行关于正交变换的水平和垂直DCT以及水平和垂直量化的处理，或者沿着预测方式信息DS20指示的预测方向进行一维DCT和量化的处理的信
肩、O当变换信息DS40指示水平方向和垂直方向的预测方式时，处理选择开关12把预测误差信号DS2提供给第一变化部分13，以致进行水平方向和垂直方向的DCT。另外，当变换信息DS40指示倾斜方向预测方式时，处理选择开关12把预测误差信号DS2提供给第二变换部分14，以致沿着预测方向进行一维DCT。当变换信息DS40指示水平方向和垂直方向的预测方式时，处理选择开关18把量化数据DS5提供给第一逆量化部分19，以致使通过水平方向和垂直方向的DCT和量化而获得的量化数据经历对应的逆量化和对应的逆变换。当变换信息DS40指示倾斜方向预测方式时，处理选择开关18把量化数据DS6提供给第二逆量化部分20，以致使通过沿着倾斜方向的一维DCT和量化而获得的量化数据经历对应的逆量化和对应的逆变换。下面说明使编码效率最大化的预测方式的判定。预测部分25按照每个预测方式进行编码处理，并判定使通过编码处理而获得的编码成本最小的预测方式为最佳方式。具体地说，利用等式(I)计算编码成本K，使编码成本K最小的预测方式被设定为最佳方式。K = SAD+ A X OH…(I)其中差误差SAD是用在预测方式中定义的预测方法生成的预测图像信号和输入图像信号之间的差值的绝对值，边信息OH是当使用所述预测方式时必需的各种信息的数量，系数、是拉格朗日乘数。另外，最佳方式的判定并不局限于利用边信息和差值的绝对值的情况，相反可以只利用方式信息，或者只利用预测误差信号的绝对和判定所述方式，或者可以使用通过进行这些各项信息的Hadamard变换或近似而获得的值。另外，可以利用输入图像的活动性，获得编码成本K，或者可以利用量化位阶获得编码成本。也可以利用等式(2)，计算编码成本K。K = D+入 XR... (2)其中编码失真D代表输入图像信号和本地解码图像信号之间的平方误差，代码R的量值用试验性编码估计，系数、是根据量化参数确定的常数。当利用等式(2)计算编码成本时，图像编码设备10需要每种方式的熵编码和本地解码(包括逆量化和逆变换处理)。从而，尽管电路规模被增大，不过能够使用代码的精确量值和精确的编码失真，从而能够使编码效率保持在较高的水平。下面说明作为沿着预测方向的一维DCT的方法，在H. 264/AVC系统中进行的DCT。令X是输入图像信号，T是4X4像素子块的变换矩阵，按照等式(3)，获得变换系数C。
权利要求
1.一种图像编码设备，包括 配置成利用编码对象块的参考图像的图像信号进行边缘检测的边缘检测部分； 配置成通过根据所述边缘检测的结果，分割所述编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块的变换块设定部分；和 配置成通过进行包括每个所述变换块的正交变换的处理生成编码数据的编码处理部分。
2.按照权利要求I所述的图像编码设备， 其中所述变换块设定部分根据所述边缘检测的结果估计编码对象块中的边缘的连续性，并通过分割所述编码对象块，使得块之间的边界不包括估计的边缘，来设定所述变换块。
3.按照权利要求2所述的图像编码设备， 其中所述变换块设定部分为帧间预测或帧内预测的每种预测方式设定所述变换块，和 所述编码处理部分比较当在为每种所述预测方式设定的变换块中进行包括所述正交变换的处理时的编码成本，并选择编码效率最高的预测方式。
4.按照权利要求3所述的图像编码设备， 其中所述边缘检测部分利用与所述编码对象块相邻的已编码块的图像信号作为所述参考图像的图像信号，和 所述变换块设定部分估计利用所述边缘检测检出的边缘在预测方式的预测方向上是连续的，并设定所述变换块。
5.按照权利要求3所述的图像编码设备， 其中所述边缘检测部分利用相对于所述编码对象块在时间方向上的已编码图像的图像信号，作为所述参考图像的图像信号。
6.按照权利要求3所述的图像编码设备， 其中所述编码处理部分把指示选择的预测方式的信息包括在通过按照所述选择的预测方式进行编码处理而获得的编码数据中。
7.按照权利要求3所述的图像编码设备， 其中所述编码处理部分把指示按照选择的预测方式设定的变换块的信息包括在通过按照所述选择的预测方式进行编码处理而获得的编码数据中。
8.按照权利要求2所述的图像编码设备， 其中当用所述边缘检测检出边缘的位置和边缘的方向时，所述变换块设定部分比较预测方式的预测方向的可靠性和所述边缘的检出的方向的可靠性，并估计边缘在可靠性较高的方向上是连续的。
9.按照权利要求I所述的图像编码设备， 其中所述边缘检测部分利用所述边缘检测来检测边缘的强度，和 所述变换块设定部分按照所述边缘的强度，选择将不包括在所述变换块之间的边界中的边缘。
10.一种图像编码方法，包括 利用编码对象块的参考图像的图像信号进行边缘检测； 通过根据所述边缘检测的结果，分割所述编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和 通过进行包括每个所述变换块的正交变换的处理生成编码数据。
11.一种在计算机上进行的实现图像编码的程序，所述程序包括 利用编码对象块的参考图像的图像信号进行边缘检测； 通过根据所述边缘检测的结果，分割所述编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和 通过进行包括每个所述变换块的正交变换的处理生成编码数据。
12.—种图像解码设备，包括 配置成从编码数据中提取预测方式信息的信息提取部分； 配置成利用解码对象块的参考图像的图像信号进行边缘检测的边缘检测部分； 配置成通过根据所述预测方式信息和所述边缘检测的结果，分割所述解码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块的变换块设定部分；和 配置成通过进行包括每个所述变换块的逆正交变换的处理生成图像信号的解码处理部分。
13.按照权利要求12所述的图像解码设备， 其中所述变换块设定部分根据所述边缘检测的结果估计解码对象块中的边缘的连续性，并通过分割所述解码对象块，使得块之间的边界不包括估计的边缘，来设定所述变换块。
14.按照权利要求13所述的图像解码设备， 其中所述边缘检测部分利用与所述解码对象块相邻的已解码块的图像信号作为所述参考图像的图像信号，和 所述变换块设定部分估计利用所述边缘检测检出的边缘在用所述预测方式信息指示的预测方式的预测方向上是连续的，并设定所述变换块。
15.按照权利要求13所述的图像解码设备， 其中所述边缘检测部分利用相对于所述解码对象块在时间方向上的已解码图像的图像信号，作为所述参考图像的图像信号。
16.按照权利要求13所述的图像解码设备， 其中当用所述边缘检测来检测边缘的位置和边缘的方向时，所述变换块设定部分比较预测方式的预测方向的可靠性和所述边缘的检出的方向的可靠性，并估计边缘在可靠性较高的方向上是连续的。
17.按照权利要求12所述的图像解码设备， 其中所述边缘检测部分利用所述边缘检测来检测边缘的强度，和所述变换块设定部分按照所述边缘的强度，选择将不包括在所述变换块之间的边界中的边缘。
18.一种图像解码方法，包括 从编码数据中提取预测方式信息； 利用解码对象块的参考图像的图像信号进行边缘检测； 通过根据所述预测方式信息和所述边缘检测的结果，分割所述解码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和通过进行包括每个所述变换块的逆正交变换的处理生成图像信号。
19.一种在计算机上进行的实现编码数据的解码的程序，所述程序包括 从所述编码数据中提取预测方式信息； 利用解码对象块的参考图像的图像信号进行边缘检测； 通过根据所述预测方式信息和所述边缘检测的结果，分割所述解码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块；和 通过进行包括每个所述变换块的逆正交变换的处理生成图像信号。
20.一种图像解码设备，包括 配置成从编码数据中提取预测方式信息和变换块设定信息的信息提取部分，其中所述变换块设定信息在编码过程中生成并指示设定的变换块；和 配置成通过进行包括每个所述变换块的逆正交变换的处理生成图像信号的解码处理部分。
21.—种图像解码方法，包括 从编码数据中提取预测方式信息和变换块设定信息，其中所述变换块设定信息在编码过程中生成并指示设定的变换块；和 通过进行包括每个所述变换块的逆正交变换的处理生成图像信号的解码处理部分。
全文摘要
本公开涉及图像编码设备、图像解码设备、其方法和程序。所述图像编码设备包括配置成利用编码对象块的参考图像的图像信号进行边缘检测的边缘检测部分；配置成通过根据所述边缘检测的结果，分割所述编码对象块，使得分割后的块之间的边界不包括边缘，来设定变换块的变换块设定部分；和配置成通过进行包括每个变换块的正交变换的处理生成编码数据的编码处理部分。
文档编号H04N7/26GK102638682SQ20121002362
公开日2012年8月15日 申请日期2012年2月3日 优先权日2011年2月10日
发明者和田祐司, 岛内和博, 池田广志, 田原大资 申请人:索尼公司