专利名称：图像处理设备和方法、程序和记录介质的制作方法
技术领域：
本发明涉及图像处理设备和方法、程序和记录介质，并且更具体地讲，涉及能够通过更简单结构实现具有上变换功能的高图像质量处理的图像处理设备和方法、程序和记录介质。
背景技术：
最近，视频信号是各种各样的并且各种频带被包括在视频信号内而不管图像格式如何。例如，具有原始标清(SD)尺寸的图像可以实际上被上变换成具有高清(HD)尺寸的图像，并且作为通过编辑插入字幕(telop)或小窗口屏幕的结果而把明显不同的频带的多个位置包括在一个屏幕中。此外，各种噪声水平进行混合。在日本专利申请公开 No. 2010-102696和2010-103981中提议的技术如上所述针对各种输入信号根据图像质量自适应提高分辨率和锐度并且成本有效地实现高质量图像。发明内容
然而，在日本专利申请No. 2010-102696和2010-103981中公开的图像处理设备中，当提高上变换的图像的质量时需要在图像处理设备的前级单独设置用于对输入图像进行上变换的处理块。此外，即使上变换功能被包括在日本专利申请No. 2010-102696和2010-103981中公开的图像处理设备中，仍没有公开基于此执行上变换功能的具体处理。
期望通过更简单结构实现具有上变换功能的高图像质量处理。
根据本发明的一个实施例，提供了一种图像处理设备，包括锐度提高特征量计算单元，用于通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及预测计算单元，用于通过计算由关于锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
根据本发明的一个实施例，提供了一种图像处理方法，包括如下步骤通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
根据本发明的一个实施例，提供了一种使得计算机执行包括如下步骤的处理的程序通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
根据本发明的一个实施例，提供了一种使得计算机执行包括如下步骤的处理的记录介质的程序通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
根据本发明的一个实施例，通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、频带限制和噪声添加的强度以及与关注像素和周围像素的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，即关注像素的锐度提高的特征量;以及通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式计算关注像素的预测值。
能够通过经由传输介质的传输或者记录在记录介质上提供程序。
图像处理设备可以是独立设备或构成一个设备的内部块。
根据上述的本发明的实施例，能够通过更简单结构实现具有上变换功能的高图像质量处理。
图I是示出应用本发明的预测设备的实施例的示例结构的框图2示出了波形类别分类单元的处理；
图3示出了获得滤波系数的方法；
图4是示出学习滤波系数的滤波系数学习设备的示例结构的框图5在概念上示出了基于二叉树的类别分类；
图6是示出由预测设备执行的预测处理的流程图7是示出学习设备的示例结构的框图8是示出学习对产生单元的详细示例结构的框图9示出了用作抽头元素的像素的例子；
图10是示出标记单元的处理的柱状图11是示出学习对产生处理的流程图12是示出系数学习处理的流程图13是示出标记处理的细节的流程图14是示出预测系数计算处理的细节的流程图15是示出鉴别系数计算处理的细节的流程图；以及
图16是示出应用本发明的计算机的实施例的示例结构的框图。
具体实施方式
将基于下面顺序进行描述
1.应用本发明的预测设备的示例结构
2.用于学习在预测设备中使用的预测系数的学习设备的示例结构
〈1.预测设备的示例结构>
[预测设备的框图]
图1是示出作为应用本发明的图像处理设备的预测设备的实施例的示例结构的框图。
图1的预测设备I产生并输出图像，该图像由输入图像进行上变换而成。即，预测设备I根据预测处理获得图像尺寸大于输入图像的图像尺寸的输出图像，并且输出获得的输出图像。
预测设备I的预测处理使用由学习设备41学习的预测系数等等，这将在以后参照图6等等进行描述。在学习设备41中，输入高质量教师图像并且使用通过关于教师图像设置频带限制(band limitation)和预定强度的噪声添加产生的图像作为学生图像学习预测系数等等。由此，预测设备I能够通过从频带限制和噪声添加的观点提高输入图像的图像质量来预测图像并且指定预测的图像作为输出图像。
预测设备I包括外部参数获取单元10、关注像素设置单元11和抽头设置单元12。
外部参数数据获取单元10获取由用户在键盘等等的操作单元(未示出)中设置的外部参数，并且将获取的外部参数提供给相位预测/锐度提高特征量计算单元13等等。这里，获取的外部参数是与学习时的频带限制的强度对应的外部参数voir、与学习时的噪声添加的强度对应的外部参数volq、等等。
关注像素设置单元11基于用户的设置确定输出图像的图像尺寸，并且顺序设置构成输出图像的像素作为关注像素。抽头设置单元12选择围绕与关注像素对应的输入图像的像素(与关注对应的像素)的多个像素，并且设置选择的像素作为抽头。
在这个实施例中，在抽头设置单元12中设置为抽头的像素是Xij (i=l、2、……、N，其中，N=输入图像的像素的数目，并且j=l、2、......、M，其中，M=抽头的数目)。由于通过对输入图像进行上变换获得输出图像，所以输出图像的像素的数目N’(i’=l、2、……、N’) 大于输入图像的像素的数目N。在下文中，输入图像和输出图像二者中的像素之中的与输入图像的像素i对应的像素将被描述为关注像素。即使当输入图像内不存在的输出图像的像素是关注像素时，能够如下执行该处理。
预测设备I具有相位预测/锐度提高特征量计算单元13、波形类别分类单元14、 滤波系数数据库(DB) 15、图像特征量计算单元16、二叉树类别分类单元17、鉴别系数DB 18、预测系数DB 19和预测计算单元20。
相位预测/锐度提高特征量计算单元13 (下文称作锐度特征量计算单元13)通过下面表达式(I)使用与关注像素i对应的输入图像的周围像素Xij执行滤波运算(乘积和运算)，并且为关注像素i获得相位预测/锐度提高特征量Paramiil和param^。相位预测/ 锐度提高特征量Paramiil和Paran^2是表示关注像素i的特征量的两个参数，并且在下文中称作第一参数parang和第二参数param^。在第一参数parang和第二参数parang中，包括在图像内的频带的应用区域不同。例如，第一参数Paramiil对应于图像的低频成分(低通)，第二参数Paramii2对应于图像的高频成分(高通)或者整个频带。
权利要求
1.一种图像处理设备，包括 锐度提高特征量计算单元，用于通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及 预测计算单元，用于通过计算由关于锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
2.根据权利要求I的图像处理设备，还包括 波形类别分类单元，用于通过对多个周围像素的像素值执行自适应动态范围编码(ADRC)处理将围绕关注像素的波形图案分类到多个波形类别中的预定波形类别；以及 滤波系数存储单元，用于存储每个波形类别的滤波系数， 其中，锐度提高特征量计算单元通过关于关注像素所属的波形类别的滤波系数和与关注像素对应的多个周围像素的像素值的乘积和运算计算锐度提高特征量。
3.根据权利要求I的图像处理设备，还包括 关注像素类别分类单元，用于至少使用锐度提高特征量将关注像素分类到多个关注像素类别之一；以及 预测系数存储单元，用于存储多个关注像素类别的每一个的预测系数， 其中，预测计算单元通过计算由关于关注像素所属的关注像素类别的预测系数和锐度提高特征量的乘积和运算定义的预测表达式来计算关注像素的预测值。
4.根据权利要求3的图像处理设备，其中，关注像素类别分类单元执行使用二叉树结构的类别分类。
5.根据权利要求4的图像处理设备，还包括 鉴别系数存储单元，用于存储二叉树结构的每个分支点的鉴别系数， 其中，关注像素类别分类单元通过关于锐度提高特征量、频带限制的强度、噪声添加的强度以及鉴别系数的乘积和运算来计算鉴别预测值，以及根据鉴别预测值进行使用二叉树结构的类别分类。
6.根据权利要求3的图像处理设备，其中，关注像素类别分类单元使用多个周围像素的像素值的最大值和最小值以及多个周围像素的相邻像素之间的差分绝对值将关注像素分类到多个关注像素类别之一。
7.根据权利要求I的图像处理设备，其中，通过学习预先获得预测系数从而使关注像素的像素值与关于锐度提高特征量和预测系数的乘积和运算的预测表达式的结果之间的误差最小化，其中，锐度特征量是通过对教师图像执行相移和频带限制的强度设置到预定值的相移处理和频带限制处理、以及使用将噪声添加的强度设置到预定值而进行噪声添加处理获得的图像的学生图像与所述教师图像的对、以及使用围绕与为教师图像设置的关注像素对应的学生图像的像素的多个周围像素的像素值而得到的。
8.—种图像处理方法，包括 通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及 通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
9.一种使得计算机执行包括如下步骤的处理的程序， 通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及 通过计算由关于通过计算获得的锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
10.一种存储根据权利要求9的程序的记录介质。
全文摘要
本发明提供了一种图像处理设备，包括锐度提高特征量计算单元，用于通过指定当经历高图像质量处理的图像输出作为预测图像时构成预测图像的像素作为关注像素，根据关于围绕与关注像素对应的输入图像的像素的多个周围像素的像素值、噪声添加和频带限制的强度以及与关注像素和周围像素各自的相位对应的滤波系数的乘积和运算计算关注像素的锐度提高特征量，所述锐度提高特征量为关注像素的锐度提高的特征量；以及预测计算单元，用于通过计算由关于锐度提高特征量和通过学习预获得的预测系数的乘积和运算定义的预测表达式来计算关注像素的预测值。
文档编号G06T7/00GK102982508SQ20121018775
公开日2013年3月20日 申请日期2012年6月8日 优先权日2011年6月17日
发明者细川健一郎, 永野隆浩 申请人:索尼公司