等级转换设备、等级转换方法和计算机程序的制作方法

专利名称：等级转换设备、等级转换方法和计算机程序的制作方法
技术领域：
本发明涉及等级(gradation)转换设备、等级转换方法和计算机程序，并且更具体地，涉及可以实现例如设备尺寸的减小和成本的降低的等级转换设备、等级转换方法和计算机程序。
背景技术：
例如，为了在显示小于N位像素值的M位像素值的图像的显示设备中显示N位像素值的图像(下文中也称作N位图像)，需要将N位图像转换成M位图像，即进行转换图像的等级的等级转换。
作为将N位图像等级转换成M位图像的方法(等级转换方法)，例如，存在一种删除N位像素值的低N-M位以将N位像素值转换成M位像素值的方法。
下面参考图1A和1B以及图2A和2B来说明用于删除N位像素值的低N-M位并将N位像素值转换成M位像素值的等级转换方法。
图1A和1B是8位的灰度(gray scale )图像和在图像的某一水平线上的像素值的图。
图1A是8位灰度图像的图。
在图1A所示的图像中，像素值在水平方向上从左到右逐渐从100改变到
200.在垂直方向上排列相同的像素值。
图1B是在图1A所示的图像的某一水平线上的像素值的图。
在图1A中在左端的像素值是100，并且右側的像素值进一步变大。右端
的像素值是200。
图2A和2B是通过删除图1A所示的8位图像的低4位而形成的4位图像的图和在该图像的某 一水平线上的像素值的图。
图2A是通过删除将图1A所示的8位图像的低4位图将该8位图像量化为4位图像而形成的图像的图。图2B是在该图像的某一水平线上的像素值的图。可以由8位表示256 ( =28 )个等级。然而，由4位^f又可以表示16 ( =24 )个等级。因此，在删除8位图像的低4位的等级转换中，发生等级中的变化看起来好像带子一样的条紋(banding )。
存在随机抖动方法、有序抖动方法以及误差传播方法作为防止这种条纟丈产生并在等级转换后的图像中模拟再现等级转换前的图像的等级的等级转换方法，即，例如，当人们观看图像时，在通过如上所述等级转换256等级图像而获得的16等级图像中可视地再现16等级图像中的256个等级的方法。
图3A和3B是用于说明随机抖动方法的图。
图3A是过去通过随机抖动方法进行等级转换的等级转换设备的配置例子的图。图3B是通过图3A所示的等级转换设备的等级转换而获得的灰度图像的图。
在图3A中，等级转换设备包括运算单元11、随机噪声输出单元12以及量化单元13。
例如，以光栅扫描的顺序将8位图像的每个像素(x, y )的像素值IN ( x,y)供应至运算单元ll,作为要经历等级转换的图像(等级转换前的图像)。像素(x,y)表示从左侧第x个并且从顶部第y个的像素。
从生成并输出随机噪声的随机噪声输出单元12输出的随机噪声也被供应至运算单元11。
运算单元11累加像素值IN (x, y)和从随机噪声输出单元12输出的随机噪声，并且将作为相加的结果而获得的累加值供应至量化单元13。
量化单元13将从运算单元11供应的累加值量化为例如4位，并输出作为量化的结果而获得的4位量化值，作为等级转换后的图像的像素(x,y)的像素值OUT (x, y )。
在随机抖动方法中，筒化了等级转换设备的配置。然而，由于随机噪声被添加到像素值IN (x, y)，因此等级转换后的图像中噪声很显著，如图3B所示。因此，难以获得高质量的图像。
图4A和4B是用于说明有序抖动方法的图。
图4A是在过去通过有序抖动方法进行等级转换的等级转换设备的配置例子的图。图4B是通过图4A所示的等级转换设备的等级转换而获得的灰度图像的图。
在图4A中，等级转换设备包括运算单元21和量化单元22。
6例如，以光栅扫描的顺序将8位图像的每个像素(x, y )的像素值IN (x,y)供应至运算单元21,作为要经历等级转换的图像。抖动矩阵也被供应至运算单元21。
运算单元21累力口1'象素1'直IN ( x, y )和与具有'像素'值IN (x, y )的l象素(x,y)的位置(x, y)对应的随机矩阵的值，并将作为相加的结果而获得的累加值供应至量化单元22。
量化单元22将从运算单元21供应的累加值量化为例如4位，并输出作为量化的结果而获得的4位量化值，作为等级转换后的图像的像素(x,y)的像素值OUT (x, y )。
与随机抖动方法相比，通过有序抖动方法，能够提高等级转换后的图像的质量。然而，如图4B所示，抖动矩阵的样式可能出现在等级转换后的图像中。
图5A和5B是用于说明误差传播方法的图。
图5A是在过去通过误差传播方法进行等级转换的等级转换设备的配置例子的图。图5B是通过图5A所示的等级转换设备的等级转换而获得的灰度图叶象的图。
在图5A中，等级转换设备包括运算单元31、量化单元32、运算单元33和二维滤波器34。
例如，以光栅扫描的顺序将8位图像的每个像素(x, y)的像素值IN (x,y)供应至运算单元31，作为要经历等级转换的图像。二维滤波器34的输出被供应至运算单元31。
运算单元31累加像素值IN (x, y)和二维滤波器34的输出，并且将作为相加的结果而获得的累加值供应至量化单元32和运算单元33。
量化单元32将从运算单元31供应的累加值量化为例如4位，并输出作为量化的结果而获得的4位量化值，作为等级转换后的图像的像素(x,y)的像素值OUT (x， y )。
由量化单元32输出的像素值OUT (x,y)也被供应至运算单元33。
运算单元33从运算单元31供应的累加值中减去自量化单元32供应的像素值OUT ( x, y )，即从向量化单元32的输入中减去减去来自量化单元32的输出，以计算由量化单元32中的量化引起的量化误差-Q (x， y)。运算单元33将量化误差-Q (x,y)供应至二维滤波器34。二维滤波器34是用于过滤信号的二维滤波器。二维滤波器34过滤从运 算单元33供应的量化误差-Q (x,y),并将过滤的结果输出到运算单元31。
运算单元31累加如上所述由二维滤波器34输出的量化误差-Q(x,y)的 过滤结果和像素值IN ( x, y )。
在图5A所示的等级转换设备中，量化误差-Q ( x, y)经由二维滤波器34 被反馈回输入侧(运算单元31 )。等级转换设备配置了 二维△ ￡调制器。
通过上述二维AE调制器，将量化误差-Q (x，y)传#"到水平方向(x方 向)和垂直方向(y方向)上的空间频率的高频段。结果，如图5B所示，作 为等级转换后的图像，与通过随机噪声方法和有序抖动方法获得的图像相比， 可以获得高质量的图像。
在日本专利No.3959698中详细公开了使用二维△ ￡调制器进行到高质量 图像的等级转换的方法。

发明内容
如上所述，通过二维Ai:调制器，可以进行到高质量图像的等级转换。
然而，如图5A所示，二维A S调制器具有二维滤波器34。因此，在二 维滤波器34中，用于存储由运算单元33在过去输出并用于过滤的量化误差 的线存储器是必需的。
当将注意力放在某个像素(x， y)作为关注的像素(x, y)时，二维滤 波器使用已经获得的量化误差将过滤关注的像素(x, y )的量化误差-Q ( x, y ) 应用于出现在与关注的像素(x， y)的水平线相同的水平线(第y条线)上 并位于接近关注的像素(x, y)的位置处的多个像素，以及出现在关注的像 素(x， y)以上的水平线(例如第y-l条线或第y-2条线)上并且位于接近 关注的像素(x, y)的位置处的多个像素。
因此，除了出现在与关注的像素(x, y)的水平线相同的第y条线上的 像素的量化误差之外，二维滤波器需要存储不同于第y条线的水平线山的像 素的量化误差。为此目的，需要等于多个水平线的线存储器。
如上所述，在二维滤波器34中，需要等于多个水平线的线存储器。因此， 被配置为二维厶Z调制器的图5A所示的等级转换设备增加了尺寸和成本。
因此，希望使能够不使用线存储器进行可以获得高质量的图像的等级转 换，以由此实现等级转换设备的尺寸的减小和成本的降低。根据本发明的实施例，提供了一种转换图像的等级的等级转换设备，该 等级转换设备包括抖动部件，用于通过将随机噪声添加到形成所述图像的
像素值而将抖动应用于所述图像； 一维M:调制部件，用于将一维AS调制应 用于被应用了所述抖动的图像，或者提供了 一种用于致使计算机运作为该等 级转换设备的计算机程序。
根据本发明的另一实施例，提供了一种用于转换图像的等级的等级转换 设备的等级转换方法，所述等级转换方法包括步骤所述等级转换设备通过 将随机噪声添加到形成所述图像的像素值而将抖动应用于所述图像；所述等 级转换设备将一维AS调制应用于被应用了所述抖动的图像。
根据本发明的实施例，通过将随机噪声添加到形成所述图像的像素值而 将抖动应用于所述图像，并且将一维AS调制应用于被应用了所述抖动的图 像。
所述等级转换设备可以是独立的设备，或者可以是配置了 一个设备的内
分程序(internal block )。
可以通过经由传输介质传输或者在记录介质中记录来提供计算机程序。 根据本发明的实施例，能够进行等级转换。具体地，能够不使用线存储
器进行可以获得高质量图像的等级转换。


图1A和1B是8位灰度图像和在该图像的某一水平线上的像素值的图； 图2A和2B是通过删除所示的8位图像的低4位而形成的4位图像和在 该图像的某 一水平线上的像素值的图3A和3B是用于说明随;f几抖动方法的图； 图4A和4B是用于说明有序抖动方法的图； 图5A和5B是用于说明误差传播方法的图6是根据本发明的第一实施例的电视接收机(TV)的配置例子的方框
图7是调制转换单元45的配置例子的方框图8是用于说明要经历等级转换处理的像素(像素值)的顺序的图9是用于说明等级转换处理的流程图10A和10B是通过等级转换单元45的等级转换而获得的图像和在该图像的某一水平线上的像素值的图11是抖动添加单元51的配置例子的方框图； 图12是人类视觉的空间频率特性的图； 图13是用于说明作为空间频率的单位的周期/角度的图； 图14A和14B是用于说明系数设置单元64用于确定HPF62的滤波器系 数的方法的图15是一维A E调制单元52的配置例子的方框图； 图16是一维滤波器71的配置例子的方框图17A和17B是用于说明由系数设置单元72进行的确定一维滤波器71 的滤波器系数的方法的图18是一维滤波器71的另一个配置例子的方框图19是根据本发明的实施例的计算机的配置例子的方框图。
具体实施例方式
图6是根据本发明的实施例的电视接收机(TV)的配置例子的方框图。 在图6中，TV包括调谐器41、解复用器42、解码器43、噪声降低单元
44、 等级转换单元45、显示控制单元46和显示单元47。
调谐器41接收例如数字广播的广播信号，解调来自该广播信号的传输 流，并将该传输流供应至解复用器42。
解复用器42从调谐器41供应的传输流中分离需要的TS(传输流)分组， 并将该TS分组供应至解码器43。
解码器43解码在自解复用器42供应的TS分组中所包括的MPEG(运动 画面专家组)编码的数据以由此获得例如8位图像(数据)，并将该8位图像 数据供应至噪声降低单元44。
噪声降低单元44将噪声降低处理应用于从解码器43供应的8位图像， 并将例如作为噪声降低处理的结果而获得的12位图像供应至等级转换单元45。
换句话说，根据噪声降低单元44的噪声降低处理，8位图像被扩展为12 位图像。
等级转换单元45进行将从噪声降低单元44供应的12位图像转换成具有 显示单元47可以显示的位数的图像的等级转换。
10等级转换单元45从显示控制单元46获取显示单元47可以显示的图像的 位数和其他需要的信息。
当显示单元47可以显示的图像的位数是例如8位时，等级转换单元45 将从噪声降低单元44供应的12位图像等级转换为8位图像，并将该8位图 像供应至显示控制单元46。
显示控制单元46控制显示单元以显示从等级转换单元45供应的图像。
显示单元47包括例如LCD(液晶显示器)或者有机EL(有机电致发光)， 并在显示控制单元46的控制下显示图像。
图7是图6所示的等级转换单元的配置例子的图。
在图7中，等级转换单元45包括抖动添加单元51和一维A ￡调制单元 52。等级转换单元45将等级转换处理应用于从噪声降低单元44 (图6 )供应 的图^象，并将该图像供应至显示控制单元46 (图6)。
从噪声降低单元44 (图6 )供应的图像被供应至抖动添加单元51，作为 要经历等级转换的图像(下文中也称作目标图像)。
抖动添加单元51将随机噪声添加到形成从噪声降低单元44供应的目标 图像的像素值IN (x,y)，以由此将抖动应用于目标图像，并肩目标图像供应 至一维A ￡调制单元52。
一维A !2调制单元52将一维A H调制应用于/人抖动添加单元51供应的、 被应用了抖动的目标图像，并将由作为一维A ￡调制的结果而获得的像素值 OUT (x,y)形成的图像供应至显示控制单元46 (图6 )。
图8是在图7所示的等级转换单元45中要经历等级转换处理的像素的顺 序(像素值)的图。
噪声降低单元44 (图6)以例如如图8所示的光栅扫描顺序将目标像素 的像素(x,y)的像素值IN (x，y)供应至调制转换单元45。因此，等级调制 单元45以光栅扫描顺序设置目标图像的像素(x， y)的像素值IN (x, y)作 为等级转换处理的目标。
参考图9所示的流程图说明如图8所示的由等级转换单元45进行的等级 转换处理。
在等级转换处理中，抖动添加单元51等待要从噪声降低单元44供应的
目标图像的^f象素值IN以光栅扫描顺序。在步骤Sll中，抖动添加单元51将
用于向像素值IN (x, y )添加随机噪声的抖动添加到像素值IN ( x， y )，并将像素值IN(x,y)供应至一维A E调制单元52。处理前进到步骤S12。
在步骤S12中， 一维A E调制单元52将一维A ￡调制应用于从抖动添加 单元51供应的、被应用了抖动的像素值，并将作为一维AS调制的结果而获 得的像素值OUT (x,y)供应至显示控制单元46 (图6 )，作为等级转换后的 图像的像素值。处理前进到步骤S13。
在步骤S13中，等级调制单元45确定是否存在从噪声降低单元44供应 的像素值IN ( x， y )。当确定存在从噪声降低单元44供应的像素值IN ( x, y ) 时，处理返回到步骤Sll。其后，重复相同的处理。
当在步骤S13中确定不存在从噪声降低单元44供应的像素值IN (x,y) 时，等级转换处理结束。
图10A和10B是通过等级转换单元45的等级转换而获得的图像和在该 图像的某一水平线上的像素值的图。
图IOA是作为将图1A中所示的8位图像设置为目标图像在等级转换单 元45中进行的等级转换的结果而获得的4位图像(等级转换后的图像)的图。 图IOB是在等级转换后的4位图像的某一水平线上的像素值的图。
8位可以表示256个等级，而4位仅可以表示16个等级。然而，在等级 转换单元45的等级转换后的4位图像中，存在包^^像素值是某个量化值Q 的像素以及像素值是比量化值Q大1的量化值Q+l (或者比像素值Q小1的 量化值Q-l)的像素的稀疏和密集的稀疏区和密集区，即像素值是量化值Q 的像素的比率很大的区域和像素值是量化值Q+l的像素的比率很大的区域 (像素值是量化值Q+l的像素的比率很小的区域和像素值是量化值Q的像素 的比率很小的区域)。由于人类视觉的整体影响，看起来好像稀疏和密集区的 像素值平滑地改变。
结果，无论事实是4位仅可以表示16个等级，在由等级转换单元45等 级转换后的4位图像可以模拟地表示256个等级，看起来好像4位图像是等 级转换前的8位目标图像。
图11是图7所示的抖动添加单元51的配置例子的图。
在图11中，抖动添加单元51包括运算单元61、 HPF (高通滤波器)62、 随机噪声输出单元63和系数设置单元64。
以参考图8说明的光栅扫描顺序将从噪声降低单元44 (图6)供应的目 标图像的像素值IN (x, y)供应至运算单元61。 HPF62的输出被供应至运算
12单元61。
运算单元61将HPF62的输出添加到目标图像的像素值IN (x, y ),并将 作为向家的结果而获得的累加值供应至一维A2调制单元52 (图7),作为应 用了抖动的像素值F (x，y)。
HPF62基于由系数设置单元64设置的滤波器系数来过滤由随机噪声输出 单元63输出的随机噪声，并将作为过滤的结果而获得的随机噪声的高频分量 供应至运算单元61。
随机噪声输出单元63生成符合例如高斯分布的随机噪声，并将随机噪声 输出到HPF62。
系数:没置单元64基于人类视觉的空间频率特性和显示单元47 (图6 )的 分辨率来确定HPF62的滤波器系数，并将该滤波器系数设置在HPF62中。
具体地，系数设置单元64存储人类视觉的空间频率特性。系数设置单元 64从显示控制单元46 (图6 )获取显示单元47的分辨率。系数设置单元64 如下说明地基于人类视觉的空间频率特性和显示单元47的分辨率来确定 HPF62的滤波器系数，并将滤波器系数设置在HPF62中。
除此之外，系数设置单元64根据例如用户的操作来调整HPF62的滤波 器系数。从而，用户可以将在等级转换单元45的等级转换后的图像的质量调 整为喜好的质量。
在如上配置的抖动添加单元51中，系数设置单元64基于人类视觉的空 间频率特性和显示单元47的分辨率来确定HPF62的滤波器系数，并将滤波 器系数设置在HPF62中。
HPF62进行由系数设置单元64设置的滤波器系数和由随机噪声输出单元 63输出的随机噪声的相乘累加等，以由此过滤由随机噪声输出单元63输出 的随机噪声，并将随机噪声的高频分量供应至运算单元61。
运算单元61累加从噪声降低单元44 (图6 )供应的目标图像的12位像 素值IN (x, y )和从HPF62供应的随机噪声的高频分量。运算单元61将例如 与目标图像相同位数的12位累加值(或者位数等于或大于目标图像的位数的 累加值)供应至一维调制单元52 (图7 )，作为被应用了抖动的像素值F (x,y)。
下面参考图12到图14A和14B说明基于人类视觉的空间频率特性和显 示单元47的分辨率来确定滤波器系数的方法。由系数设置单元64来进行该方法。
图12是人类视觉的空间频率特性的图。
在图12中，横坐标表示空间频率，纵坐标表示人类视觉的灵敏性。 如图12所示，人类视觉的灵敏性在接近9周期Z度的空间频率处最高， 在较高的空间频率处较低。
图13是用于说明作为空间频率的单位的周期/度的图。 周期/度表示在相对于场角(angle of field)的单位角度的范围内见到的带 状图案的数量。例如，10周期/度意味着在1度的场角的范围内见到IO对白 线和黑线。20周期/度意味着在1度的场角的范围内见到20对白线和黑线。 最终在显示单元(图6 )上显示由等级转换单元45等级转换后的图像。 因此，从改进在显示单元47上显示的图像质量的观点，关于人类视觉的空间 频率特性，仅需要考虑达到显示单元47上显示的图像的最大空间频率的空间 频率。
因此，系数设置单元64 (图11 )基于在人类视觉的空间频率特性中等于 或低于与显示单元47的分辨率对应的空间频率的空间频率特性来确定HPF62 的滤波器系数。
换句话说，可以获得显示单元47上显示的图像的最大空间频率作为以来 自显示单元47的分辨率的周期/度为单位的空间频率，以及当观看者观看在 显示单元47上显示的图像时从观看者到显示单元47的距离(下文中也称作 观看距离)。
当将显示单元47的垂直方向的长度(纵向长度)表示为例如H英尺时， 采用大约2.5H到3.0H作为观看距离。
例如，当显示单元47具有40英尺尺寸、1920 x 1080像素用于显示所谓 的全HD(高清晰度)图像时，显示单元47上显示的图像的最大空间频率是 30周期/度。
显示单元47上显示的图像的最大空间频率取决于显示单元47的分辨率。 因此，在以下说明中，最大空间频率也净支适当地称作与分辨率对应的空间频率。
图14A和14B是用于说明系数设置单元64 (图11 )用来基于在人类视 觉的空间频率特性中等于或低于与显示单元47的分辨率对应的空间频率的 空间频率特性来确定HPF62的滤波器系数的方法。
14图14A是在人类视觉的空间频率特性中等于或低于与显示单元47的分 辨率对应的空间频率的频率特性的图。
在图14A中，示出了假设与显示单元47的分辨率对应的空间频率是例 如30周期/度的情况下图12中所示的人类^L觉的空间频率特性中等于或低于 30周期/度的空间频率的特性。
系数设置单元64基于图14A所示的人类视觉的空间频率特性来确定 HPF62的滤波器系数，使得HPF62的幅度特性的高频特性与图14A所示的人 类^L觉的空间频率特性相反。
图14B是HPF62的幅度特性的图，其中如上所述确定该HPF62的滤波 器系数。
图14B所示的幅度特性是在30周期/度时增益最大的HPF的特性，其中 30周期/度是与显示单元47的分辨率对应的空间频率，并且该频率特性与图 14A所示的人类视觉的空间频率特性相反。
因此，在具有图14B所示的幅度特性的HPF62 (图11 )中，从随机噪声 输出单元63输出的随机噪声中，大量高频分量(对于其人类视觉的灵敏性很 低)通过。在9周期/度附近的频率分量(对于其人类视觉的灵敏性很高)以 及与低于9周期/度的空间频率对应的频率分量被截止。
结果，在运算单元61 (图11)中，在随机噪声中对于其人类视觉的灵敏 性4艮高的频率分量未被添加(几乎不添加)到目标图像的像素值IN (x,y)。 对于其人类视觉的灵敏性很低的大量高频分量被添加到目标图像的像素值IN
(x,y)。因此，能够防止在等级转换单元45的等级转换后的图像中视觉上识 别噪声，并在外观上改善图像质量。
HPF62的幅度特性的高频分量特性不需要完全与人类视觉的空间频率特 性的相反(opposite)特性一致。换句话说，HPF62的幅度特性的高频分量特 性仅需要与人类视觉的空间频率特性的相反特性类似。
作为用于过滤由随机噪声输出单元63输出的随机噪声的滤波器(下文中 也称作噪声滤波器)，替代HPF62,可以采用其整个幅度特性是图14A所示 的人类视觉的空间频率特性的相反特性的滤波器。
根据图14A所示的人类视觉的空间频率特性，作为对于其人类视觉的灵 敏性很低的频率分量，除了高频分量之外，存在低频分量。作为噪声滤波器， 可以采用通过随机噪声输出单元63输出的随机噪声中的高频和低频分量的
15带通滤波器。
然而，当采用带通滤波器作为噪声滤波器时，噪声滤波器的接头的数量 增加，并且设备的尺寸和成本增加。
根据本发明人进行的模拟，即使釆用带通滤波器作为噪声滤波器，与采
用HPF62时获得的图像质量相比，等级转换后的图像的图像质量没有实现明
显的改善。
当采用带通滤波器作为噪声滤波器时，除了高频分量之外，随机噪声中
的低频分量被添加到目标图像的像素值IN (x，y)。结果，在某些情况下，像 素值是量化值Q的大量像素或者像素值是量化值Q+l的大量像素持续的选择 出现在参考图IOA和IOB说明的稀疏和密集区中。结果，在等级转换后的图 像中见到不自然的线。
因此，从设备的尺寸和成本的观点以及从等级转换后的图像的图像质量 的观点，希望采用HPF62，其幅度特性的高频特性是人类视觉的空间频率特 性的相反特性如图14B所示。
图15是图7所示的一维AS调制单元52的配置例子的图。
在图15中，由相同的参考数字和标记表示作为图5A所示的一维Ai;调 制器的等级转换设备相同的组成部分。
在图15中， 一维AS调制单元52包括运算单元31、量化单元32、运算 单元33、 一维滤波器71和系数设置单元72。
以光栅扫描顺序将被应用了抖动的图像的像素值F (x,y)从抖动添加单 元51 (图7)供应至运算单元31。 一维滤波器71的输出^皮供应至运算单元 31。
运算单元31累加从抖动添加单元51供应的设置F (x，y)和一维滤波器 71的输出，并将作为相加的结果而获得的累加值供应至量化单元32和运算 单元33。
量化单元32将从运算单元31供应的累加值量化为8位，这是显示单元 47 (图6)显示的图像的位数。量化单元32将作为量化的结果而获得的8位 量化值(包括量化误差-Q (x, y))供应至运算单元33和显示控制单元46, 作为等级转换后的图像的像素(x,y)的像素值OUT (x,y)。
一维AS调制单元52从显示控制单元46获取显示单元47所显示的图像 的位数，并控制量化单元32进行将位数量化为量化值的量化。运算单元33从运算单元31供应的累加值中减去从量化单元32供应的像 素值OUT( x, y )，即从向量化单元32的输入中减去来自量化单元32的输出， 以计算由量化单元32中的量化引起的量化误差-Q (x， y)。运算单元33将量 化^^吴差-Q (x，y)供应至一维滤波器71。
一维滤波器71是用于过滤信号的一维滤波器。 一维滤波器71过滤从运 算单元33供应的量化误差-Q (x,y)，并将过滤的结果输出到运算单元31。
运算单元31累加如上所述由一维滤波器71输出的量化误差-Q(x,y)的 过滤结果和像素值IN ( x， y )。
系数设置单元72基于人类视觉的空间频率特性和显示单元47 (图6)的 分辨率来确定一维滤波器71的滤波器系数，并将该滤波器系数设置在一维滤 波器71中。
具体地，系数设置单元72存储人类视觉的空间频率特性。系数设置单元 72从显示控制单元46 (图6 )获取显示单元47的分辨率。系数设置单元72 如下所述基于人类视觉的空间频率特性和显示单元47的分辨率来确定一维 滤波器71的滤波器系数，并且将滤波器系数设置在一维滤波器71中。
除此之外，系数设置单元72根据例如用户的操作来调整一维滤波器71 的滤波器系数。从而，用户可以将等级转换单元45的等级转换后的图像的质 量调整为喜好的质量。
在如上配置的一维AS调制单元52中，系数设置单元72基于人类视觉 的空间频率特性和显示单元47的分辨率来确定一维滤波器71的滤波器系数， 并将该滤波器系数设置在一维滤波器71中。
一维滤波器71进行由系数设置单元71设置的滤波器系数和由运算单元 33输出的量化误差-Q (x，y)的相乘累加等,以由此过滤由运算单元33输出 的量化误差-Q (x, y),并将量化误差-Q (x, y)的高频分量供应至运算单元 31。
运算单元31累加从抖动添加单元51供应的像素值F (x,y)和一维滤波 器71的输出，并将作为相加的结杲而获得的累加值供应至量化单元32和运 算单元33。
量化单元32将从运算单元31供应的累加值量化为8位，这是由显示单 元47 (图6 )显示的图像的位数。量化单元32将作为量化结果而获得的8位 量化值供应至运算单元33和显示控制单元46 (图6 )，作为等级转换后的图像的像素值OUT (x,y)。
运算单元33从运算单元33供应的累加值中减去从哦呢量化单元32供应 的销售者OUT (x, y ),以计算从量化单元32供应的像素值OUT (x, y )中所 包括的量化误差-Q (x，y)。运算单元33将量化误差-Q (x, y)供应至一维滤 波器71。
一维滤波器71过滤从运算单元33供应的量化误差-Q ( x， y ),并将过滤 的结果输出到运算单元31。运算单元31累加如上所述由一维滤波器71输出 的量化误差-Q (x，y)的过滤结果和像素值IN (x,y)。
在一维AS调制单元52中，量化误差-Q(x,y)经由一维滤波器71被反 馈回输入侧(运算单元31 )。 一维AS调制单元52根据量化误差-Q ( x, y )进 行一雄Ai:调制。因此， 一维AS调制单元52将一维AS调制应用于从抖动添 加单元51供应的像素值F (x, y),并输出像素值OUT ( x, y)作为一维AS 调制的结果。
在图15所示的一维AS调制单元52中，量化误差-Q (x,y)是关于像素 值F (x,y)的量化误差。然而，当通过AS调制像素值F (x,y)来计算像素 值OUT (x,y)时，不使用关于像素值(x,y)的量化误差-Q (x，y)，而使用 关于在像素值F (x, y)之前的像素值(早于像素值F (x, y)被处理的像素值) 的量化误差。
运算单元31将通过使用例如关于在紧接在像素值F (x， y )之前处理的 五个像素的像素值F (x-l,y)、 F (x-2,y)、 F (x-3,y)、 F (x-4,y)和F (x-5， y)的量化误差进行的一维滤波器71的过滤结果添加到像素值F (x，y)。
图16是图15所示的一维滤波器71的配置例子的图。
在图16中，一维滤波器71包括显示单元81!到815、乘法单元82!到825、 以及相加单元83,并且配置了 5抽头FIR (有限脉冲响应)滤波器。
在前一级的延迟单元81w中的存储值被输入到延迟单元81; (i=l、 2、 3、 4和5)。延迟单元81i临时存储到其处的输入，以由此将输入延迟等于一个像 素的时间，并将所存储的值输出到后一级的延迟单元81w和乘法单元82i。
从量化单元33 (图15)供应的量化误差-Q (x, y):故供应至最前级的延 迟单元8h。延迟单元8h存储量化误差-Q (x，y)以由此对其延迟。
最后级的延迟单元815将延迟后的输入输出到乘法单元825。
乘法单元82,将延迟单元81i的输出与滤波器系凄ta (i)相乘，并将作为
18乘法的结果而获得的相乘值供应至相加单元83。
相加单元83累加从乘法单元82,到825供应的相乘值，并将作为相加的 结果而获得的累加值输出到运算单元31 (图15),作为量化误差-Q (x,y)的 过滤结果。
如上所述，在一维滤波器71中，存储了水平线上的一些(在图16中，5 个)像素的量化误差的延迟单元81i是必需的。然而，不需要提供图5A中所 示的二维滤波器34所需的线存储器。
因此，与图5A所示的二维A2调制器相比，使用包括这种一维滤波器71 的一维AS调制单元52,能够实现设备的储存的减小和成本的降低。
下面参考图17A和17B说明基于人类视觉的空间频率特性和显示单元47 的分辨率来确定一维滤波器71的滤波器系数的方法。该方法由图15所示的 系数设置单元72进行。
在图15所示的一维AS调制单元52中，当由运算单元31输出的累加值 被表示为U(x,y)时，以下公式(1 )和(2)成立。
-Q (x, y ) =U (x, y) -OUT (x ,y) (1)
U (x， y ) =F (x, y ) +K x (隱Q ( x, y)) ( 2 )
当以公式(1)替换公式(2)以消去U (x,y)时，获得公式(3)。
OUT (x,y) =F (x,y) + ( 1-K) xQ(x,y) (3)
在公式(3)中，K表示一维滤波器71的变换函数。
在AS调制中，进行可以说用于将量化误差推到高频侧的噪声修整。在 公式(3)中，由(1-K)调制量化误差Q (x,y)。该调制是噪声修整。
因此， 一维AS调制单元52的AS调制中进行的噪声修整的幅度特性不 仅取决于一维滤波器71的特性，而且取决于一维滤波器71的滤波器系数。
如参考图12所说明的，人类视觉的灵敏性在9周期/度的空间频率处最 高，在较高频率处较低。
另一方面，由等级转换单元45等级转换后的图像最终显示在显示单元 47(图6)上。因此，从改善显示单元47上所显示的图像质量的观点，关于 人类^L觉的空间频率特性，仅需要考虑达到与显示单元的分辨率对应的空间 频率即显示单元47上所显示的图像的最大空间频率的空间频率。
因此，系数i殳置单元72 (图15 )基于在人类4见觉的空间频率特性中等于 或低于与显示单元47的分辨率对应的空间频率的空间频率特性来确定一维滤波器71的滤波器系数。
图17A和17B是用于说明基于在人类视觉的空间频率特性中等于或低于 与显示单元47的分辨率对应的空间频率的空间频率特性来确定一维滤波器 71的滤波器系数的方法的图。该方法由系数设置单元72 (图15)进行。
图17A是在人类视觉的空间频率特性中等于或低于与显示单元47的分 辨率对应的空间频率的空间频率特性的图。
在图17A中，，i设与显示单元47的分辨率对应的空间频率是例如30周 期/度，示出了图12中所示的在人类视觉的空间频率特性中等于或低于30周 期/度的空间频率的特性。
系数设置单元72基于图17A所示的人类视觉的空间频率特性来确定一 维滤波器71的滤波器系数，使得取决于一维滤波器71的特性的噪声修整的 幅度特性的高频特性是图17A所示的人类视觉的空间频率特性的相反特性。
图17B是取决于一维滤波器71的特性的噪声修整的幅度特性的图，如上 所述确定该一维滤波器71的滤波器系数.
图17B所示的幅度特性是在30周期/度处增益最大(例如OdB)的HPF 的特性，30周期/度是与显示单元47的分辨率对应的空间频率，并且高频特 性是图17A所示的人类视觉的空间频率特性的相反特性。
因此，使用具有图17B所示的幅度特性的噪声修整，在等级转换后的图 像的像素值OUT (x, y)中所包括的量化误差中，对于其人类视觉的灵敏性 很低的较高频分量很大，并且对于其人类视觉的灵敏性很高的、与接近9周 期/度的空间频率对应的频率分量以及与低于9周期/度的空间频率对应的频 率分量很小。
结果，能够防止在等级转换单元的等级转换后的图像中视觉上识别噪声， 并在外观上改善图像质量。
如同参考图MA和14B说明的HPF62 (图11)的幅度特性，噪声修整的 幅度特性的高频特性不需要完全与人类视觉的空间频率特性的相反特性一 致。换句话说，噪声修整的幅度特性的高频特性仅需要与人类视觉的空间频 率特性的相反特性类似。
如同参考图14A和14B说明的HPF62,可以将噪声修整的幅度特性的整 个高频特性i殳置为图17A所示的人类视觉的空间频率特性的相反特性。然而， 如同HPF62 (参考图14A和14B说明的)，从设备的尺寸和成本的观点，以
20及从等级转换后的图像的图像质量的观点，作为噪声修整的幅度特性，希望 采用HPF的特性，其幅度特性的高频特性是人类视觉的空间频率特性的相反
特性，如图17B所示。
确定噪声修整的幅度特性的一维滤波器71包括五个延迟单元81!到815, 如图16所示。因此， 一维滤波器71使用关于紧接在像素(x,y)之前被处理 的五个像素(下文中也称作紧接在前的被处理的像素)的像素值的量化误差 来计算添加到被供应至运算单元31的像素(x,y)的像素值F (x,y)的值。
当就紧接在之前被处理的像素是在与像素(x，y)的水平线相同的水平线 上的像素时， 一般而言，在像素(x,y)和紧接在前被处理的像素之间存在相 关性。然而，但紧接在前被处理的像素是与像素(x,y)存在的水平线不同的 水平线上的像素时，即当像素(x,y)是例如在水平线的顶部的像素时，很有 可能在像素(x,y)和所有紧接在前被处理的像素之间不存在相关性。
看起来不希望一维滤波器71使用关于与像素(x, y)不具有相关性的紧 接在前被处理的像素的像素值的量化误差来计算被添加到像素(x,y)的像素 值F (x,y)的值。因此，可以考虑在将图像(被应用了抖动)从抖动添加单 元51供应至运算单元31的水平空白期(和垂直空白期)内将一维滤波器71 的五个延迟单元81!到815中的存储值初始化为诸如0的固定值。
然而，根据本发明人进行的模拟，确认与间存储值初始化为固定值相比， 保持将一维滤波器到815中的存储值存储在其中而不初始化时可以获得更 高质量的图像(等级转换后的图像)。
因此，希望一维滤波器， 一维滤波器71保留存储单元81i中的存储值存 储在其中而不在被应用了抖动的图像的水平空白期内初始化存储值。
如上所述，当保留延迟单元81i中的存储值存储在其中而不在水平空白期 内将其初始化为固定值时，可以获得较高质量的图像。这被认为是因为量化 误差的传播性能比在将存储值初始化为固定值时更好。
因此，从改善量化误差的传播性能的观点，除了一维滤波器71不在水平 空白期内初始化延迟单元81;中的存储值之外，可以由随机数初始化延迟单元 81i中的存储值。
图18是图15所示的一维滤波器71的另一个配置例子的图。
在图18中，由相同的参考数字和标记表示与图16中所示相对应的组成 部分。下面适当地省略了这些组成部分的说明。在图18中，除了新提供了随机数输出单元84和开关85之外， 一维滤波 器71被配置与图16所示的相同。
随机数输出单元84生成可以被当作由运算单元31 (图15)计算的量化 误差-Q (x，y)的值的随机数，并输出该随机数。
开关85在水平空白期(和垂直空白期)内选择随机数输出单元84的输 出。在其他时段，开关85选择从运算单元33 (图15 )供应的量化误差-Q (x, y)，并将量化误差-Q (x,y)供应至延迟单元81。
在图18所示的一维滤波器71中，在不同于水平空白期的时^1内，开关 85选择从运算单元33供应的量化误差-Q (x,y),并将量化误差-Q (x,y)供 应至延迟单元81"从而，进行与图16所示相同的过滤。
另一方面，在水平空白期，开关85选择随机数输出单元84的输出。随 机数输出单元84顺次将五个随机数供应至延迟单元81!。从而，第i个随机 数被存储在延迟单元81 i中。关于在水平空白期的末端后的水平线的顶部的像 素，在水平空白期内，通过使用延迟单元811到815中存储的随机数来计算 作为由运算单元31 (图15)添加的值的、 一维滤波器71的输出。
在水平空白期内，不进行从一维滤波器71到运算单元31的输出。
如上所述，在等级转换单元45 (图7)中，抖动添加单元51将随;^几噪声 添加到形成图像的像素值，以由此将抖动应用于图像。 一维AS调制单元52 将一维AS调制应用于被应用了抖动的图像。因此，能够不使用线存储器进 行等级转换，并获得高质量的图像，作为等级转换后的图像。
因此，由于能够不使用线存储器进行等级转换，同时可以获得高质量的 图像，因此能够实现设备的尺寸的减小和成本的降低。
由于不使用线存储器进行等级转换，因此等级转换单元45进行一维AS 调制，而不是二维AS调制。
一维AS调制单元52将一维AS调制应用于以光栅扫描顺序供应的像素 值。因此，在一维AS调制后的图像中，可以在水平方向而不是在垂直方向 获得AS调制的效果(经过采样和噪声修整的效果)。
因此，当仅进行一维ai:调制时，在一维as调制后的图4象的垂直方向上， 等级看起来很差，并且量化噪声很显著。
因此，等级转换单元45将抖动应用于一维AS调制之前的图像。结果， 在等级转换单元45的等级转换后的图像中，在垂直方向上获得了抖动的效
22果，在水平方向上获得了抖动和一维AS调制的效果。在水平方向上和垂直 方向上都能够在外观上改善图像质量。
等级转换单元45对于抖动使用通过用HPF62过滤随机噪声而获得的随 机噪声的高频分量。等级转换单元45基于在人类视觉的空间频率特性中等于 或低于与显示单元47 (图6)的分辨率对应的空间频率的空间频率特性来确 定HPF62的滤波器系数，使得HPF62的幅度特性的高频特性是人类视觉的空 间频率特性的相反特性。
因此，由于用于抖动的随机噪声的高频分量是对于其人类视觉的灵敏性 很低的频率分量，因此能够改善等级转换后的图像的外观上的图像质量。
等级转换单元45基于在人类视觉的空间频率特性中等于或低于与显示 单元47的分辨率对应的空间频率的空间频率特性来确定一维滤波器71(图 15)的滤波器系数，使得对于量化误差的噪声修整的幅度特性的高频特性是 人类视觉的空间频率特性的相反特性。
因此，由于量化误差的频率分量是对于其人类视觉的灵敏性很低的高频 分量，因此能够改善等级转换后的图像的外观上的图像质量。
可以不提供HPF62 (和系数设置单元64)而配置抖动添加单元51 (图 11)。在此情况下，能够降低设备的尺寸。然而，在此情况下，与提供HPF62 时实现的图像质量相比，等级转换后的图像的外观上的图像质量低。
当要经历等级转换单元45中的等级转换的图像具有诸如YCbCr等的多 个分量作为像素值时，对于每个分量独立地进行等级转换处理。当目标图像 具有Y分量、Cb分量和Cr分量作为像素值时，等级转换处理被应用于仅Y 分量、被应用于仅Cb分量和被应用于仅Cr分量。
已经说明了应用于TV中的等级转换的本发明。然而，除了 TV以外，本 发明可应用于处理图像的所有种类的装置中的等级处理。
例如，在目前迅速发展的HDMI (高清晰度多媒体接口 )中，除了 8位 像素值之外，规定了用于传输IO位和12位像素值的深颜色。然而，等级转 换单元45的等级转换处理可以应用于在显示8位图像等的显示器上显示由这 种HDMI传输的10位和12位像素值的等级转换。
例如，当用于播放诸如Blu-Ray⑧盘的盘的视频装置再现例如12位图像 时，从视频装置通过用于传输8位图像的传输线来传输12位图像,并在显示 8位图像的显示器上显示12位图像。在此情况下，中视频装置中，等级转换
23单元45等级转换处理以由此将12位图像转换成8位图像并将8位图像传输 到显示器。从而，显示器可以模拟显示12位图像。
可以通过硬件进行或者通过软件进行上述处理序列。当由软件进行该处 理序列时，将用于该软件的计算机程序安装在通用计算机等中。
图19是根据本发明的实施例的计算机的配置例子的图，其中该计算机中 安装了用于执行处理序列的计算机程序。
可以将计算机程序预先记录在被并入计算机中的用作记录介质的硬盘
105或ROM (只读存储器)103中。
可替换地，可以将计算机程序临时存储在诸如软盘、CD-ROM (紧致盘 只读存储器)、MO (磁光)盘、DVD (数字通用盘)、磁盘或半导体存储器 的可移除记录介质111中。可以将这种可移除记录介质111提供为所谓的包 软件。
可以从如上所述的可移除记录介质111中将计算机程序安装在计算机中。 除此之外，可以通过经由用于数字卫星广播的人造卫星的无线电从下载站点 将计算机程序传送到计算机，或者通过经由诸如LAN (局域网)或因特网的 网络的有线从下载站点传送到计算机。计算机可以在通信单元108中接收以 该方式传送的计算机程序，并将计算机程序安装在并入其中的硬盘105中。
计算机并入了 CPU(中央处理单元)102。输入和输出接口 IIO经由总线 101连接到CPU102。当用户通过例如操作包括键盘、鼠标和麦克风的输入单 元107经由输入和输出接口 110输入命令时，CPU102根据该命令执行ROM (只读存储器)103中所存储的计算机程序。可替换地，CPU102加载硬盘105 中所存储的计算机程序、经由卫星或网络所传送的、由通信单元108接收的、 并被安装在硬盘105中的计算机程序、或者从可移除记录介质111 (其被插入 驱动器109中)读出的并在硬盘105中被安装到RAM(随机存取存储器)104 上的计算机程序，并执行计算机程序。从而，CPU102执行遵循流程图的处理 或者由具有方框图中所示的配置的设备执行的处理。根据需要，例如，CPU 经由输入和输出接口 IIO从包括LCD(液晶显示器)和扬声器的输出单元106 输出处理的结果，从通信单元108传输该结果，并将结果记录在硬盘105中。
在本说明书中，描述用于致使计算机执行各种处理的处理步骤并不需要 总是以根据流程图所述的时间序列来进行。处理步骤包括并行或单独地执行 的处理(即并行处理或根据对象的处理)。可以由一个计算机处理或者可以由多个计算机以分布式处理计算机程 序。此外，可以将计算机程序传送到远程计算机并执行。
本发明的实施例不限于上述实施例。不脱离本发明的精神能够对实施例 进行各种修改。
本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种 修改、组合、子组合和变更，只要其在所附权利要求或其等效物的范围内。
相关申请的交叉引用
本发明包含与2008年2月1日在日本专利局提交的日本专利申请JP 2008-022711有关的主题，通过引用将其全部内容合并于此。
权利要求
1. 一种转换图像等级的等级转换设备，该等级转换设备包括抖动部件，用于通过将随机噪声添加到形成所述图像的像素值而将抖动应用于所述图像；一维Δ∑调制部件，用于将一维Δ∑调制应用于被应用了所述抖动的图像。
2. 根据权利要求1所述的等级转换设备，其中所述抖动部件具有用于过 滤信号的HPF (高通滤波器)，用所述HPF过滤所述随机噪声，并将所获得 的作为过滤结果的所述随机噪声的高频分量添加到所述像素值。
3. 根据权利要求2所述的等级转换设备，其中所述HPF的滤波器系数被 确定为使得所述HPF的幅度特性的高频特性是人类视觉的空间频率特性的相 反特性。
4. 根据权利要求3所述的等级转换设备，其中，基于在所述人类一见觉的 空间频率特性中等于或小于与用于显示被应用了 AS调制的图像的显示部件 的分辨率对应的空间频率的空间频率特性，所述HPF的滤波器系数被确定为使得所述HPF的幅度特性的高频特性是所述人类视觉的空间频率特性的相反 特性。
5. 根据权利要求4所述的等级转换设备，还包括设置部件，用于基于所 述人类视觉的空间频率特性和所述显示部件的分辨率来i殳置所述HPF的滤波 器系数。
6. 根据权利要求5所述的等级转换设备，其中所述设置部件还根据用户 的操作来调整所述HPF的滤波器系数。
7. 根据权利要求1所述的等级转换设备，其中 所述一维AS调制部件包括一维滤波器，用于过滤量化误差；运算部件，用于累加^皮应用了抖动的图像的像素值和所述一维滤波 器的输出；以及量化部件，用于量化所述运算部件的输出，并输出包括所述量化误 差的量化值，作为所述一维Ai:调制的结果，以及所述一维滤波器的滤波器系数被确定为使得由所述一维AS调制部件进 行的噪声修整的幅度特性的高频特性是人类视觉的空间频率特性的相反特性。
8. 根据权利要求7所述的等级转换设备，其中基于在所述人类视觉的空间频率特性中等于或低于与用于显示被应用了 AS调制的图像的显示部件的 分辨率对应的空间频率的空间频率特性，所述一维滤波器的滤波器系数;陂确定为使得所述噪声修整的幅度特性的高频特性是所述人类视觉的空间频率特 性的相反特性。
9. 根据权利要求8所述的等级转换设备，还包括设置部件，用于基于所 述人类视觉的空间频率特性和所述显示部件的分辨率来设置所述一维滤波器 的滤波器系数。
10. 根据权利要求9所述的等级转换设备，其中所述设置部件还根据用 户的操作来调整所述一维滤波器的滤波器系数。
11. 根据权利要求7所述的等级转换设备，其中 所述一维滤波器包括多个延迟部件，用于存储输入以由此延迟所述输入；以及 乘法部件，用于将所述多个延迟部件的输出乘以所述滤波器系数，以及在被应用了4牛动的图像的水平空白期内，所述一维滤波器致使所述延迟 部件保持所述延迟部件中的存储值被存储而不初始化所述存储值。
12. 根据权利要求7所述的等级转换设备，其中 所述一维滤波器包括多个延迟部件，用于存储输入以由此延迟所述输入；以及 乘法部件，用于将所述多个延迟部件的输出乘以所述滤波器系数，以及在被应用了抖动的图像的水平空白期内，所述一维滤波器用随机数初始 化所述延迟部件中的存储值。
13. —种用于转换图像的等级的等级转换设备的等级转换方法，所述等 级转换方法包括步骤所述等级转换设备通过将随机噪声添加到形成所述图像的像素值而将抖 动应用于所述图像；所述等级转换设备将一维Ai:调制应用于被应用了所述抖动的图像。
14. 一种计算机程序，用于致使计算机运作为转换图像的等级的等级转换设备，所述计算机程序致使所述计算^L运作为抖动部件，用于通过将随机噪声添加到形成所述图像的像素值而将抖动应用于所述图l象；以及一维Ai:调制部件，用于将一维AS调制应用于被应用了所述抖动的图像。
15. —种转换图像的等级的等级转换设备，所述等级转换设备包括 抖动单元，用于通过将随机噪声添加到形成所述图像的像素值而将抖动应用于所述图像；一维Ai:调制单元，用于将一维AS调制应用于被应用了所述抖动的图像。
全文摘要
本发明公开了一种等级转换设备、等级转换方法和计算机程序。一种转换图像的等级的等级转换设备包括抖动单元，用于通过将随机噪声添加到形成所述图像的像素值而将抖动应用于所述图像；一维Δ∑调制单元，用于将一维Δ∑调制应用于被应用了所述抖动的图像。
文档编号H04N1/405GK101500064SQ20091000984
公开日2009年8月5日 申请日期2009年1月24日 优先权日2008年2月1日
发明者塚本信, 平井纯, 西尾文孝, 高桥巨成 申请人:索尼株式会社