专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，更具体地，涉及能够改善在(例 如)灰度级(grayscale)转换后的图像的视觉品质的图像处理设备、图像处理方法和程序。 例如，为了在显示装置上将具有N位像素值的图像(下文中称为N位图像)显示 为具有小于N位的M位像素值的图像，需要将N位图像转换为M位图像，即，需要执行转换 图像的灰度级的灰度级转换。 作为将N位图像转换为M位图像的方法(灰度级转换方法)，例如，存在将N位像 素值的最低有效N-M位删除并且将像素值量化为M位像素值的方法。 当在显示装置上显示图像信号时，图像的品质(图像品质)极大地受到图像信号 的量化的影响。图像信号的量化是将图像信号的每一像素的像素值近似为可以由预定信息 量所表示的值。例如，当由8位表示每一像素的像素时，将最低有效4位删除，并且将像素 值量化到最高有效4位。以此方式，可以将数据量减少一半。 接下来，参考图1和图2描述把N位像素值的最低有效N-M位删除并且将像素值 量化为M位像素值的灰度级转换方法。 图1示出8位灰度级图像以及图像中水平线上的像素值。 图1的A示出8位灰度级图像的示例。像素值在垂直方向上不变化，但像素值在水 平方向上逐渐变化。图1的B是图示图1的A中所示的像素值的曲线图。在该曲线图中， 水平轴表示水平方向上的坐标，而垂直轴表示每一坐标处的像素值。即，在8位灰度级图像 中，像素值的级别从左至右在水平方向上逐渐从100变为200。 图2示出通过将图1中所示的8位灰度级图像的最低有效4位删除并且将灰度级 图像量化为4位所获得的图像以及图像中水平线上的像素值。 图2的A示出通过将图1的A中所示的8位灰度级图像的最低有效4位删除并且 将灰度级图像量化为最高有效4位所获得的图像的示例。在该情况下，从灰度级图像中清 楚地读出像素值的急剧变化。图2的B是图示图2的A中所示的像素值的曲线图。在该曲 线图上，水平轴表示水平方向上的坐标，而垂直轴表示每一坐标处的像素值。如从图2的B 中所示的曲线图可以看到的那样，像素值以急剧限定的步长而变化。 这里，8位可以表示256( = 28)个灰度级级另U，而4位仅可以表示16(24)个灰度级 级别。因此，在删除8位灰度级图像的最低有效4位并且将灰度级图像量化为最高有效4位 的灰度级转换中，出现其中灰度级的变化显现为条形(stripe shape)的条带(banding)。
因此，例如，已经提出了误差扩散方法，作为在经灰度级转换的图像中防止条带并 且以伪方式表示在灰度级转换之前的图像的灰度级的灰度级转换方法，即，将256灰度级 图像转换为16灰度级并且当人观看图像时在视觉上以16个灰度级级别表示256个灰度级 级别的方法。 S卩，简单地删除最低有效位的方法不足以防止从显示图像中看到量化误差，并且
背景技术：
难以维持高图像品质。作为误差扩散方法，已知对图像执行A E调制的方法，在该方法中， 考虑人的视觉特性而将量化误差调制到高频带。在该误差扩散方法中，使用将量化误差进 行滤波的二维滤波器。作为二维滤波器，已知下列滤波器Jarvis-Judice-Ninke滤波器 (下文中将其称为Jarvis滤波器)；以及Floyd-Steinberg滤波器(下文中将其称为Floyd 滤波器)(例如，见非专利引文1)。 [非专利弓l文l]Kiya Hitoshi， 'Underst与ing Digital Image Processing'， Sixth edition, CQ. Publications, January,2000， pp.196-21
发明内容
本发明要解决的问题 当显示装置具有足够的分辨率时，Jarvis滤波器和Floyd滤波器可将量化误差调
制到人的视觉特性不能觉察的频带。然而，当显示装置不具有足够的分辨率时，Jarvis滤
波器或Floyd滤波器难以将量化误差调制到人的视觉特性不能觉察的频带。 S卩，图3示出了人眼的空间频率特性(视觉特性)以及通过Jarvis滤波器和Floyd
滤波器的A E调制的噪声整形(noise shaping)的特性(幅度特性)。 在图3中，特性710表示视觉特性。另外，特性721表示通过Jarvis滤波器的噪
声整形的特性，而特性722表示通过Floyd滤波器的噪声整形的特性。 为了表示人的视觉特性，使用了对比灵敏度曲线，在该曲线中，水平轴表示空间频
率f[单位cpd(周期/度)]，而垂直轴表示对比灵敏度。在这种情况下，cpd表示针对视
角每单位角度(视角l度)的条数。例如，10cpd意味着在l度的视角处看到10对白线和
黑线，20cpd意味着在l度的视角处看到20对白线和黑线。 如果假设使用具有最大频率大约120cpd的高分辨率打印机作为显示装置，那么 如图3的A中所示那样，Jarvis滤波器和Floyd滤波器均可以将量化误差调制到人眼几乎 不能察觉到的频带。 然而，如果假设使用具有大小为1920像素X 1080像素的高清显示器作为显示装 置，那么针对视角每单位角度的最大频率大约为30cpd。在这样情况下，如图3的B中所示 那样，对于Jarvis滤波器或Floyd滤波器来说，难以将量化误差调制到对于人的视觉特性 的灵敏度足够低的频带。这是由于显示装置的分辨率确定了采样频率并且人的视觉特性具 有特征值。 这样，在Jarvis滤波器或Floyd滤波器中，难以将量化误差调制到人的视觉灵敏 度足够低的频带。结果，恶化了在灰度级转换后的图像的视觉品质。 当将量化误差充分地调制到人的视觉灵敏度低的频带时，有可能出现误差扩散方 法中所使用的二维滤波器的输出发散的摆动(hunting)现象。在这种情况下，同样恶化了 在灰度级转换后的图像的视觉品质。 为了解决上述问题而做出了本发明，本发明的目标在于提供能够改善在灰度级转 换后的图像的视觉品质的技术。
解决问题的办法 本发明的第一方面提供了 图像处理设备，其包含对图像执行A E调制以转换所 述图像的灰度级的A E调制单元；以及程序，其允许计算机用作所述图像处理设备。所述A E调制单元包括运算单元，其将量化误差进行滤波；相加单元，其将所述图像的像素值 和所述运算单元的输出相加；量化单元，其量化所述相加单元的输出，并且输出包括所述量 化误差的量化值作为A E调制的结果；以及相减单元，其计算所述相加单元的输出和所述 相加单元的输出的量化值之间的差，从而计算所述量化误差。确定通过所述运算单元的滤 波的滤波器系数，以使得通过所述A E调制单元的噪声整形在高频带中的幅度特性为人 眼的空间频率特性的反特性。 本发明的第一方面还提供了在图像处理设备中执行的图像处理方法，所述图像处 理设备包括A E调制单元，其对图像执行A E调制以转换所述图像的灰度级。所述A E 调制单元包括运算单元，其将量化误差进行滤波；相加单元，其将所述图像的像素值和所 述运算单元的输出相加；量化单元，其量化所述相加单元的输出，并且输出包括所述量化误 差的量化值作为A E调制的结果；以及相减单元，其计算所述相加单元的输出和所述相加 单元的输出的量化值之间的差，从而计算量化误差。所述图像处理方法包含以下步骤允许 所述相加单元将所述图像的像素值与所述运算单元的输出相加；允许所述量化单元量化所 述相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；允许所述 相减单元计算所述相加单元的输出和所述相加单元的输出的量化值之间的差，从而计算量 化误差；以及允许所述运算单元将所述量化误差进行滤波，并且将滤波结果输出给所述相 加单元。确定通过所述运算单元的滤波的滤波器系数，以使得通过所述A E调制单元的噪 声整形在高频带中的幅度特性为人眼的空间频率特性的反特性。 在上述第一方面中，所述相加单元将所述图像的像素值与所述运算单元的输出相 加；量化单元量化所述相加单元的输出，并且输出包括所述量化误差的量化值作为A E调 制的结果。相减单元计算所述相加单元的输出和所述相加单元的输出的量化值之间的差， 从而计算量化误差。所述运算单元将量化误差进行滤波，并且将滤波结果输出至相加元。在 这种情况下，确定通过所述运算单元的滤波的滤波器系数，以使得通过所述A E调制单 元的噪声整形在高频带中的幅度特性为人眼的空间频率特性的反特性。 本发明的第二方面提供了图像处理设备以及允许计算机用作所述图像处理设备 的程序。所述图像处理设备包括一致性检测单元，其检测感兴趣像素的像素值是否与图 像中所述感兴趣像素周围的像素的像素值一致；噪声生成单元，其生成随机噪声；第一相 加单元，其在检测到所述像素值彼此一致时，将所述随机噪声添加至所述感兴趣像素的像
素值并且将相加值作为所述感兴趣像素的像素值输出，而在其它情况下不改变地输出所述 感兴趣像素的像素值；以及A E调制单元，其对图像执行A E调制以转换所述图像的灰度 级。所述A E调制单元包括运算单元，其将量化误差进行滤波；第二相加单元，其将从所 述第一相加单元输出的所述感兴趣图像的像素值与所述运算单元的输出相加；量化单元， 其量化所述第二相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的 结果；以及相减单元，其计算所述第二相加单元的输出和所述第二相加单元的输出的量化 值之间的差，从而计算量化误差。 本发明的第二方面还提供了在图像处理设备中执行的图像处理方法，所述图像处 理设备包括一致性检测单元，其检测感兴趣像素的像素值是否与图像中所述感兴趣像素 周围的像素的像素值一致；噪声生成单元，其生成随机噪声；第一相加单元，其在检测到所 述像素值彼此一致时，将所述随机噪声添加至所述感兴趣像素的像素值并且将相加值作为
8所述感兴趣像素的像素值输出，而在其它情况下不改变地输出所述感兴趣像素的像素值； 以及A E调制单元，其对图像执行A E调制以转换所述图像的灰度级。所述A E调制单 元包括运算单元，其将量化误差进行滤波；第二相加单元，其将从所述第一相加单元输出 的感兴趣图像的像素值与所述运算单元的输出相加；量化单元，其量化所述第二相加单元 的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；以及相减单元，其计 算所述第二相加单元的输出和所述第二相加单元的输出的量化值之间的差，从而计算量化 误差。所述图像处理方法包括以下步骤允许所述第一相加单元在检测到所述像素值彼此 一致时，将所述随机噪声添加至所述感兴趣像素的像素值并且将相加值作为所述感兴趣像 素的像素值输出，而在其它情况下不改变地输出所述感兴趣像素的像素值；允许所述第二 相加单元将从所述第一相加单元输出的所述感兴趣图像的像素值与所述运算单元的输出 相加；允许量化单元量化所述第二相加单元的输出，并且输出包括所述量化误差的量化值 作为A E调制的结果；允许相减单元计算所述第二相加单元的输出和所述第二相加单元 的输出的量化值之间的差，从而计算量化误差；以及允许运算单元将所述量化误差进行滤 波，并且将滤波结果输出到所述第二相加单元。 在上述的第二方面中，所述第一相加单元在检测到所述像素值彼此一致时，将所 述随机噪声添加至所述感兴趣像素的像素值并且将相加值作为所述感兴趣像素的像素值 输出，而在其它情况下不改变地输出所述感兴趣像素的像素值。所述第二相加单元将从所 述第一相加单元输出的感兴趣图像的像素值与所述运算单元的输出相加。所述量化单元量 化所述第二相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果。 所述相减单元计算所述第二相加单元的输出和所述第二相加单元的输出的量化值之间的 差，从而计算量化误差。所述运算单元将所述量化误差进行滤波，并且将滤波结果输出到所 述第二相加单元。 所述图像处理设备可以是独立设备，或者是一个设备的内部块。 所述程序可以经由传输介质来传送，或者可以将其记录在记录介质上然后提供。 有利的效果 根据本发明的第一和第二方面，可以改善在灰度级转换后的图像的视觉品质。
图1是图示8位灰度级图像的示例的图。 图2是图示在将8位灰度级图像仅量化为4位灰度级图像时的示例的图。 图3是图示人的视觉特性以及通过根据现有技术的滤波器的噪声整形的幅度特
性的图。 图4是图示根据本发明实施例的图像处理设备的结构的示例的框图。 图5是图示图像信号的每一像素的处理序列的图。 图6是图示固定值检测单元110的结构的示例的框图。 图7是图示校正像素值提供单元111的结构的示例的框图。 图8是图示反馈运算单元240的结构的示例的框图。 图9是图示量化误差提供单元241的结构的示例的框图。 图10是图示人的视觉特性以及滤波器在空间频率的最大频率为30cpd时的幅度特性的图。 图11是图示灰度级转换的结果的示例的图。 图12是图示图像处理设备的处理序列的示例的流程图。 图13是图示稳定处理的过程的示例的流程图。 图14是图示灰度级调制处理的过程的示例的流程图。 图15是图示噪声整形的幅度特性和滤波器系数的第一示例的图。 图16是图示噪声整形的幅度特性和滤波器系数的第二示例的图。 图17是图示噪声整形的幅度特性和滤波器系数的第三示例的图。 图18是图示根据本发明实施例的计算机的示例的框图。 附图标记说明 100 :稳定器 110:固定值检测单元 111 :校正像素值提供单元 118 :与(AND)运算符 120:随机噪声生成单元 130 :开关 140 :加法器 200:灰度级调制器 210 :量4t器 220 :去量化器 230 :减法器 240 :反馈运算单元 241 :量化误差提供单元 248,250 :加法器 501 :总线 502 :CPU 503 :ROM 504 : RAM 505 :硬盘 506 :输出单元 507 :输入单元 508 :通信单元 509 :驱动器 510:输入/输出接口 511 :可拆卸记录介质 1111 :存储器 1114 :写单元 1115， 1116 :读单元 1121 1132 :延迟元件
1161 1172 :比较器 2411 :存储器 2414 :写单元 2415,2416 :读单元 2421 2432 :延迟元件 2461 2472 :乘法器
具体实施例方式
下文中将参考附图，详细描述本发明的示例性实施例。
[图像处理设备的总体结构的示例] 图4是图示根据本发明实施例的图像处理设备的结构的示例的图。 图像处理设备是从信号线101接收作为输入信号IN(x，y)的二维图像信号并从信
号线209将输出信号OUT (x， y)输出的灰度级转换设备，其包括稳定器100和灰度级调制器
200。 灰度级调制器200形成A E调制器，其具有用于调制在高频范围中的量化误差 (量化噪声)的噪声整形效果。在本发明的实施例中，确定A E调制器的噪声整形特性， 以使得即使在针对视角的每单位角度的最大频率大约为30cpd的时候，也足以将量化噪声 调制到人眼几乎不能觉察到的频带。因此，出现A E调制器发散的摆动现象。摆动现象很 可能在连续输入相同数据的时候出现。为了防止摆动现象，在图像处理设备中提供稳定器 100并且施加非常少量的噪声，以使得A E调制器在连续输入相同数据的时候不会发散。
稳定器100包括固定值检测单元110、随机噪声生成单元120、开关130和加法器 140。灰度级调制器200包括量化器210、去量化器220、减法器230、反馈运算单元240和加 法器250。将稳定器100的输出作为经校正的信号F(x， y)输出至信号线109，然后输入至 灰度级调制器200。 固定值检测单元110确定输入信号IN(x， y)是否具有与先前经校正的信号F(x， y)相同的数据，并且检测该相同的数据是否作为固定值而连续输入。输入信号IN(x，y)是 在灰度级将要转换的图像中的位置(x，y)处的像素的像素值。 随机噪声生成单元120生成随机噪声。随机噪声的噪声级别依赖于灰度级调制器 200的反馈运算单元240的滤波器系数。 固定值检测单元110将开关130闭合或断开。当固定值检测单元110检测到固定 值时，开关130将随机噪声生成单元120所生成的随机噪声提供给加法器140。在其他情况 下，开关130不向加法器140提供随机噪声。 加法器140将输入信号IN(x， y)和开关130的输出相加。当从开关130提供随 机噪声时，加法器140将随机噪声相加至输入信号IN(x，y)，并且将相加值作为经校正的信 号F(x，y)输出。当未从开关130提供随机噪声时，加法器140没有任何变化地将输入信号 IN(x， y)输出为经校正的信号F(x， y)。 量化器210量化加法器250的输出。例如，当从加法器250输入12位数据并且用 于显示经灰度级转换的图像的显示装置(未示出)显示8位图像时，量化器210删除最低 有效4位，并且输出最高有效8位作为输出信号0UT(x， y)。输出信号OUT(x， y)是在经历了灰度级转换的图像中的位置(x，y)处的像素的像素值。 去量化器220将量化器210所量化的输出信号0UT(x，y)进行去量化。例如，当量 化后的输出信号OUT(x，y)为8位时，去量化器220以'0000'填充最低有效4位(填充)， 并且输出与输入信号IN(x， y)的数据相同的12位数据。 减法器230计算加法器250的输出与去量化器220的输出之间的差。减法器230从 加法器250的输出中减去去量化器220的输出，并且将量化器210所去除的量化误差Q(x， y)输出至信号线239。 反馈运算单元240例如是将从减法器230输出的先前量化误差Q (x， y)进行滤波 的二维滤波器，并且例如可以由FIR(有限脉冲响应)滤波器构成。 S卩，反馈运算单元240将从减法器230输出的先前量化误差Q(x， y)与(例如) 预定滤波器系数相乘，并且将得到的值进行相加。将通过反馈运算单元240的乘积和 (product-sum)操作所计算出的值(即，量化误差的滤波结果)作为反馈值提供给加法器 250。 加法器250用于将反馈运算单元240所计算出的反馈值反馈给输入至灰度级调制 器200的经校正的信号F(x， y)。加法器250将输入至灰度级调制器200的经校正的信号 F(x，y)和反馈运算单元240所计算出的反馈值相加，并且将相加值输出至量化器210和减 法器230。 在图像处理设备中，输入至灰度级调制器200的经校正的信号F(x，y)和从灰度级 调制器200输出的输出信号OUT(x， y)具有由下列表达式所表示的输入/输出关系。
OUT(x， y) = F(x， y)-(l-G) XQ(x， y) . (1) 在表达式(1)中，G表示作为反馈运算单元240的二维滤波器的传递函数。
根据表达式(1)，通过传递函数(l-G)的噪声整形将量化噪声Q(x，y)调制到高频 带。[图像处理设备的像素的处理序列] 图5是图示本发明实施例中图像信号的每一像素的处理序列的图。 这里，由二维坐标系表示图像信号的每一像素的位置(坐标)，其中，左上像素(的
中心)是基准坐标(原点)(O，O)，水平轴是x坐标，而垂直轴是y坐标。另外，假设相邻像
素之间的距离是l。 图4所示的图像处理设备如图5中箭头所示那样，以从左至右和从上方至下方的 光栅扫描顺序来处理作为感兴趣像素(其为处理目标)的灰度级转换之前的图像的像素。 即，将输入信号IN(O，O)、 IN(l，O)、 IN(2，0)、 . 、 IN(O，l)、 IN(l，l)、 IN(2，1)、 以此顺
序输入至图像处理设备。 在固定值检测单元110或反馈运算单元240中，当参考其他像素时，将光栅扫描顺 序考虑为预定区域。例如，在固定值检测单元110中，当检测到输入信号IN(x，y)的固定值 时，参考虚线所围绕的区域中的12个经校正的信号F(x-2， y-2) 、 F(x-1， y-2) 、 F(x， y-2)、 F(x+1， y—2) 、F(x+2， y—2) 、F(x—2， y-l) 、F(x—1， y-l) 、F(x， y-l) 、F(x+1， y-l) 、F(x+2， y-l)、 F (x-2， y)和F (x-l， y)(即，先前经校正的信号)。类似地，在反馈运算单元240中，当计算对 应于经校正的信号F(x，y)的反馈值时，参考虚线所围绕的区域中的12个量化误差Q(x-2， y-2) 、 Q(x-l， y-2) 、 Q(x， y-2) 、 Q(x+1， y-2) 、 Q(x+2， y-2) 、 Q(x_2， y-1) 、 Q(x-1， y-1) 、 Q(x，
12y-1) 、 Q(x+1， y-1) 、 Q(x+2， y_l) 、 Q(x_2， y)和Q(x-l， y)(即，先前的量化误差)。 当灰度级转换前的图像是包括亮度信号Y和色差信号Cb与Cr的彩色图像信号
时，对每一信号执行灰度级转换处理。即，独立地对亮度信号Y执行灰度级转换处理，并且
同样独立地对色差信号Cb和Cr执行灰度级转换处理。[固定值检测单元110的结构的示例] 图6是图示图4中所示的固定值检测单元110的结构的示例的图。 固定值检测单元IIO包括校正像素值提供单元111、比较器1161到1172和与运算
符118。 校正像素值提供单元lll提供经校正的信号F(x，y)的先前像素值。在本示例中， 假设提供12个经校正的信号F(x-2， y-2) 、 F(x-l， y_2) 、 F(x， y_2) 、 F(x+1， y_2) 、 F(x+2， y-2) 、F(x-2， y-1) 、F(x-l， y_l) 、F(x， y_l) 、F(x+l， y_l) 、F(x+2， y_l) 、F(x-2， y)和F(x_l，y)。 比较器1161到1172将从校正像素值提供单元111提供的经校正的信号F的像素 值与输入信号IN(x， y)进行比较，并且检测它们是否彼此一致。 与运算符118是对比较器1161到1172的输出执行与运算的与门。即，当所有的 比较器1161到1172检测到像素值与输入信号彼此一致时，与运算符118将真值'1'输出 到信号线119。当没有比较器检测到像素值和输入信号彼此一致时，与运算符118将真值 '0'输出到信号线119。[校正像素值提供单元111的结构的示例] 图7是图示图6中所示的校正像素值提供单元111的结构的示例的图。 校正像素值提供单元111包括存储器1111、写单元1114、读单元1115和1116以
及延迟元件1121到1132。 存储器1111包括行存储器#0(1112)和#1(1113)。行存储器#0(1112)存储垂直 方向Y上的行(y-2)的经校正的信号F。行存储器#1(1113)存储垂直方向Y上的行(y-1) 的经校正的信号F。 写单元1114将经校正的信号F(x，y)写入至存储器1111。读单元1115从行存储 器#0(1112)逐一读取垂直方向Y上的行(y-2)的经校正的信号F。将作为读单元1115的 输出的经校正的信号F(x+2，y-2)输入至延迟元件1124，并且还经由信号线1145提供至比 较器1165的一个输入端。另外，读单元1116从行存储器#1(1113)逐一读取垂直方向Y上 的行(y-l)的经校正的信号F。将作为读单元1116的输出的经校正的信号F(x+2，y-l)输 入至延迟元件1129，并且还经由信号线1150提供至比较器1170的一个输入端。
延迟元件1121到1124形成将读单元1115的输出进行延迟的移位寄存器。S卩，将 作为延迟元件1124的输出的经校正的信号F(x+l，y-2)输入至延迟元件1123，并且还经由 信号线1144提供给比较器1164的一个输入端。将作为延迟元件1123的输出的经校正的 信号F(x， y-2)输入至延迟元件1122，并且还经由信号线1143提供给比较器1163的一个 输入端。将作为延迟元件1122的输出的经校正的信号F(x-l，y-2)输入至延迟元件1121， 并且还经由信号线1142提供给比较器1162的一个输入端。将作为延迟元件1121的输出 的经校正的信号F(x-2， y-2)经由信号线1141提供给比较器1161的一个输入端。
延迟元件1126到1129形成将读单元1116的输出进行延迟的移位寄存器。即，将
13作为延迟元件1129的输出的经校正的信号F(x+l，y-l)输入至延迟元件1128，并且还经由 信号线1149提供给比较器1169的一个输入端。将作为延迟元件1128的输出的经校正的 信号F(x， y-l)输入至延迟元件1127，并且还经由信号线1148提供给比较器1168的一个 输入端。将作为延迟元件1127的输出的经校正的信号F(x-l，y-l)输入至延迟元件1126， 并且还经由信号线1147提供给比较器1167的一个输入端。将作为延迟元件1126的输出 的经校正的信号F(x-2， y-l)经由信号线1146提供给比较器1166的一个输入端。
延迟元件1131和1132形成将经校正的信号F(x，y)进行延迟的移位寄存器。艮P， 将作为延迟元件1132的输出的经校正的信号F(x-l，y)输入至延迟元件1131，并且还经由 信号线1152提供给比较器1172的一个输入端。将作为延迟元件1131的输出的经校正的 信号F(x-2， y)经由信号线1151提供给比较器1171的一个输入端。 信号线109的经校正的信号F(x，y)存储在行存储器#0 (1112)的地址x处。当以 光栅扫描顺序完成了对应于一行的处理时，行存储器#0(1112)与行存储器#1(1113)进行 交换，以使得存储在行存储器糾(1112)中的经校正的信号对应于垂直方向Y上的行(y-2)， 并且存储在行存储器#1 (1113)中的经校正的信号对应于垂直方向Y上的行(y-l)。 [ono][反馈运算单元240的结构的示例] 图8是图示图4中所示的反馈运算单元240的结构的示例的图。 反馈运算单元240包括量化误差提供单元241 、乘法器2461到2472和加法器248，
并且形成FIR滤波器。 量化误差提供单元241提供量化误差Q(x， y)的先前值。在本实例中，假设提供 了 12个量化误差Q(x-2， y-2)、Q(x-l， y-2)、Q(x， y-2)、Q(x+l， y-2)、Q(x+2， y-2)、Q(x-2， y-l) 、 Q (x-l ， y-l) 、 Q (x， y-l) 、 Q (x+l ， y-l) 、 Q (x+2， y-l) 、 Q (x-2， y)和Q (x_l ， y)。
乘法器2461到2472中的每一个将从量化误差提供单元241提供的量化误差Q与 滤波器系数g相乘。在本示例中，假设使用了 12个滤波器系数。乘法器2461将量化误差 Q(x-2，y-2)与滤波器系数g(l，l)相乘。乘法器2462将量化误差Q(x-l，y-2)与滤波器系 数g(2，1)相乘。乘法器2463将量化误差Q(x， y-2)与滤波器系数g(3，1)相乘。乘法器 2464将量化误差Q(x+l，y-2)与滤波器系数g(4，1)相乘。乘法器2465将量化误差Q(x+2， y-2)与滤波器系数g(5，1)相乘。乘法器2466将量化误差Q(x-2，y-l)与滤波器系数g(l， 2)相乘。乘法器2467将量化误差Q(x-l，y-l)与滤波器系数g(2，2)相乘。乘法器2468将 量化误差Q(x，y-l)与滤波器系数g(3，2)相乘。乘法器2469将量化误差Q(x+l，y-l)与滤 波器系数g(4，2)相乘。乘法器2470将量化误差Q(x+2， y-l)与滤波器系数g(5，2)相乘。 乘法器2471将量化误差Q(x-2， y)与滤波器系数g(1，3)相乘。乘法器2472将量化误差 Q(x-l，y)与滤波器系数g(2，3)相乘。加法器248将乘法器2461到2472的输出相加。加法器248的相加结果经由信号 线249作为反馈值提供给加法器250的一个输入端。
[量化误差提供单元241的结构的示例] 图9是图示图8中所示的量化误差提供单元241的结构的示例的图。 量化误差提供单元241包括存储器2411、写单元2414、读单元2415和2416以及
延迟元件2421到2432。 存储器2411包括行存储器#0(2412)和#1 (2413)。行存储器#0(2412)存储垂直方向Y上的行(y-2)的量化误差Q。行存储器#1(2413)存储垂直方向Y上的行(y-l)的量 化误差Q。 写单元2414将量化误差Q(x， y)写入至存储器2411。读单元2415从行存储器 #0(2412)逐一读取垂直方向Y上的行(y-2)的量化误差Q。将作为读单元2415的输出的 量化误差Q(x+2，y-2)输入至延迟元件2424，并且还经由信号线2445提供至乘法器2465的 一个输入端。另外，读单元2416从行存储器#1(2413)逐一读取垂直方向Y上的行(y-l) 的量化误差Q。将作为读单元2416的输出的量化误差Q(x+2， y-l)输入至延迟元件2429， 并且还经由信号线2450提供至乘法器2470的一个输入端。 延迟元件2421到2424形成将读单元2415的输出进行延迟的移位寄存器。即，将 作为延迟元件2424的输出的量化误差Q(x+l，y-2)输入至延迟元件2423，并且还经由信号 线2444提供给乘法器2464的一个输入端。将作为延迟元件2423的输出的量化误差Q(x， y-2)输入至延迟元件2422，并且还经由信号线2443提供给乘法器2463的一个输入端。将 作为延迟元件2422的输出的量化误差Q(x-l，y-2)输入至延迟元件2421，并且还经由信号 线2442提供给乘法器2462的一个输入端。将作为延迟元件2421的输出的量化误差Q(x-2， y-2)经由信号线2441提供给乘法器2461的一个输入端。 延迟元件2426到2429形成将读单元2416的输出进行延迟的移位寄存器。即，将 作为延迟元件2429的输出的量化误差Q(x+l，y-l)输入至延迟元件2428，并且还经由信号 线2449提供给乘法器2469的一个输入端。将作为延迟元件2428的输出的量化误差Q(x， y-l)输入至延迟元件2427，并且还经由信号线2448提供给乘法器2468的一个输入端。将 作为延迟元件2427的输出的量化误差Q(x-l，y-l)输入至延迟元件2426，并且还经由信号 线2447提供给乘法器2467的一个输入端。将作为延迟元件2426的输出的量化误差Q(x-2， y-l)经由信号线2446提供给乘法器2466的一个输入端。 延迟元件2431和2432形成将量化误差Q(x， y)进行延迟的移位寄存器。即，将 作为延迟元件2432的输出的量化误差Q(x-l，y)输入至延迟元件2431，并且还经由信号线 2452提供给乘法器2472的一个输入端。将作为延迟元件2431的输出的量化误差Q(x-2， y)经由信号线2451提供给比较器2471的一个输入端。 信号线239的量化误差Q(x，y)存储在行存储器#0 (2412)的地址x处。当以光栅 扫描顺序完成了对应于一行的处理时，行存储器#0(2412)与行存储器#1(2413)进行交换， 以使得存储在行存储器#0 (2412)中的量化误差对应于垂直方向Y上的行(y-2)，而存储在 行存储器#1 (2413)中的量化误差对应于垂直方向Y上的行(y-l)。[通过灰度级调制器200的噪声整形的特性以及通过反馈运算单元240的滤波的 滤波器系数] 图10是图示人的视觉特性以及在用于显示灰度级转换后的图像的显示装置可显 示的图像的空间频率的最大值为30cpd时通过图4中所示的灰度级调制器200的A E调 制的噪声整形的幅度特性的图。 水平轴表示空间频率f [cpd]。对于人的视觉特性710，垂直轴表示对比灵敏度。对 于噪声整形的幅度特性721、722和730，垂直轴表示增益。 类似于图3，幅度特性721和722分别表示通过Jarvis滤波器的噪声整形的幅度 特性以及通过Floyd滤波器的噪声整形的幅度特性。幅度特性730表示作为二维滤波器的反馈运算单元240的噪声整形的幅度特性。 在图10中，人的视觉特性710在7cpd的空间频率f的周围具有峰值，并被衰减至 大约60cpd。相比之下，通过图4中所示的灰度级调制器200的噪声整形的幅度特性730是 如下这样的曲线其中，空间频率f在负方向上被衰减至大约12cpd，然后急剧上升。S卩，灰 度级调制器具有如下这样的幅度特性730 :其中，低频分量(其具有大约为显示器可显示的 图像的空间频率的最大频率的三分之二的频率)的量化误差被衰减，并且量化误差被调制 到对于人的视觉特性710的灵敏度足够低的频带。 在根据现有技术的Jarvis滤波器和Floyd滤波器中，幅度特性721和722表明难 以将量化误差调制到对于人的视觉特性710的灵敏度足够低的频带。 确定通过图4中所示的灰度级调制器200的反馈运算单元240的滤波的滤波器系 数，以使得通过灰度级调制器200的A E调制的噪声整形的幅度特性为图10中所示的幅 度特性730。 S卩，由显示装置(未示出)显示由图4中所示的图像处理设备转换了灰度级的图 像。因此，为了改善显示装置所显示的图像的品质，最好针对人眼的空间频率特性(视觉特 性)考虑显示装置所显示的图像的最大空间频率。 基于在人眼的空间频率特性(视觉特性)当中等于或低于与显示装置的分辨率对 应的空间频率的特性，确定通过反馈运算单元240的滤波的滤波器系数。
具体地，可以根据显示装置的分辨率以及观看者观看显示装置时从观看者到显示 装置的距离(下文中将其称为观看距离)，获得显示装置所显示的图像的最大空间频率，作 为单位为cpd的空间频率。 当显示装置在垂直方向(经度)上的长度是H英寸时，观看距离例如处于大约 2. 5H到大约3. OH的范围中。 例如，当显示装置具有能够显示所谓的HD(高清)图像的1920X1080像素的40 英寸尺寸时，显示装置所显示的图像的最大空间频率为30cpd。 通过显示装置的分辨率确定显示装置所显示的图像的最大空间频率。因此，在下 文中，将显示装置所显示的图像的最大空间频率适当地称为对应于分辨率的空间频率。
图10示出了等于或低于与显示装置的分辨率对应的空间频率的视觉特性710。
S卩，例如，图IO示出了在假设与显示装置的分辨率对应的空间频率等于或低于 (例如)30cpd的情况下，等于或低于30cpd的空间频率的视觉特性730。
基于图10中所示的视觉特性710确定通过反馈运算单元240的滤波的滤波器系 数，以使得在等于或大于中频带的频带中通过灰度级调制器200的噪声整形的特性为图10 中所示的视觉特性710在等于或低于与显示装置的分辨率对应的空间频率的频带中的反 特性。 图10中所示的幅度特性730表示已经以此方式确定了滤波器系数情况下的噪声 整形的幅度特性。 在图10中所示的幅度特性730(即，通过灰度级调制器200的噪声整形的幅度特 性730)中，增益在与显示装置的分辨率对应的30cpd的空间频率处最大，而在(从Ocpd)至 与显示装置的分辨率对应的空间频率的频带中，等于或大于中频带的频带中的特性为图10 中所示的视觉特性710的反特性(下文中将其适当地称为反特性)，即，HPF(高通滤波器)
16的特性。 通过灰度级调制器200的噪声整形的幅度特性730在高频带中比通过Floyd滤波 器的噪声整形的幅度特性722更快地增大。 因此，根据具有图10中所示的幅度特性730的噪声整形，在灰度级转换后的图像 的像素值(输出信号)OUT(x， y)中所包括的量化误差当中，对于人眼的灵敏度低的高频带 中的频率分量的数目增大，而对于人眼的灵敏度高的包括7cpd空间频率的周围的中频分 量的数目减少。 结果，可以防止量化误差作为灰度级转换后的图像中的噪声出现，由此改善了图 像的视觉品质。 噪声整形在等于或大于中频带的频带中的幅度特性不一定与人眼的反特性完全 一致。即，噪声整形在等于或大于中频带的频带中的幅度特性可以与人眼的反特性类似。
噪声整形的整个幅度特性可以是视觉特性710的反特性。 S卩，根据图10中所示的视觉特性710人眼除了对于高频带的灵敏度低之外，还对 低频分量的灵敏度低。作为噪声整形的幅度特性，可以使用传送高低频率分量的所谓的带 通滤波器的特性。 然而，当使用带通滤波器的特性作为噪声整形的幅度特性时，噪声整形的幅度特 性的抽头(tap)数目增大，这导致设备尺寸的增大以及制造成本的增大。
因此，为了减小设备尺寸以及制造成本，噪声整形在等于或小于图10中所示的中 频带的频带中的幅度特性最好为与人的视觉特性相反的HPF特性。 在图10中，通过灰度级调制器200的噪声整形的幅度特性730具有在高频带中明 显大于1的增益，这表明高频带中的量化误差比使用Jarvis滤波器或Floyd滤波器时放大 了更多。 在图10中，通过灰度级调制器200的噪声整形的幅度特性730在低频带到中频带 的范围中具有负增益。因此，反馈运算单元240可以由具有少量抽头的二维滤波器构成。
S卩，例如，为了获得增益在低频带和中频带为0并且在高频带急剧增大的通过灰 度级调制器200的噪声整形的幅度特性730，反馈运算单元240需要由具有大量抽头的二维 滤波器构成。 相比之下，当通过灰度级调制器200的噪声整形的幅度特性730在低频带或中
频带中具有负增益时，与使用Floyd滤波器时相比，可以使用具有少量抽头的二维滤波器
(即，例如具有图8中所示的12个抽头的二维滤波器(具有12个滤波器系数g(l， 1) 、g(2，
1)、g(3，l)、g(4，l)、g(5，l)、g(l，2)、g(2，2)、g(3，2)、g(4，2)、g(5，2)、g(1，3)和g(2，3)的
滤波器))来在高频带中快速增大增益。 因此，可以减小灰度级调制器200的尺寸。[灰度级转换后的图像的描述] 图11是图示由图4中所示的图像处理设备转换了灰度级的图像的示例的图。
图11的A示出通过图4中所示的图像处理设备从图1的A中所示的8位灰度级 图像转换的4位经灰度级转换的图像的示例。如从本示例中可以看到的那样，可以用16个 灰度级级别(4位)表示在视觉上等于图1的A中所示的灰度级级别的灰度级级别。
图11的B是图示图11的A中所示的像素值的曲线图。在该曲线图中，水平轴表示水平方向上的坐标，而垂直轴表示每一坐标处的像素值。在本示例中，由于4位量化，因 此曲线图具有与图2的B中所示曲线图的形状接近的阶梯式形状，并且由点的密度来表示 像素值变化的部分。 即，8位可以表示256个灰度级级别，但是4位仅可以表示16个灰度级级别。然而， 在灰度级转换后的4位图像中，存在如下这样的高密度和低密度区域其中，具有等于量化 值Q的像素值的像素的密度和具有等于比量化值Q大1的量化值Q+l (或者比量化值Q小1 的量化值Q-1)的像素值的像素的密度是高和低，即，具有等于量化值Q的像素值的像素的 百分比为高的区域或者具有等于量化值Q+1的像素值的像素的百分比为高的区域(具有等 于量化值Q的像素值的像素的百分比为低的区域或者具有等于量化值Q+1的像素值的像素 的百分比为低的区域)。高密度和低密度区域的像素值通过人眼的整合效果(integration effect)而看上去平滑地变化。 结果，虽然4位仅表示16个灰度级级别，但是在灰度级转换后的4位图像中，可以 如同灰度级转换前的8位图像中那样来表示伪256个灰度级级别。
[图像处理设备的操作] 接下来，将参考附图描述图4中所示的图像处理设备的操作。
图12是图示图4中所示的图像处理设备的操作(图像处理方法)的流程图。
在本发明的实施例中，如参考图5所述的那样，以图像信号的左方至右方以及上 方至下方的方向来处理每一像素(步骤S911)。 g卩，在步骤S911，图像处理设备以光栅扫描顺序，将以光栅扫描顺序提供的各像素 当中尚不是感兴趣像素的一个像素作为感兴趣像素提供给稳定器ioo，并且处理进入到步 骤S912。 图像处理设备的整个处理主要分为由稳定器100执行的稳定处理(步骤S912)以
及由灰度级调制器200执行的灰度级调制处理(步骤S913)。针对每一像素执行这些处理。
当完全处理了图像信号的最后像素时，针对图像信号的处理结束(步骤S914)。 S卩，在步骤S912，稳定器100对感兴趣像素(感兴趣像素的像素值)执行稳定处
理，并且将经历了稳定处理的感兴趣像素提供给灰度级调制器200。然后，处理进入到步骤
S913。 在步骤S913，灰度级调制器200对来自稳定器100的感兴趣像素执行A E调制以
计算灰度级转换后的感兴趣像素的像素值，并且输出计算出的像素值。然后，处理进入到步 骤S914。 在步骤S914，图4中所示的图像处理设备确定感兴趣像素是否是提供到稳定器 100的最后的像素。在步骤S914，如果确定感兴趣像素不是最后的像素，则处理返回到步骤 S911。在提供到稳定器100的像素当中，以光栅扫描顺序将尚不是感兴趣像素的像素重新 设置为感兴趣像素，并且重复执行如上所述的相同处理。 如果在步骤S914确定感兴趣像素是最后的像素，则图4中所示的图像处理设备的
图像处理结束。[稳定处理的描述] 图13是图示图12中所示的稳定处理(步骤S912)的流程图。 如参考图6所述的那样，固定值检测单元110将先前经校正的信号F的像素值与输入信号IN(x， y)的像素值进行比较(步骤S921)。结果，如果检测到连续地输入相同数 据作为固定值(步骤S922)，则经由开关130将由随机噪声生成单元120生成的随机噪声添 加到输入信号IN(x， y)(步骤S923)。以此方式，防止了灰度级调制器200的摆动现象。
S卩，在稳定处理中，在步骤S921，固定值检测单元IIO(图4)将感兴趣像素的像素 值(输入信号IN(x， y))与感兴趣像素周围各像素当中已经成为感兴趣像素的像素(在下 文中，称为处理后的周边像素)的、从加法器140输出的像素值(经校正的信号F(x，y))进 行比较。然后，处理进入到步骤S922。 在步骤S922，固定值检测单元110基于在步骤S921的像素值的比较结果，确定是 否检测到感兴趣像素的像素值和处理后的周边像素的像素值之间的一致性。
如果在步骤S922确定检测到感兴趣像素的像素值和处理后的周边像素的像素值 之间的一致性，即，例如，图6中所示的作为处理后的周边像素的像素值的所有12个经校正 的信号F (x-2， y-2) 、F (x-l ， y-2) 、F (x， y-2) 、F (x+l ， y-2) 、F (x+2， y-2) 、F (x_2， y_l) 、F (x_l ， y-l) 、 F (x， y-l) 、 F (x+l， y-l) 、 F (x+2， y-l) 、 F (x-2， y)和F (x_l， y)与作为感兴趣像素的像 素值的输入信号IN(x， y) —致，则处理进入到步骤S923。固定值检测单元110闭合开关 130，并且处理返回。 在这种情况下，经由开关130将由随机噪声生成单元120生成的随机噪声提供 给加法器140。加法器140将经由开关130提供的随机噪声添加至感兴趣像素的像素值 (IN(x，y))，并且相加值作为感兴趣像素的像素值(经校正的信号F(x，y))输出到固定值检 测单元110和加法器250。 另一方面，如果在步骤S922确定未检测到感兴趣像素的像素值和处理后的周边 像素的像素值之间的一致性，则固定值检测单元110断开开关130。处理跳过步骤S923并 且返回。 在此情况下，由随机噪声生成单元120生成的随机噪声未提供给加法器140。因 此，加法器140不变化地将感兴趣像素的像素值(IN(x， y))输出到固定值检测单元110和 加法器250。[灰度级调制处理的描述] 图14是图示图12中所示的灰度级调制处理(步骤S913)的流程图。
加法器250将从稳定器100 (的加法器140)提供的感兴趣像素的像素值与反馈运 算单元240的输出相加，并且将相加值输出至量化器210和减法器230 (步骤S930)。
量化器210将加法器250的输出进行量化(步骤S931)，并且将量化值作为输出信 号0UT(x， y)进行输出。由去量化器220将量化的输出信号0UT(x， y)进行去量化(步骤 S932)。 减法器230计算通过量化器210的量化之前的信号与由去量化器220去量化的信 号之间的差异，由此计算量化误差Q(x， y)(步骤S933)。 将以此方式计算出的量化误差Q(x，y)进行累加。如参考图8所述的那样，反馈运 算单元240使用量化误差Q(x， y)计算反馈值(步骤S934)。以此方式计算出的反馈值被 反馈到加法器250 (步骤S935)。 S卩，在步骤S930，加法器250将从稳定器IOO(的加法器140)提供的感兴趣像素的 像素值与在步骤S934通过反馈运算单元240的滤波操作所获得的值(反馈运算单元240的输出)(将在下面描述)相加，并且将相加值输出到量化器210和减法器230。然后，处理 进入到步骤S931。 在步骤S931 ，量化器210将从加法器250输出的相加值进行量化，并且输出包括量 化误差的量化值作为A E调制的结果(通过A E调制的灰度级转换结果。然后，处理进 入到步骤S932。 在步骤S932，去量化器220将从量化器210输出的量化值进行去量化，并且将去量 化的值输出到减法器230。然后，处理进入到步骤S933。 在步骤S933，减法器230计算从加法器250输出的相加值与去量化器220的输出 之间的差(即，从加法器250输出的相加值的量化值的量化结果)，由此计算量化器210的 量化期间的量化误差。另外，减法器230将量化误差提供给反馈运算单元240，并且处理从 步骤S933进入到步骤S934。 在步骤S934，作为二维滤波器的反馈运算单元240将来自减法器230的量化误差 进行滤波。然后，处理进入到步骤S935。 在步骤S935，反馈运算单元240将在步骤S934获得的量化误差的滤波结果输出 (反馈)到加法器250。然后，处理返回。 如上所述，在图4所示的图像处理设备中，确定通过反馈运算单元240的滤波的滤 波器系数，以使得通过A E调制的噪声整形在等于或大于中频带的频带中的幅度特性为 人的视觉特性710的反特性(如图10中所示的幅度特性730)。因此，观看者难以观看到作 为噪声的量化误差，并且可以改善灰度级转换后的图像的视觉品质。 图4中所示的图像处理设备配备有将随机噪声施加给图像的稳定器100。因此，可 以防止灰度级调制器200的摆动现象。 以此方式，例如，显示装置(如电视机)可以显示其像素值具有比显示装置的液晶 面板可显示的像素值的位宽更多的位的图像，其中图像品质与位对应。
S卩，例如，即使当液晶面板可显示的像素值的位宽为8位时，也可以获得与12位对 应的图像品质。即使当显示装置的输入信号是8位时，通过各种的图像处理仍获得了等于 或大于8位的位长。例如，通过降噪将8位图像扩展至12位图像。当液晶面板的每一像素 值的位宽是8位时，需要将12位数据量化到8位数据。在该情况下，图4中所示的图像处 理设备可以使用8位液晶面板执行灰度级转换以获得与12位对应的图像品质。可以类似 地将图4中所示的图像处理设备所执行的灰度级转换应用于传输路径。例如，当从视频设 备到显示装置的传输路径具有8位宽度时，图4中所示的图像处理设备将视频设备的12位 图像信号转换为8位信号，并且将8位信号发送到显示装置。然后，显示装置可以显示具有 与12位对应的图像品质的图像。
[噪声整形的特性和滤波器系数的示例] 图15示出在用于显示经灰度级转换的图像的显示装置可以显示的图像的空间频 率的最大频率为30cpd时，滤波器系数和通过图4中所示的灰度级调制器200的A E调制 的噪声整形的幅度特性的第一示例。 g卩，图15的A示出具有12个抽头的二维滤波器(反馈运算单元240)的滤波器系 数的第一示例，所述滤波器系数被确定为使得相比于通过Floyd滤波器的A E调制的噪 声整形的幅度特性，通过灰度级调制器200的A E调制的噪声整形的幅度特性在低频带或中频带为负且在高频带中快速增大。 在图15的A中，作为具有12个抽头的二维滤波器的滤波器系数，使用下列 g(l， 1) = -0. 0317、 g(2， 1) = -0. 1267、 g(3， 1) = -0. 1900、 g(4， 1) = -0. 1267、 g(5， 1) =-0. 0317、 g(l，2) =-0. 1267、 g(2，2) = 0. 2406、 g(3， 2) = 0. 7345、 g(4， 2) = 0.2406、 g(5，2) =-0. 1267、g(l，3) =-0. 1900和g(2， 3) = 0.7345。 图15的B示出在二维滤波器的滤波器系数为图5的A中所示那样时，通过灰度级 调制器200的A E调制的噪声整形的幅度特性。 在图15的B中所示的噪声整形的幅度特性中，增益在频率f = 0处为0，并且增益 在低频带或中频带为负。另外，相比于通过Floyd滤波器的A E调制的噪声整形的幅度特 性，增益在高频带快速增大。 图16示出在用于显示经灰度级转换的图像的显示装置可以显示的图像的空间频 率的最大频率为30cpd时，滤波器系数和通过图4中所示的灰度级调制器200的A E调制 的噪声整形的幅度特性的第二示例。 g卩，图16的A示出具有12个抽头的二维滤波器(反馈运算单元240)的滤波器系 数的第二示例，所述滤波器系数被确定为使得相比于通过Floyd滤波器的A E调制的噪 声整形的幅度特性，通过灰度级调制器200的A E调制的噪声整形的幅度特性在低频带或 中频带为负且在高频带中快速增大。 在图16的A中，作为具有12个抽头的二维滤波器的滤波器系数，使用下列 g(l， 1) = -0. 0249、 g(2， 1) = -0. 0996、 g(3， 1) = -0. 1494、 g(4， 1) = -0. 0996、 g(5， 1) =-0. 0249、 g(l，2) = -0. 0996、 g(2，2) = 0. 2248、 g(3，2) = 0. 6487、 g(4，2) = 0. 2248、 g(5，2) =-0. 0996、g(l，3) =-0. 1494和g(2， 3) = 0.6487。 图16的B示出在二维滤波器的滤波器系数为图16的A中所示那样时，通过灰度 级调制器200的A E调制的噪声整形的幅度特性。 在图16的B中所示的噪声整形的幅度特性中，增益在频率f = 0处为0，并且增益 在低频带或中频带中为负。另外，相比于通过Floyd滤波器的A E调制的噪声整形的幅度 特性，增益在高频带中快速增大。 图17示出在用于显示经灰度级转换的图像的显示装置可以显示的图像的空间频 率的最大频率为30cpd时，滤波器系数和通过图4中所示的灰度级调制器200的A E调制 的噪声整形的幅度特性的第三示例。 g卩，图17的A示出具有12个抽头的二维滤波器(反馈运算单元240)的滤波器系 数的第三示例，所述滤波器系数被确定为使得相比于通过Floyd滤波器的A E调制的噪 声整形的幅度特性，通过灰度级调制器200的A E调制的噪声整形的幅度特性在低频带或 中频带为负且在高频带中快速增大。 在图17的A中，作为具有12个抽头的二维滤波器的滤波器系数，使用下列 g(l， 1) = -0. 0397、 g(2， 1) = -0. 1586、 g(3， 1) = -0. 2379、 g(4， 1) = -0. 1586、 g(5， 1) =-0. 0397、 g(l，2) =-0. 1586、 g(2，2) = 0. 2592、 g(3， 2) = 0. 8356、 g(4， 2) = 0.2592、 g(5，2) =-0. 1586、g(l，3) =-0. 2379和g(2，3) = 0.8356。 图17的B示出在二维滤波器的滤波器系数为图16的A中所示那样时，通过灰度 级调制器200的A E调制的噪声整形的幅度特性。
在图17的B中所示的噪声整形的幅度特性中，增益在频率f = 0处为0，并且增益 在低频带或中频带中为负。另外，相比于通过Floyd滤波器的A E调制的噪声整形的幅度 特性，增益在高频带快速增大。 图15到图17中所示的具有12个抽头的二维滤波器的滤波器系数包括负值。因 此，噪声整形的幅度特性在低频带或中频带中为负。这样，由于噪声整形的幅度特性在低频 带或中频带中为负，因此可以使用具有少量抽头(例如，12抽头)的二维滤波器获得在高频 带中快速增大的噪声整形的幅度特性。 对包括具有图15到图17中所示的滤波器系数的二维滤波器的反馈运算单元 240(图4)执行仿真。结果，所有的二维滤波器都可以获得具有高图像品质的经灰度级转换 的图像。[计算机的结构的示例] 接下来，可以通过硬件或软件执行上述一系列处理。当通过软件执行一系列处理 时，可以将形成软件的程序安装在(例如)通用计算机中。 图18示出根据实施例的、安装了用于执行上述一系列处理的程序的计算机的结 构的示例。 可以将程序预先记录在作为计算机中提供的记录介质的硬盘505中或者ROM 503中。 可替代地，可以将程序临时或永久地存储(记录)在可拆卸记录介质511中(如 软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘或半导体存储 器)。可以将可拆卸记录介质511提供为所谓的封装软件。 另外，可以经由用于数字卫星广播的人造卫星将程序从下载站点无线地传送至计 算机，或者可以经由网络(如LAN(局域网)或因特网)通过有线的方式将其传送至计算机 (而不是从可拆卸记录介质511将其安装至计算机)。计算机可以使用通信单元508接收 所传送的程序，并且可以将接收到的程序安装在计算机中提供的硬盘505中。
计算机包括CPU(中央处理单元)502。输入/输出接口 510经由总线501连接至 CPU 502。当用户操作输入单元507(其包括键盘、鼠标和麦克风)来输入指令并且指令经由 输入/输出接口而输入至CPU 502时，CPU 502根据指令执行存储在R0M(只读存储器)503 中的程序。可替代地，CPU 502向RAM(随机存取存储器)504加载硬盘505中存储的程序、 已经从卫星或网络传送的、通信单元508所接收到的并且安装在硬盘505中的程序、或者已 经从安置在驱动器509上的可拆卸记录介质511读取的并且安装在硬盘505中的程序，并 且执行该程序。以这种方式，CPU 502执行根据上述流程图的处理或者由上述框图所进行 的处理。如果必要，CPU 502经由输入/输出接口 510从输出单元506(包括LCD(液晶显 示器)或扬声器)输出处理结果，将其从通信单元508传送至硬盘505，或者将其记录至硬 盘505。 在本说明书中，描述用于允许计算机执行各种处理的程序的步骤不一定以流程图 所述的顺序中的时间序列来执行，而是包括并行或单独执行的处理(例如，并行处理或通 过对象的处理)。 可以由一个计算机或者多个分布式计算机处理所述程序。另外，可以将程序传送 至远程计算机并且由该计算机执行程序。
本发明不限于上述实施例，而是可以在不脱离本发明的范围和精神的情况下进行 本发明的各种修改和变化。 S卩，例如在图4所示的图像处理设备中，当摆动现象不重要时，可以不提供稳定器 100。 可以将Jarvis滤波器或Floyd滤波器用作作为图4所示的图像处理设备的反馈 运算单元240的滤波器。
权利要求
一种图像处理设备，包含Δ∑调制单元，其对图像执行Δ∑调制以转换所述图像的灰度级；其中，所述Δ∑调制单元包括运算单元，其将量化误差进行滤波；相加单元，其将所述图像的像素值和所述运算单元的输出相加；量化单元，其量化所述相加单元的输出，并且输出包括所述量化误差的量化值作为Δ∑调制的结果；以及相减单元，其计算所述相加单元的输出和所述相加单元的输出的量化值之间的差，从而计算出所述量化误差，其中，确定通过所述运算单元的滤波的滤波器系数，以使得通过所述Δ∑调制单元的噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的反特性。
2. 如权利要求l所述的图像处理设备，其中，基于在人眼的空间频率特性当中、等于或大于与显示经历了所述A E调制的图 像的显示单元的分辨率对应的空间频率的特性，确定通过所述运算单元的滤波的滤波器系 数，以使得噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的 反特性。
3. 如权利要求l所述的图像处理设备，其中，确定通过所述运算单元的滤波的滤波器系数，以使得相比于通过Floyd滤波器 的A E调制的噪声整形的幅度特性，通过所述A E调制单元的噪声整形的幅度特性在高 频带中快速增大。
4. 如权利要求l所述的图像处理设备，其中，确定通过所述运算单元的滤波的滤波器系数，以使得相比于通过Floyd滤波器 的A E调制的噪声整形的幅度特性，通过所述A E调制单元的噪声整形的幅度特性在低 频带或中频带中为负并且在高频带中快速增大。
5. 如权利要求l所述的图像处理设备，其中，通过所述运算单元的滤波的滤波器系数包括负值，并且确定通过所述运算单元 的滤波的滤波器系数，以使得相比于通过Floyd滤波器的A E调制的噪声整形的幅度特 性，通过所述A E调制单元的噪声整形的幅度特性在高频带中快速增大。
6. —种在图像处理设备中执行的图像处理方法，所述图像处理设备包括A E调制单 元，其对图像执行A E调制以转换所述图像的灰度级，所述A E调制单元包括运算单元， 其将量化误差进行滤波；相加单元，其将所述图像的像素值和所述运算单元的输出相加； 量化单元，其量化所述相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；以及相减单元，其计算所述相加单元的输出和所述相加单元的输出的量化值之 间的差，从而计算出所述量化误差，所述图像处理方法包含以下步骤允许所述相加单元将所述图像的像素值与所述运算单元的输出相加； 允许所述量化单元量化所述相加单元的输出，并且输出包括所述量化误差的量化值作 为A E调制的结果；允许所述相减单元计算所述相加单元的输出和所述相加单元的输出的量化值之间的 差，从而计算所述量化误差；以及允许所述运算单元将所述量化误差进行滤波，并且将滤波结果输出给所述相加单元， 其中，确定通过所述运算单元的滤波的滤波器系数，以使得通过所述A E调制单元的 噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的反特性。
7. —种允许计算机用作A E调制单元的程序，所述A E调制单元对图像执行A E调制以转换所述图像的灰度级，其中，所述A E调制单元包括 运算单元，其将量化误差进行滤波；相加单元，其将所述图像的像素值和所述运算单元的输出相加；量化单元，其量化所述相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；以及相减单元，其计算所述相加单元的输出和所述相加单元的输出的量化值之间的差，从而计算所述量化误差，其中，确定通过所述运算单元的滤波的滤波器系数，以使得通过所述A E调制单元 的噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的反特性。
8. —种图像处理设备，包含一致性检测单元，其检测感兴趣像素的像素值是否与图像中所述感兴趣像素周围的像 素的像素值一致；噪声生成单元，其生成随机噪声；第一相加单元，其在检测到所述像素值彼此一致时，将所述随机噪声添加至所述感兴 趣像素的像素值并且将相加值作为所述感兴趣像素的像素值输出，而在其它情况下不改变 地输出所述感兴趣像素的像素值；以及A E调制单元，其对图像执行A E调制以转换所述图像的灰度级，其中，所述A E调制单元包括运算单元，其将量化误差进行滤波；第二相加单元，其将从所述第一相加单元输出的所述感兴趣图像的像素值与所述运算 单元的输出相加；量化单元，其量化所述第二相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；以及相减单元，其计算所述第二相加单元的输出和所述第二相加单元的输出的量化值之间的差，从而计算所述量化误差。
9. 如权利要求8所述的图像处理设备，其中，确定通过所述运算单元的滤波的滤波器系数，以使得通过所述A E调制单元 的噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的反特性。
10. 如权利要求9所述的图像处理设备，其中，基于在人眼的空间频率特性当中、等于或大于与显示经历了所述A E调制的图 像的显示单元的分辨率对应的空间频率的特性，确定通过所述运算单元的滤波的滤波器系 数，以使得噪声整形在等于或大于中频带的频带中的幅度特性为人眼的空间频率特性的 反特性。
11. 如权利要求9所述的图像处理设备，其中，确定通过所述运算单元的滤波的滤波器系数，以使得相比于通过Floyd滤波器 的A E调制的噪声整形的幅度特性，通过所述A E调制单元的噪声整形的幅度特性在高 频带中快速增大。
12. 如权利要求9所述的图像处理设备，其中，确定通过所述运算单元的滤波的滤波器系数，以使得相比于通过Floyd滤波器 的A E调制的噪声整形的幅度特性，通过所述A E调制单元的噪声整形的幅度特性在低 频带或中频带中为负并且在高频带中快速增大。
13. 如权利要求9所述的图像处理设备，其中，通过所述运算单元的滤波的滤波器系数包括负值，并且确定通过所述运算单元 的滤波的滤波器系数，以使得相比于通过Floyd滤波器的A E调制的噪声整形的幅度特 性，通过所述A E调制单元的噪声整形的幅度特性在高频带中快速增大
14. 一种在图像处理设备中执行的图像处理方法，所述图像处理设备包括一致性检 测单元，其检测感兴趣像素的像素值是否与图像中所述感兴趣像素周围的像素的像素值一 致；噪声生成单元，其生成随机噪声；第一相加单元，其在检测到所述像素值彼此一致时， 将所述随机噪声添加至所述感兴趣像素的像素值并且将相加值作为所述感兴趣像素的像 素值输出，而在其它情况下不改变地输出所述感兴趣像素的像素值；以及A E调制单元， 其对图像执行A E调制以转换所述图像的灰度级，所述A E调制单元包括运算单元，其 将量化误差进行滤波；第二相加单元，其将从所述第一相加单元输出的感兴趣图像的像素 值与所述运算单元的输出相加；量化单元，其量化所述第二相加单元的输出，并且输出包括 所述量化误差的量化值作为A E调制的结果；以及相减单元，其计算所述第二相加单元的 输出和所述第二相加单元的输出的量化值之间的差，从而计算所述量化误差，所述图像处 理方法包括以下步骤允许所述第一相加单元在检测到所述像素值彼此一致时，将所述随机噪声添加至所述 感兴趣像素的像素值并且将相加值作为所述感兴趣像素的像素值输出，而在其它情况下不 改变地输出所述感兴趣像素的像素值；允许所述第二相加单元将从所述第一相加单元输出的所述感兴趣图像的像素值与所 述运算单元的输出相加；允许量化单元量化所述第二相加单元的输出，并且输出包括所述量化误差的量化值作 为A E调制的结果；允许相减单元计算所述第二相加单元的输出和所述第二相加单元的输出的量化值之 间的差，从而计算所述量化误差；以及允许运算单元将所述量化误差进行滤波，并且将滤波结果输出到所述第二相加单元。
15. —种程序，其允许计算机用作一致性检测单元，其检测感兴趣像素的像素值是否与图像中所述感兴趣像素周围的像 素的像素值一致；噪声生成单元，其生成随机噪声；第一相加单元，其在检测到所述像素值彼此一致时，将所述随机噪声添加至所述感兴 趣像素的像素值并且将相加值作为所述感兴趣像素的像素值输出，而在其它情况下不改变 地输出所述感兴趣像素的像素值；以及A E调制单元，其对图像执行A E调制以转换所述图像的灰度级， 其中，所述A E调制单元包括 运算单元，其将量化误差进行滤波；第二相加单元，其将从所述第一相加单元输出的感兴趣图像的像素值与所述运算单元 的输出相加；量化单元，其量化所述第二相加单元的输出，并且输出包括所述量化误差的量化值作为A E调制的结果；以及相减单元，其计算所述第二相加单元的输出和所述第二相加单元的输出的量化值之间的差，从而计算所述量化误差。
全文摘要
公开了使得能够改善在灰度级转换后的图像的视觉品质的图像处理装置、图像处理方法和程序。用作转换图像的灰度级的Δ∑调制器的灰度级调制器(200)具有加法器(250)、量化部分(210)、减法器(230)和反馈计算部分(240)。加法器(250)将图像的像素值与反馈计算部分(240)的输出相加。量化部分(210)将加法器(250)的输出进行量化，并且输出包括量化误差的量化值作为Δ∑调制的结果。减法器(230)计算加法器(250)的输出和加法器(250)的输出的量化值之间的差以便确定量化误差。反馈计算部分(240)将量化误差进行滤波，并且将滤波结果输出到加法器(250)。确定通过反馈计算部分(240)的滤波的滤波器系数，以使得通过Δ∑调制器的噪声整形的幅度特性在中频带或更高频带中的特性可以为人的视觉感应的空间频率特性的反特性。本发明可应用于图像灰度级转换。
文档编号H04N5/66GK101796566SQ20088010535
公开日2010年8月4日 申请日期2008年9月2日 优先权日2007年9月5日
发明者塚本信, 平井纯, 西尾文孝, 高桥巨成 申请人:索尼公司