图像处理装置、方法以及图像显示装置的制作方法

专利名称：图像处理装置、方法以及图像显示装置的制作方法
技术领域：
本发明涉及对图像进行增强处理的图像处理装置、方法以及图像显示装置，例如 进行如下的图像增强处理在输入了放大原始图像而得到的放大图像时，通过进行高频分 量的生成和相加，得到清晰度高的输出图像。本发明还进行如下的图像增强处理在输入了包含噪声的图像时，在去除噪声后， 得到清晰度高的输出图像。
背景技术：
一般在对表示图像的图像信号(另外，在本申请中有时将“图像信号”或“图像数 据”简称作“图像”)实施了适当的图像处理后，对图像进行再现显示。例如在专利文献1记载的图像处理装置中，针对转换成多重分辨率的细部图像， 根据频带比期望频带低的细部图像的信号，设定相对于该期望频带的细部图像的增强系 数，从而增强了期望频带。专利文献1 日本特开平9-44651号公报但是，在针对转换成多重分辨率的细部图像适当设定相对于期望频带的细部图像 的增强系数的图像处理装置中，增强处理会根据输入图像而不适当或不充分，从而不能得 到适当画质的输出图像。例如，在输入了受到放大处理后的图像时，在输入的图像频谱的高频分量侧，出现 放大处理前的图像频谱的一部分叠加而成的分量(叠加分量)。由此，当仅仅增强高频分量 时，也增强了该叠加分量，从而成为不适当的处理。此外，当限定频带，仅增强不包含叠加分 量的频带时，在用频谱进行考量的情况下，避开了高频分量侧的增强，从而成为不充分的增 强处理。此外，在输入了受到噪声处理后的图像时，高频分量侧的频谱由于噪声处理而消 失。由此，即使要取出高频分量，有时也不能进行取出，从而不能充分地进行图像的增强处理。此外，在输入了包含噪声的图像时，当仅仅增强高频分量时，也增强了要增强的频 带中包含的噪声，从而成为不适当的处理。

发明内容
本发明的图像处理装置具有第1中间图像生成单元，其生成取出输入图像的特定频带附近的分量而得到的第 1中间图像；第2中间图像生成单元，其根据所述第1中间图像生成第2中间图像；以及加法单元，其对所述输入图像和所述第2中间图像进行相加。根据本发明，输入图像在其频谱中，即使在高频分量侧包含叠加分量的情况下、或 没有充分包含高频分量的情况下，也能够充分地进行图像的增强处理。


图1是示出本发明的实施方式1的图像处理装置的结构的框图。图2是示出图1的第1中间图像生成单元1的结构例的框图。图3是示出图1的第2中间图像生成单元2的结构例的框图。图4是示出图3的水平方向非线性处理单元2Ah的结构例的框图。图5是示出图3的垂直方向非线性处理单元2Av的结构例的框图。图6是示出使用图1的图像处理装置的图像显示装置的结构例的框图。图7是图6的图像放大单元Ul的结构例的框图。图8的㈧ (E)是示出图6的图像放大单元Ul的动作的像素配置图。图9的(A) (D)是示出图6的图像放大单元Ul的动作的频率响应图和频谱图。图10的㈧ (E)是示出图1的第1中间图像生成单元1的动作的频率响应图 和频谱图。图11的(A) (C)是示出图1的第2中间图像生成单元2的动作的频率响应图 和频谱图。图12的㈧ (C)是示出阶跃边缘和利用采样间隔Sl对阶跃边缘进行采样时得 到的相连续的像素信号值的图。图13的(A) (C)是示出阶跃边缘和利用采样间隔S2对阶跃边缘进行采样时得 到的相连续的像素信号值的图。图14的㈧ (F)是示出表示图1的第1中间图像生成单元1和第2中间图像 生成单元2的动作的、相连续的像素信号值的图。图15是示出本发明的实施方式2的图像处理装置的结构的框图。图16是示出图15的中间图像后处理单元3的结构例的框图。图17的㈧ ⑶是表示图2的图像Dlh、图像Dlv、图像D2h、图像D2v的图。图18的㈧ (E)是表示中间图像D2的更正确形状和中间图像后处理单元3的 作用的图。图19的(A)和(B)是表示中间图像后处理单元3的效果的图。图20是示出本发明的实施方式3的图像处理装置的结构的框图。图21的㈧和⑶是示出用于说明构成噪声去除单元Ull的低频分量通过单元 UllA的动作的频率响应和频谱的图。图22的㈧ (E)是示出用于说明实施方式3中的第1中间图像生成单元1的 动作的频谱和频率响应的图。图23的(A) (C)是示出用于说明实施方式3中的第2中间图像生成单元2的 动作的频谱和频率响应的图。图24的㈧ (E)是示出在实施方式3中，对阶跃边缘进行采样而得到的信号、 以及对该信号进行滤波处理后的信号的图。图25的㈧ (E)是示出实施方式3中的第1中间图像生成单元1和第2中间 图像生成单元2的各部中的信号的图。图26是示出具有图20的图像处理装置的图像显示装置的结构例的框图。
图27是示出本发明的实施方式4的图像处理方法中的处理过程的流程图。图28是示出图27的第1中间图像生成步骤STl中的处理的流程图。图29是示出图27的第2中间图像生成步骤ST2中的处理的流程图。图30是示出图29的水平方向非线性处理步骤ST2Ah中的处理的流程图。 图31是示出图29的垂直方向非线性处理步骤ST2Av中的处理的流程图。图32是示出本发明的实施方式5的图像处理方法中的预定过程的流程图。图33是示出图32的中间图像后处理步骤ST3中的处理的流程图。图34是示出本发明的实施方式6的图像处理方法中的处理过程的流程图。图35是示出能够在本发明的实施方式4 6的图像处理方法的实施中使用的图 像处理装置的结构例的框图。
具体实施例方式实施方式1图1是表示本发明的实施方式1的图像处理装置的结构的图，例如能够用作图像 显示装置的一部分。图示的图像处理装置具有第1中间图像生成单元1、第2中间图像生成单元2以及 加法单元4。第1中间图像生成单元1生成取出输入图像DIN的特定频带附近的分量而得到的 中间图像(第1中间图像)D1。第2中间图像生成单元2生成对第1中间图像Dl进行了后述处理后的中间图像 (第2中间图像)D2。加法单元4将输入图像DIN、第1中间图像Dl以及第2中间图像D2进行相加。将 加法单元4的相加结果作为输出图像DOUT输出。图2是示出第1中间图像生成单元1的结构例的图，图示的第1中间图像生成单 元1具有高频分量图像生成单元1A，其从输入图像DIN去除比特定频带低的频率分量，生 成仅取出输入图像DIN的高频分量而得到的图像(第1高频分量图像)D1A ；以及低频分量 图像生成单元1B，其从图像D1A，去除比特定频带高的频率分量，生成仅取出图像DlA的低 频分量而得到的图像D1B。由高频分量图像生成单元IA和低频分量图像生成单元IB构成取出特定频带分量 的带通滤波器单元。从第1中间图像生成单元1输出图像DlB作为中间图像Dl。图3是示出第2中间图像生成单元2的结构例的图，图示的第2中间图像生成单 元2具有非线性处理单元2A，其输出针对中间图像Dl进行了后述的非线性处理后的图像 D2A ；以及高频分量图像生成单元2B，其输出仅取出图像D2A的高频分量而得到的图像D2B。 从第2中间图像生成单元2输出图像D2B作为中间图像D2。以下，针对实施方式1的图像处理装置的详细动作进行说明。另外，在以下说明中 只要没有讲明，符号Fn表示输入图像DIN的奈圭斯特频率。首先，说明第1中间图像生成 单元1的详细动作。首先，第1中间图像生成单元1在高频分量图像生成单元IA中，生成仅取出输入 图像DIN的第1频率Fd以上的高频分量而得到的图像D1A。在图示的例子中，第1频率Fd比Fn/2稍小。能够通过进行高通滤波处理来取出高频分量。另外，分别关于图像的水平方 向和垂直方向进行高频分量的取出。因此，高频分量图像生成单元IA具有水平方向高频 分量图像生成单元lAh，其对输入图像DIN进行水平方向的高通滤波处理来生成仅关于水 平方向取出第1水平方向频率以上的高频分量而得到的图像DlAh;以及垂直方向高频分量 图像生成单元ΙΑν，其进行垂直方向的高通滤波处理来生成仅关于垂直方向取出第1垂直 方向频率以上的高频分量而得到的图像DlAv，图 像DlA由图像DlAh和图像DlAv构成。接着，第1中间图像生成单元1在低频分量图像生成单元IB中，生成仅取出图像 DlA的第2频率Fe以下的低频分量而得到的图像D1B。在图示的例子中，第2频率Fe比 Fn/2稍大。能够通过进行低通滤波处理来取出低频分量。另外，分别关于水平方向和垂直 方向进行低频分量的取出。因此，低频分量图像生成单元IB具有水平方向低频分量图像 生成单元lBh，其对图像DlAh进行水平方向的低通滤波处理来生成仅关于水平方向取出第 2水平方向频率以下的低频分量而得到的图像DlBh;以及垂直方向低频分量图像生成单元 ΙΒν，其针对图像DlAv进行垂直方向的低通滤波处理来生成仅关于垂直方向取出第2垂直 方向频率以下的低频分量而得到的图像DIBv，图像DlB由图像DlBh和图像DlBv构成。此 夕卜，从第1中间图像生成单元1输出图像DlB作为中间图像D1。另外，中间图像Dl由与图 像DlBh相当的图像Dlh、以及与图像DlBv相当的图像Dlv构成。接着，说明第2中间图像生成单元2的详细动作。首先，第2中间图像生成单元2在非线性处理单元2A中，生成针对中间图像Dl进 行了后述的非线性处理后的图像D2A。分别关于水平方向和垂直方向进行非线性处理。艮口， 非线性处理单元2A具有水平方向非线性处理单元2Ah，其对图像DlBh进行后述的非线性 处理来生成图像D2Ah ；以及垂直方向非线性处理单元2Av，其对图像DlBv进行后述的非线 性处理来生成图像D2Av，图像D2A由图像D2Ah和图像D2Av构成。更具体地说明非线性处理单元2A的动作。非线性处理单元2A具有彼此具有相同 结构的水平方向非线性处理单元2Ah和垂直方向非线性处理单元2Av。在此，水平方向非线 性处理单元2Ah进行水平方向的处理，垂直方向非线性处理单元2Av进行垂直方向的处理。图4是表示水平方向非线性处理单元2Ah的结构的图。图示的水平方向非线性处 理单元2Ah具有过零判定单元311h和信号放大单元312h。另外，向非线性处理单元2Ah输 入图像Dlh作为输入图像DIN311h。过零判定单元311h沿着水平方向确认输入图像DIN311h中的像素值的变化。然 后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311h 向信号放大单元312h传达位于过零点前后的像素(前后相邻的像素)的位置。在此，“前 后”是指提供信号顺序中的前后，在水平方向上从左向右提供像素信号时是指“左右”，在垂 直方向上从上向下提供像素信号时是指“上下”。在水平方向非线性处理单元2Ah内的过零 判定单元311h中，将位于过零点左右的像素识别为位于过零点前后的像素。信号放大单元312h根据信号D311h确定位于过零点前后的像素(前后相邻的像 素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)后的非线性处理图像 D312h。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外 的像素的像素值的放大率为1。并且，从水平方向非线性处理单元2Ah输出非线性处理图像D312h作为图像24h。
图5是表示垂直方向非线性处理单元2Av的结构的图。图示的垂直方向非线性处 理单元2Av具有过零判定单元311v和信号放大单元312v。另外，向非线性处理单元2Av输 入图像Dlv作为输入图像DIN311V。 过零判定单元311v沿着垂直方向确认输入图像DIN311V中的像素值的变化。然 后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311v 向信号放大单元312v传达位于过零点前后的像素(前后相邻的像素)的位置。在垂直方 向非线性处理单元2Av内的过零判定单元31 Iv中，将位于过零点上下的像素识别为位于过 零点前后的像素。信号放大单元312v根据信号D311v确定位于过零点前后的像素(前后相邻的像 素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)后的非线性处理图像 D312v。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外 的像素的像素值的放大率为1。以上是非线性处理单元2A的动作。接着，第2中间图像生成单元2在高频分量图像生成单元2B中，生成仅取出图像 D2A的第3频率Ff以上的高频分量而得到的图像D2B。能够通过进行高通滤波处理来取出 高频分量。在图示的例子中，第3频率Ff与Fn/2相等。另外，分别关于图像的水平方向和垂直方向进行高频分量的取出。即，高频分量 图像生成单元2B具有水平方向高频分量图像生成单元2Bh，其对图像D2Ah进行水平方向 的高通滤波处理来生成仅关于水平方向取出第3水平方向频率以上的高频分量而得到的 图像D2Bh ；以及垂直方向高频分量图像生成单元2Bv，其针对图像D2Av进行垂直方向的高 通滤波处理来生成仅关于垂直方向取出第3垂直方向频率以上的高频分量而得到的图像 D2Bv,图像D2B由图像D2Bh和图像D2Bv构成。从第2中间图像生成单元2输出图像D2B作为中间图像D2。中间图像D2由与图 像D2Bh相当的图像D2h、以及与图像D2Bv相当的图像D2v构成。接着，加法单元4对输入图像DIN加上中间图像Dl和中间图像D2来生成输出图像 DOUT0另外，中间图像Dl由图像Dlh和图像Dlv构成，中间图像D2由图像D2h和图像D2v 构成，因此，将中间图像Dl和中间图像D2相加是指将图像Dlh、Dlv、D2h、D2v全部相加。在此，加法单元4中的加法处理不限于单纯相加，也可以使用加权相加。S卩，也可 以用各自不同的放大率对图像Dlh、Dlv、D2h、D2v分别进行放大后相加。以下，对将实施方式1中的图像处理装置用作图像显示装置的一部分的例子进行 说明。通过该说明，实施方式1中的图像处理装置的作用、效果变得清楚。图6是使用实施方式1中的图像处理装置的图像显示装置，在监视器U3上显示对 应于原图像DORG的图像。图像放大单元Ul在提供给输入端子UO的原图像DORG的图像尺寸比监视器U3的 图像尺寸小的情况下，输出放大原图像DORG后的图像DU1。在此，作为放大图像的手段，能
够使用双三次法等。实施方式1中的图像处理装置U2输出对图像DUl进行了之前说明的处理后的图 像DU2。然后，在监视器U3上显示图像DU2。以下，假定原图像DORG在水平方向和垂直方向上其像素值都是监视器U3的像素值的一半，首先针对图像放大单元Ui的动作、作用进行说明。图7是表示图像放大单元Ul的结构和动作的图，图像放大单元Ul具有水平方向 零插入单元U1A、水平方向低频分量通过单元U1B、垂直方向零插入单元UlC以及垂直方向 低频分量通过单元U1D。水平方向零插入单元UlA生成关于原图像DORG的水平方向适当插 入具有像素值0的像素后的图像DU1A。水平方向低频分量通过单元UlB生成通过低通滤波 处理仅取出图像DUlA的低频分量而得到的图像DU1B。垂直方向零插入单元UlC生成关于 图像DUlB的垂直方向适当插入具有像素值0的像素后的图像DU1C。垂直方向低频分量通 过单元UlD生成仅取出图像DUlC的低频分量而得到的图像DU1D。接着，将图像DUlD作为 在水平方向和垂直方向上都是原图像DORG的2倍的图像DUl，从图像放大单元Ul输出。图8 (A) (E)是用于具体说明图像放大单元Ul的动作的图，图8(A)表示原图像 DORG，图8 (B)表示图像DU1A,图8 (C)表示图像DU1B,图8 (D)表示图像DU1C,图8 (E)表示 图像DU1D。关于图8(A) (E)，方形(各格子)表示像素，写入其中的记号或数值表示各 像素的像素值。水平方向零插入单元UlA针对图8(A)所示的原图像D0RG，在水平方向每隔1个像 素插入1个具有像素值0的像素(即，在原图像DORG的水平方向上相邻的像素列彼此之间 插入1个由像素值0的像素构成的像素列)，生成图8 (B)所示的图像DU1A。水平方向低频 分量通过单元UlB针对图8 (B)所示的图像DU1A，实施低通滤波处理，生成图8(C)所示的图 像DU1B。垂直方向零插入单元UlC针对图8(C)所示的图像DU1B，在垂直方向每隔1个像 素插入1个具有像素值0的像素(即，在图像DUlB的垂直方向上相邻的像素行彼此之间插 入1个由像素值0的像素构成的像素行)，生成图8 (D)所示的图像DU1C。垂直方向低频分 量通过单元UlD针对图8 (D)所示的图像DU1C，实施低通滤波处理，生成图8(E)所示的图 像DU1D。通过以上处理生成在水平方向和垂直方向上都将原图像DORG放大为2倍的图像 DUlD0另外，当考虑通过加权相加实现低通滤波处理时，可以说能够通过对原图像DORG的 像素值适当加权相加来实现放大处理。图9 (A) (D)是在频率空间上表示图像放大单元Ul的处理的作用的图，图9 (A) 表示原图像DORG的频谱，图9(B)表示图像DUlA的频谱，图9 (C)表示水平方向低频分量通 过单元UlB的频率响应，图9 (D)表示图像DUlB的频谱。另外，在图9㈧ ⑶中，横轴是 表示水平方向的空间频率的频率轴，纵轴表示频谱或频率响应的强度。另外，原图像DORG 的像素数是输入图像DIN的一半，换言之，原图像DORG的采样间隔是输入图像DIN的采样 间隔的2倍。由此，原图像DORG的奈圭斯特频率是输入图像DIN的奈圭斯特频率的一半， 即 Fn/2。 另外，在图9(A) ⑶中，为了简单表示，只使用了 1根频率轴。但是，通常图像 数据由在二维平面状地排列的像素排列上给出的像素值构成，其频谱也是在用水平方向的 频率轴和垂直方向的频率轴展开的平面上给出的频谱。由此，为了正确表示原图像DORG等 的频谱等，需要记载水平方向的频率轴和垂直方向的频率轴两方。但是，原图像DORG的频 谱形状通常是以频率轴上的原点为中心各向同性扩展而成的形状，如果示出用1根频率轴 展开的空间上的频谱，则本领域技术人员容易将其扩展到用2根频率轴展开的空间来进行 考察。由此，在以后的说明中只要没有特别讲明，则使用用1根频率轴展开的空间进行频率 空间上的说明。
首先，说明原图像DORG的频谱。通常输入自然图像作为原图像D0RG，但是原图像 DORG的谱强度集中于频率空间的原点周围。由此，原图像DORG的频谱成为图9(A)所示的 谱 SPO。接着，说明图像DUlA的谱强度。针对原图像D0RG，在水平方向上每隔1个像素插 入ι个具有像素值O的像素来生成图像DU1A。在进行这种处理时，在频谱上产生以原图像 DORG的奈圭斯特频率为中心的叠加。S卩，产生以频率士Fn/2为中心将谱SPO叠加后的谱 SPM,因此图像DUlA的频谱如图9⑶所示。接着，说明水平方向低频分量通过单元UlB的频率响应。水平方向低频分量通过 单元UlB通过低通滤波实现，因此如图9 (C)所示，频率越高，水平方向低频分量通过单元 UlB的频率响应越低。最后，说明图像DUlB的频谱。通过针对具有图9(B)所示的频谱的图像DUlA进行 具有图9(C)所示的频率响应的低通滤波处理，得到图像DU1B。由此，图像DUlB的频谱如图 像DUlB所示，由谱SPM的强度降低某种程度的谱SP2、和谱SPO的强度降低某种程度的谱 SPl构成。另外，一般而言，频率越高，低通滤波器的频率响应越低。由此，在将谱SPl的强 度与谱SPO进行比较时，成为通过水平方向低频分量通过单元U1B，高频分量侧、即频率为 士Fn/2附近的谱强度减小的谱。此外，针对图像放大单元Ul的处理中的、垂直方向零插入单元UlC和垂直方向低 频分量通过单元UlD的处理，省略关于处理在频率空间上的作用的说明，但是能够根据该 处理的内容，容易地理解与针对表示垂直方向的空间频率的轴向，使用图9(A) (D)说明 的内容具有相同的作用。即，图像DUlD的频谱是二维扩展图9(D)所示的频谱而得到的。此外，在以后的说明中，将谱SP2称作叠加分量。在图像上，该叠加分量表现为具 有较高的频率分量的噪声或假信号。作为这种噪声或假信号，可列举过冲量、锯齿或振铃寸。以下，说明实施方式1中的图像处理装置的作用、效果。图10 (A) (E)是示意性表示输入放大原图像DORG而得到的图像DUlD作为输入 图像DIN(或图像DUl)时的、从输入图像DIN生成中间图像Dl时的作用、效果的图，图10(A) 表示输入图像DIN的频谱，图10(B)表示高频分量图像生成单元1的频率响应，图10(C)表 示低频分量图像生成单元2的频率响应，图10(D)表示第1中间图像生成单元1的频率响 应，图10(E)表示中间图像Dl的频谱。另外，在图10㈧ (E)中，基于与图9(A) (D) 同样的理由只使用了1根频率轴。此外，在图10(A) (E)中，仅在空间频率为0以上的范围内示出频谱或频率响应 的强度，但是以下说明中的频谱或频率响应成为以频率轴上的原点为中心对称的形状。由 此，在说明中使用的图仅示出了空间频率为0以上的范围，因此比较充分。首先，说明输入图像DIN的频谱。输入图像DUlD作为输入图像DIN，因此如图 10(A)所示，输入图像DIN的频谱与在图9(D)中说明的频谱为相同形状，由原图像DORG的 谱SPO的强度降低某种程度的谱SP1、和成为叠加分量的谱SP2构成。接着，说明高频分量图像生成单元IA的频率响应。高频分量图像生成单元IA由 高通滤波器构成，因此如图10(B)所示，频率越低，其频率响应越低。接着，说明低频分量图像生成单元IB的频率响应。低频分量图像生成单元IB由低通滤波器构成，因此如图10(C)所示，频率越高，其频率响应越低。接着，说明第1中间图像生成单元1的频率响应。用第1中间图像生成单元1内 的高频分量图像生成单元1A，减弱输入图像DIN具有的频率分量中的、图10(D)所示的低 频分量侧的区域RLl的频率分量。另一方面，用第1中间图像生成单元1内的低频分量图 像生成单元1B，减弱图10(D)所示的高频分量侧的区域RHl的频率分量。由此，如图10(D) 所示，第1中间图像生成单元1的频率响应在通过低频分量侧的区域RLl和高频分量侧的 区域RHl限制了频带的中间区域RMl具有峰值。该中间区域RMl不包含伴随在原图像DORG中插入具有像素值0的像素而产生的 叠加分量，占原图像DORG的奈圭斯特频率Fn/2以下的区域的一部分。接着，说明中间图像Dl的频谱。具有图10(A)所示的频谱的输入图像DIN通过具 有图10⑶所示的频率响应的第1中间图像生成单元1，由此得到中间图像D1。此外，第1 中间图像生成单元1的频率响应在通过低频分量侧的区域RLl和高频分量侧的区域RHl限 制了频带的中间区域RMl具有峰值，因此中间图像Dl的频谱成为减弱了输入图像DIN的频 谱中的、低频分量侧的区域RLl和高频分量侧的区域RHl中包含的部分的强度的频谱。由 此，中间图像Dl成为从输入图像DIN具有的高频分量去除成为叠加分量的谱SPl而得到的 图像。即，第1中间图像生成单元1具有以下效果生成从输入图像DIN具有的高频分量去 除成为叠加分量的谱SPl而得到的中间图像D1。图Il(A) (C)是表示第2中间图像生成单元2的作用、效果的图，图11㈧表示 非线性处理单元D2A的频谱，图11 (B)表示高频分量图像生成单元2B的频率响应，图11 (C) 表示图像D2B的频谱。另外，在图Il(A) (C)中，基于与图10(A) (E)同样的理由，仅 在空间频率为0以上的范围内示出频谱或频率响应的强度。如后所述，在非线性处理图像D2A中生成相当于高频分量侧的区域RH2的高频分 量。图Il(A)是示意性表示该状况的图。非线性处理图像D2A通过高频分量图像生成单元 2B，由此生成图像D2B。高频分量图像生成单元2B由高通滤波器构成，如图Il(B)所示，频 率越高，其频率响应越高。由此，图像D2B的频谱如图Il(C)所示，是从非线性处理图像D2A 的频谱中去除相当于低频分量侧的区域RL2的分量而得到的。换言之，非线性处理单元2A 具有生成相当于高频分量侧的区域RH2的高频分量的效果，高频分量图像生成单元2B具有 仅取出在非线性处理单元2A中生成的高频分量的效果。更具体说明上述的作用、效果。图12(A) (C)以及图13(A) (C)是示出阶跃边缘和对阶跃边缘进行采样时得 到的相连续的像素信号值的图。图12(A)表示阶跃边缘和采样间隔Si，图12(B)表示以采样间隔Sl对阶跃边缘进 行采样时得到的信号，图12(C)表示图12(B)表示的信号的高频分量。另一方面，图13(A) 表示阶跃边缘和间隔比采样间隔Sl宽的采样间隔S2，图13⑶表示以采样间隔S2对阶跃 边缘进行采样时得到的信号，图13(C)表示图13(B)表示的信号的高频分量。另外，在以下 的说明中，采样间隔S2的长度是采样间隔Sl的长度的一半。如图12(C)和图13(C)所示，阶跃边缘的中央在表示高频分量的信号中表现为过 零点Z。并且，采样间隔越短，表示高频分量的信号在过零点Z附近的倾斜度越陡，并且，采 样间隔越短，过零点Z附近的给出局部最大值、最小值的点的位置越接近过零点Z。
S卩，即使采样间隔变化，在边缘附近表示高频分量的信号的过零点位置也不变化， 但是采样间隔越小(或者分辨率越提高)，边缘附近的高频分量的倾斜度越陡，给出局部最 大值、最小值的点的位置越接近过零点。图14(A) (F)表示将以采样间隔S2对阶跃边缘进行采样后的信号放大至2倍 后，输入到实施方式ι中的图像处理装置时，第1中间图像生成单元1和第2中间图像生成 单元2的动作。另外，如前所述，分别关于水平方向和垂直方向进行第1中间图像生成单元1和第 2中间图像生成单元2的内部处理，因此一维地进行该处理。由此，在图14(A) (F)中，使 用一维信号表示处理内容。与图13⑶同样地，图14㈧是以采样间隔S2对阶跃边缘进行采样后的信号。图 14⑶是将图14㈧表示的信号放大至2倍后的信号。S卩，在原图像DORG中包含图14㈧ 所示的边缘的情况下，作为输入图像DIN输入图14(B)所示的信号。另外，在将信号放大至 2倍时，采样间隔为放大前的一半，因此，图14(B)表示的信号的采样间隔与图12(A) (C) 中的采样间隔Sl相同。此外，在图14(A)中，用坐标P3表示的位置是边缘信号的低亮度侧 的边界部分，用坐标P4表示的位置是边缘信号的高亮度侧的边界部分。图14(C)是表示图14(B)表示的信号的高频分量的信号，即相当于从高频分量图 像生成单元IA输出的图像DlA的信号。另外，图像DlA是取出输入图像DIN的高频分量而 得到的，因此其中还包括叠加分量。图14⑶是表示图14(C)表示的信号的低频分量的信号，即相当于从低频分量图 像生成单元IB输出的图像DlB的信号。另外，如前所述，输出图像DlB作为中间图像D1，因 此图14⑶还相当于中间图像D1。如图14⑶所示，在中间图像Dl中，过零点Z附近的局 部最小值出现在坐标P3，局部最大值出现在坐标P4，该情况与图13(C)所示的、从以采样间 隔S2对阶跃边缘进行采样后的信号取出的高频分量一致。此外，包含在图像DlA中的叠加 分量通过在低频分量图像生成单元IB中进行的低通滤波处理而去除。图14(E)表示将图14⑶表示的信号输入非线性处理单元2A时的输出信号、即在 输入中间图像Dl时从非线性处理单元2A输出的图像D2A。在非线性处理单元2A中，放大 过零点Z前后的坐标P1、P2的信号值。由此，如图14(E)所示，图像D2A在坐标P1、P2处的 信号值大小相比其他值要大，在过零点Z附近，出现局部最小值的位置从坐标P3变化到更 接近过零点Z的坐标P1，出现局部最大值的位置从坐标P4变化到更接近过零点Z的坐标 P1。这是指通过对非线性处理单元2A中的、过零点Z前后的像素值进行放大这样的非线性 处理，生成了高频分量。这样，能够通过按照每个像素适当改变放大率、或者根据像素适当 改变处理内容，生成高频分量。即，非线性处理单元2A具有如下效果生成不包含在中间图 像Dl中的高频分量、即相当于图Il(A)所示的高频分量侧的区域RH2的高频分量。图14(F)是表示图14(E)表示的信号的高频分量的信号，即相当于从高频分量图 像生成单元2B输出的图像D2B的信号。如图14(F)所示，在图像D2B中，过零点Z附近的 局部最小值出现在坐标P1，最大值出现在坐标P2，该情况与图12(C)所示的、从以采样间隔 Sl对阶跃边缘进行采样后的信号取出的高频分量一致。这是指通过高频分量图像生成单 元2B取出在非线性处理单元2A中生成的高频分量，并作为图像D2B输出。此外，可以说， 取出的图像D2B是包含与采样间隔Sl对应的频率分量的信号。换言之，高频分量图像生成单元2B具有如下效果仅取出在非线性处理单元2A中生成的高频分量。在加法单元4中，对输入图像DIN加上中间图像Dl和中间图像D2，生成输出图像 DOUT0如前所述，中间图像Dl是从输入图像DIN具有的高频分量取出叠加分量而得到的， 如图10(E)所示，对应于原图像DORG的奈圭斯特频率附近的高频分量。如在图9(D)中说明 的那样，原图像DORG的奈圭斯特频率附近的谱强度由于图像放大单元Ul的放大处理而减 弱，因此能够通过加上中间图像Dl，补偿由于放大处理而减弱的谱强度。此外，从中间图像 Dl去除了叠加分量，因此不会增强过冲量、锯齿或振铃这样的假信号。另一方面，中间图像 D2是对应于采样间隔Sl的高频分量。由此，能够通过加上中间图像D2来给出原图像DORG 的奈圭斯特频率以上的频带的高频分量，因此能够增加图像的清晰度。由此，能够通过将中 间图像Dl和中间图像D2与输入图像DIN相加，加上高频分量而不会增强叠加分量，从而能 够提高图像的清晰度。另外，能够通过给出原图像DORG的奈圭斯特频率以上的频带的高频分量，增加图 像的清晰度。由此，即使仅仅是在加法单元4中对输入图像DIN加上中间图像D2，也能够增 加图像的清晰度。即，也可以仅加上第2中间图像D2，以代替如图1所示将第1中间图像 Dl和第2中间图像D2双方与输入图像DIN相加。此外，在实施方式1中的图像处理装置中，在第1中间图像生成单元1和第2中间 图像生成单元2中，并列进行与图像的水平方向相关的处理、与垂直方向相关的处理，因此 不仅限于图像的水平方向或垂直方向，能够关于任意方向得到上述效果。此外，在实施方式1中的图像处理装置中，在频率空间上考虑，根据在从原点过渡 到Fn的频带中、原图像DORG的奈圭斯特频率士FnA附近(或特定的频带)输入图像DIN 具有的分量，生成对应于奈圭斯特频率士Fn附近的高频分量的图像D2B。由此，即使由于某 种理由，在输入图像DIN中失去奈圭斯特频率士Fn附近的频率分量，也能够通过图像D2B 给出奈圭斯特频率士Fn附近的频率分量。另外，用作特定频带的部位不限于士Fn/2附近。即，能够通过适当变更高频分量 图像生成单元IA和低频分量图像生成单元IB的频率响应，变更使用的频带。在上述的说明中，作为失去奈圭斯特频率Fn附近的频率分量的例子，列举了图像 的放大处理，但是针对输入图像DIN失去奈圭斯特频率Fn附近的频率分量的原因不限于 此，除此以外还可考虑噪声去除处理等。由此，实施方式中的图像处理装置的用途不限于图 像放大处理后。实施方式2图15是表示本发明的实施方式2的图像处理装置的结构的图，例如能够用作图像 显示装置的一部分。图15所示的图像处理装置与图1所示的图像处理装置大致相同，但是以下方面不 同插入了中间图像后处理单元3，加法单元4代替第2中间图像D2而将第3中间图像D3 与输入图像DIN和第1中间图像Dl相加。第1中间图像生成单元1与例如实施方式1的第1中间图像生成单元1同样，如图 2所示那样构成，与实施方式1的第1中间图像生成单元1同样动作，生成从输入图像DIN 取出特定频带附近的分量而得到的中间图像(第1中间图像)D1。第2中间图像生成单元2与例如实施方式1的第2中间图像生成单元2同样，如图3所示那样构成，与实施方式1的第2中间图像生成单元2同样动作，生成对中间图像Dl 进行了后述处理后的中间图像(第2中间图像)D2。中间图像后处理单元3生成对中间图像D2进行了后述处理后的中间图像(第3 中间图像)D3。加法单元4将输入图像DIN、中间图像Dl和中间图像D3进行相加。将加法单元4 相加而得到的图像作为最终的输出图像DOUT输出。图16是示出中间图像后处理单元3的结构例的图，图示的中间图像后处理单元3 具有符号比较单元3A，其将中间图像Dl和中间图像D2的各像素值的符号的比较结果作为 信号D3A输出；以及像素值变更单元3B，其根据信号D3A，输出变更中间图像D2的像素值后 的图像D3B。从中间图像后处理单元3输出图像D3B作为中间图像D3。以下，说明中间图像后处理单元3的具体动作。首先，中间图像后处理单元3的符号比较单元3A比较中间图像Dl和中间图像D2 的各像素值的符号，将其结果作为信号D3A输出。在此，关于图像Dlh和图像D2h的各像素 (关于图像中的彼此相同位置的像素)进行符号的比较，并且，关于图像Dlv和图像D2v的 各像素(即关于图像中的彼此相同位置的像素)进行符号的比较。符号比较单元3A具有 水平方向符号比较单元3Ah和垂直方向符号比较单元3Av，水平方向符号比较单元3Ah关 于图像Dlh和图像D2h进行各像素的符号的比较，将其结果作为信号D3Ah输出，垂直方向 符号比较单元3Av关于图像Dlv和图像D2v进行各像素的符号的比较，将其结果作为信号 D3Av输出。输出信号D3Ah和信号D3Av作为信号D3A。更具体说明符号比较单元3A的动作。图17(A) (D)是表示图像Dlh、Dlv, D2h、D2v的图，图17(A)表示图像Dlh，图 17⑶表示图像Dlv，图17(C)表示图像D2h，图17 0))表示图像D2v。在图17㈧ (D)中， 按照图像的水平方向和垂直方向表示水平坐标、垂直坐标以及各坐标值。此外，关于图像 Dlh，位于水平坐标χ、垂直坐标y的位置的像素的像素值用Dlh(xy)这样的记号表示，关于 图像Dlv，位于水平坐标χ、垂直坐标y的位置的像素的像素值用Dlv (xy)这样的记号表示， 关于图像D2h，位于水平坐标χ、垂直坐标y的位置的像素的像素值用D2h(xy)这样的记号 表示，关于图像D2v，位于水平坐标χ、垂直坐标y的位置的像素的像素值用D2v (xy)这样的 记号表不。水平方向符号比较单元3Ah关于图像Dlh和图像D2h的同一坐标的像素值比较 符号。即，比较像素值Dlh(Il)和像素值D2h(ll)的符号，比较像素值Dlh(12)和像素值 D2h(12)的符号，一般而言，如比较Dlh(xy)和D2h(xy)的符号那样，关于同一坐标的像素 值进行符号的比较，关于各像素的像素值确认符号的一致、不一致，将其结果作为信号D3Ah 输出。此外，垂直方向符号比较单元3Av关于图像Dlv和图像D2v的同一坐标的像素值比 较符号。即，比较像素值Dlv(Il)和像素值D2v(ll)的符号，比较像素值Dlv(12)和像素值 D2v(12)的符号，一般而言，如比较Dlv(xy)和D2v(xy)的符号那样，关于同一坐标的像素 值进行符号的比较，关于各像素的像素值确认符号的一致、不一致，将其结果作为信号D3Av 输出。并且，从符号比较单元3A输出信号D3Ah和信号D3Av作为信号D3A。以上是符号比较单元3A的动作。像素值变更单元3B生成根据信号D3A变更中间图像D2的像素值后的图像D3B。像素值变更单元3B关于中间图像D2的各像素值中的、通过信号D3A表示符号与中间图像 Dl的各像素值不同的像素值，将中间图像D2的像素值设为零。另一方面，在符号一致的情 况下，直接输出中间图像D2。另外，分别关于图像D2h和图像D2v进行该处理。像素值变更单元3B具有水平方向像素值变更单元3Bh和垂直方向像素值变更单 兀 3Bv0水平方向像素值变更单元3Bh接收图像D2h和信号D3Ah，在信号D3Ah表示“符号 不同”的情况下，输出将像素的像素值设为零的图像D3Bh，另一方面，在信号D3Ah表示“符 号一致”的情况下，将中间图像D2h直接作为图像D3Bh输出。垂直方向像素值变更单元3Bv接收图像D2v和信号D3Av，在信号D3Av表示“符号 不同”的情况下，输出将像素的像素值设为零的图像D3Bv，另一方面，在信号D3Av表示“符 号一致”的情况下，将中间图像D2v直接作为图像D3Bv输出。从像素值变更单元3B输出图像D3Bh和图像D3Bv作为图像D3B。并且，从中间图像后处理单元3输出图像D3B作为中间图像D3。另外，中间图像 D3由相当于图像D3Bh的图像D3h和相当于图像D3Bv的图像D3v构成。最后，说明加法单元4的动作。如上所述，加法单元4生成将输入图像DIN、中间图 像Dl和中间图像D3进行相加后的输出图像D0UT。并且，将输出图像DOUT作为最终输出图 像，从图像处理装置输出。另外，中间图像Dl由图像Dlh和图像Dlv构成，中间图像D3由图像D3h和图像 D3v构成，因此将输入图像DIN、中间图像Dl和中间图像D3相加，是指对输入图像DIN加上 图像 Dlh、Dlv、D3h、D3v 的全部。在此，加法单元4中的加法处理与实施方式1所述同样地，不限于单纯相加，也可 以使用加权相加。即，分别用不同的放大率对图像Dlh、Dlv、D3h、D3v分别进行放大后与输 入图像DIN相加。以下，对将实施方式2中的图像处理装置用作图像显示装置的一部分的例子进行 说明。通过该说明，实施方式2中的图像处理装置的作用、效果变得清楚。另外，在以下说 明中只要没有讲明，Fn这样的记号表示输入图像DIN的奈圭斯特频率。使用实施方式2中的图像处理装置的图像显示装置的结构例如图6所示，如在实 施方式1中说明的那样，在监视器U3上显示对应于原图像DORG的图像。图像放大单元Ul的动作与关于实施方式1，参照图6 图9(D)说明的动作相同。实施方式2中的图像处理装置U2输出对图像DUl进行了之前说明的处理后的图 像DU2。然后，在监视器U3上显示图像DU2。实施方式2中的图像处理装置的第1中间图像生成单元1和第2中间图像生成单 元2的作用、效果与关于实施方式1的图像处理装置，参照图9(A) (D)以及图10(A) (E)说明的作用、效果相同。即，第2中间图像生成单元2如在实施方式1中说明的那样，第2中间图像生成单 元2内的非线性处理单元2A具有生成相当于高频分量侧的区域RH2的高频分量的功能，第 2中间图像生成单元2内的高频分量图像生成单元2B具有仅取出在非线性处理单元2A中 生成的高频分量的功能。并且，输出图像D2B作为中间图像D2，因此第2中间图像生成单元 2能够输出具有对应于采样间隔Sl的高频分量的中间图像D2。
图18㈧ (E)以及图19㈧和(B)是用于说明中间图像后处理单元3的作用、 效果的图。图18(A) (E)是用于说明图像D2B或中间图像D2的更正确形状和中间图像 后处理单元3的作用的图，图19(A)和(B)是用于说明中间图像后处理单元3的效果的图。 以下使用这些图进行中间图像后处理单元3的作用、效果的说明。图18(A)是示意性示出从位于第2中间图像生成单元2内的非线性处理单元2A 输出的非线性处理图像D2A的图，尤其示出了过零点Z附近的非线性处理图像D2A。图18(B)是示出图18(A)所示的区域R2附近的非线性处理图像D2A的图，在白圈 中用实线示出的数据表示非线性处理图像D2A，在“ X ”标记中用虚线示出的数据表示非线 性处理图像D2A的低频分量。作为非线性处理图像D2A的低频分量，计算非线性处理图像D2A的像素值的局部 加权平均值。在区域R2附近，几个像素值取正值，但是大部分像素值为零，因此低频分量的 值成为比零稍大的值。此外，在对非线性处理图像D2A的像素值和低频分量的值进行比较 时，低频分量的值稍大。另一方面，在非线性处理图像D2A中，在坐标P2附近，位于坐标P2 以外的像素的像素值成为比位于坐标P2的像素的像素值小的值，因此低频分量的值成为 比非线性处理图像D2A的像素值小的值。即，在区域R2附近和坐标P2附近，成为交换非线 性处理图像D2A的像素值和低频分量的值的大小关系的结果。图18(C)是示出图18㈧所示的区域Rl附近的非线性处理图像D2A的图，在白圈 中用实线示出的数据表示非线性处理图像D2A，在“ X ”标记中用虚线示出的数据表示非线 性处理图像D2A的低频分量。作为非线性处理图像D2A的低频分量，计算非线性处理图像D2A的像素值的局部 加权平均值。在区域Rl附近，几个像素值取负值，但是大部分像素值为零，因此低频分量的 值成为比零稍小的值(绝对值更大的负值)。此外，在对非线性处理图像D2A的像素值和低 频分量的值进行比较时，低频分量的值稍小。另一方面，在非线性处理图像D2A中，在坐标 Pl附近，位于坐标Pl以外的像素的像素值成为比位于坐标Pl的像素的像素值大的值(绝 对值更小的负值)，因此低频分量的值成为比非线性处理图像D2A的像素值大的值。即，在 区域Rl附近和坐标Pl附近，成为交换非线性处理图像D2A的像素值和低频分量的值的大 小关系的结果。图18 (D)是示意性表示从第2中间图像生成单元2内的高频分量图像生成单元2B 输出的图像D2B的图。图像D2B能够通过取出非线性处理图像D2A的高频分量而得到，但 是为了从非线性处理图像D2A取出高频分量，从非线性处理图像D2A减去其低频分量即可。 即，图18(B)、(C)所示的非线性处理图像D2A和低频分量的差成为图像D2B。如已经说明 的那样，在区域Rl附近，非线性处理图像D2A是比低频分量更大的值，在坐标Pl附近，低频 分量是比非线性处理图像D2A更大的值，在坐标P2附近，非线性处理图像D2A是比低频分 量更大的值，在区域R2附近，低频分量是比非线性处理图像D2A更大的值，因此按照区域Rl 附近、坐标Pl附近、坐标P2附近、区域R2附近的顺序依次观察图像D2B的值时，一次从正 值变化为负值，在坐标Pl取局部最小值后，从负值变化为正值。此外，在坐标P2取局部最 大值后，从正值变化为负值。此外，输出图像D2B作为中间图像D2，因此中间图像D2也进行 同样的变化。另一方面，在观察相同部位的中间图像Dl的像素值变化时，从负到正仅变化一次。由此，当对中间图像D1和中间图像D2进行比较时，在区域Rl附近和区域R2附近，两 者的符号相反。图18(E)是示意性表示从中间图像后处理单元3输出的中间图像D3的图。在中 间图像后处理单元3内部的符号比较单元3A中，对中间图像Dl和中间图像D2的符号进行 比较，在两者的符号相反的情况下，在像素值变更单元D3B中将相应的中间图像D2的像素 值设为零。另一方面，在符号相同的情况下，将中间图像D2的像素值直接作为中间图像D3 的像素值输出。由此，区域Rl附近和区域R2附近的中间图像Dl和中间图像D2中的像素 值的正负符号的不一致得到消除。结果，如图18(E)所示，能够得到如下的中间图像D3 在 保持坐标P1、P2的局部最小值、最大值的状态下，消除了区域Rl附近和区域R2附近的与中 间图像Dl的正负符号的不一致。此外，在中间图像D3中，过零点Z附近的局部最小值、最大值被位于用坐标P1、P2 表示的位置上的像素保持。这是指在中间图像D3中也保持在第2中间图像生成单元2中 生成的、对应于采样间隔Sl的高频分量。由此，中间图像后处理单元3具有以下效果能够 在保持在第2中间图像生成单元2中生成的、对应于采样间隔Sl的高频分量的状态下，消 除与中间图像Dl的正负符号的不一致。图19(A)是示意性表示在边缘附近，将中间图像Dl和中间图像D2与输入图像DIN 相加时得到的图像的图。如前所述，在中间图像Dl和中间图像D2中，在区域Rl附近、区域 R2附近，像素值的符号相反。在以区域Rl为例时，中间图像Dl取负值，因此通过减小输入图像DIN的像素值而 具有增强边缘的效果，中间图像D2取正值，因此即使加上中间图像D2也不能增强边缘。此 外，在用中间图像D2相加的值比用中间图像Dl相减的值大的情况下(中间图像D2的绝对 值比中间图像Dl的绝对值大的情况下)，如图19(A)所示，区域Rl附近的像素值与其周围 比较成为稍大的值。在以区域R2为例时，中间图像Dl取正值，因此通过增大输入图像DIN的像素值而 具有增强边缘的效果，中间图像D2取负值，因此即使加上中间图像D2也不能增强边缘。此 外，在用中间图像D2相减的值比用中间图像Dl相加的值大的情况下(中间图像D2的绝对 值比中间图像Dl的绝对值大的情况下)，如图19㈧所示，区域R2附近的像素值与其周围 比较成为稍小的值。即，由于中间图像Dl和中间图像D2的像素值的正负符号不一致，在边缘附近能够 看到不自然的亮度变化。通常，边缘沿图像的水平方向或垂直方向等某个方向具有某种程 度的长度，因此该不自然的亮度变化也表现为具有与边缘靠近程度的长度，结果在边缘附 近能够看到不自然的线或图案。图19(B)是示意性表示在边缘附近，将中间图像Dl和中间图像D3与输入图像DIN 相加时得到的图像的图。如前所述，在中间图像Dl和中间图像D3中，像素值的正负符号一 致。由此，即使将中间图像Dl和中间图像D3与输入图像DIN相加，也能够增强边缘，而在 区域Rl附近、区域R2附近不会出现不自然的亮度变化。换言之，能够通过在加法单元4中将中间图像Dl和中间图像D3与输入图像DIN 相加来进行图像的增强，而不会产生不自然的亮度变化。此外，如前所述，中间图像Dl是从输入图像DIN具有的高频分量去除叠加分量而得到的，如图10 (E)所示，对应于原图像DORG的奈圭斯特频率附近的高频分量。如在图9 (D) 中说明的那样，原图像DORG的奈圭斯特频率附近的谱强度由于图像放大单元Ul的放大处 理而减弱，因此能够通过加上中间图像D1，补偿由于放大处理而减弱的谱强度。此外，从中 间图像Dl去除了叠加分量，因此不会增强过冲量、锯齿或振铃这样的假信号。另一方面，中 间图像D3是对应于采样间隔Sl的高频分量。由此，能够通过加上中间图像D3来给出原图 像DORG的奈圭斯特频率以上的频带的高频分量，因此能够增加图像的清晰度。由此，能够 通过在加法单元4中将中间图像Dl和中间图像D3与输入图像DIN相加，加上高频分量而 不会增强叠加分量，从而能够提高图像的清晰度。换言之，能够抑制起因于叠加分量的过冲 量、锯齿或振铃等的增加，并且能够加上高频分量来提高图像的清晰度。此外，在实施方式2中的图像处理装置中，在第1中间图像生成单元1和第2中间 图像生成单元2中，并列进行与图像的水平方向相关的处理、与垂直方向相关的处理，因此 不仅限于图像的水平方向或垂直方向，能够关于任意方向得到上述效果。此外，在实施方式2中的图像处理装置中，在频率空间上考虑，根据在从原点过渡 到Fn的频带中、原图像DORG的奈圭斯特频率士FnA附近(或特定的频带)输入图像DIN 具有的分量，生成对应于图像DIN的奈圭斯特频率士Fn附近的高频分量的图像D2B。由此， 即使由于某种理由，在输入图像DIN中失去奈圭斯特频率士Fn附近的频率分量，也能够通 过图像D2B给出奈圭斯特频率士Fn附近的频率分量。另外，用作特定频带的部位不限于士Fn/2附近。即，能够通过适当变更高频分量 图像生成单元IA和低频分量图像生成单元IB的频率响应，变更使用的频带。在上述的说明中，作为失去奈圭斯特频率Fn附近的频率分量的例子，列举了图像 的放大处理，但是针对输入图像DIN失去奈圭斯特频率Fn附近的频率分量的原因不限于 此，除此以外还可考虑噪声去除处理等。由此，实施方式2中的图像处理装置的用途不限于 图像放大处理后。实施方式3图20表示本发明的实施方式3的图像处理装置。图示的图像处理装置例如能够用 作图像显示装置的一部分，具有噪声去除单元Ull和增强处理单元U12，输入原图像D0RG， 输出图像D0UT。由噪声去除单元Ull和增强处理单元U12构成实施方式3的图像处理装置 U10。噪声去除单元Ull在内部包含低频分量通过单元U11A，输出用后述的方法去除了 原图像DORG中包含的噪声后的噪声去除图像DU11。作为增强处理单元U12，能够使用例如实施方式1中的图像处理装置。此时，如图 所示，增强处理单元U12具有第1中间图像生成单元1、第2中间图像生成单元2以及加法 单元4，输出用后述的方法对噪声去除图像DUll进行了增强处理后的增强处理图像DU12。 并且，将增强处理图像DU12输出到实施方式3的图像处理装置的外部。首先，说明噪声去除单元Ull的动作。噪声去除单元Ull在内部包含低频分量通过单元U11A。低频分量通过单元UllA 具有低通滤波器。噪声去除单元Ull输出针对原图像DORG使用低通滤波器去除了噪声后 的噪声去除图像DU11。一般而言，在图像中存在不规则振动的分量时，该分量表现为噪声。通常，这种不规则振动的分量具有较高的频率分量，能够通过进行低通滤波处理来去除该分量。由此，能 够使用低通滤波器去除噪声。接着，针对增强处理单元U12的具体动作进行说明。增强处理单元U12例如与实施方式1的图像处理装置具有相同的内部结构，并同 样进行动作。但是，作为图1中的输入图像DIN，输入噪声去除单元Ull的输出DUI。以下，说明实施方式3的图像处理装置的作用、效果。首先，说明噪声去除单元Ull的作用、效果。图21 (A)和(B)是在频率空间上表示噪声去除单元Ull的处理作用的图，图21 (A) 表示低频分量通过单元UlA的频率响应，图21 (B)表示原图像DORG和噪声去除图像DUll 的频谱。另外，在图21(A)和(B)中，横轴是表示水平方向的空间频率的频率轴，纵轴表示 频谱或频率响应的强度。另外，在图21㈧和(B)中，为了简单表示，与针对图9(A) (D)等说明的同样， 只使用了 1根频率轴。首先，说明低频分量通过单元UlA的频率响应。理想的是，低频分量通过单元UlA 的频率响应如图21(A)中虚线所示。即，针对频率绝对值比特定值Fc大的部分，其响应为 0，在除此以外的部位为1。但是，由于低频分量通过单元UlA的运算精度和抽头数的限制等 不能实现理想的频率响应，实际上成为如图21 (A)中实线所示的频率响应。即，在频率绝对 值比Fc稍小的部位，频率响应成为比1稍小的值，在频率绝对值比Fc大的区域，频率响应 成为比0稍大的值。接着，说明原图像DORG的频谱。通常输入自然图像作为原图像D0RG，但是，此时， 原图像DORG的谱强度集中于频率空间的原点周围。由此，原图像DORG的频谱成为图21⑶ 所示的谱SPll。接着，说明噪声去除图像DUll的频谱SP12。通过针对原图像D0RG，进行具有图 21(A)的实线所示的频率响应的低频分量通过单元UlA的低通滤波处理来生成噪声去除图 像DU11。以下，按照每个频带描述噪声去除图像DUll的谱SP12。首先，在频率绝对值比Fc稍小的区域中，低频分量通过单元UlA的频率响应成为 比1稍小的值，因此噪声去除图像DUll的谱SP12成为比原图像DORG具有的谱SPll稍小 的值。接着，在频率绝对值比Fc大的区域中，低频分量通过单元UlA的频率响应成为比0 稍大的值(大致为零)，因此与频率绝对值为Fc的附近的区域相比，谱的损失变大。由此， 噪声去除图像DUll的谱SP12的强度与频率绝对值比Fc稍小的区域相比进一步变小。以上是噪声去除图像DUll具有的频谱SP12的说明，在噪声去除单元Ull中，原图 像DORG具有的频率分量中的、高频分量侧的谱强度被减弱。即，在噪声去除单元Ull中，将 频率绝对值比Fc大的分量视作噪声来减弱其强度。但是，公知当高频分量侧的谱强度被减 弱时，图像的清晰度下降。由此，噪声去除单元Ull具有去除噪声的效果，另一方面，也使图 像的清晰度下降。以上是噪声去除单元Ull的作用、效果。接着，说明增强处理单元U12的作用、效果。增强处理单元U12的作用、效果与实 施方式1的图像处理装置的作用、效果相同，但是输入图像DIN与实施方式1的情况不同，因此存在从以下的说明理解的不同。图22㈧ (E)是示意性表示向增强处理单元U12输入噪声去除图像DUll作为 输入图像DIN时的、从输入图像DIN生成第1中间图像Dl时的作用、效果的图，图22 (A)表 示输入图像DIN的频谱，图22 (B)表示高频分量图像生成单元1的频率响应，图22 (C)表示 低频分量图像生成单元2的频率响应，图22(D)表示第1中间图像生成单元1的频率响应， 图22 (E)表示第1中间图像Dl的频谱。另外，在图22㈧ (E)中，基于与图21㈧和⑶ 同样的理由，只使用了 1根频率轴。此外，在图22㈧ (E)中，基于与关于图10(A) (E)等描述的理由同样的理由， 仅在空间频率为0以上的范围内示出频谱或频率响应的强度。首先，说明输入图像DIN的频谱。针对原图像DORG实施具有图21 (A)的实线所示 的频率响应的低通滤波处理，因此输入图像DIN的谱SP12相对于原图像DORG的谱SP11，在 频率绝对值比Fc小的(或Fc附近的)区域中，其强度稍微减弱，在频率绝对值为Fc以上 的区域中，其强度大幅度损失。接着，说明高频分量图像生成单元IA的频率响应。高频分量图像生成单元IA由 高通滤波器构成，因此如图22(B)所示，频率越低，其频率响应越低。在此，高频分量图像生 成单元IA主要具有以下特性使频率绝对值比值Fd大的区域通过，值Fd比Fc稍小。接着，说明低频分量图像生成单元IB的频率响应。低频分量图像生成单元IB由 低通滤波器构成，因此如图22(C)所示，频率越高，其频率响应越低。在此，低频分量图像生 成单元IB主要具有以下特性使频率绝对值比值Fe小的区域通过，值Fe比Fc稍大。接着，说明第1中间图像生成单元1的频率响应。对于输入图像DIN具有的频率 分量中的、图22(D)所示的频率绝对值比Fd小的低频分量侧的区域RLl的频率分量，用第 1中间图像生成单元1内的高频分量图像生成单元IA减弱。另一方面，对于图22(D)所示 的频率绝对值比Fe大的高频分量侧的区域RHl的频率分量，用第1中间图像生成单元1内 的低频分量图像生成单元IB减弱。由此，如图22(D)所示，第1中间图像生成单元1的频 率响应在通过低频分量侧的区域RLl和高频分量侧的区域RHl限制了频带的中间区域(特 定频带)RMl具有峰值。接着，说明第1中间图像Dl的频谱。具有图22(A)所示的频谱的输入图像DIN通 过具有图22(D)所示的频率响应的第1中间图像生成单元1，由此得到图22(E)所示的第1 中间图像D1。此外，第1中间图像生成单元1的频率响应在通过低频分量侧的区域RLl和 高频分量侧的区域RHl限制了频带的中间区域RMl具有峰值，因此第1中间图像Dl的频谱 成为减弱了输入图像DIN的频谱中的、低频分量侧的区域RLl和高频分量侧的区域RHl中 包含的部分的强度的频谱。由此，第1中间图像Dl成为从输入图像DIN具有的高频分量仅 取出频率绝对值为Fc附近的分量而得到的图像。即，第1中间图像生成单元1具有以下效 果生成从输入图像DIN具有的高频分量仅取出频率绝对值为Fc附近的分量而得到的第1 中间图像Dl。换言之，在第1中间图像Dl中取出的分量对应于在低频分量通过单元UlA中 稍微减弱的频率分量。图23㈧ (C)是表示第2中间图像生成单元2的作用、效果的图，图23(A)表示 非线性图像处理单元D2A的频谱，图23 (B)表示高频分量图像生成单元2B的频率响应，图 23(C)表示图像D2B的频谱。另外，在图23㈧ (C)中，基于与图22(A) (E)同样的理由，仅在空间频率为0以上的范围内示出频谱或频率响应的强度。如后所述，在非线性处理图像D2A中生成相当于高频分量侧的区域RH2的高频分 量。图23(A)是示意性表示该状况的图。非线性处理图像D2A通过高频分量图像生成单元 2B，由此生成图23 (C)所示的图像D2B。高频分量图像生成单元2B由使第3频率Ff以上的 分量通过的高通滤波器构成，如图23(B)所示，频率越高，其频率响应越高。由此，图像D2B 的频谱如图23(C)所示，是从非线性处理图像D2A的频谱中去除相当于低频分量侧的区域 RL2的分量(比第3频率Ff低的频率分量)而得到的。换言之，非线性处理单元2A具有 生成相当于高频分量侧的区域RH2的高频分量的效果，高频分量图像生成单元2B具有仅取 出在非线性处理单元2A中生成的高频分量的效果。另外，在图示的例子中，第3频率Ff与 Fc大致相等。更具体地说明上述的作用、效果。图24(A) (E)是示出对阶跃边缘进行采样时得到的信号、以及对该信号进行滤 波处理时得到的信号的图。图24㈧表示阶跃边缘和采样间隔Si，图24⑶表示以采样间隔Sl对阶跃边缘 进行采样时得到的信号，图24(C)表示图24(B)表示的信号的高频分量。图24(D)表示对 图24(B)所示的信号施加低通滤波处理后的信号，图24(E)表示图24(D)表示的信号的高
频分量。对图24⑶和图24⑶进行比较时，可知图24(D)的阶跃边缘附近的信号变化变 缓慢(或者亮度变化的倾斜度小)。这样，当阶跃边缘附近的信号变化变缓慢时，失去图像 的清晰度。换言之，通过噪声去除单元Ull对阶跃边缘施加低通滤波处理时，阶跃边缘附近 的信号变化变缓慢，从而清晰度下降。另一方面，如图24(C)和图24(E)所示，阶跃边缘的中央在表示高频分量的信号中 表现为过零点Z。并且，对于表示高频分量的信号的过零点Z附近的倾斜度，图24(C)所示 的倾斜度，即没有施加低通滤波处理的倾斜度较陡，并且，对于过零点Z附近的给出局部最 大值、最小值的点的位置，没有施加低通滤波处理的位置比较接近过零点Z。S卩，在边缘附近表示高频分量的信号的过零点的位置不变化，但是当受到低通滤 波处理，从而清晰度下降的情况下，边缘附近的高频分量的倾斜度变平缓，给出局部最大 值、最小值的点的位置远离过零点。图25 (A) (E)是表示将通过低频分量通过单元UlA受到低通滤波处理后的阶跃 边缘输入图20的增强处理单元U12时的作用、效果的图，尤其表示第1中间图像生成单元1 和第2中间图像生成单元2的作用、效果。另外，如前所述，分别关于水平方向和垂直方向 进行第1中间图像生成单元1和第2中间图像生成单元2内部的处理，因此一维地进行该 处理。由此，在图25(A) (E)中，使用一维信号表示处理的内容。与图24(D)同样地，图25(A)是对采样阶跃边缘时得到的信号施加低通滤波处理 后的信号，得到这种信号作为图20的噪声去除单元Ull的输出DU11。图25⑶是表示图25㈧表示的信号(DUll)的高频分量的信号，即相当于从高频 分量图像生成单元IA输出的图像DlA的信号。另外，用P3、P4表示相当于图像DlA的信号 的过零点Z附近的给出局部最小值、最大值的点的坐标。图25(C)是表示图25(B)表示的信号的低频分量的信号，即相当于从低频分量图像生成单元IB输出的图像DlB的信号。另外，如前所述，输出图像DlB作为第1中间图像 Dl，因此图25(C)还相当于第1中间图像D1。在图25(C)中，在第1中间图像Dl中，过零点 Z附近的局部最小值出现在坐标P3，局部最大值出现在坐标P4，该情况与图24(E)所示的、 从以采样间隔S2对阶跃边缘进行采样后的信号取出的高频分量一致。图25⑶表示相对于图25(C)表示的信号的非线性处理单元2A的输出信号，即在 输入第1中间图像Dl时从非线性处理单元2A输出的图像D2A。在非线性处理单元2A中， 放大过零点Z前后的坐标P1、P2的信号值。由此，如图25(D)所示，图像D2A在坐标P1、P2 的信号值的大小相比其他值要大，在过零点Z附近，出现局部最小值的位置从坐标P3变化 成更接近过零点Z的坐标P1，出现局部最大值的位置从坐标P4变化成更接近过零点Z的 坐标P1。这是指通过非线性处理单元2A对过零点Z前后的像素值进行放大这样的非线性 处理，生成了高频分量。这样，能够通过按照每个像素适当改变放大率、或者根据像素适当 改变处理的内容，生成高频分量。即，非线性处理单元2A具有如下效果生成不包含在第1 中间图像Dl中的高频分量，即相当于图23(A)所示的高频分量侧的区域RH2的高频分量。图25(E)是表示图25(D)表示的信号的高频分量的信号，即相当于从高频分量图 像生成单元2B输出的图像D2B的信号。如图25(E)所示，在图像D2B中，过零点Z附近的 局部最小值出现在坐标P1，最大值出现在坐标P2，该情况与图24(C)所示的、从以采样间隔 Sl对阶跃边缘进行采样后的信号取出的高频分量一致。这是指通过高频分量图像生成单 元2B取出在非线性处理单元2A中生成的高频分量，并作为图像D2B输出。此外，可以说， 取出的图像D2B是包含与以采样间隔Sl对阶跃边缘进行采样后的信号对应的频率分量的 信号。换言之，高频分量图像生成单元2B具有如下效果从在非线性处理单元2A中生成的 高频分量取出频率绝对值比Fc大的分量。在加法单元4中，对输入图像DIN加上第1中间图像Dl和第2中间图像D2。如前所述，第1中间图像Dl是原图像DORG的高频分量在低频分量通过单元UlA 中被减弱，并且提取频率绝对值位于Fc附近的区域内的分量而得到的，如图22 (E)所示，对 应于频率绝对值在Fc附近的分量。如在图21(B)中说明的那样，频率绝对值在Fc附近的 频带的谱强度通过噪声去除单元Ull的处理而减弱，因此能够通过加上第1中间图像D1，补 偿通过噪声去除单元Ul 1而减弱的谱强度。另一方面，第2中间图像D2与图像D2B相同， 是对应于频率绝对值大于Fc的谱分量的高频分量。由此，能够通过加上第2中间图像D2 来给出频率绝对值大于Fc的频带的高频分量。频率绝对值比Fc大的频带的谱强度也通过 噪声去除单元Ull的处理而减弱，因此能够通过加上第2中间图像D2，补偿通过噪声去除单 元Ul 1而减弱的谱强度。综上所述，能够通过将第1中间图像Dl和第2中间图像D2与输 入图像DIN相加，加上通过噪声去除单元Ull而减弱或失去的高频分量。此外，能够通过对 输入图像DIN加上高频分量，提高图像的清晰度。换言之，即使由于噪声去除单元Ull引起 了清晰度的下降，也能够通过增强处理单元U12提高图像的清晰度。此外，在增强处理单元U12中，在第1中间图像生成单元1和第2中间图像生成单 元2中，并列进行与图像的水平方向相关的处理、与垂直方向相关的处理，因此不仅限于图 像的水平方向或垂直方向，能够关于任意方向得到上述效果。以上是增强处理单元U12的作用、效果。综上所述，在实施方式3中的图像处理装置中，能够在噪声去除单元Ul 1中去除噪声，因此即使在增强处理单元U12中进行了增强处理，也不会增强噪声。此外，增强处理单 元U12包含非线性处理单元2A，因此能够加上通过噪声去除单元Ull而减弱的高频分量，从 而即使由于噪声去除单元Ull引起了清晰度的下降，也能够通过增强处理单元U12提高图 像的清晰度。换言之，能够进行图像的增强处理而不会增强噪声，此外，也不会产生伴随噪 声去除的清晰度下降。另外，噪声去除单元Ull通过低通滤波器去除噪声即可。即，可考虑以下结构等 在噪声去除单元Ull中另外设置估计原图像DORG中包含的噪声量的电路，根据该电路的输 出结果，局部地控制低频分量通过单元UlA中的低通滤波处理。此外，ε滤波器那样的边 缘保存型的滤波器也利用低通滤波器去除噪声，因此能够用作噪声去除单元U11。此外，作为增强处理单元U12，说明了使用实施方式1中的图像处理装置的结构， 但是作为增强处理单元U12，也可以使用实施方式2中的图像处理装置，此时也能够得到相 同的效果。此外，如图26所示，能够将实施方式3的图像处理装置UlO用作图像显示装置的 一部分。例如，可考虑以下的使用方法将从输入端子UO输入的视频作为原图像DORG输 入实施方式3的图像处理装置U10，将图像处理装置UlO的输出图像DU12显现在监视器U3 上。实施方式4图27是示出本发明的实施方式4的图像处理方法的流程图，实施方式4的图像处 理方法通过第1中间图像生成步骤STl、第2中间图像生成步骤ST2以及加法步骤ST4实 现。如图28所示，第1中间图像生成步骤STl包含高频分量图像生成步骤STlA和低 频分量图像生成步骤ST1B。高频分量图像生成步骤STlA包含水平方向高频分量图像生成步骤STlAh和垂直 方向高频分量图像生成步骤STIAv，低频分量图像生成步骤STlB包含水平方向低频分量图 像生成步骤STlBh和垂直方向低频分量图像生成步骤STIBv。如图29所示，第2中间图像生成步骤ST2包含非线性处理步骤ST2A和高频分量 图像生成步骤ST2B。非线性处理步骤ST2A包含水平方向非线性处理步骤ST2Ah和垂直方向非线性处 理步骤ST2Av，高频分量图像生成步骤ST2B包含水平方向高频分量通过步骤ST2Bh和垂直 方向高频分量通过步骤ST2Bv。如图30所示，水平方向非线性处理步骤ST2Ah包含过零判定步骤ST311h和信号 放大步骤ST312h，如图31所示，垂直方向非线性处理步骤ST2Av包含过零判定步骤ST311v 和信号放大步骤ST312v。首先，依照图28的流程说明第1中间图像生成步骤STl的动作。在高频分量图像生成步骤STlA中，针对在未图示的图像输入步骤中输入的输入 图像DIN进行如下的处理。首先，在水平方向高频分量图像生成步骤STlAh中，通过水平方 向的高通滤波处理生成从输入图像DIN取出水平方向的高频分量而得到的图像DIAh。在 垂直方向高频分量图像生成步骤STlAv中，通过垂直方向的高通滤波处理生成从输入图像 DIN取出垂直方向的高频分量而得到的图像DlAv。即，高频分量图像生成步骤STlA进行与高频分量图像生成单元IA同样的处理，从输入图像DIN生成由图像DlAh和图像DlAv构成 的图像D1A。该动作与高频分量图像生成单元IA相同。在低频分量图像生成步骤STlB中，针对图像DlA进行如下的处理。首先，在水平方 向低频分量图像生成步骤STlBh中，通过水平方向的低通滤波处理生成从图像DlAh取出水 平方向的低频分量而得到的图像DIBh。在垂直方向低频分量图像生成步骤STlBv中，通过 垂直方向的低通滤波处理生成从图像DlAv取出垂直方向的低频分量而得到的图像DIBv。 即，低频分量图像生成步骤STlB进行与低频分量图像生成单元IB同样的处理，从图像DlA 生成由图像DlBh和图像DlBv构成的图像D1B。该动作与低频分量图像生成单元IB相同。以上是第1中间图像生成步骤STl的动作，第1中间图像生成步骤STl设图像DlBh 为图像Dlh，设图像DlBv为图像Dlv，输出由图像Dlh和图像Dlv构成的中间图像D1。以上 动作与第1中间图像生成单元1相同。接着，依照图29 图31说明第2中间图像生成步骤ST2的动作。首先，在非线性处理步骤ST2A中对中间图像Dl进行如下处理。首先，在水平方向非线性处理步骤ST2Ah中，通过依照图30所示流程的处理从图 像Dlh生成图像D2Ah。图30所示流程的处理如下所示。首先，在过零判定步骤ST311h中，沿 着水平方向确认图像Dlh中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负 值变化为正值的部位作为过零点，将位于过零点左右的像素通知给信号放大步骤ST312h。 在信号放大步骤ST312h中，针对图像Dlh，放大被通知位于过零点左右的像素的像素值，并 将该图像作为图像D2Ah输出。即，非线性处理步骤ST2Ah针对图像Dlh，进行与水平方向非 线性处理单元2Ah同样的处理，从而生成图像D2Ah。接着，在垂直方向非线性处理步骤ST2Av中，通过依照图31所示流程的处理从图 像Dlv生成图像D2Av。图31所示流程的处理如下所示。首先，在过零判定步骤ST311v中，沿 着垂直方向确认图像Dlv中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负 值变化为正值的部位作为过零点，将位于过零点上下的像素通知给信号放大步骤ST312V。 在信号放大步骤ST312V中，针对图像Dlv，放大被通知位于过零点上下的像素的像素值，并 将该图像作为图像D2Av输出。即，非线性处理步骤ST2Av针对图像Dlv，进行与垂直方向非 线性处理单元2Av同样的处理，从而生成图像D2Av。以上是非线性处理步骤ST2A的动作，非线性处理步骤ST2A生成由图像D2Ah和图 像D2Av构成的图像D2A。该动作与非线性处理单元2A相同。接着，在高频分量图像生成步骤ST2B中，对图像D2A进行如下处理。首先，在水平方向高频分量图像生成步骤ST2Bh中，生成针对图像D2A进行了水平 方向的高通滤波处理后的图像D2Bh。即，水平方向高频分量图像生成步骤ST2Bh进行与水 平方向高频分量图像生成单元2Bh同样的处理。 接着，在垂直方向高频分量图像生成步骤ST2Bv中，生成针对图像D2A进行了垂直 方向的高通滤波处理后的图像D2Bv。即，垂直方向高频分量图像生成步骤ST2Bv进行与垂 直方向高频分量图像生成单元2Bv同样的处理。以上是高频分量图像生成步骤ST2B的动作，高频分量图像生成步骤ST2B生成由 图像D2Bh和图像D2Bv构成的图像D2B。该动作与高频分量图像生成单元2B相同。以上是第2中间图像生成步骤ST2的动作，第2中间图像生成步骤ST2输出图像D2B作为中间图像D2。即，输出设图像D2Bh为图像D2h，设图像D2Bv为图像D2v的中间图 像D2。该动作与第2中间图像生成单元2相同。加法步骤ST4对输入图像DIN、中间图像Dl和中间图像D2进行相加，生成输出图 像D0UT。另外，中间图像Dl由图像Dlh和图像Dlv构成，中间图像D2由图像D2h和图像 D2v构成，因此在加法步骤ST4中，将图像Dlh、Dlv、D2h、D2v全部与输入图像DIN相加。此 时，可以将图像Dlh、Dlv、D2h、D2v与输入图像DIN单纯相加，也可以进行加权相加。此外， 将输出图像DOUT作为实施方式4中的图像处理方法的最终输出图像输出。以上是加法步 骤ST4的动作，加法步骤ST4的动作与加法单元4的动作相同。以上是实施方式4中的图像处理方法的动作。从该说明可知，实施方式4中的图像处理方法的动作与实施方式1中的图像处理 装置相同。由此，实施方式4中的图像处理方法具有与实施方式1中的图像处理装置相同 的效果。此外，还能够将通过上述图像处理方法处理后的图像显示在图6所示的图像显示
t ο实施方式5图32是表示本发明的实施方式5的图像处理方法的流程的图。实施方式5的图 像处理方法与图27所示的实施方式4的图像处理方法大致相同，但是插入了中间图像后处 理步骤ST3，此外，加法步骤ST4的内容不同。第1中间图像生成步骤STl和第2中间图像生成步骤ST2与关于实施方式4说明 的步骤相同。如图33所示，中间图像后处理步骤ST3包含符号比较步骤ST3A和像素值变更步 骤 ST3B。符号比较步骤ST3A包含水平方向符号比较步骤ST3Ah和垂直方向符号比较步骤 ST3Av，像素值变更步骤ST3B包含水平方向像素值变更步骤ST3Bh和垂直方向像素值变更 步骤ST3Bv。接着，依照图33的流程说明中间图像后处理步骤ST3的动作。首先，在符号比较步骤ST3A中，比较中间图像Dl和中间图像D2的各像素值的符 号。在此，中间图像Dl由图像Dlh和图像Dlv构成，中间图像D2由图像D2h和图像D2v构 成，关于图像Dlh和图像D2h的各像素进行符号的比较，并且，关于图像Dlv和图像D2v的 各像素进行符号的比较。即，在水平方向符号比较步骤ST3Ah中关于图像Dlh和图像D2h 进行各像素的符号的比较，在垂直方向符号比较步骤ST3Av中关于图像Dlv和图像D2v进 行各像素的符号的比较。并且，输出表示比较结果的信号D3Ah和信号D3Av作为信号D3A。这样，水平方向符号比较步骤ST3Ah进行与水平方向符号比较单元3Ah同样的处 理，由中间图像Dlh和中间图像D2h得到信号D3h。步骤ST3Ah的具体动作与水平方向符号 比较单元3Ah相同。垂直方向符号比较步骤ST3Av进行与垂直方向符号比较单元3Av同样 的处理，由中间图像Dlv和中间图像D2v得到信号D3v。步骤ST3Av的具体动作与垂直方向 符号比较单元3Av相同。在像素值变更步骤ST3B中，生成根据表示符号比较步骤ST3A的比较结果的信号 D3A变更中间图像D2的像素值后的图像D3B。即，像素值变更步骤ST3B关于中间图像D2 的各像素值中的、在符号比较步骤ST3A中判定为符号与中间图像Dl的各像素值不同的像素值，将该像素值设为零。另一方面，在符号一致的情况下，直接输出中间图像D2。另外， 分别关于图像D2h和图像D2v进行该处理。即，关于图像D2h，在水平方向像素值变更步骤 ST3Bh中，生成将符号与图像Dlh不同的像素的像素值设为零的图像D3Bh，关于图像D2v，在 垂直方向像素值变更步骤ST3Bv中，生成将符号与图像Dlv不同的像素的像素值设为零的 图像D3Bv。另外，在步骤ST3Bh中，在符号一致的情况下，直接输出中间图像D2h作为中间 图像D3h。同样，在步骤ST3Bv中，在符号一致的情况下，直接输出中间图像D2v作为中间图 像D3v。并且，从像素值变更步骤ST3B输出图像D3Bh和图像D3Bv作为图像D3B。并且，从中间图像后处理步骤ST3输出图像D3B作为中间图像D3。另外，中间图像 D3由相当于图像D3Bh的图像D3h和相当于图像D3Bv的图像D3v构成。以上是中间图像后处理步骤ST3的动作，该动作与中间图像后处理单元3相同。加法步骤ST4对输入图像DIN、中间图像Dl和中间图像D3进行相加，生成输出图 像D0UT。另外，中间图像Dl由图像Dlh和图像Dlv构成，中间图像D3由图像D3h和图像 D3v构成，因此在加法步骤ST4中，将图像Dlh、Dlv、D3h、D3v全部与输入图像DIN相加。此 时，可以将图像Dlh、Dlv、D3h、D3v与输入图像DIN单纯相加，也可以进行加权相加。此外， 将输出图像DOUT作为实施方式5中的图像处理方法的最终输出图像输出。以上是加法步 骤ST4的动作，该动作与加法单元4的动作相同。以上是实施方式5中的图像处理方法的动作。从该说明可知，实施方式5中的图像处理方法的动作与实施方式2中的图像处理 装置相同。由此，实施方式5中的图像处理方法具有与实施方式2中的图像处理装置相同 的效果。此外，还能够将通过上述图像处理方法处理后的图像显示在图6所示的图像显示
t ο实施方式6图34是示出本发明的实施方式6的图像处理方法中的处理过程的图。实施方式 6的图像处理方法包含噪声去除步骤STll和增强处理步骤ST12。噪声去除步骤STll包含低频分量通过步骤ST11A，低频分量通过步骤STllA通 过针对在未图示的图像输入步骤中输入的输入图像DORG进行低通滤波处理来进行噪声处 理，从而生成噪声去除图像DUl 1。以上是噪声去除步骤STll的动作，该动作与实施方式3的噪声去除单元Ull相 同。图27是示出增强处理步骤ST12中的处理过程的图，作为增强处理步骤ST12，使用 实施方式4中的图像处理方法。即，增强处理步骤ST12包含第1中间图像生成步骤ST1、第 2中间图像生成步骤ST2以及加法步骤ST4。第1中间图像生成步骤STl和第2中间图像生成步骤ST2与关于实施方式4说明 的步骤相同。但是，将噪声去除图像DUll作为输入图像DIN进行处理。加法步骤ST4对噪声去除图像DU11、第1中间图像Dl和第2中间图像D2进行相 加，生成输出图像D0UT。并且，将输出图像DOUT作为实施方式6中的图像处理方法的最终 输出图像输出。即，加法步骤ST4的动作与加法单元4的动作相同。以上是增强处理步骤ST12的动作，该动作与增强处理单元U12相同。以上是实施方式6中的图像处理方法的动作，该动作与在实施方式3中说明的图像处理装置相同。从该说明可知，实施方式6中的图像处理方法的动作与实施方式3中的图像处理 装置相同。由此，实施方式6中的图像处理方法具有与实施方式3中的图像处理装置相同 的效果。此外，作为增强处理步骤ST12，说明了使用实施方式4中的图像处理方法的结构， 但是作为增强处理步骤ST12，也可以使用实施方式5中的图像处理方法，此时也能够得到 相同的效果。此外，能够将实施方式6中的图像处理方法用作图像显示装置或图像显示方法的 一部分。例如，在图26所示的图像处理装置UlO内部生成通过实施方式6中的图像处理方 法处理后的图像DU12即可。也可以通过软件、即通过编程后的计算机实施实施方式4 6的图像处理方法的 一部分或全部处理。图35示出用于实施处理的图像处理装置的一例。图35所示的图像处理装置具有CPU 11、程序存储器12、数据存储器13、第1接口 14、第2接口 15以及连接这些部件的总线16，能够代替例如图1、图15所示的图像处理装 置，用作例如图6所示的图像显示装置内的图像处理装置U2，或者代替图20所示的图像处 理装置，用作图26所示的图像显示装置内的图像处理装置UlO。CPU 11依照存储在程序存储器12中的程序进行动作，通过进行参照图27 图36 说明的各个步骤的处理，实施实施方式4 6的图像处理方法。在动作的过程中将各种数 据存储到数据存储器13中。在将图35的图像处理装置用作图1或图15的图像处理装置的情况下，例如经由 接口 14提供从图6所示的图像放大单元Ul输出的图像DUl作为输入图像DIN，在CPU 11 中，进行与图1或图15的图像处理装置相同的处理，将作为处理结果生成的输出图像DOUT 经由接口 15提供给例如图6所示的图像显示装置内的监视器U3，作为图像DU2，用于监视 器U3的显示。在将图35的图像处理装置用作图20的图像处理装置的情况下，例如经由接口 14 提供从图26的输入端子UO输入的原图像D0RG，在CPU 11中，进行与图20的图像处理装置 相同的处理，将作为处理结果生成的输出图像DU12经由接口 15提供给例如图26所示的图 像显示装置内的监视器U3，用于监视器U3的显示。标号说明1 第1中间图像生成单元；2 第2中间图像生成单元；3 中间图像后处理单元； 4:加法单元；DIN:输入图像；Dl 第1中间图像；D2:第2中间图像；D3:第3中间图像； DOUT 输出图像；DORG 原图像；Ull 噪声去除单元；UllA 低频分量通过单元；DUll 噪声 去除图像。
权利要求
1.一种图像处理装置，其中，该图像处理装置具有第1中间图像生成单元，其生成取出输入图像的特定频带附近的分量而得到的第1中 间图像；第2中间图像生成单元，其根据所述第1中间图像生成第2中间图像；以及 加法单元，其对所述输入图像和所述第2中间图像进行相加。
2.根据权利要求1所述的图像处理装置，其特征在于，所述加法单元进一步将所述第1中间图像与所述输入图像和所述第2中间图像相加。
3.一种图像处理装置，该图像处理装置具有第1中间图像生成单元，其生成取出输入图像的特定频带附近的分量而得到的第1中 间图像；第2中间图像生成单元，其根据所述第1中间图像生成第2中间图像； 中间图像后处理单元，其根据所述第1中间图像和所述第2中间图像生成第3中间图 像；以及加法单元，其对所述输入图像、所述第1中间图像和所述第3中间图像进行相加， 其特征在于，所述中间图像后处理单元具有符号比较单元，其对所述第1中间图像和所述第2中间图像的像素值的符号进行比较；以及像素值变更单元，其根据所述符号比较单元的比较结果，改变所述第2中间图像的像素值。
4.根据权利要求3所述的图像处理装置，其特征在于，在由所述符号比较单元判断为所述第1中间图像的像素值的符号与所述第2中间图像 的像素值的符号不同的情况下，所述像素值变更单元输出将所述第2中间图像的像素值设 为零后的处理图像，所述中间图像后处理单元输出所述处理图像作为所述第3中间图像。
5.根据权利要求1 4中的任意一项所述的图像处理装置，其特征在于，所述图像处理装置还具有噪声去除单元，该噪声去除单元输出去除了原图像中包含的 噪声后的噪声去除图像，所述噪声去除单元具有低频分量通过单元，该低频分量通过单元对所述原图像进行低 通滤波处理，将所述噪声去除图像作为所述输入图像提供给所述第1中间图像生成单元和所述加 法单元。
6.根据权利要求1或2所述的图像处理装置，其特征在于， 所述第1中间图像生成单元具有第1高频分量图像生成单元，其生成仅取出所述输入图像的高频分量而得到的第1高 频分量图像；以及低频分量图像生成单元，其仅取出所述第1高频分量图像的低频分量。
7.根据权利要求6所述的图像处理装置，其特征在于，所述第2中间图像生成单元具有非线性处理单元，该非线性处理单元生成以根据像素而变化的放大率对所述第1中间图像的像素值进行放大后的非线性处理图像。
8.根据权利要求7所述的图像处理装置，其特征在于，所述第2中间图像生成单元还具有第2高频分量图像生成单元，该第2高频分量图像 生成单元生成仅取出所述非线性处理图像的高频分量而得到的第2高频分量图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述第1高频分量图像生成单元包含第1水平方向高频分量图像生成单元，该第1水 平方向高频分量图像生成单元使用存在于所述输入图像的各像素的水平方向附近的像素， 生成取出高频分量而得到的第1水平方向高频分量图像，所述低频分量图像生成单元包含水平方向低频分量图像生成单元，该水平方向低频分 量图像生成单元生成仅取出所述第1水平方向高频分量图像的低频分量而得到的第1水平 方向中间图像，所述第1中间图像包含所述第1水平方向中间图像，所述非线性处理单元包含水平方向非线性处理单元，该水平方向非线性处理单元生成 以根据像素而变化的放大率对所述第1水平方向中间图像的各像素值进行放大后的水平 方向非线性处理图像，所述第2高频分量图像生成单元包含第2水平方向高频分量图像生成单元，该第2水 平方向高频分量图像生成单元生成仅取出所述水平方向非线性处理图像的高频分量而得 到的图像作为第2水平方向中间图像，所述第2中间图像包含所述第2水平方向中间图像。
10.根据权利要求8所述的图像处理装置，其特征在于，所述第1高频分量图像生成单元包含第1垂直方向高频分量图像生成单元，该第1垂 直方向高频分量图像生成单元使用存在于所述输入图像的各像素的垂直方向附近的像素， 生成取出高频分量而得到的第1垂直方向高频分量图像，所述低频分量图像生成单元包含垂直方向低频分量图像生成单元，该垂直方向低频分 量图像生成单元生成仅取出所述第1垂直方向高频分量图像的低频分量而得到的第1垂直 方向中间图像，所述第1中间图像包含所述第1垂直方向中间图像，所述非线性处理单元包含垂直方向非线性处理单元，该垂直方向非线性处理单元生成 以根据像素而变化的放大率对所述第1垂直方向中间图像的各像素值进行放大后的垂直 方向非线性处理图像，所述第2高频分量图像生成单元包含第2垂直方向高频分量图像生成单元，该第2垂 直方向高频分量图像生成单元生成仅取出所述垂直方向非线性处理图像的高频分量而得 到的图像作为第2垂直方向中间图像，所述第2中间图像包含所述第2垂直方向中间图像。
11.根据权利要求8所述的图像处理装置，其特征在于， 所述第1高频分量图像生成单元具有第1水平方向高频分量图像生成单元，其使用存在于所述输入图像的各像素的水平方 向附近的像素，生成取出高频分量而得到的第1水平方向高频分量图像；以及第1垂直方向高频分量图像生成单元，其使用存在于所述输入图像的各像素的垂直方向附近的像素，生成取出高频分量而得到的第1垂直方向高频分量图像， 所述低频分量图像生成单元具有水平方向低频分量图像生成单元，其生成仅取出所述第1水平方向高频分量图像的低 频分量而得到的第1水平方向中间图像；以及垂直方向低频分量图像生成单元，其生成仅取出所述第1垂直方向高频分量图像的低 频分量而得到的第1垂直方向中间图像，所述第1中间图像由所述第1水平方向中间图像和所述第1垂直方向中间图像构成， 所述非线性处理单元具有水平方向非线性处理单元，其生成以根据像素而变化的放大率对所述第1水平方向中 间图像的各像素值进行放大后的水平方向非线性处理图像；以及垂直方向非线性处理单元，其生成以根据像素而变化的放大率对所述第1垂直方向中 间图像的各像素值进行放大后的垂直方向非线性处理图像， 所述第2高频分量图像生成单元具有第2水平方向高频分量图像生成单元，其生成仅取出所述水平方向非线性处理图像的 高频分量而得到的图像作为第2水平方向中间图像；以及第2垂直方向高频分量图像生成单元，其生成仅取出所述垂直方向非线性处理图像的 高频分量而得到的图像作为第2垂直方向中间图像，所述第2中间图像由所述第2水平方向中间图像和所述第2垂直方向中间图像构成。
12.根据权利要求3或4所述的图像处理装置，其特征在于， 所述第1中间图像生成单元具有第1高频分量图像生成单元，其生成仅取出所述输入图像的高频分量而得到的第1高 频分量图像；以及低频分量图像生成单元，其仅取出所述第1高频分量图像的低频分量。
13.根据权利要求12所述的图像处理装置，其特征在于，所述第2中间图像生成单元具有非线性处理单元，该非线性处理单元生成以根据像素 而变化的放大率对所述第1中间图像的像素值进行放大后的非线性处理图像。
14.根据权利要求13所述的图像处理装置，其特征在于，所述第2中间图像生成单元还具有第2高频分量图像生成单元，该第2高频分量图像 生成单元生成仅取出所述非线性处理图像的高频分量而得到的第2高频分量图像。
15.根据权利要求14所述的图像处理装置，其特征在于，所述第1高频分量图像生成单元包含第1水平方向高频分量图像生成单元，该第1水 平方向高频分量图像生成单元使用存在于所述输入图像的各像素的水平方向附近的像素， 生成取出高频分量而得到的第1水平方向高频分量图像，所述低频分量图像生成单元包含水平方向低频分量图像生成单元，该水平方向低频分 量图像生成单元生成仅取出所述第1水平方向高频分量图像的低频分量而得到的第1水平 方向中间图像，所述第1中间图像包含所述第1水平方向中间图像，所述非线性处理单元包含水平方向非线性处理单元，该水平方向非线性处理单元生成 以根据像素而变化的放大率对所述第1水平方向中间图像的各像素值进行放大后的水平方向非线性处理图像，所述第2高频分量图像生成单元包含第2水平方向高频分量图像生成单元，该第2水 平方向高频分量图像生成单元生成仅取出所述水平方向非线性处理图像的高频分量而得 到的图像作为第2水平方向中间图像，所述第2中间图像包含所述第2水平方向中间图像。
16.根据权利要求15所述的图像处理装置，其特征在于，所述符号比较单元包含水平方向符号比较单元，该水平方向符号比较单元对所述第1 水平方向中间图像的像素值的符号和所述第2水平方向中间图像的像素值的符号进行比 较，所述像素值变更单元包含变更所述第2水平方向中间图像的像素值的水平方向像素 值变更单元，在所述水平方向符号比较单元中判断为所述第1水平方向中间图像的像素值的符号 与所述第2水平方向中间图像的像素值的符号不同的情况下，所述水平方向像素值变更单 元生成将所述第2水平方向中间图像的像素值设为零后的第3水平方向中间图像， 所述第3中间图像包含所述第3水平方向中间图像。
17.根据权利要求14所述的图像处理装置，其特征在于，所述第1高频分量图像生成单元包含第1垂直方向高频分量图像生成单元，该第1垂 直方向高频分量图像生成单元使用存在于所述输入图像的各像素的垂直方向附近的像素， 生成取出高频分量而得到的第1垂直方向高频分量图像，所述低频分量图像生成单元包含垂直方向低频分量图像生成单元，该垂直方向低频分 量图像生成单元生成仅取出所述第1垂直方向高频分量图像的低频分量而得到的第1垂直 方向中间图像，所述第1中间图像包含所述第1垂直方向中间图像，所述非线性处理单元包含垂直方向非线性处理单元，该垂直方向非线性处理单元生成 以根据像素而变化的放大率对所述第1垂直方向中间图像的各像素值进行放大后的垂直 方向非线性处理图像，所述第2高频分量图像生成单元包含第2垂直方向高频分量图像生成单元，该第2垂 直方向高频分量图像生成单元生成仅取出所述垂直方向非线性处理图像的高频分量而得 到的图像作为第2垂直方向中间图像，所述第2中间图像包含所述第2垂直方向中间图像。
18.根据权利要求17所述的图像处理装置，其特征在于，所述符号比较单元包含垂直方向符号比较单元，该垂直方向符号比较单元对所述第1 垂直方向中间图像的像素值的符号和所述第2垂直方向中间图像的像素值的符号进行比 较，所述像素值变更单元包含变更所述第2垂直方向中间图像的像素值的垂直方向像素 值变更单元，在所述垂直方向符号比较单元中判断为所述第1垂直方向中间图像的像素值的符号 与所述第2垂直方向中间图像的像素值的符号不同的情况下，所述垂直方向像素值变更单 元生成将所述第2垂直方向中间图像的像素值设为零后的第3垂直方向中间图像，所述第3中间图像包含所述第3垂直方向中间图像。
19.根据权利要求14所述的图像处理装置，其特征在于， 所述第1高频分量图像生成单元具有第1水平方向高频分量图像生成单元，其使用存在于所述输入图像的各像素的水平方 向附近的像素，生成取出高频分量而得到的第1水平方向高频分量图像；以及第1垂直方向高频分量图像生成单元，其使用存在于所述输入图像的各像素的垂直方 向附近的像素，生成取出高频分量而得到的第1垂直方向高频分量图像， 所述低频分量图像生成单元具有水平方向低频分量图像生成单元，其生成仅取出所述第1水平方向高频分量图像的低 频分量而得到的第1水平方向中间图像；以及垂直方向低频分量图像生成单元，其生成仅取出所述第1垂直方向高频分量图像的低 频分量而得到的第1垂直方向中间图像，所述第1中间图像由所述第1水平方向中间图像和所述第1垂直方向中间图像构成， 所述非线性处理单元具有水平方向非线性处理单元，其生成以根据像素而变化的放大率对所述第1水平方向中 间图像的各像素值进行放大后的水平方向非线性处理图像；以及垂直方向非线性处理单元，其生成以根据像素而变化的放大率对所述第1垂直方向中 间图像的各像素值进行放大后的垂直方向非线性处理图像， 所述第2高频分量图像生成单元具有第2水平方向高频分量图像生成单元，其生成仅取出所述水平方向非线性处理图像的 高频分量而得到的图像作为第2水平方向中间图像；以及第2垂直方向高频分量图像生成单元，其生成仅取出所述垂直方向非线性处理图像的 高频分量而得到的图像作为第2垂直方向中间图像，所述第2中间图像由所述第2水平方向中间图像和所述第2垂直方向中间图像构成。
20.根据权利要求19所述的图像处理装置，其特征在于， 所述符号比较单元具有水平方向符号比较单元，其对所述第1水平方向中间图像的像素值的符号和所述第2 水平方向中间图像的像素值的符号进行比较；以及垂直方向符号比较单元，其对所述第1垂直方向中间图像的像素值的符号和所述第2 垂直方向中间图像的像素值的符号进行比较， 所述像素值变更单元具有水平方向像素值变更单元，其变更所述第2水平方向中间图像的像素值；以及 垂直方向像素值变更单元，其变更所述第2垂直方向中间图像的像素值， 在所述水平方向符号比较单元中判断为所述第1水平方向中间图像的像素值的符号 与所述第2水平方向中间图像的像素值的符号不同的情况下，所述水平方向像素值变更单 元生成将所述第2水平方向中间图像的像素值设为零后的第3水平方向中间图像，在所述垂直方向符号比较单元中判断为所述第1垂直方向中间图像的像素值的符号 与所述第2垂直方向中间图像的像素值的符号不同的情况下，所述垂直方向像素值变更单 元生成将所述第2垂直方向中间图像的像素值设为零后的第3水平方向中间图像，所述第3中间图像由所述第3水平方向中间图像和所述第3垂直方向中间图像构成。
21.根据权利要求11或19所述的图像处理装置，其特征在于， 所述水平方向非线性处理单元具有水平方向过零点判定单元，其将所述第1水平方向中间图像的像素值从正变化为负或 从负变化为正的部位判定为过零点；以及水平方向信号放大单元，其根据所述水平方向过零点判定单元的判定结果，确定针对 所述第1水平方向中间图像的各像素的放大率， 所述垂直方向非线性处理单元具有垂直方向过零点判定单元，其将所述第1垂直方向中间图像的像素值从正变化为负或 从负变化为正的部位判定为过零点；以及垂直方向信号放大单元，其根据所述垂直方向过零点判定单元的判定结果，确定针对 所述第1垂直方向中间图像的各像素的放大率。
22.—种图像处理方法，其中，该图像处理方法具有第1中间图像生成步骤，生成取出输入图像的特定频带附近的分量而得到的第1中间 图像；第2中间图像生成步骤，根据所述第1中间图像生成第2中间图像；以及 加法步骤，对所述输入图像和所述第2中间图像进行相加。
23.根据权利要求22所述的图像处理方法，其特征在于，所述加法步骤进一步将所述第1中间图像与所述输入图像和所述第2中间图像相加。
24.一种图像处理方法，该图像处理方法具有第1中间图像生成步骤，生成取出输入图像的特定频带附近的分量而得到的第1中间 图像；第2中间图像生成步骤，根据所述第1中间图像生成第2中间图像；中间图像后处理步骤，根据所述第1中间图像和所述第2中间图像生成第3中间图像；以及加法步骤，对所述输入图像、所述第1中间图像和所述第3中间图像进行相加， 其特征在于，所述中间图像后处理步骤具有符号比较步骤，对所述第1中间图像和所述第2中间图像的像素值的符号进行比较；以及像素值变更步骤，根据所述符号比较步骤的比较结果，改变所述第2中间图像的像素值。
25.根据权利要求22 24中的任意一项所述的图像处理方法，其特征在于，所述图像处理方法还具有噪声去除步骤，在该噪声去除步骤中输出去除了原图像中包 含的噪声后的噪声去除图像，所述噪声去除步骤具有低频分量通过步骤，在该低频分量通过步骤中对所述输入图像 进行低通滤波处理，将所述噪声去除图像作为所述输入图像提供给所述第1中间图像生成步骤和所述加 法步骤。
26. 一种图像显示装置，其特征在于，该图像显示装置对通过权利要求1 21中的任意 一项所述的图像处理装置或权利要求22 25中的任意一项所述的图像处理方法处理后的 图像进行显示。
全文摘要
图像处理装置具有第1中间图像生成单元(1)，其生成取出输入图像(DIN)的特定频带附近的分量而得到的第1中间图像(D1)；第2中间图像生成单元(2)，其生成对第1中间图像(D1)进行处理后的第2中间图像(D2)；以及加法单元(3)，其对输入图像(DIN)和第2中间图像(D2)进行相加。第2中间图像生成单元(2)包含根据中间图像(D1)的像素来改变处理内容的非线性处理单元(2A)。输入图像在其频谱中，即使在高频分量侧包含叠加分量的情况下、或没有充分包含高频分量的情况下，也能够充分地进行图像的增强处理。
文档编号G06T5/20GK102113307SQ20098013016
公开日2011年6月29日 申请日期2009年7月15日 优先权日2008年7月30日
发明者南浩次, 奥田悟崇, 守谷正太郎, 安井裕信, 山中聪 申请人:三菱电机株式会社