专利名称：图像处理装置、方法以及图像显示装置的制作方法
技术领域：
本发明涉及对输入图像进行强调处理的图像处理装置、方法以及使用该装置和方法的图像显示装置，例如在输入了对原来图像进行放大后的放大图像作为输入图像时，通过进行高频分量的生成和相加，进行图像的强调处理以便得到清晰感高的输出图像。
背景技术：
一股地，在对表示图像的图像信号适当实施了图像处理后，对图像进行再现显示。例如在专利文献1所记载的图像处理装置中，针对转换成多重分辨率的细部图像，根据频带比期望频带低的细部图像的信号，设定针对该期望频带的细部图像的强调系数，由此，强调了期望频带。现有技术文献专利文献专利文献1 日本特开平9-44651号公报(段落编号0009)
发明内容
发明要解决的课题但是，在针对转换成多重分辨率的细部图像适当设定针对期望频带的细部图像的强调系数的图像处理装置中，由于输入图像的不同，强调处理不适当或不充分，有时无法得到适当画质的输出图像。例如，在输入进行放大处理后的图像作为输入图像的情况下，在输入图像的频谱的高频分量侧，出现放大处理前的图像的频谱的一部分叠加而成的分量(叠加分量)。因此，当单纯地对高频分量进行强调时，对该叠加分量进行强调，成为不适当的处理。并且，当限定频带并仅对不包含叠加分量的频带进行强调时，在从频谱角度考虑的情况下，避免了高频分量侧的强调，从而成为不充分的强调处理。并且，在输入进行噪声处理后的图像作为输入图像的情况下，高频分量侧的频谱由于噪声处理而丢失。因此，即使想取出高频分量也无法取出，有时无法充分进行图像的强调处理。本发明的目的在于，提供如下的图像处理装置、方法即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。用于解决课题的手段本发明的图像处理装置具有中间图像生成单元，其生成关于输入图像的水平方向取出特定频带的分量而得到的第1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；中间图像处理单元，其根据所述第1 水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法单元，其对所述输入图像和所述第2中间图像进行相加，所述中间图像处理单元包含水平方向非线性处理单元，其根据所述第1水平方向中间图像的像素改变处理的内容；以及垂直方向非线性处理单元，其根据所述第1垂直方向中间图像的像素改变处理的内容，所述中间图像处理单元具有第2加法单元，该第2加法单元对所述第1水平方向中间图像、所述第1垂直方向中间图像、对所述水平方向非线性处理单元的输出进行处理而得到的第2水平方向中间图像、以及对所述垂直方向非线性处理单元的输出进行处理而得到的第2垂直方向中间图像进行相加，输出相加结果作为所述第2中间图像，第2加法单元具有第1水平垂直统合单元和第2水平垂直统合单元中的至少一方，该第1水平垂直统合单元对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加并统合，该第2水平垂直统合单元对所述第2水平方向中间图像和所述第2垂直方向中间图像进行加权相加并统合。发明的效果根据本发明，即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、 或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。并且，不增大电路规模，就能够防止依赖于输入图像中包含的边缘的方向而产生的强调处理的人为缺陷。
图1是示出本发明的实施方式1的图像处理装置的结构的框图。图2是示出图1的水平方向非线性处理单元2Ah的结构例的框图。图3是示出图1的垂直方向非线性处理单元2Av的结构例的框图。图4是示出图1的加法单元2C的结构例的框图。图5的(A)和(B)是示出图像Dlh、Dlv的绝对值之差(dH_dV)与权重系数D512h、 D512v的关系的线图。图6是示出使用本发明的图像处理装置的图像显示装置的结构例的框图。图7是示出图6的图像放大单元Ul的结构例的框图。图8的㈧ (E)是示出图6的图像放大单元Ul的动作的像素配置图。图9的(A) (D)是示出用于说明图6的图像放大单元Ul的动作的频率响应和频谱的图。图10的(A) (E)是示出用于说明图1的中间图像生成单元1的动作的频率响应和频谱的图。图11的(A) (C)是示出用于说明图1的中间图像处理单元2的动作的频率响应和频谱的图。图12的(A) (C)是示出阶跃边缘和以采样间隔Sl对阶跃边缘进行采样时得到的相连续的像素信号值的图。图13的㈧ (C)是示出阶跃边缘和以采样间隔S2对阶跃边缘进行采样时得到的相连续的像素信号值的图。图14的(A) (F)是示出用于说明图1的中间图像生成单元1和中间图像处理单元2的动作的相连续的像素信号值的图。图15的㈧是示出水平方向的边缘的图，⑶ (E)是示出边缘方向如㈧那样为水平方向时得到的图像信号的图。图16的㈧是示出倾斜方向的边缘的图，⑶ (E)是示出边缘方向如㈧那样为倾斜时得到的图像信号的图。图17的㈧是示出垂直方向的边缘的图，⑶ (E)是示出边缘方向如㈧那样为垂直方向时得到的图像信号的图。图18是示出在本发明的实施方式2的图像处理装置中使用的加法单元2C的结构例的框图。图19是示出本发明的实施方式3的图像处理方法中的处理的流程图。图20是示出图19的中间图像生成步骤STl中的处理的流程图。图21是示出图19的中间图像处理步骤ST2中的处理的流程图。图22是示出图21的水平方向非线性处理步骤ST2Ah中的处理的流程图。图23是示出图21的垂直方向非线性处理步骤ST2Av中的处理的流程图。图M是示出图19的加法步骤ST2C中的处理的流程图。图25是示出本发明的实施方式4的加法步骤ST2C中的处理的流程图。
具体实施例方式实施方式1图1是示出本发明的实施方式1的图像处理装置的结构的图，图示的图像处理装置例如可以用作图像显示装置的一部分。图示的图像处理装置具有中间图像生成单元1、中间图像处理单元2以及加法单兀3。中间图像生成单元1生成从输入图像DIN中取出特定频带分量(即，从第1频率 (第1规定频率)到第2频率(第2规定频率)的分量)而得到的中间图像(第1中间图像)D1。中间图像处理单元2生成对图像Dl进行后述处理而得到的中间图像(第2中间图像)D2。加法单元3对输入图像DIN和中间图像D2进行相加。加法单元3的相加结果作为输出图像DOUT被输出。中间图像生成单元1具有高频分量图像生成单元1A，其生成仅从输入图像DIN 中取出第1频率以上的高频分量而得到的图像DlA;以及低频分量图像生成单元1B，其生成仅取出图像DlA的第2频率以下的低频分量而得到的图像D1B。第2频率比第1频率高，利用高频分量图像生成单元IA和低频分量图像生成单元IB构成取出特定频带分量的带通滤波单元。从中间图像生成单元1输出图像DlB作为中间图像D1。中间图像处理单元2具有非线性处理单元2A，其输出对中间图像Dl进行后述的非线性处理而得到的图像D2A ；高频分量图像生成单元2B，其输出仅取出图像D2A的第3频率(第3规定频率)以上的高频分量而得到的图像D2B;以及加法单元2C，其输出对中间图像Dl和图像D2B进行相加后的图像D2C。从中间图像处理单元2输出图像D2C作为中间图像D2。下面，对本发明的实施方式1的图像处理装置的详细动作进行说明。首先，对中间图像生成单元1的详细动作进行说明。首先，中间图像生成单元1在高频分量图像生成单元IA中，生成仅取出输入图像
7DIN的第1频率以上的高频分量而得到的图像D1A。能够通过进行高通滤波处理来取出高频分量。分别针对图像的水平方向和垂直方向进行高频分量的取出。即，高频分量图像生成单元IA具有水平方向高频分量图像生成单元lAh，其对输入图像DIN进行水平方向的高通滤波处理，生成仅针对水平方向取出第1水平方向频率以上的高频分量而得到的图像 DlAh ；以及垂直方向高频分量图像生成单元ΙΑν，其进行垂直方向的高通滤波处理，生成仅针对垂直方向取出第1垂直方向频率以上的高频分量而得到的图像DlAv，图像DlA由图像 DlAh和图像DlAv构成。另外，按照各画面内的多个水平行从上到下、各水平行内的多个像素从左到右的顺序，提供构成输入图像DIN的各像素的信号，在垂直方向高频分量图像生成单元IAv的输入侧设有重新排列单元，但是省略其图示，该重新排列单元用于蓄积这种输入图像的彼此相邻的多个行的信号，按照垂直方向从上到下的顺序，提供以处理对象像素为中心，从多个行上方到多个行下方的像素的信号。接着，中间图像生成单元1在低频分量图像生成单元IB中，生成仅取出图像DlA 的第2频率以下的低频分量而得到的图像D1B。能够通过进行低通滤波处理来取出低频分量。分别针对水平方向和垂直方向进行低频分量的取出。即，低频分量图像生成单元IB具有水平方向低频分量图像生成单元1B，其对图像DlAh进行水平方向的低通滤波处理，生成仅针对水平方向取出第2水平方向频率以下的低频分量而得到的图像DlBh;以及垂直方向低频分量图像生成单元ΙΒν，其对图像DlAv进行垂直方向的低通滤波处理，生成仅针对垂直方向取出第2垂直方向频率以下的低频分量而得到的图像DIBv，图像DlB由图像DlM1 和图像DlBv构成。从中间图像生成单元1输出图像DlB作为中间图像D1。另外，中间图像Dl由相当于图像DlM1的图像(第1水平方向中间图像)Dlh和相当于图像DlBv的图像 (第1垂直方向中间图像)Dlv构成。接着，对中间图像处理单元2的详细动作进行说明。首先，中间图像处理单元2在非线性处理单元2A中，生成对中间图像Dl进行后述的非线性处理而得到的图像D2A。分别针对水平方向和垂直方向进行非线性处理。即，非线性处理单元2A具有水平方向非线性处理单元2Ah，其对图像DlM1进行后述的非线性处理来生成图像D2Ah ；以及垂直方向非线性处理单元2Av，其对图像DlBv进行后述的非线性处理来生成图像D2Av，图像D2A由图像D2Ah和图像D2Av构成。更详细地说明非线性处理单元2A的动作。非线性处理单元2A具有结构彼此相同的水平方向非线性处理单元2Ah和垂直方向非线性处理单元2Av。水平方向非线性处理单元2Ah进行水平方向的处理，垂直方向非线性处理单元2Av进行垂直方向的处理。图2是示出水平方向非线性处理单元2Ah的结构例的图。图示的水平方向非线性处理单元2Ah具有过零判定单元311h和信号放大单元31池。向非线性处理单元2Ah输入图像Dlh作为输入图像DIN311h。过零判定单元311h沿着水平方向确认输入图像DIN311h中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311h 向信号放大单元31 传达位于过零点前后的像素(前后相邻的像素)的位置。这里，“前后”是指提供信号的顺序中的前后，在水平方向从左到右提供像素信号时意味着“左右”，在垂直方向从上到下提供像素信号时意味着“上下”。在过零判定单元311h中，在水平方向非线性处理单元2Ah内的过零判定单元31 Ih中，例如将位于过零点左右的像素识别为位于过零点前后的像素。信号放大单元31 根据信号D311h确定位于过零点前后的像素(前后相邻的像素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)而得到的非线性处理图像D312h。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。从水平方向非线性处理单元2Ah输出非线性处理图像D31 i作为图像D2Ah。图3是示出垂直方向非线性处理单元2Av的结构例的图。图示的垂直方向非线性处理单元2Av具有过零判定单元311v和信号放大单元312v。向非线性处理单元2Av输入图像Dlv作为输入图像DIN311V。过零判定单元311v沿着垂直方向确认输入图像DIN311V中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311v 向信号放大单元312v传达位于过零点前后的像素(前后相邻的像素)的位置。在垂直方向非线性处理单元2Av内的过零判定单元311v中，例如将位于过零点上下的像素识别为位于过零点前后的像素。信号放大单元312v根据信号D311v确定位于过零点前后的像素(前后相邻的像素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)而得到的非线性处理图像D312v。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。从垂直方向非线性处理单元2Av输出非线性处理图像D312v作为图像D2Av。以上是非线性处理单元2A的动作。接着，中间图像处理单元2在高频分量图像生成单元2B中，生成仅取出图像D2A 的第3频率以上的高频分量而得到的图像D2B。能够通过进行高通滤波处理来取出高频分量。分别针对图像的水平方向和垂直方向进行高频分量的取出。即，高频分量图像生成单元2B具有水平方向高频分量图像生成单元2Bh，其对图像D2Ah进行水平方向的高通滤波处理，生成仅针对水平方向取出第3水平方向频率以上的高频分量而得到的图像D2M!；以及垂直方向高频分量图像生成单元2Bv，其针对图像D2Av进行垂直方向的高通滤波处理， 生成仅针对垂直方向取出第3垂直方向频率以上的高频分量而得到的图像D2Bv，图像D2B 由图像D2Bh和图像D2Bv构成。接着，加法单元2C对中间图像Dl和图像D2B进行相加，生成图像D2C。中间图像 Dl由图像Dlh和图像Dlv构成，图像D2B由图像D2Mi和图像D2Bv构成，因此，对中间图像 Dl和图像D2B进行相加就意味着对全部上述图像Dlh、Dlv、D2Mi和D2Bv进行相加。下面， 详细说明加法单元2C的动作。另外，被加法单元2C相加的是图像Dlh、Dlv, D2Bh和D2Bv的彼此相同的像素的值，在从输入图像DIN的提供到到达加法单元2C的输入侧为止的期间，图像接受的处理所需要的时间不同的情况下(在水平方向的处理和垂直方向的处理中处理所需要的时间不同的情况等)，在加法单元2C的输入侧设有用于使定时一致的延迟单元等，但是省略其图
7J\ ο图4是示出加法单元2C的结构例的图。图示的加法单元2C具有权重系数生成单元401、第1水平垂直统合单元411以及第2水平垂直统合单元412。权重系数生成单元401根据图像Dlh和图像Dlv，通过后述的运算求出针对水平方向分量的权重系数D5iai和针对垂直方向分量的权重系数D512V。权重系数D51 i与权重系数D512v之和始终恒定，例如为“ 1 ”。第1水平垂直统合单元411根据由权重系数生成单元401求出的权重系数D512h 和权重系数D512v，对图像Dlh和图像Dlv进行加权相加，输出对水平方向分量和垂直方向分量进行统合后的图像Dlhv。第2水平垂直统合单元412同样根据由权重系数生成单元401求出的权重系数 D512h和权重系数D512v，对图像D2Mi和图像D2Bv进行加权相加，输出对水平方向分量和垂直方向分量进行统合后的图像D2Mw。中间图像加法单元42对图像Dlhv和图像D2Bhv进行相加，输出图像D2C。更详细地说明权重系数生成单元401的动作。权重系数生成单元401具有边缘方向估计单元511和权重系数决定单元512。边缘方向估计单元511根据图像Dlh和图像Dlv这两个信号，计算作为与边缘方向(角度)对应的量的边缘方向估计量D511。例如，在设图像Dlh的绝对值为dH，图像Dlv 的绝对值为dV时，输出这两个值的差分dH-dV作为边缘方向估计量D511。权重系数决定单元512根据边缘方向估计量D511，决定针对水平方向分量的权重系数D51 !和针对垂直方向分量的权重系数D512v。图5的(A)和(B)是示出针对所述差分dH-dV来决定权重系数D51 i和D512v的方法的一例的图。在图5的(A)和(B)所示的例子中，如下计算权重系数D512h D512h = 0. 5+Κ α (dH-dV)…(la)如下计算权重系数D512v D512v = l_D512h = 0. 5_Κ α (dH-dV)…(lb)。其中，K α是表示图5的(A)和(B)中的直线的斜率(D512h、D512v相对于(dh-dV) 的增加而产生的变化的比例)的正的常数，在上述计算结果低于“0”的情况下为“0”，在上述计算结果超过“ 1，，的情况下为“ 1 ”。如上所述确定的权重系数D51 i和D512v的两者之和始终为1。以上是权重系数生成单元401的动作。第1水平垂直统合单元411具有第1乘法单元411a、第2乘法单元411b以及加法单元411c。水平垂直统合单元411利用第1乘法单元411a对图像Dlh乘以权重系数 D512h，利用第2乘法单元411b对图像Dlv乘以权重系数D512v。进而，利用加法单元411c 对这些相乘结果进行相加，输出图像Dlhv。第2水平垂直统合单元412具有第1乘法单元412a、第2乘法单元412b以及加法单元412c。水平垂直统合单元412利用第1乘法单元41 对图像D2M!乘以权重系数 D512h，利用第2乘法单元41 对图像D2Bv乘以权重系数D512v，利用加法单元412c对这些相乘结果进行相加，输出图像D2Mw。另外，按照图像Dlh和Dlv的每个像素计算权重系数D51 !和D512v，这意味着，加法单元2C的输出图像D2C中的水平方向分量和垂直方向分量的混合比例由于像素位置而变化。进行这种加权的效果在后面叙述。
接着，在中间图像加法单元42中，对图像Dlhv和图像D2Bhv进行相力卩，输出图像 D2C。这里，中间图像加法单元42中的相加处理不限于单纯相加，也可以使用加权相加。艮口， 也可以以分别不同的放大率对图像Dlhv和D2Bhv分别进行放大后进行相加。以上是加法单元2C的动作。最后，对加法单元3的动作进行说明。加法单元3生成对输入图像DIN和中间图像D2进行相加而得到的输出图像D0UT。输出图像DOUT作为最终的输出图像从图像处理装
置输出。另外，被加法单元3相加的是输入图像DIN和中间图像D2的彼此相同的像素的值，在从输入图像DIN的提供到到达加法单元3的输入侧为止的期间，图像接受的处理所需要的时间彼此不同的情况下，在加法单元3的输入侧设有用于使定时一致的延迟单元等， 但是省略其图示。下面，对将本发明的图像处理装置用作图像显示装置的一部分的例子进行说明。 通过该说明，本发明的图像处理装置的作用、效果也变得明确。另外，在以下的说明中，只要没有特别说明，则而这样的记号表示输入图像DIN的奈圭斯特频率。图6是利用本发明的图像处理装置的图像显示装置，在图示的图像显示装置中， 在监视器U3上显示与原图像DORG对应的图像。在原图像DORG的图像尺寸小于监视器U3的图像尺寸的情况下，图像放大单元Ul 输出对原图像DORG进行放大后的图像DU1。这里，图像的放大例如能够使用双三次法等。本发明的图像处理装置U2输出对图像DUl进行之前说明的处理而得到的图像 DU2。然后，在监视器U8上显示图像DU2。下面，设原图像DORG的水平方向和垂直方向的像素数均为监视器U3的像素数的一半，首先，对图像放大单元Ul的动作、作用进行说明。图7是示出图像放大单元Ul的结构和动作的图，图示的图像放大单元Ul具有冰平方向零插入单元U1A、水平方向低频分量通过单元U1B、垂直方向零插入单元UlC以及垂直方向低频分量通过单元U1D。水平方向零插入单元UlA生成针对原图像DORG的水平方向适当插入具有像素值0 的像素(在原图像DORG的水平方向相邻的像素列相互间插入了各1列的由像素值0的像素构成的像素列)而得到的图像DU1A。水平方向低频分量通过单元UlB生成通过低通滤波处理仅取出图像DUlA的低频分量而得到的图像DU1B。垂直方向零插入单元UlC生成针对图像DUlB的垂直方向适当插入具有像素值0 的像素(在图像DUlB的垂直方向相邻的像素行相互间插入了各1行的由像素值0的像素构成的像素行)而得到的图像DU1C。垂直方向低频分量通过单元DUlD生成仅取出图像DUlC的低频分量而得到的图像 DUlD0图像DUlD作为水平方向和垂直方向均为原图像DORG的2倍的图像DUl，从图像放大单元Ul输出。图8的㈧ (E)是用于详细说明图像放大单元Ul的动作的图，图8的㈧示出原图像D0RG，图8的(B)示出图像DU1A，图8的(C)示出图像DU1B，图8的(D)示出图像DU1C，图8的(E)示出图像DU1D。关于图8的(A) (E)，四方形(方格)示出像素，其中书写的记号或数值示出各像素的像素值。水平方向零插入单元UlA针对图8的(A)所示的原图像D0RG，在水平方向每隔1 个像素插入1个具有像素值O的像素(即，在原图像DORG的水平方向相邻的像素列相互间插入1个由像素值0的像素构成的像素列)，生成图8的(B)所示的图像DU1A。水平方向低频分量通过单元UlB针对图8的(B)所示的图像DUlA实施低通滤波处理，生成图8的(C) 所示的图像DUlB。垂直方向零插入单元UlC针对图8的(C)所示的图像DU1B，在垂直方向每隔1个像素插入1个具有像素值0的像素(即，在图像DUlB的垂直方向相邻的像素行相互间插入 1个由像素值0的像素构成的像素行)，生成图8的(D)所示的图像DU1C。垂直方向低频分量通过单元UlD针对图8的(D)所示的图像DUlC实施低通滤波处理，生成图8的(E)所示的图像DUlD。通过以上的处理，生成在水平方向和垂直方向均将原图像DORG放大为2倍后的图像 DUlD。图9的(A) (D)在频率空间上示出图像放大单元Ul的处理的作用，图9的(A) 示出原图像DORG的频谱，图9的⑶示出图像DUlA的频谱，图9的(C)示出水平方向低频分量通过单元UlB的频率响应，图9的(D)示出图像DUlB的频谱。另外，在图9的(A) (D)中，横轴是示出水平方向的空间频率的频率轴，纵轴示出频谱或频率响应的强度。原图像DORG的像素数为输入图像DIN的一半，换言之，原图像DORG的采样间隔为输入图像DIN的采样间隔的2倍。因此，原图像DORG的奈圭斯特频率为输入图像DIN的奈圭斯特频率的一半，即而/2。另外，在图9的㈧ ⑶中，为了简化表记，仅使用1个频率轴。但是，通常，图像数据由在二维平面状排列的像素排列上给出的像素值构成，其频谱也在由水平方向的频率轴和垂直方向的频率轴展开的平面上给出。因此，为了准确地示出原图像DORG等的频谱等，需要记载水平方向的频率轴和垂直方向的频率轴的两方。但是，其频谱形状通常是以频率轴上的原点为中心各向同性地扩展而形成的形状，如果示出由1个频率轴展开的空间上的频谱，则本领域技术人员容易将其扩展到由2个频率轴展开的空间来进行考察。因此，在以后的说明中，只要没有特别说明，则使用由1个频率轴展开的空间进行频率空间上的说明。首先，说明原图像DORG的频谱。通常，输入自然图像作为原图像D0RG，但是，该情况下，其谱强度集中于频率空间的原点周边。因此，原图像DORG的频谱成为图9的(A)的谱SPO那样。接着，说明图像DUlA的谱强度。针对原图像D0RG，在水平方向每隔1个像素插入 1个具有像素值0的像素，由此生成图像DU1A。当进行这种处理时，在频谱上产生以原图像 DORG的奈圭斯特频率为中心的叠加。S卩，产生以频率士！^/2为中心叠加了谱SPO后的谱 SPM,因此，图像DUlA的频谱如图9的⑶所示。接着，说明水平方向低频分量通过单元UlB的频率响应。水平方向低频分量通过单元由低通滤波器实现，因此，如图9的(C)所示，频率越高，其频率响应就越低。最后，说明图像DUlB的频谱。针对具有图9的⑶所示的频谱的图像DUlA进行具有图9的(C)所示的频率响应的低通滤波处理，由此，得到图9的(D)所示的图像DU1B。 因此，图像DUlB的频谱如图像DUlB所示，由使谱SPM的强度降低某种程度后的谱SP2和使谱SPO的强度降低某种程度后的谱SPl构成。另外，一股地，频率越高，低通滤波器的频率响应越低。因此，在将谱SPl的强度与谱SPO进行比较时，通过水平方向低频分量通过单元 U1B，高频分量侧、即频率为士而/2附近的谱强度减小。并且，关于图像放大单元Ul进行的处理中的、垂直方向零插入单元UlC和垂直方向低频分量通过单元UlD进行的处理，省略其频率空间上的作用的说明，但是，根据其处理内容能够容易地理解到，针对示出垂直方向的空间频率的轴向，具有与使用图9的(A) (D)说明的内容相同的作用。S卩，图像DUlD的频谱是二维扩展了图9的(D)所示的频谱而得到的频谱。并且，在以后的说明中，将谱SP2称作叠加分量。在图像上，该叠加分量表现为具有较高频率分量的噪声或伪信号。作为这种噪声或伪信号，可以列举过冲量、锯齿或振铃寸。下面，说明本发明的图像处理装置的作用、效果。图10的(A) (E)是示意地示出在输入对原图像DORG进行放大而得到的图像 DUlD作为输入图像DIN(或图像DUl)的情况下，根据输入图像DIN生成中间图像Dl时的作用、效果的图，图10的(A)示出输入图像DIN的频谱，图10的(B)示出高频分量图像生成单元IA的频率响应，图10的(C)示出低频分量图像生成单元IB的频率响应，图10的(D) 示出中间图像生成单元1的频率响应，图10的(E)示出中间图像Dl的频谱。另外，在图10 的㈧ (E)中，由于与图9的(A) ⑶相同的理由，仅使用1个频率轴。进而，在图10的㈧ (E)中，仅在空间频率为0以上的范围内示出频谱或频率响应的强度，但是，以下说明中的频谱或频率响应成为以频率轴上的原点为中心对称的形状。 因此，说明中使用的图仅示出空间频率为0以上的范围即可。首先，说明输入图像DIN的频谱。输入通过图像放大单元Ul中的放大处理而生成的图像DUlD作为输入图像DIN，因此，如图10的(A)所示，输入图像DIN的频谱具有与在图 9的⑶中说明的频谱相同的形状，由使原图像DORG的谱SPO的强度降低某种程度后的谱 SP1、和成为叠加分量的谱SP2构成。接着，说明高频分量图像生成单元IA的频率响应。高频分量图像生成单元IA由高通滤波器构成，因此，如图10的⑶所示，频率越低，其频率响应越低。接着，说明低频分量图像生成单元IB的频率响应。低频分量图像生成单元IB由低通滤波器构成，因此，如图10的(C)所示，频率越高，其频率响应越低。接着，说明中间图像生成单元1的频率响应。利用中间图像生成单元1内的高频分量图像生成单元1A，减弱输入图像DIN具有的频率分量中的、图10的(D)所示的低频分量侧的区域(频率低于第1频率FLl的频带)RL1的频率分量。另一方面，利用中间图像生成单元1内的低频分量图像生成单元1B，减弱图10的(D)所示的高频分量侧的区域(频率高于第2频率FL2的频带)RHl的频率分量。因此，如图10的(D)所示，中间图像生成单元 1的频率响应在通过低频分量侧的区域RLl和高频分量侧的区域RHl限制了频带的中间区域(特定频带)RMl内具有峰值。接着，说明中间图像Dl的频谱。具有图10的㈧所示的频谱的输入图像DIN通过具有图10的(D)所示的频率响应的中间图像生成单元1，由此，得到图10的(E)所示的中间图像D1。然后，中间图像生成单元1的频率响应在通过低频分量侧的区域RLl和高频分量侧的区域RHl限制了频带的中间区域RMl内具有峰值，因此，中间图像Dl的频谱成为减弱了输入图像DIN的频谱中的、低频分量侧的区域RLl和高频分量侧的区域RHl中包含的部分的强度而得到的频谱。因此，中间图像Dl从输入图像DIN具有的高频分量中去除了成为叠加分量的谱SP1。即，中间图像生成单元1具有生成从输入图像DIN具有的高频分量中去除成为叠加分量的谱SPl而得到的中间图像Dl的效果。图11的(A) (C)是示出中间图像处理单元2的作用、效果的图，图11的㈧示出非线性处理单元D2A的频谱，图11的(B)示出高频分量图像生成单元2B的频率响应，图 11的(C)示出图像D2B的频谱。另外，在图11的㈧ (C)中，由于与图10的㈧ (E) 相同的理由，仅在空间频率为0以上的范围内示出频谱或频率响应的强度。如后所述，在非线性处理图像D2A中，生成相当于高频分量侧的区域RH2的高频分量。图11的(A)是示意地示出该状况的图。非线性处理图像D2A通过高频分量图像生成单元2B，从而生成图11的(C)所示的图像D2B。高频分量图像生成单元2B由使第3频率 FL3以上的分量通过的高通滤波器构成，如图11的(B)所示，频率越高，其频率响应越高。 因此，图像D2B的频谱如图11的(C)所示，从非线性处理图像D2A的频谱中去除了相当于低频分量侧的区域RL2的分量(低于第3频率FL3的频率分量)。换言之，非线性处理单元 2A具有生成相当于高频分量侧的区域RH2的高频分量的效果，高频分量图像生成单元2B具有仅取出由非线性处理单元2A生成的高频分量的效果。另外，在图示的例子中，第3频率 FL3大致等于而/2。更详细地说明上述的作用、效果。图12的㈧ (C)和图13的㈧ (C)是示出对阶跃边缘进行采样时得到的信号的图。图12的㈧示出阶跃边缘和采样间隔Si，图12的⑶示出以采样间隔Sl对阶跃边缘进行采样时得到的信号，图12的(C)示出图12的(B)所示的信号的高频分量。另一方面，图13的㈧示出阶跃边缘和间隔比采样间隔Sl宽的采样间隔S2，图13的⑶示出以采样间隔S2对阶跃边缘进行采样时得到的信号，图13的(C)示出图13的(B)所示的信号的高频分量。在以下的说明中，设采样间隔S2的长度为采样间隔Sl的长度的一半。如图12的(C)和图13的(C)所示，阶跃边缘的中央在示出高频分量的信号中表现为过零点Z。并且，采样间隔越短，示出高频分量的信号的过零点Z附近的斜率越陡，并且，采样间隔越短，过零点Z附近的给出局部最大值、最小值的点的位置越接近过零点Z。S卩，即使采样间隔变化，在边缘附近示出高频分量的信号的过零点位置也不变化， 但是，采样间隔越小(或者分辨率越高)，边缘附近的高频分量的斜率越陡，给出局部最大值、最小值的点的位置越接近过零点。图14的(A) (F)是示出将以采样间隔Sl对阶跃边缘进行采样后的信号放大成 2倍后输入到本发明的图像处理装置时的作用、效果的图，特别地，示出中间图像生成单元 1和中间图像处理单元2的作用、效果。另外，如上所述，分别针对水平方向和垂直方向进行中间图像生成单元1和中间图像处理单元2内部的处理，因此，一维地进行该处理。因此， 在图14的㈧ (F)中，使用一维信号示出处理内容。
14
与图13的⑶同样，图14的㈧示出以采样间隔S2对阶跃边缘进行采样后的信号。图14的(B)示出将图14的(A)所示的信号放大成2倍后的信号。S卩，在原图像DORG 中包含图14的㈧所示的边缘的情况下，输入图14的⑶所示的信号作为输入图像DIN。 另外，在将信号放大成2倍时，采样间隔为放大前的一半，因此，图14的(B)所示的信号的采样间隔与图12的㈧ (C)中的采样间隔Sl相同。并且，在图14的㈧中，坐标P3所示的位置是阶跃边缘的低亮度侧(边缘信号的低电平侧)的边界部分，坐标P4所示的位置是阶跃边缘的高亮度侧(边缘信号的高电平侧)的边界。图14的(C)示出表示图14的(B)所示的信号的高频分量的信号、即与从高频分量图像生成单元IA输出的图像DlA相当的信号。另外，图像DlA是取出输入图像DIN的高频分量而得到的，因此，其中还包含叠加分量。图14的(D)示出表示图14的(C)所示的信号的低频分量的信号、即与从低频分量图像生成单元IB输出的图像DlB相当的信号。另外，如上所述，输出图像DlB作为中间图像D1，因此，也可以说图14的⑶示出中间图像D1。如图14的⑶所示，在中间图像Dl 中，过零点Z附近的局部最小值出现在坐标P3，局部最大值出现在坐标P4，该状况与图13 的(C)所示的、从以采样间隔S2对阶跃边缘进行采样后的信号中取出的高频分量一致。并且，通过由低频分量图像生成单元IB进行的低通滤波处理，去除图像DlA中包含的叠加分量。图14的(E)示出对非线性处理单元2A输入图14的(D)所示的信号时的输出信号、即在输入中间图像Dl的情况下从非线性处理单元2A输出的图像D2A。在非线性处理单元2A中，过零点Z前后的(在前后相邻的)坐标P1、P2的信号值被放大。因此，如图14 的(E)所示，图像D2A在坐标P1、P2处的信号值的大小比其他值大，在过零点Z附近，出现局部最小值的位置从坐标P3变化到更接近过零点Z的坐标P1，出现局部最大值的位置从坐标P4变化到更接近过零点Z的坐标P2。这意味着，通过非线性处理单元2A中的对过零点 Z前后的像素值进行放大这样的非线性处理，生成了高频分量。这样，按照每个像素自适应地改变放大率，或者根据像素适当改变处理内容，由此，能够生成高频分量。即，非线性处理单元2A具有生成中间图像Dl中不包含的高频分量、即与图11的(A)所示的高频分量侧的区域RH2相当的高频分量的效果。图14的(F)示出表示图14的(E)所示的信号的高频分量的信号、即与从高频分量图像生成单元2B输出的图像D2B相当的信号。如图14的(F)所示，在图像D2B中，过零点Z附近的局部最小值(负侧峰值)出现在坐标P1，最大值(正侧峰值)出现在坐标P2， 该状况与图12的(C)所示的、从以采样间隔Sl对阶跃边缘进行采样后的信号中取出的高频分量一致。这意味着，通过高频分量图像生成单元2B取出在非线性处理单元2A中生成的高频分量，作为图像D2B输出。并且，可以说，取出的图像D2B是包含与采样间隔Sl对应的频率分量的信号。换言之，高频分量图像生成单元2B具有仅取出由非线性处理单元2A生成的高频分量的效果。在加法单元2C中，对与水平方向有关的处理图像Dlh和与垂直方向有关的处理图像Dlv进行统合，生成统合后的中间图像Dlhv，对与水平方向有关的处理图像D2M!和与垂直方向有关的处理图像D2Bv进行统合，生成统合后的图像D2Mw，进而，对统合后的中间图像Dlhv和统合后的图像D2Bhv进行相加，生成图像D2C。
如果在输入图像DIN中加上上述图14的(D)的中间图像Dl和图14的(F)的图像D2B，则能够进行图像的强调处理。在本发明中，不是在输入图像DIN中直接加上第1中间图像Dl和第2图像D2B，但是，下面，说明假设在加上第1中间图像Dl和图像D2B的情况下得到的效果，然后，说明如下得到的效果加上通过在加法单元2C内对第1中间图像Dl 和图像D2B进行处理而得到的中间图像D2C(换言之，加上统合后的第1中间图像Dlhv和统合后的图像D2Bhv而得到的效果)。首先，叙述加上中间图像Dl的效果。如上所述，中间图像Dl从输入图像DIN具有的高频分量中去除了叠加分量，如图10的(E)所示，与原图像DORG的奈圭斯特频率附近的高频分量对应。如在图9的(D)中说明的那样，原图像DORG的奈圭斯特频率附近的谱强度由于图像放大单元Ul中的放大处理而减弱，因此，通过加上中间图像D1，能够对由于放大处理而减弱的谱强度进行补偿。并且，从中间图像Dl中去除叠加分量，因此，不会对过冲量、锯齿或振铃这样的伪信号进行强调。接着，叙述加上中间图像D2B的效果。如上所述，图像D2B是与采样间隔Sl对应的高频分量。因此，通过加上图像D2B，能够给出原图像DORG的奈圭斯特频率以上的频带的高频分量，因此，能够增加图像的清晰感。因此，通过在输入图像DIN中加上对中间图像Dl和图像D2B进行相加后的图像 D2C，能够对高频分量进行相加而不会对叠加分量进行强调，能够提高图像的清晰感。但是，在对与水平方向有关的处理图像和与垂直方向有关的处理图像进行统合时，对这些处理图像单纯相加时，由于输入图像中包含的边缘的方向不同，校正量不均勻， 在处理后的图像中产生人为缺陷。图15的(A) (E)、图16的㈧ (E)和图17的㈧ (E)是用于说明产生上述人为缺陷的原因以及加法单元2C的效果的示意图。如图15的(A)、图16的㈧和图17 的(A)所示，作为输入图像，考虑( ^ )包含水平方向的边缘的情况(图15的(A))、( π )包含倾斜方向的边缘的情况(图16的(A))、(〃 )包含垂直方向的边缘的情况(图17的(A))。在各个情况下，在图15的(B)、图16的⑶和图17的⑶中示出按照水平方向从左到右的顺序提供像素信号时的信号(在水平方向高频分量图像生成单元IAh中作为处理对象的信号(这里用标号“DINh”表示))的强度，在图15的(C)、图16的(C)和图17的 (C)中示出按照垂直方向从上到下的顺序提供像素信号时的信号(在垂直方向高频分量图像生成单元IAv中作为处理对象的信号(这里用标号“DINv”表示))的强度。将各个情况下的边缘分解为水平分量和垂直分量进行考虑时，在(4 )、( 〃)中， 仅通过水平分量和垂直分量中的任意一个分量构成阶跃边缘，与此相对，在(口)中，通过水平分量和垂直分量的双方构成阶跃边缘。图15的⑶、图16的⑶和图17的⑶示出针对图15的⑶、图16的⑶和图 17的⑶所示的输入图像(DINh)在水平方向进行处理而得到的水平方向中间图像Dlh的信号强度，图15的(E)、图16的(E)和图17的(E)示出针对图15的(C)、图16的(C)和图17的(C)所示的输入图像(DINv)在垂直方向进行处理而得到的垂直方向中间图像Dlv 的信号强度。
关于边缘附近的中间图像Dl的信号强度的绝对值，在(4 )中，在水平分量中较大，垂直分量为零，在(口)中，水平分量和垂直分量均较大，在(!、)中，在垂直分量中较大，水平分量为零。因此，当对图像Dlh和图像Dlv进行单纯相加时，与水平方向和垂直方向的边缘相比，针对倾斜方向的边缘的校正量较大，大约为2倍左右。结果，由于边缘方向的不同，校正强度不均勻，在倾斜方向的边缘，产生过冲量增大等的问题。因此，在加法单元2C中，不对图像Dlh和图像Dlv进行单纯相加，而是针对这些图像乘以与边缘方向对应的权重系数后进行相加。如上所述，在加法单元2C中，在权重系数生成单元401具有的边缘方向估计单元511中，计算图像Dlh和图像Dlv的绝对值的差分 dH-dV。该差分dH-dV是与边缘方向对应的量，在水平方向的边缘附近，dH-dV为正值，是较大的值，在倾斜方向的边缘附近，dH-dV为接近0的值，在垂直方向的边缘附近，dH-dV为负值，是其绝对值较大的值。这样，在边缘方向估计单元511中，根据差分dH-dV来估计边缘方向，由此，不需要额外设置用于检测边缘方向的二维滤波器等的单元，因此，能够防止电路规模的增大。在权重系数决定单元512中，按照该差分dH-dV，根据图5的(A)和(B)所示的关系，决定针对水平方向分量的权重系数D51 !和针对垂直方向分量的权重系数D512v。具体而言，dH-dV的值越大，针对图像Dlh的权重越大，针对Dlv的权重越小。另一方面，dH-dV为负值且其绝对值越大，针对图像Dlh的权重越大，针对图像Dlv的权重越小。 进而，dH-dV越接近0，权重越接近1/2。这样，不会损害上述提高清晰感的效果，并且能够实现使人为缺陷不明显的高画质的校正。即，与直接对图像Dl、D2B进行相加的情况相比， 能够消除其问题点，并且，能够得到与通过对图像Dl、D2B进行相加而得到的之前叙述的效果相同的效果。另外，权重系数决定单元512中的权重系数的决定方法只要发挥上述目的即可， 不限于图5的(A)、(B)所示的关系，例如，也可以使用由平滑曲线定义的关系。并且，也可以利用折线来近似这种曲线。一股地讲，如下决定即可根据相对于差分dH-dV单调递增的特性决定针对水平方向分量的权重系数，根据相对于差分dH-dV单调递减的特性决定针对垂直方向分量的权重系数，使针对水平方向分量的权重系数和针对垂直方向分量的权重系数之和满足始终恒定的关系。进而，边缘方向估计单元511计算所述差分dH-dV作为边缘方向估计量D511，但是，只要是与边缘方向相关的量即可，也可以使用通过其他各种关系式中的任意一种而计算出的量。该情况下，权重系数决定单元512也根据边缘方向估计量D511进行变更并实施， 以便发挥上述目的。关于对中间图像Dl的水平分量Dlh和垂直分量Dlv进行相加的情况进行了以上说明，但是，在对中间图像D2B的水平分量D2M!和垂直分量D2Bv进行相加的情况下也同样。在图4所示的例子中，在对中间图像D2B的水平分量D2M!和垂直分量D2Bv进行相加的情况下，也使用由权重系数生成单元401决定的权重系数D512h、D512v。在加法单元3中，将图像D2C作为中间图像D2与输入图像DIN相加。因此，在抑制由于叠加分量而引起的过冲量、锯齿或振铃等的增加的同时对高频分量进行相加，能够提高图像的清晰感。
17
进而，在本发明的图像处理装置中，在中间图像生成单元1和中间图像处理单元2 中，并列地进行图像的与水平方向有关的处理和与垂直方向有关的处理，因此，不限于仅图像的水平方向或仅图像的垂直方向，能够对它们进行统合而关于任意方向得到上述效果。并且，在本发明的图像处理装置中，从频率空间进行考虑，根据从原点到1 的频带中的输入图像DIN在原图像DORG的奈圭斯特频率士而/2附近(或特定频带)中具有的分量，生成与奈圭斯特频率士而附近的高频分量对应的图像D2B。因此，即使由于某些原因而在输入图像DIN中丢失奈圭斯特频率士而附近的频率分量，通过图像D2B，也能够给出奈圭斯特频率士 1 附近的频率分量。另外，用作特定频带的部位不限于士而/2附近。即，通过适当变更高频分量图像生成单元IA和低频分量图像生成单元IB的频率响应，能够变更要利用的频带。在上述说明中，作为丢失奈圭斯特频率1 附近的频率分量的例子，列举了图像的放大处理，但是，针对输入图像DIN丢失奈圭斯特频率1 附近的频率分量的原因不限于此， 除此之外，还可考虑噪声去除处理等。因此，本发明的图像处理装置的用途不限于图像放大处理后。实施方式2实施方式2的图像处理装置与实施方式1的不同之处仅在于加法单元2C的内部结构，在加法单元2C中采用如下结构根据图像D2M!和D2Bv，求出在对图像D2M!和图像 D2Bv进行统合时使用的权重系数。图18示出本发明的实施方式2的图像处理装置的加法单元2C的结构例。图示的加法单元2C大致与图4的加法单元2C相同，但是，不同之处在于，附加了权重输出单元 412，使用从权重输出单元412输出的权重系数D52 i和D522v进行水平垂直统合单元412 中的相加。权重系数生成单元(第1权重系数生成单元)401与图4的情况相同，根据图像 Dlh和Dlv，求出针对图像Dlh的权重系数D51 i和针对图像Dlv的权重系数D512v。水平垂直统合单元(第1水平垂直统合单元)411根据由权重系数生成单元401 求出的权重系数D5iai和D512V，对图像Dlh和图像Dlv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像Dlhv。与上述处理并行地，权重系数生成单元(第2权重系数生成单元)402根据图像 D2Mi和D2Bv，求出针对图像D2Mi的权重系数D52 i和针对图像D2Bv的权重系数D522v。权重系数D52 i和D522v的求出方法与权重系数生成单元401中的权重系数D51 i和D512v 的求出方法相同，例如，能够使用与图5的㈧和⑶相同的关系(其中，横轴示出图像D2M! 的绝对值dH，和图像D2Bv的绝对值dV，之差(dH，_dV，)，纵轴示出权重系数D522h、D522v) 求出权重系数D522h和D522v。该情况下，可以使针对dH，-dV，的D522h和D522v的关系与针对dH-dV的D51 i和D512v的关系完全相同，也可以相互不同。水平垂直统合单元(第2水平垂直统合单元)412根据由权重系数生成单元402 求出的权重系数D52 i和D522v，对图像D2Mi和图像D2Bv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D2Kw。中间图像加法单元42对图像Dlhv和图像D2Bhv进行相加，输出图像D2C。本实施方式2的加法单元2C构成为，相对于图4所示的实施方式1的加法单元2C的结构，追加了用于求出针对图像D2M!和D2Bv的权重系数的权重系数生成单元402，水平垂直统合单元412使用由权重系数生成单元402求出的权重系数，对图像D2M!和图像D2Bv 进行加权相加。权重系数生成单元401、水平垂直统合单元411和中间图像加法单元42的结构、动作与实施方式1相同。进而，权重系数生成单元402由边缘方向估计单元521和权重系数决定单元522构成，它们的动作与权重系数生成单元401的边缘方向估计单元511 和权重系数决定单元512的动作相同。本发明的实施方式2的图像处理装置具有与本发明的实施方式1的图像处理装置相同的效果。进而，通过在加法单元2C中追加权重系数生成单元402，能够更加适当地求出用于对经过非线性处理单元2A的处理后的图像即图像D2M!和图像D2Bv进行统合的权重系数，能够使处理后的图像的画质更高。实施方式3图19是示出本发明的实施方式3的图像处理方法的流程的图，本发明的实施方式 3的图像处理方法包含中间图像生成步骤ST1、中间图像处理步骤ST2以及加法步骤ST3。如图20所示，中间图像生成步骤STl包含高频分量图像生成步骤STlA和低频分量图像生成步骤ST1B。高频分量图像生成步骤STlA包含水平方向高频分量图像生成步骤STlAh和垂直方向高频分量图像生成步骤STIAv，低频分量图像生成步骤STlB包含水平方向低频分量图像生成步骤STlM1和垂直方向低频分量图像生成步骤STIBv。如图21所示，中间图像处理步骤ST2包含非线性处理步骤ST2A、高频分量图像生成步骤ST2B以及加法步骤ST2C。非线性处理步骤ST2A包含水平方向非线性处理步骤ST2Ah和垂直方向非线性处理步骤ST2Av，高频分量图像生成步骤ST2B包含水平方向高频分量图像生成步骤ST2Mi和垂直方向高频分量图像生成步骤ST2Bv。如图22所示，水平方向非线性处理步骤ST2Ah包含过零判定步骤ST311h和信号放大步骤ST31 !，如图23所示，垂直方向非线性处理步骤ST2Av包含过零判定步骤ST311v 和信号放大步骤ST312v。首先，根据图20的流程说明中间图像生成步骤STl的动作。在高频分量图像生成步骤STlA中，针对通过未图示的图像输入步骤而输入的输入图像DIN进行以下处理。首先，在水平方向高频分量图像生成步骤STlAh中，通过水平方向的高通滤波处理，生成从输入图像DIN中取出水平方向的高频分量而得到的图像DIAh。在垂直方向高频分量图像生成步骤STlAv中，通过垂直方向的高通滤波处理，生成从输入图像DIN中取出垂直方向的高频分量而得到的图像DlAv。这样，高频分量图像生成步骤STlA根据输入图像DIN，生成由图像DlAh和图像 DlAv构成的图像D1A。该动作等同于高频分量图像生成单元1A。在低频分量图像生成步骤STlB中，针对图像DlA进行以下处理。首先，在水平方向低频分量图像生成步骤STlBh中，通过水平方向的低通滤波处理，生成从图像DlAh中取出水平方向的低频分量而得到的图像DlMu在垂直方向低频分量图像生成步骤STlBv中，通过垂直方向的低通滤波处理，生成从图像DlAv中取出垂直方向的低频分量而得到的图像DIBv。这样，低频分量图像生成步骤STlB根据图像D1A，生成由图像DlMi和图像DlBv构成的图像D1B。该动作等同于低频分量图像生成单元1B。以上是中间图像生成步骤STl的动作，中间图像生成步骤STl将图像DlM1作为图像Dlh，将图像DlBv作为图像Dlv，输出由图像Dlh和图像Dlv构成的中间图像D1。以上的动作等同于中间图像生成单元1。接着，根据图21 M的流程说明中间图像处理步骤ST2的动作。首先，在非线性处理步骤ST2A中，针对中间图像Dl进行以下处理。首先，在水平方向非线性处理步骤ST2Ah中，在基于图22所示的流程的处理中，根据图像Dlh生成图像D2Ah。图22所示的流程中的处理如下所述。首先，在过零判定步骤 ST311h中，沿着水平方向确认图像Dlh中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，向信号放大步骤ST3Uh通知位于过零点左右的像素。在信号放大步骤ST3Uh中，关于图像Dlh，对被通知为位于过零点左右的像素的像素值进行放大，输出该图像作为图像D2Ah。S卩，非线性处理步骤ST2Ah针对图像Dlh 进行与水平方向非线性处理单元2Ah相同的处理，生成图像D2Ah。接着，在垂直方向非线性处理步骤ST2Av中，在基于图23所示的流程的处理中，根据图像Dlv生成图像D2Av。图23所示的流程中的处理如下所述。首先，在过零判定步骤 ST311v中，沿着垂直方向确认图像Dlv中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，向信号放大步骤ST312V通知位于过零点上下的像素。在信号放大步骤ST312V中，关于图像Dlv，对被通知为位于过零点上下的像素的像素值进行放大，输出该图像作为图像D2Av。即，非线性处理步骤ST2Av针对图像Dlv 进行与垂直方向非线性处理单元2Av相同的处理，生成图像D2Av。以上是非线性处理步骤ST2A的动作，非线性处理步骤ST2A生成由图像D2Ah和图像D2Av构成的图像D2A。该动作等同于非线性处理单元2A。接着，在高频分量图像生成步骤ST2B中，针对图像D2A进行以下处理。首先，在水平方向高频分量图像生成步骤ST2M!中，生成针对图像D2Ah进行水平方向的高通滤波处理而得到的图像D2M!。即，水平方向高频分量图像生成步骤ST2M!进行与水平方向高频分量图像生成单元2M!相同的处理。接着，在垂直方向高频分量图像生成步骤ST2Bv中，生成针对图像D2Av进行垂直方向的高通滤波处理而得到的图像D2Bv。即，垂直方向高频分量图像生成步骤ST2Bv进行与垂直方向高频分量图像生成单元2Bv相同的处理。以上是高频分量图像生成步骤ST2B的动作，高频分量图像生成步骤ST2B生成由图像D2M!和图像D2Bv构成的图像D2B。该动作等同于高频分量图像生成单元2B。接着，在加法步骤ST2C中，在基于图M所示的流程的处理中，对图像Dlh、图像 Dlv、图像D2Mi和图像D2Bv进行相加，生成图像D2C。加法步骤ST2C的处理如下所述。首先，在权重系数生成步骤ST401中，求出针对水平方向分量的权重系数D512h 和针对垂直方向分量的权重系数D512v。权重系数生成步骤ST401包含边缘方向估计步骤 ST511和权重系数决定步骤ST512，它们的动作等同于权重系数生成单元401的边缘方向估计单元511和权重系数决定单元512的动作。
接着，在水平垂直统合步骤ST411中，使用在权重系数生成步骤ST401中求出的权重系数D51 !和D512v，按照每个像素对图像Dlh和图像Dlv进行加权相加并统合，生成图像Dlhv。并且，在水平垂直统合步骤ST412中，同样使用权重系数D51 !和D512v，按照每个像素对图像D2M!和图像D2Bv进行加权相加并统合，生成图像D2Mw。接着，在中间图像加法步骤ST42中，对图像Dlhv和图像D2Bhv进行相加。此时， 图像Dlhv和图像D2Mw的相加也可以是加权相加。以上的加法步骤ST2C的动作等同于加法单元2C的动作。以上是中间图像处理步骤ST2的动作，中间图像处理步骤ST2输出图像D2C作为中间图像D2。该动作等同于中间图像处理单元2。加法步骤ST3对输入图像DIN和中间图像D2进行相加，生成输出图像D0UT。输出图像DOUT作为本发明的图像处理方法的最终输出图像被输出。S卩，加法步骤ST3的动作等同于加法单元3的动作。以上是本发明的实施方式3的图像处理方法的动作。根据该说明可知，本发明的实施方式3的图像处理方法的动作等同于本发明的实施方式1的图像处理装置。因此，实施方式3的图像处理方法具有与实施方式1的图像处理装置相同的效果。并且，在图6所示的图像显示装置中，例如通过在图像处理装置U2内部实施上述图像处理方法，能够在图6所示的图像显示装置U3中显示通过上述图像处理方法处理后的图像。实施方式4在实施方式4的图像处理方法中，在实施方式3的图像处理方法的加法步骤ST2C 中，根据图像D2M!和D2Bv，求出在对图像D2M!和图像D2Bv进行统合时使用的权重系数。图25示出本发明的实施方式4的图像处理方法的加法步骤ST2C的流程。首先， 在权重系数生成步骤ST401中，根据图像Dlh和图像Dlv，求出针对图像Dlh的权重系数 D51 !和针对图像Dlv的权重系数D512v。权重系数生成步骤ST401包含边缘方向估计步骤ST511和权重系数决定步骤ST512，它们的动作等同于权重系数生成单元401的边缘方向估计单元511和权重系数决定单元512的动作。接着，在水平垂直统合步骤ST411中，使用在权重系数生成步骤ST401中求出的权重系数D51 !和D512v，对图像Dlh和图像Dlv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像Dlhv。并且，在权重系数生成步骤ST402中，根据图像D2Mi和D2Bv，求出针对图像D2Mi 的权重系数D52 !和针对图像D2Bv的权重系数D522v。权重系数生成步骤ST402包含边缘方向估计步骤ST521和权重系数决定步骤ST522，它们的动作等同于实施方式2中的权重系数生成单元402的边缘方向估计单元521和权重系数决定单元522的动作。接着，在水平垂直统合步骤ST412中，根据在权重系数生成步骤ST402中求出的权重系数D52 i和D522v，对图像D2Mi和图像D2Bv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D2Mw。接着，在中间图像加法步骤ST42中，对图像Dlhv和图像D2Bhv进行相加，输出图像 D2C。以上的加法步骤ST2C的动作等同于实施方式2中的加法单元2C的动作。进而，
21本发明的实施方式4的图像处理方法的动作等同于本发明的实施方式2的图像处理装置。 因此，实施方式4的图像处理方法具有与实施方式2的图像处理装置相同的效果。并且，在图6所示的图像显示装置中，例如通过在图像处理装置U2内部实施上述图像处理方法，能够在图6所示的图像显示装置U3中显示通过上述图像处理方法处理后的图像。标号说明1 中间图像生成单元；1A 高频分量图像生成单元；IB 低频分量图像生成单元； 2 中间图像处理单元；2A 非线性处理单元；2B 高频分量图像生成单元；2C 加法单元；3 加法单元；401、402 权重系数生成单元；411 第1水平垂直统合单元；412 第2水平垂直统合单元；DIN 输入图像；Dl 第1中间图像；Dlh 第1水平方向中间图像；Dlv 第1垂直方向中间图像；D2 第2中间图像；D2Bh 第2水平方向中间图像；D2Bv 第1垂直方向中间图像；DOUT 输出图像。
权利要求
1.一种图像处理装置，其特征在于，该图像处理装置具有中间图像生成单元，其生成关于输入图像的水平方向取出特定频带的分量而得到的第 1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1 垂直方向中间图像；中间图像处理单元，其根据所述第1水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法单元，其对所述输入图像和所述第2中间图像进行相加， 所述中间图像处理单元具有水平方向非线性处理单元，其根据所述第1水平方向中间图像的像素改变处理的内容；以及垂直方向非线性处理单元，其根据所述第1垂直方向中间图像的像素改变处理的内容，所述中间图像处理单元具有第2加法单元，该第2加法单元对所述第1水平方向中间图像、所述第1垂直方向中间图像、对所述水平方向非线性处理单元的输出进行处理而得到的第2水平方向中间图像、以及对所述垂直方向非线性处理单元的输出进行处理而得到的第2垂直方向中间图像进行相加，输出相加结果作为所述第2中间图像，第2加法单元具有第1水平垂直统合单元和第2水平垂直统合单元中的至少一方，该第1水平垂直统合单元对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加并统合，该第2水平垂直统合单元对所述第2水平方向中间图像和所述第2垂直方向中间图像进行加权相加并统合。
2.根据权利要求1所述的图像处理装置，其特征在于，所述第2加法单元还具有第1权重系数生成单元，该第1权重系数生成单元根据所述第1水平方向中间图像和所述第1垂直方向中间图像求出第1权重系数，所述第1水平垂直统合单元和所述第2水平垂直统合单元中的至少一方根据所述第1 权重系数，进行所述加权相加。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述第1权重系数生成单元具有第1边缘方向估计单元，其根据所述第1水平方向中间图像和所述第1垂直方向中间图像，求出与所述输入图像的边缘方向对应的边缘方向估计量；以及第1权重系数决定单元，其根据所述第1边缘方向估计量，决定所述第1权重系数。
4.根据权利要求3所述的图像处理装置，其特征在于，所述第1边缘方向估计单元输出所述第1水平方向中间图像与所述第1垂直方向中间图像的各像素的绝对值的差分，作为所述第1边缘方向估计量。
5.根据权利要求4所述的图像处理装置，其特征在于，所述第1权重系数决定单元根据相对于所述第1边缘方向估计量单调递增的特性，决定针对所述第1水平方向中间图像的权重系数，根据相对于所述第1边缘方向估计量单调递减的特性，决定针对所述第1垂直方向中间图像的权重系数，针对所述第1水平方向中间图像的权重系数与针对所述第1垂直方向中间图像的权重系数之和满足始终恒定的关系。
6.根据权利要求2 5中的任意一项所述的图像处理装置，其特征在于，所述第2加法单元还具有第2权重系数生成单元，该第2权重系数生成单元根据所述第2水平方向中间图像和所述第2垂直方向中间图像求出第2权重系数， 所述第1水平垂直统合单元根据所述第1权重系数进行所述加权相加， 所述第2水平垂直统合单元根据所述第2权重系数进行所述加权相加。
7.根据权利要求6所述的图像处理装置，其特征在于， 所述第2权重系数生成单元具有第2边缘方向估计单元，其根据所述第2水平方向中间图像和所述第2垂直方向中间图像，求出与所述输入图像的边缘方向对应的边缘方向估计量；以及第2权重系数决定单元，其根据所述第2边缘方向估计量，决定所述第2权重系数。
8.根据权利要求7所述的图像处理装置，其特征在于，所述第2边缘方向估计单元输出第2水平方向中间图像与第2垂直方向中间图像的各像素的绝对值的差分，作为所述第2边缘方向估计量。
9.根据权利要求8所述的图像处理装置，其特征在于，所述第2权重系数决定单元根据相对于所述第2边缘方向估计量单调递增的特性，决定针对第2水平方向中间图像的权重系数，根据相对于所述第2边缘方向估计量单调递减的特性，决定针对第2垂直方向中间图像的权重系数，针对所述第2水平方向中间图像的权重系数与针对所述第2垂直方向中间图像的权重系数之和满足始终恒定的关系。
10.根据权利要求1 9中的任意一项所述的图像处理装置，其特征在于， 所述中间图像生成单元具有第1水平方向高频分量图像生成单元，其生成使用存在于所述输入图像的各像素的水平方向附近的像素取出第1规定水平方向频率以上的高频分量而得到的第1水平方向高频分量图像；第1垂直方向高频分量图像生成单元，其生成使用存在于所述输入图像的各像素的垂直方向附近的像素取出第1规定垂直方向频率以上的高频分量而得到的第1垂直方向高频分量图像；水平方向低频分量图像生成单元，其仅取出所述第1水平方向高频分量图像的第2规定水平方向频率以下的低频分量，生成所述第1水平方向中间图像；以及垂直方向低频分量图像生成单元，其仅取出所述第1垂直方向高频分量图像的第2规定垂直方向频率以下的低频分量，生成所述第1垂直方向中间图像。
11.根据权利要求10所述的图像处理装置，其特征在于，所述水平方向非线性处理单元生成以根据像素而改变的放大率对所述第1水平方向中间图像的各像素值进行放大而得到的水平方向非线性处理图像，所述水平方向非线性处理单元生成以根据像素而改变的放大率对所述第1垂直方向中间图像的各像素值进行放大而得到的垂直方向非线性处理图像， 所述中间图像处理单元还具有第2水平方向高频分量图像生成单元，其使用存在于所述水平方向非线性处理图像的各像素的水平方向附近的像素，仅取出第3规定水平方向频率以上的高频分量，生成所述第2水平方向中间图像；以及第2垂直方向高频分量图像生成单元，其使用存在于所述垂直方向非线性处理图像的各像素的垂直方向附近的像素，仅取出第3规定垂直方向频率以上的高频分量，生成所述第2垂直方向中间图像。
12.根据权利要求11所述的图像处理装置，其特征在于， 所述水平方向非线性处理单元具有水平方向过零点判定单元，其将所述第1水平方向中间图像的像素值从正变化为负或从负变化为正的部位判定为过零点；以及水平方向信号放大单元，其根据所述水平方向过零点判定单元的判定结果，决定针对所述第1水平方向中间图像的各像素的放大率， 所述垂直方向非线性处理单元具有垂直方向过零点判定单元，其将所述第1垂直方向中间图像的像素值从正变化为负或从负变化为正的部位判定为过零点；以及垂直方向信号放大单元，其根据所述垂直方向过零点判定单元的判定结果，决定针对所述第1垂直方向中间图像的各像素的放大率。
13.一种图像显示装置，其特征在于，该图像显示装置具有权利要求1 12中的任意一项所述的图像处理装置。
14.一种图像处理方法，其特征在于，该图像处理方法具有中间图像生成步骤，生成关于输入图像的水平方向取出特定频带的分量而得到的第1 水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；中间图像处理步骤，根据所述第1水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法步骤，对所述输入图像和所述第2中间图像进行相加， 所述中间图像处理步骤具有水平方向非线性处理步骤，根据所述第1水平方向中间图像的像素改变处理的内容；以及垂直方向非线性处理步骤，根据所述第1垂直方向中间图像的像素改变处理的内容， 所述中间图像处理步骤具有第2加法步骤，在该第2加法步骤中，对所述第1水平方向中间图像、所述第1垂直方向中间图像、对所述水平方向非线性处理步骤的输出进行处理而得到的第2水平方向中间图像、以及对所述垂直方向非线性处理步骤的输出进行处理而得到的第2垂直方向中间图像进行相加，输出相加结果作为所述第2中间图像，第2加法步骤具有第1水平垂直统合步骤和第2水平垂直统合步骤中的至少一方，在该第1水平垂直统合步骤中，对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加并统合，在该第2水平垂直统合步骤中，对所述第2水平方向中间图像和所述第2垂直方向中间图像进行加权相加并统合。
15.一种图像显示装置，其特征在于，该图像显示装置显示通过权利要求14所述的图像处理方法处理后的图像。
全文摘要
在中间图像生成单元(1)中，取出输入图像(DIN)的特定频带的分量，生成水平方向中间图像(D1h)和垂直方向中间图像(D1v)，在中间图像处理单元(2)中，通过对中间图像(D1h、D1v)进行非线性处理(2A)和高频分量生成(2B)，生成水平方向图像(D2Bh)和垂直方向图像(D2Bv)，按照每个像素对这些水平方向和垂直方向的图像进行加权相加并统合，得到中间图像(D2)，对输入图像(DIN)进行相加(3)，得到实施了强调处理后的输出图像(DOUT)。即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。
文档编号H04N1/409GK102292742SQ20098015543
公开日2011年12月21日 申请日期2009年12月16日 优先权日2009年1月22日
发明者南浩次, 奥田悟崇, 守谷正太郎, 山中聪, 杉浦博明, 豊田善隆 申请人:三菱电机株式会社