图像处理装置、图像处理方法
【专利说明】
[0001] 本申请主张日本专利申请2013 - 035186号（于2013年2月25日申请）的优先 权，并在此引用该申请的全部公开内容用于参照。
技术领域
[0002] 本发明涉及用于使图像清晰化来改善画质的图像处理装置以及图像处理方法，例 如涉及适合利用电视机（TV)接收器实时显示的视频的清晰化的图像处理装置以及图像处 理方法。
【背景技术】
[0003] 在利用全高清（HDTV :High Definition Television，1080X 1920像素）的电视机 接收器放大显示分辨率不足HDTV的图像信号的情况下，图像被模糊地显示。另外，将具有 HDTV的分辨率的图像信号放大为更高清的分辨率（例如4000X2000像素左右的4K分辨 率）的情况也相同，图像被模糊地显示。因此，在现有的电视机接收器中，进行了使相当于 被显示的图像的轮廓部的影像信号的上升、下降陡峭的轮廓补偿。在该轮廓补偿中，提取输 入图像信号（亮度信号）的高频分量，对该高频分量进行放大并与输入图像信号相加，来使 视觉上的画质提高。
[0004] 这里，通过对图像的水平方向以及垂直方向的高频分量实施清晰化处理，从而在 清晰化处理后的图像中发生斜线看起来晃眼的现象，特别是在通过非线性处理生成超过奈 奎斯特频率的高频频率分量的清晰化处理中容易成为问题。
[0005] 图19是表示在垂直方向以及水平方向上连续进行生成超过奈奎斯特频率的高 频频率分量的清晰化处理的构成的图，图20是表示各阶段中的信号的频率分量的图。图 20(a)示出水平方向的取样频率是fh且垂直方向的取样频率是fv的数字图像的输入图像 信号S in的频率分量。数字图像的奈奎斯特频率水平方向为fh/2且垂直方向为fv/2,如图 所示，频率分量不存在于超过奈奎斯特频率的范围。若对输入图像信号S in的垂直方向实施 清晰化处理，则如图20 (b)，在清晰化处理后的信号Sl中，在超过垂直方向的奈奎斯特频率 fv/2的较宽区域生成频率分量。若对该信号Sl进一步实施水平方向的清晰化处理，则如图 20 (c)，在清晰化处理后的输出图像信号5_中，在超过水平方向的奈奎斯特频率fh/2的较 宽区域生成频率分量。如图所示，输出图像信号S ciut的频率分量的四角，即水平方向以及垂 直方向均为高频率的区域，重复进行了水平方向以及垂直方向的清晰化处理，且增强了图 像的晃眼感。
[0006] 为了消除这样的晃眼感，提出了在水平方向以及垂直方向的清晰化处理的前级配 置二维滤波器的技术（参照专利文献1)。
[0007] 专利文献1 :国际公开第2012/043407号
[0008] 专利文献1如图21那样在水平方向以及垂直方向的清晰化处理的前级配置二维 滤波器。图22是表示二维滤波器的频率特性的一个例子的图。如图所示，二维滤波器具有 使输入图像信号S in的水平以及垂直方向的高频分量衰减的特性。图23是表示图21的电 路的各阶段中的信号的频率分量的图。在图21的电路中，若对水平方向的取样频率是fh 且垂直方向的取样频率是fv的数字图像的输入图像信号Sin实施二维滤波，则滤波处理后 的第一信号Sl的频率分量如图23(b)为水平以及垂直方向的高频分量被衰减后的频率分 量。若对第一信号Sl实施水平清晰化处理，则如图23(c)，清晰化处理后的第二信号S2为 频率分量沿水平方向放大了的信号。通过加法器合成第一信号Sl以及第二信号S2,若对合 成后的信号实施垂直清晰化处理，则如图23 (d)，清晰化处理后的第三信号S3为频率分量 沿垂直方向放大了的信号。而且，通过后级的加法器合成了垂直清晰化处理前后的信号，输 出图像信号3_被输出。
[0009] 由图21的电路生成的输出图像信号Sciut如图23(e)所示，在输出图像信号S _的 频率分量的四角，即水平方向以及垂直方向均为高频率的区域中，对于在水平方向生成了 高次谐波的信号进一步在垂直方向生成了高次谐波，所以恶化的程度比图20(c)的信号 少，但是依然存在容易成为晃眼/闪烁的图像这样的问题。另外，这里，也存在若为了除去 晃眼/闪烁感而将二维滤波器中的通过区域较窄地设定，则用于清晰化的信号分量变少， 所以无法进行有效的清晰化这样的问题。
【发明内容】
[0010] 因此，本发明的目的在于，提供能够在均超过输入图像的水平方向以及垂直方向 的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频 率分量就使图像清晰化的图像处理装置以及图像处理方法。
[0011] 为了解决上述的各种课题，本发明的图像处理装置是生成比表示输入图像的输入 图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备： 垂直滤波器，其至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号 的垂直方向的频率分量的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包 含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在 输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量 的高频部分；以及垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频 率分量更高的频率分量的垂直方向的高次谐波，在上述水平清晰化处理部的前级配置有上 述垂直滤波器的水平方向处理部和在上述垂直清晰化处理部的前级配置有上述水平滤波 器的垂直方向处理部被以并联的方式连接，上述图像处理装置具备与被以并联的方式连接 的上述水平方向处理部以及上述垂直方向处理部的任意一方的后级和任意另一方的前级 连接的放大器，且使输入图像清晰化。
[0012] 另外，优选上述放大器的放大率β是0彡β彡1。
[0013] 另外，本发明的图像处理装置是生成比表示输入图像的输入图像信号所包含的频 率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：垂直滤波器，其至少在 输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量 的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分 量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在输入图像信号所包含的 垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及垂直 清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量 的垂直方向的高次谐波，上述水平清晰化处理部以及上述垂直清晰化处理部的至少一方包 括：滤波器部，其通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号； 非线性处理部，其是对于上述第一信号进行在上述第一信号的正负为非对称的非线性处理 并生成第二信号的非线性处理部，对于上述第一信号进行如下的非线性处理，即，被作为应 用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续函数表示，并 且由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以及限幅器，其 调整上述第二信号来生成第三信号，在上述水平清晰化处理部的前级配置有上述垂直滤波 器的水平方向处理部和在上述垂直清晰化处理部的前级配置有上述水平滤波器的垂直方 向处理部被以串联或者并联的方式连接并使输入图像清晰化。
[0014] 另外，本发明的图像处理装置是生成比表示输入图像的输入图像信号所包含的频 率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：垂直滤波器，其至少在 输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量 的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分 量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在输入图像信号所包含的 垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及垂直 清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量 的垂直方向的高次谐波，上述水平清晰化处理部以及上述垂直清晰化处理部的至少一方包 括：非线性处理部，其是对输入信号进行非线性处理并生成第一信号的非线性处理部，对于 上述输入信号进行如下的非线性处理，即，被作为上述第一信号连续的非线性函数，并且生 成不包含于上述输入信号中的频率分量；滤波器部，其通过除去上述第一信号所包含的频 率分量的至少直流分量来生成第二信号；以及限幅器，其调整上述第二信号来生成第三信 号，在上述水平清晰化处理部的前级配置有上述垂直滤波器的水平方向处理部和在上述垂 直清晰化处理部的前级配置有上述水平滤波器的垂直方向处理部被以串联或者并联的方 式连接并使输入图像清晰化。
[0015] 另外，优选具备检测输入图像信号的运动的范围变化检测部，上述范围变化检测 部在输入图像信号的垂直方向的运动量大时降低上述垂直清晰化处理部的频率分量的强 调度，并且在输入图像信号的水平方向的运动量大时降低上述水平清晰化处理部的频率分 量的强调度。
[0016] 并且，为了解决上述的各种课题，本发明的图像处理方法是生成比表示输入图像 的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置 中的图像处理方法，上述图像处理装置中的处理步骤包括：水平方向处理步骤，至少在输入 图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高 频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方 向的高次谐波；垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中， 除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的 垂直方向的频率分量更高的频率分量的垂直方向的高次谐波；以及通过放大率β切换将 上述垂直方向处理步骤以及上述水平方向处理步骤串行执行还是并行执行的步骤，串行或 者并行地执行上述垂直方向处理步骤以及上述水平方向处理步骤。
[0017] 优选上述放大率β是0彡β彡1。
[0018] 另外，本发明的图像处理方法是生成比表示输入图像的输入图像信号所包含的频 率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，上述图像 处理装置中的处理步骤包括：水平方向处理步骤，至少在输入图像信号所包含的水平方向 的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图 像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；以及垂直方 向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的 水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量 更高的频率分量的垂直方向的高次谐波，上述水平方向处理步骤和上述垂直方向处理步骤 的至少一方包括：通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号的 步骤；非线性处理步骤，其是对于上述第一信号进行在上述第一信号的正负为非对称的非 线性处理并生成第二信号的非线性处理步骤，对于上述第一信号进行如下的非线性处理， 即，被作为应用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续 函数表示，并且由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以 及调整步骤，调整上述第二信号来生成第三信号，串行或者并行地执行上述垂直方向处理 步骤以及上述水平方向处理步骤。
[0019] 另外，本发明的图像处理方法是生成比表示输入图像的输入图像信号所包含的频 率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，上述图像 处理装置中的处理步骤包括：水平方向处理步骤，至少在输入图像信号所包含的水平方向 的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图 像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；以及垂直方 向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的 水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量 更高的频率分量的垂直方向的高次谐波，上述水平方向处理步骤和上述垂直方向处理步骤 的至少一方包括：非线性处理步骤，其是对输入信号进行非线性处理并生成第一信号的非 线性处理步骤，对于上述输入信号进行如下的非线性处理，即被作为上述第一信号连续的 非线性函数表示，并且生成不包含于上述输入信号中的频率分量；通过除去上述第一信号 所包含的频率分量