图像处理装置及图像处理方法

专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及图像处理装置、使用该图像处理装置的图像处理方法。
技术背景
以往公知一种如下的图像处理装置，利用放大图像的处理，代替最近邻域法 (nearest neighbor method)或双三次法(bicubic method)等插补方法，而通过使用Total Variation(TV)法使放大图像高清晰化(例如，特开2007-317109号公报)。
上述使用了 TV法的放大方法与最近邻域法或双三次法等插补方法相比，能够实 现放大图像的高清晰化。但是，上述放大方法，在放大率变大时图像边缘模糊或噪声量增 大。其结果，有放大图像的清晰感淡化这样的问题。发明内容
因此，本发明的课题在于提供一种能够适当地实现放大图像的高清晰化的图像处 理装置及图像处理方法。
为解决上述课题，本发明的一个实施方式的图像处理装置，其特征在于，具备取 得单元，取得原图像；指定单元，指定通过该取得单元所取得的原图像的最终放大倍率；第 一分离单元，从通过所述取得单元所取得的原图像中分离组织成分及纹理成分；中间图像 生成单元，将通过该第一分离单元分离出的所述原图像的组织成分及纹理成分的每一个放 大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中 间放大图像；第二分离单元，从通过该中间图像生成单元所生成的所述中间放大图像中分 离组织成分；组织放大单元，将通过该第二分离单元分离出的所述中间放大图像的组织成 分放大为所述最终放大倍率，来生成最终放大组织成分；纹理放大单元，将通过所述第一分 离单元分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成 分；以及最终图像生成单元，合成通过所述组织放大单元所生成的所述最终放大组织成分 和通过所述纹理放大单元所生成的所述最终放大纹理成分，来生成最终放大图像。
另外作为其他实施方式的图像处理方法，使用了图像处理装置，其特征在于，该图 像处理方法执行取得原图像的步骤；指定已取得的原图像的最终放大倍率的步骤；从已 取得的原图像中分离组织成分及纹理成分的步骤；将分离出的所述原图像的组织成分及纹 理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及 纹理成分来生成中间放大图像的步骤；从已生成的所述中间放大图像中分离组织成分的步 骤；将分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大 组织成分的步骤；将分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最 终放大纹理成分的步骤；以及合成已生成的所述最终放大组织成分和所述最终放大纹理成 分，来生成最终放大图像的步骤。
根据本发明，能够强调图像边缘以适当地实现放大图像的高清晰化。


图1是表示应用本发明的一个实施方式的摄像装置的概略结构的框图。
图2是表示通过图1的摄像装置执行的图像放大处理的动作的一例的流程图。
图3是表示图2的放大处理后续的流程图。
图4是示意表示用于说明图2的放大处理的图像的一例的图。
图5是示意表示用于说明图2的放大处理的图像的一例的图。

100-摄像装置，5-图像处理部，5a_图像取得部，5b_图像分离部，5c_中间倍率 计算部，5d-组织(structure)放大部，5f-纹理(texture)放大部，5g-中间图像生成部， 5h-最终图像生成部，5i-再分离部，9-操作输入部，10-中央控制部。
具体实施方式
以下对于本发明使用

具体的实施方式。但是，发明的范围不限于图示例。
图1是表示应用本发明的一个实施方式的摄像装置100的概略结构的框图。
本实施方式的摄像装置100将从原图像(例如原图像Go;参照图4(a))分离出的 组织成分(例如组织成分；参照图4(b))以及纹理成分(例如纹理成分Gt ；参照图4(c)) 放大为中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像。然后，摄像 装置100将从中间放大图像分离出的组织成分放大到最终放大倍率来生成最终放大组织 成分，将原图像的纹理成分放大到最终放大倍率来生成最终放大纹理成分，合成所生成的 最终放大组织成分与最终放大纹理成分来生成最终放大图像(例如最终放大图像Gf ；参照 图 5(a))。
具体而言，如图1所示，摄像装置100具备摄像部1、摄像控制部2、图像数据生成 部3、存储器4、图像处理部5、显示控制部6、显示部7、记录介质8、操作输入部9、中央控制 部10。
摄像部1拍摄被拍摄体生成图像帧。具体而言，摄像部1虽然省略了图示，但 该摄像部1具备由变焦透镜或聚焦透镜等多个透镜构成的透镜部；调整通过透镜部的 光量的光圈；由 CCD (Charge Coupled Device)或 CMOS (Complementary Metal-oxide Semiconductor)等图像传感器构成、将通过透镜部的各种透镜的光学像变换为二维图像信 号的电子摄像部。
摄像控制部2虽然省略了图示，但该摄像控制部2具备定时发生器、驱动器等。 并且，摄像控制部2通过定时发生器、驱动器扫描驱动电子摄像部，在每一规定周期通过电 子摄像部将光学像变换为二维图像信号，从该电子摄像部的摄像区域1画面、1画面地读出 图像帧后，向图像数据生成部3输出。
另外，摄像控制部2作为摄像条件的调整控制，执行AE (自动曝光处理)、AF(自动 对焦处理)、AWB(自动白平衡)等。
图像数据生成部3对于从电子摄像部传送来的图像数据的模拟值的信号按照RGB 的各颜色成分的每一个适当调整增益后，用采样保持电路(省略图示)采样保持、用A/D变 换器(省略图示)变换为数字数据，在用颜色加工电路(省略图示)进行包含像素插补处 理以及 修正处理的颜色加工处理后，生成数字值的亮度信号Y及色差信号Cb、Cr (YUV颜色空间的图像数据)。
从颜色加工电路输出的亮度信号Y及色差信号Cb、Cr通过未图示的DMA控制器向 作为缓冲存储器使用的存储器4进行DMA传送。
存储器4例如用DRAM等构成，临时存储通过图像处理部5或中央控制部10等所 处理的数据等。
图像处理部5具备图像取得部5a、图像分离部5b、中间倍率计算部5c、组织放大 部5d、滤波处理部k、纹理放大部5f、中间图像生成部5g、最终图像生成部证。
图像取得部fe作为取得单元，而将通过摄像部1拍摄到的原图像(例如原图像Go 等)作为处理对象图像取得。
具体而言，图像取得部fe例如从在记录介质8中记录的至少一个图像数据中取得 基于用户对于操作输入部9的规定操作所指定的任何一个图像数据。
图像分离部恥从处理对象数据(例如原图像Go等)中分离组织成分(例如组织 成分等)以及纹理成分(例如纹理成分Gt等)的至少一方。即、图像分离部恥通过 Total Variation法从处理对象数据中分离包含表示该处理对象图像内的目标的形状或大 小的边缘部和平坦部的组织成分、以及包含表示该处理对象图像内的目标的根据亮度变化 的清晰部的细微的图样(纹理表现表面的质感的重复的亮度图案)的纹理成分的至少一 方。
具体而言，图像分离部恥作为第一分离单元，通过Total Variation法从由图像 取得部fe已取得的作为处理对象图像的原图像中分离组织成分及纹理成分。另外图像分 离部5b作为第二分离单元，通过Total Variation法从由中间图像生成部5g已生成的作 为处理对象图像的中间放大图像中分离组织成分。
此外，作为通过图像分离部恥从处理对象图像中分离组织成分或纹理成分的方 法例示的方法仅是一例，不限于该方法。
中间倍率计算部5c计算比原图像(例如原图像Go等)的最终放大倍率小的中间 放大倍率。即、中间倍率计算部5c在图像再生模式下通过用规定的数除基于由用户对于操 作输入部9的选择确定按钮的规定操作所设定的原图像(处理对象图像)的放大倍率(最 终放大倍率)来计算至少一个中间放大倍率。具体而言，中间倍率计算部5c通过约分最终 放大倍率，而将至少一个约数作为中间放大倍率计算。此时，在“1”(等倍)以外的约数算 出有多个的情况下，中间倍率计算部5c将“1”以外最小的约数作为第一中间放大倍率，将 该最小的约数以外的约数作为第二中间放大倍率。
例如，在设定最终放大倍率为“8倍”的情况下，中间倍率计算部5c在作为“8”的 约数的1、2、4中设定“2倍”为第一中间放大倍率，设定“4倍”为第二中间放大倍率。另外， 例如，在设定最终放大倍率为“50倍”的情况下，中间倍率计算部5c在作为“50”的约数的 1、2、5、10、25中设定“2倍”为第一中间放大倍率，设定“5倍”、“10倍”、以及“25倍”为第二 中间放大倍率。这里，不必将最小的约数以外的所有约数(例如“5倍”、“10倍”、以及“25 倍”)设定为第二中间放大倍率。另外，在多个第二中间放大倍率中在处理中使用的顺序， 例如采用升序，但是不限于此，可以任意适当变更为降序等。
此外，中间放大倍率不限于正的整数，只要是用规定数除最终放大倍率算出的数 即可，也可以是正的小数或分数。另外，最终放大倍率的除数也不限于整数，也可以是正的小数或分数。
这里，中间倍率计算部5c构成通过用规定数除基于由用户对操作输入部9的规定 操作所指定的最终放大倍率来计算至少一个中间放大倍率的计算单元。
组织放大部5d通过规定的放大方法将由图像分离部恥从原图像(例如原图像Go 等)中分离出的组织成分(例如组织成分等)放大为中间放大倍率。这里，在设定了原 图像的第二中间放大倍率的情况下，组织放大部5d通过规定的放大方法将由中间图像生 成部5g的再分离部5i (后述)从第一中间放大图像中分离出的组织成分以原图像比放大 为第二中间放大倍率。
另外，组织放大部5d通过规定的放大方法将由图像分离部恥从中间放大图像 (例如第一中间放大图像或第二中间放大图像(后述)等)中分离出的组织成分以原图像 比放大为最终放大倍率。
此外，作为组织放大部5d使用的放大方法，例如可以举出能够实现更加自然的高 清晰化的、使用通过双三次法的插补处理的方法。
滤波处理部k对于通过组织放大部5d放大的组织成分进行规定的滤波处理。
具体而言，滤波处理部k首先使用规定的清晰化滤波器(例如拉普拉斯算符滤波 器等)，进行强调通过组织放大部5d放大了的组织成分的图像边缘(轮廓)的清晰化处理。 接着，滤波处理部5e使用规定的各向异性扩散(anisotropically diffusing)滤波器(例 如Total Variation滤波器等)，使在经过清晰化处理后的组织成分的图像边缘的切线方 向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处理。
这里，在滤波处理部k将通过组织放大部5d放大成为最终放大倍率的组织成分 作为处理对象的情况下，将各向异性扩散处理后的组织成分作为最终放大组织成分。
即，组织放大部5d及滤波处理部k构成将通过图像分离部恥分离出的中间放大 图像的组织成分放大为最终放大倍率、生成最终放大组织成分的组织放大单元。
纹理放大部5f使用规定的放大方法将通过图像分离部恥从原图像(例如原图像 Go等)中分离出的纹理成分(例如纹理成分Gt等)放大为中间放大倍率。这里，在设定了 原图像的第二中间放大倍率的情况下，纹理放大部5f使用规定的放大方法将由中间图像 生成部5g的再分离部5i (后述)从第一中间放大图像中分离出的纹理成分以原图像比放 大为第二中间放大倍率。
另外，纹理放大部5f作为纹理放大单元，使用规定的放大方法将由图像分离部恥 从原图像(例如原图像Go等)中分离出的纹理成分(例如纹理成分Gt等)放大为最终放 大倍率，来生成最终放大纹理成分。
此外，作为纹理放大部5f使用的放大方法，例如可以举出能够实现更加自然的高 清晰化的、使用通过双三次法的插补处理的方法。
中间图像生成部5g合成通过组织放大部5d放大了的组织成分和通过纹理放大部 5f放大了的纹理成分，来生成中间放大图像。
即，中间图像生成部5g合成通过滤波处理部k施行了规定的滤波处理的原图像 的组织成分和通过纹理放大部5f放大为中间放大倍率的原图像的纹理成分，来生成中间 放大图像。
这里，组织放大部5d、纹理放大部5f以及中间图像生成部5g构成中间图像生成单元，该中间图像生成单元用于将通过图像分离部恥分离出的原图像的组织成分以及纹理 成分的每一个放大为比最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成 分来生成中间放大图像。
另外，在设定了原图像(例如原图像Go等)的第二中间放大倍率的情况下，中间 图像生成部5g合成通过组织放大部5d以及纹理放大部5f放大为第一中间放大倍率的原 图像的组织成分以及纹理成分，来生成第一中间放大图像。然后，中间图像生成部5g通过 再分离部5i从第一中间放大图像中分离组织成分以及纹理成分。这里，通过再分离部5i 进行的组织成分以及纹理成分的分离，例如通过Total Variation法进行，不过与图像分离 部恥仅是处理对象不同，实质的处理内容大体相同。此外，作为通过再分离部5i从处理对 象图像中分离组织成分以及纹理成分的方法，例示的方法仅是一例，不限于此。
然后，通过再分离部5i进行的组织成分以及纹理成分的分离，直至全部使用了通 过中间倍率计算部5c算出的至少一个第二中间放大倍率。
这里，在比通过中间倍率计算部5c算出的第一中间放大倍率大的第二中间放大 倍率有至少一个的情况下，再分离部5i构成从通过中间图像生成部5g生成的中间放大图 像(例如第一中间放大图像)中分离组织成分以及纹理成分的再分离单元。
另外，对于通过再分离部5i分离出的中间放大图像(例如第一中间放大图像)的 组织成分以及纹理成分的每一个，中间图像生成部5g通过合成由组织放大部5d以及纹理 放大部5f放大为由中间倍率计算部5c算出的任何一个第二中间放大倍率(例如比第一中 间放大倍率次大的放大倍率)的组织成分以及纹理成分，新生成第二中间放大图像。
这里，通过中间图像生成部5g进行的第二中间放大图像的新的生成，直至全部使 用了通过中间倍率计算部5c算出的至少一个第二中间放大倍率。
最终图像生成部证合成最终放大组织成分和最终放大纹理成分来生成最终放大 图像(例如最终放大图像Gf ；参照图5(a))。
S卩，最终图像生成部证合成通过滤波处理部k施行规定的滤波处理所生成的最 终放大组织成分和通过纹理放大部5f放大为最终放大倍率的最终放大纹理成分，来生成 最终放大图像。
这里，最终图像生成部证构成合成通过组织放大部5d以及滤波处理部k所生成 的最终放大组织成分、和通过纹理放大部5f所生成的最终放大纹理成分来生成最终放大 图像的最终图像生成单元。
显示控制部6执行读出在存储器4中临时存储的显示用的图像数据后在显示部7 上显示的控制。
具体而言，显示控制部6具备VRAM、VRAM控制器、数字视频编码器等。另外，数字 视频编码器在中央控制部10的控制下通过VRAM控制器从VRAM中定期读出从存储器4中 读出的、在VRAM(省略图示)中存储的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础 发生视频信号，向显示部7输出。
显示部7例如是液晶显示装置，基于来自显示控制部6的视频信号在显示画面上 显示通过电子摄像部拍摄到的图像等。具体而言，显示部7在静止图像摄像模式或者运动 图像摄像模式中，一边以规定的帧速率逐次更新通过摄像部1拍摄被拍摄体而生成的多个 图像帧一边显示实时取景图像。另外，显示部7在记录介质8中记录的多个图像数据中显示根据用户对于操作输入部9的规定操作来显示被指示显示的图像数据。
记录介质8例如由非易失存储器(闪存)等构成，存储通过图像处理部5的编码 部(省略图示)以规定的压缩形式编码的记录用的静止图像数据或者由多个图像帧组成的 运动图像数据。
操作输入部9用于执行该摄像装置100的规定操作。具体而言，操作输入部9具 备有关被拍摄体的摄像指示的快门按钮、有关摄像模式或者功能等的选择指示的选择确定 按钮、有关变焦量的调整指示的变焦按钮等(省略所有的图示)，根据这些按钮的操作向中 央控制部10输出规定的操作信号。
另外，操作输入部9的选择确定按钮在图像再生模式中输入根据用户的规定操作 被显示部7显示的原图像(处理对象图像)的放大倍率(最终放大倍率)的设定指示。然 后，操作输入部9根据该选择确定按钮的操作，向中央控制部10输出规定的设定信号。
中央控制部10遵照所输入的设定信号，设定用户希望的图像的放大倍率。
这里，操作输入部9以及中央控制部10构成指定处理对象图像(原图像)的最终 放大倍率的指定单元。
此外，最终放大倍率不限于正整数(例如“8倍”或“25倍”等)，也可以是正的小 数或分数。
中央控制部10控制摄像装置100的各部。具体而言，中央控制部10具备CPU (省 略图示)，遵照摄像装置100用的各种处理程序(省略图示)执行各种控制动作。
下面，参照图2以及图3说明通过摄像装置100进行的图像放大处理。
图2以及图3是表示有关图像放大处理的动作的一例的流程图。
图像放大处理是基于用户对于操作输入部9的选择确定按钮进行的规定操作从 在菜单画面上显示的多个摄像模式中选择指示了图像再生模式时所执行的处理。
如图2所示，首先，当基于用户对于操作输入部9的选择确定按钮进行的规定操 作，从在记录介质8中记录的至少一个图像数据中指定任一个图像数据时，图像处理部5的 图像取得部5a取得用户指定的图像数据作为处理对象图像(步骤Si)。由此，成为在显示 部7上显示处理对象图像(例如原图像Go等)的状态。
其后，当基于用户对于操作输入部9的规定操作，指定被显示部7显示的处理对象 图像(例如原图像Go等)的最终放大倍率(例如8倍等)时，操作输入部9向中央控制部 10输出规定的设定信号，中央控制部10遵照所输入的设定信号，设定用户希望的图像的最 终放大倍率(步骤S2)。
接着，图像处理部5的中间倍率计算部5c通过用规定数除所设定的处理对象图像 的最终放大倍率，计算至少一个中间放大倍率(步骤S3)。具体而言，例如，在最终放大倍率 设定为“8倍”的情况下，中间倍率计算部5c在作为“8”的约数的1、2、4中，设定“2倍”作 为第一中间放大倍率，设定“4倍”作为第二中间放大倍率。
接着，图像处理部5的图像分离部釙通过Total Variation法从作为处理对象图 像的原图像(例如原图像Go等)中分离组织成分(例如组织成分等)以及纹理成分 (例如纹理成分Gt等)(步骤S4)。
此外，分离后的组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者 以分离的顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理成分的处理内容。
<组织成分的处理>
首先，图像处理部5的组织放大部5d使用规定的放大方法将从原图像(例如原图 像Go等)中分离出的组织成分(例如组织成分等)放大为第一中间放大倍率(例如“2 倍”)(步骤S51A)。
接着，图像处理部5的滤波处理部k在进行强调通过组织放大部5d放大了的组 织成分的图像边缘(轮廓)的清晰化处理后(步骤S51B)，在经过清晰化处理后的组织成分 的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散 处理(步骤S51C)。
<纹理成分的处理>
在图像处理部5复制从原图像(例如原图像Go等)中分离出的纹理成分(例如纹 理成分Gt等)并在存储器4中临时存储后(步骤S52A)，纹理放大部5f使用规定的放大方 法将从原图像中分离出的纹理成分放大为第一中间放大倍率(例如“2倍”)(步骤S52B)。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的中间图像 生成部5g合成通过滤波处理部k执行各向异性处理后的组织成分、和通过纹理放大部5f 放大的纹理成分，来生成放大为第一中间放大倍率的第一中间放大图像(步骤S6)。
接着，图像处理部5判定是否有至少一个通过中间倍率计算部5c算出的第二中间 放大倍率(步骤S7)。
例如，在最终放大倍率设定为“8倍”、通过中间倍率计算部5c将第二中间放大 倍率设定为“4倍”的情况下，因为第二中间放大倍率有一个，所以在步骤S7判定为第二 中间放大倍率至少有一个(步骤S7 ；是)，中间图像生成部5g的再分离部5i通过Total Variation法从第一中间放大图像中分离组织成分及纹理成分(步骤S8)。
此外，分离后的组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者 以分离的顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理 成分的处理内容。
<组织成分的处理>
以下说明的从第一中间放大图像中分离出的组织成分的处理除放大倍率不同外， 与从原图像中分离出的组织成分的处理(步骤S51A S51C)大体相同。
S卩，首先，图像处理部5的组织放大部5d使用规定的放大方法将从第一中间放大 图像中分离出的组织成分以原图像比放大为第二中间放大倍率(例如“4倍”)(步骤S91A)。 具体而言，例如，图像处理部5的组织放大部5d通过将从第一中间放大图像中分离出的组 织成分放大为“2倍”，以原图像比生成成为“4倍”的第二中间放大倍率的组织成分。
接着，图像处理部5的滤波处理部k在进行强调通过组织放大部5d放大的组织 成分的图像边缘(轮廓)的清晰化处理后(步骤S91B)，在经过清晰化处理后的组织成分的 图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处 理(步骤S91C)。
<纹理成分的处理>
图像处理部5的纹理放大部5f与从原图像中分离出的纹理成分的处理(步骤 S52B)大体相同地使用规定的放大方法将从第一中间放大图像中分离出的纹理成分以原图像比放大为第二中间放大倍率(例如“4倍”)(步骤S92)。具体而言，例如，图像处理部5 的纹理放大部5f通过将从第一中间放大图像中分离出的纹理成分放大为“2倍”，以原图像 比生成成为“4倍”的第二中间放大倍率的纹理成分。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的中间图像 生成部5g合成通过滤波处理部k进行的各向异性扩散处理后的组织成分、和通过纹理 放大部5f放大的纹理成分，来生成放大为第二中间放大倍率的第二中间放大图像(步骤 S10)。
接着，图像处理部5判定是否有其他的通过中间倍率计算部5c算出的第二中间放 大倍率(步骤Sll)。
在步骤S11，当判定为有其他的第二中间放大倍率时(步骤S7 ；是)，图像处理部5 将处理转移到步骤S8，执行该步骤以后的处理。
重复执行步骤8以后的处理，直至在步骤Sll判定为没有其他的第二中间放大倍 率(步骤Sll ；否)。由此，图像处理部5通过在处理中使用由中间倍率计算部5c算出的全 部第二中间放大倍率，最终生成被放大为比最终放大倍率次小的第二中间放大倍率的第二 中间放大图像。
然后，在步骤S11，当判定为没有其他的第二中间放大倍率时(步骤Sll ；否)，图 像处理部5对于组织成分以及纹理成分的每一个分别进行处理。另外，当在步骤S7判定为 第二中间放大倍率一个也没有时(步骤S7 ；否)，图像处理部5对于组织成分以及纹理成分 的每一个分别进行处理。
此外，组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者以分离的 顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理成分的处 理内容。
<组织成分的处理>
首先，图像处理部5的图像分离部恥通过Total Variation法从第二中间放大图 像中分离组织成分(步骤S121A)。
接着，与从第一中间放大图像中分离出的组织成分的处理(步骤S91A)大体相同 地，图像处理部5的组织放大部5d使用规定的放大方法将从第二中间放大图像中分离出的 组织成分以原图像比放大为最终放大倍率(例如“8倍”)(步骤S121B)。具体而言，例如， 图像处理部5的组织放大部5d通过将从第二中间放大图像中分离出的组织成分放大为“2 倍”，以原图像比生成成为“8倍”的最终放大倍率的组织成分。
接着，与从第一中间放大图像中分离出的组织成分的处理(步骤S91B S91C)大 体相同地，图像处理部5的滤波处理部k在进行强调通过组织放大部5d放大了的组织成 分的图像边缘(轮廓)的清晰化处理后(步骤121C)，进行在经过清晰化处理后的组织成分 的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散 处理(步骤121D)。
然后，将各向异性扩散处理后的组织成分作为最终放大组织成分。
〈纹理成分的处理〉
在图像处理部5从存储器4中取得了从原图像(例如原图像Go等)中分离出的 纹理成分(例如纹理成分Gt等)的复制品后(步骤S122A)，纹理放大部5f使用规定的放大方法将从原图像中分离出的纹理成分放大为最终放大倍率(例如“8倍”)，来生成最终放 大纹理成分(步骤S122B)。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的最终图像 生成部紐合成最终放大组织成分和最终放大纹理成分，来生成放大为最终放大倍率(例如 “8倍”)的最终放大图像(例如最终放大图像Gf ；参照图5(a))(步骤S13)。
由此结束图像放大处理。
如上所述，本实施方式的摄像装置100使用Total Variation法从原图像(例如 原图像Go等)中分离组织成分(例如组织成分等)以及纹理成分(例如纹理成分Gf 等)。将各成分放大为中间放大倍率，合成放大了的组织成分以及纹理成分来生成中间放大 图像。合成将使用Total Variation法从中间放大图像分离出的组织成分放大为最终放大 倍率而生成的最终放大组织成分、和将原图像的纹理成分放大为最终放大倍率而生成的最 终放大纹理成分，来生成最终放大图像(例如最终放大图像Gf ；参照图5(a))。这样，通过 实质上叠加纹理成分，既能强调细微图样(纹理)又能生成噪声不明显的最终放大图像。
亦即，在中间放大图像的各生成阶段以及最终放大图像的生成阶段的每一个，通 过加入包含细微图样(纹理)的纹理成分进行合成，能够在各图像中强调细微图样。另外， 通过不是一次而是分阶段将组织成分放大为指定的最终放大倍率，与通过现有的方法放大 的图像(例如图像Ge ；参照图5(b))相比，能够抑制图像质量恶化而实现高清晰化。结果 能够生成更加高清晰的最终放大组织成分，能够使在合成该最终放大组织成分和包含噪声 的最终放大纹理成分而生成的最终放大图像(例如最终放大图像Gf)中产生的噪声相对不 明显。
因此，即使增大原图像的放大倍率，也不会像通过现有的方法放大的图像那样由 于边缘模糊或噪声增大而使放大图像的图像质量恶化，能够强调最终放大图像的图像边 缘、适当地实现该最终放大图像的高清晰化。
另外，在存在至少一个比第一中间放大倍率大的第二中间放大倍率的情况下，本 实施方式的摄像装置100使用Total Variation法从中间放大图像中再分离组织成分及纹 理成分，将该中间放大图像的组织成分及纹理成分的每一个放大为任一个第二中间放大倍 率。因为合成放大后的组织成分及纹理成分而生成新的中间放大图像，所以即使指定的最 终放大倍率变大，也能够多次设定中间放大倍率、多次生成中间放大图像。由此，与一次放 大为最终放大倍率的情况相比，能够抑制放大图像的图像质量的恶化而实现高清晰化，能 够生成更加高清晰的最终放大组织成分。其结果，能够使在最终放大图像(例如最终放大 图像Gf)中产生的噪声相对不明显。
此外，本发明不限于上述实施方式，在不脱离本发明的主旨的范围内也可以进行 各种改进及设计变更。
例如，也可以通过多次对原图像施行双向滤波得到组织图像，通过从原图像中减 去该组织图像得到纹理图像。另外，也可以使纹理图像不仅包含亮度，而且也包含色差。另 外，作为中间放大倍率，设定第一中间放大倍率和第二中间放大倍率，但是不限于此，只要 设定至少一个中间放大倍率即可。例如，在将最终放大倍率设定为“4倍”等的情况下，在作 为“4”的约数的1、2中仅将“1”以外的“2倍”设定为中间放大倍率。
另外，在上述实施方式中例示的摄像装置100的结构是一个例子，不限于该例。例如，也可以是处理对象图像的摄像用与摄像装置100不同的摄像装置进行，取得从该摄像 装置传送来的处理对象图像的图像数据，进行图像放大处理的图像处理装置。
此外，在上述实施方式中采用通过中央控制部10、操作输入部9、图像处理部5的 图像取得部5a、图像分离部恥、组织放大部5d、纹理放大部5f、中间图像生成部5g、最终图 像生成部证的驱动来实现作为取得单元、指定单元、第一分离单元、中间图像生成单元、第 二分离单元、组织放大单元、纹理放大单元、最终图像生成单元的功能的结构，但是不限于 此，也可以采用通过由中央控制部10的CPU执行规定的程序等来实现的结构。
亦即，在存储程序的程序存储器4(省略图示)中预先存储包含取得处理例行程 序、指定处理例行程序、第一分离处理例行程序、中间图像生成处理例行程序、第二分离处 理例行程序、组织放大处理例行程序、纹理放大处理例行程序、最终图像生成处理例行程序 的程序。并且，也可以通过取得处理例行程序使中央控制部10的CPU作为取得图像的取得 单元作用。另外，也可以通过指定处理例行程序使中央控制部10的CPU作为指定通过取 得单元取得的原图像的最终放大倍率的指定单元作用。另外，也可以通过第一分离处理例 行程序使中央控制部10的CPU作为从通过取得单元取得的原图像中分离组织成分及纹理 成分的第一分离单元作用。另外，也可以通过中间图像生成处理例行程序使中央控制部10 的CPU作为中间图像生成单元作用，其用于将通过第一分离单元分离出的原图像的组织成 分及纹理成分的每一个放大为比最终放大倍率小的中间放大倍率，合成放大后的组织成分 及纹理成分来生成中间放大图像。另外，也可以通过第二分离处理例行程序使中央控制部 10的CPU作为从通过中间图像生成单元生成的中间放大图像中分离组织成分的第二分离 单元作用。另外，也可以通过组织放大处理例行程序使中央控制部10的CPU作为将通过第 二分离单元分离出的中间放大图像的组织成分放大为最终放大倍率、生成最终放大组织成 分的组织放大单元作用。另外，也可以通过纹理放大处理例行程序使中央控制部10的CPU 作为将通过第一分离单元分离出的原图像的纹理成分放大为最终放大倍率、生成最终放大 纹理成分的纹理放大单元作用。另外，也可以通过最终图像生成处理例行程序使中央控制 部10的CPU作为合成通过组织放大单元生成的最终放大组织成分和通过纹理放大单元生 成的最终放大纹理成分、生成最终放大图像的最终图像生成单元作用。
权利要求
1.一种图像处理装置，其特征在于，具备 取得单元，取得原图像；指定单元，指定通过该取得单元所取得的原图像的最终放大倍率； 第一分离单元，从通过所述取得单元所取得的原图像中分离组织成分及纹理成分； 中间图像生成单元，将通过该第一分离单元分离出的所述原图像的组织成分及纹理成 分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理 成分来生成中间放大图像；第二分离单元，从通过该中间图像生成单元所生成的所述中间放大图像中分离组织成分；组织放大单元，将通过该第二分离单元分离出的所述中间放大图像的组织成分放大为 所述最终放大倍率，来生成最终放大组织成分；纹理放大单元，将通过所述第一分离单元分离出的所述原图像的纹理成分放大为所述 最终放大倍率，来生成最终放大纹理成分；以及最终图像生成单元，合成通过所述组织放大单元所生成的所述最终放大组织成分和通 过所述纹理放大单元所生成的所述最终放大纹理成分，来生成最终放大图像。
2.根据权利要求1所述的图像处理装置，其特征在于，还具备计算单元，用于通过用规定数除通过所述指定单元所指定的所述最终放大倍率 来计算至少一个所述中间放大倍率；所述中间图像生成单元将所述原图像的组织成分以及纹理成分的每一个放大为通过 所述计算单元算出的所述至少一个中间放大倍率。
3.根据权利要求2所述的图像处理装置，其特征在于，所述中间图像生成单元将所述原图像的组织成分以及纹理成分的每一个放大为通过 所述计算单元算出的第一中间放大倍率，合成放大后的组织成分以及纹理成分来生成中间 放大图像；所述中间图像生成单元还具备再分离单元，用于在存在至少一个比通过所述计算单元 算出的所述第一中间放大倍率大的第二中间放大倍率的情况下从通过所述中间图像生成 单元所生成的中间放大图像中分离组织成分以及纹理成分；所述中间图像生成单元进而将通过所述再分离单元分离出的所述中间放大图像的组 织成分以及纹理成分的每一个放大为通过所述计算单元算出的所述至少一个第二中间放 大倍率中的任何一个第二中间放大倍率，合成放大后的组织成分以及纹理成分来生成新的 中间放大图像；执行通过所述再分离单元进行的组织成分以及纹理成分的分离、以及通过所述中间图 像生成单元进行的新的中间放大图像的生成，直至全部使用了通过所述计算单元算出的所 述至少一个第二中间放大倍率为止。
4.一种图像处理方法，使用了图像处理装置，其特征在于，该图像处理方法执行 取得原图像的步骤；指定已取得的原图像的最终放大倍率的步骤； 从已取得的原图像中分离组织成分及纹理成分的步骤；将分离出的所述原图像的组织成分及纹理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像的步骤； 从已生成的所述中间放大图像中分离组织成分的步骤；将分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大 组织成分的步骤；将分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成 分的步骤；以及合成已生成的所述最终放大组织成分和所述最终放大纹理成分，来生成最终放大图像 的步骤。
全文摘要
本发明提供一种图像处理装置及图像处理方法，可适当地实现放大图像的高清晰化。其中，摄像装置(100)具备中间图像生成部(5g)，将从原图像分离出的组织成分以及纹理成分的每一个放大为中间放大倍率，合成放大后的组织成分以及纹理成分来生成中间放大图像；以及最终图像生成部(5h)，合成将从中间放大图像中分离出的组织成分放大为最终放大倍率而生成的最终放大组织成分、和将原图像的纹理成分放大为最终放大倍率而生成的最终放大纹理成分，来生成最终放大图像。
文档编号G06T3/00GK102034222SQ20101054006
公开日2011年4月27日 申请日期2010年9月29日 优先权日2009年9月30日
发明者宫本直知 申请人:卡西欧计算机株式会社