图像处理装置和摄像装置以及图像处理程序的制作方法

专利名称：图像处理装置和摄像装置以及图像处理程序的制作方法
技术领域：
本发明涉及缩短灰度转换处理时间的图像处理装置和摄像装置以及 图像处理程序。
背景技术：
在当前的数字静止照相机或摄像机等中，为了防止由数字图像信号处理的位降引起的画质劣化，针对最终的输出信号的灰度范围(例如8 位)，将所输入的图像信号或处理中的图像信号中的信号的灰度范围(例 如10—12位左右)设定得更宽。在该情况下，有必要进行对图像信号的 灰度转换，以便与输出系统的灰度范围一致。以往，根据针对标准场景 的固定的灰度特性进行对图像信号的灰度转换，然而还提出了以下方法，即将图像信号分割成多个区域，按各区域独立改变灰度转换性来进行 对图像信号的灰度转换。例如，在日本特许第3465226号中公开了一例，g卩根据纹理信息 将图像信号分割成区域，针对各区域自适应地进行灰度转换。并且，在 日本特开2002—94998号公报中公开了一种进行空间移变(space variant) 的(各区域的)伽马校正、白平衡校正的方法，由此，可改善数字照相 机特有的时限(latitude,允许的曝光范围)。然而，在上述日本特许第3465226号记载的方法中，具有各区域的 灰度转换处理耗费处理时间的问题。因此，用户为了获得期望的图像信 号而改变灰度转换处理的参数，具有根据其处理结果修正参数耗费大量 时间的问题。并且，在日本特开2002—94998号公报中记载的方法中， 使用根据像素位置而不同的白平衡校正系数来对帧存储器内的图像进行 色调校正，根据各图像部位的亮度使用单独的色调曲线来通过伽马校正 进行灰度校正，因而具有处理变得繁杂的问题
发明内容
本发明是鉴于现有技术的这种问题而作成的，本发明的目的是提供 一种可縮短灰度转换处理时间的图像处理装置和摄像装置以及图像处理 程序。(1)为了达到上述目的，本发明的图像处理装置针对图像信号进行 灰度转换处理，该图像处理装置的特征在于，该图像处理装置具有区 域分割单元，其将上述图像信号划分成至少一个以上的区域；第一转换 单元，其针对与上述区域对应的图像信号，按照各上述区域进行图像转 换处理；转换特性决定单元，其根据由上述第一转换单元生成的图像信 号，决定针对上述图像信号进行的灰度转换处理的转换特性；以及第二 转换单元，其使用由该转换特性决定单元决定的上述转换特性来按照各上述区域进行对上述图像信号的灰度转换处理。(1)的发明的相关实施方式对应于图1 图5所示的第1和第2实 施方式。区域分割单元对应于图1和图3所示的区域分割部103，第一转 换单元对应于图1所示的图像信号转换部104，转换特性决定单元对应于 图1和图3所示的灰度转换特性计算部105，第二转换单元对应于图l和 图3所示的灰度转换处理部106。(1) 的发明将图像信号划分成至少一个以上的区域，根据该分割出 的区域，由第一转换单元进行图像转换处理，针对通过由第一转换单元 进行的图像转换处理获得的图像信号进行灰度转换处理。因此，作为针 对灰度转换处理的预处理，进行考虑了所分割的各区域的特性的图像处 理。即，根据所分割的图像信号的区域特性，针对图像信号进行有灵活 性的灰度转换处理，从而可縮短灰度转换处理所需要的时间。(2) 的发明的特征在于，在上述(1)的发明中，上述区域分割单 元根据上述图像信号的信息，将上述图像信号划分成至少一个以上的区 域。(2)的发明的相关实施方式对应于图1 图5所示的第1和第2实施 方式。由图1和图3所示的区域分割部103进行如下处理判定拍摄用 于形成上述图像信号的图像时的拍摄条件，根据该拍摄条件，将由上述 图像得到的图像信号划分为至少一个以上的区域。在(2)的发明中，根 据拍摄条件，将图像信号分割成至少一个以上的区域。这样，根据拍摄 条件，将图像信号分割成一个以上的区域，因此根据拍摄条件而对区域 分割进行优化。(3)的发明的特征在于，在上述(1)的发明中，上述图像处理装置还具有分割类别取得单元，该分割类别取得单元从用户处取得通过上 述区域分割单元将上述图像信号划分成至少一个以上的区域时的划分类 别的指定，上述区域分割单元根据由上述分割类别取得单元取得的划分 类别的指定，将上述图像信号划分成至少一个以上的区域。 '(3) 的发明的相关实施方式对应于图1 图5所示的第1和第2实 施方式。区域分割单元对应于图1和图3所示的区域分割部103。 (3)的 发明根据用户指定将图像信号分割成一个以上的区域。根据该结构，由 于使用用户指定的信息来将图像信号分割成至少1个以上的区域，因而 区域分割的自由度增大。(4) 的发明的特征在于，在上述(1)的发明的上述第一转换单元 中，对上述图像信号进行图像转换处理，以便减少与上述至少一个以上 的区域中的至少一个区域对应的数据量。(4) 的发明的相关实施方式对应于图1 图5所示的第1和第2实 施方式。减少数据量的处理，由图1和图3所示的图像信号转换部104 进行。(4)的发明，在所分割出的各区域中，通过图像信号转换处理， 在灰度转换特性之前减少图像信号的数据量。通过针对这样减少数据量 的图像信号进行灰度转换处理，可以縮短灰度转换处理所需的时间。例 如，当将图像信号分割成至少一个以上的区域，根据该分割出的区域的 重要度减少图像信号的数据量时，可以不损坏重要度高的区域的画质而 提高处理速度。(5) 的发明的特征在于，在上述(4)的发明中，上述图像处理装 置还具有减少度取得单元，该减少度取得单元从用户处取得关于数据量 的减少度的指定，其中，上述数据量的减少度
据量，上述第一转换单元对上述图像信号进行图像转换处理，以便按照 由上述减少度取得单元取得的减少度减少数据量。(5) 的发明的实施方式对应于图1 图5所示的第1和第2实施方 式。减少度取得单元对应于图1和图3所示的外部I/F部109。根据(5) 的发明，用户经由外部I/F部109指定縮小率，进行縮小处理。例如，针 对重要度高的区域和除此以外的区域，指定各自的縮小率，进行縮小处 理。根据该结构，通过按各区域改变縮小率，可灵活地改变画质和处理 速度的平衡并进行处理。(6) 的发明的特征在于，在上述(4)的发明的第一转换单元中， 根据上述图像信号计算关于上述至少一个以上的区域中的至少一个区域 的代表值，由此对上述图像信号进行图像转换处理，以便减少与该区域 对应的数据量。该发明的相关实施方式对应于图1 图5所示的第1和第2实施方 式。计算代表值，这由图1和图3所示的图像信号转换部104进行。根 据(6)的发明，使用图像信号的代表信号值来进行灰度转换处理，从而 可高速地进行适于各图像的灰度转换。(7) 的发明的特征在于，在上述(1)至(6)的发明中的任一项中， 上述图像处理装置还具有转换处理执行单元，该转换处理执行单元根据 拍摄用于形成上述图像信号的图像时的拍摄条件，判断是否要由上述第 一转换单元进行图像转换处理，当该转换处理执行单元判断为要由上述 第一转换单元进行图像转换处理时，由上述第一转换单元进行图像转换 处理。(7)的发明的相关实施方式对应于图3和图4所示的第2实施方式。 根据拍摄用于形成上述图像信号的图像时的拍摄条件来判断是否要由上 述第一转换单元进行图像转换处理的转换处理执行单元对应于图3所示 的灰度处理判断部200。(7)的发明根据拍摄条件来判断是否要由上述第一转换单元进行图 像转换处理，只有在需要的情况下才由上述第一转换单元进行图像转换 处理，因而可获得最佳的处理速度。(8)的发明的特征在于，在上述(1)的发明中，上述图像处理装 置还具有转换处理执行单元，该转换处理执行单元根据来自用户的指示， 判断是否要由上述第一转换单元进行图像转换处理，当该转换处理执行 单元判断为要由上述第一转换单元进行图像转换处理时，由上述第一转 换单元进行图像转换处理。(8)的发明的相关实施方式对应于图3和图4所示的第2实施方式。 根据来自用户的指示来判断是否要由上述第一转换单元进行图像转换处 理的转换处理执行单元对应于图3所示的灰度处理判断部200。(8) 的发明根据来自用户的指示来判断是否要由上述第一转换单元 进行图像转换处理，只有在需要的情况下才由上述第一转换单元进行图 像转换处理，因而提高了自由度，可获得最佳的处理速度。(9) 的发明的特征在于，在上述(1)的发明中，上述图像处理装 置还具有转换处理执行单元，该转换处理执行单元根据图像信号的信息 的指示，判断是否要由上述第一转换单元进行图像转换处理，当该转换 处理执行单元判断为要由上述第一转换单元进行图像转换处理时，由上 述第一转换单元进行图像转换处理。(9)的发明的相关实施方式对应于图3和图4所示的第2实施方式。 根据图像信号的信息来判断是否要由上述第一转换单元进行图像转换处 理的转换处理执行单元对应于图3所示的灰度处理判断部200。(9)的发明根据图像信号的信息来判断是否要由上述第一转换单元 进行图像转换处理，只有在需要的情况下才由上述第一转换单元进行图 像转换处理，因而提高了自由度，可获得最佳的处理速度。根据(10)的发明的摄像装置具有摄像单元，用于针对根据由该摄 像单元拍摄到的图像获得的图像信号进行灰度转换处理，该摄像装置的 特征在于，该摄像装置具有区域分割单元，其将上述图像信号划分成至少1个以上的区域；第一转换单元，其针对与上述区域对应的图像信 号，按照各上述区域进行图像转换处理；转换特性决定单元，其决定针 对由该第一转换单元生成的图像信号进行的灰度转换处理的转换特性； 以及第二转换单元，其针对由上述第一转换单元生成的图像信号，使用
由上述转换特性决定单元决定的上述转换特性来按照各上述区域进行灰 度转换处理。(10)的发明的实施方式对应于图1 图5所示的第1和第2实施 方式。摄像单元对应于图1和图3的镜头系统/光圈111和CCD 112。区 域分割单元、第一转换单元、转换特性决定单元以及第二转换单元与(1) 的发明一样，分别对应于区域分割部103、图像信号转换部104、灰度转 换特性计算部105以及灰度转换处理部106。(10) 的发明，在摄像装置中，与(1)的发明一样，可縮短灰度转 换处理所需要的时间。(11) 的发明的特征在于，在上述(10)的发明中，上述摄像装置 还具有转换处理执行单元，该转换处理执行单元根据拍摄到上述图像时 的拍摄条件，判断是否要由上述第一转换单元进行图像转换处理，当该 转换处理执行单元判断为要由上述第一转换单元进行图像转换处理时， 由上述第一转换单元进行图像转换处理。(11)的发明的相关实施方式对应于图3和图4所示的第2实施方 式。根据拍摄到上述图像时的拍摄条件来判断是否要由上述第一转换单 元进行图像转换处理的转换处理执行单元对应于图3所示的灰度处理判 断部200。(11) 的发明在摄像装置中，与(7)的发明一样，可获得最佳的处 理速度。(12) 的发明的特征在于，在上述(10)的发明中，上述摄像装置 还具有转换处理执行单元，该转换处理执行单元根据来自用户的指示， 判断是否要由上述第一转换单元进行图像转换处理，当该转换处理执行 单元判断为要由上述第一转换单元进行图像转换处理时，由上述第一转 换单元进行图像转换处理。(12)的发明的相关实施方式对应于图3和图4所示的第2实施方 式。根据来自用户的指示来判断是否要由上述第一转换单元进行图像转 换处理的转换处理执行单元对应于图3所示的灰度处理判断部200。 (12) 的发明在摄像装置中，与(8)的发明一样，提高了自由度，获得最佳的
处理速度。根据(13)的发明的图像处理程序，其特征在于，该图像处理程序 使计算机执行如下步骤读入图像信号；将上述图像信号划分成至少一 个以上的区域；针对与上述区域对应的图像信号，按照各上述区域进行 图像转换处理；决定针对上述图像信号进行的灰度转换处理的转换特性; 以及针对上述图像信号，使用由上述转换特性决定单元决定的上述转换 特性来按照各上述区域进行灰度转换处理。(13) 的发明的实施方式对应于图2所示的第1实施方式的流程图。 读入图像信号的步骤对应于步骤S0，将上述图像信号划分成至少一个以 上的区域的步骤对应于步骤S2，针对与上述区域对应的图像信号，按照 各上述区域进行图像转换处理的步骤对应于步骤S3，决定针对上述图像 信号进行的灰度转换处理的转换特性的步骤对应于步骤S4，针对上述图 像信号，使用由上述转换特性决定单元决定的上述转换特性来按照各上 述区域进行灰度转换处理的步骤对应于步骤S5。(14) 的发明的特征在于，在上述(13)的发明中，上述图像处理 程序还具有转换处理执行步骤，在该转换处理执行步骤中，根据拍摄到 用于形成上述图像信号的图像时的拍摄条件，判断是否要进行上述图像 转换处理。(14)的发明的实施方式对应于图4所示的第2实施方式的流 程图。根据拍摄到用于形成上述图像信号的图像时的拍摄条件，判断是 否要进行上述图像转换处理的转换处理执行步骤对应于步骤S12。(15) 的发明的特征在于，在上述(13)的发明中，上述图像处理 程序还具有转换处理执行步骤，在该转换处理执行步骤中，根据来自用 户的指示，判断是否要进行上述图像转换处理。根据来自用户的指示， 判断是否要进行上述图像转换处理的转换处理执行步骤对应于步骤S12。根据(13)至(15)的发明，可使用软件准确且迅速地执行针对被 分割成至少1个以上的区域的图像信号按各区域进行的灰度转换处理。 并且，在设置有计算机的环境中，无论时间或场所怎样，都能进行灰度 转换处理，因而是便利的。在本发明中，可提供一种根据所分割的图像区域的特性，针对图像 信号进行有灵活性的灰度转换处理，从而可縮短灰度转换处理时间的图 像处理装置和摄像装置以及图像处理程序。


图1是第1实施方式例的结构图。图2是第1实施方式例的流程图。图3是第2实施方式例的结构图。图4是第2实施方式例的流程图。图5是肤色的色相提取用的色相关联图。图6是区域分割部的结构图。图7是图像信号转换部的结构图。图8是特性计算部的结构图。
具体实施方式
以下，参照附图对本发明的第1实施方式进行说明。图1是第1实 施方式例的结构图，图2是示出第1实施方式的处理步骤的流程图，图5 是肤色的色相提取用的色相关联图，图6是区域分割部103的结构图， 图7是图像信号转换部104的结构图，图8是灰度转换特性计算部105 的结构图。图l是第l实施方式的结构图，示出摄像装置10所具有的结构。在 图1中，经由镜头系统/光圈111和CCD112所拍摄的影像在A/D113被 转换成数字图像信号。来自A/D 113的图像信号被传送到插值处理部101。 插值处理部101与区域分割部103和灰度转换处理部106连接。区域分 割部103经由图像信号转换部104、灰度转换特性计算部105以及灰度转 换处理部106与输出部108连接。存储部110与区域分割部103、图像信号转换部104、灰度转换特性 计算部105以及灰度转换处理部106双向连接。控制部102与插值处理 部101、区域分割部103、图像信号转换部104、灰度转换特性计算部105、 灰度转换处理部106、输出部108、存储部110以及A/D113双向连接。
并且，具有参数输入等的接口的外部I/F部109也与控制部102双向连接。 由插值处理部101、控制部102、区域分割部103、图像信号转换部104、 灰度转换特性计算部105、灰度转换处理部106、输出部108、外部I/F 部109、存储部110以及A/D 113执行的各处理由安装在摄像装置10上 的CPU根据存储于ROM等的存储器内的图像处理程序，在适当读写 RAM等的存储装置所需要的数据的同时进行。下面，对图1中的信号流程进行说明。用户经由外部I/F109进行摄 影模式的设定、自动聚焦的设定、ISO感光度的设定、快门速度的设定等 的拍摄条件的设定。在本实施方式中，作为摄影模式，具有自动摄影、 风景摄影、人物摄影、近拍摄影、夜景摄影、闪光灯发光摄影等的设定， 然而摄影模式不限于这些。作为摄像装置10所具有的摄影模式，只要对 所拍摄的被摄体的状况(摄影场景)加以各种考虑，来设定认为对各状 况下的摄影合适的ISO感光度、快门速度、光圈等的组合等、或者设定 图像信号的处理内容，就可以是其他摄影模式。另外，自动摄影是用户不特别指定被摄体的状况而进行拍摄的摄影 模式，是摄像装置IO自动估计被摄体的状况来进行拍摄的模式。并且， 风景摄影是希望进行风景摄影的摄影模式，人物摄影是希望进行人物摄 影的摄影模式。近拍摄影是希望接近被摄体进行拍摄的摄影模式，夜景 摄影是希望在黑暗中进行拍摄的摄影模式，闪光灯发光摄影是希望使闪 光灯发光来进行拍摄的摄影模式。所设定的拍摄条件由存储部110来存储。之后，通过按下快门按钮， 经由镜头系统/光圈111、 CCD112所拍摄的信号通过相关度重采样作为模 拟信号被读出。该模拟信号在A/D 113被转换成数字图像信号，被传送 到插值处理部101。另夕卜，在本实施方式中，假定CCD112是RGB基色 系的单板CCD,并把A/D 113的信号灰度范围设定为例如12位。插值处 理部101根据控制部102的控制把图像信号传送到区域分割部103和灰 度转换处理部106。图6是示出区域分割部103的结构一例的结构图。区域分割部103 由缓存部300、分割处理部301以及重要区域选出部302构成。插值处理
部101经由缓存部300、分割处理部301以及重要区域选出部302与图像 信号转换部104连接。控制部102与缓存部300、分割处理部301以及重 要区域选出部302双向连接。存储部110与分割处理部301和重要区域 选出部302双向连接。在本实施方式中，将从插值处理部101传送的三板的RBG图像信号 保存到缓存部300。控制部102将用户使用外部I/F 109而指定的分割区 域的数量存储在存储部110内。分割处理部301按照存储在存储部110 内的分割区域的数量将所有图像信号均匀地分割成多个区域。即，按照 与各区域对应的像素值的各集合来分割数字图像信号，以便将由数字图 像信号表示的图像分割成多个区域。另外，分割处理部301也能将区域 的分割数设定为1个。而且，重要区域选出部302从所分割的区域选出 重要度高的区域，把与重要区域对应的图像信号和与其他区域对应的图 像信号传送到图像信号转换部104。这里，由重要区域选出部302选出的重要度高的区域相当于通过用 户指定从所分割的区域选出的区域。在本实施方式中，用户经由外部I/F 部109从所分割的区域中指定重要度高的区域。重要区域选出部302选 出用户所指定的区域作为重要度高的区域。通过用户指定选出重要度高 的区域的方法可以是其他方法。例如，分割处理部301将所拍摄的图像 的区域分割成在拍摄时由用户使用外部I/F部109来聚焦的范围和其他范 围。然后，重要区域选出部302还能把所聚焦的范围判断为对焦的区域， 自动选出对焦的区域作为用户所指定的重要度高的区域。并且，区域分割部103还能根据所拍摄的图像的图像信号的信息来 分割图像信号。作为图像信号的信息，有从图像信号获得的被摄体的颜 色或形状等的信息。在根据图像信号的信息来分割图像信号的情况下， 分割处理部301使用保存在存储部110内的参数来分割图像信号。例如， 把Cr、 Cb的色相表和肤色的色相的设定范围数据预先登记在存储部110 内。分割处理部301通过根据图像信号的信息识别肤色，来把图像信号 分割成与肤色的区域对应的图像信号和与其他区域对应的图像信号。分 割处理部301根据控制部102的控制，通过YCrCb分离处理，使用(1)
式按各像素计算色差信号Cr、 Cb。 Cr二bl * R + b2 * G + b3 * B<formula>formula see original document page 16</formula> (1) (其中，bl b6是常数)然后，使用(2)式计算色相的构成角度A。<formula>formula see original document page 16</formula> (2) (其中，arctg是返回反正切的函数)将这样计算出的构成角度A与保存在由ROM构成的存储部110内 的Cr、 Cb的色相表的数据相比较，判断是否是肤色的色相。图5是肤色 的色相提取用的色相关联图。如图5所示，当各像素的色差信号Cr、 Cb 进入在Cr一Cb平面中代表肤色的色相的区域S内时，使用(3)式判断 为该像素是具有肤色的色相的像素。重要区域选出部302提取由分割处 理部301判断为是肤色的色相的像素构成的图像区域作为重要度高的区 域。<formula>formula see original document page 16</formula>(3) (其中，al、 a2是常数)以上，对根据从图像信号获得的被摄体的肤色信息来分割图像信号 的情况作了说明，然而与肤色的情况一样，还能根据被摄体的其他颜色 信息来分割图像信号。并且，在根据被摄体的形状信息来分割图像信号 的情况下，分割处理部301使用模板匹配的检测方法来提取具有特定形 状(图形)的区域，重要区域选出部302可以提取在分割处理部301判 断为具有特定形状(图形)的区域作为重要度高的区域。并且，此外，还能使用边缘强度作为所拍摄的图像的图像信号信息， 根据边缘强度来分割图像信号。在该情况下，根据图像信号进行边缘提 取，提取边缘强度高的像素作为与所聚焦的部分对应的像素。然后，分 割处理部301从与所聚焦的部分对应的像素中提取在预定的范围内的像 素作为所聚焦的区域，把图像信号分割成与所聚焦的区域对应的图像信 号和与除此以外的区域对应的图像信号。然后，重要区域选出部302选 出所聚焦的区域作为重要度高的区域。
图7是示出图像信号转换部104的结构一例的结构图。图像信号转换部104由重要区域缓存部400、重要区域信号转换部401、其他区域缓 存部402以及其他区域信号转换部403构成。重要区域选出部302与重 要区域缓存部400和其他区域缓存部402连接。重要区域缓存部400与 重要区域信号转换部401连接。其他区域缓存部402与其他区域信号转 换部403连接。重要区域信号转换部401和其他区域信号转换部403与 灰度转换特性计算部105连接。控制部102与重要区域缓存部400、重要 区域信号转换部401、其他区域缓存部402以及其他区域信号转换部403 双向连接。存储部110与重要区域信号转换部401和其他区域信号转换 部403双向连接。图像信号转换部104为了减少在计算灰度转换特性时的数据量，针 对从区域分割部103传送的各区域的图像信号，分别进行图像信号转换 处理(图像縮小处理、代表值的估计处理等)。由此，针对重要度高的区 域，可减少在计算灰度转换特性时的数据量的减少量(或者不使其减少)， 针对重要度高的区域以外的区域，可增多该数据量的减少量。当如上所述由区域分割部103选出了重要度高的区域时，图像信号 转换部104根据从重要区域选出部302传送的图像信号，把用户所指定 的重要度高的区域的图像信号、或者根据所拍摄的图像的信息所选出的 重要度高的区域的图像信号保存在重要区域缓存部400内，把其他区域 的图像信号保存在其他区域缓存部402内。重要区域信号转换部401根据控制部102的控制，针对来自重要区 域缓存部400的重要度高的区域的图像信号应用第1縮小率来进行縮小 处理。其他区域信号转换部403根据控制部102的控制，针对来自其他 区域缓存部402的图像信号应用第2縮小率来进行縮小处理。第1縮小 率和第2缩小率表示图像信号的数据量的减少度，通过由用户经由外部 1/F部109进行设定，来预先被存储在存储部110内。这里，第l缩小率 被设定成大于第2縮小率。第1縮小率可以是相等倍数。另外，还能设 定多种类的第1縮小率和第2縮小率，以便能针对不同区域分别独立地 指定不同縮小率。 而且，还能根据摄影模式的类别来决定第1縮小率和第2缩小率。 在该情况下，例如，把与摄影模式是否是自动摄影、是否是风景摄影、 是否是人物摄影、是否是近拍摄影、是否是夜景摄影、是否是闪光灯发 光摄影对应的第1缩小率和第2縮小率的组合预先存储在存储部110内， 从存储部110中读出在拍摄时所设定的摄影模式，可根据与拍摄时的摄影模式的类别对应的第1縮小率和第2缩小率来进行縮小处理。并且，还能根据所拍摄的图像来决定縮小率。在该情况下，例如， 把与图像信号中的边缘强度的大小、空间频率、亮度、颜色等的信息对应的第1縮小率和第2縮小率的组合预先存储在存储部110内，可按照与根据图像信号计算出的图像整体的边缘强度的大小、空间频率、亮度、颜色等的信息对应的第1縮小率和第2縮小率来进行缩小处理。而且， 还能按照与针对与各区域对应的图像信号各方计算出的边缘强度的大 小、空间频率、亮度、颜色等的信息对应的第1縮小率和第2縮小率来 进行縮小处理。在缩小处理中，例如在图像缩小率是1/4的情况下，首先将R的图 像信号、G的图像信号、B的图像信号各方分割成由4x4的像素构成的 多个块。然后，从存储部110读入4x4的低通滤波器。然后，通过应用 针对由4x4的像素构成的各块的图像信号读入的4x4的低通滤波器，计 算代表各块的像素值。通过以上处理，图像信号由计算出的像素值表示， 其被縮小为1/4。最后，使用(4)式，针对縮小后的各区域的图像信号计算亮度信号。Y=b7*R + b8*G + b9*B (4) (其中，b7、 b8、 b9是常数，Y是亮度信号)当进行了图像信号转换部104的图像信号转换处理时，重要区域的 图像信号从重要区域信号转换部401被传送到灰度转换特性计算部105， 其他区域的图像信号从其他区域信号转换部403被传送到灰度转换特性 计算部105。灰度转换特性计算部105针对通过控制部102传送的各区域的亮度 信号计算灰度转换特性。灰度转换特性的计算例如按上述专利文献1所
述方式进行。最先，按各区域生成浓度直方图，计算该浓度直方图的浓 度值的变动情况。然后，根据该浓度值的变动情况来决定支配该浓度直 方图的平滑化程度的限幅(Clip)值。而且，使用该限幅值限制上述浓度 直方图，根据限制后的浓度直方图来生成累积直方图。最后，把累积直 方图作为浓度转换曲线，决定用于使所输入的图像信号的各像素或各区 域产生作用来进行灰度转换的校正系数，从而计算灰度转换特性。根据 各区域的直方图计算校正系数。这样，特性计算部105计算使所有区域产生作用的校正系数。计算 出的校正系数针对在图像信号转换部104进行了縮小处理的区域(图像 信号)，成为与縮小后的区域(图像信号)对应的校正系数。因此，特性 计算部105按照与在由图像信号转换部104进行的处理中应用于各区域 的缩小率相同的率，对计算出的校正系数实施放大。这样，生成与原始 图像的各像素对应的校正系数，保存在存储部110内。灰度转换处理部106根据控制部102的控制，从存储部110中读出 通过上述特性计算部105的处理计算出的校正系数，使来自插值处理部 101的图像信号(R的图像信号、G的图像信号、B的图像信号的各方) 的各像素乘以校正系数，从而进行灰度转换处理。灰度转换处理后的图 像信号被实施JPEG等的压縮处理，被传送到输出部108。输出部108将图像信号记录保存在存储卡等内。另外，作为用于减少在计算灰度转换特性时的数据量的其他手段， 还考虑了以下方法，即针对重要度高的区域不照原样减少数据量而使 用(4)式计算亮度信号，另一方面，针对除此以外的区域估计代表值。 代表值是指例如区域内的平均值、最大值等。在该情况下，特性计算部 105仅针对重要度高的区域来计算校正系数。然后，将计算出的校正系数 以及针对其他区域是代表值自身传送到灰度转换处理部106。灰度转换处 理部106根据控制部102的控制，针对重要度高的区域使用所传送的校 正系数来进行空间移变的(按各像素或各区域独立改变灰度转换特性的) 灰度转换。并且，针对其他区域，根据所估计的代表值，从存储装置UO 中提取对应的空间不变(space invariant)的(按各像素或各区域不独立
改变灰度转换特性的)灰度转换处理用的转换表，进行空间不变的(按 各像素或各区域不独立改变灰度转换特性的)灰度转换处理。图8是示出灰度转换特性计算部105的结构一例的结构图。特性计 算部105由缓存部500、直方图生成部501、累积归一化部502以及校正 系数计算部503构成。图像信号转换部104与缓存部500连接。缓存部 500与直方图生成部501和灰度转换处理部106连接。直方图生成部501 与累积归一化部502连接。累积归一化部502与校正系数计算部503连 接。控制部102与缓存部500、直方图生成部501、累积归一化部502以 及校正系数计算部503双向连接。存储部110与缓存部500和校正系数 计算部503双向连接。从图像信号转换部104传送的各区域的亮度信号被保存在缓存部 500内。直方图生成部501按各区域生成浓度直方图，传送到累积归一化 部502。累积归一化部502最先按各区域计算浓度直方图的浓度值的变动 情况。然后，根据该变动情况来决定支配该浓度直方图的平滑化程度的 限幅值。而且，使用该限幅值限制上述浓度直方图，根据限制后的浓度 直方图生成累积直方图，通过使累积直方图根据灰度范围进行归一化来 估计表示灰度转换特性的灰度转换曲线。在本实施方式中，由于把图像信号的灰度范围假定为12位，因而上 述灰度转换曲线是12位输入、12位输出。校正系数计算部503根据所估 计的灰度转换曲线来计算各像素或各区域的校正系数。校正系数根据上 述灰度转换曲线而成为输出值和输入值的除法值。在本实施方式中，将 图像信号分割成多个区域的图像信号，针对重要度高的区域不减少在计 算灰度转换特性时的数据量，或者使减少量减少，针对除此以外的区域 使该数据量的减少量增多，从而可提早计算在灰度转换处理中使用的校 正系数。而且，可使用计算出的灰度转换处理用的校正系数来进行空间移变 的灰度转换处理，因而可快速地获得对用户来说优选的图像信号。另一 方面，即使在针对重要度高的区域以外的区域来估计代表值，并使用转 换表来进行空间不变的灰度转换处理的情况下，也能进行迅速的图像信
号处理。在上述的实施方式中，如图1和图3所示，在具有由镜头系统/光圈111和CCD 112构成的摄像单元的摄像装置10中，由上述摄像单元拍摄 的图像由A/D 113生成为数字图像信号，进行灰度转换处理。本发明的 实施方式不限于这种摄像装置中的数字图像的灰度转换处理。例如，可 应用于在摄像装置10中不具有上述摄像单元、并针对存储在存储单元内的数字图像信号进行灰度转换处理的图像处理装置。在该情况下，将由 上述摄像单元和A/D 113构成的结构置换为适当的存储单元。例如，还 能采用以下结构，即将来自CCD 112的信号作为未处理状态的Raw (原 始)数据，将来自控制部102的拍摄时的信息作为头信息来输出，单独 在图像处理装置迸行处理。图2是使用摄像装置IO或图像处理装置来进行本发明的第1实施方 式中的上述处理的图像处理程序的相关流程图。在步骤S0中，读入来自摄像元件的包含图像信号和摄影信息的头信 息。在步骤Sl中，由插值处理部101将单板的图像信号转换为三板的图 像信号。在步骤S2中，根据用户指定或者所拍摄的图像的信息，由区域 分割部103进行将图像信号分割成多个区域的分割处理。此时，还能将 分割数设定为l个。在步骤S3中，针对所分割的区域，由图像信号转换 部104进行图像信号的转换处理。图像信号的转换处理例如是指定缩小 率，进行缩小处理。在步骤S4中，由特性计算部105根据图像信号转换 处理后的图像信号来计算对各区域的图像信号的灰度转换特性。在步骤 S5中，根据在步骤S4计算出的灰度转换特性，由灰度转换处理部106 针对各区域进行灰度转换处理。在步骤S6中，进行输出处理。输出处理 例如是将图像信号记录保存在存储卡等内。在步骤S7中，结束本实施方 式中的图像信号的灰度转换处理。下面，对本发明的第2实施方式进行说明。图3是第2实施方式的 结构图，图4是示出第2实施方式的处理步骤的流程图，图5 图8是与 第l实施方式相同的结构图。图3是第2实施方式的结构图，示出摄像装置20所具有的结构。经 由镜头系统/光圈111和CCD 112拍摄的影像在A/D 113被转换成数字图 像信号。来自A/D 113的图像信号被传送到插值处理部101。插值处理部 101与灰度处理判断部200和灰度转换处理部106连接。灰度处理判断部 200与区域分割部101连接。区域分割部103经由图像信号转换部104、 灰度转换特性计算部105以及灰度转换处理部106与输出部108连接。存储部110与灰度处理判断部200、区域分割部103、图像信号转换 部104、灰度转换特性计算部105以及灰度转换处理部106双向连接。控 制部102与插值处理部101、灰度处理判断部200、区域分割部103、图 像信号转换部104、灰度转换特性计算部105、灰度转换处理部106、输 出部10S、存储部110以及A/D113双向连接。并且，具有参数输入等的 接口的外部I/F部109也与控制部102双向连接。由插值处理部IOI、控制部102、区域分割部103、图像信号转换部 104、灰度转换特性计算部105、灰度转换处理部106、输出部108、外部 1/F咅卩109、存储部110、 A/D H3以及灰度处理判断部200执行的各处理 由安装在摄像装置20上的CPU根据存储于ROM等的存储器内的图像处 理程序，在适当读写RAM等的存储装置所需要的数据的同时来进行。下面，对图3中的信号流程进行说明。图3的结构对与在第1实施 方式中所说明的图1的结构相同的部分附上相同符号，仅对与图1不同 的部分进行说明。插值处理部101根据控制部102的控制来把图像信号 传送到灰度处理判断部200。灰度处理判断部200根据拍摄条件或用户指 定或所拍摄的图像的图像信号信息，判断是否要针对从插值处理部101 传送的图像信号进行空间移变的(按各像素或各区域独立改变灰度转换 特性的)灰度转换。灰度处理判断部200在拍摄条件下判断是否要进行空间移变的灰度 转换的情况下，比较拍摄条件与保存在存储部110内的判断条件是否一 致，自动判断是否要进行空间移变的灰度转换。例如，预先把根据各摄 影模式是否一对一地进行灰度转换的设定表设定在存储部110内。在判 断时，以所拍摄的图像的摄影模式作为关键字来参照保存在存储部110 内的设定表，调查是否要进行空间移变的灰度转换。
列举设定表的例子，针对在人物摄影的摄影模式下所拍摄的图像， 进行空间移变的灰度转换处理(为了更鲜明地表现人物的影像)。针对在 夜景摄影的摄影模式下所拍摄的图像，设定不进行空间移变的灰度转换(因为当进行了空间移变的灰度转换时，暗部的噪声也同时得到强调) 等。在根据用户指定判断是否要进行空间移变的灰度转换的情况下，将用户进行的从外部I/F部109的输入转换成控制部102的控制信号，输入 到灰度处理判断部200，从而判断是否进行空间移变的灰度转换。而且，在根据图像信号信息来判断是否要进行空间移变的灰度转换 的情况下，根据控制部102的控制来从存储部110读入对图像的判断信 息，比较图像信息来判断是否要进行空间移变的灰度转换。例如，预先 将判断为人物的图形保存在存储部110内。在判断是否要迸行空间移变 的灰度转换的情况下，从存储部110中提取人物的图形，使用针对图像 信号的模板匹配方法来确认在图像内是否有与所提取的人物的图形适合 的目标。在确认了目标的情况下，进行空间移变的灰度转换。在未确认 目标的情况下，进行空间不变的灰度转换处理。在这些判断后，灰度处理判断部200最终把是否要进行空间移变处 理的判定结果发送到控制部。在判定为要进行空间移变的灰度转换的情 况下，控制部102控制各处理部，以便进行与第1实施方式相同的处理。 另一方面，在判断为不进行空间移变的灰度转换的情况下，使区域分割 部103、图像信号转换部104以及灰度转换特性计算部105的处理停止， 使灰度转换处理部106进行空间不变的(按各像素或各区域不独立改变 灰度转换特性的)灰度转换处理。该情况的灰度转换特性被保持在灰度转换处理部106内部。在进行 空间移变的灰度转换的情况和进行空间不变处理的情况中的任一种情况 下，灰度转换处理部106把处理结果传送到输出部108。在本实施方式中， 由于通过根据摄影状况判断是否要进行空间移变的灰度转换来进行图像 信号处理，因而处理的自由度增高，也使处理速度和效率提高。另外， 在本实施方式中，与第l实施方式一样，还能取代摄像装置20而采用图
像处理装置中的灰度转换处理的结构。图4示出使用摄像装置20或图像处理装置来进行本发明的第2实施方式中的上述处理的图像处理程序的相关流程图。在步骤S10中，读入来自摄像元件的包含图像信号和摄影信息的头 信息。在步骤Sll中，由插值处理部101将单板的图像信号转换为三板 的图像信号。在步骤S12中，由灰度处理判断部200判断是否需要空间 移变的灰度转换处理。判断是根据用户指定或拍摄条件或图像信息来进 行的。当需要空间移变的灰度转换处理时(判定结果是"是")，转移到步 骤S13。当不需要空间移变的灰度转换处理时(判定结果是"否")，转移 到步骤S16。在步骤S13中，根据用户指定或者所拍摄的图像的信息，由区域分 割部103进行将图像信号分割成多个区域的分割处理。此时，还能将分 割数设定为1个。在步骤S14中，针对所分割的区域，由图像信号转换 部104进行图像信号的转换处理。图像信号的转换处理例如是指定縮小 率，进行縮小处理。在步骤S15中，由特性计算部105根据图像信号转 换处理后的图像信号来计算对各区域的图像信号的灰度转换特性。在步 骤S16中，根据在步骤S15计算出的灰度转换特性，由灰度转换处理部 106针对各区域进行灰度转换处理。并且，在步骤S12中判断为不需要空 间移变的灰度转换的情况下，由灰度转换处理部106针对所有图像信号 进行空间不变的灰度转换处理。在步骤S17中，进行输出处理。在输出 处理中，例如将图像信号记录保存在存储卡等内。在步骤S18中，结束 本图像信号的灰度转换处理。产业上的可利用性如以上说明那样，根据本发明，可提供縮短灰度转换处理时间的图 像处理装置和摄像装置。并且，可提供能准确且迅速地执行灰度转换处 理的图像处理程序。
权利要求
1.一种图像处理装置，该图像处理装置针对图像信号进行灰度转换处理，该图像处理装置的特征在于，该图像处理装置具有区域分割单元，其将上述图像信号划分成至少一个以上的区域；第一转换单元，其针对与上述区域对应的图像信号，按照各上述区域进行图像转换处理；转换特性决定单元，其根据由上述第一转换单元生成的图像信号，决定针对上述图像信号进行的灰度转换处理的转换特性；以及第二转换单元，其使用由该转换特性决定单元决定的上述转换特性，按照各上述区域进行对上述图像信号的灰度转换处理。
2. 根据权利要求1所述的图像处理装置，其特征在于，上述区域分 割单元根据上述图像信号的信息，将上述图像信号划分成至少一个以上 的区域。
3. 根据权利要求1所述的图像处理装置，其特征在于， 上述图像处理装置还具有分割类别取得单元，该分割类别取得单元从用户处取得通过上述区域分割单元将上述图像信号划分成至少一个以 上的区域时的划分类别的指定，上述区域分割单元根据由上述分割类别取得单元取得的划分类别的 指定，将上述图像信号划分成至少一个以上的区域。
4. 根据权利要求1所述的图像处理装置，其特征在于，上述第一转 换单元对上述图像信号进行图像转换处理，以便减少与上述至少一个以 上的区域中的至少一个区域对应的数据量。
5. 根据权利要求4所述的图像处理装置，其特征在于， 上述图像处理装置还具有减少度取得单元，该减少度取得单元从用户处取得关于数据量的减少度的指定，其中，上述数据量的减少度是在 如下情况下发生的通过上述第一转换单元对上述图像信号进行图像转 换处理，以便减少数据量， 上述第一转换单元对上述图像信号进行图像转换处理，以便按照由 上述减少度取得单元取得的减少度减少数据量。
6. 根据权利要求4所述的图像处理装置，其特征在于，上述第一转 换单元根据上述图像信号计算关于上述至少一个以上的区域中的至少一 个区域的代表值，由此对上述图像信号进行图像转换处理，以便减少与 该区域对应的数据量。
7. 根据权利要求1所述的图像处理装置，其特征在于， 上述图像处理装置还具有转换处理执行单元，该转换处理执行单元根据拍摄用于形成上述图像信号的图像时的拍摄条件，判断是否要由上 述第一转换单元进行图像转换处理，当该转换处理执行单元判断为要由上述第一转换单元进行图像转换 处理时，由上述第一转换单元进行图像转换处理。
8. 根据权利要求1所述的图像处理装置，其特征在于，上述图像处 理装置还具有转换处理执行单元，该转换处理执行单元根据来自用户的 指示，判断是否要由上述第一转换单元进^P图像转换处理，当该转换处理执行单元判断为要由上述第一转换单元进行图像转换 处理时，由上述第一转换单元进行图像转换处理。
9. 根据权利要求1所述的图像处理装置，其特征在于， 上述图像处理装置还具有转换处理执行单元，该转换处理执行单元根据图像信号的信息，判断是否要由上述第一转换单元进行图像转换处 理，当该转换处理执行单元判断为要由上述第一转换单元进行图像转换 处理时，由上述第一转换单元进行图像转换处理。
10. —种摄像装置，该摄像装置具有摄像单元，用于针对根据由该摄 像单元拍摄到的图像获得的图像信号进行灰度转换处理，该摄像装置的 特征在于，该摄像装置具有区域分割单元，其将上述图像信号划分成至少1个以上的区域； 第一转换单元，其针对与上述区域对应的图像信号，按照各上述区 域进行图像转换处理；转换特性决定单元，其决定针对由该第一转换单元生成的图像信号进行的灰度转换处理的转换特性；以及第二转换单元，其针对由上述第一转换单元生成的图像信号，使用 由上述转换特性决定单元决定的上述转换特性，按照各上述区域进行灰 度转换处理。
11. 根据权利要求10所述的摄像装置，其特征在于， 上述摄像装置还具有转换处理执行单元，该转换处理执行单元根据拍摄到上述图像时的拍摄条件，判断是否要由上述第一转换单元进行图 像转换处理，当该转换处理执行单元判断为要由上述第一转换单元进行图像转换 处理时，由上述第一转换单元进行图像转换处理。
12. 根据权利要求IO所述的摄像装置，其特征在于， 上述摄像装置还具有转换处理执行单元，该转换处理执行单元根据来自用户的指示，判断是否要由上述第一转换单元进行图像转换处理，当该转换处理执行单元判断为要由上述第一转换单元进行图像转换 处理时，由上述第一转换单元进行图像转换处理。
13. —种图像处理程序，其特征在于，该图像处理程序使计算机执行如下步骤 读入图像信号；将上述图像信号划分成至少一个以上的区域；针对与上述区域对应的图像信号，按照各上述区域进行图像转换处理；决定针对上述图像信号进行的灰度转换处理的转换特性；以及 针对上述图像信号，使用由上述转换特性决定单元决定的上述转换 特性，按照各上述区域进行灰度转换处理。
14. 根据权利要求13所述的图像处理程序，其特征在于， 上述图像处理程序还具有转换处理执行步骤，在该转换处理执行步骤中，根据拍摄到用于形成上述图像信号的图 像时的拍摄条件，判断是否要进行上述图像转换处理。
15.根据权利要求13所述的图像处理程序，其特征在于， 上述图像处理程序还具有转换处理执行步骤，在该转换处理执行步骤中，根据来自用户的指示，判断是否要进行 上述图像转换处理。
全文摘要
本发明提供图像处理装置和摄像装置以及图像处理程序。其中，该摄像装置将由镜头系统/光圈(111)和CCD(112)拍摄的图像在A/D(113)转换成图像信号，在灰度转换处理部(106)进行灰度转换处理。上述图像在区域分割部(103)被划分成至少1个以上的区域，针对与上述区域对应的数字图像信号，在图像信号转换部(104)按各区域进行图像转换处理。灰度转换特性计算部(105)针对在图像信号转换部(104)所生成的图像信号来决定灰度转换处理的转换特性。灰度转换处理部(106)使用在图像信号转换部(104)所决定的上述转换特性来进行灰度转换处理。这种灰度转换处理还能应用于摄像装置以外的图像处理装置。
文档编号H04N5/20GK101156433SQ20068001171
公开日2008年4月2日 申请日期2006年3月31日 优先权日2005年4月12日
发明者温成刚 申请人:奥林巴斯株式会社