图像处理装置和方法,成像装置以及计算机程序产品的制作方法

专利名称：图像处理装置和方法,成像装置以及计算机程序产品的制作方法
技术领域：
本发明涉及一种图像处理装置，成像装置，图像处理方法和计算机程序产品。
背景技术：
本申请通过引用结合2006年7月31日在日本提交的日本优先权申请 2006-208063和2007年2月15日在日本提交的日本优先权申请2007-034532 的全部内容。近年来，在数字静态摄像机(此后称为"数字照相机")领域，实现了电 荷耦合器件(CCD)或者成像器件的像素数量的增加。另一方面，这种CCD 像素数量的增加引起了 CCD感光度下降的问题。为了解决这种问题,揭示了 一种成像装置，其中增加了多个图像的像素(参 见曰本专利申请公开No. 2005-44915 )。在这种成像装置中，增加图像的像素 来增加感光度。还有，揭示了另一种成像装置，其中输出用于将相邻像素的像素值加在一 起的像素信号来增加感光度(参见日本专利申请公开No. 2005-303519 )。此外，还揭示了一种技术，其中尽管当以增加的感光度拍摄图像时增强了 噪声，根据成像感光度设置低通滤波器的截止频率来去除噪声(参见日本专利 申请公开No. 2004-297731 )。然而，在日本专利申请公开No. 2005-44915中揭示的技术中，在增加图像 的像素的情况下，增加了曝光时间。在相机固定并且目标不移动的情况下没有 问题。然而，如果相机或者目标中的任何一个移动，将不利地发生位置偏差。还有，在日本专利申请公开No. 2005-303519中揭示的技术中，将相邻像 素的像素值加在一起，从而引起降低分辨率的问题。此外，在日本专利申请公开No. 2004-297731中揭示的技术中，尽管可以 根据成像感光度去除噪声，图像的边缘变得模糊。例如，如果在灯光照亮的位
置进行成像时将感光度设为高，即使噪声较少，模糊化处理对于图像也有明显 的影响，从而引起图像不必要的模糊化。更进一步地，在日本专利申请公开No. 2004-297731中揭示的4支术中，当 在成像时曝光时间短时，色彩再现性和白平衡恶化，并且即使去除了噪声也没 有提高图像的色彩和亮度之间的平衡。 发明内容本发明的一个目的是至少部分地解决现有技术中的上述问题。 根据本发明一个方面的图像处理装置，包括获取图像信息的图像信息获 取单元；图像分量分离单元，将图像信息获取单元获取的图像信息分离为亮度 信息和色彩信息；边缘提取单元，从图像分量分离单元分离的亮度信息提取边 缘信息；亮度噪声去除单元，从图像分量分离单元分离的亮度信息去除噪声； 色彩噪声去除单元，从图像分量分离单元分离的色彩信息去除噪声；以及图像 信息合成单元，基于边缘提取单元提取的边缘信息，由亮度噪声去除单元去除 了噪声的亮度信息，和由色彩噪声去除单元去除了噪声的色彩信息合成图像信 息。根据本发明另一个方面的图像处理装置，包括获取图像信息的图像信息 获取单元；高感光度低分辨率图像生成单元，通过将图像信息获取单元获取的 图像信息中多个相邻像素值相加产生一个像素值，来生成高感光度低分辨率图 像；缩放单元放大或者缩小高感光度低分辨率图像生成单元生成的高感光度低 分辨率图像信息；以及图像信息组合单元，从图像信息获取单元获取的图像信 息，和缩放单元i文大或者缩小的高感光度低分辨率图像信息来合成图像信息。根据本发明另一个方面的图像处理方法，包括获取图像信息；将获取步 骤中获取的图像信息分离为亮度信息和色彩信息；从分离步骤中分离的亮度信 息提取边缘信息；亮度噪声去除，包括从分离步骤中分离的亮度信息去除噪声； 色彩噪声去除，包括从分离步骤中分离的色彩信息去除噪声；以及基于提取步 骤中提取的边缘信息，亮度噪声去除步骤中去除了噪声的亮度信息，和色彩噪 声去除步骤中去除了噪声的色彩信息生成图像信息。根据本发明另一个方面的图像处理方法，包括获取图像信息；将获取步 骤中获取的图像信息分离为亮度信息和色彩信息；从分离步骤中分离的亮度信 息提取边缘信息；对分离步骤中分离的亮度信息和色彩信息进行缩放；亮度噪 声去除包括从缩放步骤中进行了缩放的亮度信息去除噪声；色彩噪声去除包括 从缩放步骤中进行了缩放的色彩信息去除噪声，基于提取步骤中提取的边缘信 息，亮度噪声去除步骤中去除了噪声的亮度信息，和色彩噪声去除步骤中去除 了噪声的色彩信息生成图像信息。根据本发明另一个方面的图像处理方法，包括获#^图<象信息；通过将获 取步骤中获取的图像信息中多个相邻像素值相加产生一个像素值，来生成高感 光度低分辨率图像；放大或者缩小生成步骤中生成的高感光度低分辨率图像信 息；以及从获取步骤中获取的图像信息，和缩放步骤中放大或者缩小的高感光 度低分辨率图像信息来合成图像信息。当结合附图考虑，通过阅读本发明当前优选实施例的下列详细描述，将更 好地理解本发明的上述和其他目标，特征，优点和技术和工业重要性。


图1是根据本发明第一实施例的图像处理单元的结构的框图； 图2是用于说明边缘提取滤波器尺寸数据库的数据结构的示例的表格； 图3是用于说明参数数据库的数据结构的示例的表格； 图4是用于说明噪声去除滤波器尺寸数据库的数据结构的示例的表格； 图5是用于说明高斯a值数据库的数据结构的示例的表格； 图6A是图像信息获取单元，分量分离单元，成像条件获取单元，滤波器 确定单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去 除单元，图像信息合成单元，图像信息压缩单元，以及图像信息输出单元进行 的图像处理过程的流程图；图6B是图像信息获取单元，分量分离单元，成像条件获取单元，滤波器 确定单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去 除单元，图像信息合成单元，图像信息压缩单元，以及图像信息输出单元进行 的图像处理过程的流程图；图7是用于说明具有5x5的滤波器尺寸的边缘提取滤波器的示例的图示； 图8是用于说明使用边缘提取滤波器的边缘提取的结果的示例的图示； 图9是用于说明使用亮度滤波器的噪声去除的结果的图示；
图10是用于说明通过组合边缘信息和去除了噪声的亮度信息得到的结果的图示；图11是根据第一实施例的数字照相机的硬件结构的框图； 图12是根据本发明第二实施例的图像处理单元的结构的框图； 图13是用于说明根据第二实施例的缩放因子数据库的数据结构的示例的 表格；图14A是图像信息获取单元，分量分离单元，成像条件获取单元，滤波 器确定单元，缩放单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色 彩分量噪声去除单元，反向缩放单元，图像信息合成单元，图像信息压缩单元， 以及图像信息输出单元进行的图像处理过程的流程图；图14B是图像信息获取单元，分量分离单元，成像条件获取单元，滤波 器确定单元，缩放单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色 彩分量噪声去除单元，反向缩放单元，图像信息合成单元，图像信息压缩单元， 以及图像信息输出单元进行的图像处理过程的流程图；图15是根据本发明第三实施例的图像处理装置的结构的框图； 图16A是图像信息获取单元，图像信息转换单元，分量分离单元，成像 条件获取单元，滤波器确定单元，亮度分量边缘提取单元，亮度分量噪声去除 单元，色彩分量噪声去除单元，图像信息合成单元，图像信息转换单元，以及 图像信息输出单元进行的图像处理过程的流程图；图16B是图像信息获取单元，图像信息转换单元，分量分离单元，成像 条件获取单元，滤波器确定单元，亮度分量边缘提取单元，亮度分量噪声去除 单元，色彩分量噪声去除单元，图像信息合成单元，图像信息转换单元，以及 图像信息输出单元进行的图像处理过程的流程图；图17是^4居第三实施例的图像处理装置的硬件结构的框图； 图18是根据本发明第四实施例的图像处理单元的框图； 图19是图像信息获取单元，高感光度低分辨率图像生成单元，分量分离 单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去除单 元，缩放单元，亮度分量合成单元，图像信息合成单元，以及图像信息输出单 元进行的图像处理过程的流程图20是用于说明具有3x3的滤波器尺寸的平滑滤波器的示例的图示；图21是用于说明具有5x5的滤波器尺寸的边缘提取滤波器的示例的图示；图22是用于说明分离的亮度信息的图示；图23是用于说明从亮度信息提取边缘获得的结果的图示；图24是说明组合亮度信息和边缘信息获得的结果的图示；图25是根据本发明第五实施例的图像处理装置的结构的框图；图26是图像信息获取单元，分量转换单元，分量分离单元，色彩分量噪声去除单元，缩放单元，亮度分量噪声去除单元，亮度分量边缘提取单元，亮度分量合成单元，图像信息合成单元，以及图像信息输出单元进行的图像处理过程的流程图。
具体实施方式
下面参考附图详细描述本发明的范例实施例。参考附图，说明本发明的第一实施例。首先，说明应用本发明的数字照相 机中包括的图像处理单元的结构示例。图1是根据第一实施例的图像处理单元 100的结构的框图。图像处理单元100包括图像信息获取单元101，分量分离单元102，成像 条件获取单元103，滤波器确定单元104,亮度分量边缘提取单元110,亮度 分量噪声去除单元105,色彩分量噪声去除单元106，图像信息合成单元107, 图像信息压缩单元108,图像信息输出单元109，边缘提取滤波器尺寸数据库 120,参数数据库130，噪声去除滤波器尺寸数据库140，以及高斯cj值数据库 150。边缘提取滤波器尺寸是在从图像信息中提取边缘中4吏用的滤波器的尺寸。 边缘提取中使用的滤波器的最佳尺寸根据成像条件变化。边缘提取滤波器尺寸 数据库120存储每个成像条件的最佳滤波器尺寸。图2是用于说明边缘提取滤 波器尺寸数据库的数据结构的示例的表格。以这种方式，在边缘提取滤波器尺 寸数据库120中，成像条件和边缘提取滤波器尺寸相互关联。因此，可以从成 像条件确定最佳滤波器尺寸。成像条件是影响数字照相机拍摄的图像中的边缘提取的条件。特别是，将 照相机的感光度，曝光时间，以及拍摄时的温度定义为成像条件。照相机的感
光度指的是CCD或者互补金属氧化物半导体(CMOS)传感器的感光度。当 感光度较高时，快门速度较高，趋向于不发生照相机抖动，并且可以没有模糊 地拍摄移动目标。此外，即使在暗处也能拍摄亮图像。另一方面，如果感光度 增加，趋向于产生噪声。曝光时间指的是光照射到CCD或者CMOS传感器上的时间。如果感光度 高，即使曝光时间降低也能拍摄图像。拍摄时的温度指的是在用照相机拍摄时 外界的空气温度。当温度较低时，不容易产生噪声。根据第一实施例，将照相机的感光度，曝光时间，以及拍摄时的温度作为 成像条件。然而，不意味着成像条件限制于上述的这些，而是只要是改变边缘 提取的就可以作为成像条件。参数数据库130存储cj值和k值，用于计算用于对应于成像条件的边缘提 取的高斯拉普拉斯(LoG)滤波器的值。图3是用于说明参数数据库的数据结 构的示例的表格。参数数据库130相互关联地存储成像条件以及用于计算LoG 滤波器的值的cj值和k值。(T值指的是确定滤波器的宽度的参数。当CJ值较大时，滤波器宽度较宽，平滑效果较大。当(j值较小时，滤波器宽度较窄，边缘增强的效果较强。k值指的是代表边缘增强的强度的参数。当k值较大时，边缘增强的效果 较大。当k值较小时，冲莫糊恢复的效果较小。以这种方式，当改变cy值和k 值时，可以调节校正结果。此处，当LoG滤波器的cj值更接近于零时，滤波 器更接近于拉普拉斯滤波器。不仅从LoG函数找到边缘提取滤波器，从其他函数找到的滤波器可以用 于执行边缘提取过程。噪声去除滤波器尺寸数据库140存储对应于成像条件的噪声去除的滤波 器尺寸。图4是用于说明噪声去除滤波器尺寸数据库的数据结构的示例的表 格。噪声去除滤波器尺寸数据库140相互关联地存储成像条件和滤波器尺寸。滤波器尺寸指的是成像条件指定的噪声去除滤波器的尺寸，并且对于每个 亮度信息和色彩信息存储滤波器尺寸。当滤波器尺寸较大时，噪声去除的效果 较大，但是边缘才莫糊化專支大。即，噪声去除效果和边缘模糊化具有这种折衷的 关系。由于拍摄图像的噪声等级根据成像条件变化，才艮据拍摄时的成像条件选 择滤波器尺寸，从而进行最佳的噪声去除。人眼具有对于亮度变化敏感而对于色彩变化迟钝的特性。因此，将亮度信 息的滤波器尺寸设置为小于色彩信息的滤波器尺寸，从而考虑到人眼的特性进行有效的噪声去除。YUV格式的图像信息由亮度信息(Y)和色彩信息(U， V)构成。亮度信息指的是近似与人眼感觉为"亮度"的强度成比例的值。在 色彩信息(U, V)中，U代表蓝色系的色调和色度，V代表红色系的色调和 色度。对于每个亮度信息和色彩信息执行对应的噪声去除处理，从而最佳地去 除噪声。在本实施例中，在噪声去除滤波器尺寸数据库中140中，表示亮度滤 波器的尺寸的第一尺寸信息和表示色彩滤波器的尺寸的第二尺寸信息存储相 同的尺寸。这里第一尺寸信息表示的亮度滤波器的尺寸可以小于第二尺寸信息 表示的色彩滤波器的尺寸。高斯a值数据库150存储a值，其用于计算用于对应于成像条件的噪声去 除的高斯平滑滤波器的值。图5是用于说明高斯cy值数据库的数据结构的示例 的表格。高斯(J值数据库150相互关联地存储成像条件以及用于计算高斯平滑 滤波器的值的CJ值。a值的幅度代表了噪声去除的强度。当cj值较大时，噪声去除效果较大。 这里，不仅从高斯函数找到滤波器。替代地，从其他函数找到的滤波器可以用 于进行噪声去除过程。图像信息获取单元101从临时存储存储器获取图像信息。获取的图像信息 为转换为YUV格式的图像信息。分量分离单元102将图像信息获取单元101 获取的YUV格式的图像信息分离为亮度信息(Y)和色彩信息(U, V)。成像条件获取单元103从临时存储存储器获取对应于图像信息获取单元 IOI获取的图像信息的成像条件。该成像条件为在拍摄时的成像条件，即，照 相机的感光度，曝光时间以及拍才聂时的温度，并且它们相互关联地存储。这里， 拍摄时的成像条件可以作为图像信息的部分来存储。滤波器确定单元104确定对应于成像条件的边缘提取滤波器和噪声去除 滤波器(亮度滤波器和色彩滤波器)。首先，滤波器确定单元104从边缘提取 滤波器尺寸数据库120指定与成像条件获取单元103获取的成像条件相关联的 边缘提取滤波器的尺寸，并且从参数数据库130指定与成像条件获取单元103
获取的成l象条件相关联的LoG函数的a值和k值。滤波器确定单元104进一步使用边缘提取滤波器尺寸和LoG函数的cj值， 通过使用下面的方程(1)计算边缘提取滤波器。2ct -并且，滤波器确定单元104确定对应于成像条件的噪声去除滤波器。滤波 器确定单元104从噪声去除滤波器尺寸数据库140指定与成像条件获取单元 103获取的成像条件相关联的噪声去除滤波器的尺寸，即，用于从亮度信息去 除噪声的亮度滤波器的尺寸和用于从色彩信息去除噪声的色彩滤波器的尺寸。 另外，滤波器确定单元104从高斯a值数据库150指定与成像条件获取单元 103获取的成像条件相关联的高斯函数的a值。滤波器确定单元104进一步使用亮度滤波器的尺寸和高斯函数的o值通过 使用下面的方程(2)计算亮度滤波器(高斯平滑滤波器)。<formula>formula see original document page 14</formula>(2)并且，滤波器确定单元104使用色彩滤波器的尺寸和高斯函数的a值使用 上述的方程(2)计算色彩滤波器(高斯平滑滤波器)。亮度分量边缘提取单元IIO使用滤波器确定单元104确定的边缘提取滤波 器和k值来从亮度信息提取边缘信息。边缘信息提耳又结果由下面的方程(3) 表示。<formula>formula see original document page 14</formula>( 3 )其中方程(3)中的运算的符号表示巻积处理。亮度分量噪声去除单元105使用滤波器确定单元104确定的噪声去除滤波 器，即，亮度滤波器(低通滤波器)，从亮度信息去除噪声。色彩分量噪声去 除单元106使用滤波器确定单元104确定的噪声去除滤波器，即，色彩滤波器 (低通滤波器)，从色彩信息去除噪声。图像信息合成单元107将从亮度分量边缘提取单元110提取的边缘信息， 由亮度分量噪声去除单元105去除了噪声的亮度信息，以及由色彩分量噪声去 除单元106去除了噪声的色彩信息组合来生成YUV格式的图像信息。图像信
息合成单元107形成根据本发明的图像信息生成单元。边缘信息和亮度信息的 組合由下列方程(4)计算。其中fs(x，y)表示经过噪声去除滤波器处理的亮度分量，s(x,y)表示合成图像。 用方程(4)计算的亮度信息进一步与色彩信息组合来生成图像信息。这里， YUV格式的图像信息可以进一 步转换为其他格式的图像信息，例如RGB格式。图像信息压缩单元108将图像信息合成单元107合成的YUV格式的图像 信息压缩为例如联合图像专家组(JPEG)格式。图像信息输出单元109将图 像信息压缩单元108压缩的图像信息输出到存储卡之类。下面，说明上述配置的图像处理单元100的图像处理。图6A和6B是图 像信息获取单元，分量分离单元，成像条件获取单元，滤波器确定单元，亮度 分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去除单元，图像信 息合成单元，图像信息压缩单元，以及图像信息输出单元进行的图像处理过程 的流程图。图像信息获取单元101从临时存储存储器获取YUV格式的图像信息(步 骤S601 )。分量分离单元102将图像信息获取单元101获取的YUV格式的图 像信息分离为亮度信息和色彩信息(步骤S602 )。成像条件获取单元103获取 与图像信息相关联的成像条件(步骤S603 )。滤波器确定单元104从边缘提取滤波器尺寸数据库120指定与成像条件获 取单元103获取的成像条件相对应的边缘提取滤波器的尺寸(步骤S604)。例 如，将5x5指定为边缘提取滤波器的尺寸。滤波器确定单元104从参数数据库130指定与成像条件获取单元103获取 的成像条件相对应的LoG函数的cj值和k值(步骤S605 )。滤波器确定单元 104从边缘提取滤波器的滤波器尺寸和LoG函数的a值和k值确定边缘提取 滤波器的每个值(步骤S606 )。例如，图7是说明了具有5x5的滤波器尺寸的 边缘提取滤波器的示例。作为边缘提取滤波器的值的Ai，是由方程(1 )计算 的值。亮度分量边缘提取单元IIO使用滤波器确定单元104确定的边缘提取滤波 器来从亮度信息提取边缘信息(步骤S607 )。图8是用于说明使用边缘提取滤
波器的边缘提取的结果的示例的图示。如图8所示，从图像信息提取了边缘分 量(边缘信息)。滤波器确定单元104从噪声去除滤波器尺寸数据库140指定与成像条件获 取单元103获取的成像条件相对应的滤波器的尺寸(步骤S608)。具体来说， 指定对应于作为成像条件的照相机的感光度，曝光时间，以及拍摄时的温度的 亮度滤波器的尺寸和色彩滤波器的尺寸。滤波器确定单元104从高斯cj值数据库150确定与成像条件获取单元103 获取的成像条件相对应的高斯函数的o值(步骤S609 )。滤波器确定单元104从亮度滤波器的滤波器尺寸和高斯函数的指定的or 值确定亮度滤波器，并且从色彩滤波器的滤波器尺寸和高斯函数的指定的CJ 值确定色彩滤波器(步骤S610)。亮度分量噪声去除单元105使用滤波器确定单元104确定的亮度滤波器从 亮度信息去除噪声(步骤S611 )。图9是用于说明使用亮度滤波器的噪声去除 的结果的图示。色彩分量噪声去除单元106使用滤波器确定单元104确定的色 彩滤波器从色彩信息去除噪声(步骤S612 )。图像信息合成单元107将边缘信息，去除了噪声的亮度信息以及色彩信息 组合来生成YUV格式的图像信息(步骤S613)。图IO是用于说明通过组合边 缘信息和去除了噪声的亮度信息得到的结果的图示。在合成的图像信息中，由 于如同图10中所示清楚地表示了边缘，获得了没有边缘模糊化并且去除了噪 声的图像。图像信息压缩单元108将图像信息合成单元107生成的YUV格式 的图像信息压缩为JPEG格式(步骤S614)。图像信息输出单元109将图像信 息压缩单元108压缩的图像信息输出到存储卡之类(步骤S615 )。以这种方式，图像信息分离为亮度信息和色彩信息；从亮度信息提取边缘 信息；对亮度信息和色彩信息执行噪声去除处理，进一步从边缘信息和去除了 噪声的亮度信息和色彩信息合成图像信息。由此，可以在噪声去除之前预先提 取边缘分量，接着可以噪声去除之后组合边缘分量。从而，在噪声去除的时候 可以平滑边缘来补偿具有图像才莫糊化的图像。即，可以在抑制边缘冲莫糊化的情 况下有效地去除噪声来保持高图像质量。根据第一实施例，基于成《象条件指定滤波器尺寸，(J值和k值，接着计算
滤波器的值以^更确定边缘4是取滤波器。在另一个示例中，可以直接从成像条件 确定边缘提取滤波器。在此情况下，提供相互关联地存储成像条件和边缘提取 滤波器的数据库，并且指定对应于成像条件的边缘提取滤波器。接着，通过使 用指定的边缘提取滤波器从亮度信息提取边缘信息。下面，描述数字照相机(即进行图像处理的成像设备的一个示例)的硬件 结构。图11是根据第一实施例的数字照相机的硬件结构的框图。如图11所示，目标的光首先经由数字照相机1000的成像光学系统1进入电荷耦合器件 (CCD) 3。还有，机械快门2位于成像系统1和CCD3之间。使用机械快门2，可以截断到CCD3的入射光。这里，成像光学系统1和机械快门2由马达驱动器6驱动。CCD 3将形成在成像表面的光学图像转换为电信号来作为模拟图像数据 输出。从CCD 3输出的图像信息由相干双采样(CDS)电路4去除了噪声分 量，由模/数(A7D)转换器5转换为数字值，接着输出到图像处理电路8。图像处理电路8使用临时存储图像数据的同步动态随机访问存储器 (SDRAM) 12来进行各种图像处理，包括YUV转换，白平衡控制，对比度 校正，边缘增强，以及色彩转换。这里，白平衡控制是调节图像信息的色彩浓 度的图像处理，而对比度校正是调节图像信息的对比度的图像处理。边缘增强 是调节图像信息的清晰度的图像处理，而色彩转换是调节图像信息的色彩的暗 度的图像处理。还有，图像处理电路8使得图像信息经过信号处理和图像处理 以便显示在液晶显示器(LCD) 16上。还有，经过信号处理和图像处理的图像信息经由压缩/解压缩电路13记录 在存储卡14上。压缩/解压缩电路13在从操作单元15获得指令时压缩从图像 处理电路8输出的图像信息，接着将结果输出到存储卡14。还有，压缩/解压 缩电路13解压缩从存储卡14读取的图像信息以便输出到图像处理电路8。还有，CCD3， CDS电路4，以及A/D转换器5由中央处理单元(CPU) 9经由生成定时信号的定时信号发生器7进行定时控制。此外，图像处理电路 8,压缩/解压缩电路13,以及存储卡14也由CPU9控制。在数字照相机1000中，CPU 9根据程序执行各种算术运算，并且其中集 成了例如只读存储器(ROM) ll和随机访问存储器(RAM) 10, ROM 11是 其中存储了程序等的只读存储器，RAM IO是具有在各种处理的过程中使用的 工作区域和各种数据存储区域的可以自由读写的存储器。这些元件经由总线相 互连接。当数字照相机1000进行噪声去除处理时，系统控制器从ROM 11加载高 感光度(sensitive)噪声去除程序到RAM 10来执行。噪声去除程序经由系统控 制器获取成像感光度的设置和代表拍摄时的曝光时间的参数。从ROM 11中读 取对应于这些参数的最佳噪声去除设置条件用于噪声去除。要处理的图像临时 存储在SDRAM 12中，并且对存储的图像进行噪声去除处理。接着，说明在拍摄时的噪声去除方法。首先，说明高感光度噪声的特性。 在数字照相机(成像设备)1000中，改变电路的放大器来调节成像感光度而 不改变CCD3的感光度。当曝光量很小时，发生曝光不足。在此情况下，通 过增加放大器的放大系数，可以增加感光度。然而，同时也放大了噪声信号。 如果曝光量足够，噪声信号相对小并且不那么明显。在曝光不足的情况下，当 通过增加放大器的放大系数增加感光度时也放大了噪声，并且高感光度噪声变 得显著。这种噪声是随机噪声，即使拍摄黑白目标时也发生色彩噪声。为了去 除以这种方式发生的图像信息的噪声，执行上述的噪声去除处理。边缘提取滤波器尺寸数据库120,参数数据库130，噪声去除滤波器尺寸 数据库140，以及高斯cj值数据库150可以用任何通常使用的存储介质来配置， 诸如数字照相机1000的ROM11，硬盘驱动器(HDD)，光盘，以及存储卡。还有，根据本实施例的要在数字照相机上执行的图像处理程序可以存储在连接到诸如互联网的网络的计算机上，并且可以经由网络下载来提供。还有， 根据本实施例的要在数字照相机上执行的图像处理程序可以经由诸如互联网 的网络来提供或者分配。此外，根据本实施例的图像处理程序可以预先集成在ROM之类中来提供。 要在根据本实施例的数字照相机上执行的图像处理程序以可安装或者可 执行的格式记录在计算机可读存储介质上，诸如光盘只读存储器(CD-ROM)， 软盘(FD),可记录光盘(CD-R),或者数字多功能光盘(DVD)来提供。根据本实施例的要在数字照相机上执行的图像处理程序具有包括每个元 件(图像信息获取单元，分量分离单元，成像条件获取单元，滤波器确定单元，
亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去除单元，图 像信息合成单元，图像信息压缩单元，图像信息输出单元等)的模块结构。作 为实际硬件，随着CPU (处理器)从存储介质读出图像处理程序来执行，每 个单元，即，图像信息获取单元，分量分离单元，成像条件获取单元，滤波器 确定单元，亮度分量边缘才是取单元，亮度分量噪声去除单元，色彩分量噪声去 除单元，图像信息合成单元，图像信息压缩单元，图像信息输出单元等被加载 并生成到主存储设备上。下面说明本发明的第二实施例。作为根据第二实施例的图像处理设备的数 字照相机对去除了噪声的亮度信息和色彩信息进行缩放，并且将经过缩放的亮 度信息和色彩信息，以及边缘信息组合来生成图^象信息。这里，说明与第一实 施例不同的部分。说明应用了本发明的数字照相机中包括的图像处理单元的结构示例。图12是根据本发明第二实施例的图像处理单元200的结构的框图。图像处理单 元200包括图像信息获取单元101，分量分离单元102，成像条件获取单元103, 滤波器确定单元104，缩放单元211,亮度分量边缘提取单元110，亮度分量 噪声去除单元105,色彩分量噪声去除单元106,反向缩放单元212,图像信 息合成单元107,图像信息压缩单元108，图像信息输出单元109,边缘提取 滤波器尺寸数据库120，参数数据库130,噪声去除滤波器尺寸数据库140, 高斯o值数据库150,以及缩放因子数据库260。图像信息获取单元101,分量分离单元102,成4象条件获取单元103，滤 波器确定单元104,亮度分量边缘提取单元110,亮度分量噪声去除单元105, 色彩分量噪声去除单元106，图像信息合成单元107,图像信息压缩单元108, 图像信息输出单元109,边缘提取滤波器尺寸数据库120，参数数据库130， 噪声去除滤波器尺寸数据库140,以及高斯a值数据库150的结构和功能类似 于第一实施例中的那些单元，这里不再说明。缩放因子数据库260为亮度信息和色彩信息中的每个存储用于对应于成 像条件进行缩放的缩放因子。图13是用于说明缩放因子数据库的数据结构的 示例的表格。缩放因子数据库260相互关联地存储成像条件和用于亮度信息和 色彩信息的缩放因子。
缩放因子是改变亮度信息或者色彩信息的尺寸的比率。为了减小尺寸，将缩放因子设置为小于100%。当以小于100%的缩放因子执行缩放时，缩放之后的图像小于原始图像。当对经过缩小的图像进行滤波时，由于经过缩小的图 像小于原始图像，可以减少处理时间，从而加快处理。还有，通过减小原始图 像，可以获得低通滤波器的效果a例如，当缩放因子为宽度上三倍和长度上三倍并且噪声滤波器的尺寸为5x5时，可以获得尺寸为15x15的噪声滤波器的效果。当对图傳_信息进行15x15 噪声去除滤波处理时，需要大量的时间。然而，当通过3x3缩放处理和使用 5x5噪声去除滤波器的噪声去除处理实现类似的处理时，可以减少处理时间。缩放单元211使用从缩放因子数据库260获得的对应于成像条件的缩放因 子来对通过分量分离单元102的分离获得的亮度信息和色彩信息进行缩放。反向缩放单元212使用缩放单元211的倒数(inverse)缩放因子对用亮度分 量噪声去除单元105去除了噪声的亮度信息和用色彩分量噪声去除单元106 去除了噪声的色彩信息进行缩放。下面，说明上述结构的图像处理单元200进行的图像处理。图14A和14B 是图像信息获取单元，分量分离单元，成像条件获取单元，滤波器确定单元， 缩放单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去 除单元，反向缩放单元，图像信息合成单元，图像信息压缩单元，以及图傳—信 息输出单元进行的图像处理过程的流程图。根据第二实施例的图像处理过程与图6A和6B描绘的流程图有共同的部 分，因此这里仅说明不同的部分。对于步骤S1401到S1410,参考图6A和6B 中的说明，这里不再说明这些步骤。在步骤S1411，缩放单元211从缩放因子数据库160指定对应于成像条件 的缩放因子(步骤S1411)。对于亮度信息和色彩信息中的每个指定缩放因子。 缩放单元211接着使用各个缩放因子来对通过分量分离单元102分离获得的亮 度信息和色彩信息进行缩放(步骤S1412)。亮度分量噪声去除单元105使用亮度滤波器从经过缩放单元211的缩放的 亮度信息去除噪声(步骤S1413 )。色彩分量噪声去除单元106使用色彩滤波 器从经过缩放单元211的缩放的色彩信息去除噪声(步骤S1414)。
反向缩放单元212分别以倒数缩放因子对用亮度分量噪声去除单元105去 除了噪声的亮度信息和用色彩分量噪声去除单元106去除了噪声的色彩信息 进行缩放(步骤S1415)。图像信息合成单元107将边缘信息，经过缩放的亮度信息以及色彩信息组 合来生成YUV格式的图像信息(步骤S1416 )。图像信息压缩单元108将图像 信息合成单元107生成的YUV格式的图像信息压缩为JPEG格式(步骤 S1417)。图像信息输出单元109将图像信息压缩单元108压缩的图像信息输出 到存储卡之类(步骤S1418)。以这种方式，即使由于相机的感光度的增加而导致噪声的尺寸增加从而必 须增加噪声滤波器的尺寸，对于噪声去除处理对亮度信息和色彩信息进行缩 放，接着在处理之后以倒数缩放因子进行缩放。由此，可以减少噪声去除处理 所需要的时间，从而以高速度实现有效的噪声去除处理。下面说明本发明的第三实施例。在根据第三实施例的图像处理装置中，在 图像处理装置中而不是成像设备中执行图像信息的边缘提取和噪声去除。这 里，仅仅说明与第一实施例不同的部分。说明应用了本发明的图像处理单元的结构示例。图15是根据本发明第三 实施例的图像处理装置300的结构的框图。图像处理装置300包括图像信息获 取单元301,图像信息转换单元313,分量分离单元102，成像条件获取单元 303，滤波器确定单元104,亮度分量边缘提取单元110,亮度分量噪声去除单 元105，色彩分量噪声去除单元106,图像信息合成单元107,图像信息转换 单元314,图像信息输出单元309，边缘提取滤波器尺寸数据库120,参数数 据库130,噪声去除滤波器尺寸数据库140，以及高斯cj值数据库150。分量分离单元102，滤波器确定单元104，亮度分量边缘提取单元110, 亮度分量噪声去除单元105,色彩分量噪声去除单元106，图像信息合成单元 107,边缘提取滤波器尺寸数据库120，参数数据库130,噪声去除滤波器尺寸 数据库140,以及高斯cj值数据库150的结构和功能类似于第一实施例中的那 些，这里不再说明。图像信息获取单元获取存储在存储介质中的图像信息或者经由网络传送 的图像信息。图像信息转换单元313将图像信息获取单元301获取的图像信息
转换为YUV格式的图像信息。成像条件获取单元303从图像信息获取单元301获取的图像信息获取成像 条件。图像信息转换单元314将图像信息合成单元107生成的YUV格式的图 像信息转换为其他4各式的图像信息。图像信息输出单元309将经过图像信息转 换单元314转换的图像信息输出到HDD或者打印机。说明上述结构的图像处理装置进行的图像处理。图16A和16B是图像信 息获取单元，图像4言息转换单元，分量分离单元，成像条件获取单元，滤波器 确定单元，亮度分量边缘提取单元，亮度分量噪声去除单元，色彩分量噪声去 除单元，图像信息合成单元，图像信息转换单元，以及图像信息输出单元进行 的图像处理过程的流程图。根据本实施例的图像处理过程与图6A和6B描绘的流程图大致相似，因 此这里仅说明不同的部分。对于步骤S1605到S1614,参考图6A和6B中的 说明，这里不再说明这些步骤。图像信息获取单元301获取存储在存储介质中的图像信息或者经由网络 传送的图像信息(步骤S1601 )。图像信息转换单元313将图像信息获取单元 301获取的图像信息转换为YUV格式的图像信息(步骤S1602)。例如，当获 取的图像信息是RGB格式时，通过下面的转换方程将这种图像信息转换到 YUV格式的图像信息。<formula>formula see original document page 22</formula>分量分离单元102将经过转换的YUV格式的图像信息分离为亮度信息和 色彩信息(步骤S1603 )。成像条件获取单元303从图像信息获取单元301获 取的图像信息获取成像条件(步骤S1604)。例如，当图像信息为可交换图像 文件格式(Exif)时，图像信息中额外地记录了成像设备的数据，诸如制造商， 型号编号，成像感光度，以及成像设备拍摄时的曝光时间。对于步骤S1605到S1614的说明，参考图6A和6B的说明。图像信息转 换单元314将图像信息合成单元107生成的YUV格式的图像信息转换为例如 RGB格式的图像信息(步骤S1615 )。当将YUV格式的图像信息转换到RGB
格式的图像信息时，使用下面的转换方程进行转换。<formula>formula see original document page 23</formula>图像信息输出单元309将经过图像信息转换单元314转换获得的图像信息 输出到存储介质或者打印机(步骤S1616)。以这种方式，即使在图像处理装置中，将YUV格式的图像信息分离为亮 度信息和色彩信息；从亮度信息提取边缘信息；从亮度信息和色彩信息去除噪 声；并且组合边缘信息，亮度信息和色彩信息。由此，可以在抑制边缘模糊化 的情况下有效地去除噪声来保持高图像质量。同时，通过使用适合于分离获得 的亮度信息和色彩信息的每个的滤波器去除了噪声。由此，可以考虑到人眼的 特性执行有效的噪声去除。第二实施例中说明的缩放处理可以结合到本实施例中。由此，即使在图像 处理装置中，即使由于成像感光度的增加而导致噪声的尺寸增加从而必须增加 噪声滤波器的尺寸，对于噪声去除处理对亮度信息和色彩信息进行缩放，接着 在处理之后以倒数缩放因子进行缩放。由此，可以减少噪声去除处理所需要的 时间，从而以高速度实现有效的噪声去除处理。图17是根据第三实施例的图像处理装置的硬件结构的框图。图像处理装 置300包括中心控制每个元件的CPU24, CPU24经由总线连接了其中存储了 基本输入输出系统(BIOS)等的ROM 22和可写地存储了各种数据并且作为 CPU的工作区域的RAM21,从而形成微计算机。此外，总线连接了存储了控 制程序的HDD 25,读取CD-ROM 28的CD-ROM驱动器26,以及作为用于 与打印机单元之类通信的接口的接口 (I/F) 23。图17中描绘的CD-ROM 28中存储了预定的控制程序。CPU 24在 CD-ROM驱动器26处读取存储在CD-ROM 28中的控制程序，接着将程序安 装到HDD25。由此，可以执行上述的各种处理。同时，存储卡29中存储了 图像信息等，由存储卡驱动器27读取。作为存储介质，除了 CD-ROM或者存储卡，还可以使用各种介质，诸如 包括DVD的各种光盘，各种磁光盘，包括软盘的各种磁盘，以及半导体存储200710139758.3说明书第18/27页器。同时，程序可以在诸如互联网的网络上下载，并且可以安装到HDD25中。 在此情况下，在发送侧的服务器上存储了程序的存储设备也是根据本发明的存 储介质。这里，程序可以在预定的操作系统(OS)上工作。在此情况下，下 面将进一步说明的各种处理的一部分可以由OS执行或者可以包括在预定的应 用程序软件中，诸如文字处理器软件，或者作为形成操作系统等的一组程序文 件的一部分。如同第一实施例那样，边缘提取滤波器尺寸数据库120，参数数据库130， 噪声去除滤波器尺寸数据库140，以及高斯cj值数据库150可以用任何通常使 用的存储介质来配置，诸如HDD，光盘，以及存储卡。还有，要在根据本实施例的图像处理装置上执行的图像处理程序可以存储 在连接到诸如互联网的网络的计算机上，并且可以经由网络下载来提供。还有， 要在根据本实施例的图像处理装置上执行的图像处理程序可以经由诸如互联 网的网络来提供或者分配。此外，根据本实施例的图像处理程序可以预先集成在ROM之类中来提供。要在根据本实施例的图像处理装置上执行的图像处理程序以可安装或者 可执行的格式记录在计算机可读存储介质上，诸如CD-ROM， FD， CD-R,或 DVD来提供。要在根据第三实施例的图像处理装置上执行的图像处理程序具有包括每 个元件(图像信息获取单元，图像信息转换单元，分量分离单元，成像条件获 取单元，滤波器确定单元，亮度分量边缘提取单元，亮度分量噪声去除单元， 色彩分量噪声去除单元，图像信息合成单元，图像信息输出单元等)的模块结 构。作为实际硬件，随着CPU (处理器)从存储介质读出图像处理程序用于 执行时，每个单元(即，图像信息获取单元，图傳 f言息转换单元，分量分离单 元，成像条件获取单元，滤波器确定单元，亮度分量边缘提取单元，亮度分量 噪声去除单元，色彩分量噪声去除单元，图像信息合成单元，图像信息输出单 元等)被加载并生成到主存储设备上。下面说明本发明的第四实施例。首先，说明应用了本发明的数字照相机中 包括的图像处理单元的结构示例。图18是根据本发明第四实施例的图像处理 单元400的框图。
图像处理单元400包括图像信息获取单元101,高感光度(sensitive)低 分辨率图像生成单元415,分量分离单元402,色彩分量噪声去除单元406, 亮度分量噪声去除单元405,亮度分量边缘提取单元410,缩放单元411,亮 度分量合成单元416,图像信息合成单元407,以及图像信息输出单元109。 图像信息获取单元101和图像信息输出单元109的结构和功能类似于第一实施 例中的那些单元，这里不再说明。高感光度低分辨率图像生成单元415将图像信息获取单元101获取的图像 信息中多个相邻像素的像素值相加来计算一个像素值，从而从获取的图像信息 生成高感光度低分辨率图像信息。例如，当将四个相邻像素值相加时，像素的 数量变为四分之一。然而，每个像素的光量变为四重，因此感光度变为四重。 这里，将它们的像素值相加的像素的数量不限制为四个。同时，将它们的像素 值相加的像素形成的形状不限制于正方形，而是可以是各种多边形，直线或者 多边形线中的任何一个。分量分离单元402将高感光度低分辨率图像生成单元415生成的高感光度 低分辨率图像信息分离为亮度信息和色彩信息。同时，分量分离单元402将图 像信息获取单元101获取的图像信息分离为亮度信息和色彩信息。这里，相对 于通过将像素值相加生成的高感光度低分辨率图像信息，图像信息获取单元 101获取的图像信息为低感光度高分辨率图像信息。色彩分量噪声去除单元406使用存储在装置中的滤波器来从色彩信息中 去除噪声。这里，作为滤波器，除了如同在第一实施例中说明的存储在装置中 的滤波器之外，可以从对应于成像条件的cr值计算高斯平滑滤波器，并且计算 的滤波器可以用于从色彩信息中去除噪声。亮度分量噪声去除单元405使用存储在装置中的滤波器来从亮度信息中 去除噪声。这里，作为滤波器，除了如同在第一实施例中说明的存储在装置中的滤波器之外，可以从对应于成像条件的CJ值计算高斯平滑滤波器，并且计算的滤波器可以用于从亮度信息中去除噪声。亮度分量边缘提取单元410使用存储在装置中的滤波器来从亮度信息中 提取边缘信息。这里，作为滤波器，除了如同在第一实施例中说明的存储在装 置中的滤波器之外，可以从对应于成像条件的a值和k值计算高斯拉普拉斯
(LOG)滤波器，并且计算的滤波器可以用于提取边缘信息。缩放单元411对由色彩分量噪声去除单元406去除了噪声的色彩信息进行 缩放，并且对通过分量分离单元402的分离获得的亮度信息执行缩放。例如， 高感光度低分辨率图像生成单元415将四个像素值相加来计算一个像素值来 生成高感光度低分辨率图像信息，并且当图像尺寸变为四分之一时，将每个像 素值放大四倍，从而图像具有原始的图像尺寸。亮度分量合成单元416从经过缩放单元411的缩放的亮度信息，由亮度分 量噪声去除单元405去除了噪声的亮度信息，以及从亮度分量边缘提取单元 410提取的边缘信息来组合亮度信息。图像信息合成单元407从经过缩放单元411的缩放的色彩信息以及由亮度 分量合成单元416合成的亮度信息合成图像信息。下面，说明上述结构的图像处理单元400进行的图像处理。图19是图像 信息获取单元，高感光度低分辨率图像生成单元，分量分离单元，色彩分量噪 声去除单元，亮度分量噪声去除单元，亮度分量边缘提取单元，缩放单元，亮 度分量合成单元，图像信息合成单元，以及图像信息输出单元进行的图像处理 过程的流程图。首先，图像信息获取单元101从临时存储存储器获取图像信息(步骤 S1901 )。高感光度低分辨率图像生成单元415将图像信息中的相邻像素值相加 来生成高感光度低分辨率图像信息(步骤S1902)。由此，减少了像素值的数 量，但是增加了每个像素的曝光量。分量分离单元402将高感光度低分辨率图 像信息分开为色彩信息(CrCb信号)和亮度信息(Y信号)(步骤S1903 )。 色彩分量噪声去除单元406从通过分离获得的色彩信息去除噪声(步骤 S1904)。对于这里的噪声去除处理使用低通滤波器(例如，平滑滤波器)。图 20是用于说明具有3x3的滤波器尺寸的平滑滤波器的示例的图示。缩放单元411将去除了噪声的色彩信息缩放到原始图像尺寸(步骤 S1905 )。缩放单元411将通过分离获得的亮度信息缩放到原始图像尺寸(步骤 S1906)。由此，通过分离从通过将像素值相加生成的高感光度低分辨率图像信 息获得的亮度信息和通过分离从高感光度低分辨率图傳^信息获得、并且进一步 去除了噪声的色彩信息具有将像素值相加之前的图像尺寸。
分量分离单元402将图像信息获取单元101获取的图像信息分离为色彩信 息(CrCb信号)和亮度信息(Y信号)(步骤S1907)。亮度分量噪声去除单 元405从通过分离获得的亮度信息去除噪声(步骤S1908)。对于这里的噪声 去除处理，如同色彩分量噪声去除单元406中的处理，使用低通滤波器(例如， 图20所示的平滑滤波器)。同时，亮度分量边缘提取单元410从通过分离获得的亮度信息中提取边缘 信息(步骤S1909)。这里，对于边缘提取处理，使用LoG滤波器作为边缘提 取滤波器。滤波器可以通过使用上述的方程(l)计算。图21是用于说明具有 5x5的滤波器尺寸的边缘提取滤波器的示例的图示。还有，对于边缘分量提取 处理，使用上述的方程(3)。图22是用于说明分离的亮度信息的图示。图23 是用于说明从亮度信息提取边缘获得的结果的图示。以这种方式，当通过使用 如图21所示的边缘提取滤波器从如图22所示的亮度信息提取边缘时，提取了 如同图23中所示的边缘分量。亮度分量合成单元416从通过从高感光度低分辨率图像信息分离获得并 且经过缩放的亮度信息，去除了噪声的亮度信息，以及边缘信息合成亮度信息 (步骤S1910)。图24是说明组合亮度信息和边缘信息获得的结果的图示。如 图24中那样提取边缘分量，并且与通过从高感光度低分辨率图像信息分离获 得并经过缩放的亮度信息以及去除了噪声的亮度信息组合。由此，可以获得高 质量的图像而不降低图像的分辨率。图像信息合成单元407从通过从高感光度 低分辨率图像信息分离获得并经过缩放的色彩信息以及合成的亮度信息来合 成图像信息(步骤S1911 )。图像信息输出单元109输出经过合成的图像信息 (步骤S1912)。这里，步骤S1907到S1909的处理和步骤S1902到S1906的 处理可以同时扭Z亍。以这种方式，从来自高感光度低分辨率图像信息的亮度信息，去除了噪声 的色彩信息，来自高感光度低分辨率图像信息的去除了噪声的亮度信息，以及 边缘信息来合成图像信息。由此，即使成像时的曝光时间短也可以去除噪声， 从而获得具有良好的色彩再现性和白平衡，并且具有图像的色彩和亮度之间出 色的平衡的图像信息。从高感光度低分辨率图像信息分离的亮度信息经过缩放并且组合到图像
信息，从而抑制了合成的图像的噪声。即，如果不变地使用图像信息的亮度值， 由于图像信息的亮度值低，必须放大图像信息的亮度值来增加它。由此，也增 强了噪声。另一方面，组合了高感光度低分辨率图像的亮度信息，可以减少对 于图像信息的放大的缩放因子。因此，减少了噪声的放大因子，从而減少了合 成的图像的噪声分量。结果是，减少了合成的图像的噪声。根据第四实施例，由成像单元拍摄图像，并且通过使用存储在临时存储存 储器中的一段图像信息，生成高感光度低分辨率图像信息和低感光度高分辨率 图像信息。替代地，高感光度低分辨率图像信息和低感光度高分辨率图像信息 可以通过使用通过由成像单元拍摄图像两次获得的两段图l象信息生成。此时， 两段图像信息可以以相同的曝光时间生成。替代地，两段图像信息可以以不同 的曝光时间生成，并且具有长曝光时间的图像信息可以用于生成高感光度低分 辨率图像信息，具有短曝光时间的图像信息可以用于生成低感光度高分辨率图 像信息。下面，描述数字照相机，即进行图像处理的成像设备的一个示例的硬件结 构。数字照相机的硬件结构类似于图11中的结构。因此，参考图11及其说明， 这里只说明不同的部分。CCD 3将形成在成像表面的光学图像转换为电信号来作为模拟图像信息 输出。在上述的图像处理单元400中， 一次拍摄的图像信息用于生成高感光度 低分辨率图像信息和低感光度高分辨率图像信息。替代地，可以通过两次曝光 顺序地输出图像信息，并且可以使用输出图像信息。在此情况下，对一段曝光 的图像信息执行将像素值相加的处理。从CCD3输出的图像信息由CDS电路 4去除了噪声分量，由A/D转换器5转换为数字值，接着输出到图像处理电路 8。这里，噪声去除由电路执行，不同于通过图像处理的噪声去除。图像处理电路8使用临时存储图像信息的SDRAM 12来进行各种图像处 理，包括YCrCb转换，白平衡控制，对比度校正，边缘增强，以及色彩转换。 这里，白平衡控制是调节图像信息的色彩浓度的图像处理，而对比度校正是调 节图像信息的对比度的图像处理。边缘增强是调节图像信息的清晰度的图像处 理，而色彩转换是调节图像信息的色彩的暗度的图像处理。还有，图像处理电 路8使得图^象信息经过信号处理和图像处理以便显示在液晶LCD 16上。
当数字照相机执行高感光度图像合成处理时，系统控制器从ROM 11加载 图像处理程序到RAM IO来执行。图像处理程序经由系统控制器访问临时存储 在SDRAM中的YCrCb图^^来获得用于色彩分量噪声去除，亮度分量噪声去 除，以及亮度分量边缘提取的参数和滤波器来进行这些处理。根据本实施例的要在数字照相机上执行的图像处理程序具有包括每个元件(图像信息获取单元，高感光度低分辨率图像生成单元，分量分离单元，色 彩分量噪声去除单元，缩放单元，亮度分量边缘提取单元，亮度分量噪声去除 单元，亮度分量合成单元，图像信息合成单元，图像信息输出单元等)的模块 结构。作为实际硬件，随着CPU (处理器)从存储介质读出图像处理程序来 执行，每个单元(即，图像信息获取单元，高感光度低分辨率图像生成单元， 分量分离单元，色彩分量噪声去除单元，缩放单元，亮度分量边缘提取单元， 亮度分量噪声去除单元，亮度分量合成单元，图像信息合成单元，图像信息输 出单元等)被加载并生成到主存储设备上。参考附图，说明第五实施例。首先，说明应用了本发明的图像处理装置的 结构示例。图25是根据第五实施例的图像处理装置500的结构的框图。根据本实施例的图像处理装置500包括图像信息获取单元501，分量转换 单元517,分量分离单元402，色彩分量噪声去除单元406,缩放单元411,亮 度分量噪声去除单元405，亮度分量边缘提取单元410，亮度分量合成单元416， 图像信息合成单元407，分量转换单元518,成像条件获取单元303,以及图 像信息输出单元309。这里，分量分离单元402，色彩分量噪声去除单元406， 缩放单元411,亮度分量噪声去除单元405,亮度分量边缘提取单元410，亮 度分量合成单元416,图像信息合成单元407的结构和功能类似于第四实施例 中的那些单元。另夕卜，成像条件获取单元303以及图像信息输出单元309结构 和功能类似于第三实施例中的那些单元。因此，这里不再说明这些元件。图像信息获取单元501获取存储在存储器中的高感光度低分辨率图像信 息和低感光度高分辨率图像信息。通过将成像单元拍摄的图像信息的多个像素 的像素值相加，以类似于第四实施例的方式生成高感光度低分辨率图像信息。 在本实施例中，将诸如将它们在拍摄时的像素值相加的像素的数量的成像条 件，增加到通过在拍摄时执行像素值相加处理生成的高感光度低分辨率图像信
息中。例如，高感光度低分辨率图像信息存储在数字照相机的存储卡中。还有， 存储添加了成像条件的拍摄图像信息(低感光度高分辨率图像信息)。例如， 当图像信息为Exif格式时，添加到图像信息的成像条件包括制造商，型号编 号，成像感光度，以及成像设备拍摄时将它们的像素值相加的像素的数量。这 里，由于将像素值相加减小了高感光度低分辨率图像信息的图像尺寸，低感光 度高分辨率图像信息的图像尺寸为常规尺寸。分量转换单元517将RGB格式的图像信息转换为YCrCb格式的图像信 息。分量转换单元518将YCrCb格式的图像信息转换为RGB格式的图像信息。下面，说明上述配置的图^f象处理装置500的图像处理。图26是图像信息 获取单元，分量转换单元，分量分离单元，色彩分量噪声去除单元，缩放单元， 亮度分量噪声去除单元，亮度分量边缘提取单元，亮度分量合成单元，图像信 息合成单元，以及图像信息输出单元进行的图像处理过程的流程图。才艮据第五实施例的过程与图19描绘的流程图大致相似，因此仅说明不同 的部分。对于步骤S2609到S2612，参考图19中的说明，这里不再说明这些首先，图像信息获取单元501从存储器中获取RGB格式的高感光度低分 辨率图像信息(步骤S2601 )。由于高感光度低分辨率图像信息包括成像条件， 例如，也获得了拍摄时将它们的像素值相加的像素的数量。分量转换单元517 将RGB格式的图像信息转换为YCrCb格式的图像信息(步骤S2602 )。分量 分离单元402将高感光度低分辨率图像信息分离为色彩信息(CrCb信号)和 亮度信息(Y信号)(步骤S2603 )。色彩分量噪声去除单元406从通过分离获 得的色彩信息去除噪声(步骤S2604)。缩放单元411使用作为成像条件获得的将它们的像素值相加的像素的数 量，将去除了噪声的色彩信息缩放到原始尺寸(步骤S2605)。缩放单元411 使用作为成像条件获得的将它们的像素值相加的像素的数量，将通过分离获得 的亮度信息缩放到原始尺寸(步骤S2606)。由此，通过分离从通过将像素值 相加生成的高感光度低分辨率图像信息获得的亮度信息和去除了噪声的色彩 信息具有将像素值相加之前的原始图像尺寸。图像信息获取单元501从存储器中获取RGB格式的低感光度高分辨率图
像信息(步骤S2607)。由于低感光度高分辨率图像信息包括成像条件，也获 得了成像条件。分量转换单元517将RGB格式的图傳_信息转换为YCrCb格式 的图像信息(步骤S2608)。对于步骤S2609到S2612,参考图19的说明。图像信息合成单元407自通过分离获得并经过缩放的色彩信息的图像信 息以及合成的亮度信息合成图像心思(步骤S2613)。分量转换单元518将 YCrCb格式的图像信息转换为RGB格式的图像信息(步骤S2614)。图像信息 输出单元309将经过转换的图像信息输出到存储介质或者打印机(步骤 S2615 )。这里，步骤S2607到S2611的处理可以与步骤S2601到S2606的处 理同时进行。以这种方式，即使在图像处理装置中，从来自高感光度低分辨率图像信息 的亮度信息，去除了噪声的色彩信息，来自高感光度低分辨率图像信息并去除 了噪声的亮度信息，以及边缘信息合成图像信息。由此，即使当成像时曝光时 间短也可以去除噪声，从而获取具有良好的色彩再现性和白平衡，并且具有图 像的色彩和亮度之间出色的平衡的图像信息。根据第五实施例，从在拍摄时将像素值相加来生成高感光度低分辨率图像 信息，并获得存储在存储器中的高感光度低分辨率图^^象信息和低感光度高分辨 率图像信息开始说明了处理。替代地，如同第四实施例那样， 一拍摄的图像信 息段可以存储在存储器中，并且可以作为图像处理来进行将像素值相加的处理 来生成高感光度低分辨率图像信息。还有替代地，可以通过成像单元拍摄两段 图像信息，可以对这些图像信息段中的一段执行将像素值相加的处理，接着可 以进行上述的图像处理。描述根据本实施例的图像处理装置的硬件结构。由于图像处理装置的硬件 结构类似于上述的图17中的那个结构，所以参考图17及其说明。在前面，尽管通过使用第一到第五实施例说明了本发明，可以对上述的实 施例进行各种修改和改进。这里，可以自由地组合上述的第一到第五实施例中 说明的结构和功能。如上所述，根据本发明的一个方面，组合预先才是取的边缘信息来生成图像 信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘模糊化 的图像。
此外，根据本发明的另一个方面，通过常规滤波处理提取边缘信息。因此， 可以实现这样的效果，即，可以容易地进行边缘^是取处理。此外，根据本发明的还有另一个方面，可以实现这样的效果，即可以获得 具有高质量和较少边缘模糊化的图像。此外，根据本发明的还有另一个方面，通过基于对应于成像条件的CJ值和 k值找到的滤波器提取边缘信息。因此，可以实现这样的效果，即可以获得具 有高质量和较少边缘模糊化的图像。此外，根据本发明的还有另一个方面，通过对应于成^f象条件的滤波器提取 边缘信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘冲莫 糊化的图像。更进一步，根据本发明的还有另一个方面，可以进行适合于图像质量等级 的边缘提取。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘 模糊化的图像。此外，根据本发明的还有另一个方面，可以进行适合于图像质量等级的边 缘提取。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘才莫糊 化的图像。此外，根据本发明的还有另一个方面，可以进行适合于图像质量等级的边 缘提取。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘才莫糊 化的图像。此外，根据本发明的还有另一个方面，在放大或者缩小亮度信息和色彩信 息之后进行噪声去除处理。因此，可以实现这样的效果，即可以减少噪声去除 处理的时间。此外，根据本发明的还有另一个方面，增加图像信息的感光度。因此，可 以实现这样的效果，即可以得到具有出色的色彩再现性和白平衡的高质量图 像。此外，根据本发明的还有另一个方面，从高感光度低分辨率色彩信息去除 噪声。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘模糊化 的图像。此外，根据本发明的还有另一个方面，组合之前提取的边缘信息来生成图
像信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘模糊 化的图像。此外，根据本发明的还有另 一个方面，可以改进成像的图像信息的感光度。 因此，可以实现这样的效果，即可以得到具有出色的色彩再现性和白平衡的高 质量图像。此外，根据本发明的还有另一个方面，组合之前提取的边缘信息来生成图 像信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘模糊 化的图像。此外，根据本发明的还有另一个方面，组合之前才是取的边缘信息来生成图 像信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘才莫糊 化的图像。同时，在放大或者缩小亮度信息和色彩信息之后进行噪声去除处理。 因此，可以实现这样的效果，即可以减少噪声去除处理的时间。此外，根据本发明的还有另 一个方面，可以改进成像的图像信息的感光度。 因此，可以实现这样的效果，即可以得到具有出色的色彩再现性和白平衡的高 质量图像。此外，根据本发明的还有另一个方面，组合之前提取的边缘信息来生成图 像信息。因此，可以实现这样的效果，即可以获得具有高质量和较少边缘模糊 化的图像。同时，在放大或者缩小亮度信息和色彩信息之后进行噪声去除处理。 因此，可以实现这样的效果，即可以减少噪声去除处理的时间。更进一步，可 以改进成像的图像信息的感光度。因此，可以实现这样的效果，即可以得到具 有出色的色彩再现性和白平衡的高质量图像。当结合附图考虑，通过阅读本发明当前优选实施例的下列详细描述，将更 好地理解本发明的上述和其他目标，特征，优点和技术和工业重要性。3权利要求
1.一种图像处理装置，其包括图像信息获取单元(101)，用于获取图像信息；图像分量分离单元(102)，用于将图像信息获取单元(101)获取的图像信息分离为亮度信息和色彩信息；边缘提取单元(110)，用于从图像分量分离单元(102)分离的亮度信息提取边缘信息；亮度噪声去除单元(105)，用于从图像分量分离单元(102)分离的亮度信息去除噪声；色彩噪声去除单元(106)，用于从图像分量分离单元(102)分离的色彩信息去除噪声；以及图像信息合成单元(107)，用于基于边缘提取单元(110)提取的边缘信息，由亮度噪声去除单元(105)去除了噪声的亮度信息，和由色彩噪声去除单元(106)去除了噪声的色彩信息合成图像信息。
2. 根据权利要求1所述的图像处理装置，其中边缘提取单元(110)通过 使用滤波器从亮度信息提取边缘信息。
3. 根据权利要求2所述的图^^处理装置，进一步包括 滤波器尺寸存储单元(120),用于相互关联地存储指示图像信息成像时的成像状态的成像条件以及滤波器的尺寸；成像条件获取单元(103 )，用于获取成像条件；滤波器确定单元(104),用于从滤波器尺寸存储单元(120)指定与成像 条件获取单元(103)获取的成像条件相关联的滤波器的尺寸，其中边缘提取单元(110)通过使用具有滤波器确定单元(104)指定的尺寸的 滤波器从亮度信息提取边缘信息。
4. 根据权利要求3所述的图像处理装置，进一步包括 参数存储单元(130 )，用于相互关联地存储指示图像信息成像时的成像状态的成像条件以及a值和k值，cj值和k值是高斯拉普拉斯函数中的参数，其 滤波器确定单元(104)指定与成像条件获取单元(103 )获取的成像条件 相关联的(J值和k值，并且基于指定的a值和k值定义的高斯拉普拉斯函数确 定滤波器，并且边缘提取单元(110)通过使用滤波器确定单元(104)确定的滤波器从亮 度信息提取边缘信息。
5. 根据权利要求2所述的图像处理装置，进一步包括 滤波器存储单元，用于相互关联地存储指示图像信息成像时的成像状态的成像条件以及提取边缘的滤波器；成像条件获取单元(103 ),用于获取成像条件；滤波器确定单元(104)，用于确定与成像条件获取单元(103)获取的成 像条件相关联的滤波器，其中边缘提取单元(110)通过使用滤波器确定单元(104)确定的滤波器从亮 度信息提取边缘信息。
6. 根据权利要求3到5中任一项所述的图像处理装置，其中成像条件包 括曝光时间。
7. 根据权利要求3到6中任一项所述的图像处理装置，其中成像条件包 括成像时的温度。
8. 根据权利要求3到7中任一项所述的图像处理装置，其中成像条件包 括成像感光度。
9. 根据权利要求1到8中任一项所述的图像处理装置，进一步包括 缩放单元(211)，用于对图像分量分离单元(102)分离获得的亮度信息和色彩信息进行缩放，其中亮度噪声去除单元(105 )从缩放单元(211 )进行了缩放的亮度信息去除 噪声；且色彩噪声去除单元(106)从缩放单元(211)进行了缩放的色彩信息去除 噪声。
10. —种图像处理装置，其包括 图像信息获取单元(101)，用于获取图像信息；高感光度低分辨率图像生成单元(415),用于通过将图像信息获取单元 (101)获取的图像信息中多个相邻像素值相加产生一个像素值，来生成高感 光度低分辨率图像；缩放单元(411 )，用于放大或者缩小高感光度低分辨率图像生成单元(415 ) 生成的高感光度低分辨率图像信息；以及图像信息合成单元(407),用于从图像信息获取单元(101)获取的图像 信息和缩放单元(411)放大或者缩小的高感光度低分辨率图像信息合成图像 信息。
11. 根据权利要求IO所述的图像处理装置，进一步包括 图像分量分离单元(402)，用于将高感光度低分辨率图像生成单元(415)生成的高感光度低分辨率图像信息分离为高感光度低分辨率亮度信息和高感 光度低分辨率色彩信息；以及色彩噪声去除单元(406),用于从图像分量分离单元(402)分离的高感 光度低分辨率色彩信息去除噪声，其中缩放单元(411)放大或者缩小图像分量分离单元(402)分离的高感光度 低分辨率亮度信息，以及由色彩噪声去除单元(406)去除了噪声的高感光度 低分辨率色彩信息，并且图像信息组合单元(407)从图像信息获取单元(101)获取的图像信息， 和缩放单元(411)放大或者缩小的高感光度低分辨率色彩信息和高感光度低分辨率亮度信息来合成图像信息。
12. 根据权利要求10或11所述的图像处理装置，其中 图像分量分离单元(402)进一步将图像信息获取单元(101 )获取的图像信息分离为亮度信息和色彩信息， 图像处理装置进一步包括亮度噪声去除单元(405 )，用于从图像分量分离单元(402)分离的亮度 信息去除噪声；以及边缘提取单元(410),用于从图像分量分离单元(402)分离的亮度信息 提取边缘信息；图像信息合成单元(407),用于从缩放单元(411)放大或者缩小的高感 光度低分辨率图像信息，由亮度噪声去除单元(405)去除了噪声的亮度信息， 以及边缘提取单元(410)提取了边缘的边缘信息来合成图像信息。
13. —种成像装置，其包括成l象单元，用于捕获目标的图像，并且输出目标的图像信息；以及 冲艮据权利要求1到12任一项所述的图像处理装置，其中 图像信息获取单元(101)从成像单元获取图像信息。
14. 一种图像处理方法，其包括 获取图像信息；将获取步骤中获耳又的图^象信息分离为亮度信息和色彩信息； 从分离步骤中分离的亮度信息提取边缘信息； 亮度噪声去除，包括从分离步骤中分离的亮度信息去除噪声； 色彩噪声去除，包括从分离步骤中分离的色彩信息去除噪声；以及 基于提取步骤中提取的边缘信息，亮度噪声去除步骤中去除了噪声的亮度 信息，和色彩噪声去除步骤中去除了噪声的色彩信息生成图像信息。
15. —种图像处理方法，其包括 获取图像信息；将获取步骤中获取的图像信息分离为亮度信息和色彩信息； 从分离步骤中分离的亮度信息提取边缘信息； 对分离步骤中分离的亮度信息和色彩信息进行缩放； 亮度噪声去除，包括从缩放步骤中进行了缩放的亮度信息去除噪声； 色彩噪声去除，包括从缩放步骤中进行了缩放的色彩信息去除噪声；且 基于提取步骤中提取的边缘信息，亮度噪声去除步骤中去除了噪声的亮度 信息，和色彩噪声去除步骤中去除了噪声的色彩信息生成图像信息。
16. —种图像处理方法，其包括 获取图像信息；通过将获取步骤中获取的图像信息中多个相邻^^素值相加产生一个像素值，来生成高感光度低分辨率图像；放大或者缩小生成步骤中生成的高感光度低分辨率图像信息；以及 从获取步骤中获取的图像信息，和缩放步骤中放大或者缩小的高感光度低分辨率图像信息来合成图像信息。
17. —种计算机程序产品，其包括包含计算机可读程序代码的计算机可用介质，该计算机可读程序代码在执行时引起计算机执行根据权利要求14到16 中任一项所述的图^f象处理方法。
全文摘要
本发明涉及图像处理装置和方法，成像装置以及计算机程序产品。图像信息获取单元(101)获取图像信息。图像分量分离单元(102)将图像信息获取单元(101)获取的图像信息分离为亮度信息和色彩信息。边缘提取单元(110)从图像分量分离单元(102)分离的亮度信息提取边缘信息。亮度噪声去除单元(105)从图像分量分离单元(102)分离的亮度信息去除噪声。色彩噪声去除单元(106)从图像分量分离单元(102)分离的色彩信息去除噪声。图像信息组合单元(107)基于边缘提取单元(110)提取的边缘信息，由亮度噪声去除单元(105)去除了噪声的亮度信息和由色彩噪声去除单元(106)去除了噪声的色彩信息合成图像信息。
文档编号G06T5/00GK101119448SQ200710139758
公开日2008年2月6日 申请日期2007年7月30日 优先权日2006年7月31日
发明者关海克 申请人:株式会社理光