专利名称：图像处理装置、图像处理方法及摄像装置的制作方法
技术领域：
本发明涉及一种保存图像边缘的同时去除噪声的图像处理装置、图像处理方法及摄像装置。
背景技术：
在利用照相机拍摄图像的时候，图像的色泽在很大程度上依靠照明。例如，拍摄被蜡烛光照射的被摄体时，成为偏橙色色泽的图像，拍摄被月光照射的被摄体时，成为偏青色色泽的图像。即使是同样的地点，也根据拍摄时的照明，可拍摄成完全不同的图像。
在拍摄图像的时候，不使用闪光灯等特别的照明器材，利用自然的光(以下记为自然光)可以再现正确的色泽，但在室内或夜间拍摄时，产生曝光少、图像中包含噪声的问题。另一方面，使用闪光灯时曝光量增加，边缘和细节部分被清晰地拍摄，但是会产生以下问题色泽变得不正确，或者产生实际上不存在的影子和高光区。
以往，为了解决这种问题，提出了如图12所示的图像处理装置11。图像处理装置11具备两个低通滤波器12、13；一个高通滤波器14；两个图像合成部15、17；以及一个阴影抽出部16。
低通滤波器13是交叉双向滤波器(cross bilateral filter)，从使用了闪光灯的图像(以下记为闪光灯图像)检测出边缘，去除没有使用闪光灯的图像(以下记为自然光图像)的噪声。高通滤波器14抽出闪光灯图像的边缘。在边缘的抽出中进行用闪光灯图像除自然光图像的各像素值的处理。
图像合成部15对用低通滤波器13去除了噪声的自然光图像和用高通滤波器14抽出了边缘的闪光灯图像进行合成，生成合成图像Comp。在图像的合成中进行将低通滤波器13的像素值与高通滤波器14的输出图像的像素值相乘的处理。合成图像Comp具备闪光灯图像和自然光图像的优点，色泽正确噪声变少。
低通滤波器12去除自然光图像的噪声。作为低通滤波器12，使用双向滤波器。双向滤波器是利用一幅图像进行该图像的边缘检测和噪声去除的滤波器。
阴影抽出部16抽出闪光灯图像和自然光图像的两幅图像的区别，根据高光区和影子，评价图像变化的概率。图像合成部17根据阴影抽出部16的评价结果，进行来自低通滤波器12的输出图像和图像合成部15的合成图像Comp的加权加法。图像合成部17，根据是否有闪光灯，在产生影子和高光区可能性高的部分中使图像的权重变高，在可能性低的部分中使图像Comp的权重变高。图像合成部17从合成图像Comp去除不需要的影子和高光区，生成输出图像OUT。
这样，在现有的图像处理装置11中，生成对闪光灯图像的边缘进行了合成的图像、和不参照闪光灯图像的边缘而去除了噪声的图像的两幅图像，在由闪光灯产生影子和高光区的可能性高的像素中使低通滤波器12的输出图像的系数变高，在由闪光灯产生影子和高光区的可能性低的像素中使来自图像合成部15的合成图像Comp的系数变高，从而可以得到最佳地混和了闪光灯图像的边缘和自然光图像的色泽的图像(例如，非专利文献1)。
非专利文献1Georg Petschnigg Et al，Digital Photography with Flashand No-Flash Image pairs，acm Transaction on Graphics，Vol.23，Number 3，pp.664-672，August 2004
发明内容
如上所述，使用闪光灯时，图像的边缘和细节部分变得清晰，但是会产生在自然光中不存在的影子和高光区。在图像处理装置11中，虽然想要去除影子和高光区，同时仅留下边缘和细节部分，但是区分它们并不容易，需要很大的运算成本。
另外，在图像处理装置11中，需要闪光灯图像和自然光图像的两幅图像。由于不能同时拍摄闪光灯图像和自然光图像，因此存在不能应用于动态图像和运动的被摄体的问题。另外，也有在禁止使用闪光灯的地点不能取得闪光灯图像的问题。
本发明是鉴于上述问题而完成的，目的在于提供一种不使用给图像带来影响的照明器材、降低根据自然的光拍摄的图像的噪声的图像处理装置、图像处理方法及摄像装置。
为了达到上述的目的，应用了本发明的图像处理装置具备图像取得装置，取得可见光图像、和拍摄了与可见光图像相同的被摄体的不可见光图像；噪声降低装置，利用不可见光图像降低可见光图像的噪声。
应用了本发明的摄像装置具备可见光图像摄像装置，根据主要对可见光有灵敏度的第一分光特性，拍摄可见光图像；不可见光图像摄像装置，根据主要对不可见光有灵敏度的第二分光特性，拍摄不可见光图像；像差校正装置，校正可见光图像和不可见光图像的像差；噪声降低装置，利用不可见光图像降低可见光图像的噪声。
应用了本发明的图像处理方法具有图像取得步骤，取得可见光图像、和拍摄了与可见光图像相同的被摄体的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
应用了本发明的程序，使计算机执行规定处理，具有图像取得步骤，取得可见光图像、和与可见光图像对应且以与可见光图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
应用了本发明的记录介质，记录了使计算机执行规定处理的程序，具有图像取得步骤，取得可见光图像、和与可见光图像对应且以与可见光图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
根据本发明，利用可见光图像降低不可见光图像的噪声，因此可以不使用给图像带来影响的照明器材，降低根据自然的光拍摄的图像的噪声。
图1是表示摄像元件的结构的框图。
图2是表示图像处理部的结构的框图。
图3是表示低通滤波器的结构的框图。
图4是表示低通滤波器的动作的流程图。
图5是表示X方向的一级滤波器的动作的流程图。
图6是表示高通滤波器的结构的框图。
图7是表示图像处理部的第一变形例的框图。
图8是表示图像处理部的第二变形例的框图。
图9是表示像差校正部的结构的框图。
图10是表示像差校正部的动作的流程图。
图11是表示像差校正部中的比例值的算出处理的流程图。
图12是表示现有的图像处理装置的结构的框图。
符号说明1摄像装置；2摄像部；21摄像元件；22镜头；23马达；24驱动器；3图像处理部；32像差校正部；31增益调整部；33低通滤波器；34高通滤波器；35图像合成部。
具体实施例方式
下面参照
应用了本发明的摄像装置。图1表示摄像装置1的结构。摄像装置1具备摄像部2，拍摄可见光图像Visible和红外光图像Infr双方；图像处理部3，去除可见光图像Visible的噪声；存储器4，是图像和数据的存储区域；系统控制部8，向LCD(Liquid Crystal Display液晶显示器)5输出图像，通过串行接口6和USB(Universal Serial Bus通用串行总线)7等的接口与外部记录装置10进行数据收发；信号处理部9，对从摄像元件21输入的图像执行AGC(Automatic Gain Control自动增益控制)以及CDS(Correlated Double Sampling相关双采样)，输出到图像处理部3。
摄像部2输出可见光图像Visible和红外光图像Infr的RGB图像。例如，摄像部2具备构成CCD(Charge Coupled Device电荷耦合设备)或CMOS(Complementary Metal-Oxide Semiconductor互补金属氧化物半导体)的摄像元件21、进行镜头22的聚焦或快门的切换的马达23、控制马达23的驱动器24。
摄像元件21中有用于拍摄红外线图像Infr的摄像元件21、和用于拍摄可见光图像Visible的摄像元件21。拍摄红外光图像Infr的摄像元件21和拍摄可见光图像Visible的摄像元件21是相同像素数、相同视场角，在相同时刻只曝光相同时间。此外，摄像元件21既可以分别为可见光用和红外光用，也可以对一个摄像元件21的输出进行分光。
图像处理部3生成保存可见光图像Visible的边缘的同时去除了噪声的输出图像OUT。图2示出了图像处理部3的结构。图像处理部3由以下部分构成增益调整部31，调整可见光图像Visible的增益；低通滤波器33，去除可见光图像Visible的噪声；高通滤波器34，抽出红外光图像Infr的边缘及细节部分；图像合成部35，对作为低通滤波器33的输出图像的基础图像Base和作为高通滤波器34的输出图像的细节图像Edge进行合成。
增益调整部31通过调整增益，增大由于曝光不足而拍摄得暗的可见光图像Visible的像素值，设成接近以适当曝光拍摄的图像的像素值。作为增益的调整方法具有使可见光图像的像素值为常数倍的方法、或基于指数函数的伽马校正、基于多项式函数等的任意的增益调整方法等。调整后的像素值的最大值被限制。
图3示出了低通滤波器33的结构。低通滤波器33具备X边缘检测部41，检测出红外光图像Infr的X方向(宽度方向)的边缘；Y边缘检测部42，检测出红外光图像Infr的Y方向(高度方向)的边缘；X评价值存储部43，存储X方向的边缘评价值；Y评价值存储部44，存储Y方向的边缘评价值；三个X低通滤波器45a、45b、45c，去除X方向的边缘；三个Y低通滤波器46a、46b、46c，去除Y方向的边缘；三个X比较部47a、47b、47c，比较X边缘评价值和阈值；三个Y比较部48a、48b、48c，比较Y边缘评价值和阈值。
X低通滤波器是X方向的5×1接头(tap)的FIR低通滤波器。由X低通滤波器去除可见光图像的X方向的噪声。Y低通滤波器是Y方向的1×5分支的FIR低通滤波器。由Y低通滤波器去除可见光图像的Y方向的噪声。
X边缘检测部41是检测X方向的边缘的4×4的FIR滤波器，Y边缘检测部42是检测Y方向的边缘的4×4的FIR滤波器。X评价值存储部43对X边缘检测部41的滤波结果应用绝对值运算来算出边缘评价值，将该值作为X边缘图像进行存储。Y评价值存储部44对Y边缘检测部42的滤波结果应用绝对值运算来算出边缘评价值，将该值作为Y边缘图像进行存储。
X比较部47以及Y比较部48对边缘评价值和规定阈值进行比较。阈值n是边缘评价值的最大值的1/2。X比较部47a比较X方向的边缘评价值和阈值n，X比较部47b比较X方向的边缘评价值和阈值n/2，X比较部47c比较X方向的边缘评价值和阈值n/4。Y比较部48a比较Y方向的边缘评价值和阈值n，Y比较部48b是比较Y方向的边缘评价值和阈值n/2的比较部，Y比较部48c比较Y方向的边缘评价值和阈值n/4。
低通滤波器33由一级滤波器49a、二级滤波器49b、三级滤波器49c的三个阶段构成。低通滤波器33的级别取决于X比较部47以及Y比较部48中的阈值大小。将阈值为n的低通滤波器称为一级滤波器49a，将阈值为n/2的低通滤波器称为二级滤波器49b，将阈值为n/4的低通滤波器49c称为三级滤波器。
首先，可见光图像Visible被输出到X比较部47a。X比较部47a比较存储在X评价值存储部43中的X方向的边缘评价值和阈值n。X比较部47a在边缘评价值小于阈值n时，将可见光图像Visible输出到X低通滤波器45a，在边缘评价值大于等于阈值n时，将可见光图像Visible输出到Y比较部48a。比较部48b比较存储在Y评价值存储部44中的Y方向的边缘评价值和阈值n。比较部48b在边缘评价值小于阈值n时，将可见光图像Visible输出到Y低通滤波器46a，在边缘评价值大于等于阈值n时，将可见光图像Visible输出到下面的X比较部47b。
同样地，在X比较部47b、Y比较部48b、X比较部47c、Y比较部48c中比较边缘评价值和阈值，在小于阈值的时候将可见光图像Visible输出到后级的低通滤波器，在大于等于阈值的时候将可见光图像Visible输出到下一个比较部。
图4示出了低通滤波器33的动作。首先，低通滤波器33输入红外光图像Infr(步骤S1)。X边缘检测部41检测存在于红外光图像Infr的X方向的边缘。X评价值存储部43对X方向的边缘应用规定的绝对值运算来算出X方向的边缘评价值，将算出的边缘评价值作为X边缘图像进行存储(步骤S2)。Y边缘检测部42检测存在于红外光图像Infr中的Y方向的边缘。Y评价存储部44算出对Y方向的边缘应用了规定的绝对值运算的Y方向的边缘评价值，将算出的边缘评价值作为Y边缘图像进行存储(步骤S3)。
低通滤波器33在从增益调整部31输入可见光图像Visible时(步骤S4)，将输入的可见光图像Visible应用于一级滤波器49a，进行X方向的处理(步骤S5)。
图5示出了一级滤波器49a的X方向的处理。在一级滤波器49a的X方向的处理中，首先，将Y方向的坐标Y初始化为0(步骤S11)，将X方向的坐标X初始化为0(步骤S12)。X比较部47a从X评价值存储部43输入X评价值图像。X比较部47a比较X评价值图像的坐标(X，Y)中的X方向的边缘评价值和阈值n。坐标(X，Y)的边缘评价值小于阈值n的时候(步骤S13；“是”)，对坐标(X，Y)的可见光图像应用X低通滤波器45a(步骤S14)。另一方面，坐标(X，Y)的边缘评价值不小于阈值n的时候(步骤13；“否”)，移到步骤S15进行处理。在步骤S15中，使X坐标增加1(步骤S15)。比较X坐标的值和可见光图像Visible的宽度，如果坐标X小于可见光图像Visible的宽度(步骤S16；“是”)，就移到步骤S13进行处理。另一方面，如果坐标X不小于可见光图像Visible的宽度(步骤S16；“否”)，就使坐标Y增加1(步骤S17)。在步骤S18中，比较与Y坐标的值和可见光图像Visible的高度。如果Y坐标小于可见光图像Visible的高度(步骤S18；“是”)，就移到步骤S12进行处理。另一方面，如果Y坐标不小于可见光图像Visible的高度(步骤S18；“否”)，就结束一级滤波器的X方向的处理。一级滤波器对构成可见光图像的各像素的边缘评价值和阈值n进行比较，如果边缘评价值小于阈值n，就应用X低通滤波器45a去除X方向的噪声。
在一级滤波器中，在完成根据X方向的一级滤波器49a进行的处理时，进行根据Y方向的一级滤波器49a的处理。在此，进行与图5所示的X方向的一级滤波器49a大致相同的处理。在Y方向的一级滤波器49a中，作为边缘评价图像，使用Y边缘图像来代替X边缘图像；作为低通滤波器，使用Y低通滤波器46a来代替X低通滤波器45a(步骤S6)。
一级滤波器49a完成自身的处理时，将可见光图像Visible输出到二级滤波器49b中。二级滤波器49b首先进行X方向的处理(步骤S7)。完成X方向的处理时进行Y方向的处理(步骤S8)。三级滤波器49c输入二级滤波器49b的输出图像时，进行X方向的处理(步骤S9)，完成X方向的处理时进行Y方向的处理(步骤S10)。二级滤波器和三级滤波器除了阈值不同之外，进行相同的处理。
在低通滤波器33中，越是边缘评价值低的像素，被滤波的次数越多，越是边缘评价值高的像素，被滤波的次数越少。即，边缘评价值高的像素被滤波的次数少，因此边缘被保存；边缘评价值低的像素被滤波的次数多，因此噪声被去除。将具有这样的功能的滤波器称为边缘保存滤波器。边缘保存滤波器的种类，除了图3所示的滤波器之外还有双向滤波器和交叉双向滤波器等。作为低通滤波器33，也可以使用这些滤波器。
低通滤波器33输出去除了可见光图像Visible的噪声的图像。将该图像称为基础图像Base。基础图像Base的优点是图像的色泽正确，缺点是带给边缘和细节部分不清楚而模糊的印象。
高通滤波器34抽出红外光图像Infr的边缘部分。图6示出了高通滤波器34的一个例子。图6的高通滤波器34是二维FIR滤波器。高通滤波器34由低通滤波器71和除法部72构成。低通滤波器71例如是边缘保存型低通滤波器。低通滤波器71去除可见光图像Visible的噪声，将该图像输出到除法部72。除法部72从红外光图像Infr除低通滤波器71的输出，抽出红外光图像Infr的高通分量。从高通滤波器34输出的图像中，保存有红外光图像Infr的边缘和细节部分。将该图像称为细节图像Edge。
图像合成部35生成将基础图像Base和细节图像Edge相乘的合成图像。该图像是图像处理部3的输出图像OUT。输出图像OUT是将基础图像Base和细节图像Edge的两个图像的优点合起来的图像，具有色泽正确、细节部分清楚的特征。
如上所述，在应用了本发明的摄像装置1中，合成去除了可见光图像Visible的噪声的基础图像Base、和抽出了红外光图像Infr的边缘和细节部分的细节图像Edge，从而，可去除可见光图像Visible的噪声，同时得到包含由噪声去除而衰减的边缘部分和细节部分的输出图像OUT。
另外，红外光图像Infr可以与可见光图像Visible同时拍摄，因此，能够不发生摄像时刻的偏离，而进行动态图像和运动的被摄体的处理。
在现有的图像处理装置中，用闪光灯图像抽出了边缘，因此，用于去除由照明条件的不同而产生的影子和高光区的运算成本增大，但是红外光图像Infr可以在与可见光图像Visible相同的照明条件下进行拍摄，因此，也可以不校正照明条件的不同。
并且，在现有的图像处理装置中，存在如下问题在将细节部分和边缘误判为影子和高光区的时候，抛弃细节部分的像素。红外光图像Infr可以在与可见光图像Visible相同的照明条件下进行拍摄，因此，不会产生由照明条件不同而引起的影子和高光区，也没有抛弃所需要的像素的担心。
接着参照图7说明图像处理部3的第一变形例。该图像处理部50利用可见光图像Visible的亮度进行边缘检测。亮度由于变量为一个，因此与从RGB的三个变量进行边缘检测相比，运算成本降低。人类通常对于亮度的敏感度高，对于颜色分量的敏感度不高，因此，利用亮度的边缘检测也具有充分的效果。
图7示出了图像处理部50的结构。图像处理部50具备增益调整部52、矩阵部53、颜色用低通滤波器54、亮度用低通滤波器55、高通滤波器56、图像合成部57、以及逆矩阵部58。
增益调整部52通过调整增益，增大因曝光不足而拍摄得暗的可见光图像的像素值，设成接近以适当曝光拍摄的图像的像素值。作为增益的调整方法，有使可见光图像的像素值为常数倍的方法、基于指数函数的伽马校正、基于多项式函数等的任意的增益调整方法等。调整后的像素值的最大值被限制。
矩阵部53对RGB图像进行矩阵变换，变换为颜色图像Cb、Cr、以及亮度图像Yd。颜色用低通滤波器54去除颜色图像Cb、Cr的噪声。作为颜色用低通滤波器54，例如使用双向滤波器。双向滤波器是从一幅图像进行边缘检测和噪声去除的滤波器。
亮度用低通滤波器55去除亮度图像Yd的噪声。作为亮度用低通滤波器55，例如使用交叉双向滤波器。交叉双向滤波器是保存从边缘检测用的图像检测出的边缘，同时去除滤波器对象图像的噪声的滤波器。在此，从红外光图像Infr检测出边缘，去除亮度图像Yd的噪声。将从亮度用低通滤波器55输出的图像称为基础图像Base。基础图像Base的优点是图像的亮度正确，缺点是带来边缘和细节部分不清楚而模糊的印象。
高通滤波器56抽出红外光图像Infr的边缘部分。从高通滤波器输出的图像中，保存有红外光图像Infr的边缘和细节部分。将该图像称为细节图像Edge。
图像合成部57生成将基础图像Base和细节图像Edge相乘的合成图像。该合成图像是将基础图像Base和细节图像Edge的优点合起来的图像，亮度正确、细节部分和边缘清楚。逆矩阵部58对合成图像进行逆矩阵变换，将亮度图像变换为RGB图像。该图像是图像处理部的输出图像OUT。
图像处理部50将RGB图像分离为颜色图像Cb、Cr、以及亮度图像Yd，仅对亮度图像Yd进行边缘检测。人类通常对于亮度的敏感度高，对于颜色分量的敏感度不高。不是对RGB的三个变量，而是仅对亮度进行滤波，从而可以降低运算成本。
接着，说明图像处理部3的第二变形例。该图像处理部30，如图8所示，具备校正红外光图像的像差的像差校正部32。像差校正部32以外的结构与图像处理部3相同。与图像处理部3相同的结构元素赋予相同的符号。省略这些结构元素的说明。
像差校正部32校正由红外光和可见光的波长差而产生的像差。图9示出了像差校正部32的结构。像差校正部32具备矩阵部61、误差算出用双线性比例器62、像差校正用双线性比例器63、参数算出部64、以及误差算出部65。
矩阵部61生成输入的可见光图像Visible的亮度图像Yd。误差算出用双线性比例器62根据从参数算出部64输出的比例值以及失真值，生成5个比例变换图像以及失真变换图像。
误差算出部65将比例变换图像和红外光图像、以及失真变换图像和红外光图像进行比较，算出这些图像的误差值。该误差值是PSNR值(噪声混入量；Peak Signal To Noise Ratio)。参数算出部64参照由误差算出部65算出的PSNR值，最佳化比例值和失真值。像差校正用双线性比例器63利用由参数算出部64进行了最佳化的比例值和失真值，校正可见光图像Visible的像差。
图10示出了像差校正部32的动作。像差校正部32输入可见光图像Visible和红外光图像Infr。该可见光图像Visible是RGB图像(步骤S21)。矩阵部61将可见光图像Visible和矩阵相乘，生成亮度图像Yd(步骤S22)。参数算出部64对比例值的最大值、当前值、最小值、以及失真值的最大值、当前值、最小值进行初始化(步骤S23)。
参数算出部64从误差算出部65输入PSNR值，求出使PSNR值为最大的比例值(步骤S24)。
图11示出了比例值的算出步骤。参数算出部64准备比例值的最大值S1、最大值和当前值的中间值S2、当前值S3、最小值和当前值的中间值S4、最小值S5的5个参数。误差检测用双线性比例器62利用这5个各比例值进行亮度图像Yd的比例变换。由此，生成与5个参数对应的5幅亮度图像Yd1～Yd5(步骤S31)。
误差算出部65比较亮度图像Yd1～Yd5和红外光图像Infr，求出PSNR值。比较各亮度图像和红外光图像Yd1～Yd5时，算出5个PSNR值(步骤S32)。以最大值S1进行了比例变换的亮度图像Yd1和红外光图像Infr的PSNR值为最大时(步骤S33；“是”)，参数算出部64以最大值S1替换当前值S3，以从最大值S1的两倍的值减去最小值S5的值替换最大值S1(步骤S34)。
用最大值S1和当前值S3的中间值得到的PSNR值为最大时(步骤S35；“是”)，参数算出部64将最小值S5替换成当前值S3，以最大值S1和当前值S3的中间值替换当前值S3(步骤S36)。
用当前值S3得到的PSNR值为最大时(步骤S37；“是”)，参数算出部64以当前值S3替换最大值S1，以当前值S3和最小值S5的中间值替换当前值S3(步骤S38)。
用最小值S5和当前值S3的中间值得到的PSNR值为最大时(步骤S39；“是”)，参数算出部64以最小值S5替换当前值S3，以从最小值S5的两倍减去最大值S1的值替换最小值S5(步骤S40)。
用最小值S5得到的PSNR值为最大时(步骤S33、步骤S35、步骤S37、步骤S39；“否”)，参数算出部64以最小值S5替换当前值S3，以从最小值S5的两倍减去最大值S1的值替换最小值S5(步骤S41)。这样完成比例值的最佳化。
接着，参数算出部64进行失真值的最佳化。失真值的最佳化是与比例值的最佳化处理相同的处理。在失真值的最佳化中，参数从比例值变为失真值(步骤S25)。在完成了比例值和失真值的最佳化时，参数算出部64比较PSNR值的改进量与规定的阈值。PSNR值的改进量不高于规定的阈值的时候(步骤S26；“否”)，移到步骤S24进行处理，再次进行比例值以及失真值的最佳化。
另一方面，在PSNR值的改进量高于规定的阈值的时候(步骤S26；“是”)，参数算出部64将当前的比例值和失真值输出到像差校正用双线性比例器63中。像差校正用双线性比例器63利用当前的比例值和失真值进行可见光图像Visible的像差校正(步骤S27)，将校正后的图像输出到高通滤波器56(步骤S28)。
可通过设置像差校正部32，校正由可见光和红外光的波长的差而产生的像差的差异。由此，被拍摄为可见光图像Visible的像和被拍摄为红外光图像Infr的像变得一致。
通常，红外光的折射率高，稍微被放大。校正可见光图像Visible时，可以得到大的图像，但是变形也大。图像的大小和变形的大小是折衷的关系，因此，根据使哪一方优先，校正的图像不同。
图像处理部3中的滤波处理以及像差校正处理也可以根据控制程序执行。这样的控制程序被记录在摄像装置1的固件中。此外，控制程序也可以通过以外部记录装置9可读取的形式记录的记录介质而取得。作为记录控制程序的记录介质，考虑磁读取方式的记录介质(例如，磁带、软盘、磁卡)、光学读取方式的记录介质(例如，CD-ROM、MO、CD-R、DVD)、半导体存储器(存储卡、IC卡)等。另外控制程序也可以通过所谓的因特网等而取得。
权利要求
1.一种图像处理装置，其特征在于，具备图像取得装置，取得可见光图像和与上述可见光图像对应的不可见光图像；噪声降低装置，利用上述不可见光图像降低上述可见光图像的噪声。
2.根据权利要求1所述的图像处理装置，其特征在于，上述噪声降低装置具有第一滤波装置，对上述可见光图像应用低通滤波器；第二滤波装置，对上述不可见光图像应用高通滤波器；合成装置，合成上述低通滤波器以及上述高通滤波器的输出。
3.根据权利要求1所述的图像处理装置，其特征在于，上述不可见光图像是红外光图像。
4.根据权利要求1所述的图像处理装置，其特征在于，上述不可见光图像是紫外光图像。
5.根据权利要求1所述的图像处理装置，其特征在于，上述低通滤波器是边缘保存低通滤波器。
6.根据权利要求5所述的图像处理装置，其特征在于，上述边缘保存低通滤波器保存从上述不可见光图像检测出的边缘，同时去除上述可见光图像的噪声。
7.根据权利要求6所述的图像处理装置，其特征在于，利用多个级别的低通滤波器进行上述可见光图像的噪声去除。
8.根据权利要求7所述的图像处理装置，其特征在于，根据从上述不可见光图像检测出的边缘的评价值，决定使用上述多个级别中哪个低通滤波器进行上述可见光图像的噪声去除。
9.根据权利要求8所述的图像处理装置，其特征在于，对于图像的X方向以及Y方向独立地决定上述低通滤波器的级别。
10.根据权利要求2所述的图像处理装置，其特征在于，将上述可见光图像变换为颜色图像和亮度图像，同时对进行了变换的上述各颜色图像和亮度图像应用滤波器。
11.根据权利要求10所述的图像处理装置，其特征在于，作为上述滤波器，对上述颜色图像使用双向滤波器，对上述亮度图像使用交叉双向滤波器。
12.根据权利要求1所述的图像处理装置，其特征在于，具备像差校正装置，该像差校正装置校正上述可见光图像和上述不可见光图像的像差。
13.根据权利要求12所述的图像处理装置，其特征在于，上述像差校正装置利用变换了上述可见光图像的亮度图像和上述不可见光图像的误差，进行像差校正。
14.一种摄像装置，其特征在于，具备可见光图像摄像装置，根据主要对可见光有灵敏度的第一分光特性，拍摄可见光图像；不可见光图像摄像装置，根据主要对不可见光有灵敏度的第二分光特性，拍摄不可见光图像；像差校正装置，校正上述可见光图像和不可见光图像的像差；噪声降低装置，利用上述不可见光图像降低可见光图像的噪声。
15.一种图像处理方法，其特征在于，具有图像取得步骤，取得可见光图像、和与上述可见光图像对应且以与上述可见光图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用上述不可见光图像降低上述可见光图像的噪声。
全文摘要
提供图像处理装置、图像处理方法及摄像装置。不使用给图像带来影响的照明器材，降低根据自然光拍摄的图像的噪声。在摄像部(2)中拍摄可见光图像Visible和红外光图像Infr。拍摄这些图像时，不使用特别的照明器材，根据自然光拍摄。低通滤波器(33)去除可见光图像Visible的噪声，高通滤波器(34)抽出红外光图像Infr的边缘。来自低通滤波器(33)的输出图像Base的优点是图像的色泽正确，缺点是边缘和细节部分不清楚。来自高通滤波器(34)的输出图像Edge保存有红外光图像Infr的边缘和细节部分。由图像合成部(35)合成图像Base和图像Edge，可得到将这些图像的优点合起来的输出图像OUT。
文档编号H04N5/232GK1794783SQ20051013198
公开日2006年6月28日 申请日期2005年12月22日 优先权日2004年12月22日
发明者保坂肇, 笠井政范 申请人:索尼株式会社