图像处理装置、图像处理方法和程序的制作方法
【技术领域】
[0001] 本技术涉及图像处理装置、图像处理方法和用于致使计算机执行该方法的程序。 具体地，本技术涉及能够降低运动图像的噪声的图像处理装置、图像处理方法以及用于致 使计算机执行该方法的程序。
【背景技术】
[0002] 为了降低混合在运动图像中的噪声，从过去就已经使用了被称为三维降噪（3DNR : 3-dimensional noise reduction)的技术。3DNR是通过把在时间轴上连续的两个二维（2D : two-dimensional)帧混合而降低噪声的技术。在3DNR中，一般地，每次当输入帧被输入时， 图像处理装置将在先输出的输出帧和当前输入帧混合，以便生成当前输出帧。在这样的混 合时，曾提出了如下的图像处理装置：其使在先输出帧和当前输入帧相互比较以便获得运 动量，且随着所述运动量的变大而使在先输出帧的混合比率变低（参见例如专利文献1)。
[0003] 引用文献列表
[0004] 专利文献
[0005] 专利文献1 :日本专利申请特开第2010-4266号
【发明内容】
[0006] 本发明所要解决的技术问题
[0007] 然而，在上述的相关技术中，有可能无法充分地降低噪声。即，因为上述的图像处 理装置根据运动量来决定混合比率，所以当运动量恒定不变的状态持续发生时，各输出帧 就会根据该恒定不变的混合比率而被混合。当在多个输入帧上该混合比率为恒定不变时， 就存在着如下可能性：这些输入帧不会以均等比率与输出帧混合。
[0008] 例如，当连续的输入帧F1、F2和F3按照时间顺序被输入且输出帧的混合比率是恒 定值α时，输入帧F1没有变化地首先被输出从而作为输出帧F1'。接着，比率为α的在 先输出帧FI'（ 即，输入帧F1)和比率为（l-α)的输入帧F2被混合，从而输出输出帧F2'。 然后，比率为α的在先输出帧F2'和比率为（l-α)的输入帧F3被混合，从而输出输出帧 F3'。因为输出帧F2'中的输入帧F1和F2的比率是α : (l-α )，所以输出帧F3'中的输入 帧F1、F2和F3的比率是α2:α (1-α):(1-α)。关于混合比率α，通常被设定为小于"1" 的值，这样，在输出帧中，越早过去的输入帧就具有越小的比率。因此，存在着这样的可能 性：当混合比率为恒定不变时，无法充分地降低噪声。
[0009] 而且，当在运动图像中出现强烈的运动时，存在着如下可能：输出帧中的各输入帧 之间的比率差别被增大了。例如，设想这样的一种情况：输入帧F1与F2之间的变化是大的 变化，且下一个输入帧F3及其随后的各帧在相邻的帧之间具有小的变化。在这种情况下， 因为输入帧F1与F2之间的变化大，所以在将输入帧F1和F2混合时，输入帧F1以高的混 合比率α而被混合。与此相反，输入帧F2及其随后的各输入帧在相邻的帧之间具有小的 变化，且这些输入帧以较低的混合比率而被混合。结果，输入帧F1以比跟在输入帧F1之后 的各输入帧的比率高的比率而被混合，并且降噪效果受到损失。
[0010] 本技术是鉴于如上所述的情形而被做出的，且本技术的目的是充分地降低运动图 像中的噪声。
[0011] 解决技术问题所采取的技术方案
[0012] 为了消除上述问题而做出了本技术。根据本技术的第一方面，提供了图像处理装 置、图像处理方法和致使计算机执行所述图像处理方法的程序。所述图像处理装置包括：判 定部，每次当输入图像被输入时，所述判定部判定所述输入图像和已被输出的输出图像中 的像素值分布的变化量是否小于预定阈值；混合比率供给部，所述混合比率供给部供给随 着所述变化量被相继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所 述输入图像和所述输出图像混合时所述输出图像的混合比率；以及混合部，每次当所述输 入图像被输入时，所述混合部基于被供给过来的所述混合比率而将所述输入图像和所述输 出图像混合，然后输出混合后的所述输入图像和所述输出图像以作为新的输出图像。因此， 发挥了下列作用：所述输入图像和所述输出图像是以随着所述变化量被相继地判定为小于 所述预定阈值的次数的变多而变大的混合比率而被混合的。
[0013] 而且，在第一方面中，所述混合比率供给部可以包括上限值生成部、获取部和限制 部。所述上限值生成部生成随着所述次数的变多而变大的上限值。所述获取部获得随着所 述变化量的变大而变小的值。当所述获取部的获取值大于所述上限值时，所述限制部提供 该上限值以作为所述混合比率，而当所述获取值不超过所述上限值时，所述限制部提供该 获取值以作为所述混合比率。因此，发挥了下列作用：被随着所述次数的变多而变大的所述 上限值限制的值被提供以作为所述混合比率。
[0014] 而且，在第一方面中，所述混合比率供给部可以提供如下的随着所述次数的变多 而变大的所述混合比率：该所述混合比率使得混合于所述输出图像中的各所述输入图像的 比例变得均一。因此，发挥了下列作用：提供了随着所述次数的变多而变大、且使混合于所 述输出图像中的各所述输入图像的比例变得均一的混合比率。
[0015] 而且，在第一方面中，所述输入图像和所述输出图像各者可以是包括多个区域的 图像，各所述区域包括多个像素。所述判定部可以以每个所述区域为单位而判定所述变化 量是否小于所述预定阈值。所述混合比率供给部可以以每个所述区域为单位而获得所述变 化量被相继地判定为小于所述预定阈值的所述次数，且供给随着以每个所述区域为单位所 获得的所述次数中的最小值的变大而变大的所述混合比率。因此，发挥了下列作用：供给了 随着以每个区域为单位所述变化量被相继地判定为小于所述预定阈值的所述次数中的最 小值的变大而变大的混合比率。
[0016] 而且，在第一方面中，所述输入图像和所述输出图像各者可以是包括多个像素的 图像。所述判定部可以以每个所述像素为单位而判定所述变化量是否小于所述预定阈值。 所述混合比率供给部可以以每个所述像素为单位而获得所述变化量被相继地判定为小于 所述预定阈值的所述次数，且供给随着以每个所述像素为单位所获得的所述次数中的最小 值的变大而变大的所述混合比率。因此，发挥了下列作用：供给了随着以每个所述像素为单 位所述变化量被相继地判定为小于所述预定阈值的所述次数中的最小值的变大而变大的 混合比率。
[0017] 而且，在第一方面中，所述图像处理装置还可以包括：更换部，在所述像素包括表 示像素值的有效数据且包括不适用于所述有效数据的无效数据的情况下，所述更换部基于 所述次数以每个所述像素为单位而更换该像素内的所述无效数据；和图像保存部，所述图 像保存部保存已被更换了所述无效数据的所述输出图像。在该图像处理装置中，所述混合 比率供给部可以从所述被保存的输出图像中获得所述次数。因此，发挥了下列作用：所述次 数是从已被更换了所述无效数据的所述输出图像中获得的。
[0018] 此外，根据本技术的第二方面，提供了一种摄像装置，其包括：判定部，每次当输入 图像被输入时，所述判定部判定所述输入图像和已被输出的输出图像中的像素值分布的变 化量是否小于预定阈值；混合比率供给部，所述混合比率供给部供给随着所述变化量被相 继地判定为小于所述预定阈值的次数的变多而变大的值，该值作为在所述输入图像和所述 输出图像混合时所述输出图像的混合比率；混合部，每次当所述输入图像被输入时，所述混 合部基于被供给过来的所述混合比率将所述输入图像和所述输出图像混合，然后输出混合 后的所述输入图像和所述输出图像以作为新的输出图像；以及图像保存部，所述图像保存 部保存所述已被输出的输出图像。因此，发挥了下列作用：所述输入图像和所述输出图像是 以随着所述变化量被相继地判定为小于所述预定阈值的所述次数的变多而变大的混合比 率而被混合的。
[0019] 本发明的效果
[0020] 根据本技术，可以获得能够充分地降低运动图像中的噪声的良好效果。
【附图说明】
[0021] 图1是示出了第一实施例中的摄像装置的构造例的框图。
[0022] 图2是示出了第一实施例中的图像处理部的构造例的框图。
[0023] 图3是示出了第一实施例中的混合比率供给部的构造例的框图。
[0024] 图4是示出了第一实施例中的与运动量对应的混合比率的例子的曲线图。
[0025] 图5是示出了第一实施例中的与计数值对应的限制值的例子的曲线图。
[0026] 图6是示出了第一实施例中的混合部的构造例的框图。
[0027] 图7是示出了第一实施例中由图像处理部200执行的图像处理的例子的流程图。
[0028] 图8是示出了第一实施例中要被处理的运动图像的例子的图。
[0029] 图9是示出了第一实施例中的计数值、限制值和混合比率的例子的图。
[0030] 图10是示出了第一实施例中的IIR系数的例子的曲线图。
[0031] 图11是示出了第二实施例中的图像处理部的构造例的框图。
[0032] 图12是示出了第二实施例中的在计数值嵌入之前的像素数据的数据结构例的 图。
[0033] 图13是示出了第二实施例中的在计数值嵌入之后的像素数据的数据结构例的 图。
[0034] 图14是示出了第二实施例中的运动判定部的构造例的框图。
[0035] 图15是示出了第二实施例中的静止帧数计数部的构造例的框图。
[0036] 图16是示出了第二实施例中的限制部的构造例的框图。
[0037] 图17是示出了第三实施例中的运动判定部的构造例的框图。
[0038] 图18是示出了第三实施例中的静止帧数计数部的构造例的框图。
[0039] 图19是示出了第四实施例中的运动判定部的构造例的框图。
[0040] 图20是示出了第四实施例中的静止帧数计数部的构造例的框图。
【具体实施方式】
[0041] 以下，将说明用来实施本技术的方式（以下，称为实施例）。应当注意的是，将按照 下列顺序提供说明。
[0042] 1.第一实施例（以随着计数值的变大而变大的混合比率混合的例子）
[0043] 2.第二实施例（以随着每个像素和整个图像的计数值中的最小值的变大而变大 的混合比率混合的例子）
[0044] 3.第三实施例（以随着每个像素和每个区域的计数值中的最小值的变大而变大 的混合比率混合的例子）
[0045] 4.第四实施例（以随着整个图像、每个像素和每个区域的计数值中的最小值的变 大而变大的混合比率混合的例子）
[0046] 1.第一实施例
[0047] 摄像装置的构造例
[0048] 图1是示出了本技术第一实施例中的摄像装置100的构造例的框图。摄像装置 100是摄取图像用的装置，且摄像装置100包括摄像镜头110、摄像器件120、模拟前端130、 A/D转换部140、可编程增益放大器150和相机控制部160。而且，摄像装置100还包括图像 处理部200、D/A转换部170和显示部180。
[0049] 摄像镜头110是用来在摄像器件120上形成被摄目标的图像的透镜。摄像镜头 110包括诸如聚焦镜头和变焦镜头等镜头。
[0050] 摄像器件120对来自摄像镜头110的光进行光电转换，且将转换后的电信号作为 图像信号而通过信号线129提供给模拟前端130。摄像器件120能够利用电荷耦合器件 (CCD :Charge Coupled Device)或互补金属氧化物半导体（CMOS 〖Complementary Metal Oxide Semiconductor)传感器等来实现。
[0051] 模拟前端130对模拟图像信号执行诸如噪声消除处理和放大处理等处理，且将得 到的信号通过信号线139提供给A/D转换部140。模拟前端130包括例如相关双采样（⑶S :