图像处理装置、图像处理方法、图像处理程序及记录介质的制作方法
【技术领域】
[0001] 本发明的一个方面涉及一种图像处理装置、图像处理方法、图像处理程序及记录 介质。
【背景技术】
[0002] 以往，作为图像处理装置，已知有去除动态图像摄像时的噪声的装置（例如，参照 专利文献1)。专利文献1所记载的图像处理装置根据前1帧的影像信号与当前的影像信号 之间的差分，控制递归型（recursive)噪声降低电路的反馈系数。通过使反馈系数适应于 被摄体的运动，抑制运动的被摄体的残像，降低不运动的被摄体的噪声。
[0003] 现有技术文献 [0004]专利文献
[0005] 专利文献1 :日本特开2000-209507号公报
【发明内容】
[0006] 发明所要解决的问题
[0007] 然而，在专利文献1所记载的图像处理装置中，由于在不对摄像装置的运动与运 动被摄体的运动加以区分的情况下进行处理，故而会大范围地产生因相机的抖动导致的帧 之间的差分。在这样的状态下进行抑制运动被摄体的残像的校正的情况下，必须削弱噪声 去除的效果，从而有可能无法获得充分的噪声去除效果。在本技术领域中，正期待取得优异 的噪声去除效果的图像处理装置、图像处理方法、图像处理程序以及记录介质。
[0008] 用于解决问题的手段
[0009] 本发明的一个方面的图像处理装置通过输入并处理由摄像装置获得的帧图像，来 生成输出帧图像，该图像处理装置具备：记录部，其记录比成为处理对象的对象帧图像更早 输入的先前帧图像或先前帧图像的输出帧图像；位置对准部，其使先前帧图像或先前帧图 像的输出帧图像、与对象帧图像进行位置对准；校正部，其参照记录部，进行时间性校正处 理，在该时间性校正处理中使用由位置对准部进行位置对准后的先前帧图像的像素值或先 前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成部，其使用由校正 部校正后的对象帧图像，来生成对象帧图像的输出帧图像。
[0010] 该图像处理装置中，在使用先前帧图像的输出帧图像来对对象帧图像进行校正之 前，使先前帧图像的输出帧图像与对象帧图像进行位置对准。通过在对象帧图像的校正之 前使先前帧图像的输出帧图像与对象帧图像进行位置对准，消除对象帧图像与先前帧图像 之间的摄像装置的运动。因此，可避免为了抑制运动而削弱噪声去除的效果，故而可取得优 异的噪声去除效果。
[0011] 一个实施方式中，也可以是，校正部还进行空间性校正处理，在该空间性校正处理 中针对对象帧图像的像素的像素值，使用该对象帧图像中的包含该像素的区域所包含的多 个像素的像素值进行校正。由此，组合时间性校正处理及空间性校正处理，可取得更进一步 优异的噪声去除效果。
[0012] -个实施方式中，也可以是，校正部使用与差分相应的系数，对对象像素进行时间 性校正处理，该差分是对象帧图像的对象像素的像素值、与由位置对准部进行位置对准后 的先前帧图像的对应像素的像素值或先前帧图像的输出帧的对应像素的像素值之间的差 分。通过以此方式构成，例如可以利用与差分相应的强弱对运动被摄体进行时间性校正处 理。
[0013] -个实施方式中，也可以是，生成部将由校正部校正后的对象帧图像的输出帧图 像储存于记录部中。由此，可进行递归型的校正处理，因此可取得高效率且优异的噪声去除 效果。
[0014] -个实施方式中，也可以是，生成部基于摄像装置的运动，确定从由校正部校正后 的对象帧图像中切出的区域，且切出所确定的区域，由此生成对象帧图像的输出帧图像。另 外，一个实施方式中，也可以是，校正部对于对象帧图像的与切出区域不同的区域的至少一 部分所包含的像素，不将其作为处理的对象。通过以此方式构成，可提高处理效率。
[0015] -个实施方式中，也可以是，校正部使用对象帧图像的对象像素的像素值、以及多 个先前帧图像的对应像素的像素值的加权平均值，对对象像素进行时间性校正处理。也可 以是，先前帧图像的对应像素的像素值的权重被设定为越早之前的先前帧图像则权重越 小，多个先前帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的 像素值的权重被设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素 值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之前 的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧 的先前帧图像的对应像素的像素值的权重之间的差分。通过以此方式构成，可在某种程度 上抑制过去的输入帧图像的权重，并且将与对象帧相隔规定帧数的过去的先前帧图像的权 重设为与对象帧的权重大致相同。通过在某种程度上抑制过去的输入帧图像的权重，可减 少重像（残像）。另外，通过将与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对 象帧的权重大致相同，可获得平均效果。其结果为，可在不会生成重像的情况下去除闪烁等 振幅较大的噪声。
[0016] -个实施方式中，也可以是，校正部直接对对象帧图像的对象像素的像素值及规 定帧数的先前帧图像的对应像素的像素值赋予权重而计算加权平均值，使用加权平均值、 以及规定帧数的先前帧图像中的任意先前帧图像的输出帧图像的对应像素的像素值，对对 象像素进行时间性校正处理。根据该结构，仅保存规定帧数的先前帧图像及输出帧图像即 可。因此，通过适当地设定加权平均值计算中所使用的先前帧图像的数量，可减少所要保存 的先前帧图像的数量，并且可减少处理量。由此，可谋求资源削减及处理效率化。
[0017] -个实施方式中，也可以是，校正部直接对对象帧图像的对象像素的像素值及多 个先前帧图像的对应像素的像素值进行加权，对对象像素进行时间性校正处理。根据该结 构，可提高时间性校正处理的自由度，如减小包含运动被摄体的像素的像素值的影响等。
[0018] -个实施方式中，也可以是，校正部具备：第1校正滤波器，其使用对象帧图像的 对象像素的像素值及先前帧图像的输出帧图像的对应像素的像素值，对对象像素进行时间 性校正处理；以及第2校正滤波器，其使用对象帧图像的对象像素的像素值、以及多个先前 帧图像的对应像素的像素值的加权平均值，对对象像素进行时间性校正处理，在第2校正 滤波器中，先前帧图像的对应像素的像素值的权重被设定为越早之前的先前帧图像则权重 越小，多个先前帧图像中的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素 的像素值的权重被设定为：该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像 素值的权重或对象像素的像素值的权重之间的差分，小于与对象帧图像相隔规定帧数的之 前的先前帧图像的对应像素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1 帧的先前帧图像的对应像素的像素值的权重之间的差分。也可以是，校正部根据对象像素 来切换第1校正滤波器与第2校正滤波器，对对象像素进行时间性校正处理。例如，在对象 像素包含闪烁等振幅较大的噪声的情况下，可通过使用第2校正滤波器来去除噪声，在对 象像素不包含闪烁等振幅较大的噪声的情况下，可通过使用第1校正滤波器来去除噪声。 这样，可根据对象像素来选择适当的校正滤波器。
[0019] 本发明的另一方面的图像处理方法通过输入并处理由摄像装置获得的帧图像来 生成输出帧图像，该图像处理方法包括：位置对准步骤，使比成为处理对象的对象帧图像更 早输入的先前帧图像或该先前帧图像的输出帧图像、与对象帧图像进行位置对准；校正步 骤，参照记录有先前帧图像或先前帧图像的输出帧图像的记录部，进行时间性校正处理，在 该时间性校正处理中使用通过位置对准步骤进行位置对准后的先前帧图像的像素值或先 前帧图像的输出帧图像的像素值，来校正对象帧图像的像素值；以及生成步骤，使用通过校 正步骤校正后的对象帧图像，来生成对象帧图像的输出帧图像。
[0020] 本发明的又一方面的图像处理程序使计算机以通过输入并处理由摄像装置获得 的帧图像来生成输出帧图像的方式发挥功能，使计算机作为记录部、位置对准部、校正部及 生成部而发挥功能，记录部记录比成为处理对象的对象帧图像更早输入的先前帧图像或先 前帧图像的输出帧图像；位置对准部使先前帧图像或先前帧图像的输出帧图像、与对象帧 图像进行位置对准；校正部参照记录部，进行时间性校正处理，在该时间性校正处理中使用 由位置对准部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素 值，来校正对象帧图像的像素值；生成部使用由校正部校正后的对象帧图像，来生成对象帧 图像的输出帧图像。
[0021] 本发明的又一方面的记录介质是记录有使计算机以通过输入并处理由摄像装置 获得的帧图像来生成输出帧图像的方式发挥功能的图像处理程序的计算机可读取的记录 介质，记录有使计算机作为记录部、位置对准部、校正部及生成部而发挥功能的图像处理程 序而构成，记录部记录比成为处理对象的对象帧图更早输入的先前帧图像或先前帧图像的 输出帧图像；位置对准部使先前帧图像或先前帧图像的输出帧图像、与对象帧图像进行位 置对准；校正部参照记录部，进行时间性校正处理，在该时间性校正处理中使用由位置对准 部进行位置对准后的先前帧图像的像素值或先前帧图像的输出帧图像的像素值，来校正对 象帧图像的像素值；生成部使用由校正部校正后的对象帧图像，来生成对象帧图像的输出 帧图像。
[0022] 根据上述图像处理方法、图像处理程序以及记录介质，取得与上述本发明的一个 方面的图像处理装置相同的效果。
[0023] 发明效果
[0024] 根据本发明的各种方式及实施方式，可提供一种取得优异的噪声去除效果的图像 处理装置、图像处理方法、图像处理程序以及记录介质。
【附图说明】
[0025] 图1是搭载有第1实施方式的图像处理装置的便携终端的功能框图。
[0026] 图2是搭载第1实施方式的图像处理装置的便携终端的硬件结构图。
[0027] 图3是说明第1实施方式的图像处理装置的动作的流程图。
[0028] 图4是说明位置对准处理的概要图。
[0029] 图5是说明空间性校正处理的概要图。
[0030] 图6是说明时间性校正处理的概要图。
[0031] 图7是说明时间性校正处理的概要图。
[0032] 图8是说明时间性校正处理的概要图。
[0033] 图9是说明输出图像帧及手抖动校正的概要图。
[0034] 图10是表示输入帧图像的权重的一例的图。
[0035] 图11是表示输入帧图像的权重的另一例的图。
[0036] 图12是表示第2实施方式的图像处理装置的时间性校正处理的详细情况的流程 图。
[0037] 图13是表示使用递归型滤波器的情