专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及图像处理装置及图像处理方法。
背景技术：
近年来，摄像设备的分辨率及变焦比的提高，带来了由图像拍摄时的摄像机抖动 引起的拍摄图像模糊的问题，并且常规化地导致了具有摄像机抖动校正功能的摄像设备的 广泛使用。这种具有摄像机抖动校正功能的摄像设备，通常使用这样的光学摄像机抖动校 正方案，即使用被构造为检测由摄像机抖动生成的平移矢量的传感器，以及被构造为控制 镜头和图像传感器的相对位置以抵消摄像机抖动的驱动设备，来对摄像机抖动进行光学校 正。另一方面，也已经研讨了通过图像处理来校正摄像机抖动的方法。为了对一个模 糊图像校正摄像机抖动，已知有这样的方法，即将由摄像机抖动导致的图像劣化的过程解 释为滤波器的卷积，基于摄像机抖动的速度来计算滤波器，并且通过解卷积来去除摄像机 抖动(日本专利特开2006-279807及2004-205799号公报)。一般来说，抖动滤波器的频率特性具有在一定频率降低为零的性质。这导致了频 率特性变为零处的频率的信息被丢失的问题。为了防止这种情况，已经提出了这样的技术， 即通过在获取图像时的曝光期间随机地开/闭快门，并且使用快门开/闭信息执行解卷积 运算，来校正摄像机抖动或被摄体模糊(日本专利特开2008-310797号公报)。该技术称为 “编码曝光(coded exposure) 使用良好的编码曝光图案，能够防止抖动滤波器的频率特 性降低为零，并且能够实现抖动校正。然而，日本专利特开2006-279807及2004-205799号公报中公开的方法具有以下 问题。首先，日本专利特开2006-279807及2004-205799号公报中公开的方法，未控制诸如 快门开/闭等的曝光条件。由于这一原因，在特定频率，抖动滤波器的频率特性降低为零 (以下将该现象称为“零功率频率”)，并且，无法进行简单的解卷积。为了避免该问题，日本 专利特开2006-279807号公报使用了伪逆矩阵，日本专利特开2004-205799号公报使用了 Wiener滤波器。然而，在上述两者之中的任一情况下，都无法恢复已出现零功率频率处的频 率信息。另一方面，如同日本专利特开2006-279807及2004-205799号公报中一样，日本专 利特开2008-310797号公报的方法使用编码曝光来避免零功率频率的问题。然而，该方法 不适用于非勻速运动的摄像机抖动。
发明内容
本发明是在考虑到上述各问题的情况下做出的，并且提供这样的技术通过甚至 由一个图像来校正模糊，并且更特别的是校正非勻速运动的摄像机抖动，也能够获得精确 的图像。根据本发明的第一方面，提供一种图像处理装置，该图像处理装置包括曝光条件输入单元，其输入当获得拍摄图像时的曝光条件；抖动信息输入单元，其输入当获得所述拍 摄图像时的抖动信息；以及滤波器生成单元，其基于所述曝光条件以及包括由所述抖动信 息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。根据本发明的第二方面，提供一种图像处理方法，该图像处理方法包括以下步骤 输入当获得拍摄图像时的曝光条件；输入当获得所述拍摄图像时的抖动信息；以及基于所 述曝光条件以及包括由所述抖动信息获得的非整数的权重值，来生成要用来校正所述拍摄 图像的模糊的滤波器。通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
图1是示出校正单元100的功能结构的示例的框图；图2是要由校正单元100执行的处理的流程图；图3A示出了周期插值核(kernel)的示例的图；图;3B是滤波器计算的概念图；图4是例示滤波器系数计算单元105的操作的流程图；图5A是示出普通曝光条件的示例的图；图5B是示出滤波器频率特性的图；图6A是示出曝光条件控制的示例的图；图6B是示出滤波器频率特性的图；图7A及图7B是示出第一实施例的效果的图；图8是示出根据第二实施例的摄像系统的框图；图9是示出根据第三实施例的摄像系统的框图；图10是示出根据第四实施例的图像处理装置的框图；图11是第四实施例的概念图；图12A至图12C是第五实施例的概念图；以及图13是示出根据第六实施例的图像文件格式的图。
具体实施例方式现在，将参照附图来描述本发明的实施例。请注意，下述实施例是本发明的具体实 施的示例，并且是在所要求保护的范围中定义的结构的具体示例中的一者。[第一实施例]〈实施例的图像处理装置的结构〉在该实施例中，将描述用于由一个图像来校正模糊的图像处理装置。请注意，在该 实施例中，摄像机抖动局限于平移抖动。首先，将参照图1，来说明在根据本实施例的图像处 理装置中配备的校正单元100的功能结构的示例。如上所述，校正单元100执行由一个图 像来校正作为平移抖动的摄像机抖动的处理。使用摄像设备来拍摄摄像数据(拍摄图像的数据)，以将拍摄的摄像数据输入至 输入端子101。在随后的阶段，图像数据被输入至解卷积单元106。抖动矢量记录单元102 经由输入端子107，来接收由根据实施例的图像处理装置的另一组件测量的抖动矢量信息，并且记录接收到的抖动矢量信息。曝光条件记录单元103经由输入端子108，来接收由根据实施例的图像处理装置 的另一组件获取到的“代表图像拍摄时的曝光条件的信息(曝光条件信息)”。“曝光条件” 表示在各时刻相对于快门全开状态下的曝光量“1”的曝光量。曝光条件记录单元103记录 接收到的曝光条件信息。插值核DB(数据库)104存储(保持)计算非整数像素的像素值所必需的插值核函 数的值。滤波器系数计算单元105使用记录在抖动矢量记录单元102中的抖动矢量信息、 记录在曝光条件记录单元103中的曝光条件信息、以及存储在插值核DB 104中的值，来计 算抖动滤波器系数。解卷积单元106通过使用由滤波器系数计算单元105计算出的滤波器系数的滤波 器，来对经由输入端子101输入的图像数据执行解卷积处理，从而生成模糊得到校正的图 像数据。将模糊已被解卷积单元106校正的图像数据作为模糊校正后的数据，经由输出端 子109输出到实施例的图像处理装置的存储器或显示设备。〈要由校正单元100执行的处理>接下来，将参照图2，来描述要由校正单元100执行的处理。在步骤S201中，解卷 积单元106经由输入端子101获取摄像数据。在步骤S202中，曝光条件记录单元103在图像拍摄期间的各时刻，经由输入端子 108来获取代表曝光条件的曝光条件信息，并且记录获取到的曝光条件信息。在步骤S203中，抖动矢量记录单元102在图像拍摄期间的各时刻，经由输入端子 107来获取抖动矢量信息，并且记录获取到的抖动矢量信息。在步骤S204中，滤波器系数计算单元105使用记录在抖动矢量记录单元102中 的抖动矢量信息、记录在曝光条件记录单元103中的曝光条件信息、以及存储在插值核DB 104中的值，来计算抖动滤波器系数。后面将详细描述滤波器系数计算单元105的操作。在步骤S205中，解卷积单元106通过使用在步骤S204中由滤波器系数计算单元 105计算出的滤波器系数的滤波器，来对在步骤S201中获取到的摄像数据执行解卷积处 理。通过该处理，生成模糊得到校正的图像数据。在步骤S206中，解卷积单元106将模糊得到校正的图像数据作为模糊校正后的数 据，经由输出端子109输出到实施例的图像处理装置的存储器或显示设备。<滤波器系数计算单元105的操作>对于平移抖动运动，设t为时间，s (t)为图像在时刻t时的平移抖动矢量，x(t)为 表示图像在时刻t时的位置的二维矢量。则下式成立x(t) = x(0)+s(t)... (1)将图像拍摄开始的时刻t定义为0。设I为时刻t = 0时的无模糊图像，I (m)为 图像I中的坐标(坐标矢量)m处的像素值。“在时刻t位于图像中的坐标m处的像素”在 时刻t = 0时的坐标矢量m(0)，基于等式(1)通过m(0) =m-s(t)给出。假设坐标矢量 m的χ和y分量均具有整数值。也就是说，坐标矢量m代表格点的坐标值。通过对像素值 I (m-s(t))进行从t = 0到曝光时间T的积分，来获得对由坐标矢量m代表的坐标位置有贡 献的像素值。因此，平移抖动给出如下
权利要求
1.一种图像处理装置，该图像处理装置包括曝光条件输入单元，其输入当获得拍摄图像时的曝光条件；抖动信息输入单元，其输入当获得所述拍摄图像时的抖动信息；以及滤波器生成单元，其基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重 值，生成要用来校正所述拍摄图像的模糊的滤波器。
2.根据权利要求1所述的图像处理装置，其中，以比用于获得所述拍摄图像的摄像设 备的像素单位更小的单位，来定义所述抖动信息。
3.根据权利要求1所述的图像处理装置，其中，所述滤波器要用来使无模糊图像劣化 为所述拍摄图像。
4.根据权利要求1所述的图像处理装置，其中，所述滤波器生成单元基于所述曝光条 件以及包括由插值核及所述抖动信息获得的非整数的所述权重值，生成要用来校正所述拍 摄图像的模糊的所述滤波器。
5.根据权利要求1所述的图像处理装置，其中，所述抖动信息是摄像机抖动矢量信息 和通过基于光学防振来校正所述摄像机抖动矢量信息而获得的抖动矢量信息中的一者。
6.根据权利要求1所述的图像处理装置，其中，所述拍摄图像是已进行了极坐标变换的图像，并且，所述图像处理装置还包括对通过所述滤波器及所述拍摄图像的解卷积处理而获得的 图像执行正交坐标变换的单元。
7.一种图像处理方法，该图像处理方法包括以下步骤输入当获得拍摄图像时的曝光条件；输入当获得所述拍摄图像时的抖动信息；以及基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正 所述拍摄图像的模糊的滤波器。
全文摘要
本发明提供图像处理装置及图像处理方法。输入当获得拍摄图像时的曝光条件。输入当获得所述拍摄图像时的抖动信息。基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。
文档编号H04N5/235GK102082914SQ201010567359
公开日2011年6月1日 申请日期2010年11月26日 优先权日2009年11月30日
发明者西山知宏 申请人:佳能株式会社