专利名称：成像设备和图像处理方法
技术领域：
本发明总的涉及成像设备、图像处理方法以及计算机程序产品。
背景技术：
常规地，存在用于检测整幅图像的运动向量来执行与由于用户手部运动导致的数 字照相机的运动有关的模糊的校正的技术。例如，在日本专利申请公开No. 2006-287814中 公开了一种发明，该发明与在估算通过将被摄体(subject)的帧以矩阵方式划分而获得的 每个区域的运行向量时使用每个区域的AF值的成像设备等有关。在日本专利申请公开No. 2006-287814中公开的、与成像设备等有关的发明中，为 了防止与要拍摄的被摄体无关的对象(object)不利地影响运动向量的确定，使得包括所 聚焦的对象的区域的AF估算值高于非聚焦区域的AF估算值，并且加权每一区域的运动向量。然而，在日本专利申请公开No. 2006-287814中公开的、与成像设备等有关的发明 中，未考虑在区域中包括对象等的边缘部分的情况。AF估算值指示图像的对比度，并且在包 含边缘部分的区域中很大。当检测包括边缘的区域的运动时，如果整幅图像的运动方向与边缘延伸的方向相 同，则可能不会检测到包括边缘的区域的运动。甚至区域没有运动，有时也会检测到边缘延 伸方向上的运动。因此，当在成像设备和被摄体之间的边缘方向上存在相对运动时，在加权每个区 域的运动向量时使用AF估算值趋向于引起错误的检测。
发明内容
本发明的目的在于至少部分解决现有技术中的问题。根据本发明的一个方面，一种成像设备，包括成像单元，配置来通过光电转换被 摄体图像来拍摄图像；特征计算单元，配置来计算图像中包含的每一区域的、与运动检测的 适当性有关的特征值；区域运动检测单元，配置来检测每一区域的运动向量；以及整体运 动计算单元，配置来从特征值和运动向量中计算整幅图像的运动量。根据本发明的另一方面，图像处理方法包括通过光电转换被摄体图像来拍摄图 像；计算图像中包含的每一区域的、与运动检测的适当性有关的特征值；检测每一区域的 运动向量；以及从特征值和运动向量中计算整幅图像的运动量。当结合附图考虑时，通过阅读下面的本发明优选实施例的详细描述可以更好地理 解本发明以上或其他的目的、特征、优点和技术以及工业重要性。
图1是由根据本发明实施例的成像设备获得的图像的示例的图示；图2是根据本实施例的成像设备的功能配置的方框图3是要针对其计算区域特征值的像素的说明图；图4A到4C是图解图像区域P中的像素图案的示例的图示；图5是列出区别条件的示例的表；图6是块匹配方法的说明图；图7是根据实施例的成像设备的硬件配置的图示；以及图8是根据实施例的图像处理方法的流程图。
具体实施例方式在下面参照附图描述本发明的示例性实施例。在这里描述的实施例中，“直线图 案”指的是由包含在图像中的对象等的边缘部分组成的直线的图案。图1是由根据本发明实施例的成像设备获得的图像的示例的图示。图1中的图像 被划分为四行(i = 1到4)以及五列(j = 1到5)，因此具有整体二十个区域。在图1的图像中，例如，区域“a” (i = 3，j = 4)包括直线图案。在关于区域“a” 的运动检测中，可能出现错误，诸如当在与直线延伸的方向相同的方向上在成像设备与被 摄体之间存在的相对运动时未检测到这样的运动，或者当实际上不存在相对运动时检测到 运动。在本实施例中，描述一种成像设备，该成像设备能够通过合适地加权包含直线图 案区域(如区域“a”)的运动向量来更精确地检测整幅图像的运动量。图2是根据本实施例的成像设备的功能配置的方框图。图2中的成像设备1包括 图像输入单元10、区域特征计算单元20、运动向量检测单元30、帧运动向量计算单元40、照 相机控制单元50和受控单元60。图像输入单元10从输入的光产生图像数据，并且输出图像数据。例如，图像输入 单元10接收通过未示出的光学系统(包括镜头和快门)的光。所接收到的光被成像装置 (其中在平面中布置感光元件)接收，被转换为与入射光量对应的信号电荷，并且作为图像 数据输出。区域特征计算单元20逐像素地计算区域特征值。图3是要针对其计算区域特征 的像素的说明图。现在考虑包含在3乘3像素的图像区域“P”中的图案的区别。针对图像 区别计算关于图像区域“P”的梯度协方差矩阵“Z”。通过下面的等式(1)表示梯度协方差 矩阵“Z”。Z = ^sA
、S*y Syy)
I-^-!-3^)(^7+1) --Kx-y-1))IlWx+!-^ -^-^yD^x-y+i) -^y-i))II(itx-y+i)-^y-i))2
(1)等式⑴需要诸如P(0，1)、P(1，0)和P(l，4)之类的值，但是因为在实际图像中图 像存在于图像区域P之外，因此可以使用其值。如果区域的大小不是3乘3像素，则可以通 过将等式(1)中的范围Σ调节到区域的大小来进行类似的计算。在下面描述包含在图像区域“P”中的图案和梯度协方差矩阵“Ζ”之间的关系。如 图4Α到4C所示，现在考虑三种图案。图4Α到4C分别图解角图案、示例性直线图案和无图案。当针对每个图案获得梯度协方差矩阵“Z”时，图4A中的角图案具有绝对大值的对角元 素以及小值的非对角元素。在图4B的直线图案中，对角元素之一具有绝对大值，而对角元 素中的另一个具有小值。在图4C的无图案中，对角元素以及非对角元素具有小值。特定矩阵“A”的本征值(eigenvalue)可以被称为矩阵“B”的对角元素，其中通过 旋转矩阵“A”的坐标系来使非对角元素变为零来获得矩阵B。图像的旋转等效于矩阵的坐 标系的旋转。因此，通过获得区域“W” (区域“W”是图像中的任意区域)的梯度协方差矩阵“Z” 的本征值“d/’和“d2”，包含在区域“W”中的图案被区分为角图案、边缘(直线)图案和无 图案，其中Cl1 ( d2。在图5中给出区分条件。通过下面的等式0-1)和0-2)表示梯度协方差矩阵“Z”的本征值“d/’和“d2”。
权利要求
1.一种成像设备，包括成像单元，配置来通过光电转换被摄体图像来拍摄图像；特征计算单元，配置来计算图像中包含的每一区域的、与运动检测的适当性有关的特 征值；区域运动检测单元，配置来检测每一区域的运动向量；以及整体运动计算单元，配置来从特征值和运动向量中计算整幅图像的运动量。
2.如权利要求1所述的成像设备，其中所述特征值能够进行角图案区域、直线图案区 域和无图案区域的区分。
3.如权利要求1所述的成像设备，其中特征值是所述区域的梯度协方差矩阵的本征值。
4.如权利要求3所述的成像设备，其中所述本征值是所述梯度协方差矩阵的两个本征 值中较小的一个。
5.如权利要求1至4中任意一个所述的成像设备，其中所述区域运动检测单元基于所 述特征值设置要经受运动检测的范围。
6.如权利要求1至5中任意一个所述的成像设备，其中所述整体运动计算单元通过使 用已经基于所述特征值或与所述特征值相关的值加权的运动向量来计算运动量。
7.如权利要求1至6中任意一个所述的成像设备，进一步包括控制单元，配置来基于由 所述整体运动计算单元计算的运动量控制所述成像单元。
8.如权利要求7所述的成像设备，其中所述控制单元控制所述成像单元来防止由所述 成像单元拍摄的图像模糊。
9.一种图像处理方法，包括通过光电转换被摄体图像来拍摄图像；计算图像中包含的每一区域的、与运动检测的适当性有关的特征值；检测每一区域的运动向量；以及从特征值和运动向量中计算整幅图像的运动量。
全文摘要
一种成像设备，包括成像单元，配置来通过光电转换被摄体图像来拍摄图像；特征计算单元，配置来计算图像中包含的每一区域的、与运动检测的适当性有关的特征值；区域运动检测单元，配置来检测每一区域的运动向量；以及整体运动计算单元，配置来从特征值和运动向量中计算整幅图像的运动量。
文档编号G06T7/20GK102075684SQ201010563540
公开日2011年5月25日 申请日期2010年11月24日 优先权日2009年11月24日
发明者关海克, 山中祐治 申请人:株式会社理光