专利名称：图像处理器和图像处理程序的制作方法
技术领域：
本发明涉及一种例如用于数字相机或数字摄像机中的合适图像处理器和关联的图像处理程序。
背景技术：
按照惯例，在数字相机或数字摄像机领域中，通过图像处理来执行手抖动补偿的技术是周知的。对于曝光期间的相机移动，“手抖动”一般也被称为“相机抖动”。
在常规现有技术中，例如题为“Image systhesizing device(图像合成设备)”的日本待审公开(Kokai)专利申请No.2003-134385披露了一种捕获多幅不同曝光量的图像。在这些图像中，在一幅图像和其它图像之间检测一个运动矢量作为整幅图像。基于该检测的运动矢量，过程判断图像中是否存在由“目标模糊”或“手抖动”造成的任何模糊(运动模糊)。在“手抖动”的情况下，在每一幅连续图像的对准后，执行手抖动补偿，并将手抖动补偿叠加到一幅图像上，使得能够抵消与“手抖动”所产生的视角位移对应的目标、背景等的位置位移。
此外，为了实现手抖动补偿以叠加每幅连续图像，使得能够抵消目标和背景等的位置位移，则必须捕获每一幅被叠加的图像作为短时曝光图像，该短时曝光图像不包括手抖动、且具有能够识别目标和背景位移的锐度级。虽然在拍摄环境足够亮时这些要求兼容，但是当光强不足时，将要放弃任一个要求。
此外，作为另一种手抖动补偿方法，也有一种通过向模糊图像应用逆变换滤波器来使模糊在更小程度上引人注意的技术。虽然有可能对上述每一幅短时曝光图像应用这种技术，但是该技术也有问题。
一方面，如上所述的曝光不足的图像包括许多来自图像拾取设备的携带噪声。另一方面，用于手抖动补偿的逆变换滤波器一般具有通常加强高频区的特性。这导致了图像中的噪声分量被加强。因此，逆变换滤波器没有提供根本解决方法。
发明内容
鉴于上述情况而提出了本发明。因此，本发明的目的是提供一种图像处理器和关联的图像处理程序，其中即使在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄图像，也能完成手抖动补偿。
为了实现上述目的，本发明包括分组装置，用于从多幅连续图像所共有的特征点的移动来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；组合成图像产生装置，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组装置的分组一致；以及补偿图像产生装置，用于补偿分别与组合成图像产生装置所产生的每一图像组的分组合成图像对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
当连同附图一起阅读以下详细描述时，由以下详细描述、本发明的以上和更多目的及新颖特征将更加清楚。然而，应该清楚理解，附图只是用于说明，而不是意图作为本发明范围的定义。
图1是示出本发明一个优选实施例的配置的框图；图2A～2B是用于说明防手抖动拍摄情况下的曝光形式的图；图3是示出图像处理部分40的配置的框图；图4A～4B是用于说明特征点提取的图；图5是示出由分组控制部分45执行的分组的例子的图；
图6是示出手抖动补偿处理操作的流程图；图7是示出特征点提取处理操作的流程图；以及图8是示出运动方向分类处理操作的流程图。
具体实施例方式
以下将参考附图来说明本发明实施例。
A.配置A-1.整个配置图1是示出本发明一个优选实施例的配置的框图。图2A-2B是用于说明防手抖动(相机抖动)拍摄情况下的曝光形式的图。现在参考图1，操作部分10包含各种操作键，如电源开关、快门键等，并产生与击键操作对应的键事件，并且该键事件被提供给控制部分20。控制部分20配有中央处理器(CPU)等，该CPU取决于从操作部分10输入的键事件来产生控制信号以控制每个部分。图像拾取部分30具有光学系统，其包括图像拾取镜头组；以及快门机构，其具有对目标图像成像、并以预定帧周期产生彩色图像信号的彩色图像传感器，如电荷耦合器件(CCD)等。控制部分20输出根据快门速度或曝光值拾取的被获取图像信号，快门速度和曝光值是基于所提供的控制信号来设置的。
当在需要长时间曝光的环境中，如在晚上、暗室内等环境中拍摄时，执行防手抖动拍摄(参考图2B)，其中与如图2A中所示正常拍摄曝光时间的情况相反，图像拾取部分30重复短时曝光ΔTN次，并连续产生N帧图像信号。假定总和∑ΔT代表每一帧的曝光时间ΔT之和，防手抖动拍摄情况下的总曝光时间T与正常拍摄情况下的曝光时间T一致。后面将描述这种防手抖动拍摄。
图像处理部分40将图像拾取部分30输入的图像信号转换成由亮度分量和色差分量组成的图像数据，并根据控制部分20所提供的控制信号来应用各种类型的图像处理。在此提到的各种类型图像处理例如包括，与通过操作部分10的菜单键操作选择的拍摄模式对应的白平衡校正，对于锐度、对比度等的图像质量调节处理，以及后面描述的手抖动补偿处理。后面将描述图像处理部分40所执行的手抖动补偿处理。显示部分50显示图像处理部分40在控制部分20的控制下输出的图像数据的屏幕显示，或者显示图像存储部分60中存储的图像数据的屏幕显示。图像存储部分60记录图像处理部分40在控制部分20的控制下输出的图像数据。
A2.图像处理部分40的配置图3是示出图像处理部分40的配置的框图。图4A～4B是用于说明特征点提取的图。图5是示出由分组控制部分45执行的分组的例子的图。从图3开始，该配置示出了与图像处理部分40所执行的手抖动补偿处理对应的功能元件。信号处理部分41将图像拾取部分30输入的图像信号转换成由亮度分量和色差分量组成的图像数据。当在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄时，如图2B所示，从图像拾取部分30向信号处理部分41连续提供N帧图像数据。
特征点提取部分42分别从信号处理部分41连续提供的N帧图像数据中，提取多个特征点。特征点是指其周围亮度或颜色大大变化的像素(像元)。具体地说，例如如图4A所示，假定图像拾取部分30提供的帧图像是把所拍摄的笔记本个人计算机(PC)作为目标的图像A。在该图像A中，提取目标的边缘部分等作为特征点(由图中的黑点所示)。所提取的特征点具有参数，如亮度、颜色等，并且分别被看作具有独立属性的数据。
临时存储存储器43临时存储由特征点提取部分42提取的多个特征点以及被提取了特征点的帧的图像数据，作为集合。该临时存储器可以是被包括在图像处理部分40中的单独存储器，并且对于使用包含上述图像存储部分60的存储区的一部分的风格是无关紧要的。
运动检测部分44检测信号处理部分41输出的下一帧图像(也称为“未来帧”)相对于临时存储存储器43中存储的前一帧图像特征点的运动矢量，并确定前一帧相对于下一帧图像在哪个方向上变模糊了。
如从图4B所看到的，运动矢量检测是计算下一帧图像上的相似特征点与前一帧图像中的特征点P之差(dx，dy)的过程。即，在具有和特征点P相同属性的相似特征点存在于距下一帧上特征点P投影位置的预定范围中的情况下。在未能检索到与投影位置对应的相似特征点的情况下，利用其它特征点来检测运动矢量。在运动检测部分44中，所确定的“模糊方向”作为属性被附加到从临时存储存储器43读出的前一帧图像的图像数据上，并被输出到分组控制部分45的下一级。
分组控制部分45对运动检测部分44所输出的、被分配了“模糊方向”作为属性的帧图像数据的属性，执行分组。在本发明优选实施例中，为了实现简化描述，将如图5所示的模糊方向θ分成4组π/8＜θ＜3π/8或9π/8＜θ＜11π/83π/8＜θ＜5π/8或11π/8＜θ＜13π/85π/8＜θ＜7π/8或13π/8＜θ＜15π/815π/8＜θ＜π/8或7π/8＜θ＜9π/8组保持存储器46包括分别对应于上述4组的存储区1～4，并在与分组控制部分45所划分的组中的图像数据对应的存储区中执行组注册。该组保持存储器46可以是被包括在图像处理部分40中的单独存储器，并且对于使用包含上述图像存储部分60的存储区的一部分的风格是无关紧要的。
当在组保持存储器46中注册新图像数据时，图像合成部分47在执行位置补偿、以便将先前注册的图像数据的特征点的位置和新图像数据的特征点位置匹配之后，通过把先前注册的图像数据和新图像数据相加来组成新的分组合成图像数据。因此，在对连续拍摄的每幅图像数据的所有N帧都进行分组、并在组保持存储器46中执行了组注册的情况下，一个分组合成图像数据将最大限度地被存储在分别与每个组对应的存储区中。
另外，在图像合成部分47中，当对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册时，从组保持存储器46的各组中读出每一组的分组合成图像数据。随后，应用与所读出的分组合成图像数据对应的方向的逆变换滤波，并按组执行手抖动补偿。以下，将说明由图像合成部分47执行的逆变换滤波的概要。
现在，例如认为要对特征点(x0，y0)进行补偿。如上所述，图像合成部分47对每个模糊方向都生成一个分组合成图像数据。可以为模糊方向设置当前x轴，并且可以在作为原点的特征点(x0，y0)处设置当前正交y轴。这样，因为相对于每个y值执行相同处理，所以可以用一个变量x来表示图像。用f(x)表示不模糊图像，用g(x)表示模糊图像，并用h(x)表示图像的模糊条件(PSF-点扩展函数)，则可以用以下公式(1)来表示这些g(x)＝f(x)*h(x) …(1)在此，*表示卷积运算。
然后，当执行分别由F、G和H表示的f(x)、g(x)和h(x)的傅立叶变换时，可以用下式(2)来表示上式(1)G(u)＝F(u)×H(u) …(2)因此，使上述用简单乘法表示的式(2)的两边除以H(u)，得到下式(3)F(u)＝G(u)/H(u) …(3)当代表图像模糊条件(PSF)的h(x)已知时，作为使傅立叶变换模糊图像G(u)除以傅立叶变换模糊条件H(u)的上述(1)～(3)式的结果，可以通过执行该逆傅立叶变换来获得不模糊图像f(x)。由此，可以用下式(4)来表示逆变换滤波器M(u)M(u)＝1/H(u) …(4)接下来，将详细计算h(x)。例如，假定以下情况要补偿的模糊图像包含五个像素的模糊宽度。在曝光期间手抖动速度恒定的假定之下，图像数据的一个给定像素可以被看作不模糊图像的五个像素部分的平均值。
具体地说，在|x|＜2.5的情况下，模糊条件h(x)变为[1/5th]，且在|x|≥2.5的情况下，模糊条件h(x)变为
。可以通过将模糊条件h(x)特性曲线代入上式(1)，来计算这种逆变换滤波器M(u)。另外，该逆变换滤波器M(u)理想地不考虑噪声混合物。实际上，可以使用通过众所周知的维纳(Wiener)滤波的图像恢复方法。
如上所述，因为图像合成部分47对每个模糊方向都生成一个分组合成图像数据，所以叠加在图像数据上的CCD噪声等被均衡了，且信噪比(S/N)提高了。此外，作为利用上述逆变换滤波器M(u)来执行逆滤波处理的直接结果，可以有效执行手抖动补偿。
这样，关于借以执行逆变换滤波的每一组的分组合成图像数据，在完成位置补偿后，图像合成部分47产生附加的合成手抖动补偿图像数据，使得可以叠加各自特征点。随后，经由控制部分20(参考图1)在显示部分50上实现图像显示，或者将图像数据存储在图像存储部分60中。
B.操作参考图6～8，将说明在根据上述配置的优选实施例中执行的手抖动补偿处理操作。图6是示出由图像处理部分40执行的手抖动补偿处理的概要操作的流程图。图7是示出由特征点提取部分42执行的特征点提取处理操作的流程图。图8是示出由运动检测部分44、分组控制部分45和图像合成部分47执行的运动方向分类处理操作的流程图。
响应来自控制部分20的指令，执行防手抖动拍摄(参考图2A和2B)，其中图像拾取部分30重复短时间曝光ΔTN次，并连续产生N帧图像信号。如图6所示，图像处理部分40对通过防手抖动拍摄产生的N帧图像信号应用手抖动补偿处理。
具体地说，首先在步骤SA1，将图像拾取部分30输入的图像信号转换成图像数据。随后，在步骤SA2，执行特征点提取处理，从所输入的图像数据中提取多个特征点。图7示出了从步骤SB1至SB4的特征点提取处理配置。
在图7所示的步骤SB1、SB4，顺序扫描输入帧图像的每个像素，并检索其周围亮度或颜色大大变化的像素。当检索到适用于这些条件的像素时，步骤SB1的判断结果变为“是”。处理前进到步骤SB2，且提取这些可适用的像素作为特征点。所提取的特征点包含参数，如亮度、颜色等，并且和作为具有独立属性的数据的待提取图像数据一起，分别存储在临时存储存储器43中。
接下来，在步骤SB3，过程判断是否从预定要提取的帧的图像数据中，提取了预定数量特征点。如果还没有完成预定数量特征点的提取，则判断结果变为“否”，借此过程前进到步骤SB4，并继续扫描像素。相反，当完成了预定数量特征点的提取时，判断结果变为“是”，且该处理将完成。然后，将通过如图6所示的步骤SA3，来执行图8所示的运动方向分类处理。
当执行运动方向分类处理时，处理前进到图8所示的步骤SC 1。将参考临时存储存储器43中存储的前一帧图像的特征点，来检测下一帧图像的运动矢量。然后，处理确定前一帧图像与下一帧图像相比在哪个方向上模糊了。所确定的“模糊条件”作为属性被附加到从临时存储存储器43读出的前一帧图像的图像数据上，并输出到分组控制部分45的下一级。
分组控制部分45执行步骤SC2～SC4，并且在与模糊方向θ对应的图像数据的组保持存储器46中执行组注册，该模糊方向θ是关于附加到图像数据上的属性的。具体地说，当模糊方向θ为π/8＜θ＜3π/8或9π/8＜θ＜11π/8时，步骤SC2的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区1中。
当模糊方向θ为3π/8＜θ＜5π/8或11π/8＜θ＜13π/8时，步骤SC3的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区2中。
当模糊方向θ为5π/8＜θ＜7π/8或13π/8＜θ＜15π/8时，步骤SC4的判断结果变为“是”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区3中。
当模糊方向θ为15π/8＜θ＜π/8或7π/8＜θ＜9π/8时，步骤SC2～SC4的每个判断结果都变为“否”，且可适用图像数据的组注册将被存储在组保持存储器46的存储区4中。
图像合成部分47执行步骤SC5～SC8。具体地说，当新图像数据被注册在组保持存储器46中时，图像合成部分47在执行位置补偿、以便将先前注册的图像数据的特征点的位置和新图像数据的特征点位置匹配之后，通过把先前注册的图像数据和新图像数据相加，来组成新的分组合成图像数据。然后，在对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册的情况下，步骤SC9的判断结果变为“是”，且该处理将完成。接下来，将执行如图6所示的步骤SA4的按模糊方向的滤波处理。
当对连续拍摄的每幅图像数据的所有N帧进行分组、且在组保持存储器46中执行了组注册时，图像合成部分47从组保持存储器46中的各组中，读出每一组的分组合成图像数据。随后，处理对分组合成图像数据应用逆滤波处理，并按组执行手抖动补偿。此后，处理前进到步骤SA5，步骤SA5涉及借以执行逆变换滤波的每一组的分组合成图像数据。在完成位置补偿后，图像合成部分47产生附加合成手抖动补偿图像数据，使得可以叠加各自特征点。
如上所述，在本发明优选实施例中，分别从通过重复短时曝光获取的多帧图像中提取特征点，检测下一帧相对于所提取的前一帧图像特征点的运动矢量，并从所检测的运动矢量来判断前一帧图像的模糊方向，以提供判断结果。然后，在基于该判断结果从多幅图像中选择相同模糊方向的图像、并对这些图像进行分组的同时，一旦执行且叠加了位置补偿、使得图像特征点分别与分组一致，就为每一组生成分组合成图像。随后，对分组合成图像数据应用逆变换滤波处理，并按组完成手抖动补偿，手抖动补偿补偿与组匹配的模糊方向分量。在执行并叠加了位置补偿、使得每一幅分组合成图像的特征点分别与手抖动补偿一致后，产生手抖动补偿图像。
因此，可以执行以上噪声抑制(噪声均衡)而不降低方向精度，这样通过模糊方向的排列分组而不产生模糊。而且，衰减校正变得可能、而不对方向产生不利影响，这样通过使用只在所需方向上有效的逆变换滤波器而不产生模糊。此外，作为能够在实现噪声抑制和衰减校正后通过叠加图像来补偿曝光不足、而不损害可见度的直接结果，即使在需要长时间曝光的环境中，例如在晚上、暗室中等环境中拍摄图像，也能实现手抖动补偿。
最后，虽然作为本发明优选实施例之一的数字相机处理程序被存储在数字相机存储器(例如只读存储器等)中，但是该处理程序可被存储在记录介质上。在执行如制造、销售等的情况下，只需保护程序本身。在这种情形下，程序保护变为存储图像处理程序的记录介质的形式。
虽然参考优选实施例描述了本发明，但是本发明不受在此描述的任何细节限制，而是包括落入所附权利要求的范围内的所有实施例。
(按照条约第19条的修改)[于2006年4月17(17.04.2006)由国际局收到]1.一种图像处理器，包括分组装置(42、44、45)，用于通过多幅连续图像中每一幅图像的模糊方向分量，将图像分类为组；第一图像产生装置(47)，用于为每一图像组产生合成图像，其中执行位移补偿和图像合成，以匹配图像中的目标；方向模糊补偿装置(47)，其中在其方向上补偿所述合成图像的模糊；以及第二图像产生装置(47)，用于产生手抖动补偿图像，其中执行位移补偿和图像合成，以匹配方向模糊补偿图像中的目标。
2.一种通过处理器执行的图像处理程序，包括以下步骤分组处理(SA2、SC1、SC2、SC3、SC4)，用于通过多幅连续图像中每一幅图像的模糊方向分量，将图像分类为组；第一图像产生处理(SC5、SC6、SC7、SC8)，用于为每一图像组产生合成图像，其中执行位移补偿和图像合成，以匹配图像中的目标；方向模糊补偿处理(SA4)，其中在其方向上补偿所述合成图像的模糊；以及第二图像产生处理(SA5)，用于产生手抖动补偿图像，其中执行位移补偿和图像合成，以匹配方向模糊补偿图像中的目标。
权利要求
1.一种图像处理器，包括分组装置(42、44、45)，用于从多幅连续图像所共有的特征点的移动来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；组合成图像产生装置(47)，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组装置的分组一致；以及补偿图像产生装置(47)，用于补偿分别与组合成图像产生装置所产生的每一图像组的分组合成图像相对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
2.一种图像处理器，包括提取装置(42)，用于从多幅连续帧图像中提取特征点，这多幅连续帧图像组成以预定时间间隔重复成像的曝光；确定装置(44)，用于检测下一帧图像相对于提取装置所提取的前一帧图像的特征点的运动矢量，以及通过重复从所检测的运动矢量确定前一帧图像的模糊方向分量的操作，来确定每一幅帧图像的模糊方向分量；分组装置(45)，用于选择图像、并对这些图像进行分组，以提供相对于确定装置所确定的每一幅帧图像的模糊方向分量分别具有相同模糊方向分量的图像组；组合成图像产生装置(45)，用于对每一图像组都产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组装置的分组一致；补偿装置(47)，用于应用逆变换滤波、并按照图像组来执行手抖动补偿，该补偿装置补偿分别与组合成图像产生装置所产生的每一幅分组合成图像对应的模糊方向分量；以及补偿图像产生装置(47)，用于产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点都分别与补偿装置的手抖动补偿一致。
3.一种通过处理器执行的图像处理程序，包括以下步骤组处理(SA2、SC1、SC2、SC3、SC4)，用于从为多幅连续图像所共有的特征点的移动、来确定每幅图像的模糊方向分量，以及提供分别具有相同模糊方向分量的图像组；组合成图像产生处理(SC5、SC6、SC7、SC8)，用于为每一图像组产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组处理的分组一致；以及补偿图像产生处理(SA4、SA5)，用于补偿分别与组合成图像产生处理所产生的每一图像组的分组合成图像相对应的模糊方向分量，并产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点分别与位置补偿一致。
4.一种通过处理器执行的图像处理程序，包括以下步骤提取处理(SA2)，用于从多幅连续帧图像中提取特征点，这多幅连续帧图像组成以预定时间间隔重复成像的曝光；确定处理(SC1、SC2、SC3、SC4)，用于检测下一帧图像相对于提取处理所提取的前一帧图像的特征点的运动矢量，以及通过重复从所检测的运动矢量确定前一帧图像的模糊方向分量的操作，来确定每一幅帧图像的模糊方向分量；组处理，用于选择图像、并对这些图像进行分组，以提供相对于由确定处理确定的每一幅帧图像的模糊方向分量分别具有相同模糊方向分量的图像组；组合成图像产生处理(SC5、SC6、SC7、SC8)，用于对每一图像组都产生分组合成图像，其中执行并叠加位置补偿，使得图像的特征点分别与分组处理的分组一致；补偿处理(SA4)，用于应用逆变换滤波、并按照图像组来执行手抖动补偿，该补偿处理补偿分别与组补偿图像产生处理所产生的每一幅分组合成图像对应的模糊方向分量；以及补偿图像产生处理(SA5)，用于产生手抖动补偿图像，其中执行并叠加位置补偿，使得每一幅分组合成图像的特征点都分别与补偿处理的手抖动补偿一致。
全文摘要
从多帧图像中提取特征点。从所获取的下一帧图像相对于所提取的前一帧图像特征点的运动矢量，来判断前一帧图像的模糊方向分量。基于该判断结果，来从多帧图像中选择相同模糊方向的图像、并对这些图像进行分组。在执行位置补偿后，对每一组都生成分组合成图像的附加合成物，使得特征点与分组图像一致。随后，对分组合成图像数据应用逆变换滤波处理，并按组完成手抖动补偿，该手抖动补偿补偿与组匹配的模糊方向分量。一旦完成位置补偿，就产生手抖动补偿图像的附加合成物，使得每一幅分组合成图像的特征点都与手抖动补偿一致。
文档编号H04N101/00GK101076832SQ200580040390
公开日2007年11月21日 申请日期2005年12月21日 优先权日2004年12月24日
发明者佐佐木雅昭, 松井绅一 申请人:卡西欧计算机株式会社