图像处理装置、方法和程序以及图像拾取装置的制作方法

专利名称：图像处理装置、方法和程序以及图像拾取装置的制作方法
技术领域：
本发明涉及一种图像处理装置以及图像拾取装置，用于处理通过连续拍 摄等方式获取的多条图像数据。
背景技术：
当使用在移动电话等中配置的数码相机(图像拾取装置)执行图像拍摄 时，由于例如在曝光过程中持有移动电话的手的抖动而造成的相机抖动对于 要获取的图像会产生影响。为了抑制相机抖动的影响，对要获取的图像进行 相机抖动校正。在相机抖动校正过程中，对通过连续拍摄获取的多(N)条图像数据执 行组合处理以得到一个组合图像。作为组合处理，下述传统方法是公知。(1) 将第一个获取的图像定义为基础图像，以及将第二至第N个图像 与第一个基础图像顺序组合。(2) 将第m (例如，m=N/2)个获取的图像定义为基础图像，以及将其 它图像与第m个基础图像顺序组合。在上述的方法(1)的情况下，相机抖动通常发生在某一方向上。因此， 当将第一至第N个图像顺序重叠时，在第一个图像(即，基础图像)与待重 叠的最终目标图像之间会产生更大的偏移，因而削弱了重叠功能。此外，在上述的方法(2)中，例如，当第m (m=N/2)个获取的图像为 基础图像时，偏移量可能约为将第一或第N个图像定义为基础图像的情况的 1/2，从而提高了重叠功能。然而，由于第m个图像为用于重叠的基础图像， 所以尽管用户认为当其按下快门时便获取了图像，但是在按下快门的时刻获 取的图像与当重叠图像时作为基础图像的图像之间会存在时滞。结果，与用 户期望的图像会存在更大的偏移。已经公开了多种技术用作相机抖动校正技术。
例如，专利文献l公开了一种具有两种模式的电子相机，即模糊校正模 式(抖动校正模式)以及非模糊校正模式(非抖动校正模式)。电子相机仅在CCD (电荷耦合器件)曝光过程中执行模糊校正(抖动校正)，当电子相 机处于拍摄准备期间，在像素数据输出过程中不执行模糊校正(为非模糊校 正模式)。专利文献2公开了这样一种相机，即当选择防止抖动拍摄模式时可以通 过改变普通拍摄模式下镜片及快门的工作速度来其进行控制。相机的拍摄模 式选择部件选择相机的拍摄模式，例如防止抖动拍摄模式、普通拍摄模式等。 在开始曝光时，驱动速度改变部件根据拍摄模式选择部件的选择结果输出用 以改变镜片及快门的驱动速度的指令至镜片驱动部件及快门驱动部件。 [专利文献l]日本公开专利申请No. 2003-333414 "电子相机" [专利文献2]日本公开专利申请No.H7-28149 "相机防抖动装置"发明内容本发明目的在于提供一种图像数据处理装置、图像数据处理方法以及图 像数据处理程序，能够从获取的多条图像数据中得到具有更高准确度的组合 图像。本发明的另 一 目的在于提供一种图像拾取装置，能够避免组合图像从用 户期望图像中偏移。根据本发明第一方面的图像数据处理装置是这样一种图像数据处理装置，用于处理多条图像数据，其包括第一基础图像选择单元，从获取的多 条图像数据中选择一条图像数据，作为在重叠操作中使用的第一基础图像； 偏移量计算单元，计算被选择用于重叠操作的第一基础图像与获取的多条图 像数据中另一条不同图像数据之间的偏移量；图像重叠单元，在基于所计算 的偏移量进行偏移校正之后检测重叠区域，并对该重叠区域执行重叠操作， 其中该重叠区域为能够在选择的第一基础图像上重叠所述不同图像数据的 区域；第二基础图像选择单元，从所述获取的多条图像数据中选择一条图像 数据，作为在非重叠区域中使用的第二基础图像；以及图像组合单元，将重 叠操作结果与在该第二基础图像中的非重叠区域进行组合，并输出作为组合 结果的图像数据。通过上述配置，该第一和第二基础图像选择单元分别选择当重叠所述获 取的多个图像数据时在该重叠区域中使用的第一基础图像以及在该非重叠 区域中使用的第二基础图像。因此，例如通过从所述多条图像数据中选择其中具有最小抖动量的图像 数据作为在该非重叠区域中的第二基础图像，或是通过从所述多条图像数据 中的非重叠区域中选择用以指示在人面部上的眼睛睁开程度最大的图像数 据作为在该非重叠区域中使用的第二基础图像，可以提高在图像数据的非重 叠区域中作为组合结果的图像质量，以及可以得到具有更高精度的组合图 像。根据本发明第二方面的图像拾取装置是这样一种图像拾取装置，用于处 理通过连续拍摄获得的多条图像数据，该图像拾取装置包括图像传感器， 对于从待获取的对象接收的光执行光/电转换，以及输出光/电转换数据；图 像数据产生单元，基于该光/电转换数据产生图像数据；拍摄控制单元，响应 于拍摄指令输出曝光控制信息至该图像传感器，并获取多条图像数据；第一 基础图像选择单元，从所述获取的多条图像数据中选择一条图像数据作为在 重叠操作中使用的第一基础图像；偏移量计算单元，计算被选择用于重叠操 作的第一基础图像与获取的多条图像数据中另一条不同图像数据之间的偏 移量；图像重叠单元，在基于所计算的偏移量进行偏移校正之后检测重叠区 域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基 础图像上重叠所述不同图像数据的区域；第二基础图像选择单元，从所述获 取的多条图像数据中选择一条图像数据，作为在非重叠区域中使用的第二基 础图像；以及图像组合单元，将重叠操作结果与在该第二基础图像中的非重 叠区域进行组合，并输出作为组合结果的图像数据。通过上述配置，该第一和第二基础图像选择单元分别选择当重叠所述多 个获取的图像数据时在该重叠区域中使用的第一基础图像以及在该非重叠 区域中使用的第二基础图像。因此，例如通过从所述获取的多条图像数据中选择与第一个拍摄图像对 应的图像数据，作为在该非重叠区域中使用的该第二基础图像，可以避免当 用户认为已经获得在按下快门按钮时获取的图像时组合图像从用户期望的 图像中偏移。此外，通过从所述获取的多条图像数据中选择与在快门发出声
音时刻拍摄的图像对应的图像数据，作为在该非重叠区域中使用的该第二基 础图像，可以避免当用户认为己经获得在快门发出声音时刻获取的图像时组 合图像从用户期望的图像中偏移。通过根据本发明的图像数据处理装置，可以从获取的多条图像数据中得 到具有更高的精度的组合图像。此外，根据本发明的图像拾取装置可以避免在组合图像中出现从用户期 望的图像中偏移。


图1为根据本发明的检测重叠区域方法的示意图；图2为示出用以实施本发明的对每种模式共用的图像拾取装置的结构方 框图；图3示出了根据本发明的校正单元工作原理的配置，以及是示出根据用 于实现本发明第一及第二模式的校正单元的配置的方框图； 图4为根据本发明的拍摄处理以及图像处理的流程图； 图5为根据用以实施本发明第一模式的拍摄处理以及图像处理的流程图；图6为根据用以实现本发明第二模式的拍摄处理以及图像处理的流程图；图7为根据用以实现本发明第三模式的第二基础图像选择单元(用于非 重叠区域的基础图像选择单元)配置的方框图；图8为根据用以实现本发明第三模式的拍摄处理以及图像处理的流程图；图9为根据用以实现本发明第四模式的第二基础图像选择单元(用于非 重叠区域的基础图像选择单元)配置的方框图；图10为根据用以实现本发明第四模式的拍摄处理以及图像处理的流程 图；和图11示出存储介质的实例。
具体实施方式
下文描述了在通过组合多个图像来产生图像的领域中的相机抖动校正。 然而，除了相机抖动校正之外，本发明还可以应用于执行相似过程的其它领 域。在相机抖动校正期间执行的图像组合中，通过连续拍摄特定对象，对每 个连续拍摄的图像进行调准(抖动校正)以及组合这些图像来产生一个图像。作为组合结果获得的图像具有两种区域，第一种是通过在连续拍摄所获 取的多个图像的相同位置的像素的取平均像素值所得到的像素而配置的区 域(重叠区域)，而第二种是例如通过将连续拍摄获得的多个图像其中之一 的像素的像素值乘以一整数所得到的像素而配置的区域(非重叠区域)。艮P，作为组合结果的图像包括重叠区域(例如，当连续拍摄的图像个数为3时， 通过组合这3个图像产生的区域)和非重叠区域(通过仅涉及一个图像的信 息产生的区域)。图1为根据本发明的检测重叠区域方法的示意图。在图1中，当将图像1-3的三个图像简单组合时，产生例如图像4的所 得图像作为复合图像。随后，在执行偏移校正以对图像进行调准之后，计算在各个图像的相同 位置处的像素值之间的差值，以及将用以表示该差值等于或超过阈值的部分 定义为变化区域(非重叠区域)。例如，在图像5中，通过"白色"表示变 化区域，通过"黑色"表示不变区域(重叠区域)。本发明特征在于在变化区域及不变区域中独立选择基础图像。例如，当 在变化区域中使用图像2以及在不变区域中使用通过组合图像1-3所得到的 图像时，获得例如图像6的图像作为组合图像1-3的结果。接下来描述的是在用以实施本发明的每种模式中使用的图像拾取装置 及在图像拾取装置中的校正单元的结构。图2为用以实施本发明的对每种模式共用的图像拾取装置的结构方框图。在图2中，图像拾取装置10包括透镜ll、图像传感器12、拍摄控制 单元13， AGC (自动增益控制)电路16、 AD转换器(模数转换器、ADC) 17、图像处理单元(也称为图像信号处理器(ISP) ) 18、图像保持单元22 以及校正单元23。
透镜ll将来自待获取目标(对象)的光会聚在图像传感器12上。 图像传感器12配置有感光单元(未在附图中显示)和信号输出单元(未 在附图中显示)，其中所述感光单元执行光/电转换(即，将通过透镜ll从 待获取目标接收的光转换为电荷)，所述信号输出单元输出会聚的电荷作为 光/电转换数据。AGC电路16控制从图像传感器12输出的光/电转换数据的增益。 AD转换器17将增益控制的光/电转换数据从模拟数据转换为数字数据。 图像处理单元18根据AD转换器17的输出产生图像数据。也就是说， 图像处理单元18基于从AD转换器17输入的信号(也称为"原始数据") 执行以下处理，包括色彩分离处理、用于在显示器上线性表现亮度的Z校 正处理、用于表示独立于光源温度的白色的白色平衡控制处理等。在色彩分 离处理中，将输入信号转换为例如YUV信号、RGB信号等所需的格式。响应于拍摄指令，拍摄控制单元13输出一控制信号至图像传感器12， 其中该控制信号包括为了待获取目标而计算的曝光控制信息，从而可通过图 像传感器12在拍摄处理(由感光单元及信号输出单元进行的处理)中获取 多条图像数据。将由图像传感器12在拍摄处理中获取的多条图像数据通过图像处理单 元18存储于图像保持单元22中。校正单元23读取在图像保持单元22中存储的多条图像数据，基于读取 的多条图像数据产生多条相机抖动校正(组合的)图像数据，以及将产生的 图像数据输出至在随后阶段配置为用于存储图像数据的存储器(未在附图中 显示)。校正单元23的操作取决于用于实现本发明中的每种模式。当拍摄控制单元13、图像处理单元18和校正单元23以程序实现时，用 于执行拍摄控制单元13及图像处理单元18的中央处理单元(CPU)可以是 用于执行校正单元23的CPU，或者是分别不同的CPU。图3示出了根据本发明的校正单元工作原理的配置，以及是示出根据用 于实现本发明第一及第二模式的校正单元的配置的方框图。在图3中，校正单元30包括第一基础图像选择单元31、偏移量计算 单元32、重叠区域检测单元33、图像重叠单元34、第二基础图像选择单元 36以及图像组合单元38。 第一基础图像选择单元31在校正单元30的前序阶段中从图像保持单元 22中存储的多条图像数据中选择一条图像数据，作为在执行重叠操作时所使 用的第一基础图像。偏移量计算单元32计算被选择用于重叠的第一基础图像与图像保持单 元22中存储的多条图像数据中的其它图像数据之间的偏移量。重叠区域检测单元33根据计算所得的偏移量检测重叠区域，该重叠区 域为其它图像数据可以相比于所选择的第一基础图像数据进行偏移量校正 以及可以在第一基础图像上进行重叠的区域。图像重叠单元34在检测到的重叠区域中执行重叠操作。第二基础图像选择单元36从图像保持单元22中存储的多条图像数据中 选择一条图像数据，作为在非重叠区域中使用的第二基础图像。图像组合单元38将重叠结果与在第二基础图像中的非重叠区域进行组 合，并且输出作为组合结果的图像数据至随后的阶段。图4为显示根据本发明的拍摄处理以及图像处理的主要流程图。通过在 图2及图3中显示的各个单元来实现此流程图。在图4中，首先在步骤S101中，连续拍摄图像。以下将描述主要过程。首先，响应于用户发出的拍摄指令(例如，按下快门按钮)，如图2所 示的拍摄控制单元13输出一控制信号至图像传感器12，其中该控制信号包 括为了待获取目标而计算的曝光控制信息。随后，在使用图像传感器12进 行拍摄的过程(通过感光单元及信号输出单元)中，获取一条图像数据。也 就是说，图像传感器12将通过透镜11从待获取目标接收的光转换为电荷， 对电荷进行聚集，并输出作为光/电转换数据的经过聚集的电荷至图像处理单 元18。图像处理单元18根据接收到的光/电转换数据产生(捕捉)图像数据。 也就是说，图像处理单元18根据光/电转换数据(也称为输入信号或原始数据)执行色彩分离处理、用于在显示器上线性表现亮度的7校正处理、用于表示独立于光源温度的白色的白色平衡控制处理等。在色彩分离处理中，将输入信号转换为例如YUV信号、RGB信号等所需的格式。随后，将通过 图像处理单元18产生的图像数据存储于图像保持单元22中。对每一连续拍 摄和获取的图像执行这些处理。
在随后的步骤S102中，如图3所示的第一基础图像选择单元31从(即， 选定)图像保持单元22中存储的多条图像数据中选择一条图像数据，作为 当执行重叠操作时所使用的第一基础图像。在步骤S103中，偏移量计算单元32计算在由图像保持单元22保持的 多条图像数据中被选择的第一基础图像与另一条图像数据(待重叠的目标图 像)之间的偏移量。例如，由于如图l所示的连续拍摄的图像为当车辆移动 时连续获得的图像，所以在每个图像中车辆的位置均改变。然而，(尽管在 如图1所示的每一图像中不一定显示)，车辆的背景，例如远处的山峰、森 林等均由于相机抖动的影响而或多或少地偏移，但是与每个图像中车辆位置 的改变相比，可以忽略在一定程度上的背景偏移。在步骤S103中，计算背 景部分的图像之间的偏移作为偏移量。如果获得了两个图像之间的偏移量， 则可以检测两个图像之间对应的像素。在步骤S104中，重叠区域检测单元33利用计算所得的偏移量进行偏移 校正，从而调准待与第一基础图像重叠的目标图像，并计算对应像素之间的 像素差。随后，确定可以是否可对其计算得到的差值小于阈值的像素进行重 叠，并检测对于第一基础图像与待重叠的目标图像的重叠区域，其中所述重 叠区域被定义为其差值小于阈值的一组像素。在步骤S105中，图像重叠单元34在检测到的重叠区域上执行重叠操作。 结果，在第一基础图像中的检测到的重叠区域上对待重叠的目标图像的对应 部分的像素进行重叠。在步骤S106中，确定是否对预定数目的图像完成了上述处理。例如， 当通过连续拍摄获得三个图像并且设定第二图像为第一基础图像时，在第二 和第一图像之间以及在第二和第三图像之间执行重叠操作。因此，预定数目 为两次。如果在步骤S106中确定对预定数目的图像还未完成上述处理，则控制 返回步骤S103。另一方面，如果在步骤S106中确定对预定数目的图像已经完成了上述 处理，那么，在步骤S107中，第二基础图像选择单元36 (即，选定)在图 像保持单元22中保持的多条图像数据中选择一条图像数据，作为在非重叠 区域中使用的第二基础图像。执行步骤S103至S105的过程多次，检测到第 一基础图像与待重叠的目标图像之间的共同部分作为最终重叠区域，并且对 于最终重叠区域，可以获得除最终重叠区域之外的区域，即非重叠区域(变 化区域)。在步骤S108中，图像组合单元38将重叠结果(例如，在执行重叠处理 之后的第一基础图像)与在第二基础图像中的非重叠区域进行组合，并且将 组合结果的图像数据输出至随后的阶段。图5为根据用以实施本发明第一模式的拍摄处理以及图像处理的流程 图。通过图2和图3中所示的各个单元来实现该流程图。由于步骤S101至S106与如图4所示的步骤相似，故不再赘述。在此过程的步骤S102中，定义并选择预定的第n个图像数据作为第一 基础图像，但是也可以使用其它方法作为选择第一基础图像的方法。(如果在步骤S106中确定对预定数目的图像已经完成了上述操作)， 则在步骤S201中，第二基础图像选择单元36从图像保持单元22中保持的 多条图像数据中选择与第一个拍摄图像对应的图像数据，作为在非重叠区域 中使用的第二基础图像。在接下来的步骤S202中，图像组合单元38将重叠结果(例如，在执行 重叠处理之后的第一基础图像)与在第二基础图像中的非重叠区域进行组 合，并且将作为组合结果的图像数据输出至随后的阶段。在用以实现本发明的第一模式中，从多条获取的图像数据中选择与第一 个拍摄图像对应的图像数据作为在非重叠区域中使用的第二基础图像，从而 避免了当用户认为已经获得在按下快门按钮时获取的图像时组合图像从用 户期望的图像中偏移。图6为根据用以实现本发明第二模式的拍摄处理以及图像处理的流程 图。通过图2和图3中所示的各个单元来实现该流程图。由于步骤S101至S106与如图4所示的步骤相似，故不再赘述。 (如果在步骤S106中确定对预定数目的图像已经完成了上述操作)， 则在步骤S301中，第二基础图像选择单元36从图像保持单元22中保持的 多条图像数据中选择与在快门发出声音时刻拍摄的图像对应的图像数据，作 为在非重叠区域中使用的第二基础图像。在接下来的步骤S302中，图像组合单元38将重叠结果(例如，在执行 重叠处理之后的第一基础图像)与在第二基础图像中的非重叠区域进行组 合，并且将作为组合结果的图像数据输出至随后的阶段。在用以实现本发明的第二模式中，从多个获取的图像数据中选择在快门 发出声音时刻拍摄的图像对应的图像数据作为在非重叠区域中使用的第二 基础图像，从而避免了当用户认为已经获得在快门发出声音时刻获取的图像 时组合图像从用户期望的图像中偏移。如下所述为示例本发明的第三模式。图7为根据用以实现本发明第三模式的第二基础图像选择单元(用于非 重叠区域的基础图像选择单元)配置的方框图。在图7中，第二基础图像选择单元41包括抖动量计算单元42。抖动量计算单元42检测对于由图像保持单元22保持的多条图像数据中 的每条图像数据的非重叠区域中的边缘(轮廓)。所述边缘为在一条图像数 据中的密度变化边界，并且从第二基础图像选择单元41中可以观察到非重 叠区域。随后，抖动量计算单元42对连续拍摄所获取的每条图像数据中的 边缘部分的行进方向及行进量执行寻迹操作，并且计算矢量，也就是每条图 像数据中上下抖动量、左右抖动量以及顺时针及逆时针的抖动量。例如，抖动量计算单元42计算由图像保持单元22保持的多条图像数据 中分别检测到的边缘部分的各自分辨率，以及向第二基础图像选择单元41 通知用以识别在多条图像数据中具有最高分辨率的图像数据的信息。在这种 情况下，分辨率越高则表明抖动量越小，并且分辨率越低则表明抖动量越大。 也就是说，最高分辨率的图像数据表示具有最小抖动量的图像数据。第二基础图像选择单元41选择由抖动量计算单元42通知的信息所指定 的图像数据，作为在非重叠区域中使用的基础图像。图8为根据用以实现本发明第三模式的拍摄处理以及图像处理的流程 图。通过图2、图3及图7中所示的各个单元来实现该流程图。由于步骤S101至S106与如图4所示的步骤相似，故不再赘述。 (如果在步骤S106中确定对预定数目的图像已经完成了上述操作)， 则在步骤S401中，如图7所示的抖动量计算单元42检测对于由图像保持单 元22保持的多条图像数据中的每条图像数据的非重叠区域中的边缘(轮廓)。 所述边缘为在一条图像数据中的密度变化边界，并且从第二基础图像选择单
元41中可以观察到非重叠区域。随后，同样在步骤S401中，抖动量计算单 元42对连续拍摄获得的每条图像数据中的边缘部分的行进方向及行进量执 行寻迹操作，并且计算矢量，也就是每个图像数据中上下抖动量、左右抖动 量以及顺时针及逆时针的抖动量。例如，抖动量计算单元42计算由图像保 持单元22保持的多条图像数据中分别检测到的边缘部分的各自分辨率，以 及向第二基础图像选择单元41通知用以识别在多条图像数据中具有最高分 辨率的图像数据的信息。在接下来的步骤S402中，如图7所示的第二基础图像选择单元41选择 (即，选定)由抖动量计算单元42通知的信息所指定的图像数据作为在非 重叠区域中使用的基础图像。在接下来的步骤S403中，如图3所示的图像组合单元38将重叠结果(例 如，在执行重叠处理之后的第一基础图像)与在第二基础图像中的非重叠区 域进行组合，并且将作为组合结果的图像数据输出至随后的阶段。在如上描述中，抖动量计算单元42检测由图像保持单元22保持的多条 图像数据中的边缘，但是其也可以检测特征点。在这种情况下，以下描述通过图7中所示的各个单元执行的上述过程。抖动量计算单元42检测对于由图像保持单元22保持的多条图像数据中 的每条图像数据的非重叠区域中的边缘(轮廓)。所述边缘为在一条图像数 据中的密度变化边界，并且从第二基础图像选择单元41中可以观察到非重 叠区域。随后，抖动量计算单元42从作为特征点的边缘部分中仅提取可以 容易识别其特征的部分，例如高亮度点、端点、顶点、分支点以及交叉点等， 并且对连续拍摄获得的每条图像数据中的特征点部分的行进方向及行进量 执行寻迹操作。作为寻迹操作结果，抖动量计算单元42计算矢量，也就是 每个图像数据中上下抖动量、左右抖动量以及顺时针及逆时针的抖动量。例如，抖动量计算单元42计算由图像保持单元22保持的多条图像数据 中分别检测到的特征点部分的各自分辨率，以及向第二基础图像选择单元41 通知用以识别在多条图像数据中具有最高分辨率的图像数据的信息。在这种 情况下，最高分辨率的图像数据表示具有最小抖动量的图像数据。第二基础图像选择单元41选择由抖动量计算单元42通知的信息所指定 的图像数据，作为在非重叠区域中使用的基础图像。
在用以实现本发明的第三模式中，选择在获取的多条图像数据中的非重 叠区域中具有最小抖动量的图像数据作为在非重叠区域中使用的第二基础 图像，从而提高了作为组合结果的图像数据中的非重叠区域中的图像质量， 并且获得具有更高精度的组合图像。在用以实现本发明的第一至第三种模式 中的偏移量计算中，也可以考虑抖动量。如下所述为用以实现本发明的第四模式。图9为根据用以实现本发明第四模式的第二基础图像选择单元(用于非重叠区域的基础图像选择单元)配置的方框图。在图9中，第二基础图像选择单元51包括面部识别单元52。 面部识别单元52首先在由图像保持单元22保持的多条图像数据中从第 二基础图像选择单元51观察到的非重叠区域中检测面部搜寻区域。也就是 说，面部识别单元52从图像数据提取皮肤色彩区域作为色彩信息，并且当 皮肤色彩区域的形状及尺寸满足作为面部区域的条件时，将提取的皮肤色彩 区域定义为面部搜寻区域。接下来，面部识别单元52提取面部特征点作为面部元素的候选项(右 眼眉、左眼眉、右眼、左眼、鼻孔以及嘴)。例如，检测的面部搜寻区域中 提取对应于下述条目的区域作为面部特征点。1. 水平方向扩展区域2. 类似椭圆的红色区域3. 其亮度值小于皮肤色彩区域的亮度值的区域例如，具有低亮度值且变化小的水平方向扩展面部特征点可以被识别为 眼眉或闭上的眼睛。具有由两个明亮区域环绕的深色中心区域的类似椭圆的 面部特征点可以被识别为睁开的眼睛。表示其色彩信息为微红色的类似椭圆 的面部特征点可以被识别为嘴。此外，面部识别单元52向第二基础图像选择单元51通知用以识别由图 像保持单元22保持的多条图像数据中检测到两只眼睛的眼睛睁开最大的图 像数据信息。第二基础图像选择单元51选择通过面部识别单元52观察到的信息所指 定的图像数据作为在非重叠区域中使用的基础图像。由图像保持单元22保持的多条图像数据中的所有非重叠区域可能不包括面部。在这种情况下，面部识别单元52向第二基础图像选择单元51通知 未检测到任何显示睁开眼睛的图像。通过用以通知未检测到任何显示睁开眼睛的图像的第二基础图像选择 单元51执行的操作并不限于此，但是例如，也可以执行根据用以实现本发 明第一至第三模式的操作。图10为根据用以实现本发明第四模式的拍摄处理以及图像处理的流程 图。通过图2、图3及图9中所示的各个单元来实现该流程图。由于步骤S101至S106与如图4所示的步骤相似，故不再赘述。 (如果在步骤S106中确定对预定数目的图像已经完成了上述操作)， 则在步骤S501中，如图9所示的面部识别单元52检测对于由图像保持单元 22保持的多条图像数据中从第二基础图像选择单元51观察到的非重叠区域 中的面部搜寻区域，并且确定是否在该区域中包括面部。如果面部识别单元52确定在步骤S501中包括面部，则在步骤S502中， 面部识别单元52向第二基础图像选择单元51通知用以识别由图像保持单元 22保持的多条图像数据中检测到两只眼睛的眼睛睁开最大的图像数据信息。 随后第二基础图像选择单元51选择(即选定)由面部识别单元52观察到的 信息所指定的图像数据作为在非重叠区域中使用的基础图像。随后，控制流 程转到步骤S504。另一方面，如果面部识别单元52确定在步骤S501中不包括面部，则在 步骤S503中选择在由图像保持单元22保持的多条图像数据中的与首先拍摄 的图像对应的图像数据作为在非重叠区域中使用的第二基础图像，并且控制 流程转到步骤S504。在接下来的步骤S504中，如图3所示的图像组合单元38将重叠结果(例 如，在执行重叠处理之后的第一基础图像)与在第二基础图像中的非重叠区 域进行组合，并且将作为组合结果的图像数据输出至随后的步骤。在如上描述中，当确定不包括面部时执行的处理(即在步骤S503中的 处理)与在用以实现本发明的第一模式下执行的操作相同，但是根据用以实 现本发明第二及第三模式执行的操作以及选择基础图像的其它方法也可以 应用于步骤S503的处理中。在用以实现本发明的第四模式中，选择用以识别在获取的多条图像数据 中的非重叠区域中具有人面部的眼睛睁开最大的图像数据信息，作为在非重 叠区域中使用的第二基础图像，从而提高了作为组合结果的在图像数据的非 重叠区域中的图像质量，并且获得具有更高准确度的组合图像。 图11示出存储介质的实例。根据本发明的多条图像数据的组合操作可以通过图像数据处理装置81 来实现。可将用于本发明的处理的程序和数据从图像数据处理装置81的存 储装置95加载至用以执行程序的在图像数据处理装置81中的存储器中，从 便携式存储介质83加载至用以执行程序的在图像数据处理装置81中的存储 器中，或者从外部存储装置82通过网络加载至用以执行程序的在图像数据 处理装置81中的存储器中。
权利要求
1.一种图像数据处理装置，用于处理多条图像数据，该图像数据处理装置包括第一基础图像选择单元，从获取的多条图像数据中选择一条图像数据，作为在重叠操作中使用的第一基础图像；偏移量计算单元，计算被选择用于重叠操作的第一基础图像与所述获取的多条图像数据中另一条不同图像数据之间的偏移量；图像重叠单元，在基于所计算的偏移量进行偏移校正之后检测重叠区域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基础图像上重叠所述不同图像数据的区域；第二基础图像选择单元，从所述获取的多条图像数据中选择一条图像数据，作为在非重叠区域中使用的第二基础图像；以及图像组合单元，将重叠操作结果与在该第二基础图像中的非重叠区域进行组合，并输出作为组合结果的图像数据。
2. 根据权利要求1所述的装置，其中该第二基础图像选择单元从所述多 条图像数据中选择其中具有最小抖动量的图像数据作为在该非重叠区域中 使用的该第二基础图像。
3. 根据权利要求2所述的装置，其中所述具有最小抖动量的图像数据指 的是在该图像数据中检测到的边缘部分中具有最高分辨率的图像数据。
4. 根据权利要求2所述的装置，其中所述具有最小抖动量的图像数据指 的是在该图像数据中提取的特征点部分中具有最高分辨率的图像数据。
5. 根据权利要求1所述的装置，还包括面部识别单元，在所述获取的图像数据的非重叠区域中识别人面部上的 眼睛的睁开程度；其中该第二基础图像选择单元选择由该面部识别单元识别的用以指示在人面部上的眼睛睁开程度最大的图像数据，作为在该非重叠区域中使用的第二 基础图像。
6. —种图像拾取装置，用于处理通过连续拍摄获取的多条图像数据，该 图像拾取装置包括图像传感器，对于从待捕捉的对象接收的光执行光/电转换，并输出光/电转换数据；图像数据产生单元，基于该光/电转换数据产生图像数据；拍摄控制单元，响应于拍摄指令向该图像传感器输出曝光控制信息，并 获取多条图像数据；第一基础图像选择单元，从所述获取的多条图像数据中选择一条图像数 据作为在重叠操作中使用的第一基础图像；偏移量计算单元，计算被选择用于重叠操作的第一基础图像与所述获取 的多条图像数据中另一条不同图像数据之间的偏移量；图像重叠单元，在基于所计算的偏移量进行偏移校正之后检测重叠区 域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基 础图像上重叠所述不同图像数据的区域；第二基础图像选择单元，从所述获取的多条图像数据中选择一条图像数 据，作为在非重叠区域中使用的第二基础图像；以及图像组合单元，将重叠操作结果与在该第二基础图像中的非重叠区域进 行组合，并输出作为组合结果的图像数据。
7. 根据权利要求6所述的装置，其中该第二基础图像选择单元从所述获 取的多条图像数据中选择与第一个拍摄图像对应的图像数据，作为在该非重 叠区域中使用的该第二基础图像。
8. 根据权利要求6所述的装置，其中该第二基础图像选择单元从所述获 取的多条图像数据中选择与在快门发出声音的时刻拍摄的图像对应的图像 数据，作为在该非重叠区域中使用的该第二基础图像。
9. 一种图像数据处理方法，用于处理多条图像数据，该方法包括下列步骤第一基础图像选择步骤，从获取的多条图像数据中选择一条图像数据， 作为在重叠操作中使用的第一基础图像；偏移量计算步骤，计算被选择用于重叠操作的第一基础图像与所述获取 的多条图像数据中另一条不同图像数据之间的偏移量；图像重叠步骤，在基于所计算的偏移量进行偏移校正之后检测重叠区 域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基础图像上重叠所述不同图像数据的区域；第二基础图像选择步骤，从所述获取的多条图像数据中选择一条图像数 据，作为在非重叠区域中使用的第二基础图像；以及图像组合步骤，将重叠操作结果与在该第二基础图像中的非重叠区域进 行组合，并输出作为组合结果的图像数据。
10. 根据权利要求9所述的方法，其中在该第二基础图像选择步骤中，从 所述多条图像数据中选择其中具有最小抖动量的图像数据作为在该非重叠 区域中使用的该第二基础图像。
11. 根据权利要求IO所述的方法，其中所述具有最小抖动量的图像数据 指的是在该图像数据中检测到的边缘部分中具有最高分辨率的图像数据。
12. 根据权利要求IO所述的方法，其中所述具有最小抖动量的图像数据 指的是在该图像数据中提取的特征点部分中具有最高分辨率的图像数据。
13. 根据权利要求9所述的方法，还包括下列步骤面部识别步骤，在所述获取的图像数据的非重叠区域中识别在人面部上 的眼睛的睁开程度；其中在该第二基础图像选择步骤中，选择在所述面部识别步骤中识别的用以 指示在人面部上的眼睛睁开程度最大的图像数据，作为在该非重叠区域中使 用的该第二基础图像。
14. 一种计算机可读存储介质，其存储用于指示计算机处理多条图像数据 的图像数据处理程序，该图像数据处理程序包括下列步骤第一基础图像选择步骤，从获取的多条图像数据中选择一条图像数据， 作为在重叠操作中使用的第一基础图像；偏移量计算步骤，计算被选择用于重叠操作的第一基础图像与所述获取 的多条图像数据中另一条不同图像数据之间的偏移量；图像重叠步骤，在基于所计算的偏移量进行偏移校正之后检测重叠区 域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基 础图像上重叠所述不同图像数据的区域；第二基础图像选择步骤，从所述获取的多条图像数据中选择一条图像数 据，作为在非重叠区域中使用的第二基础图像；以及图像组合步骤，将重叠操作结果与在该第二基础图像中的非重叠区域进行组合，并输出作为组合结果的图像数据。
15. 根据权利要求14所述的存储介质，其中在该第二基础图像选择步骤 中，该图像数据处理程序指示计算机从所述多条图像数据中选择其中具有最 小抖动量的图像数据作为在该非重叠区域中使用的该第二基础图像。
16. 根据权利要求15所述的存储介质，其中所述具有最小抖动量的图像 数据指的是在该图像数据中检测到的边缘部分中具有最高分辨率的图像数 据。
17. 根据权利要求15所述的存储介质，其中所述具有最小抖动量的图像 数据指的是在该图像数据中提取的特征点部分中具有最高分辨率的图像数 据。
18. 根据权利要求14所述的存储介质，其中该图像数据处理程序还包括 面部识别步骤，在所述获取的图像数据的非重叠区域中识别在人面部上的眼睛的睁开程度；其中在该第二基础图像选择步骤中，该图像数据处理程序指示计算机选择在 所述面部识别步骤中识别的用以指示在人面部上的眼睛睁开程度最大的图 像数据，作为在该非重叠区域中使用的该第二基础图像。
全文摘要
本发明公开了一种图像处理装置、方法和程序以及图像拾取装置。该图像拾取装置包括第一基础图像选择单元，选择一条图像数据，作为在重叠操作中使用的第一基础图像；偏移量计算单元，计算第一基础图像与另一条不同图像数据之间的偏移量；图像重叠单元，在基于所计算的偏移量进行偏移校正之后检测重叠区域，并对该重叠区域执行重叠操作，其中该重叠区域为能够在选择的第一基础图像上重叠所述不同图像数据的区域；第二基础图像选择单元，选择一条图像数据，作为在非重叠区域中使用的第二基础图像；以及图像组合单元，将重叠操作结果与在该第二基础图像中的非重叠区域进行组合，并输出作为组合结果的图像数据。
文档编号H04N5/232GK101155263SQ200710161610
公开日2008年4月2日 申请日期2007年9月27日 优先权日2006年9月27日
发明者中条薰, 宇都木洁, 村下君孝, 泉泽映文, 清水雅芳, 若松隆 申请人:富士通株式会社