专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法。
背景技术：
近年来,具有用于连续拍摄多个图4象的连续成4象功能的成像装置正得 到广泛应用。此外，使用连续成像功能拍摄的多个图^N^合成为 一个图像， 因而，M出了用于以比合成前的图像更高的图像质量形成图像的技术。 这样的图像合成处理在所述成像装置中自动执行，或通过传送图傳Jt据到 个人电脑(下文中称为pc)而在所述pc上执行。例如，日本特开第
2000-41170号公报公开了 一种用于利用成像装置自动合成多个图《象并显 示其合成图像作为 一个静止图像的技术。
图像合成例如被用于通过合成具有不同成像范围的图像来形成全景 图像。此外，已知这样的技术，其中对在以不超过图像传感器所具有的像 素大小的移动量移动时拍摄的多个图4象进行合成，因而形成其分辨率高于 所述图像传感器分辨率的图像。顺带提及的是，也存在这样的情况，其中， 例如，尽管连续拍摄的图像没有被合成，但是执行连续成像，以帮助摄影 者从多个连续拍摄的图像中选择符合他/她意图的图像。特别地，可以使 用连续成像，以避免其中在成像时有人眨眼或者成像范围中包括了不想要 的对象的图像。
发明内容
但是，当像集体照那样在作为对象的成像目标中包括很多人时，甚至 执行连续拍摄也m^拍摄到其中没有人眨眼的图像。因而，甚至执行了连 续拍摄，也存在其中所拍摄的多个图像中不包括摄影者想要的图像的情 况。这种情况下，摄影者无法得到符合他/她意图的图像。此外，通过传 送图^JL据到pc，使用图像处理应用程序去修正或合成图像等，需要高 水平的操作技巧和知识。因而，图像修正或合成处理等给摄影者造成了很大的负担。所以，摄影者经常放弃得到他/她预期的图像的尝试，而仅仅 是选择相对接近于所述预期图像的图像。
因此，考虑到上述问題而提出了本发明，需要提供一种新的改进的图 像处理设备和图像处理方法，其可以通过简单的操作，部分地合成多个图 像系列，以得到摄影者预期的图像。
为了解决上述问题,净峰本发明的实施例，提供了一种图像处理设备，
其包括显示屏，用于显示连续拍摄的图像组中包括的第一图像； 置检测器，用于检测用户在所述显示屏上摩擦的摩擦位置；以及图像合成 单元，用于合成所述第一图像中对应于所^Lf擦位置的像素区域和包括在 所述图像组中的第二图像的像素区域；其中，所述图像合成单元切换要与 第一图像合成的第二图像，以随着所述用户摩擦的摩擦量的增加，而增加 所述笫 一图像和所述第二图像之间的成像时间差。
所述图像合成单元可以随着所iLt擦量的增加，而增加所述第二图像 到所述第 一 图像的合成率，并在所^擦量超过了预先确定的阈值的阶段 切换所述第二图像到与所述第 一图像的成像时间差更大的图像，
所述图像合成单元可以在切换到所述像素区域前显示所述第二图像， 直到所述摩擦量超过所述预先确定的阈值达预先确定的量为止，并在超过 所述预先确定的阈值的阶段切换所述第二图像.
所述摩擦量可以是从所述像素区域祝學擦的次数、摩擦时的按压力、 摩擦方向和摩擦速度中选捧的一个量，或由多个组合确定的量。
所述图像组可以是在改变可在成像时修改的任意参数时连续拍摄的 多个图像。
所述M可以是景深、图像效果或用于控制闪光的控制^。
此外，为了解决上述问题，根据本发明的另一个实施例，提供了一种 图4象处理方法，其包括下述步骤当在显示屏上显示连续拍摄的图4象组中 包括的笫一图像时，检测用户在所述显示屏上摩擦的摩擦位置；以及合成 所述笫 一 图像中对应于所i^擦位置的像素区域和包括在所述图像组中 的第二图像的像素区域的图像；其中，在合成图像的步骤中，切换要与所 述第一图像合成的第二图像，以随着由所述用户施加的摩擦量的增加，而 增加所述第 一 图像和所述第二图像之间的成像时间差。
根据本发明的以上实施例，通过简单的操作部分合成多个连续拍摄的 图像变得可能。所以，摄影者可以通过部分合成多个图像得到想要的图像。
图l是示出连续拍摄的对象图像的一个例子的说明图2是示出连续拍摄的对象图像的一个例子的说明图3是根据本发明的一个实施例的图像处理技术的原理说明图4是示出根据本实施例的图像处理设备的功能配置的说明图5是示出对应于图像传感器像素的矩阵的一个例子的说明图6是示出根据本实施例的画笔矩阵的一个例子的说明图7是示出根据本实施例的输入操作的一个例子的说明图8是根据本实施例的深度矩阵的一个例子；
图9是示出根据本实施例的转换表的一个例子的说明图10是根据本实施例的图像处理设备的操作说明图11是示出根据本实施例的深度计算-綠的说明图12A是示出通过连续成像拍摄的一个对象图像的例子的说明图12B是示出通过连续成像拍摄的一个对象图像的例子的说明图12C是示出根据本实施例的合成图像的一个例子的说明图13是示出根据本实施例的图像处理技术的一个应用例子的说明
图14是示出根据本实施例的图像处理设备(信息处理设备)的硬件 配置的例子的^兌明图；以及
图15是示出根据本实施例的成像设备的硬件配置的例子的说明图。
具体实施例方式
在下文中，本发明的优选实施例将参考附图被详细说明。请注意，在 本说明书及所述附图中，具有实质上相同功能和结构的结构元件用相同参 考数字表示，而且省略对这些结构元件的重复的说明。
p兌明顺序
现在，将简要描述下文中将解释的说明的顺序。首先，根据本发明的实施例的技术的目标将参考图l和2简单地说明。在说明中，将说明根 据所述实施例的技术要处理的具体问题。这之后，将参考图3说明在根据 所述实施例的技术中同样涉及的原理。随后，将参考图4至9说明可以实 现以上技术的图像处理设备100的功能配置。
接下来，将参考图10说明图像处理设备100的操作。进而，将参考 图11说明由图像处理设备100执行的深度计算处理的流程。然后，将参 考图12A到12C说明关于根据所述实施例的技术的应用的一个例子。进 而，将参考图13说明 flL据所述实施例的应用的另一个例子。最后，将参 考图14和15说明根据所述实施例的成像装置200和图像处理设备100的 硬件配置例子。
首先，将参考图1和2简单地说明将在后面说明的根据实施例的技术 的目标。图1和2是说明图，分别示出了连续拍摄的对象图4象的一个示例。 在下面的说明中，图1中示出的例子被称为情况l，而图2中示出的例子 被称为情况2。
首先，将参考图l。在图1中，描绘了在时间tl拍摄的图像P (tl) 和在时间t2拍摄的图像P (t2 )。但是，在这里，时间tl和t2是连续成 像时间。此外，在图像P (tl)和P (t2)中，分别包括两个对象图像(对 象A和对象B)。这种情况下，要注意成傳对象A的"眨眼"。
在情况l中，图像P(tl)中包括的对象A是在眨眼的瞬间被拍摄的。 因此，图像P(tl)中包括的对象A不处于符合摄影者意图的状态。然而， 图像P(tl)中包括的对象B没有眨眼，并且处于符合摄影者意图的状态 (OK)。
如上所述，包括不想要的对象图像的图像P (tl)不符合摄影者意图。 另一方面，包括在图像P(t2)中的对象A和对象B没有眨眼，因而处于 符合摄影者意图的状态(OK)。因此，图像P (t2)是符合摄影者意图的 图像。在如情况1所示在连续拍摄的多个图像中包括符合摄影者意图的图 像(图像P(t2))的情况下，摄影者可以选择符合他/她意图的图像P(t2)。
接下来，将参考图2。类似于图1，在图2中，描绘了在时间tl拍摄 的图像P (tl)和在时间t2拍摄的图像P (t2)。此外，在情况2中，tl 和t2也是连续成像时间。此外，在图像P (tl)和P (t2)中，分别包括 两个对象图像(对象A和对象B)。
同样，在情况2中，图像P(tl)中包括的对象A是在眨眼的瞬间被拍摄的。因此，图像P(tl)中包括的对象A不处于符合摄影者意图的状 态。但是，在这里，图像P(tl)中包括的对象B没有眨眼，并且处于符 合摄影者意图的状态(OK)。换言之，包括不符合摄影者意图的对象图像 的图像P (tl)不是符合摄影者意图的图像。
另一方面，图像P(t2)中包括的对象A没有眨眼，并且处于符合所 述摄影者意图的状态(OK)。但是，在这里，图像P (t2)中包括的对象 B是在眨眼的瞬间被拍摄的。因此，图像P (t2)不是符合摄影者意图的 图像。在如情况1所示在连续拍摄的多个图像中包括符合才聂影者意图的图 像(图像P( t2 ))的情况下，摄影者可以选择符合他/她意图的图像P( t2 )。 但是，在情况2中，没有可以选择的图像。
如情况1所示，当通过短时间内多次释放快门连续拍摄的、诸如逐帧 前进(frame advance)的图像中存在符合所述摄影者意图的图像时，可 以采用选取其中符合所述意图的图像的方法。但是，如情况2所示，连续 拍摄的图像中不包括所述摄影者想要的对象图像，因而不可能采用选<#符 合所述意图的图像的技术了。例如，在像集体照那样在成像范围内包括4艮 多人的图像的情况下，很难抓取没有人眨眼的时刻，因而处于像情况2 的状态的概率4艮高。
考虑到这样的实际情况，使用根据在下文中将要描述的实施例的技 术，甚至对于情况2也可以得到符合所述摄影者意图的图4象。但是，根据 所述实施例的技术不仅可以作为针对对象眨眼的对策使用，也可应用于在 下文将描述的应用例中所示出的多种情况。此外，才艮据实施例的技术的应 用范围不局限于图像。例如，所述应用范围也包括构成广播数据和视频数 据的运动画面图像帧和各种静止图像。但在下文中，为了方便起见，将称 之为连续拍摄的"图像"。
<实施例>
下文中将介绍本发明的一个实施例。所述实施例涉及用于合成连续 拍摄的多个图像的技术。但是，所述技术也适用于在改变其预先设定的参 数时连续拍摄的多个图像。此夕卜，本实施例涉及用户摩擦在其上显示图像 的屏幕并因而响应于摩擦动作而合成处理连续拍摄的其他图像的技术。所
以，所述技术涉及用户的^Mt系统。 [原理说明
首先，将参考图3说明本实施例中的方法的原理。图3是用于说明根据本实施例的技术原理的原理说明图。
在图3中，示意性地示出了触摸面板和连续拍摄的多个图像。这些图 像代表了在改变参数时连续拍摄的图像。但是要注意，即使用户在连续成 像时没有故意改变关于成係水构的^lfc，"时间"也是发生改变的一个参 数。例如，关于所述成像机构的参数包括景深、效果、背光修正、闪光 等。
景深取决于焦距、光團值等而确定。例如，焦距越短，景深越深，且 光圏越小，景深越深。作为效果的例子，有由镜头滤光器和多种数字滤光 器实现的效果，或者任意背景图^^L合成的效果，把整个图像变为深褐色 的效果。作为所述镜头滤光器的效果，有偏振滤光器、中性密度滤光器、 颜色校正滤光器和颜色增强滤光器等。顺带提及的是，例如，关于闪光， 点亮/熄灭的切换和辉度的调整值也是参数值。
在图3中，改变这些^lt时拍摄的多个连续图〗象沿所述^t改变方向 (取决于时间的方向)布置。事实上，基于成像时的信息排列图像数据， 因而所述图像数据沿着所述参数改变的方向排列。但请注意，典型地，所 述图像数据被基于成像时的信息来布置和控制，因此不要求用户进行特殊 操作。在触摸面板上显示位于这样排列的图像数据的起始处的图像。也就 是说，在触摸面板上显示连续拍摄的多个图像中的第 一个拍摄图像。
这种情况下，用户在查看显示在所述触摸面板上的图像时，用手指摩 擦所述触摸面板的表面，因而，对所述手指摩擦的像素区域，可以将显示 的图像和其他图像合成。此时，在本实施例中，对于所述图像的合成处理， 使用诸如所述用户手指摩擦的区域或位置、手指在所述位置或所述区域往 复的次数、按压力、所述手指的数目、或手指运动速度等的摩^ft息。在 所述合成处理中，例如，响应于手指往复次数或按压力量等，具有大量参 数的图像被合成。此时，只有所述用户手指摩擦的区域或位置被合成。因 此，所述用户可以通过筒单的操作仅对所述图像的一部分执行合成处理。
例如，在图2所示的情况2中，图4象P (tl)显示在所述触摸面板上。 如上所述，由于对象A眨眼了，图像P (tl)不符合所述摄影者的意图。 另一方面，至于图像P(t2)，对象B也眨眼了，因而，这个图像也不符 合所述摄影者的意图。
但是，如果在图像P(tl)中示出的对象A的一部分(眼睛周围)被 在图像P(t2)中示出的对象A中的一部分(眼睛周围)替换，则形成了符合所述摄影者意图的图像。因此，用户在查看显示在所述触摸面板上的
图像P (tl)的同时，用他/她的手指在对象A的一部分(眼睛周围)上 执行摩擦动作。通过执行这个动作，只有图像P(tl)中的M擦部分被 逐渐地与图像P (t2)合成，并最终被在图像P (t2)中示出的对象A的 一部分所代替。因此，可以得到所需的、其中对象A和对象B都没有眨 眼的图像。
如上所述，根据本实施例的技术是，用户想要的合成位置、合成范围、 合成程度等通过所述用户的摩擦动作改变，并因而通过所述用户执行的一 系列动作形成复合图像。此外，所述用户执行的操作仅仅M擦所述触摸 面M面的动作，因而与图像处理应用程序等相比，可以用非常简单的操 作执行所述图像合成处理。换言之，根据本实施例的技术提供了这样一种 具有高度便利性的操作系统。
顺带提及的是，在上文描述中，对所述触摸面板的描述被用作显示装 置和输入装置的一个例子。此外，例如，作为除了使手指摩擦所述触摸面 板之外的其他方式，、也可以使用触针等。进而，笫一张连续拍摄的图像 不一定要显示在所述触摸面板的屏幕上，例如，可以显示在用户指定的成 像时间点的图像和对应于预先确定的成像时间点的图像。此外，当多个用 户手指摩擦所述触摸面板时，可以将所述触摸面板构造成使得所合成的图 像被重新存储。如上所述，本实施例并不局限于此，因此可以做出各种修 改。
如上所述，下面说明本实施例的原理。下文中，将说明为实现根据本 实施例的技术的特定图像处理设备100的一系列动作和功能配置。所述说 明通过使用"图像"这一表述作为合成处理对象来进行以对其进行具体描 述。但是，在下面的说明中将使用的"图像"这一表述包括了更广泛的含 义。
[图《象处理i殳备100的功能配置
在这种情况中，根据本实施例的图像处理设备100的功能配置将参 考图4说明。图4是示出根据本实施例的图像处理设备100的功能配置的 说明图。顺带提及的是，图4中也描绘了向图像处理设备100提供连续拍 摄的图像数据的成像装置200。由成像装置200和图像处理设备100构成 了图像处理系统。
如图4所示，图像处理设备100主要包括显示输入单元110和图像合成单元130。
(显示输入单元110 )
显示输入单元110主要包括显示单元112和摩擦位置检测器114。上 述触摸面板是显示输入单元110的一个例子。
显示单元112是用于显示由成像装置200拍摄的图像的显示装置。此 外，显示单元112的功能由图14中所示的硬件资源中的输出单元918来 实现。此外，在显示单元112中，提供摩擦位置检测器114。摩擦位置检 测器114可以和显示单元112 —体地构成，或者也可以单独地构成。但是， 摩擦位置检测器114被提供在显示单元112的屏幕上，并且显示在显示单 元112上的图#^1构造为可以被透明地查看。
摩擦位置检测器114检测用户摩擦的位置。更具体地，摩擦位置检测 器114检测在显示在显示单元112的屏幕上的图像中所述用户摩擦的位置 或区域。此夕卜，摩^i置检测器114可以被构造为得能检测所述用户摩擦 时所用的按压力。进而，摩擦位置检测器114还可具有这样的功能甚至 当用户没有直##触摩擦位置检测器114时，也可检测到所述用户的手指 出现在位于屏幕上方、临近显示单元112的空间中，并将其识别为摩^i 置。换言之，在这种情况中提到的摩擦位置可以包括用户执行的动作的位 置信息，以《更用位于显示单元112的屏幕上方的空旷空间来描述。
这样的所检测到的摩擦位置信息4擦位置检测器114输入到图像 合成单元130的摩擦信息检测器132。
(图像合成单元130)
图像合成单元130主要包括摩擦信息单元132、合成率设定单元134 和合成处理器136。顺便提及的是，图像合成单元130的功能可以由图14 所示的硬件资源中的ROM904、 RAM 906、存储单元920或CPU卯2基 于记录在可移动记录媒介928中的计算积一呈序来实现。
(摩^息检测器132)
摩擦信息检测器132基于由显示输入单元110的摩擦位置检测器114 输入的所i^t擦位置信息，检测各种摩擦信息。作为摩擦信息，例如，可 以包括由用户摩擦的像素区域、所述像素区域的往Jjf擦次数、摩擦速度、 摩擦方向、摩擦轨迹形状等。
在摩擦信息检测器132中，例如，摩擦位置检测器114依次检测到的摩擦位置信息被存储下来，并且分析存储的信息，因而可以检测出所#
擦信息。由摩擦信息检测器132检测到的摩擦信息被输入到合成率设定单 元134。下文中，为了解释方4更，在假设检测到"摩擦次数"和"像素区 域"作为摩B息的情况下进行描述。
(合成率设定单元134 )
合成率设定单元134基于由摩擦信息检测器132检测的摩擦信息， 设定图像的合成率。这里提到的图像的合成率是指当显示在显示单元112 上的图像(下文中称为"显示图像")中被摩擦的像素区域的像素值和将 被合成的图像的像素值被合成时的合成率。例如，合成率设定单元134 设定所述像素值的合成率，以随着摩擦次数的增加而增加要被合成的图像 的重要性。但是，当响应于所述摩擦次数而切换要被合成的图像时，合成 率仍然被固定在0或1。
在这种情况中，将通过具体的例子来描述所述合成率的设定方法。首 先，通过成像装置200拍摄三个图像(图像P (tl )、图像P (t2 )和图像 P(t3)，其中tKt2〈t3)，并将其输入到图像处理设备100。此外，图像P (tl)显示在显示单元112上。这时，当其上显示有图像P (tl)的显示 单元112被用户摩擦时，摩擦位置检测器114检测摩擦位置，并JL^^fT 息检测器132将摩擦次数输入到合成率设定单元134。
例如，当摩擦次lbl—次时，图像P (tl)的被用户摩擦的像素区域 的像素值D1和图像P (t2)的像素区域的像素值D2按1: l合成，且合 成率被设定成使得计算像素值0，= (Dl+D2)/2。例如，当摩擦次数为两 次时，图像P (tl)的被用户摩擦的像素区域的像素值D1和图像P (t2) 的像素区域的像素值D2按1: 2合成，且合成率被设定成使得计算像素 值0，= (D1+2*D2)/3。通过应用这样的配置，随着摩擦的增加，显示图 像可以逐渐变为具有更大^lt的将被合成的图像。
另一方面，当响应于摩擦次数而切换将被合成的图像时，产生如下情 况。当摩擦次M—次时，图像P (tl)的被用户摩擦的像素区域的像素 值Dl被图像P (t2)的像素区域的像素值D2取代。换言之，对应于所 述像素区域的合成后的像素值D，变为D，=D2。使用上W达式时，在像 素值D1和像素值D2之间的合成率是0: 1。此外，当摩擦次数是两次时， 图像P (tl)的被用户摩擦的像素区域的像素值Dl被图像P (t3 )的像素 区域的像素值D3取代。换言之，对应于所述像素区域的合成后的像素值 D，变为D^D3。使用上W达式时，在像素值D1和像素值D3之间的合成率是O: 1。
上述设定方法是一个例子，且本实施例不局限于此。但是，通过4吏用 这样的设定方法，可以设定对应于摩擦信息的摩擦率。此外，下文中将详 细描述图像合成方法。用这样的方式设定的合成率被输入到合成处理器 136。
(合成处理器136)
合成处理器136在显示单元112上显示对应于连续拍摄的图傳i且中的 第一或预先确定的成像时间点的图像。随后，用户在查看显示在显示单元 U2上的图像的同时，在显示单元112的屏幕上执行摩擦动作。响应于所 ^f擦动作而检测到摩擦信息，并由合成率设定单元134响应于所^f擦 信息而设定合成率。在输入合成率后，合成处理器136基于由合成率设定 单元134设定的合成率，合成由成像装置200连续拍摄的图像与显示在显 示单元112上的图像。进而，合成处理器136在显示单元112上显示合成 后的图像，并再次将其显示给用户。
(对图《象合成处理的详细描述)
现在，将参考图5至9详细描述上述图像合成处理。图5是示出对
应于图像的像素数量的矩阵的说明图。图6是示出画笔矩阵的一个例子的
说明图。图7是示出输入操作的一个例子的说明图。图8是示出深度矩阵 的一个例子的i兑明图。
首先，将参考图5。图像合成单元130保持图5所示的矩阵的信息。 所述矩阵示出了具有和图像像素数目相同大小的数据存储区域，例如，所 述数据存储区域是其中每个单元中都保持深度信息的矩阵数据。在这个情 形中提到的深度是示出了显示(合成)图像的深度的指标。首先，预先确 定的值被存储在所述矩阵中，且存储在所述矩阵中的深度响应于用户的摩 擦信息而被更新。响应于所述深度，确定由图像合成单元130合成的、待 合成图像的成像时间点，^i殳定与显示图像合成的待合成图像的比率。
然后，将参考图6。图6是用来更新与用户摩擦的像素区域相对应的 矩阵值的画笔矩阵。换言之，所述画笔矩阵用来设定要加到矩阵值上的深 度。在这个例子中，设定画笔矩阵具有5像素x5像素的尺寸。此外，所 述画笔矩阵具有中心值1.0，且深度被设定为使得数值沿向其外部的方向 减少。当用户摩擦的位置被检测到时，对所述位置进行调整，以使检测到 的位置的像素与所述画笔矩阵中心重合，且所述画笔矩阵的值被加到所述矩阵值上。
首先，如图7所示，某个像素区域被用户摩擦。在图7中，被用户手 指摩擦的位置和所述矩阵位置被象征性地描绘，以阐明两个位置之间的对 应关系。事实上，所述矩阵是矩阵翁:据，因而，所述矩阵并非如图7所示 被直接按压。但是，与图7中所示的图像相类似地，图像合成单元130 获取用户按压的位置的信息，并识别在所述矩阵上的位置。当用户执行了 摩擦动作时，M在画笔矩阵中的深度由图像合成单元130加到所述矩阵 值上。情况如图8所示。
图8所示的例子示出了在矩阵的每个单元中存储了深度10.0作为初 始值且所述画笔矩阵值被加到用户摩擦的位置上的状态下的矩阵。如图7 所示，当所述像素区域被用户摩擦后，通过图像合成单元130，将所述画 笔矩阵的位置调整为与所述像素区域重合。然后，图像合成单元130将存 储在所述画笔矩阵的每个单元中的深度值加到存储在所述矩阵的、对应于 所述画笔矩阵的每个单元的每个单元中的深度值上。当画笔矩阵如图6 所示设定时，相加后的矩阵如图8所示。
当同一像素区域被用户重M擦时，所摩擦区域的矩阵值被重复地相 加。因而，存储在所述矩阵中的深度值随着施加摩擦的次数的增加而增加。 此外，也可以配置为响应于用户继续接触同一〗象素区域的时间以及按压所 述像素区域的压力而将所述画笔矩阵的值多次相加.进而，当用户摩擦某 一像素区域时，可以配置为使得摩擦il^小或越大，所述画笔矩阵增大 的次数越大。通过应用这样的配置，图像合成单元130可以响应于各种摩 ^fT息而控制所述矩阵值。
以这样的方式得到的每个像素的深度用于确定显示的图像和确定合 成率。在执行这些确定的情形中，4吏用例如图9所示的转换表。图9中的 转换表用于确定显示图像。所述转换表由示出包括所述矩阵值的数值范围 的列和示出对应于所述数值范围的图像部分的列组成。
例如，当对应于某像素的矩阵数值(深度)是11.0时，所述像素被 包括在对应于"图像1和图像2"的数值范围10.0到20.0中。因而，使 用相互对应的图像1和图像2的像素值计算所述像素的像素值。此外，在 合成图像1和图像2的像素的情况下，合成率由合成率设定单元134响应 于所述矩阵值而确定。例如，当所述深JLAll.O时，图像1的像素值D1 和图像2的像素值D2之间的合成率被确定为D1: D2 = 9: 1。因而，合 成图4象的^(象素值D，成为D，=0.9*D1+0.1*D2。当像素值D具有对应于三原色的值R、 G和B时，合成后的像素值 D， (R，、 G，和B，)可以用下面的方程式(1)表示，其中像素值D1具有 值R1、 G1和B1，和像素值D2具有值R2、 G2和B2。结果，图像2和 图像l中的被用户摩擦的像素区域通过以这种方式被阿尔法混合(alpha-blend) 来显示。顺便提及的是，对于其他颜色空间表达、诸如YCbCr、 CMYK等，合成图像的像素值通过类似地合成像素值来计算。
R，=R1*0.9+R2*0.1
G"=G1*0.9+G2*0.1
B，=B1*0.9+B2*0.1
—(1)
然后，将进一步解释图9所示的转换表。在图9所示的转换表中，当 矩阵值在0.0到10.0的数值范围或20.0到30.0的数值范围时，将要显示 的图像仅仅被分别设定为图像1或图像2。换言之，即使用户重^擦动 作，并且所述矩阵值逐渐增加，在相加后的深度被包括在所述数值范围中 期间，也会进入其中被摩擦的像素区域中的像素值由将被合成的图像固定 的状态。这个状态被称为"存储"。
例如，关于图2中所示的情况2，用户将会考虑直接用图像P (tl) 替换在拍摄时间上略晚的图像P( t2 )的仅仅一部分(对象A的眼睛周围)。 若上述"存储"并未发生，则用户在检查所显示的合成图像和重M擦动 作时仔细搜索图像P (t2)被单独显示的时刻。此外，当过了这样的时刻 时，所述像素值变成合成后的值，从而使得图像质量变差。但是，如果设 定了上述"存储"，则即4吏在图〗象P (t2)被单独显示之后在某种程度上 执行摩擦动作，所述像素值也不会改变。因此，用户可以轻松无忧地在参 考显示图像的同时重M擦动作，以查找图像P (t2 )被单独显示的时间。
如上所述，图像合成处理已经被详细解释。如上文提到的，由成像装 置200连续拍摄的图像的一部分响应于用户的摩擦动作而由图像合成单 元130的合成率设定单元134和合成处理器136合成。合成的图像被输入 到显示输入单元110的显示单元112，并显示给用户。但是，在这里，合 成后的图像在每次图像被合成处理器136合成时都被显示在显示单元 112。
如上所述，根据本实施例的图像处理设备100响应于用户的摩擦动 作，而合成多个连续拍摄的图像。更特别地，图像处理设备100具有这样
的配置，其可以响应于摩擦信息而切换将被合成的图像，并调整合成率。如上所述，通过应用图像处理设备100的所述配置，可实现这样的操作系
统，其中响应于用户的摩擦动作而平滑地合成图像的一部分，因而用户可 以通过简单的操作得到符合用户意图的图像。
[成像装置200的功能配置
现在，将参考图4简单描述成像装置200的功能配置。但是，成像装 置200的功能通过如图15所示的硬件配置实现。
在成像装置200中所包括的功能中，对于本实施例而言的一个重要功 能是^lt改变单元210的功能。^改变单元210的功能是，在成像装置 200执行连续成像时，以每个图像为单位改变各种可控参数。作为被^lt 改变单元210控制的参数，例如可以有景深、效果、背光校正和闪光等。 通过参数改变单元210，逐渐改变这些参数，同时连续拍摄对象图像。但 是，所述参数的改变可以由^lt改变单元210自动执行，或者由用户人工 执行。
[图像处理设备100的操作说明
然后，将参考图IO解释根据本实施例的图像处理设备IOO的操作说 明。图10是示意性地示出根据本实施例的图像处理设备100的操作的操 作说明图。但是，在这里，将解释对人物图像中的眨眼进行修正的例子。
图10描绘了在时间tl拍摄的图像P (tl)和在时间t2拍摄的图像P (t2 )。时间tl和时间t2是连续的成像时间。此外，图像P (tl)和P (t2 ) 中示出了两个对象图《象(对象A和对象B)。
图像P(tl)中包括的对象A是在眨眼时刻拍摄的。另一方面，图像 P (tl)中包括的对象B没有眨眼，因而处于符合摄影者意图的状态(OK， 正常)。此外，图像P (t2)中包括的对象A没有眨眼，因而处于符合所 述摄影者意图的状态(OK)。另一方面，图像P (t2)中包括的对象B是 在眨眼时拍摄的。这种情况下，用户将会考虑将图像P (t2)所示的对象 B的眼睛部分用图1象P (tl)中的相应部分替换。
此时，如图10所示，用户可以只通it^擦图像P (t2)中所示的对 象B的眼睛周围，而合成图像P(tl)中对应于其摩擦区域的图像。换言 之，当用户摩擦图像P (t2)中的像素区域时，图像处理设备100合成图 像P (t2)和图像P (tl)中的、对应于所述像素区域的图像(SIOO)。通 过这样的合成处理，对象A和对象B组成了用户所期望的、其中没有眨 眼的合成图像如上所述，用户可以通it^^A物的眨眼了的眼睛周围而前进一帧。 如上所述，用户可以通过只改变所i^擦区域而非改变整个图〗象，来按照 用户所想要的区域和位置而改变深度。
(合成处理S100的细节)
现在，将参考图11详细解释图像处理设备100执行的合成处理S100 的流程。图11是示出根据本实施例的图像处理设备100执行的合成处理
的it^呈的说明图。本情况中所示的一系列处理主要通过包括在图像处理设
备100中的功能配置中的图像合成单元130的功能实现。
如图11所示，首先，图像合成单元130使所述画笔矩阵的位置与用 户摩擦的位置的像素区域重合，并将存储在所述画笔矩阵的每个单元中的 深度值加到所述矩阵值上(S102)。然后，图像合成单元130通过参考所 述转换表选择对应于所述矩阵值的图像，来选择要合成(显示)的图像 (S104).此后，图像合成单元130计算用户摩擦的像素区域的像素值， 填充相应的像素作为构成合成后的显示图像的像素值(S106),从而完成 一系列处理。通过应用这些处理，形成对应于用户摩擦动作的合成图像。
[应用例l:焰火成《象
下面，将参考图12A到12C解释本实施例的一个应用例。图12A到 12C是示出在根据本实施例的技术应用到焰火成像场合时的情况例子的 说明图。在本情况中示出的焰火成像场合是摄影者想要的对象图像出现时 间差的情形的例子。如上所述，根据本实施例的图像处理设备100也优选 地用于不能控制对象状态的场合。
图12A到12C代表性地示出了意图在两个焰火爆炸时连续拍摄的图 像。顺便提及的是，这些图像示出了左边的焰火先爆炸，几分钟后，右边 的焰火爆炸的情形。
首先，将参考图12A。图12A的成像时间点是左边的焰火爆炸时的 时刻。关于左边的焰火，按照所述摄影者的意图，所述图像在所述焰火完 全爆炸时拍摄。但是，在这个成像时间点，右边的焰火还未爆炸，且该焰 火的直径小于所述摄影者想要的直径。
然后，将参考图12B。图12B的成像时间点是右边的焰火爆炸时的时 刻。关于右边的焰火，按照所述摄影者的意图，所述图〗象在所述焰火完全 爆炸时拍摄。但是，在这个成像时间点，左边的焰火已经消失。因此，摄 影者会考虑用图12B中出现的右边的焰火替换图12A所示图像中出现的右边的焰火。因此，使用了本实施例的技术，其中可以通过所^擦区域 使时间前进。
首先，摄影者在图12A所示的图像中包围右边焰火的框中执行摩擦 操作。然后，摩擦的框中的时间前进，因而，图12B所示的右边焰火的 图傳被逐渐合成并显示。当继续重_1*擦时，如图12C所示，图12B所 示的右边焰火的图傳被完全合成，形成了某个在左边的焰火和右边的焰火 都爆炸的时刻的合成图像。从根本上说，在不同时间发射的烟火同时爆炸 的时刻不会被捕捉到。但是，如果使用本实施例的技术，可以轻松地形成 这样的合成图像。
[应用例2:风景成《象
下面，将参考图13解释本实施例的一个应用例。图13是示出根据本 实施例的技术应用到风景成像场合的情况例子的说明图。在本情况中示出 的风景成像场合是对象出现在前面和后面，因而不可能同时聚焦在前面和 后面的情形的例子。如上所述，根据本实施例的图像处理设备100也优选 地用于通过任何方式都很难成像的场合。
图像P (tl)和图像P (t2)如图13所示。图像P (tl)是以聚焦在 后面的方式拍摄的图像。另一方面，图像P (t2)是以聚焦在前面的方式 拍摄的图像。在拍摄风景的情况下，当聚焦在后面的建筑、山脉等时，前 面的叶子等就不在焦点上。相反地，当聚焦在前面叶子等时，后面建筑、 山脉等就焦距未对准。甚至在这种情形下，摄影者也将考虑拍摄同时聚焦 在前面和后面的图像。因此，使用本实施例的技术可以通过摩擦的区域改 变M (焦点)。
首先，摄影者在改变景深的同时执行连续拍摄。然后，摄影者在图像 P(tl)中包围前面对象的框中执行摩擦操作。然后，在摩擦的框中景深 被向前拉，因而，图像P (t2)中的图^^逐渐合成并显示。当继续重复 摩擦时，如图13所示，作为合成图像，包括在图像P(t2)中的前面图 像被完全合成，从而形成了同时聚焦在前面对象和后面对象的合成图像。 从根本上说，同时聚焦在前面和后面的图像无法得到。但是，如果使用本 实施例的技术，可以轻松地形成这样的合成图像。
如上所述，示出了两个根据本实施例的应用例。当然，本实施例的应 用范围不限于此，而是可以响应于各种摩擦信息和各种参数进行各种应 用。[图4象处理i殳备100的硬件配置例子
上述图像处理设备100中包括的各个构成元件的功能可以由例如具 有如图14所示的硬件配置的信息处理设备实现，并且也可以通过使用用 于实现上述功能的计算枳4呈序来实现。图14是说明图，示出了能够实现 包括在上述图像处理设备100的各个构成元件中的功能的信息处理设备 的硬件配置。所述信息处理设备的配置是可选的，例如，诸如以下各项的 配置是可选的个人电脑；诸如移动电话、PHS (个人手持电话系统)和 PDA(个人数字助理)等的个人数字助理；游戏设备；各种家用信息设备 等。
如图14所示，所述信息处理设备主要包括CPU(中央处理单元)卯2、 ROM (只读存储器)904、 RAM (随机读取存储器)906、主总线908、 桥910、外部总线912、接口 914、输入单元916、输出单元918、存储单 元920、驱动器922、连接端口 924和通信单元926。
CPU902基于各种记录在ROM904、 RAM卯6、存储单元920或可 移动记录媒介928上的程序，而用作运算处理单元或控制单元，并控制构 成元件的整体操作或某些构成元件。ROM 904存储例如栽入在CPU卯2 上的程序，或运算操作中使用的数据等。RAM卯6临时或永久地存储例 如载入在CPU 902上的程序，或在运行所述程序时任意改变的各种参数 等。这些构成元件通过例如可以执行高速数据传输的主总线908相互连 接。主总线908例如通过桥910连接到数据传输速度相对低的外部总线 912'
输入单元916是例如诸如鼠标、键盘、触摸面板、按钮、开关或控制 杆的操作单元。输入单元916可以是能通过使用红外线或其他无线电波传 输控制信号的远程控制单元(所谓的M控制器)。输入单元916包括通 过输入信号将通过使用操作单元输入的信息传输到CPU卯2的输入控制 电路等。
输出单元918是可以在视觉或听觉上向用户通知所获取信息的、例如 诸如CRT (阴极射线管)、LCD (液晶显示器)、PDP (等离子体显示面 板)或ELD (电致发光显示器)的显示装置，诸如扩音器或耳机的音频 输出装置，打印机，移动电话或传真机。
存储单元920是存储各种数据的装置，并且包括例如诸如硬盘驱动器 (HDD;硬盘驱动器)的磁存储装置、半导体存储装置、光学存储装置或磁光存储装置等。
驱动器922是读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的 可移动记录媒介928中的信息或在可移动记录^^介928中写入信息的装 置。可移动记录媒介928是例如DVD媒介、蓝光媒介、HD-DVD媒介、 紧凑式闪存(CF; CompactFlash)(注册商标)、记忆棒或SD存储卡(安 全数字存储卡)等。总的来说，可移动记录媒介928可以是例如安装有非 接触式IC芯片的IC卡(集成电路卡)或电子装置等。
连接端口 924是诸如USB (通用串行总线)端口 、 IEEE1394端口 、 SCSI (小型计算机系统接口 )、 RS-232C端口或光学音频终端(叩tical audio terminal)的端口，且连接到外部连接装置930。外部连接装置930 是例如打印机、移动音乐播放器、数字照相机、数字摄H^或IC记录器 等。
通信单元926是连接到网络932的通信装置。例如，使用用于有线或 无线LAN (局域网)的通信卡、蓝牙(注册商标)或WUSB (无线USB )、 光学通信路由器、ADSL (非对称数字用户线)路由器或各种通信调制解 调器等。连接到通信单元926的网络932包括有线或无线连接的网络。例 如，使用因特网、家用LAN、红外通信、广播或卫星通信等。
[成像装置200的硬件配置例子
下面，将解释上述成像装置200的硬件配置例子。包括在上述成寸象 装置200中的各组成元件的功能可以由例如图15所示的硬件配置实现。 图15是示出可以实现上述成像装置200的上述各组成元件中包括的功能 的硬件配置的一个例子的说明图。
如图15所示，成像装置200主要包括控制器(例如，CPU;中央处 理单元)802、位置获取单元804、 RAM (随机读^#储器)806、 ROM (只读存储器)808、总线810、成4象单元812、图4象处理单元814、显示 单元816和记录^^介(例如，闪存等)818。
尽管未在图中示出，但是接收用户操作的输入单元也可以被包括在 内。所述输入单元的功能由操作装置、例如鼠标、键盘、触摸面板、按钮、 开关或控制杆等实现。此外，所述输入单元可以是能通过使用红外线、其 他无线电波或光波等发送控制信号的远程控制器。
控制器802可以由例如CPU等实现，并基于各种记录在RAM 806、 ROM 808或记录媒介818等中的程序，控制各组成元件的整体操作或其一部分。ROM 808存储例如将由控制器802读取的程序或用于在计算过 程中使用的数据等。RAM 806临时或永久地存储例如将由控制器802读 取的程序或在运行所述程序时适当修改的^lt等。这些组成元件通过例如 能高速传输数据的总线810相互连接。
位置获取单元804是获取所述成像装置的位置信息的装置。位置信息 获取单元804可以访问例如可通信基站，并获取所U站覆盖的区域的信 息作为所述位置信息，或者可以从定位卫星系统(GPS;全球定位系统) 等获取位置信息。作为所述位置信息，例如，包括能够指明纬度、经度或 成《象装置200所位于的区域的信息。
成像单元812是通过光学系统获M"象图像的工具。成像单元812 主要包括镜头822、 CCD (电荷耦合器件)824、 AF控制器826和AE控 制器828。
镜头822组成所述光学系统，并会聚由对象反射到CCD 824的光。 CCD 824是固态图像传感器，其由半导体元件构造，通过每个元件接收 镜头822会聚的光，对接收到的光执行光电转换并输出。CCD 824响应 于每个元件接收的光的强度而输出电信号，因而，可以基于所述电信号形 成图像信号。顺便提及的是，成像装置200可以使用由其他半导体元件形 成的图像传感器来代替CCD824。 AF控制器826是自动对焦机构，用来 自动调整焦距。此外，AE控制器828是自动曝光(AE;自动曝光)控制 机构，用来自动调整快门iUL和光圏值。
图像处理单元814可以将从CCD 824输出的图像信号转换为可以被 显示在显示单元816上的图像数据格式。例如，图像处理单元814可以将 所述图像信号转换为对应于诸如BMP (微软视窗位^象)、GIF (图形 交换格式)、JPEG (联合图像专家组)、PICT或PING (Packet INternet Gr叩er,因特网包探索器)的编码格式的图像数据。此外，图像处理单 元814还改变所述图像数据的大小，调整辉度和颜色风格并调整伽马校正 和锐度等。进而，图像处理单元814可以从由成像单元812连续拍摄的多 个图像信号形成运动图像数据。
显示单元816是诸如LCD (液晶显示器)、PDP (等离子体显示面板) 或ELD (电致发光显示器)等的显示装置，并且是可在视觉上向用户通 知所获取信息的装置。
记录媒介818是由磁盘、光盘、磁光盘或半导体存储器等构造的。例如，记录:^介818是DVD媒介、蓝光媒介、HD DVD媒介、CompactFlash (注册商标)、记忆棒、SD存储卡(安全数字存储卡)或HDD (硬盘驱 动器)等。此外，可以将成像装置200配置为使用例如装备有非接触式 IC芯片的IC卡(集成电路卡)和电子装置等作为记录媒介818。
[结论
最后，本实施例的图像处理i更备中包括的功能配置和由所述功能配置 实现的^Mt优点被简单地整理如下。
首先，根据本实施例的图像处理设备的功能配置可以如下表示。
所述图像处理设备包括显示屏，其显示包括在连续拍摄的图像组中 的第一图像；摩擦位置检测器，其检测用户在显示屏上摩擦的摩擦位置； 以及图像合成单元，其合成第一图像的对应于所^擦位置的像素区域和 包括在所述图像组中的第二图像的像素区域。但是，在这里，所述图像合 成单元具有切换将与所述第 一 图像合成的第二图像以随着用户摩擦的摩 擦量的增加而增加所述第 一 图像和所述第二图像之间的成像时间差的功 能。
如上所述,上述图〗象处理设备具有在显示屏上显示包括在连续拍摄的 图像组中的第一图像的功能。对于所述第一图像，例如，可以设置为选择 所述图像组中包括的图像中的、在最近成像时间点的图像。此外，上述图 像处理设备具有由所述摩擦位置检测器检测用户在显示屏上摩擦的摩擦 位置的功能。所^f擦位置由所^擦位置检测器检测，由此指出所述用 户指定的像素区域。
进而，上述图像处理设备具有图像合成单元，由图像合成单元合成第 一图像的对应于所i^擦位置的像素区域和包括在所述图像组中的第二 图像的像素区域。通过以这种方式进行配置，将成像时间点不同的第二图 像的一部分与所述第一图像合成。此时，只有由所述用户指定的像素区域 与所述第一图像合成，因而，可以形成实际上m^拍摄到的图像。进而， 由所述图像合成单元实现的合成处理通过用户的摩擦动作实现，由此提供 具有高度便利性的简单操作系统。更特别地，用户指定像素区域的操作、 对图像合成率的设定操作以及对要被合成的图像的选择操作可以仅通过 一系列摩擦动作实现，因而提供了很高的便利性。
此外，上述图像合成单元切换要与所述第一图像合成的第二图像，以 随着用户摩擦的摩擦量的增加而增加所述第一图像和所述第二图像之间的成像时间差。通过以这种方式进行配置，用户可以通过重复所^*擦动 作而顺序地切换要被合成的图像。因此，要被合成的图像的切换处理被包 含在所述一 系列摩擦动作中，从而实现了具有更高便利性的操作系统。
此外，所述图像合成单元可以被配置为随着所i^擦量的增加而增加 所述第二图像到所述第一图像的合成率，并在所^f擦量超过预先确定的 阈值的阶段切换所述第二图像到与所述第 一 图像成像时间差更大的图像。 通过以这种方式进行配置，将被合成的图像的切换处理以及显示图像和要 被合成的图像的合成率的调整处理可响应于一系列摩擦动作来实现。换言 之，通过连续的摩擦动作，合成图像无缝地从所述显示图像变化到要被合 成的图像。因此，用户可以通过更直观的处理来形成合成图像。
此夕卜，所述图像合成单元可以被配置为在切换到所述像素区域之前显 示所述第二图像，直到所^擦量超过所述预先确定的阈值，并在超过所 述预先确定的量的阶段切换所述第二图像。通过以这种方式进行配置，在 所述第 一 图像的 一部分被完全切换到所述第二图像后，即使所^*擦动作 继续进行，所述第二图像也不会在预先确定的时间前被切换，因而，可以 轻松地找到完全切换的时间。结果，在想要所述第一图像的部分被所述第 二图像完全取代的情况下，时间被正确地捕捉以便进行"存储"，而且用 户可以无忧地继续摩擦动作。
此外，所述摩擦量可以是从所述像素区域被摩擦的次数、摩擦时的按 压力、摩擦方向和摩擦速度中选出的一个量，或者是由多个组合确定的量。 进而，所述图像组可以是在改变任何能够在拍摄时改变的参数的同时连续 拍摄的多个图像。然后，所述参数可以是景深、图像效果或用于控制闪光 的控制M。但是，在这里，上述图像处理设备的构造不限于这些例子， 而是可以响应于对图像组进行成像的成像装置的功能和构造做出各种修 改。
[有利效果
下面，将筒单组合通过应用本实施例而得到的效果。但是，通过本 实施例的相应构造得到的具体效果已经在其说明中解释过了。因此，本情 况的说明是对这些效果的组合。首先，当使用根据所述实施例的技术时， 可以通过容易的操作系统得到合成连续拍摄的图像的效果。此夕卜，可以允 许通过一系列摩擦动作改变用户想要的位置、范围或合成程度，来合成图 像。进而，实现了允许轻松地形成实际上很难拍摄的图像的效果。本领域技术人员应该理解，可以根据设计和其他因素产生各种修改、 组合、子组合和改变，只要它们在所附权利请求或其等同范围内即可。
本申请包括与2008年6月25日在日本专利局申请的日本优先权专利 申请JP2008-165605有关的主题，该申请的全部内容通过引用而合并于 此。
权利要求
1.一种图像处理设备，包括显示屏，用于显示连续拍摄的图像组中包括的第一图像；摩擦位置检测器，用于检测用户在所述显示屏上摩擦的摩擦位置；以及图像合成单元，用于合成所述第一图像中对应于所述摩擦位置的像素区域和所述图像组中包括的第二图像的像素区域；其中，所述图像合成单元切换要与所述第一图像合成的第二图像，以随着所述用户摩擦的摩擦量的增加而增加所述第一图像和所述第二图像之间的成像时间差。
2. 根据权利要求l的图像处理设备，其中，所述图像合成单元随着所述摩擦量的增加而增加所述第二图像 到所述第一 图像的合成率，并在所述摩擦量超过预先确定的阈值的阶段切 换所述第二图像到与所述第 一 图像的成像时间差更大的图像。
3. 根据权利要求2的图像处理设备，其中，所述图像合成单元在切换到所述像素区域之前显示所述第二图 像，直到所^*擦量超过所述预先确定的阈值达一个预先确定的量为止， 并在超过所述预先确定的阈值的阶段切换所述第二图像。
4. 根据权利要求3的图像处理设备，其中，所述摩擦量是从所述像素区域被摩擦的次数、摩擦时的按压力、 摩擦方向和摩擦速度中选择的一个量，或由多个组合确定的量。
5. 根据权利要求l的图像处理设备，其中，所述图像组是在改变在成像时可修改的任意^的同时连续拍 摄的多个图像。
6. 根据权利要求5的图像处理设备，其中，所述M是景深、图像效果或用于控制闪光的控制M。
7. —种图像处理方法，包括以下步骤当显示屏上显示连续拍摄的图像组中包括的第 一图像时，检测用户在 所述显示屏上摩擦的摩擦位置；以及合成所述第 一 图像中对应于所述摩B置的像素区域和所述图像组其中，在合成图像的步骤中，切换要与所述第一图像合成的第二图像， 以随着由所述用户施加的摩擦量的增加而增加所述第 一 图像和所述第二 图《象之间的成^f象时间差。
全文摘要
本发明提供了一种图像处理设备和图像处理方法。所述图像处理设备包括显示屏，其显示包括在连续拍摄的图像组中的第一图像；摩擦位置检测器，其检测在所述显示屏上被用户摩擦的摩擦位置；以及图像合成单元，其合成所述第一图像中的对应于所述摩擦位置的像素区域和包括在所述图像组中的第二图像的像素区域；其中，图像合成单元切换将与所述第一图像合成的第二图像，以随着用户摩擦的摩擦量的增加而增加所述第一图像和所述第二图像之间的成像时间差。
文档编号H04N5/232GK101616258SQ200910149508
公开日2009年12月30日 申请日期2009年6月25日 优先权日2008年6月25日
发明者宫下健, 松田晃一, 梨子田辰志, 池田哲男 申请人:索尼株式会社