专利名称：图像处理装置的制作方法
技术领域：
本发明涉及图像处理装置。
背景技术：
作为这种技术，例如在日本国特开2006-031688号公报(以下称为“专利文献1”)
中，公开了一种图像处理装置，该装置预先存储用于确定图像内关注的区域(关注区域)的像素值等，通过使用该像素值，从由数字照相机等获取的图像数据所表示的图像中确定关注区域，并使所确定的关注区域比其它区域更加突出。此外，日本国特开2004-021374号公报(以下称为“专利文献2”)中，公开了一种图像处理装置，该装置预先存储用于识别被摄体的脸部等的特征的被摄体信息，通过使用该被摄体信息，将图像内存在被摄体的被摄体区域确定为关注区域，并使所确定的关注区域比其它区域更加突出。然而，在现有技术中，使用用于确定预先所存储的图像内的关注区域的规定信息， 来确定静止图像内的关注区域，因此例如在对构成动态图像的静止图像实施图像处理的情况下，会导致没有正确地确定动态图像中存在运动的区域(拍摄有运动的被摄体的区域等)、没有将存在运动的区域与除此之外的区域区别开来、而是对这两者执行相同强度的图像处理(变更图像风格的图像处理)。因此，用户难以识别在变更了图像风格的动态图像中存在运动的区域。
发明内容
因此，本发明的目的是要提供一种图像处理装置，使用户易于识别在变更为不同图像风格的动态图像中存在运动的区域。根据本发明的一个实施方式，提供了一种图像处理装置，其具备动态图像数据获取部，获取表示动态图像的动态图像数据；关注区域确定部，按每个上述静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动态图像，该动态图像由上述动态图像数据获取部获取到的上述动态图像数据所表示； 以及，图像处理部，在上述关注区域确定部所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理分别对上述关注区域确定部确定了上述关注区域的上述静止图像将图像风格变更为绘画风格。
图1是示出本发明的实施方式的图像处理装置的功能的框图2是示出本发明的实施方式的图像处理装置的硬件结构的框图；图3是示出本发明的实施方式的图像处理装置所执行的图像处理的流程图；图4A和图4B是示出划分成规定的大小的图像处理对象的静止图像和在其之前的静止图像的图；图5是示出对应于划分成规定的大小的每个块的、表示关注区域或其它区域的信息的示意的图；图6A和图6B是示出图像处理对象的静止图像和在其之前所获取的静止图像的图；图7是示出对关注区域和其它区域通过不同的内容执行了图像处理的示意的图。
具体实施例方式下面将参照附图来说明本发明的实施方式。在本实施方式中，说明以数字照相机来实现了本发明的图像处理装置1的方式。在图像处理装置1中，作为拍摄模式，除了一般的静止图像拍摄模式以及动态图像拍摄模式以外，还具有绘画图像模式。绘画图像模式是这样的一种方式，S卩，从用户从菜单画面中选择绘画图像模式的操作被执行的时间点开始，通过预先设定的帧速率，依次获取表示图像的帧数据(以下称为原始图像数据)，对所获取的原始图像数据所表示的图像(原始图像数据被适当地变更为规定的图像数据)执行向绘画风格转换的图像处理来生成绘画图像数据，将由其所表示的绘画图像实时取景(live view)显示在显示画面上。所谓绘画风格的图像(绘画图像)， 指与原始的照片图像的感觉(图像风格)不同的油画风格、撕纸画(6多>9絵)风格、水墨画风等的图像。首先，利用图1来说明图像处理装置1的结构。图像处理装置1具备控制部10、存储部20、摄像部30、输入部40、显示部50和读出写入部60。控制部10执行图像处理装置1的各部分的控制，并执行图像处理装置1整体的控制。此外，控制部10具备动态图像数据获取部10a、关注区域确定部10b、图像处理部10c， 它们确定在动态图像数据所表示的动态图像中存在运动的区域(关注区域)，以不同于其它区域的内容对所确定的关注区域执行图像处理。这里，动态图像指的是由多个连续的静止图像所构成的图像。存储部20根据控制部10的控制，适当地存储控制部10在处理中所生成的各种数据以及读出写入部60从记录介质100中读出的记录图像数据等。摄像部30根据控制部10的控制，以规定帧速率来对图像进行摄像。摄像部30生成表示拍摄到的图像的摄像信号，根据所生成的摄像信号，生成数字原始图像数据(1帧的量的静止图像数据)。摄像部30将生成的原始图像数据提供给控制部10。输入部40是接受用户的操作输入的操作部，将与所接受的操作输入的内容对应的操作输入数据提供给控制部10。显示部50根据控制部10的控制，显示由摄像部30所拍摄的图像、操作画面、以及读出写入部60从记录介质100中读出的记录图像数据所表现的记录图像。读出写入部60根据控制部10的控制，读出记录介质100中所记录的记录图像数据，将其提供给控制部10。此外，读出写入部60根据控制部10的控制，将图像数据写入(记
4录)到记录介质100中。记录介质100将动态图像数据或静止图像数据存储为记录图像数据。接下来，利用图2来说明图像处理装置1的硬件的结构。图像处理装置1具备 CPU (Central Processing Unit 中央处理单元)11、主存储装置12、辅助存储装置21、拍摄装置31、输入装置41、驱动电路51、显示面板52和读出写入装置61。图1的控制部10由CPUll和主存储装置12来实现。CPUll根据从辅助存储装置 21加载至主存储装置12的图像处理程序21a，来控制图像处理装置1的整体，此外，特别地，实际执行图1的控制部10所具备的动态图像数据获取部10a、关注区域确定部10b、图像处理部IOc所执行的处理。除此之外，控制部10还可以包含ASIC(Application Specific Integrated Circuit 面向特定用途的集成电路)等。在此情况下，ASIC等执行CPUll所执行的处理的至少一部分。主存储装置12由RAM (Random Access Memory 随机存取存储器)等来实现。主存储装置12作为CPUll的工作存储器等发挥功能，CPUll从其它的结构部件(例如，拍摄装置31等)接收到的数据、以及CPUll向其它的结构部件(例如，驱动电路51等)提供的数据，暂时记录在主存储装置12的存储区域中。CPUll读出在主存储装置12中记录的数据，利用所读出的数据来执行运算(处理)，将运算结果(处理结果)的数据随时记录在主存储装置12中。图1的存储部20由辅助存储装置21来实现。辅助存储装置21由闪存或硬盘等构成。此外，辅助存储装置21存储有图像处理程序21a。CPUll向主存储装置12中加载辅助存储装置21所存储的图像处理程序21a，并基于加载到主存储装置12的图像处理程序 21a的指令来执行处理。图1的摄像部30由拍摄装置31来实现。拍摄装置31由具备CCD (Charge Coupled Device :电荷耦合器件)图像传感器或CMOS (Complementary Metal Oxide Semiconductor 互补金属氧化物半导体)图像传感器等的摄像元件、AFE (Analog Front End 模拟前端)、 DSP(Digital Signal Processor 数字信号处理器)等的照相机等构成。拍摄装置31通过摄像元件来生成表示被拍摄到的图像的摄像信号，对生成的摄像信号实施各种处理(由AFE、DSP等执行的处理)，生成数字原始图像数据。此外，在各种处理中，例如，具有相关双重采样(Correlated Double Sampling)的处理、对采样后的摄像信号实施的自动增益控制(Automatic Gain Control)的处理、将自动增益控制后的模拟摄像信号转换为数字信号的模拟-数字转换处理，以及轮廓增强、自动白平衡、自动光圈等提高画质的处理。原始图像数据是表示通过摄像元件所摄像的一帧的量(一个摄像图像的量)的静止图像的数据。拍摄装置31每生成原始图像数据都将其提供给主存储装置12。主存储装置12存储从拍摄装置31接收到的原始图像数据。CPUll利用主存储装置12所存储的原始图像数据，执行后述的处理。图1的输入部40由输入装置41来实现。输入装置41是包含拍摄键、再现键、停止键、菜单键、图像转换模式选择键、设置键、电源键等多个操作键、由用户执行操作的接口装置。若用户对这些键进行操作，则输入装置41将与各键对应的操作输入数据提供给主存储装置12。主存储装置12接收由输入装置41所提供的操作输入数据，并存储所接收的操作输入数据。CPUll根据主存储装置12所存储的操作输入数据，执行后述的处理。图1的显示部50由驱动电路51和显示面板52实现。CPUll利用各种图像数据， 生成显示用的数据(例如，RGB (RED-GREEN-BLUE 红-绿-蓝)数据)，将所生成的显示用的数据提供给驱动电路51。驱动电路51基于所接收到的显示用的数据来驱动显示面板52， 在显示面板52上显示由各种图像数据所表示的各种图像。显示面板52例如由液晶显示面板或有机EL(0rganic Electro-Luminescence 0EL)显示面板等构成。通过驱动电路51来在显示面板52上显示各种图像。另外，图1的输入部40和显示部50还可以由触摸面板来实现。在此情况下，输入装置41和显示面板52由触摸面板构成。触摸面板显示用于接收规定操作的输入画面，并且将用户在输入画面上进行了接触操作的位置所对应的操作输入数据提供给主存储装置 12。主存储装置12接收从触摸面板提供的操作输入数据，并存储所接收的操作输入数据。 CPUll根据主存储装置12所存储的操作输入数据，执行后述的处理。图1的读出写入部60由读出写入装置61实现。读出写入装置61是执行数据的读出、写入的接口装置。读出写入装置61读出记录介质100中所记录的记录图像数据(静止图像数据或者动态图像数据)，将所读出的记录图像数据提供给主存储装置12。主存储装置12接收从读出写入装置61提供的记录图像数据，并存储所接收的记录图像数据。CPUll 利用主存储装置12所存储的记录图像数据来执行后述的处理。记录介质100由闪存类型的存储卡101等实现。作为存储卡101，有记录记录图像数据的SD存储卡等。接着，利用图3说明图像处理装置1所执行的图像处理。用户利用输入部40来执行在接通电源后从显示在显示部50上的菜单画面选择绘画图像模式的操作。此外，这时用户还可以执行对水彩画、彩色素描、粉彩画、点彩画、气刷 (air brush)、油彩画、哥特样式的油画等绘画风格的种类进行选择的操作。输入部40将绘画图像模式和绘画风格的种类选择操作的输入所对应的操作输入数据提供给控制部10。控制部10通过从输入部40接收该操作输入数据来开始图像处理(图3的图像处理开始)。在该图像处理中，动态图像数据获取部IOa根据预先设定的帧速率，进行摄像部 30的驱动控制，使摄像部30对图像进行摄像。动态图像数据获取部IOa按每帧地依次获取由摄像部30所生成的原始图像数据，以获取的顺序将其保持(暂时记录)在规定的存储区域(例如，图2所示的暂时存储装置1 中。轮廓增强、自动白平衡、自动光圈等提高画质的处理，也可以由控制部10(动态图像数据获取部IOa)来执行。在此情况下，控制部10(动态图像数据获取部IOa)通过利用从摄像部30所获取的数据来执行上述处理，生成(获取) 原始图像数据。动态图像数据获取部IOa每获取一帧的量的原始图像数据，关注区域确定部IOb 就执行确定该原始图像数据所表示的静止图像内的关注区域的处理。关注区域确定部IOb 设定η = 1 (步骤S101)。η表示动态图像数据获取部IOa按每帧地获取到的原始图像数据的顺序。接下来，关注区域确定部IOb使η = η+1 (步骤S102)。即，在这里成为图像处理对象的是第η个(第2个)原始图像数据。关注区域确定部IOb获取第η和第η-1个原始图像数据(步骤S103)。即，关注区域确定部IOb从规定的存储区域(图2的暂时存储装置12)中，获取动态图像数据获取部 IOa第η个(第2个)获取的原始图像数据和第η_1个(第1个)获取的原始图像数据。关注区域确定部IOb利用成为图像处理对象的第η个(第2个)原始图像数据以及在其之前所获取的第η-1个(第1个)原始图像数据，将这些数据所表示的各静止图像划分成如图4Α和图4Β所示的规定大小的块(步骤S104)。例如，关注区域确定部IOb以 8X8像素作为一个块，将各静止图像按每块进行划分。并且，在此后的处理中，原始图像数据适当地改变为规定的易于处理的数据形式。划分后的各块由能够唯一地识别块的识别信息(例如块序号)来确定。例如，将图像的左上角的块的块序号取为“1”，自该块向右地，朝向右上角的块而对每个块附加块序号，进而在右上角的块被附加了块序号“m”之后，对位于图像左上角的块紧下面的块附加块序号“m+1”。这样，各静止图像中被划分后的各块就由块序号来确定。另外，被划分的块的大小可以适当地设定，而可以进行不均等地划分。此外，被划分的块的大小在处理过程中是不变的。关注区域确定部IOb按各静止图像的相互对应的每个块进行比较，按每块获取作为图像处理对象的第η个(第2个)原始图像数据的运动向量(步骤S105)。S卩，关注区域确定部IOb利用作为图像处理对象的第η个(第2个)原始图像数据、以及在其之前所获取的第η-1个(第1个)原始图像数据，对第η个(第2个)原始图像数据所表示的静止图像(图4Α)和第η-1个(第1个)原始图像数据所表示的静止图像(图4Β)进行比较，按每块获取表示移动距离及移动方向的运动向量，该移动距离及移动方向为，从由第η-1个(第 1个)原始图像数据所表示的原始图像至由第η个(第2个)原始图像数据所表示的原始图像的距离及方向。关注区域确定部IOb确定第η个(第2个)原始图像数据的按每块所获取的运动向量为预先设定的运动向量阈值以上(或者超过阈值)的块(步骤S106)。该确定的块被作为如下的块而处理各静止图像之间的被摄体的移动距离等满足了一定的基准、是存在运动的区域(拍摄有运动的被摄体的区域等)的块。具体地，关注区域确定部IOb按每块地判断按每块地获取到的运动向量是否为运动向量阈值以上(或者超过阈值)。当块的运动向量为运动向量阈值以上(或者超过阈值) 的情况下，关注区域确定部IOb判断为该块是存在运动的区域(关注区域)，例如，如图5所示，在第η个原始图像中，将该块(块序号)与表示是关注区域(存在运动的区域)的信息 “1”对应起来。另一方面，当块的运动向量未达到运动向量阈值(或者是阈值以下)的情况下，关注区域确定部IOb判断为该块是不存在运动的区域(关注区域以外的区域)，将该块与表示是关注区域以外的区域(不存在运动的区域)的信息“0”对应起来。这样，关注区域确定部IOb能够确定在由第η个(第2个)原始图像数据所表示的静止图像中包含有运动的被摄体200的块210的集合。之后，图像处理部IOc根据在绘画图像模式选择时用户利用输入部40所选择的绘画风格的种类，执行将第η个(第2个)原始图像数据转换至绘画风格的图像处理。例如， 在用户选择了水彩画的情况下，图像处理部IOc变更第η个(第2个)原始图像数据所具有的各种参数，生成表示水彩画风的绘画图像的绘画图像数据。这里，参数是对在执行将图像变更为绘画风格的图像处理时的、图像处理的处理强度进行规定的数值。此外，在参数中存在表示明亮度、对比度、颜色的浓度、色调、锐度等的各种参数。此外，根据绘画风格的种类(图像处理的种类)，分别对参数进行规定。并且，作为这种向绘画风格转换的图像处理， 例如存在使用于Photoshop (注册商标)的各种滤镜(filter)等中的处理。图像处理部IOc根据不同的处理强度，对被关注区域确定部IOb确定为关注区域的块和其它区域(块)执行图像处理(步骤S107)。图像处理的处理强度对各种参数的数值进行上下调节。具体地，图像处理部IOc例如提高对关注区域的图像部分执行的图像处理的处理强度，并且降低对关注区域以外的区域的图像部分执行的图像处理的处理强度。 即，图像处理部IOc提高预先设定的各种参数的数值(基准值)而对与表示是关注区域的信息“1”对应的块的图像部分执行图像处理。这样，该图像部分被详细地描绘而细致地表示了的绘画风格的笔触(夕7 + )。另一方面，图像处理部IOc例如降低预先设定的各种参数的数值(基准值)而对与表示是关注区域以外的区域的信息“0”对应的块的图像部分执行图像处理。这样，该图像部分被大致描绘而粗略地表示了的绘画风格的笔触。这样，在本实施方式中，如果提高各种参数的数值，则图像处理的处理强度变大， 由此，绘画风格的笔触变得细致。此外，如果降低各种参数的数值，则图像处理的处理强度变小，由此，绘画风格的笔触就变得粗略。并且，处理强度的大小、参数的数值、笔触的粗细的关系并不限定于此。此外，它们的关系因绘画风格的种类而不同，可预先设定。这里，图像处理部IOc执行使处理强度变化、以细致的笔触来表示关注区域、以比关注区域粗略的笔触来表示其它区域的图像处理。并且，图像处理部IOc不限于这样的例子，其执行使处理强度变化、在关注区域和其它区域中、从原始图像转换的程度不同的图像处理。图像处理部IOc通过以全部的块作为对象执行上述图像处理，从而基于第η个 (第2个)原始图像数据来生成绘画图像数据。图像处理部IOc将所生成的绘画图像数据记录在规定的存储区域(图2的暂时存储装置12等)中，并且将其转换为显示用的数据并提供给显示部50。根据图像处理部IOc的控制，在显示部50(图2的显示面板5 上，显示由接收到的绘画图像数据所表示的绘画图像。之后，直到控制部10判断出绘画图像模式的拍摄已结束(步骤S108 是)为止， 动态图像数据获取部10a、关注区域确定部10b、图像处理部IOc反复执行与上述同样的处理(步骤S102至步骤S107)，每当动态图像数据获取部IOa从摄像部30依次获取一帧的量的原始图像数据，就基于该原始图像数据来执行生成一帧的量的绘画图像数据的处理。此外，图像处理部IOc每生成一帧的量的绘画图像数据，就将其记录在存储区域 (图2的暂时存储装置12)，并且将该数据转换为显示用的数据并提供给显示部50。由此， 在显示部50(图2的显示面板5 上，实时取景显示由显示用数据所表示的绘画图像。另外，用户确认在显示部50(图2的显示面板5 上实时取景显示着的绘画图像， 通过用户操作拍摄开始键，图像处理部IOc判断拍摄开始，将从该操作时刻开始依次按每帧地获取的绘画图像数据记录到存储区域(图2的暂时存储装置12)中，通过用户操作拍摄结束键，图像处理部IOc能够将从操作时刻开始所记录的多个连续的绘画图像数据所构成的动态图像数据，记录到辅助存储装置21、存储卡101等中。此外，在用户执行了拍摄开始键和拍摄结束键的操作时，也能够记录由动态图像数据获取部IOa记录到规定的存储区域(图2的主存储装置12)中的多个连续的原始图像数据所构成的动态图像数据。
此外，对于动态图像数据获取部IOa最初(第1个)获取的原始图像数据，由于不存在能够与该原始图像数据相比较的图像数据，所以在本实施方式中，执行规定的图像处理。例如，对于最初(第1个)获取的原始图像数据，基于预先设定的图像内的中央区域，区分为该原始图像数据所表示的静止图像内的中央区域与其以外的区域，对与中央区域相当的图像部分执行详细描绘的图像处理，并对与其以外的区域相当的图像部分执行大致描绘的图像处理。即，图像处理部IOc对与静止图像内的中央区域相当的图像部分的图像处理， 通过提高参数的数值，使图像处理的处理强度变大，从而细致地表示绘画风格的笔触。另一方面，图像处理部IOc对与静止图像内的中央区域相当的图像部分的图像处理，通过降低参数的数值，使图像处理的处理强度变小，从而粗略地表示绘画风格的笔触。按照该实施方式的图像处理装置1，在由动态图像数据(这里，连续获取的原始图像数据的集合)表示的多个静止图像中，例如利用图像处理对象的静止图像(例如，图6A) 和在其之前所获取的静止图像(例如，图6B)，将在各静止图像之间存在运动的区域确定为关注区域，如图7所示，在所确定的静止图像内的关注区域70和其它区域71中，通过不同的内容来执行变更静止图像的图像风格的图像处理。这样，用户易于识别在转换为绘画风格的动态图像中存在运动的区域。此外，通过不同内容的图像处理，用户易于识别存在运动的区域的特征。此外，按照本实施方式的图像处理装置1，关注区域确定部IOb将表示各静止图像间的变化的被摄体的移动距离等满足一定基准的区域确定为关注区域，因此能够只将在各静止图像间、被摄体的移动距离等满足了一定基准的区域(即，移动大的区域)确定为关注区域。此外，按照本实施方式的图像处理装置1，对于构成由动态图像数据所表示的动态图像的多个静止图像，关注区域确定部IOb分别将静止图像划分为规定大小的块，按每个划分的块，将各静止图像的相互对应的块的静止图像之间的变化满足一定基准的区域 (块)确定为关注区域，因此能够以块单位区别关注区域和其以外的区域。此外，在本实施方式中，为了便于说明，在执行了从步骤S102至S107的一系列的处理之后，以下一个原始图像数据作为图像处理对象，但是也可以按每进行各步骤地，依次执行下一个原始图像数据的图像处理。并且，图像处理装置1执行图像处理的动态图像数据包含将多个表示一帧的量的静止图像的静止图像数据进行了组合的数据(参照上面的说明)；以及，将通过 MPEG (Moving Picture Experts Group 运动图像专家组)等影像压缩方式而表示一帧的量的基准图像(通常为多个)的基准图像数据、和多个差分数据进行了组合的数据等，其中， 该差分数据表示与基准图像之间的差分。例如，在上述实施方式中，说明了图像处理装置1执行绘画图像模式的拍摄、实时取景显示由依次生成的绘画图像数据所表示的绘画图像的例子，但是，还可以利用存储在存储部20、记录介质100等中的动态图像数据来执行与上述实施方式相同的图像处理(图 3的步骤SlOl至步骤S107)。在这种情况下，图像处理装置1(关注区域确定部IOb)比较最初的(第1个)原始图像数据和下一个(第2个)原始图像数据，将由最初的(第1个) 原始图像数据所表示的静止图像中、存在规定基准以上的运动的区域确定为关注区域。由此，在最初的(第1个)原始图像数据所表示的静止图像的关注区域的图像部分、和在此以外的区域的图像部分中，执行不同内容的图像处理。此外，这种情况下的原始图像数据也可以是JPEG(Joint Photographic Experts Group 联合图形专家组)等的数据形式。在这种情况下，原始图像数据是转换为在上述处理中易于进行适当的处理的数据形式的数据。此外，在存储部20、记录介质100等中存储的动态图像数据是基于MPEG(运动图像专家组)等数据压缩方法的数据的情况下，利用这种数据，在数据方面再现各静止图像，对各静止图像执行上述的处理，其中，各静止图像构成动态图像数据所表示的动态图像。并且，作为其它的实施方式，图像处理装置1还能够在由动态图像数据所表示的动态图像中，检测人、动物的脸部像，将存在运动的脸部像的区域确定为关注区域。具体地，在图像处理装置1中，动态图像数据获取部IOa获取动态图像数据。关注区域确定部IOb利用表示规定的脸部特征的模板脸部图像，在由最初的(第1个)原始图像数据所表示的静止图像中，例如1个像素1个像素地在左右方向或上下方向上错开而与同模板脸部图像相同区域的图像进行比较。关注区域确定部IOb通过搜索与模板脸部图像最为一致的图像(相似度高的图像)来检测被摄体的脸部像。这种搜索是例如通过提取对识别是否是脸部有效的特征量来执行的。特征量是水平边、垂直边、右斜边和左斜边等。此外，这时还可以按一定比例缩小或放大模板脸部图像，通过搜索与缩小或放大后的模板脸部图像最为一致的图像来检测被摄体的脸部像。此后(第2个以后的原始图像数据)的图像处理通过追踪处理来执行。即，将从第1个图像检测到的被摄体的脸部像用作模板图像，通过将其与依次获取的原始图像数据所表示的图像执行与上述相同的匹配处理，能够依次地检测被摄体的脸部像。然后，关注区域确定部IOb利用由成为图像处理对象的原始图像数据所表示的静止图像、以及由之前所获取的原始图像数据所表示的静止图像，在各静止图像中检测被摄体的脸部像，在各静止图像之间，将存在规定基准以上的运动的脸部像的区域(在静止图像内，脸部像移动了规定基准以上的距离的区域)确定为关注区域。基于此，与上述实施方式相同地，图像处理部IOc通过在所确定的静止图像内的关注区域和其它区域、以不同内容执行变更静止图像的图像风格的图像处理，使用户易于识别在转换为绘画风格的动态图像中存在运动的脸部像的区域。特别是，通过这种方法，不同于以按规定的范围分割后的块单位来确定关注区域的上述实施方式，能够将各静止图像内的脸部像的区域确定为关注区域，变得更加易于在转换为绘画风格的动态图像中识别出存在运动的脸部本身或者脸部轮廓等。脸易于被用户识别，在被转换为绘画风格的动态图像中，能够使用户易于关注的区域、即脸部突出。此外，作为其它的实施方式，图像处理装置1也可以用合成图像来作为由动态图像数据所表示的动态图像。合成图像例如是将前景图像重叠在背景图像的图像，是指在同一背景图像内只有前景图像发生运动的动态图像。这种动态图像数据，例如是包含表示背景图像的静止图像数据、表示运动的被摄体像(前景图像)的静止图像数据、以及表示前景图像在背景图像上的运动轨迹的数据在内的合成图像数据(混合图像数据)。在这种情况下，合成图像成为静止图像的连续，其中在同一背景图像内前景图像按照轨迹而运动。关注区域确定部IOb在连续的静止图像的各静止图像之间，将按照轨迹移动的前景图像存在规定基准以上的运动的前景图像的区域确定为关注区域，图像处理部IOc对关注区域确定部IOb所确定的关注区域和其它的区域，使处理强度不同而执行图像处理。
特别是，利用这种方法，不同于以按规定范围分割后的块单位来确定关注区域的上述实施方式，能够将各静止图像内的被摄体像的区域确定为关注区域，变得更加易于在转换为绘画风格的动态图像中识别出存在运动的被摄体像本身。此外，合成图像数据例如还可以是表示多个连续的合成图像的数据，这些合成图像在相同的背景图像内仅前景图像发生运动。在这种情况下，对于这种合成图像数据所表示的合成图像，按照与上述实施方式相同的处理，来确定关注区域，对所确定的关注区域和其以外的区域相区别地执行图像处理。此外，作为其它的实施方式，图像处理装置1还可以进一步按每个关注区域确定表示关注的程度的值(关注度)。具体地，关于各静止图像间的关注区域的变化大小、或者静止图像内的关注区域所占的比例等，关注区域确定部IOb参照按每个一定范围而与关注度(例如关注度1- 对应地记录在存储部20中的对应表，基于关注区域确定部IOb所确定的关注区域的变化大小、或者静止图像内的关注区域所占的比例等，按每个关注区域来确定关注区域的关注度。例如，各静止图像间的关注区域的变化(例如，被摄体的移动距离等)越大，其关注区域的关注度越高。此外，静止图像内的关注区域所占的比例越大，该关注区域的关注度越高。图像处理部IOc根据关注区域确定部IOb按每个关注区域所确定的、关注区域的关注度，来改变图像处理的处理强度。图像处理的处理强度与上述实施方式相同，上下调节各种参数的数值。具体地，关注区域的关注度越高，图像处理部IOc就越提高预先设定的各种参数的数值(基准值)来执行图像处理。由此，根据关注区域确定部IOb所确定的关注区域的关注度，图像处理部IOc能够在改变图像风格的图像处理中对静止图像分别通过不同的内容来执行。此外，对于图像处理部IOc执行的变更静止图像的图像风格的图像处理，在本实施方式中，通过不同的处理强度(图像处理的内容)来执行图像处理，但作为其以外的方式，还可以通过不同的图像风格(水彩画、彩色素描、粉彩画、点彩画、气刷、油彩画、哥特样式的油画等)来执行图像处理。例如，图像处理部IOc还可以将关注区域确定部IOb所确定的关注区域的图像部分作为水彩画，将其以外的区域的图像部分作为点彩画来执行图像处理。这样，图像处理部IOc通过对关注区域和其它区域执行不同种类(图像处理的内容) 的图像处理，不仅使用户易于识别在转换为绘画风格的动态图像中存在运动的区域，还能给用户留下新的印象。此外，在上述实施方式中，列举了数字照相机来作为图像处理装置的一个例子，但除此以外，能够以数字相框、个人计算机、移动电话等具有图像处理功能的各种装置来实现 (特别是采用存储在存储部20、记录介质100等中的动态图像数据的情况)。并且，上述实施方式的图像处理程序，也可以记录在便携式记录介质等中。在便携式记录介质中，例如有 CD-ROM (Compact Disk Read Only Memory)或 DVD-ROM (Digital Versatile Disk Read Only Memory)等。此外，图像处理程序还可以通过各种读取装置从便携式记录介质安装到图像处理装置中。进一步地，图像处理程序还可以通过未图示的通信部，从互联网等网络下载及安装到图像处理装置中。此外，图像处理程序还可以保存在能与图像处理装置进行通信的服务器等的存储装置中，执行向CPU等发出的指令。存储了图像处理程序的可读取记录介质(例如，RAM、ROM (Read Only Memory)、CD-R、DVD-R、硬盘、或闪存)成为计算机可读的程序制品。 通过以上说明，根据本发明的实施方式，用户易于识别在改变为不同的图像风格的动态图像中存在运动的区域。
权利要求
1.一种图像处理装置，其特征在于，具备动态图像数据获取部，获取表示动态图像的动态图像数据；关注区域确定部，按每个静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动态图像，该动态图像由上述动态图像数据获取部获取到的上述动态图像数据所表示；以及图像处理部，对上述关注区域确定部所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理对由上述关注区域确定部确定了上述关注区域的上述静止图像，分别将图像风格变更为绘画风格。
2.如权利要求1记载的图像处理装置，其特征在于，上述图像处理部对上述关注区域确定部所确定的上述静止图像内的上述关注区域和上述其它区域，执行不同处理强度的上述图像处理。
3.如权利要求1记载的图像处理装置，其特征在于，上述图像处理部对上述关注区域确定部所确定的上述静止图像内的上述关注区域和上述其它区域，执行不同种类的上述图像处理。
4.如权利要求1记载的图像处理装置，其特征在于，上述存在运动的区域包含脸部像的区域，上述关注区域确定部将上述脸部像的区域确定为上述关注区域。
5.如权利要求1记载的图像处理装置，其特征在于，上述动态图像是使运动的被摄体像与上述静止图像重叠而成的图像，上述存在运动的区域包含上述运动的被摄体像，上述关注区域确定部将上述运动的被摄体像确定为上述关注区域。
6.如权利要求1记载的图像处理装置，其特征在于，上述关注区域确定部，还按每个上述关注区域，确定与上述各静止图像之间的上述关注区域中的上述运动的大小、或上述静止图像内的上述关注区域所占比例相应地变化的值，上述图像处理部根据上述关注区域确定部所确定的上述值来改变上述图像处理的内容。
7.一种计算机可读取的存储介质，存储有在图像处理装置中执行图像处理的程序代码，其特征在于，上述程序代码，获取表示动态图像的动态图像数据；按每个静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动态图像，该动态图像由上述获取到的上述动态图像数据所表示；对上述所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理对上述确定了关注区域的上述静止图像，分别将图像风格变更为绘画风格。
全文摘要
提供了一种图像处理装置，具备动态图像数据获取部，获取表示动态图像的动态图像数据；关注区域确定部，按每个上述静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动图像，该动态图像由上述动态图像数据获取部获取到的上述动态图像数据所表示；以及，图像处理部，对上述关注区域确定部所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理对由上述关注区域确定部确定了上述关注区域的上述静止图像，分别将图像风格变更为绘画风格。
文档编号H04N5/232GK102170527SQ20111008146
公开日2011年8月31日 申请日期2011年2月15日 优先权日2010年2月16日
发明者助则笃志 申请人:卡西欧计算机株式会社