图像处理方法、图像处理装置和记录介质与流程

本发明涉及生成合成的图像的图像处理方法和图像处理装置。

背景技术：

过去已知如下技术(例如参考专利文献1)：在摄影时，为了能在1个监视器画面同时确认被摄体的整体和细节这两方，将使被摄体的整体缩小的图像和使被摄体的一部分放大的图像合成来显示。

(专利文献1：特开2002-162681号公报)

但在上述专利文献1的情况下，是将摄影时的引导作为目的，在记录摄影的图像的情况下，或在将记录的图像在另外的监视器等重放显示的情况下等，难以说是更有效地活用了合成的图像。

技术实现要素：

本发明鉴于这样的问题而提出，本发明的课题在于，能更有效活用合成的图像的图像处理装置、图像处理方法。

本发明的1个方式是图像处理装置所进行的图像处理方法，特征在于，取得以第1分辨率表征被摄体的第1范围的第1图像，取得以高于所述第1分辨率的第2分辨率表征所述被摄体的小于所述第1范围的第2范围的第2图像，将所述第1图像和所述第2图像以保持各自分辨率的状态合成，来生成第3图像。

另外，本发明的其他方式在图像处理装置，包含执行以下的控制部：取得以第1分辨率表征被摄体的第1范围的第1图像，取得以高于所述第1分辨率的第2分辨率表征所述被摄体的小于所述第1范围的第2范围的第2图像，将所述第1图像和所述第2图像以保持各自分辨率的状态合成来生成第3图像。

附图说明

图1是表示运用本发明的实施方式1的摄像装置的概略构成的框图。

图2是表示图1的摄像装置所进行的动态图像摄影处理所涉及的动作的一例的流程图。

图3a～d是用于说明图2的动态图像摄影处理的图。

图4是表示图1的摄像装置所进行的重放处理所涉及的动作的一例的流程图。

图5a～c是用于说明图4的重放处理的图。

图6是表示运用本发明的实施方式2的摄像装置的概略构成的框图。

图7是表示图6的摄像装置所进行的动态图像摄影处理所涉及的动作的一例的流程图。

图8是表示图6的摄像装置所进行的重放处理所涉及的动作的一例的流程图。

图9a～d是用于说明图8的重放处理的图。

具体实施方式

以下使用附图对本发明说明具体方式。但发明的范围并不限定于图示例。

[实施方式1]

图1是表示运用本发明的实施方式1的摄像装置100的概略构成的框图。

如图1所示那样，实施方式1的摄像装置100具体具备：控制部1、存储器2、摄像部3、信号处理部4、第1图像处理部5、记录控制部6、第1记录部7、显示部8和操作输入部9。

另外，控制部1、存储器2、摄像部3、信号处理部4、第1图像处理部5、记录控制部6以及显示部8经由总线10而连接。

控制部1对摄像装置100的各部进行控制。具体地，虽图示省略，但控制部1具备cpu(centralprocessingunit，中央处理器)等，按照摄像装置100用的各种处理程序(图示略)来进行各种控制动作。

存储器2例如由dram(dynamicrandomaccessmemory，动态随机存取存储器)等构成，暂时存放由控制部1、第1图像处理部5等处理的数据等。

摄像部3以任意的摄像帧频对被摄体摄像并生成帧图像。具体地，摄像部3具备镜头部3a、电子摄像部3b和摄像控制部3c。

镜头部3a例如由变焦透镜和聚焦透镜等多个透镜、调整通过透镜的光的量的光圈等构成。

电子摄像部3b例如由ccd(chargecoupleddevice，电荷耦合期间)或cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)等图像传感器(摄像元件)构成。并且电子摄像部3b将通过镜头部3a的各种透镜的光学像变换成二维的图像信号。

摄像控制部3c例如通过定时发生器或驱动器对电子摄像部3b进行扫描驱动，用电子摄像部3b将通过镜头部3a的光学像每隔给定周期变换成二维的图像信号，从该电子摄像部3b的摄像区域一画面份一画面份地读出帧图像，并输出给信号处理部4。

另外，摄像控制部3c也可以进行af(自动对焦处理)、ae(自动曝光处理)、awb(自动白平衡)等对被摄体摄像时的条件的调整控制。

信号处理部4对从电子摄像部3b转发的帧图像的模拟值的信号实施各种图像信号处理。具体地，信号处理部4例如对帧图像的模拟值的信号按rgb每个色分量适宜调整增益，用采样保持电路(图示略)采样保持并用a/d变换器(图示略)变换成数字数据，用彩色形成电路(图示略)进行包括像素内插处理以及γ补正处理的彩色形成处理，从而生成数字值的亮度信号y以及色差信号cb、cr(yuv数据)。另外，信号处理部4将生成的亮度信号y以及色差信号cb、cr输出给作为缓冲存储器而使用的存储器2。

第1图像处理部5具备：第1生成部5a、第2生成部5b、第1取得部5c、第2取得部5d和第1合成部5e。

另外，第1图像处理部5的各部例如由给定的逻辑电路构成，但该构成是一例，并不限于此。

第1生成部5a生成以第1分辨率表征被摄体的第1范围a1的第1图像i1(参考图3(b))。

即，第1生成部(第1生成单元)5a，将由摄像部3摄像的原始图像i0(参考图3(a))整体缩小为第1范围a1来生成第1图像i1。

具体地，摄像部(摄像单元)3，以给定的解析度对被摄体的能摄影的范围整体进行摄像，信号处理部4对从电子摄像部3b转发的模拟值的信号实施各种图像信号处理，来生成原始图像i0的yuv数据，其中该给定的解析度利用了在电子摄像部3b的摄像区域的摄像中有效的全部像素(例如横×纵：2560×1440等)。然后，第1生成部5a取得生成的原始图像i0的yuv数据的复制，使原始图像i0整体(第1范围a1)通过间除处理等缩小，从而生成以第1分辨率表征的给定的像素数(例如横×纵：1920×1080等)的第1图像i1的yuv数据。

在此，第1分辨率以及后述的第2分辨率，相对地表征图像中的物体(例如特定的被摄体s；后述)的精细程度，例如以像素数为基准，但这是一例，并不限于此，也可以以镜头部3a的成像性能或图像的压缩率为基准。作为镜头部3a的成像性能，例如能使用表征镜头的空间频率特性的mtf(modulationtransferfunction，调制传递函数)曲线等，若镜头部3a的成像性能相对变高，则对应于此分辨率变高。另外，在例如以jpeg格式进行压缩的情况下，由于根据压缩率而画质发生变化，因此若压缩率相对变低，则对应于此分辨率变高。

另外，在由摄像部3对被摄体的动态图像摄像的情况下，第1生成部5a将构成动态图像的多个帧图像的各自作为原始图像i0，进行与上述同样的处理来分别生成第1图像i1的yuv数据。

第2生成部5b，生成以第2分辨率表征被摄体的第2范围a2的第2图像i2(参考图3(c))。

即，第2生成部(第2生成单元)5b将由摄像部3摄像的原始图像i0(参考图3(a))的一部分的区域剪取为第2范围a2，来生成第2图像i2。这时，第2生成部5b从与第1生成部5a进行的第1图像i1的生成中所用的图像(原始图像i0)相同的原始图像i0生成第2图像i2。

具体地，第2生成部5b，取得由信号处理部4生成的原始图像i0的yuv数据的复制，将例如进行给定的被摄体检测处理(例如脸检测处理等)而检测到的原始图像i0内的特定的被摄体s所存在的区域(关注部分)剪取为第2范围a2，由此生成以第2分辨率表征特定的被摄体s的第2图像i2的yuv数据。

即，关于第2图像i2的大小即第2范围a2，由于是原始图像i0的一部分的区域，因此比第1范围a1要小。另外，关于第2图像i2的第2分辨率，由于若比较构成第2图像i2内的特定的被摄体s的像素数和构成第1图像i1内的特定的被摄体s的像素数，则是第2图像i2一方构成特定的被摄体s的像素数更多，因此高于第1分辨率。

另外，在由摄像部3对被摄体的动态图像摄像的情况下，第2生成部5b将构成动态图像的多个帧图像的各自作为原始图像i0，进行与上述同样的处理来分别生成第2图像i2的yuv数据。这时，第2生成部5b也可以对构成动态图像的多个帧图像的每一者，让剪取的第2范围a2的大小不同来分别生成第2图像i2。例如第2生成部5b也可以对多个帧图像伴随时间经过而逐渐放大第2范围a2的大小，来生成多个第2图像i2。

如此，第1生成部5a以及第2生成部5b，从由摄像部3以给定的解析度摄像的相同的原始图像i0分别生成第1图像i1以及第2图像i2。

另外，脸检测处理由于是公知的技术，因此在此省略详细的说明。另外，作为被摄体检测处理而例示了脸检测处理，但这是一例，并不限于此，只要是利用例如边缘检测处理、特征提取处理等给定的图像认识技术的处理即可，能适宜任意变更。

第1取得部5c取得第1图像i1。

即，第1取得部(第1取得单元)5c取得以第1分辨率表征被摄体的第1范围a1的第1图像i1(参考图3(b))。具体地，第1取得部5c分别取得以构成动态图像的多个帧图像的各自为原始图像i0由第1生成部5a生成的第1图像i1的yuv数据。

第2取得部5d取得第2图像i2。

即，第2取得部(第2取得单元)5d取得以高于第1分辨率的第2分辨率表征小于被摄体的第1范围a1的第2范围a2的第2图像i2(参考图3(c))。具体地，第2取得部5d分别取得以构成动态图像的多个帧图像的各自为原始图像i0由第2生成部5b生成的第2图像i2的yuv数据。

第1合成部5e生成第3图像i3(参考图3(d))。

即，第1合成部(合成单元)5e将由第1取得部5c取得的第1图像i1和由第2取得部5d取得的第2图像i2在保持各自的分辨率的状态下合成，来生成第3图像i3。具体地，在被摄体的摄影时，第1合成部5e不使第1图像i1以及第2图像i2的解析度变化，在合成状态下成为里侧的图像(例如第1图像i1等)内、在不存在特定的被摄体s的位置或基于用户的给定操作设定为任意的位置的合成位置，重叠合成状态下成为近前侧的图像(例如第2图像i2等)来进行合成，由此生成保持第1图像i1以及第2图像i2各自的分辨率的第3图像i3的yuv数据。

另外，在由摄像部3对被摄体的动态图像摄像的情况下，第1合成部5e对构成动态图像的多个帧图像的每一者合成对应的第1图像i1和第2图像i2，来分别生成第3图像i3。这时，第1合成部5e电可以使第1图像i1和第2图像i2的大小变化来进行合成。

例如，第1合成部5e以第1图像i1为里侧且以第2图像北为近前侧，将由第2生成部5b伴随时间经过而使第2范围a2的大小逐渐放大那样生成的第2图像i2与第1图像i1进行合成(参考图5(a)～图5(c))。

另外，由于第1图像i1与第2图像i2的合成是公知的技术，因此在此省略详细的说明。

记录控制部6控制从第1记录部7的数据的读出、对第1记录部7的数据的写入。

即，记录控制部6例如使由非易失性存储器(闪速存储器)或记录介质等构成的第1记录部7记录动态图像或静止图像的记录用的图像数据。具体地，记录控制部6将被摄体的摄影时由第1合成部5e将第1图像i1和第2图像i2合成而生成的第3图像i3以给定的压缩格式(例如mpeg格式、m-jpeg格式、jpeg格式等)压缩(编码)，并记录到第1记录部(第1记录单元)7。

例如，在由摄像部3对被摄体的动态图像摄像的情况下，记录控制部6将由第1合成部5e逐次生成的第3图像i3压缩，作为构成该动态图像的帧图像而暂时逐次记录在存储器2。然后，若动态图像的摄像结束，则记录控制部6从存储器2取得全部帧图像，使它们建立对应作为动态图像记录(保存)在第1记录部7。

显示部8具备显示控制部8a和显示面板8b。

显示控制部8a基于从存储器2或第1记录部7读出并由记录控制部6解码的给定的大小的图像数据来进行使给定的图像显示于显示面板8b的显示区域的控制。具体地，显示控制部8a具备vram(videorandomaccessmemory，视频随机存取存储器)、vram控制器、数字视频编码器等。然后，数字视频编码器将由记录控制部6解码并存储于vram(图示略)的亮度信号y以及色差信号cb、cr，经由vram控制器从vram以给定的重放帧频读出，以这些数据为基础产生视频信号并输出给显示面板8b。

显示面板8b基于来自显示控制部8a的视频信号将由摄像部3摄像的图像等显示在显示区域内。具体地，显示面板(重放单元)8b，将作为构成动态图像的帧图像记录在1记录部7的第3图像i3以给定的重放帧频切换来进行重放。这时，在将以多个第3图像i3为多个帧图像的动态图像作为重放对象的情况下，显示面板8b将合成了使第2范围a2的大小逐渐放大的第2图像i2的第3图像i3作为帧图像来进行重放(参考图5(a)～图5(c))，其中该多个第3图像i3使用使第2范围a2的大小逐渐放大而生成的多个第2图像i2由第1合成部5e生成。

另外，作为显示面板8b，例如能举出液晶显示面板或有机el(electro-luminescence，电致发光)显示面板等，但这些是一例，并不限于此。

操作输入部9用于进行该摄像装置100的给定操作。具体地，操作输入部9具备：被摄体的摄影指示所涉及的快门按钮、摄影模式或功能等选择指示所涉及的选择决定按钮、变焦量的调整指示所涉及的变焦按钮(均省略图示)等操作部。

然后，若由用户操作了各种按钮，则操作输入部9将与操作的按钮相应的操作信号输出给控制部1。控制部1按照从操作输入部9输出并被输入的操作指示来使各部执行给定的动作(例如动态图像的摄影等)。

<动态图像摄影处理>

接下来参考图2～图3(d)来说明摄像装置100所进行的动态图像摄影处理。

图2是表示动态图像摄影处理所涉及的动作的一例的流程图。另外，图3(a)～图3(d)是用于说明动态图像摄影处理的图，示意表征构成动态图像的一帧图像。

如图2所示那样，首先控制部1的cpu例如基于用户对操作输入部9的给定操作来判定是否设定了第1合成模式，在该第1合成模式下，将合成第1图像i1和第2图像i2而得到的第3图像i3作为构成动态图像的帧图像(步骤s1)。

在此，若判定为设定了第1合成模式(步骤s1；“是”)，基于用户对操作输入部9(例如快门按钮)的给定操作，摄像部3开始被摄体的动态图像的摄像(步骤s2)。

另一方面，若判定为未设定第1合成模式(步骤s1；“否”)，则进行通常的动态图像摄影处理，将由摄像部3对被摄体摄像而生成的图像作为构成动态图像的帧图像(步骤s3)。

若开始被摄体的动态图像的摄像(步骤s2)，则摄像部3的摄像控制部3c在与动态图像的摄像帧频相应的给定的摄像定时，使用在电子摄像部3b的摄像区域的摄像中有效的全部像素(例如横×纵：2560×1440等)来对被摄体的能摄影的范围整体进行摄像，将该光学像变换成二维的图像信号并输出给信号处理部4，信号处理部4对从电子摄像部3b转发的模拟值的信号实施各种图像信号处理，生成原始图像i0的yuv数据(步骤s4；参考图3(a))。

然后，第1生成部5a，取得由信号处理部4生成的原始图像i0的yuv数据的复制，使原始图像i0整体通过间除处理等缩小，来生成以第1分辨率表征的给定的像素数(例如横×纵：1920×1080等)的第1图像i1的yuv数据(步骤s5；参考图3(b))。

接下来，第2生成部5b取得由信号处理部4生成的原始图像i0的yuv数据的复制，例如进行给定的被摄体检测处理(例如脸检测处理等)，来从原始图像i0内检测特定的被摄体s(步骤s6)。接下来，第2生成部5b将检测到的特定的被摄体s所存在的区域作为第2范围a2剪取，由此生成以第2分辨率表征特定的被摄体s的第2图像i2的yuv数据(步骤s7；参考图3(c))。

另外，作为第2范围a2剪取的特定的被摄体s所存在的区域，例如也可以基于用户对操作输入部9的给定操作来指定。

另外，上述的步骤s5～s7的各处理的顺序是一例，并不限于此，例如也可以在第2图像i2的生成后生成第1图像i1。

然后，第1取得部5c取得由第1生成部5a生成的第1图像i1的yuv数据，并且第2取得部5d取得由第2生成部5a生成的第2图像i2的yuv数据(步骤s8)。

接下来，第1合成部5e，在合成状态下成为里侧的第1图像i1内确定成为近前侧的第2图像i2的合成位置(步骤s9)。具体地，第1合成部5e例如在第1图像i1内将不存在特定的被摄体s的位置、基于用户对操作输入部9的给定操作而设定的任意的位置、作为默认而指定的位置等确定为合成位置。

接下来，第1合成部5e在第1图像i1内的所确定的合成位置重叠第2图像i2那样进行合成，来生成第3图像i3的yuv数据(步骤s10；参考图3(d))。另外，在图3(d)中示意地表征生成的第3图像i3作为实时取景图像显示在显示面板8b的状态。

之后，记录控制部6取得由第1合成部5e生成的第3图像i3的yuv数据，将该第3图像i3的yuv数据以给定的压缩格式(例如mpeg格式等)压缩，作为构成该动态图像的帧图像使存储器2暂时记录(步骤s11)。

接下来，控制部1的cpu判定是否输入了被摄体的动态图像的摄像的结束指示(步骤s12)。在此，被摄体的动态图像的摄像的结束，例如基于用户对操作输入部9的给定操作来指示，或基于预先指定的录影时间的经过来指示。

若在步骤s12判定为未输入被摄体的动态图像的摄像的结束指示(步骤s12；“否”)，则控制部1的cpu使处理返回步骤s4，逐次执行这以后的各处理。即，执行步骤s4～s11的各处理来生成成为构成动态图像的下一帧图像的第3图像i3，并记录在存储器2。

上述的各处理直到在步骤s12判定为输入了被摄体的动态图像的摄像的结束指示为止(步骤s12；“是”)反复进行。

另一方面，若在步骤s12判定为输入了被摄体的动态图像的摄像的结束指示(步骤s12；“是”)，则记录控制部6取得暂时记录在存储器2的全部帧图像，使它们建立对应作为动态图像保存在第1记录部7(步骤s13)。

由此结束动态图像摄影处理。

<重放处理>

接下来参考图4～图5(c)来说明摄像装置100所进行的重放处理。

图4是表示重放处理所涉及的动作的一例的流程图。另外，图5(a)～图5(c)是用于说明重放处理的图。

如图4所示那样，例如若基于用户对操作输入部9的给定操作指定了成为重放对象的动态图像(步骤s21)，则显示部8开始所指定的动态图像的重放(步骤s22)。

即，记录控制部6从第1记录部7读出重放对象的动态图像的数据，将构成该动态图像的多个帧图像当中与当前的重放帧编号对应的帧图像即第3图像i3以与压缩格式(例如mpeg格式等)相应的解码化方式进行解码，并输出给显示控制部8a(步骤s23)。然后显示控制部8a使输入的第3图像i3作为帧图像以给定的重放帧频显示在显示面板8b的显示区域(步骤s24；参考图5(a))。

接下来，控制部1的cpu判定是否输入了动态图像的重放结束指示(步骤s25)。在此，动态图像的重放的结束例如基于重放对象的动态图像的重放时间的经过来指示，或者在重放中途也基于用户对操作输入部9的给定操作来指示。

若在步骤s25判定为未输入动态图像的重放结束指示(步骤s25；“否”)，则控制部1的cpu使处理返回步骤s23，逐次执行这以后的各处理。即，执行步骤s23、s24的各处理，显示构成动态图像的多个帧图像当中当前的重放帧编号(若以前次为基准则为下一帧编号)的帧图像(参考图5(b)、图5(c)等)。

在此，在图5(a)～图5(c)中，以第1图像i1为里侧且以第2图像i2为近前侧，表征以第3图像i3为帧图像的动态图像的一例，将伴随动态图像的摄像时间的经过使第2范围a2的大小逐渐放大而生成的第2图像i2和第1图像i1合成，从而得到该第3图像i3。如图5(c)所示那样，若第2图像i2的大小与第1图像i1的大小大致相等，则成为第2图像i2显示在显示面板8b的整面的状态。

上述的各处理，直到在步骤s25判定为输入了动态图像的重放结束指示(步骤s25；“是”)为止都反复执行。

若在步骤s25判断为输入了动态图像的重放结束指示(步骤s25；“是”)，则结束重放处理。

如以上那样，根据实施方式1的摄像装置100，由于取得以第1分辨率表征被摄体的第1范围a1的第1图像i1，取得以高于第1分辨率的第2分辨率表征小于被摄体的第1范围a1的第2范围a2的第2图像i2，将取得的第1图像i1和第2图像i2以保持各自分辨率的状态合成来生成第3图像i3，因此不同于仅将第1图像i1的一部分的区域放大进行合成或显示，例如关于对应于特定的被摄体s确定的第2范围a2，能作为分辨率更高的第2图像i2与第1图像i1合成来生成第3图像i3，能在该第3图像i3的记录、重放中更有效地活用。

另外，由于对被摄体的能摄影的范围整体以给定的解析度摄像，将摄像的原始图像i0整体缩小为第1范围a1来生成第1图像i1，将原始图像i0的一部分的区域(关注部分)剪取为第2范围a2来生成第2图像i2，能简便地进行分辨率相互不同的第1图像i1以及第2图像i2的生成，作为结果，能取得它们来简便地进行第3图像i3的生成。特别是，能从以给定的解析度摄像的相同原始图像i0分别生成分辨率互不相同的第1图像i1以及第2图像i2。

另外，由于将摄像的原始图像i0整体缩小，不缩小原始图像i0内的关注部分来进行记录，因此，即使是少的记录容量，也能以能实现整体的大致的确认和关注部分的详细的确认的形式记录摄影图像。

另外，由于能以在将原始图像i0整体缩小的第1图像i1的一部分合成与剪取关注部分对应的第2图像i2的状态下进行记录，因此不再需要个别记录、重放2个帧图像(图像文件)的管理，只是对仅1个帧图像(图像文件)进行记录、重放，就能实现整体的大致的确认和关注部分的详细的确认。

进而，由于从构成由摄像部3摄像的被摄体的动态图像的多个帧图像的各自生成第1图像i1，从多个帧图像的各自生成第2图像i2，对多个帧图像的每一者将对应的第1图像i1和第2图像i2合成来生成第3图像i3，因此能生成以分辨率互不相同第1图像i1和第2图像i2合成而得到的第3图像i3为帧图像的动态图像。这时，通过对构成动态图像的多个帧图像每一者使第2范围a2的大小不同来生成第2图像i2，能对以使用生成的多个第2图像i2生成的多个第3图像i3为多个帧图像的动态图像进行重放，使第2范围a2的大小逐渐放大，能更有效进行活用。

另外，由于在被摄体的摄影时，将第1图像i1和第2图像i2合成来生成第3图像i3，将该第3图像i3记录在第1记录部7，因此仅从第1记录部7读出第3图像i3，就能重放第1图像i1以及第2图像i2合成而得到的第3图像i3，例如，能效率良好地进行第2图像i2内的以更高分辨率表征的特定的被摄体s的确认。

进而，即使将第3图像i3压缩记录，也能设为保持第1图像i1和第2图像i2各自的分辨率的状态。

[实施方式2]

以下参考图6～图9(d)来说明实施方式2的摄像装置200。

实施方式2的摄像装置200，在以下详细说明以外的点上与上述实施方式1的摄像装置100是大致同样的构成，省略详细的说明。

图6是表示运用本发明的实施方式2的摄像装置200的概略构成的框图。

本实施方式的摄像装置200在被摄体的摄影时，将由第1生成部5a生成的第1图像i1和由第2生成部5b生成的第2图像i2建立关联记录在第2记录部207，在图像的重放时，用第2图像处理部205的第2合成部205e将第1图像i1和第2图像i2合成来生成第3图像i3，显示该第3图像i3。

首先说明第2记录部207。

第2记录部207记录第1图像群g1、第2图像群g2和合成位置列表l。

第1图像群g1由第1生成部5a所生成的多个第1图像i1构成。具体地，第1图像群g1在在被摄体的动态图像的摄影时将第1图像i1和帧编号建立对应而构成，该第1图像i1由第1生成部5a生成，由记录控制部6以给定的压缩格式(例如mpeg格式)压缩。

第2图像群g2由第2生成部5b所生成的多个第2图像i2构成。具体地，第2图像群g2在被摄体的动态图像的摄影时，将第2图像i2和帧编号建立对应来构成，该第2图像i2由第2生成部5b生成，由记录控制部6以给定的压缩格式(例如mpeg格式)压缩。

合成位置列表l，将合成状态下成为里侧的图像(例如第1图像i1等)内的成为近前侧的图像(例如第2图像i2等)的合成位置和帧编号建立对应而构成。

另外，帧编号在被摄体的动态图像的摄影时表征摄像帧的顺序，在动态图像的重放时表征重放帧的顺序(重放帧编号)。

第2合成部205e在图像的重放时将第1图像i1和第2图像i2合成来生成第3图像i3。

即，第2合成部205e，将多个第3图像i3生成为构成重放的动态图像的多个帧图像。例如第1取得部5c在图像的重放时从记录于第2记录部207的第1图像群g1取得用于形成成为与重放帧编号对应的帧图像的第3图像i3的第1图像i1的yuv数据。另外，第2取得部5d，在图像的重放时，从记录于第2记录部207的第2图像群g2取得用于形成成为与重放帧编号对应的帧图像的第3图像i3的第2图像i2的yuv数据。然后，第2合成部205e，将由第1取得部5c取得的第1图像i1和由第2取得部5d取得的第2图像i2以保持分辨率的状态合成来生成第3图像i3。具体地，第2合成部205e从记录于第2记录部207的合成位置列表l取得与重放帧编号对应的帧图像中的合成位置，在合成状态下成为里侧的图像(例如第1图像i1等)的合成位置，重叠合成状态下成为近前侧的图像(例如第2图像i2等)，如此进行合成，来生成第3图像i3的yuv数据。

另外，第2合成部205e与上述实施方式1同样，例如可以以第1图像i1为里侧且以第2图像i2为近前侧，将由第2生成部5b伴随时间经过使第2范围a2的大小逐渐放大而生成的第2图像i2与第1图像i1进行合成。在该情况下，第2合成部205e也可以使里侧的第1图像i1的大小(像素数)逐渐缩小，若相比于不断逐渐缩小的第1图像i1的大小而使第2范围a2的大小不断逐渐放大的第2图像i2变得更大，则也可以以第2图像i2为里侧、以第1图像i1为近前侧来进行合成，生成多个第3图像i3(参考图9(a)～图9(d))。

在此，第2合成部205e例如通过使从被摄体的摄影的范围最大的第1图像i1(例如与最初的帧编号对应的第1图像i1等)剪取的一部分的区域的大小逐渐变小，来使第1图像i1的大小变化。

另外，第1生成部5a和第2生成部5b，与上述实施方式1的摄像装置100中所具备的生成部具有大致同样的构成以及功能，在此省略详细的说明。

<动态图像摄影处理>

接下来，参考图7来说明摄像装置200所进行的动态图像摄影处理。

图7是表示动态图像摄影处理所涉及的动作的一例的流程图。

如图7所示那样，首先控制部1的cpu，基于例如用户对操作输入部9的给定操作，在图像的重放时，将第1图像i1和第2图像i2合成来生成第3图像i3，并判定是否设定了设为构成动态图像的帧图像的第2合成模式(步骤s31)。

在此，若判定为设定了第2合成模式(步骤s31；“是”)，则与上述实施方式1的动态图像摄影处理的步骤s2大致同样，摄像部3开始被摄体的动态图像的摄像(步骤s32)。

另一方面，若判定为未设定第2合成模式(步骤s31；“否”)，则与上述实施方式1的动态图像摄影处理的步骤s3大致同样地进行通常的动态图像摄影处理(步骤s33)。

若开始被摄体的动态图像的摄像(步骤s32)，则与上述实施方式1的动态图像摄影处理的步骤s4大致同样，摄像部3的摄像控制部3c在与动态图像的摄像帧频相应的给定的摄像定时，使用在电子摄像部3b的摄像区域的摄像中有效的全部像素(例如横×纵：2560×1440等)来对被摄体的能摄影的范围整体摄像，信号处理部4生成原始图像i0的yuv数据(步骤s34)。

然后，第1生成部5a与上述实施方式1的动态图像摄影处理的步骤s5大致同样，将复制的原始图像i0整体缩小来生成以第1分辨率表征的给定的像素数(例如横×纵：1920×1080等)的第1图像i1的yuv数据(步骤s35)。

接下来，第2生成部5b，与上述实施方式1的动态图像摄影处理的步骤s6大致同样，从复制的原始图像i0内检测特定的被摄体s(步骤s36)，接着与上述实施方式1的动态图像摄影处理的步骤s7大致同样，将特定的被摄体s所存在的区域作为第2范围a2剪取，生成以第2分辨率表征特定的被摄体s的第2图像i2的yuv数据(步骤s37)。

然后，第2合成部205e与上述实施方式1的动态图像摄影处理的步骤s9大致同样地，在合成状态下成为里侧的第1图像i1内确定成为近前侧的第2图像i2的合成位置(步骤s38)。接着第2合成部205e将所确定的合成位置和帧编号建立对应追加到合成位置列表l，使存储器2暂时记录(步骤s39)。

接下来，记录控制部6取得由第1生成部5a生成的第1图像i1的yuv数据，并将该第1图像i1的yuv数据以给定的压缩格式(例如mpeg格式等)压缩，与帧编号建立对应追加到第1图像群g1，使存储器2暂时记录(步骤s40)。接着，记录控制部6取得由第2生成部5b生成的第2图像i2的yuv数据，将该第2图像i2的yuv数据以给定的压缩格式(例如mpeg格式等)压缩，与帧编号建立对应并追加到第2图像群g2，使存储器2暂时记录(步骤s41)。

另外，上述的步骤s40、s41的各处理的顺序是一例，并不限于此，例如可以在第2图像i2的记录后记录第1图像i1。

接下来，控制部1的cpu与上述实施方式1的动态图像摄影处理的步骤s12大致同样，判定是否输入了被摄体的动态图像的摄像的结束指示(步骤s42)。

在此，若判定为未输入被摄体的动态图像的摄像的结束指示(步骤s42；“否”)，则控制部1的cpu使处理返回步骤s34，逐次执行这以后的各处理。即，执行步骤s34～s41的各处理来生成用于构成第3图像i3的第1图像i1以及第2图像i2生成，并记录在存储器2，该第3图像i3成为构成动态图像的下一帧图像。

上述的各处理直到在步骤s42判定为输入了被摄体的动态图像的摄像的结束指示(步骤s42；“是”)为止重复执行。

另一方面，若在步骤s42判定为输入了被摄体的动态图像的摄像的结束指示(步骤s42；“是”)，记录控制部6取得暂时记录在存储器2的第1图像群g1、第2图像群g2和合成位置列表l，使它们建立对应保存在第2记录部207(步骤s43)。

由此结束动态图像摄影处理。

<重放处理>

接下来参考图8～图9(d)来说明摄像装置200所进行的重放处理。

图8是表示重放处理所涉及的动作的一例的流程图。另外，图9(a)～图9(d)是用于说明重放处理的图。

如图8所示那样，若基于例如用户对操作输入部9的给定操作将与最初的帧编号对应的第1图像i1或第2图像i2指定为重放对象(步骤s51)，则控制部1的cpu判定重放对象是否是以第2合成模式(参考图7)记录的图像(步骤s52)。

在此，若判定为重放对象不是以第2合成模式记录的图像(步骤s52；“否”)，则控制部1的cpu进行上述的实施方式1的重放处理(参考图5)等通常的重放处理(步骤s53)。

另一方面，若在步骤s52判定为重放对象是以第2合成模式记录的图像(步骤s52；“是”)，则显示部8开始所指定的动态图像的重放(步骤s54)。

即，记录控制部6对记录于第2记录部207的第1图像群g1当中与当前的重放帧编号对应的第1图像i1以与压缩格式(例如mpeg格式等)相应的解码化方式解码并输出给存储器2，第1取得部5c从存储器2取得第1图像i1的yuv数据(步骤s55)。接下来，记录控制部6对记录于第2记录部207的第2图像群g2当中与当前的重放帧编号对应的第2图像i2以与压缩格式(例如mpeg格式等)相应的解码化方式进行解码并输出给存储器2，第2取得部5d从存储器2取得第2图像i2的yuv数据(步骤s56)。之后，第2合成部205e从记录于第2记录部207的合成位置列表l取得与当前的重放帧编号对应的合成位置(步骤s57)。

另外，上述的步骤s55～s57的各处理的顺序是一例，并不限于此，例如可以在第2图像i2的取得后取得第1图像i1，另外，取得合成位置的定时可以是第1图像i1、第2图像i2的取得前。

接下来，第2合成部205e在第1图像i1内的合成位置重叠第2图像i2，如此合成来生成第3图像i3的yuv数据，并输出给显示控制部8a(步骤s58)。然后，显示控制部8a将输入的第3图像i3作为帧图像以给定的重放帧频显示在显示面板8b的显示区域(步骤s59；参考图9(a))。

接下来，控制部1的cpu与上述实施方式1的重放处理的步骤s25大致同样，判定是否输入了动态图像的重放结束指示(步骤s60)。

在此，若判定为未输入动态图像的重放结束指示(步骤s60；“否”)，控制部1的cpu使处理返回步骤s55，逐次执行这以后的各处理。即，执行步骤s55～s59的各处理，按照重放帧编号顺序将第1图像i1和第2图像i2合成，由此生成第3图像i3作为帧图像，并显示生成的帧图像(参考图9(c)～图9(d)等)。

在此，在图9(a)～图9(d)中表征以第3图像i3为帧图像的动态图像的一例，将第2图像i2和第1图像i1合成而得到第3图像i3，该第2图像i2伴随动态图像的摄像时间的经过使第2范围a2的大小逐渐放大那样生成。

在该动态图像的一例中，伴随近前侧的第2图像i2的大小的放大，而使里侧的第1图像i1的大小逐渐缩小，在该过程，若相比于不断逐渐缩小的第1图像i1的大小而使第2范围a2的大小不断逐渐放大的第2图像i2变得更大，则第2合成部205e，以第2图像i2为里侧，以第1图像i1为近前侧来进行合成，生成第3图像i3(参考图9(c)等)。然后如图9(d)所示那样，最终成为在显示于显示面板8b的整面的第2图像i2的近前侧显示与最初的帧编号对应的第1图像i1的一部分的区域的状态。

上述的各处理直到在步骤s60判定为输入了动态图像的重放结束指示(步骤s60；“是”)为止重复执行。

若在步骤s60判定为输入了动态图像的重放结束指示(步骤s60；“是”)，则结束重放处理。

如以上那样，根据实施方式2的摄像装置200，与上述实施方式1大致同样，不同于仅将第1图像i1的一部分的区域放大来合成或显示，例如关于对应于特定的被摄体s(关注部分)而确定的第2范围a2，能作为分辨率更高的第2图像i2与第1图像i1合成来生成第3图像i3，在该第3图像i3的记录或重放中，能更有效地活用。

特别通过在被摄体的摄影时将生成的第1图像i1和第2图像i2建立关联记录在第2记录部207，由此能在图像的重放时，将记录于第2记录部207的第1图像i1合成第2图像i2合成来生成第3图像i3，显示该第3图像i3。即，在被摄体的摄影时，不再需要将第1图像i1和第2图像i2合成来生成第3图像i3，即使是处理能力相对低的装置，也能个别效率良好地进行被摄体的摄影和第3图像i3的生成。进而，若第1图像i1成为第2图像i2的里侧那样生成多个第3图像i3，并且相比于不断逐渐缩小的第1图像i1的大小而使第2范围a2的大小不断逐渐放大的第2图像i2变得更大，则还能使第2图像i2成为比第1图像i1更靠里侧那样生成多个第3图像i3，通过个别进行被摄体的摄影和第3图像i3的生成，能以相对自由度高的方式生成将第1图像i1和第2图像i2合成而得到的第3图像i3。

即，在实施方式2中，即使是少的记录容量也能以能实现整体的大致的确认和关注部分的详细的确认的形式记录摄影图像，这与实施方式1同样，但与实施方式1比较，通过取代需要个别记录、重放第1图像i1和第2图像i2的管理，利用缩小原始图像i0整体的第1图像i1和与剪取的关注部分对应的第2图像i2的重放显示，能提高进行整体的大致的确认和关注部分的详细的确认时的自由度。

另外，本发明并不限定于上述实施方式1、2，可以在不脱离本发明的主旨的范围内进行种种改良和设计的变更。

例如，也可以通过在动态图像的摄像时使由第2生成部5b从原始图像i0剪取的一部分的区域的位置变化，来生成使第2范围a2的位置不同的第2图像i2。即，在特定的被摄体s为2个以上的情况下等，在动态图像的摄像的中途，第2生成部5b生成使第2范围a2的位置不同的第2图像i2，由此能切换2个以上的特定的被摄体s来进行合成。

进而，也可以通过对应于特定的被摄体s的数量使第2范围a2的数量变化，来生成与特定的被摄体s的各自对应的多个第2图像i2，与第1图像i1合成。

另外，在上述实施方式1、2中，作为构成动态图像的多个帧图像而生成多个第3图像i3，但这是一例，并不限于此，例如也可以设为一幅静止图像。

另外，摄像装置100、200的构成在上述实施方式1、2的例示是一例，并不限于此。进而，作为图像处理装置而例示了摄像装置100、200，但并不限于此，是否具备摄像功能可以适宜任意变更。

此外在上述实施方式中，构成为在控制部1的控制下由第1取得部5c、第2取得部5d、第1合成部5e进行驱动来实现为第1取得单元、第2取得单元、合成单元的功能，但并不限于此，也可以构成为通过由控制部1的cpu执行给定的程序等来实现。

即，在程序存储器(图示略)记录包含第1取得处理例程、第2取得处理例程、合成处理例程的程序。然后，通过第1取得处理例程使控制部1的cpu实现如下功能：取得以第1分辨率表征被摄体的第1范围a1的第1图像i1。另外，可以通过第2取得处理例程使控制部1的cpu实现如下功能：取得以高于第1分辨率的第2分辨率表征小于被摄体的第1范围a1的第2范围a2的第2图像i2。另外，可以通过合成处理例程使控制部1的cpu实现如下功能：将取得的第1图像i1和取得的第2图像i2以保持各自分辨率的状态进行合成，来生成第3图像i3。

同样地，关于摄像单元、第1生成单元、第2生成单元、第1记录单元、第2记录单元、重放单元、记录控制单元，也可以构成为通过由控制部1的cpu执行给定的程序等来实现。

进而，作为存放用于执行上述的各处理的程序的计算机可读的介质，除了能运用rom、硬盘等以外，还能运用闪速存储器等非易失性存储器、cd-rom等可移动记录介质。另外，作为将程序的数据经由给定的通信线路来进行提供的介质，还运用载波(carrierwave)。

对本发明的几个实施方式进行了说明，但本发明的范围并不限定于上述的实施方式，还包含与记载于权利要求书的发明的范围等同的范围。

以下附记一开始添附在本申请的申请书的权利要求书所记载的发明。附记记载的权利要求的编号，如一开始在本申请的申请书添附的权利要求书。

另外，在上述的实施方式中，通过控制部基于存储于存储部的程序动作，来实现(执行、构成)为了得到上述那样各种效果所需的各种功能(处理、手段)的一部分或全部。但这是一例，为了实现这些功能还能使用其他各种方法。

例如能将各种功能的一部分或全部用ic、lsi等的电子电路实现。在该情况下，关于电子电路的具体的构成，由于能基于说明书记载的流程图、功能框图等由本领域技术人员容易地实现，因此省略详细(例如关于伴随以流程图示出的处理的分支的判断处理，能构成为用比较器对输入数据进行比较，根据该比较结果来切换选择器)。

另外，怎样分割为了得到各种效果而需要的多个功能(处理、手段)等也是自由的，以下记述其一例。

(构成1)

在图像处理装置所进行的图像处理方法中，构成为：取得以第1分辨率表征被摄体的第1范围的第1图像，取得以高于所述第1分辨率的第2分辨率表征所述被摄体的小于所述第1范围的第2范围的第2图像，将所述第1图像和所述第2图像以保持各自的分辨率的状态合成来生成第3图像。

(构成2)

上述构成的基础上进一步构成为：由摄像部对被摄体的能摄影的范围整体以给定的解析度摄像，将由所述摄像部摄像的图像整体设为所述第1范围，缩小该第1范围的图像来生成所述第1图像，将由所述摄像部摄像的图像的一部分的区域设为所述第2范围，剪取该第2范围的图像来生成所述第2图像。

(构成3)

上述构成的基础上进一步构成为：从由所述摄像部以给定的解析度摄像的同一图像分别生成所述第1图像以及所述第2图像。

(构成4)

上述构成的基础上进一步构成为：在被摄体的摄影时，将所述第1图像和所述第2图像合成来生成所述第3图像，将该第3图像记录在记录部。

(构成5)

上述构成的基础上进一步构成为：在被摄体的摄影时，将所述第1图像和所述第2图像建立关联记录在记录部，在图像的重放时，将记录于所述记录部的所述第1图像和所述第2图像合成来生成所述第3图像，显示该第3图像。

(构成6)

上述构成的基础上进一步构成为：由所述摄像部对被摄体的动态图像摄像，从构成所述动态图像的多个帧图像的各自生成所述第1图像，从构成所述动态图像的多个帧图像的各自生成所述第2图像，对构成所述动态图像的多个帧图像的每一者，将对应的所述第1图像和所述第2图像合成来生成所述第3图像。

(构成7)

上述构成的基础上进一步构成为：对构成所述动态图像的多个帧图像的每一者，使所述第2范围的大小不同来生成所述第2图像。

(构成8)

上述构成的基础上进一步构成为：使用使所述第2范围的大小逐渐放大那样生成的多个第2图像来生成所述多个第3图像，使所述第2范围的大小逐渐放大那样来重放以该生成的多个第3图像为多个帧图像的动态图像。

(构成9)

上述构成的基础上进一步构成为：让所述第1图像成为所述第2图像的里侧那样生成所述多个第3图像，并且若相比于断逐渐缩小的所述第1图像的大小而使所述第2范围的大小不断逐渐放大的所述第2图像变得更大，则让所述第2图像成为所述第1图像的里侧那样来生成所述多个第3图像。

(构成10)

上述构成的基础上进一步构成为：作为所述动态图像的中途的帧图像，生成使所述第2范围的位置不同的所述第2图像。

(构成11)

上述构成的基础上进一步构成为：将合成所述第1图像和所述第2图像而生成的所述第3图像压缩，并记录在记录部。