图像处理装置以及图像处理方法与流程

本发明涉及一种图像处理装置以及图像处理方法，更具体地，涉及一种用于创建相册(album)的图像处理装置以及图像处理方法。

背景技术：

近年来，由于智能设备的广泛使用和智能设备的照相机性能的改进，以及数字照相机的广泛使用，用户拍摄的照片的数量已迅速增加。智能设备便携性优异，因此，增加了用户拍摄不常利用数字照相机拍摄的休闲日常照片的次数。

已知利用由数字照相机拍摄的照片并进行相册的自动布局的方法。在日本特开2015-114920号公报中，建议了如下的方法：为了分析大量照片以实现自动选择，基于照片的摄像日期和时间，将照片划分成组，并且根据各个组中包括的照片的数量，确定图像评价目标。

然而，在日本特开2015-114920号公报中建议的技术中，只有属于拍摄大量照片时的摄影日期和时间的组的照片，被用作用于评价的目标，而属于拍摄少量照片时的摄影日期和时间的组的照片不被评价。因此，在拍摄少量照片时的摄影日期和时间拍摄的照片不被布局在相册中。

技术实现要素：

根据本发明的一方面的图像处理装置包括：

设置单元，其被构造为设置要从多个图像数据组中选择的图像数据的数量，

获取单元，其被构造为获取包括多个图像数据的图像数据组，

识别单元，其被构造为基于由所述获取单元获取的图像数据组的各个图像数据的摄影日期和时间，识别所获取的图像数据组的摄影时段，

分割单元，其被构造为将由所述识别单元识别的摄影时段分割成多个摄影区间，

选择单元，其被构造为基于预定准则，从与目标摄影区间相对应的图像数据组中选择图像数据，以及

生成单元，其被构造为通过对基于由所述选择单元选择的图像数据的图像进行布置，生成布局图像，

其中，所述选择单元通过将未被选择的摄影区间设置为下一目标摄影区间，来重复图像数据的选择，以从由所述获取单元获取的图像数据组中选择与由所述设置单元设置的数量相对应的数量的图像数据，并且

其中，根据由所述设置单元设置的数量，确定摄影区间的数量。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是可以执行根据实施例的应用的硬件的框图。

图2是根据实施例的应用的软件的框图。

图3是由根据实施例的应用显示的显示画面的图。

图4A和图4B是根据实施例的自动布局的处理的流程图。

图5是用于说明根据实施例的图像分析信息的图。

图6A至图6C是用于说明根据实施例的图像组分割的图。

图7是用于说明根据实施例的场景分类的图。

图8A和图8B是用于说明根据实施例的图像评分的图。

图9A至图9I是用于说明根据实施例的图像选择的图。

图10是用于说明根据实施例的图像布局的图。

图11是用于说明根据实施例的详细图像选择的图。

图12是根据实施例的图像选择的详细流程图。

图13是用于说明根据实施例的详细图像选择的图。

图14是根据实施例的图像选择的详细流程图。

具体实施方式

(第一实施例)

在下文中，将参照附图详细描述本发明的实施例。

在第一实施例中，将通过示例的方式，来描述在图像处理装置中使用的方法，在该图像处理装置中操作用于创建相册的应用以便生成自动布局。

图1是用于说明根据本发明的实施例的图像处理装置的硬件构造的框图。图像处理装置可以是例如个人计算机(PC)或智能电话。在第一实施例中，PC被用作图像处理装置。

参照图1，图像处理装置100包括中央处理单元/处理器(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、硬盘(HDD)104、显示器105、键盘106、鼠标107以及数据通信设备108。上述部件通过数据总线109彼此连接。

CPU 101是系统控制器，并且控制整个图像处理装置100。此外，CPU101根据程序，执行将在第一实施例中描述的图像处理方法。在图1中，仅提供了一个CPU 101。然而，本发明并不限于此。可以提供多个CPU101。

在ROM 102中，存储要由CPU 101执行的程序。在由CPU 101执行程序时，RAM 103提供用于临时存储各种类型的信息的存储器。HDD104是用于存储数据库的存储介质，该数据库保持图像文件和图像分析的处理结果等。在第一实施例中，HDD 104存储稍后将描述的、用于创建相册的应用程序。

显示器105是向用户呈现第一实施例中的用户界面(UI)以及图像的布局结果的设备。显示器105可以具有触摸传感器功能。键盘106是输入设备的示例，并且用于例如在显示器105上显示的UI上输入预定的信息。在第一实施例中，经由键盘106输入相册的跨页(double-page spread)的数量。鼠标107是输入设备的示例，并且用于例如点击在显示器105上显示的UI上的按钮。

数据通信设备108是用于与诸如打印机或服务器等的外部装置进行通信的设备。例如，经由数据通信设备108将自动布局的数据发送到与PC连接的打印机或服务器。

数据总线109使上述部件102至108与CPU 101之间能够连接。

图2是根据本发明的实施例的相册创建应用的软件框图。在第一实施例中，当由用户利用鼠标107双击在显示器105上显示的应用的图标时，启动存储在HDD 104中的相册创建应用。相册创建应用具有各种功能。在第一实施例中，特别地，将描述由自动布局处理单元216提供的自动布局功能。如图2中所示，应用包括相册创建条件指定单元201和自动布局处理单元216。自动布局功能是用于通过基于照片的详情和属性来分类或选择所拍摄的照片，并且生成要在显示器105上显示的相册图像，从而布局照片的功能。

相册创建条件指定单元201根据使用鼠标107的UI操作，对自动布局处理单元216指定相册创建条件。在第一实施例中，作为相册创建条件，相册创建条件指定单元201指定主要人物、跨页的数量、模板的类型以及是否进行图像校正。图像的指定可以基于诸如摄影日期和时间等的、单独的图像数据的关联信息和属性信息，还可以基于包括诸如设备或目录的指定等的图像数据的文件系统的结构。跨页对应于例如用于显示的一个显示窗口，并且对应于被打印在用于打印的不同片材上的一对邻接页。

图像获取单元202从HDD 104中获取由相册创建条件指定单元201指定的图像组(图像数据组)。上述图像组表示当创建一个相册时要布局的候选图像组。例如，在由相册创建条件指定单元201指定了“从20XX年1月1日至20XX年12月31日”的情况下，在从20XX年1月1日至20XX年12月31日的时段期间拍摄的所有图像，对应于指定的图像组。

静止图像和从运动图像裁剪的裁剪图像是存储在HDD 104中的图像的示例。从诸如数字照相机或智能设备等的摄像设备获取静止图像和裁剪图像。摄像设备可以被配设在图像处理装置100中，或者可以被配设在外部装置中。在摄像设备被配设在外部装置中的情况下，经由数据通信设备108获取图像。此外，可以经由数据通信设备108从网络或服务器获取静止图像和裁剪图像。社交网络服务图像(在下文中，被称为“SNS图像”)是从网络或服务器获取的图像的示例。由CPU 101执行的程序分析与各个图像相关联的数据，并且确定数据要被存储到的地点。关于SNS图像，通过经由应用从SNS获取图像，可以在应用内管理图像的获取源。图像不限于上述的图像。可以获取其他类型的图像。

图像转换单元203对像素的数量和图像数据的颜色信息进行转换。在第一实施例中，图像数据被转换成在短边上具有420个像素并且具有sRGB的颜色信息的图像数据。

图像分析单元204针对图像数据进行分析处理。在第一实施例中，图像分析单元204针对已被图像转换单元203转换的图像数据，进行分析处理。具体而言，图像分析单元204从图像数据获取特征量，并且进行在图像数据中对脸部的检测、对检测到的脸部的表情的识别以及检测到的脸部的个人识别。此外，图像分析单元204从与从HDD 104获取的图像相关联的数据(例如，Exif信息)，获取摄影日期和时间。

图像分类单元205将所获取的图像组(即由相册创建条件指定单元201指定的图像组)分割成场景。基于摄影日期和时间信息、图像数量信息以及检测到的脸部信息，进行场景分割。场景表示诸如旅行、日常生活或结婚典礼等的摄影场景。场景可以被表达为针对特定时段的摄影时机、为特定摄影目标拍摄的一组图像。

主要人物信息输入单元206向图像评分单元207输入由相册创建条件指定单元201指定的主要人物的ID(识别信息)。

图像评分单元207对各个图像进行评分。在第一实施例中，图像评分单元207以适合于布局的图像具有高的得分的方式，对各个图像进行评分。为了进行评分使得适合于布局的图像具有高的得分，使用由图像分析单元204获取的信息和由图像分类单元205获取的信息。此外，其他类型的信息可以另外地使用或用来代替上述信息。在第一实施例中，图像评分单元207以使包括由主要人物信息输入单元206输入的主要人物ID的图像具有高的得分的方式，对各个图像进行评分。

跨页数量输入单元208向跨页分配单元209输入由相册创建条件指定单元201指定的相册的跨页的数量。

跨页分配单元209对图像组进行分割，并将分割的区间分配给跨页。上面提到的跨页表示例如在创建相册时的双联页。虽然将提供针对跨页的说明，但是也可以使用单页。跨页分配单元209根据输入的跨页的数量对图像组进行分割，并将图像组中的一些分配给单独的跨页。例如，在跨页的数量为5的情况下，通过将所获取的图像组分割成5个区间来生成小图像组，并且将单个的小图像组分配给各个跨页。

图像选择单元210基于由图像评分单元207提供的得分，从被跨页分配单元209分配给各个跨页的图像组中选择图像。

模板输入单元211向图像布局单元212输入对应于由相册创建条件指定单元201指定的模板信息的多个模板。

图像布局单元212确定图像的布局。具体而言，图像布局单元212从由模板输入单元211输入的多个模板当中，选择适合于由图像选择单元210选择的图像的模板，并且确定各个图像的布局(布置位置)。

布局信息输出单元215基于由图像布局单元212确定的图像布局，输出用于在显示器105上显示的布局信息。布局信息是例如将所选择的图像以所选择的模板来布局(布置)的位图数据。

图像校正单元214进行匀光处理(dodging processing)、红眼校正以及对比度校正。图像校正条件输入单元213向图像校正单元214输入用于由相册创建条件指定单元201指定的图像校正的开/关(ON/OFF)条件。可以针对各个类型的校正指定图像校正的开/关，或者可以以集体的方式针对所有类型的校正指定图像校正的开/关。在图像校正条件表示开的情况下，图像校正单元214针对图像进行校正。在图像校正条件表示关的情况下，图像校正单元214不进行校正。要从图像转换单元203输入到图像校正单元214的图像的像素的数量，可以根据由图像布局单元212确定的布局图像的大小而变化。在第一实施例中，在生成布局图像之后，针对各个图像进行图像校正。然而，本发明并不限于此。可以在针对跨页完成布局(布置)之前，进行各个图像的校正。

以例如图3中例示的格式，在显示器105上显示从布局信息输出单元215输出的图像数据。

当根据第一实施例的相册创建应用被安装在图像处理装置100上时，在运行在图像处理装置100上的操作系统(OS)的顶层画面(桌面)上显示相册创建应用的启动图标。当用户利用鼠标107双击在显示器105上显示的桌面上的启动图标时，存储在HDD 104中的相册创建应用的程序被加载到RAM 103。然后，由CPU 101执行RAM 103中的程序，启动相册创建应用。

图3例示了由启动的相册创建应用提供的显示画面301。显示画面301被显示在显示器105上。用户可以经由显示画面301设置相册创建条件。用户可以使用作为显示画面的UI配置画面301，来设置将在后面描述的相册创建条件。作为用于指定图像组的单元，显示画面301包括路径框302和文件夹选择按钮303。显示画面301的路径框302表示存储作为用于相册创建的目标的图像组的、在HDD 104中的存储位置(路径)。文件夹选择按钮303是用于从显示的树结构中选择文件夹的按钮，所述文件夹包括作为用于相册创建的目标的图像组。当用户利用鼠标107点击文件夹选择按钮303，以从显示的树结构中选择包括作为用于相册创建的目标的图像组的文件夹时，在路径框302中显示包括所选择的图像组的文件夹路径。

在主要人物指定单元304中，多个人脸图像被显示为图标。当选择了图标时，即指定了主要人物。针对各个人在主要人物指定单元304中显示脸部图像。换言之，在主要人物指定单元304中，针对各个人显示单个脸部图像，并且将各个脸部图像与个人ID相关联。主要人物指定单元304用于从分析目标图像中(即照片中)的人当中，识别作为核心人的主要人物。例如从图像中预先检测脸部图像，并且将脸部图像与个人ID相关联地登记在脸部数据库中。在主要人物指定单元304中显示的图标是，例如来自在脸部数据库中登记的人的脸部图像当中的、由用户选择的人的脸部图像或以稍后描述的方法确定的人的脸部图像。不同人的脸部图像的多个图标被布置在主要人物指定单元304中，并且可以通过利用鼠标107点击来选择图标。可以根据图4中所示的过程来自动设置主要人物。然而，用户可以通过使用主要人物指定单元304的指定，来手动设置主要人物。与由用户从主要人物指定单元304中显示的图标当中选择的图标相对应的人，被指定为主要人物。

跨页数量框305是用于指定相册中的跨页的数量的框。用户可以利用键盘106向跨页数量框305直接输入数字，或可以利用鼠标107从列表向跨页数量框305输入数字。

在模板指定单元306中，表示模板的风格(流行、时尚以及其他风格)的多个例示图像被显示为图标，并且可以指定模板。在第一实施例中，模板包括布置有图像的图像布置帧(间隙(slot))。在模板指定单元306中，布置有模板的多个图标，并且可以通过利用鼠标107点击来选择模板。

利用复选框307，可以指定图像校正的开/关。当复选框307被打勾时，上述图像校正被开启。当复选框307未被打勾时，图像校正被关闭。在第一实施例中，所有类型的图像校正由单个按钮来开启和关闭。然而，本发明并不限于此。可以为各个类型的图像校正提供复选框。

确定(OK)按钮308是用于将在显示画面301上选择的条件设置为相册创建条件的按钮。当用户利用鼠标107点击(选择)确定按钮308时，相册创建条件被确认，并且相册创建条件经由相册创建条件指定单元201被发送到自动布局处理单元216。具体而言，输入到路径框302的路径被发送到图像获取单元202。由主要人物指定单元304选择的主要人物的个人ID被发送到主要人物信息输入单元206。输入到跨页数量框305的跨页的数量被发送到跨页数量输入单元208。由模板指定单元306选择的图标的模板信息被发送到模板输入单元211。图像校正复选框的图像校正的开/关被发送到图像校正条件输入单元213。

复位按钮309是用于复位显示画面上的各个类型的设置信息的按钮。

图4是根据第一实施例的由相册创建应用的自动布局处理单元216进行的处理的流程图。例如，当CPU 101将存储在HDD 104中的程序读取到ROM 102或RAM 103并执行所读取的程序时，实现图4中所示的流程图。下面将参照图4描述自动布局的处理。如下所述，在第一实施例中，为了创建相册，根据摄影时间，将用于创建相册的图像组分割成子图像组(在下文中，可以被称为“区间”)，并且从子图像组中选择要布置在页中的图像。

在步骤S01中，将指定的图像组中包括的图像顺次设置为目标图像，并且由图像转换单元203生成分析图像。将从HDD 104获取的并且由相册创建条件指定单元201指定的图像组中的各个图像，转换成具有预定的像素数量和颜色信息的图像数据。要通过转换而获得的像素数量和颜色信息被预先确定，并被存储在程序中或由该程序使用的参数文件中。在第一实施例中，输入的图像数据被转换成在短边上具有420个像素的大小并且具有sRGB的颜色信息的分析图像数据。

在步骤S02中，图像分析单元204获取图像数据的图像特征量。从与从HDD 104获取的图像组中包括的各个图像数据相关联的信息，获取摄影日期和时间。在第一实施例中，从与各个图像数据相关联的Exif信息，获取摄影日期和时间。此外，从在步骤S01中生成的分析图像数据，获取图像质量的特征量。图像质量的特征量例如可以是聚焦。可以使用公知的索贝尔(Sobel)滤镜，作为边缘检测方法。使用Sobel滤镜来检测图像的边缘，并且通过将边缘的起始点与终点之间的亮度差除以起始点与终点之间的距离，来计算边缘的倾斜，即亮度(brightness)梯度。可以确定，图像边缘的平均倾斜大的图像比平均倾斜小的图像更为合焦。在第一实施例中，设置了多个倾斜阈值，并且通过确定平均倾斜是否等于或大于任何的倾斜阈值，来确定焦点量是否是允许的。在第一实施例中，设置了两个不同的倾斜阈值，并且以如下的三个阶段进行对焦点量的确定：合适的、可接受的以及不可接受的。在图像中的边缘的平均倾斜等于或大于第一阈值的情况下，焦点梯度被确定为是合适的。在平均倾斜等于或大于比第一阈值小的第二阈值的情况下，焦点梯度被确定为是可接受的。在平均倾斜小于第二阈值的情况下，焦点梯度被确定为是不可接受的。

在步骤S03中，图像分析单元204在各个图像数据中检测脸部。从在步骤S01中生成的图像数据中检测脸部。可以使用公知方法来进行脸部检测。例如，用于由多个弱鉴别器来创建强鉴别器的Adaboost可以被用作公知方法。在第一实施例中，利用由Adaboost创建的强鉴别器，来检测人(物体)的脸部。在步骤S03中，连同脸部图像的检测(提取)一起，获取在图像中检测到的脸部图像的位置处的左上坐标值和右下坐标值。上面提到的“图像”表示由在步骤S01中生成的图像数据所表示的图像。通过识别这两种类型的坐标，可以识别人的脸部的位置和脸部的大小。虽然在该示例中描述了检测人的脸部的情况的说明，但是不是必须检测人脸。可以通过使用诸如狗或猫等的动物，诸如花卉、食物、建筑物或装饰物等的物体等等作为检测目标来代替人脸，由Adaboost来创建强鉴别器。即，可以检测与脸部不同的物体。

在步骤S04中，图像分析单元204进行个人识别。首先，确定在步骤S03中提取的脸部图像与针对各个个人ID存储在脸部字典数据库中的代表性脸部图像之间的相似度。然后，相似度等于或大于阈值并且相似度最大的个人ID，被确定为是所提取的脸部图像的ID。即，对应于相似度等于或大于阈值并且相似度最大的ID的人，被识别为所提取的脸部图像的人。在相似度小于阈值的情况下，将新的个人ID分配给所提取的脸部图像作为新的人，并将新的个人ID登记到脸部字典数据库。

如图5中所示，针对用于识别图像的各个ID，将在步骤S02至步骤S04的处理中获取的各个图像数据的图像分析信息进行分类，并存储在HDD 104中。在步骤S02中获取的摄影日期和时间信息以及聚焦确定结果、和在步骤S03中检测到的脸部的数量和位置信息，被存储为各个图像数据的图像分析信息。基于单个图像数据的图像可以包括多个脸部图像。在这种情况下，针对在步骤S04中获取的各个个人ID，分类并存储脸部的位置信息。在图像数据中未检测到脸部的情况下，存储在步骤S02中获取的摄影日期和时间信息以及聚焦确定结果。

在步骤S05中，确定是否已针对由相册创建条件指定单元201指定的HDD 104中的图像组中的所有图像，完成了步骤S01至步骤S04的处理。在未针对所有图像完成处理的情况下(在步骤S05中为否)，处理返回到步骤S01。在已针对所有图像完成处理的情况下(在步骤S05中为是)，处理前进到步骤S06。

在步骤S06中，图像分类单元205进行场景分割。场景分割表示根据场景将所获取的图像组分割成多个子图像组。具体而言，根据在步骤S02中获取的摄影日期和时间信息，基于图像之间的时间差，将图像组分割成多个子图像组。下面描述用于分割的准则的示例。例如，首先，将图像组中的、具有最早的(或最新的)摄影日期和时间的图像设置为目标图像，然后，参照与第二最早的(最新的)图像的时间差。随后，将目标图像逐个移位到下一个最早的(最新的)图像，进行对是否满足任何的下述条件的确定。在下面提供的说明中，分割表示根据两个图像之间的界限，将图像组分割成具有新的摄影日期和时间的图像，以及具有早的摄影日期和时间的图像。在图像的摄影日期不连续的情况下，即，在图像之间存在未拍摄照片的日期的情况下，进行分割。接下来，将说明摄影日期连续的情况。在第一实施例中，在图像之间的摄影时间的差等于或大于16小时的情况下，进行分割。在图像之间的摄影时间的差小于16小时的情况下，如果在连续的单独日期中的第一摄影与最后摄影之间的时间差小于4小时，则进行分割。在第一实施例中，在时间差等于或大于4小时的情况下，如果在连续的各个日期中拍摄的照片的数量少于50，则进行分割，而如果在各个连续日期中拍摄的照片的数量等于或多于50，则不进行分割。针对时间差的阈值以及针对用于分割的照片的数量的阈值不限于上述。图6A例示了在上述的场景分割方法中进行的分割的结果。

在步骤S07中，图像分类单元205对场景进行分类。在第一实施例中，通过示例的方式描述了子图像组(场景)被分类成旅行、日常生活以及典礼这三者的情况。然而，分类并不限于此。首先，获取被预先确定是否要分类成旅行、日常生活或典礼的多个子图像组。针对各个图像组获取摄影的特征量。在第一实施例中，要获取的特征量包括例如摄影时段、拍摄的照片的数量以及被摄影的人的数量。摄影时段表示图像组的第一摄影与最后摄影之间的时间差。拍摄的照片的数量表示在子图像组中包括的图像的数量(照片数)。被摄影的人的数量表示包括脸部的图像中的脸部的数量。即，被摄影的人的数量表示图像中包括的脸部的数量。然后，针对多个子图像组，获取摄影时段的平均值和标准偏差、拍摄的照片的数量的平均值和标准偏差以及每个图像的人的数量的平均值和标准偏差。在第一实施例中，假设每个图像的脸部的数量对应于每个图像的人的数量。图7例示了摄影时段(小时)、拍摄的照片的数量(照片数)以及被摄影的人的数量(人数)中的各个的平均值和标准偏差的示例。所获得的值被预先并入到相册创建应用的程序中。即，使用在设计阶段预先收集的图像，通过学习来创建参数，并将所创建的参数并入到程序中。在启动相册创建应用之后，针对在步骤S06中获得的各个子图像组，计算摄影时段、拍摄的照片的数量以及被摄影的人的数量中的各个的平均值。然后，基于平均值和标准偏差，根据等式(1)和(2)，针对各个场景，进行针对各个子图像组的摄影时段、拍摄的照片的数量以及被摄影的人的数量中的各个的特征量的评分。

针对各个场景和特征量的得分＝50-|10×(针对各个场景和特征量的平均值-针对各个子图像组的特征量)/针对各个场景和特征量的标准偏差|…(1)

针对各个场景的平均得分＝(针对各个场景的摄影时段的得分+针对各个场景的拍摄的照片的数量的得分+针对各个场景的人数的得分)/特征量的项目的数量…(2)

基于等式(1)和等式(2)，获得针对目标子图像组的各个场景和各个特征量的得分。例如，获得针对旅行场景的摄影时段、拍摄的照片的数量以及被摄影的人的数量中的各个的得分。通过基于等式(2)获得得分的平均值，来获得针对场景类别的得分。以类似的方式，针对诸如日常生活和典礼等的其他场景类别来获得得分。如上所述，针对旅行、日常生活和典礼中的各个场景类别获得平均得分。具有针对各个子图像组的最高得分的场景，被分类为子图像组的场景。在两个或更多个场景具有相同得分的情况下，根据优先场景进行场景分类。例如，在第一实施例中，以日常生活、典礼和旅行的顺序预先确定对日常生活、典礼和旅行赋予的优先级，并且对日常生活赋予最高优先级。优先级的顺序不限于上述。用户可以设置优先级的顺序。

关于在场景分割之后获得的、图6A中的子图像组(5)，摄影时段为36小时，拍摄的照片的数量为300，并且被摄影的人的数量为1.7。针对旅行的平均得分为45.32，针对日常生活的平均得分为18.38，而针对典礼的平均得分为-29.92。因此，针对该子图像组的场景被分类为旅行。与场景ID相关联地管理子图像组，使得可以进行场景识别。

在步骤S08中，确定是否已针对由步骤S06获得的所有子图像组完成了步骤S07的场景分类。在未针对所有子图像组完成场景分类的情况下(在步骤S08中为否)，处理返回到步骤S07。在已针对所有子图像组完成场景分类的情况下(在步骤S08中为是)，处理前进到步骤S09。

在步骤S09中，图像评分单元207进行主要人物设置。针对由用户指定的图像组进行主要人物设置，并且主要人物设置包括两种类型的设置：自动设置和手动设置。在自动设置主要人物的情况下，基于步骤S04中的个人识别的结果以及步骤S06中的场景分割的结果，来进行设置。基于在步骤S04中获得的结果，来识别各个个人ID出现在子图像组中的次数、各个个人ID出现在各个场景中的次数、以及出现了各个个人ID的场景的次数等，并且根据上述信息自动设置主要人物。在第一实施例中，在子图像组包括多个场景的情况下，出现在多个场景中的个人ID被设置为主要人物ID，而在子图像组包括单个场景的情况下，多次出现在该单个场景中的个人ID被设置为主要人物ID。在用户在主要人物指定单元304指定了特定图标的情况下，对应于所选择的图标的个人ID经由主要人物信息输入单元206被发送到图像评分单元207。在存在由用户指定的个人ID的情况下，忽略通过上述的自动设置而设置的主要人物ID，并且将由用户指定的个人ID设置为主要人物ID。如上所述，基于由主要人物指定单元304进行的指定的设置，被定义为手动设置。

在步骤S10中，图像评分单元207进行评分。评分表示根据由后述的视点做出的评价而对各个图像数据提供得分，并且得分是当进行将在后面描述的图像选择时要参照的值。下面将参照图8A和图8B以及图10描述评分方法。

图10例示了当布局3个图像时使用的模板组。图10的(1-1)中所示的模板1001是一个模板，并且包括主间隙1002、子间隙1003和子间隙1004。主间隙1002是作为模板1001中的主间隙的间隙(布局有图像的帧)，并且具有比子间隙1003或子间隙1004大的尺寸。即，主间隙是各个模板中的最大间隙。此外，子间隙是与各个模板中的主间隙不同的间隙。针对主间隙的得分和针对子间隙的得分二者都被添加到各个图像数据。

图8A中例示了用于图像数据的评分的准则。更具体地，图8A例示了如下的表，在该表中针对旅行、日常生活以及典礼的场景中的各个提供具有高得分的图像的特征。如图8A中所示，提供高得分的特征根据间隙的类型而变化。例如，在子图像组的场景类别是旅行的情况下，包括人和风景的远景图像具有作为主间隙的高得分，而特写或侧面脸部的图像具有作为子间隙的高得分。例如，在子图像组的场景类别是日常生活的情况下，特写或侧面脸部的图像具有作为主间隙的高得分，而包括人和风景的远景图像具有作为子间隙的高得分。例如，在子图像组的场景类别是典礼的情况下，两个靠近脸部的图像具有作为主间隙的高得分，而包括许多人的图像具有作为子间隙的高得分。如上所述，提供了高得分的特征(即评价准则)根据场景和间隙的类型而变化。在第一实施例中，提供了与场景和间隙的类型相关联的高得分的特征被预先设置在应用中并包括在程序中。提供了高得分的特征不限于上述。基于图8A中所示的各个场景的主间隙和子间隙的特征，对各个子图像组中包括的各个图像数据提供得分。获取各个图像中的脸部的数量、各个图像中的脸部的位置以及各个图像中的脸部的大小，并且针对各个场景和各个间隙类型(主间隙和子间隙)获得平均值和标准偏差，并将平均值和标准偏差存储在相册创建应用的程序中。从步骤S07中的场景分类的结果中，识别由用户指定的图像组的各个图像数据表示的图像所属的(被分类)的场景。然后，基于与目标图像的场景相关联的预先获得的平均值和标准偏差，以及目标图像中的主要人物ID的脸部的数量、脸部的位置和脸部的大小的特征量中的各个，使用下面提供的等式获得得分和平均得分。在下面提供的等式中，针对各个场景类别、针对各个间隙类型并且针对各个特征量获得得分、平均值和标准偏差。

得分＝50-|10×(平均值-特征量)/标准偏差|

平均得分＝(脸部的数量的得分+脸部位置的得分+脸部大小的得分)/特征量项目的数量

针对主间隙和子间隙二者进行评分。此外，对于要用于相册的图像，可以将得分添加到具有图5中的、焦点的特征量为合适的图像ID的图像。因此，在焦(in-focus)图像可以具有高得分。图8B例示了各个图像的评分结果的示例。对各个图像ID提供针对主间隙和子间隙的得分。

在步骤S11中，确定图像评分单元207是否已针对由用户指定的图像组的所有图像完成了步骤S10中的图像评分。在未针对所有图像完成图像评分的情况下(在步骤S11中为否)，处理返回到步骤S10。在已针对所有图像完成图像评分的情况下(在步骤S11中为是)，处理前进到步骤S12。

在步骤S12中，跨页分配单元209确定通过图像分类单元205的场景分割获得的场景的数量(子图像组的数量)，是否等于由跨页数量输入单元208输入的跨页的数量。在场景的数量不等于输入的跨页的数量的情况下(在步骤S12中为否)，处理前进到步骤S13。在场景的数量等于输入的跨页的数量的情况下(在步骤S12中为是)，处理前进到步骤S16。例如，在图6A中分割的场景的数量为8，并且由跨页数量输入单元208输入的数量为8的情况下，处理前进到步骤S16。

在步骤S13中，跨页分配单元209确定通过图像分类单元205的场景分割获得的场景的数量是否小于由跨页数量输入单元208输入的跨页的数量。在场景的数量不小于跨页的数量的情况下(在步骤S13中为否)，处理前进到步骤S15。在场景的数量小于跨页的数量的情况下(在步骤S13中为是)，处理前进到步骤S14。例如，在图6A中分割的场景的数量为8，并且由跨页数量输入单元208输入的数量为10的情况下，场景的数量小于跨页的数量，因此处理前进到步骤S14。

在步骤S14中，跨页分配单元209进行子场景分割。子场景分割表示在分割的场景的数量小于跨页的数量的情况下，将分割的场景进一步分割成子场景。将通过示例的方式描述图6A中分割的场景的数量为8并且指定的跨页的数量为10的情况。在图6B中，例示了通过针对图6A中所示的情况进行子场景分割而获得的结果。通过在由虚线箭头表示的位置处进一步分割子图像组，则分割的子场景的数量变为10。基于图像的数量以及摄影日期和时间，进行子场景分割。在图6A的分割的子图像组当中，识别具有大的图像数量的子图像组。在这种情况下，为了使场景的数量从8至10增加2，识别具有大的图像数量的2个子图像组。即，以从包括最大的图像数量的场景起的顺序，指定要再次分割的场景的数量。对于包括相同的图像数量的场景，选择在图像之间具有更大的摄影日期和时间的差的最大值的场景。如果仍然不能确定，则可以以适当的方式来选择要分割的场景。例如，优选划分在时间上较早的场景。具有大的图像数量的子图像组为子图像组5(其包括最大的图像数量)，以及子图像组1和子图像组2(其包括第二最大的图像数量)。在第一实施例中，在子图像组中包括的图像数量相同的情况下，对在子图像组中包括的第一图像与最后图像之间具有更大的时间差的子图像组进行分割。子图像组1和子图像组2包括相同的图像数量。然而，子图像组2在第一图像与最后图像之间具有更大的时间差，因此，子图像组2被定义为分割目标。即，在图6A和图6B中，子图像组5和子图像组2中的各个被进一步分割。首先，将说明用于分割子图像组2的方法。子图像组2具有图像数量的两个峰，这两个峰表示不同的摄影日期。在这种情况下，在作为不同的摄影日期之间的界限的点(由图6B中的虚线箭头指示的点)处进行分割。接下来，将说明子图像组5的分割。子图像组5具有图像数量的三个峰，并且这三个峰表示不同的摄影日期。在这种情况下，在作为不同的摄影日期之间的界限的点处进行分割。存在各自作为不同的摄影日期之间的界限的两个点，并且以在分割后的图像组之间的图像数量的差变得尽可能小的方式，进行分割。在图6B中，对于子图像组5，在第二天与第三天之间的界限处进行分割之后的图像组之间的图像数量的差，小于在第一天与第二天之间的界限处进行分割之后的图像组之间的图像数量的差，因此，在第二天与第三天之间的界限处进行分割。即，在由图6B中的虚线箭头指示的点处进行分割。因此，分割的场景的数量从8改变为10。在该示例中，在不同的摄影日期之间的点处进行分割。然而，在同一天拍摄了包括大的图像数量的子图像组的情况下，在时间差最大的单个天的点处进行分割。

在步骤S15中，跨页分配单元209进行场景集成。场景集成表示在场景的数量大于跨页的数量的情况下将分割的场景(子图像组)集成。具体而言，进行场景集成，使得场景的数量变得等于跨页的数量。图6C例示了针对图6A中所示的情况的场景集成的结果，并且场景的数量变为6。通过在由虚线指示的点处的集成，即，通过不在由虚线指示的点处进行分割，场景的数量(子图像组的数量)变为6。在场景集成中，识别具有小的图像数量的子图像组。在本示例中，为了将分割的子图像组的数量从8至6减少2，识别包括小的图像数量的子图像组。包括小的图像数量的子图像组是子图像组8(其包括最小的图像数量)，以及子图像组3和子图像组7(其包括第二最小的图像数量)。因此，首先，将子图像组8定义为集成目标。接下来，子图像组3和子图像组7包括相同的图像数量。然而，由于与子图像组7邻接的子图像组8是集成目标，因此子图像组3被定义为集成目标。接下来，确定作为集成目标的子图像组是要与具有较早的摄影日期和时间的子图像组集成，还是要与具有较晚的摄影日期和时间的子图像组集成。首先，将描述子图像组3的集成。当将子图像组3与紧接在子图像组3之前的子图像组2之间的时间差，和子图像组3与紧接在子图像组3之后的子图像组4之间的时间差进行比较时，子图像组3的最后图像与子图像组4的第一图像之间的摄影时间的差，小于子图像组3的第一图像与子图像组2的最后图像之间的摄影时间的差。因此，确定子图像组3要与子图像组4集成。即，在由图6C中的虚线指示的点处进行集成。接下来，将描述子图像组8的集成。由于子图像组8没有后续子图像组，因此将子图像组8与紧接在子图像组8之前的子图像组7集成。即，在由图6C中的虚线指示的点处进行集成。在第一实施例中，虽然具有较小的摄影时间差的子图像组被集成在一起。然而，本发明并不限于此。例如，可以将作为集成目标的子图像组与包括较小的拍摄照片的数量的子图像组集成。

在步骤S16中，跨页分配单元209进行跨页分配。通过步骤S12至S15的处理，使得子图像组的数量等于指定的跨页的数量。在第一实施例中，从具有最早的摄影日期和时间的子图像组起，开始对各个跨页的分配。即，以摄影日期和时间的顺序，将子图像组分配给相册的跨页。因此，可以创建以摄影日期和时间的顺序布置子图像组的相册。如后所述，图像不必以摄影日期和时间的顺序布置在跨页内。

在步骤S17中，图像选择单元210从各个子图像组中选择预定数量的图像。将参照图9A至图9I，通过示例的方式说明从被分配给跨页的子图像组中选择4个图像的情况。跨页表示两页，第一跨页和最后跨页中的各个表示一页。图9A例示了被分配给跨页的子图像组中包括的第一图像与最后图像之间的摄影日期和时间的时间差，即，子图像组的摄影时段。将参照图9B描述用于选择要选择的4个图像中的第一图像的方法。模板包括主间隙1002。对于第一图像，选择针对主间隙的图像。在图9B中所示的子图像组的摄影时段期间拍摄的所有图像当中，选择具有在步骤S10中提供的、针对主间隙的最高得分的图像。然后，对于第二图像和后面的图像，选择针对子间隙的图像。在第一实施例中，通过分割子图像组的摄影时段以选择图像，避免了在子图像组的一部分摄影时段的集中。首先，如图9C中所示，子图像组的摄影时段被分割成两个摄影区间(时段)。即，子分割的摄影时段被相等地分割(分组)成两个摄影区间。接下来，如图9D中所示，从未从中选择第一图像的摄影区间(由实线指示的区间)中，选择具有针对子间隙的最高得分的图像，作为第二图像。接下来，如图9E中所示，图9D中的各个摄影区间被相等地分割为二。从在图9F中的实线摄影区间中拍摄的图像当中，即，未从中选择第一图像或第二图像的两个摄影区间(与两个摄影区间相对应的图像)，选择具有针对子间隙的最高得分的图像，作为第三图像。接下来，将通过对第四图像的选择进行举例的方式，来说明如下的示例，即，在要从中选择图像的摄影区间内不存在图像，从而无法进行图像选择。在第一实施例中，根据时间来分割摄影时段，而不管图像的数量。因此，可能在通过分割而获得的摄影区间内不存在图像。例如，如图9G中所示，假设虽然用户想要从还未从中选择图像的摄影区间(由斜线指示的摄影区间)中选择第四图像，但是在由斜线指示的该摄影区间内不存在图像。在这种情况下，如图9H中所示，已从中选择图像的摄影区间中的各个被分割为二。接下来，如图9I中所示，从在未从中选择第一图像、第二图像或第三图像的摄影区间中拍摄的图像当中，选择具有针对子间隙的最高得分的图像，作为第四图像。图11是用于更详细地说明图2中所示的图像选择单元210的图。图像选择单元210从被分配给跨页的子图像组中选择图像。

图像数量设置单元1101设置要从被分配给作为处理对象的跨页的子图像组中选择的图像的总数。换言之，图像数量设置单元1101设置要布置在跨页的布局图像中的图像的数量。

图像组获取单元1102从由图像获取单元202获取的图像组当中，获取被分配给跨页的子图像组。为了获取图像组，获取各个图像的摄影日期和时间信息、针对主间隙的得分以及针对子间隙的得分。

循环计数器1103管理进行用于选择图像的处理的次数。根据参照图9A至图9I描述的方法，进行用于选择图像的处理。管理的次数被用于确定要使用的评分轴，并且被用于设置被分配给作为处理对象的跨页的子图像组的摄影区间要被分割成多少摄影区间。

评分轴设置单元1104根据由循环计数器1103计数的处理次数，设置要使用的评分轴。“设置要使用的评分轴”表示“设置针对图像的评价准则”。在该示例中，设置在步骤S10中计算出的主间隙评分轴(主间隙评价准则)或子间隙评分轴(子间隙评价准则)。在第一实施例中，通过在主间隙评分轴与子间隙评分轴之间进行切换，来进行设置。如上所述，针对各个间隙设置评价准则。例如，针对第一次设置主间隙评分轴，使得可以执行用于选择主图像的处理，并且针对随后的次数设置子间隙评分轴，使得可以执行用于选择子图像的处理。在第一实施例中，描述了主间隙评分轴或子间隙评分轴被用作要使用的评分轴的示例。然而，可以使用其他的评分轴。例如，除了主间隙评分轴和子间隙评分轴之外，还可以使用人相关率评分轴。作为人相关率，例如，可以基于人出现的次数以及人被摄影在一起的次数，进行评分。具体而言，在人出现的次数很大的情况下，可以确定相关率高，并且在人被摄影在一起的次数很大的情况下，可以确定相关率高。此外，虽然描述了在评分轴之间进行切换的情况，但是可以使用集成的评分轴，集成的评分轴是主间隙评分轴、子间隙评分轴以及人相关率评分轴等的集成。在这种情况下，可以向用于计算集成的得分的评分轴，提供不同的权重。此外，可以根据进行处理的次数随机变化要使用的评分轴，或者可以通过参照预先准备的表来进行评分轴之间的切换。

分割单元1105将摄影时段分割成预定数量的区间。首先，基于由图像组获取单元1102获取的子图像组的摄影时间，识别被分配给作为处理目标的跨页的子图像组的摄影开始时间和摄影结束时间，并且计算摄影时段。即，识别在子图像组中包括的图像当中的、在最早时间拍摄的图像的摄影时间以及在最晚时间拍摄的图像的摄影时间，并且计算摄影时段。接下来，基于由循环计数器1103计数的处理次数，将计算出的摄影时段相等地分割成摄影区间。根据基于计数的2次方，来设置分割的摄影区间的数量。在第一实施例中，描述了通过基于计数的2次方来相等地分割摄影时段的方法。然而，本发明并不限于此。可以由计数的数量来相等地分割摄影时段。此外，分割单元1105输出各个分割区间的开始时间以及摄影结束时间。

区间信息设置单元1106将由图像组获取单元1102获取的子图像组中包括的图像，分割成针对由分割单元1105获得的单独区间的组，并且存储图像的摄影信息以及诸如图像的得分等的单独区间的信息。

图像选择单元1108基于由评分轴设置单元1104设置的评分轴以及由区间信息设置单元1106设置的图像的得分，从各个区间中选择具有高得分的图像。如上面参照图9A至图9I所描述的，未从不包括图像的区间中选择图像。在第一实施例中，从各个区间中选择一个图像。然而，可以从各个区间中选择多个图像。

相似度确定单元1109针对各个区间，进行对所选择的图像与通过先前的计数器选择的图像之间的相似度的确定。在相似度等于或大于确定阈值的情况下，确定图像彼此相似。在相似度小于确定阈值的情况下，确定图像彼此不相似。在确定图像彼此不相似的情况下，存储从区间中选择的图像。在确定图像彼此相似的情况下，在区间中的选择的图像被丢弃。可以通过基于图案匹配的确定、使用SHIFT(移位)方法的确定等，来进行相似度确定。用于相似度确定的确定阈值根据比较图像之间的摄影时间差而改变。例如，在相似度确定结果被输出在从0至100的范围内的情况下，随着值变得越接近100，相似度变得越高。在相似度确定结果等于或大于确定阈值的情况下，确定图像彼此相似。在相似度确定结果小于确定阈值的情况下，确定图像彼此不相似。在摄影时间差由于快速拍摄等(例如，在15秒内)而很小的情况下，设置低的确定阈值(例如，60)。在其他情况下，将确定阈值设置为80。通过设置低的确定阈值，图像易于被确定为彼此相似。即使在图像之间的相似度低的情况下，图像仍被确定为彼此相似。因此，所选择的图像被取消。在第一实施例中，确定准则根据摄影时间差而改变。

集成单元1112从由相似度确定单元1109确定了非相似度的单独区间的图像当中，选择要最终剩下的图像。在从多个区间中选择图像的情况下，确定要从哪个区间选择图像。为了图像的确定，使用与用于图像选择单元1108的确定的得分相同的得分，并且选择具有高得分的图像。在第一实施例中，选择具有高得分的图像。然而，本发明并不限于此。例如，可以从不具有已从中选择图像的邻接区间的区间中，选择图像。

图像管理单元1113添加由集成单元1112选择的图像作为所选择的图像，并且确定是否未超过由图像数量设置单元1101设置的图像的必要数量。在达到图像的必要数量的情况下，图像选择处理结束。在未达到图像的必要数量的情况下，进行循环计数器1103的向上计数，并且再次进行上述的图像选择处理。

图12是图11中所示的图像选择处理的流程图。将描述用于从被分配给作为处理目标的跨页的子图像组中选择图像的详细流程。

在步骤S1201中，图像数量设置单元1101设置要从被分配给作为处理目标的跨页的子图像组中选择的图像的总数。即，图像数量设置单元1101设置要针对作为处理目标的跨页而选择的图像数据的数量。

在步骤S1202中，图像组获取单元1102从由图像获取单元202获取的图像数据组的图像数据中，获取对应于被分配给作为处理目标的跨页的子图像组(子图像数据组)的图像数据。

在步骤S1203中，循环计数器1103对进行用于选择图像的处理的次数进行计数。在初始状态下，尚未进行用于选择图像的处理。因此，设置0。

在步骤S1204中，评分轴设置单元1104设置要使用的评分轴。在第一实施例中，根据由循环计数器管理的、图像选择处理的次数，设置要使用的评分轴。

在步骤S1205中，分割单元1105由被分配给作为处理目标的跨页的子图像组中包括的图像的摄影开始时间和摄影结束时间，计算子图像组的摄影时段。摄影开始时间表示被分配给作为处理目标的跨页的子图像组中包括的图像当中的、最早的图像的摄影时间，而摄影结束时间表示该子图像组中包括的图像当中的、最新的图像的摄影时间。然后，基于由循环计数器1103计数的处理次数，将子图像组的摄影时段相等地分割成区间。在第一循环中，尚未进行处理，因此，不进行分割。

在步骤S1206中，区间信息设置单元1106将所获取的子图像组的图像数据分割成针对单独的分割的区间的组，并且针对各个区间，获取各个图像的摄影信息以及各个图像的得分。在步骤S1207中，确定由分割单元1105获得的目标区间的图像是否已被选择。在目标区间是已被选择的区间的情况下，处理前进到步骤S1211。在目标区间是尚未被选择的区间的情况下，处理前进到步骤S1208。在第一循环中，尚未进行分割成区间，因此，仅存在一个目标区间。

在步骤S1208中，图像选择单元1108从目标区间中选择一个图像。

在步骤S1209中，相似度确定单元1109针对各个区间，进行对目标区间的图像与通过先前的计数器选择的图像之间的相似度的确定。在确定图像彼此不相似的情况下，存储从区间中选择的图像，并且处理前进到步骤S1211。在确定图像彼此相似的情况下，区间中的所选择的图像被取消(S1210)，并且处理前进到步骤S1211。

在步骤S1211中，确定是否已针对在步骤S1205中获得的所有区间完成了用于图像选择的处理。在已针对所有区间进行了处理的情况下，处理前进到步骤S1212。在未针对所有区间完成处理的情况下，处理返回到步骤S1206，并且针对对于图像选择而言尚未被选择的区间，进行图像选择。

在步骤S1212中，集成单元1112从由相似度确定单元1109确定了非相似度的单独区间的图像中，执行要最终剩下的图像的选择。即，在步骤S1207至S1211的处理中剩余两个或更多个图像的情况下，选择要剩下的图像。

在步骤S1213中，图像管理单元1113将选择的图像添加到已被选择的图像，并且对选择的图像的总数进行管理。

在步骤S1214中，确定由图像管理单元1113管理的所选择的图像的总数是否等于由图像数量设置单元1101设置的图像的必要数量。在所选择的图像的总数等于图像的必要数量的情况下，图像选择处理结束。在所选择的图像的总数小于图像的必要数量的情况下，处理返回到步骤S1203，并且继续进行图像选择处理。此时，由循环计数器1103管理的计数器递增1。结果，由与循环计数器1103链接的分割单元1105，设置到2倍于先前分割中的区间数量的区间数量的分割。通过到更大的区间数量的分割，来改变区间内的图像的得分的排序。因此，选择未在先前的处理中选择过的图像。

返回参照图4，在步骤S18中，图像布局单元212确定针对作为处理目标的跨页的图像布局。将通过示例的方式说明模板输入单元211根据指定的模板信息向跨页输入图10中的模板(1-1)至(4-4)的情况。输入的模板的间隙的数量为3。假设如图10的(A)中所示，所选择的3个图像的方位(即，纵向方向或横向方向)以摄影日期和时间的顺序布置。在本示例中，针对主间隙选择图像1005，针对子间隙选择图像1006和图像1007。在第一实施例中，具有较早的摄影日期和时间的图像被布局在模板的左上角，而具有较新的摄影日期和时间的图像被布局在模板的右下角。图像1005具有最新的摄影日期和时间，并且是针对主间隙，模板(4-1)至(4-4)被设置为候选。针对子间隙的、为较早的摄影日期和时间的图像1006(即要布置在左上角的图像)，是纵向图像，而为较新的摄影日期和时间的图像1007是横向图像。因此，模板(4-2)被确定为是针对所选择的图像的最合适的模板，并确定使用模板(4-2)的布局。如上所述，在步骤S18中，确定要用于布局的模板，以及能够识别要布局在模板的各个间隙中的图像的信息。

在步骤S19中，图像校正单元214进行图像校正。在图像校正条件输入单元213输入开的情况下，进行图像校正。在第一实施例中，匀光处理、红眼校正以及对比度校正作为图像校正而自动进行。在图像校正条件输入单元213输入关的情况下，不进行图像校正。要校正的图像在短边上具有1200个像素，并且针对被转换成sRGB的颜色空间的图像进行图像校正的开/关。

在步骤S20中，布局信息输出单元215创建布局信息。根据在步骤S18中做出的确定来布局各个图像。此时，根据模板中包括的各个间隙的大小信息，来放大并布局要布局的图像。在该处理中使用的图像是在步骤S01中生成的分析图像，并且与在步骤S02至S18的处理中使用的图像不同。然后，生成图像被布局在模板中的位图数据。

在步骤S21中，确定是否已针对所有跨页完成了步骤S17至S20的处理。在尚未针对所有跨页完成处理的情况下(在步骤S21中为否)，处理返回到步骤S17。在已针对所有跨页完成了处理的情况下(在步骤S21中为是)，自动布局处理结束。

在第一实施例中，为了布局所需的图像的数量，针对被分配给各个跨页的子图像组，进行用于将摄影时段分割成区间并选择图像的处理。因此，可以以均匀的方式从子图像组的单独时段中选择图像。因此，可以从包括小的图像数量的摄影时段中选择图像(照片)。因此，为了创建相册，不仅可以布局在诸如旅行或结婚典礼等的特殊事件中拍摄的照片，还可以布局具有小的拍摄照片数量的场景(例如，休闲日常场景)的图像。即，在第一实施例中，为了创建相册，可以以均匀的方式选择单独摄影次数的图像，而不管拍摄的照片的数量，可以自动生成布局图像。

(第二实施例)

在第二实施例中，为了选择图像，根据图像的类型改变图像选择方法。将省略与第一实施例相同的说明。此外，将利用相同的附图标记来表示与第一实施例中相同的部分。图像的类型包括静止图像、来自运动图像的裁剪图像以及SNS图像等。

图13是根据第二实施例的图像选择单元210的详细说明图。利用与图11中相同的符号表示的部分与第一实施例中的类似。因此，将省略针对类似部分的说明。

图像类型设置单元1301根据由循环计数器1103设置的处理次数，设置要由图像选择单元1108选择的图像的类型。在第二实施例中，在循环计数为1的情况下，即，在第一处理次数中，选择SNS图像。在循环计数为2的情况下，即，在第二处理次数中，选择来自运动图像的裁剪图像。在循环计数为3或更多的情况下，即，在第三或之后的处理次数中，选择静止图像。在循环计数为1并且在由图像组获取单元1302获取的子图像组中不存在SNS图像的情况下，选择不同类型的图像。以类似的方式，在循环计数为2并且在由图像组获取单元1302获取的子图像组中不存在来自运动图像的裁剪图像的情况下，选择不同类型的图像。在第二实施例中，在循环计数为1并且不存在SNS图像的情况下，或者在循环计数为2并且不存在来自运动图像的裁剪图像的情况下，选择静止图像。图像组获取单元1302获取被分配给作为处理目标的跨页的子图像组。为了获取子图像组，获取各个图像的摄影日期和时间信息、图像的类型、针对主间隙的得分以及针对子间隙的得分。在第二实施例中，图像的类型被分类成三种：静止图像、来自运动图像的裁剪图像以及SNS图像。然而，本发明并不限于此。可以使用其他类型的图像，还可以将静止图像进一步划分成利用数字照相机拍摄的静止图像以及利用智能设备拍摄的静止图像。

区间信息设置单元1306将由图像组获取单元1302获取的子图像组中包括的图像，分割成针对由分割单元1105获得的单独区间的组。选择由图像类型设置单元1301设置的图像类型的图像，并且针对各个区间，存储关于目标图像类型的图像的摄影信息以及各个图像的得分。

图14是根据图像的类型的图像选择处理的详细流程图。

在步骤S1201中，图像数量设置单元1101设置要从被分配给作为处理目标的跨页的子图像组中选择的图像的总数。

在步骤S1401中，图像组获取单元1302获取被分配给作为处理目标的跨页的子图像组中包括的各个图像的摄影日期和时间信息、图像类型以及图像得分。

在步骤S1203中，循环计数器1103对已进行用于图像选择的处理的次数进行计数。循环计数器1103对图像选择的次数进行计数，而不管所选择的图像的类型。

在步骤S1204中，评分轴设置单元1104设置要使用的评分轴。在第二个实施例中，根据由循环计数器管理的图像选择处理的次数，来设置要使用的评分轴。

在步骤S1402中，图像类型设置单元1301设置要由图像选择单元1108从子图像组中选择的图像的类型。在循环计数为1的情况下，即，在第一处理次数中，在第二实施例中，进行设置使得SNS图像被选择。在循环计数为2的情况下，即，在第二处理次数中，进行设置使得来自运动图像的裁剪图像被选择。在循环计数为3或更多的情况下，即，在第三或之后的处理次数中，进行设置使得静止图像被选择。

在步骤S1205中，分割单元1105由被分配给作为处理目标的跨页的子图像组的摄影开始时间和摄影结束时间，计算摄影时段，并且基于由循环计数器1103计数的处理次数，将摄影时段相等地分割成区间。

在步骤S1403中，区间信息设置单元1306选择与针对各个区间设置的图像的类型匹配的图像，并且存储各个图像的摄影信息以及各个图像的得分。即，在SNS图像被设置为针对特定区间(第一区间)的图像类型的情况下，存储来自第一区间的SNS图像(在存在两个或更多个SNS图像的情况下的单独图像)的摄影信息以及SNS图像的得分。在来自运动图像的裁剪图像被设置为针对特定区间(第二区间)的图像类型的情况下，存储来自第二区间的来自运动图像的裁剪图像(在存在两个或更多个来自运动图像的裁剪图像的情况下的单独图像)的摄影信息以及来自运动图像的裁剪图像的得分。在静止图像被设置为针对特定区间(第三区间)的图像类型的情况下，存储来自第三区间的静止图像(在存在两个或更多个静止图像的情况下的单独图像)的摄影信息以及静止图像的得分。步骤S1207至S1214的处理类似于第一实施例中的。因此，将省略针对步骤S1207至S1214的处理的说明。

在第二实施例中，在步骤S1402中设置图像的类型。因此，在步骤S1403中，区间信息设置单元1306选择预先指定的类型的图像。因此，在步骤S1408中选择的图像是与指定的图像类型相同的类型。具体而言，在第二实施例中，通过执行图14中所示的流程图的处理，以SNS图像、来自运动图像的裁剪图像以及静止图像的顺序进行图像选择。如上所述，在第二实施例中，不从已从中选择图像的区间，进行图像的选择。因此，从未从中选择SNS图像或来自运动图像的裁剪图像的区间中，选择静止图像，并从未从中选择SNS图像的区间中，选择来自运动图像的裁剪图像。

在被分配给作为处理目标的跨页的子图像组中既不存在SNS图像也不存在来自运动图像的裁剪图像的情况下，选择静止图像。具体而言，进行步骤S1203至S1212的处理，并且在步骤S1213中不递增所选择的图像的总数。然后，由于所选择的图像的总数不等于步骤S1214中的图像的必要数量，所以处理返回到步骤S1203，并且进行循环计数器1103的向上计数。因此，从子图像组中选择静止图像。在第二实施例中，如在第一实施例中，为了布局所需的图像的数量，针对被分配给各个跨页的子图像组，进行用于将摄影时段分割成区间并且选择图像的处理。因此，可以以均匀的方式从子图像组的单独时段中选择图像。因此，可以从包括小的图像数量的摄影时段中选择图像(照片)。因此，为了创建相册，不仅可以布局在诸如旅行或结婚典礼等的特殊事件中拍摄的照片，还可以布局包括小的拍摄照片数量的场景(例如，休闲日常场景)的图像。即，在第二实施例中，为了创建相册，可以以均匀的方式选择单独摄影次数的图像，而不管拍摄的照片的数量，还可以自动生成布局图像。

此外，根据第二实施例，通过设置要选择的图像的类型，可以自动生成相册。具体而言，在循环计数为1的情况下，SNS图像被设置为图像的类型，而在循环计数为2的情况下，来自运动图像的裁剪图像被设置为图像的类型。即，依次对SNS图像、来自运动图像的裁剪图像和静止图像赋予图像选择的优先级。因此，在子图像组中存在SNS图像的情况下，以比其他类型的图像更高的优先级来选择SNS图像，并且以比静止图像更高的优先级来选择来自运动图像的裁剪图像。因此，通过根据在步骤S18中确定的图像布局而对图像的布局，可以在步骤S20中生成包括SNS图像、来自运动图像的裁剪图像以及静止图像的跨页。SNS图像极有可能是用户喜爱的图像。因此，通过对SNS图像提供高的优先级，可以在步骤S20中创建包括SNS图像的跨页，并且极有可能能够创建布置有用户喜爱的图像的相册。此外，在存在由用户拍摄的运动图像的情况下，极有可能摄影了用户非常感兴趣的场景。因此，通过对来自运动图像的裁剪图像提供高的优先级，可以创建包括来自运动图像的裁剪图像的跨页，并且极有可能能够创建布置有用户非常感兴趣的场景的图像的相册。即，在第二实施例中，极有可能能够创建布置有用户期望的图像的相册。

根据第二实施例，也可以选择在拍摄的照片的数量小的摄影日期和时间中的图像。

(其他实施例)

本发明并不旨在被限定于前述实施例。例如，在前述实施例中，已通过示例的方式说明了相册创建应用。然而，可以提供包括自动选择推荐的图像的图像选择处理的应用或图像处理装置。

此外，虽然已通过示例的方式说明了被假设为在本地环境下使用的图像处理装置，但是图像处理装置并不限于此。例如，可以使用服务器上的图像处理装置。在这种情况下，可以使用或上传存储在服务器中的图像。

在前述实施例中，如图9A至图9I中所示，图像被选择，并且然后被分割成区间。然而，本发明并不限于此。例如，根据要选择的图像的数量，可以预先设置与所选择的图像的数量相对应的区间的数量。下面将参照图9A至图9I说明在这种情况下的选择方法。将说明用户想要选择4个图像的情况。首先，如图9E中所示，将摄影时段相等地分割成四个区间。然后，从任意区间中选择第一图像。接下来，从未从中选择第一图像的3个区间中的一个中选择第二图像。接下来，从未从中选择第一图像或第二图像的两个区间中的一个中选择第三图像。从未从中选择第一图像、第二图像和第三图像的区间中选择第四图像。在在一个区间中不存在图像的情况下，如在图9H中，从中获取第一图像的区间、从中获取第二图像的区间以及从中获取第三图像的区间被分割成多个区间，并且可以从所获得的多个区间的一个中选择图像。

在前述实施例中，图像表示照片，并且根据摄影日期和时间将图像分割成组。然而，可以根据创建图像时的日期和时间将图像分割成组。

在前述的实施例中，已说明了从通过分割而获得的一个摄影区间中选择一个图像的方法。然而，可以从通过分割而获得的一个摄影区间中选择多个图像。此时，尽可能地避免了生成未从中选择图像的摄影区间。此外，例如，仅在图像的类型不同的情况下，才可以从同一摄影区间中选择多个图像。即，例如，虽然从一个摄影区间中仅选择了一个静止图像，但是可以从一个摄影区间中选择SNS图像和静止图像、或来自运动图像的裁剪图像和静止图像。

在第二实施例中，在循环计数为3或更多的情况下，进行设置使得静止图像被选择。然而，本发明并不限于此。在循环计数为3或更多的情况下，可以进行设置使得任意类型的图像被选择。因此，对于第三或之后的图像，可以选择来自所有图像类型(SNS图像、来自运动图像的裁剪图像以及静止图像)当中的、具有高得分的图像。

此外，在第二实施例中，一个SNS图像和一个来自运动图像的裁剪图像被选择。然而，本发明并不限于此。可以选择多个SNS图像，或者可以选择多个来自运动图像的裁剪图像。此时，所选择的SNS图像的数量可以与所选择的来自运动图像的裁剪图像的数量不同。在这种情况下，当用户希望优先选择SNS图像或来自运动图像的裁剪图像时，可以在循环计数为3或更多的情况下，针对各个循环计数，将一种类型的图像设置为要选择的类型。

在第二实施例中，以SNS图像、来自运动图像的裁剪图像和静止图像的顺序来从子图像组中选择图像。然而，本发明并不限于此。可以以不同的顺序来选择图像。

此外，在第二实施例中，SNS图像和来自运动图像的裁剪图像二者被选择。然而，本发明并不限于此。可以选择SNS图像和来自运动图像的裁剪图像中的至少一者。在这种情况下，在循环计数为1的情况下，SNS图像或来自运动图像的裁剪图像可以被设置为步骤S1402中的图像类型，并且在循环计数为2或更多的情况下，静止图像可以被设置为步骤S1402中的图像类型。

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一者或更多。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。