图像处理方法、图像处理装置和存储介质与流程

本公开总体上涉及图像处理，尤其涉及用于在模板上布局图像的图像处理方法、图像处理装置和存储介质。

背景技术：

图像生成装置(诸如数码相机、数码摄像机和扫描仪)所拍摄的图像通过各种图像输出装置(诸如监控器和打印机)输出。可以将多个图像输出为电子相册。当输出电子相册时，多个图像可以被分配到一个跨页并且基于跨页被输出。例如，当图像被分配到多个跨页时，仅按图像拍摄的顺序将图像布局在每个跨页上可能会导致每个跨页上的图像不协调。日本专利申请特开2007-318461号公报讨论了一种基于预定时段(例如，基于日或月)来布局图像的技术。

如日本专利申请特开2007-318461号公报中讨论的技术那样，当基于预定时段分割所有图像时，用户所期望的被摄体的图像可能未在分割时段中被拍摄。

技术实现要素：

根据一个或更多个方面，本公开涉及一种技术，在该技术中多个图像被分割成多个图像组，以每个图像组中均具有包括用户所需类型的对象的图像的方式来布局所述多个图像组中所包括的图像。因此，根据本发明的一个方面，一种图像处理方法包括：接收与对象类型相关的用户指令；基于与接收到的用户指令对应的对象类型并基于指示与多个图像中的每个图像对应的时间的时间信息，将所述多个图像分割成多个图像组；及将在所述分割中将所述多个图像分割成的所述多个图像组中的每个图像组中所包括的至少一个图像布局在与所述多个图像组中的每个图像组对应的模板中的每个模板上。在所述分割中，所述多个图像被分割，从而包括与所述对象类型对应的对象的图像被包括在所述多个图像组中的每个图像组中。

根据以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。

附图说明

图1是例示根据本公开的一个或更多个方面的图像处理装置的硬件配置的框图。

图2是例示根据本公开的一个或更多个方面的相册创建应用的软件配置的框图。

图3例示根据本公开的一个或更多个方面的相册创建应用提供的显示画面。

图4是例示根据本公开的一个或更多个方面的自动布局处理的流程图。

图5例示根据本公开的一个或更多个方面的图像分析信息。

图6A至图6C例示根据本公开的一个或更多个方面的对图像数据组进行的场景分割的结果。

图7例示根据本公开的一个或更多个方面的每个场景的平均值和标准差。

图8A和图8B例示根据本公开的一个或更多个方面的评分轴的概念。

图9A至图9I例示根据本公开的一个或更多个方面的图像数据的选择。

图10A至图10Q例示根据本公开的一个或更多个方面的用于图像数据布局的模板组。

图11是例示根据本公开的一个或更多个方面的子场景分割处理的流程图。

图12A和图12B例示根据本公开的一个或更多个方面的关于每个场景的场景信息。

具体实施方式

下面将参照附图详细描述本公开的各个示例性实施例、特征和各方面。以下示例性实施例并不限制本公开所附权利要求的范围。并非本公开的示例性实施例中所描述的特征的所有组合都是本发明的技术方案所必需的。相同的组件由相同的附图标记表示，因此将省略对它们的重复说明。

接下来，将围绕在图像处理装置上操作相册创建应用并通过使用自动布局功能来生成布局的处理，来描述本发明的示例性实施例。

图1是例示根据本公开的一个或更多个方面的图像处理装置的硬件配置的框图。图像处理装置的示例包括个人计算机(PC)和智能手机。在本发明的示例性实施例中，PC可被用作图像处理装置。可以包括一个或更多个处理器、一个或更多个存储器、电路、固件、硬件、其他元件等的中央处理单元/处理器(CPU)101可完全控制图像处理装置100。例如，CPU 101可将存储在只读存储器(ROM)102中的一个或更多个程序、指令、代码等读到随机存取存储器(RAM)103中，然后执行该程序、指令、代码等以实现本发明的示例性实施例的操作。虽然图1中所例示的图像处理装置100包括一个CPU，但图像处理装置100可以包括多个CPU。ROM 102是通用ROM，存储例如由CPU 101执行的程序。RAM 103是通用RAM，用作例如在CPU 101执行程序时临时存储各种信息的工作存储器。硬盘驱动器(HDD)104是存储介质(储存单元)，用于存储用来保存图像文件和图像分析的处理结果等的数据库，并且存储相册创建应用使用的模板。

显示器105向用户显示电子相册作为根据本发明的示例性实施例的用户界面(UI)或图像布局结果。键盘106和定点设备(pointing device)107接收来自用户的指令操作。显示器105可具有触控传感器功能。键盘106用于例如输入用户想要在显示器105上显示的UI上创建的相册的跨页数量。定点设备107由用户用来例如点击显示器105上显示的UI上的按钮。

数据通信单元108通过有线或无线网络与外部装置进行通信。数据通信单元108将通过自动布局功能布局的数据传输到能够与图像处理装置100通信的打印机和服务器。数据总线109连接图1中所例示的模块，使得这些模块可彼此通信。

根据本发明的示例性实施例的相册创建应用存储在HDD 104中，并且在用户使用定点设备107双击显示器105上显示的应用的图标时启动(如下所述)。

图2是例示相册创建应用的软件配置的框图。与图2中所例示的组件对应的程序模块包括在上述相册创建应用中。当CPU 101执行每个程序模块时，CPU 101可以充当图2中所例示的每个组件。接下来，将在每个组件进行各种处理的前提下描述图2中所例示的每个组件。具体而言，图2是例示用于执行自动布局功能的自动布局处理单元216的软件配置的框图。

本公开通篇描述的各个单元是用于执行本公开中所描述的处理的示例性和/或更可取的模块。所述模块可以为硬件单元(例如，现场可编程门阵列、数字信号处理器、特定用途集成电路等)和/或软件模块(例如，计算机可读程序等)。以上并未穷尽地描述用于执行各步骤的模块。然而，哪里有执行某个处理的步骤，就可存在用于执行相同处理的对应的功能模块或单元(通过硬件和/或软件执行)。通过所描述的步骤的所有组合和与这些步骤对应的单元的技术方案被包括在本公开中。

相册创建条件指定单元201根据用户通过定点设备107的UI操作确定相册创建条件(如下所述)，并且将所确定的相册创建条件输出到自动布局处理单元216。

图像获取单元202从HDD 104中获取相册创建条件指定单元201所指定的图像数据组。图像转换单元203将用于后续处理的图像数据转换成具有所期望像素数和色彩信息的图像数据。根据本发明的示例性实施例，图像转换单元203将图像数据转换成包括短边420个像素及sRGB色彩信息的分析图像数据。图像分析单元204基于分析图像数据进行特征量获取、面部检测、面部表情辨识、个人辨识(personal recognition)和对象辨识的处理(如下所述)。伴随着从HDD 104获取的图像数据，图像分析单元204还进行数据获取，例如，从Exif信息获取图像拍摄日期和时间(时间信息)。图像分类单元205基于图像拍摄日期和时间信息、所拍摄图像的数量及检测到的面部信息，对图像数据组进行场景分割和场景分类(如下所述)。场景包括诸如旅游场景、日常生活场景和婚礼场景等图像拍摄场景。根据本发明的示例性实施例，基于时间信息将多个图像分割成多个图像组。一段时间内总体拍摄的多个图像包括在同一图像组中。因此，同一图像组中所包括的多个图像可被视为在同一场景或相似场景中拍摄的图像。

图像评分单元207对每一条图像数据进行评分，以使适于布局的图像具有高分数。如下所述，图像评分单元207基于来自图像分析单元204的指示图像分析结果的信息和来自图像分类单元205的分类信息进行评分。

用户信息输入单元206将关于相册创建条件指定单元201所指定的主要角色的识别(ID)信息输入到图像评分单元207。图像评分单元207被配置为赋予包括从用户信息输入单元206输入的主要角色ID的图像数据较高分数。用户信息输入单元206还将相册创建条件指定单元201所指定的优先模式输入到图像评分单元207。图像评分单元207被配置为赋予包括从用户信息输入单元206输入的至少一个对象的图像数据较高分数。

跨页分配单元209将多个图像分割成多个图像组，并且将多个图像被分割成的多个图像组分配到相册的多个跨页。跨页数量输入单元208将相册创建条件指定单元201所指定的相册的跨页数量和用户所指定的优先模式输入到跨页分配单元209。相册的跨页数量等于上面布局多个图像的一个或多个模板的数量。

跨页分配单元209根据输入的跨页数量将多个图像分割成多个图像组，并且将每个图像组中所包括的一些或全部图像分配到每个跨页。跨页分配单元209还对多个图像组进行分割和合并，以使跨页数量等于所述多个图像组的数量。根据本发明的示例性实施例，多个图像组的分割和合并也分别被称为场景分割和场景合并。根据本发明的示例性实施例，跨页分配单元209根据用户所指定的优先模式，对上述多个图像组进行分割和合并(场景分割和场景合并)。

基于图像评分单元207赋予的分数，图像选择单元210从被跨页分配单元209分配到跨页的图像组中选择图像，所选图像的数量等于相册创建条件指定单元201所指定的区块(slot)的数量。

图像布局单元212确定图像数据的布局，诸如，要在上面布局图像的区块和要在区块上显示的图像的区域。模板输入单元211将与相册创建条件指定单元201所指定的模板信息对应的多个模板输入到图像布局单元212。图像布局单元212从模板输入单元211输入的多个模板中选择适于图像选择单元210所选图像的模板，以确定所选图像的布局。布局信息输出单元215根据图像布局单元212确定的所选图像的布局，输出要在显示器105上显示的布局信息。所述布局信息例如是其中图像选择单元210所选图像的图像数据布局在所选模板中的位图数据。

图像校正单元214进行各种类型的校正处理，诸如匀光处理校正(亮度校正)、红眼校正和对比度校正。图像校正条件输入单元213将相册创建条件指定单元201所指定的图像校正“开/关”条件输入到图像校正单元214。当图像校正条件为“开”时，图像校正单元214对图像数据进行校正处理。当图像校正条件为“关”时，图像校正单元214不对图像数据进行校正处理。根据“开/关”条件，图像校正单元214对从图像转换单元203输入的图像数据进行校正。从图像转换单元203输入到图像校正单元214的图像数据中的像素数可根据图像布局单元212所确定的布局尺寸而变化。

当相册创建应用安装在图像处理装置100中时，在图像处理装置100上操作的操作系统(OS)的首页画面(台式机)上会显示开始图标。当用户使用定点设备107双击显示器105上显示的开始图标时，存储在HDD 104中的相册创建应用的程序被加载到ROM 102中。当存储在ROM 102中的程序被加载到RAM 103中并由CPU 101执行时，相册创建应用启动。

图3例示相册创建应用提供的显示画面301的示例。显示画面301在显示器105上显示。用户经由显示画面301设置相册创建条件(如下所述)，并且相册创建条件指定单元201获取用户设置的相册创建条件。

显示画面301上的路径栏302显示用于创建相册的多个图像(例如，多个图像文件)在HDD 104中的存储位置(路径)。当用户通过定点设备107点击文件夹选择按钮303时，包括用于创建相册的图像的文件夹呈树状结构显示以供用户选择。用户所选文件夹的文件夹路径显示在路径栏302中。

主要角色指定图标304显示用户用来指定主要角色的图标并且将主要角色的面部图像显示为图标。多个不同面部图像的图标布置并显示在主要角色指定图标304上。用户可通过使用定点设备107点击图标来选择面部图像。跨页数量栏305接收用户对相册的跨页数量的设置。然后，用户通过直接从键盘106输入数量或者通过使用定点设备107从列表选择数量，以在跨页数量栏305中输入数量。

模板指定图标306显示不同风格(诸如，流行风格和别致风格)模板的示例图像。多个模板图标布置并显示在模板指定图标306上，因而用户能够通过使用定点设备107点击图标的方式选择模板。复选框307接收来自用户的图像校正“开/关”设置。勾选复选框307时，图像校正设置为“开”。未勾选复选框307时，图像校正设置为“关”。

优先模式指定图标310显示用于指定用户想要赋予优先级的模式(照相被摄体)的图标(人物图标、宠物图标和花卉图标)。用户可通过使用定点设备107点击在优先模式指定图标310中显示的所期望图标来选择所需图标。优先模式指定图标310接受用户所指定的重要对象类型。根据本发明的示例性实施例，对图像组进行分割和合并，以使多个图像被分割成的多个图像组的数量等于跨页数量。在此情况下，对图像组进行分割或合并，以使在分割或合并之后每个图像组中均包括优先模式指定图标310所指定的被摄体。更具体而言，对图像组进行分割或合并，以使所有图像组均包括优先模式指定图标310所指定的优先被摄体的图像，并且以使优先被摄体的图像在图像组分割或合并之后以分布(distributed)方式包括在图像组中。接下来，将详细描述分割和合并。

当用户按下确定按钮308时，相册创建条件指定单元201获取显示画面301中的设置。相册创建条件指定单元201将所获取的设置输出到相册创建应用的自动布局处理单元216。在此情况下，路径栏302中输入的路径被传送到图像获取单元202。主要角色指定图标304所选的主要角色的个人ID和优先模式指定图标310所指定的优先模式被传送到用户信息输入单元206，并且还被传送到图像评分单元207。跨页数量栏305中输入的跨页数量和优先模式指定图标310所指定的优先模式被传送到跨页数量输入单元208，并且还被传送到跨页分配单元209。

模板指定图标306所选的模板信息被传送到模板输入单元211。复选框307的图像校正“开/关”设置被传送到图像校正条件输入单元213。显示画面301上的重设按钮309用于重设显示画面301上的设置信息。

图4是例示相册创建应用的自动布局处理单元216的处理的流程图。图4中所例示的流程例如在CPU 101将存储在HDD 104中的程序读到ROM 102或RAM 103中并执行该程序时实现。在图2中所例示的每个组件执行处理的前提下进行参照图4的描述。每个组件在CPU 101执行上述的相册创建应用时运行。接下来，将参照图4来描述自动布局处理。

在步骤S401中，图像转换单元203生成分析图像数据。更具体而言，图像转换单元203识别相册创建条件指定单元201所指定的存储在HDD 104的文件夹中的多个图像文件，并且将所述多个所指定的图像文件从HDD 104读到RAM 103中。然后，图像转换单元203将读取的图像文件的图像数据转换成包括所期望的像素数和色彩信息的分析图像数据。根据本发明的示例性实施例，图像转换单元203将图像数据转换成具有短边420个像素及sRGB色彩信息的分析图像数据。

在步骤S402中，图像分析单元204获取图像特征量。图像分析单元204例如从伴随自HDD 104读取的图像文件的Exif信息中获取图像拍摄日期和时间，作为关于图像文件中的图像的时间信息。图像分析单元204还从在步骤S401中生成的分析图像数据中获取特征量。特征量包括对焦程度。进行边缘检测以确定对焦程度。索贝尔(Sobel)滤波器是公知的边缘检测方法。通过使用索贝尔滤波器进行边缘检测且然后用边缘的起点与终点之间的亮度差除以起点与终点之间的距离，来计算边缘倾斜。基于图像中的平均边缘倾斜的计算结果，相比平均倾斜较小的图像，平均倾斜较大的图像被更高程度地对焦。然后，如果针对倾斜设置多个不同阈值，则可通过确定倾斜大于或等于哪个阈值来输出对焦量的评估值。根据本发明的示例性实施例，预先设置两个不同的阈值并且确定三个等级的对焦量(o、Δ和x)。例如，预先设置每个阈值，确定适用于相册的对焦倾斜为o，确定容许的对焦倾斜为Δ，而确定不容许的对焦倾斜为x。例如，阈值设置可以从相册创建应用的开发源提供或者可以在用户界面设置。

在步骤S403中，图像分析单元204对在步骤S401中生成的分析图像数据进行面部检测。可使用已知方法进行面部检测处理，例如，可以使用从多个弱鉴别器生成强鉴别器的Adaboost算法。根据本发明的示例性实施例，使用可以通过Adaboost算法等生成的强鉴别器检测人物(对象)的面部图像。图像分析单元204提取面部图像，并且同时获取检测到的面部图像位置的左上角坐标值和右下角坐标值。通过这两个不同的坐标，图像分析单元204能够获取面部图像的位置和尺寸。

在步骤S404中，图像分析单元204将要处理图像中的基于分析图像数据在步骤S403中检测到的面部图像与面部字典数据库中针对每个个人ID存储的代表性面部图像进行比较，从而进行个人辨识。图像分析单元204识别与要处理图像中的面部图像的相似性等于或大于阈值并且在多个代表性面部图像中具有最高相似性的代表性面部图像。将与所识别的代表性面部图像对应的个人ID设置为要处理图像中的面部图像的ID。图像分析单元204对所有多个代表性面部图像进行以下处理。更具体而言，当代表性面部图像与要处理图像中的面部图像的相似性小于阈值时，图像分析单元204将要处理图像中的面部图像辨识为新的代表性面部图像，将新的代表性面部图像与新的个人ID相关联，并且将该面部图像注册到面部字典数据库中。

在步骤S405中，图像分析单元204对在步骤S401中生成的分析图像数据进行对象辨识。可使用已知方法进行对象辨识处理。根据本发明的示例性实施例，使用通过深度学习(Deep Learning)生成的鉴别器辨识对象。图像分析单元204辨识对象图像，从而可获取诸如宠物(狗和猫)、花卉、食物、建筑物和雕饰的对象类型。

如图5中所例示，图像分析单元204将在步骤S402至S405中获取的针对用来识别每个图像的每个ID的图像分析信息存储在诸如ROM 102的存储区域中。例如，如图5中所例示，在步骤S402中获取的图像拍摄日期和时间信息及对焦确定结果、在步骤S403中检测到的面部图像的数量和位置信息以及在步骤S405中所辨识的对象类型以表格形式存储。针对在步骤S404中获取的每个个人ID区分并存储面部图像的位置信息。当从一个图像中辨识到多个类型的对象时，所有多个类型的对象在图5中所例示的表格中存储在与该一个图像对应的行中。

在步骤S406中，CPU 101确定是否对相册创建条件指定单元201所指定的存储在HDD 104的文件夹中的所有图像均已完成步骤S401至S405中的处理。当CPU 101确定未完成处理(在步骤S406中为“否”)时，处理返回到步骤S401。另一方面，当CPU 101确定完成处理(在步骤S406中为“是”)时，处理进行到步骤S407。更具体而言，当对存储在指定文件夹中的所有图像反复执行步骤S401至S405中的处理时，会生成图5中所例示的包括所有图像的信息的表格。

在步骤S407中，图像分类单元205基于时间信息进行用于将存储在指定文件夹中的所有图像分割成多个图像组的场景分割。该分割处理相对于最终分割处理而言为临时分割处理，并且在临时分割处理中，图像组的数量不必与跨页数量一致。图像分类单元205基于在步骤S402中获取的图像拍摄日期和时间信息(时间信息)计算指定文件夹中的图像之间的图像拍摄时间差。然后，基于图像拍摄时间差，图像分类单元205将指定文件夹中的多个图像分割成多个图像组(多个场景)。

根据本发明的示例性实施例，图像分类单元205例如按图像拍摄日期和时间顺序对指定文件夹中的多个图像进行排序，以在RAM 103中生成包括图像名称(例如，图像文件名称)和图像拍摄日期和时间的列表。对于列表中的两个连续图像，如果与所述两个图像对应的图像拍摄日期不连续，则图像分类单元205会将所述两个图像分配到不同的图像组。但是，可以基于其他准则将图像分割成图像组。例如，即使上述列表中两个连续图像的图像拍摄日期是连续的，所述两个图像仍可能被分配到不同的图像组。在此情况下，例如，只要列表中两个连续图像之间的图像拍摄时间差例如为至少16个小时，所述两个图像就会被分配到不同的图像组。即使图像拍摄时间差少于16个小时，只要在两个连续日期中的每个日期中第一图像拍摄时间与最后图像拍摄时间之间的时间差少于4个小时，则在所述两个日期拍摄的多个图像将基于日期就被分割成不同的图像组。如果在两个日期中的每个日期中第一图像拍摄时间与最后图像拍摄时间之间的时间差为4个小时或更长，则在每个日期拍摄的图像的数量小于50时基于所述日期进行分割或者在拍摄的图像的数量为50或更多时不进行分割。图6A例示通过上述场景分割方法将指定文件夹中所包括的多个图像分割成多个图像组的结果(进行场景分割的结果)的示例。图6A例示图像组(场景)(1)至(8)。纵轴指示每个图像组中的图像数量，而横轴指示每个图像组的图像拍摄日期和时间。

在步骤S408中，图像分类单元205进行场景分类。根据本发明的示例性实施例，例如，图像分类单元205将多个图像根据场景被分割成的图像组中的图像数据分类成旅游场景、日常生活场景和仪式场景中的任何一个场景。在开始图4中所例示的处理之前，用户已收集并指定了多条拍摄的被确定为旅游场景、日常生活场景和仪式场景的图像数据。图像分类单元205将通过指定与每个场景相关联的图像与在步骤S407中多个图像被分割成的图像组中所包括的图像进行比较，以识别与每个图像组对应的拍摄场景的类型。接下来，将描述对拍摄场景的具体处理。

接下来，将描述用户对与拍摄场景对应的图像数据的指定。例如，在用户界面画面上(未显示)，相册创建条件指定单元201接收用户对多条确定为旅游场景的图像数据的指定。然后，图像分析单元204获取这些图像数据的特征量。在此情况下获取的特征量包括图像拍摄时段、所拍摄图像的数量和所拍摄图像中的人物的数量。图像拍摄时段是指如上所述指定的多条图像数据的第一图像拍摄时间与最后图像拍摄时间之间的时间差。所拍摄图像的数量是指针对多条图像数据所拍摄图像的数量。所拍摄图像中的人物的数量是所拍摄图像中的面部的数量。因此，针对包括多条被用户确定为旅游场景的图像数据的一个图像数据组，获取特征量(图像拍摄时段、所拍摄图像的数量和所拍摄图像中的人物的数量)。

然后，图像分析单元204也针对用户所指定的其他图像数据组获取特征量(图像拍摄时段、所拍摄图像的数量和所拍摄图像中的人物的数量)。然后，基于从所述多个图像数据组获取的特征量，图像分析单元204获得图像拍摄时段的平均值和标准差、所拍摄图像的数量的平均值和标准差以及所拍摄图像中的人物的数量的平均值和标准差。图7例示获得的上述特征量中的每个特征量的平均值和标准差。图像分析单元204将这些值预先存储在诸如ROM 102等存储区域中。可选地，这些值可以在相册创建应用的程序中预先设置。

接下来，将再次描述图4中所例示的步骤S408中的处理。在相册创建应用启动之后，图像分类单元205针对在步骤S407中通过对用户在路径框302中所指定的图像数据组进行场景分割而将多个图像分割成的每个图像组，计算特征量(图像拍摄时段、所拍摄图像的数量及所拍摄图像中的人物的数量)的分数。图像分类单元205基于公式(1)和公式(2)，通过使用图7中所例示的每个场景的平均值和标准差，针对每个图像组计算图像拍摄时段的分数、所拍摄图像的数量的分数和所拍摄图像中的人物的数量的分数，以及上述分数的平均分数。

分数＝50-|10×(平均值-特征量)/标准差| (1)

平均分数＝(图像拍摄时段的分数+所拍摄图像的数量的分数+所拍摄图像中的人物的数量的分数)/特征量的项数 (2)

针对每个图像组中的图像数据，计算旅游场景、日常生活场景和仪式场景中的每个场景的平均分数作为计算结果。然后，图像分类单元205将每个图像组中的图像数据分类到与上述分数中的最高分数对应的场景中。如果不同场景具有相同分数，则图像分类单元205根据所确定的场景优先级对数据进行分类。例如，根据本发明的示例性实施例，按如下顺序对日常生活场景、仪式场景和旅游场景赋予优先级，即，日常生活场景的优先级最高。例如，参照图6A中所例示的场景分割之后的图像数据组5，图像拍摄时段为36个小时，所拍摄图像的数量为300，并且所拍摄图像中的人物的数量为1.7。作为基于公式(1)和公式(2)的计算结果，旅游场景的平均分数为45.32，日常生活场景的平均分数为18.38，而仪式场景的平均分数为-29.92。因此，将图像数据组5分类到旅游场景中。图像分类单元205向分类场景提供场景ID，从而以可识别的方式管理这些场景。

在步骤S409中，CPU 101确定是否对在步骤S407中多个图像被分割成的所有图像组均完成步骤S408中的场景分类。当CPU 101确定未完成场景分类(在步骤S409中为“否”)时，处理返回到步骤S408。另一方面，当CPU 101确定完成场景分类(在步骤S409中为“是”)时，处理进行到步骤S410。

在步骤S410中，图像评分单元207进行主要角色设置。通过两种设置方法(自动和手动)中的一种方法，对用户所指定文件夹中的多个图像进行主要角色设置。通过手动设置方法，用户通过定点设备107点击显示为图3中所例示的主要角色指定图标304的人物面部图像的图标，来选择所期望的主要角色。通过自动设置方法，如下进行处理。基于在步骤S404中进行的个人辨识的结果和在步骤S407中进行的场景分割的结果，图像评分单元207可获取每个个人ID在图像数据组中出现的次数、每个个人ID在每个场景中出现的次数以及每个个人ID均出现在其中的场景的数量。图像评分单元207基于这些信息而非基于用户指定来自动设置主要角色。根据本发明的示例性实施例，当存在多个场景时，图像评分单元207将多个场景中出现次数最多的个人ID设置为主要角色ID。当仅存在一个场景时，图像评分单元207将单个场景中出现次数最多的个人ID设置为主要角色ID。

此外，当用户指定主要角色指定图标304时，用户信息输入单元206通知图像评分单元207所指定的个人ID。当用户指定个人ID时，图像评分单元207将用户所指定的个人ID设置为主要角色ID，而不管上述自动设置的主要角色ID为何。该设置称为手动设置。

在步骤S411中，图像评分单元207进行优先模式设置。通过两种设置方法(自动或手动)中的一种方法，对用户所指定的文件夹中的多个图像进行优先模式设置。通过手动设置方法，用户通过定点设备107点击图3中所例示的优先模式指定图标310(人物图标、宠物图标或花卉图标)，来选择所需优先模式(应赋予优先级的被摄体类型)。通过自动设置方法，进行如下处理。基于在步骤S405中进行的对象辨识的结果，图像评分单元207获取每个对象类型在多个图像中出现的次数。同样地，图像评分单元207可获取每个对象在每个图像组(场景)中出现的次数并且可获取每个对象类型在其中出现的场景的数量。图像评分单元207基于这些信息而非基于用户指定来自动设置优先模式。根据本发明的示例性实施例，当存在多个图像组(场景)时，图像评分单元207将把优先级赋予给多个图像组中出现次数最多的对象类型的模式设置为优先模式。当仅存在单个图像组(场景)的情况下，图像评分单元207将把优先级赋予给该单个图像组中出现次数最多的对象类型的模式设置为优先模式。

在步骤S412中，图像评分单元207进行评分。评分是指根据下文描述的观点依据每一条图像数据评估的结果而获得的分数。所述分数在选择用于布局的图像数据时被参考。图10A至图10Q例示用于图像数据布局的模板组。模板组中所包括的多个模板中的每个模板与每个跨页对应。图10A例示模板1001、主区块1002及子区块1003和1004。主区块1002用作模板1001内的主区块(用于布局图像的框)并且尺寸大于子区块1003和1004。图像评分单元207对每一条图像数据赋予主区块的分数和子区块的分数。

图8A例示根据拍摄场景(旅游场景、日常生活场景和仪式场景)在相册中要采用的主区块和子区块的图像特征。在图4中所例示的处理开始之前，用户收集并指定了多条被确定为符合以下特征的图像数据，所述特征适于图8A中所例示的每个场景的主区块以及适于图8A中所例示的每个场景的子区块。图像评分单元207将通过指定与主区块和子区块相关联的图像与在步骤S407中图像被分割成的每个图像组中所包括的图像进行比较。该比较对每个图像与主区块和子区块的符合度赋予分数。接下来，将描述该评分处理。

接下来，将描述用户预先进行的指定。例如，在用户界面画面(未例示)上，相册创建条件指定单元201接收对确定为适于旅游场景的主区块(或子区块)的多条图像数据的指定。图像分析单元204针对每一条指定的图像数据，获取包括面部数量、面部位置和面部尺寸的特征量。因此，例如，针对确定为适于旅游场景的主区块(或子区块)的多条图像数据中的每一条图像数据，获取包括面部数量、面部位置和面部尺寸的特征量。然后，图像分析单元204获得面部数量的平均值和标准差、面部位置的平均值和标准差、面部尺寸的平均值和标准差。图像分析单元204针对如上所述的每个场景和每个区块类型(主区块和子区块)，获得每个特征量的平均值和标准差作为统计值。图像分析单元204将这些值预先存储在诸如ROM 102等存储区域中。这些值可以在相册创建应用的程序中预先设置。

图像评分单元207可基于步骤S408中的场景分类的结果，获取关于每条图像数据所属场景的信息。图像评分单元207基于公式(3)和公式(4)，通过使用上述预先获取的与目标图像数据的场景对应的平均值和标准差以及目标图像数据的主要角色ID的特征量(面部数量、面部位置和面部尺寸)来计算平均分数。

分数＝50-|10×(平均值-特征量)/标准差| (3)

平均分数＝(面部数量的分数+面部位置的分数+面部尺寸的分数)/特征量的项数 (4)

图像评分单元207针对主区块和子区块两者对图像进行上述评分。由于更期望用于相册的图像被对焦，因此可将预定分数添加到图5中所例示的对焦特征量为o的图像ID的图像数据。图8B例示上述评分的评分结果的示例，其中对每个图像ID的主区块和子区块进行评分。

更具体而言，根据本发明的示例性实施例，针对图8A中所例示的每个场景定义适于主区块的条件和适于子区块的条件。用户预先指定确定为适于这些区块的图像数据。图像分析单元204预先获取用户所指定的图像数据的特征量(面部数量、面部位置和面部尺寸)并获得所述特征量中每个特征量的平均值和标准差。在相册创建应用启动后，在图4中所例示的自动布局处理开始时进行评分(相似性设置)。评分是指要对其进行自动布局处理的(已进行场景分类)每一条图像数据与用户准则的接近程度，例如主区块的适合性。例如，参照图8B，图像ID 1被赋予20点作为主区块的图像数据，而图像ID 2被赋予45点作为主区块的图像数据。这表明，作为主区块的图像数据，图像ID 2比图像ID 1更接近用户准则。

接下来，将再次描述图4中所例示的流程图。在步骤S413中，图像评分单元207确定是否对用户所指定的文件夹中的所有图像均完成步骤S412中的图像评分。当图像评分单元207确定未完成图像评分(在步骤S413中为“否”)时，处理返回到步骤S412。另一方面，当图像评分单元207确定完成图像评分(在步骤S413中为“是”)时，处理进行到步骤S414。

根据本发明的示例性实施例，图像布局单元212将多个场景中的每个场景中所包括的图像布局在与多个场景中的每个场景对应的多个模板(多个跨页)中的每个模板上。因此，多个场景的数量需要与多个模板的数量(预定跨页数量)一致。

在步骤S414中，跨页分配单元209确定在步骤S407中场景分割的场景数量(图像被分割成的图像组的数量)是否与从跨页数量输入单元208输入的相册的跨页数量相同。当跨页分配单元209确定两个数量不相同(在步骤S414中为“否”)时，处理进行到步骤S415。另一方面，当跨页分配单元209确定两个数量相同(在步骤S414中为“是”)时，处理进行到步骤S418。例如，如图6A中所例示，场景数量为8并且跨页数量输入单元208输入的数量为8，则处理进行到步骤S418。

在步骤S415中，跨页分配单元209确定在步骤S407中场景分割的场景数量小于从跨页数量输入单元208输入的跨页数量(用于相册的模板的数量)。当跨页分配单元209确定场景数量不小于(大于)跨页数量(在步骤S415中为“否”)时，处理进行到步骤S417。另一方面，当跨页分配单元209确定场景数量小于跨页数量(在步骤S415中为“是”)时，处理进行到步骤S416。如图6A中所例示，当场景数量为8而跨页数量输入单元208输入的数量为10时，处理进行到步骤S416。在步骤S416和S417中，跨页分配单元209进行改变在步骤S407中临时将图像分割成的图像组的数量(场景数量)的处理(如图6A中所例示)，以使图像组的数量等于跨页数量。接下来，将详细描述所述处理。

在步骤S416中，跨页分配单元209执行子场景分割。子场景分割是指在图像组的数量小于相册的跨页数量时，根据场景对图像组进行进一步分割。接下来，将围绕如图6A中所例示的图像组的数量为8而所指定的相册的跨页数量为10的情况来描述。图6B例示对通过图6A中所例示的场景分割而将图像分割成的图像组进行子场景分割的结果。通过在虚线箭头所指示的位置处对图像组进行分割，将图像组的数量增加到10。

接下来，将描述分割准则。在图6A中所例示的分割中，搜索具有多个图像的图像组。在此情况下，要将图像组的数量从8增加到10，确定了具有多个图像的两个图像组。参照图6A，图像组5具有的图像数量最多，而图像组1和图像组2具有的图像数量第二多。图像组1和图像组2具有相同数量的图像。但是，由于图像组2在第一个图像与最后一个图像之间的时差比图像组1大，因而图像组2被确定为分割目标。因此，将对图像组2和图像组5进行分割。

接下来，将描述对图像组2的分割。图像组2中在不同日期拍摄的图像的数量具有两个峰值。因此，在与两个峰值之间的位置对应的、图6B中所例示的虚线箭头位置处进行分割。接下来，将描述对图像组5的分割。图像组5中在三个连续日期拍摄的图像的数量具有三个峰值。虽然图像拍摄日期在两个位置处发生变化，但是将在图6B中所例示的虚线箭头位置处进行分割，以减小图像分割后图像数量之差。如上所述，图像组的数量从8变为了10。在该示例中，分割在图像拍摄日期变化之处进行。但是，如果多个图像均在某单个日期拍摄，则可以在该单个日期中时间差最大的位置处进行分割。

在步骤S417中，跨页分配单元209进行场景合并。场景合并是指在图像组的数量大于相册的跨页数量时，合并根据场景将图像分割成的图像组。图6C例示对图6A中所例示的图像组进行场景合并的结果。通过在虚线位置处进行场景合并而将图像组的数量减小到6。

接下来，将描述合并准则。在图6A中所例示的分割中，搜索图像数量较小的图像组。在此情况下，要将图像组的数量从8减小到6，确定了图像数量较小的两个图像组。参照图6A，图像组8的图像数量最小，而图像组3和图像组7的图像数量第二小(图像数量相同)。但是，由于与图像组7相邻的图像组8为合并目标，因此图像组3也被确定为合并目标。因此，对图像组8和图像组3进行合并。

接下来，将描述对图像组3的合并。当将与图像组2(图像组3之前)的时间差和与图像组4(图像组3之后)的时间差进行比较时，与图像组4的时间差小于与图像组2的时间差。因而，如图6C中所例示的虚线位置所示，图像组3与图像组4合并。接下来，将描述对图像组8的合并。由于图像组8之后没有图像组，因此如图6C中所例示的虚线位置所示，图像组8与之前的图像组7合并。

在步骤S418中，跨页分配单元209进行跨页分配。作为步骤S414至S417的处理结果，图像组的数量等于所指定的跨页数量。跨页分配单元209将多个图像组中的每个图像组分配到每个跨页。跨页分配单元209进行分配，以便不将多个图像组分配到某一跨页。更具体而言，跨页分配单元209按图像拍摄日期和时间的顺序分别将第一个图像组和后续图像组分配到第一跨页和后续跨页。

在步骤S419中，图像选择单元210从与特定跨页对应的图像组选择要在特定跨页上布局的图像。接下来，将参照图9A至图9I描述从分配到某一跨页的图像组中选择四条图像数据的示例。

参照图9A，始点与终点之间的区段指示在分配到跨页的图像组中第一条图像数据的图像拍摄日期和时间与最后一条图像数据的图像拍摄日期和时间之间的时间差(图像组的图像拍摄时段)。接下来，将参照图9B描述选择第一条图像数据的方法。模板具有一个主区块1002。因此，选择主区块的图像数据作为第一条图像数据。在与图9B中所例示的图像组的图像拍摄时段对应的多条图像数据中，选择在步骤S412中被分配有最高主区块分数的一条图像数据。选择多条子区块的图像数据作为第二条和后续图像数据。

根据本发明的示例性实施例，进行图像选择，以便不从图像组的图像拍摄时段的特定部分拍摄的图像中选择大部分图像。接下来，将描述根据本发明的示例性实施例对图像组的图像拍摄时段进行子分割的方法。如图9C中所例示，图像组的图像拍摄时段被分割成两个部分。如图9D中所例示，从没有选择第一条图像数据的实线图像拍摄期间选择第二条图像数据。选择与图9D中所例示实线图像拍摄时段对应的多条图像数据中具有最高子区块分数的图像数据。

如图9E中所例示，图9D中图像拍摄时段被分割成的两个区段各自又被分割成两个部分。如图9F中所例示，在与图像拍摄时段中没有选择第一条图像数据和第二条图像数据的实线区段对应的多条图像数据中，选择具有最高子区块分数的图像数据作为第三条图像数据。

接下来，将描述在要从中选择图像数据的图像拍摄时段中没有图像数据且因此无法选择图像数据的情况下，选择第四条图像数据的示例。图9G例示当要从图像拍摄时段中尚未选择图像数据的阴影区段中选择第四条图像数据时、所述图像拍摄时段的阴影区段中不存在图像数据的示例。在此情况下，如图9H中所例示，图像组的图像拍摄时段被分割成的区段各自又被分割成两个部分。如图9I中所例示，在与图像拍摄时段中没有选择第一条图像数据的至第三条图像数据的实线区段对应的多条图像数据中，选择具有最高子区块分数的图像数据作为第四条图像数据。

接下来，将再次描述图4中所例示的流程图。在步骤S420中，图像布局单元212确定图像布局。接下来，将描述模板输入单元211根据所指定的模板信息输入图10A至图10P中所例示的针对某一跨页的模板组的示例。

例如，指定3作为输入模板的区块数。如图10Q中所例示，所选的三条图像数据应基于图形拍摄日期和时间竖直或水平布置。在此情况下，图像数据1005是主区块的图像数据，并且图像数据1006和1007是子区块的图像数据。根据本发明的示例性实施例，图像拍摄日期和时间最早的图像数据布局在模板的左上方，而图像拍摄日期和时间最新的图像数据布局在模板的右下方。参照图10Q，由于主区块的图像数据1005的图像拍摄日期和时间最新，因此图10I至图10L中所例示的模板为候选模板。为子区块的较早图像数据的图像数据1006为竖直图像，并且为子区块的较新图像数据的图像数据1007为水平图像。因此，确定图10J中所例示的模板为最适于所选的三条图像数据的模板，并且确定布局。在步骤S420中，图像布局单元212确定将哪个图像布局在哪个模板的哪个区块上。

在步骤S421中，图像校正单元214进行图像校正。当从图像校正条件输入单元213输入图像校正“开”条件时，图像校正单元214进行图像校正。图像校正包括匀光处理校正(亮度校正)、红眼校正和对比度校正。当从图像校正条件输入单元213输入图像校正“关”条件时，图像校正单元214不进行图像校正。例如，也可对转换的短边尺寸为1200个像素并且具有sRGB色彩空间的图像数据进行图像校正。

在步骤S422中，布局信息输出单元215生成布局信息。图像布局单元212将在步骤S421中进行了图像校正的图像数据布局在步骤S420中确定的模板的每个区块上。在此情况下，图像布局单元212根据关于区块的尺寸信息改变要布局的图像数据的比例。然后，布局信息输出单元215生成其中图像数据布局在模板上的位图数据。

在步骤S423中，布局信息输出单元215确定是否对所有跨页均完成步骤S419至S422中的处理。当布局信息输出单元215确定未完成处理(在步骤S423中为“否”)时，处理返回到步骤S419。另一方面，当布局信息输出单元215确定完成处理(在步骤S423中为“是”)时，图4中所例示的自动布局处理结束。

接下来，将详细描述图4中所例示的步骤S416中的子场景分割。图11是例示根据本发明的示例性实施例相册创建应用的跨页分配单元209进行的子场景分割处理的细节的流程图。接下来，将参照图11描述子场景分割处理。

在步骤S1101中，跨页分配单元209进行子场景分割。如图4中所例示的步骤S416中所述，作为子场景分割方法，跨页分配单元209在日期之间的边界处对具有多个图像的图像组进行分割。对于具有相同数量图像的两个图像组，跨页分配单元209对第一图像与最后图像之间具有较大时间差的图像组进行分割。跨页数量被设置为子场景数量N的初始值。但是，如下文中所述，子场景数量N在某些情况下可能大于跨页的数量。

跨页分配单元209生成包括关于图像被分割成的每个当前子场景的信息的场景信息，并且每当子场景的数量变化时更新场景信息(如下所述)。图12A例示子场景数量N为14时的场景信息的示例。场景ID指示分配给每个子场景的特定ID(在该示例中，场景ID对应于从1到14的数字)。

图12A中所例示的场景信息包括图像数量、对象数量、每个子场景的重要等级及每个子场景中的图像拍摄时段。场景信息还包括图12A中所例示的列表中每个子场景中的最后图像拍摄时间与具有下一场景ID的子场景中的第一图像拍摄时间之间的时间差。图像数量是指图像被分割成的每个子场景中所包括的拍摄图像的数量。对象数量是指每个子场景中所包括的图像中的对象的总数量。在此情况下，对象数量例如对应于在步骤S403中图像分析单元204检测到的面部的数量以及在步骤S405中辨识到的每个对象类型的对象的数量。重要等级指示基于与所指定对象对应的加权每个子场景中所包括的每条图像数据的重要等级的总和值。根据本发明的示例性实施例，在图4中所例示的步骤S410中的主要角色设置和步骤S411中的优先模式设置中，将较高的重要等级设置给包括主要角色人物或优先模式设置中设置的类型的被摄体(对象)的图像。例如，将重要等级“5”设置给包括主要角色人物或包括被赋予优先级的对象类型的图像的图像数据。将重要等级“10”设置给包括主要角色人物和被赋予优先级的对象类型两者的图像。将重要等级“1”设置给包括不是主要角色的人物或未被赋予优先级的对象类型的图像。然后，计算图像组中所包括的图像的重要等级的总和值并将其存储在场景信息中。更具体而言，其中具有包括多个主要角色或被赋予优先级的对象的图像数据的条数越多的场景，越可能被确定为重要场景。重要等级仅需要定义确定场景的重要度的程度，但并不局限于主要角色或对象类型。例如，可以通过将每个对象类型的滑动条用作优先模式指定滑动条(未例示)来计算重要等级。显示人物、宠物和花卉的滑动条作为对象类型的滑动条。用户可按“高级”、“一般”和“低级”三个等级指定每个滑动条的设置值。例如，当将人物滑动条设置为“一般”，将宠物滑动条设置为“高级”而将花卉滑动条设置为“低级”时，将重要等级“5”设置给包括人物的图像数据或者将重要等级“10”设置给包括宠物的图像数据。将重要等级“15”设置给包括人物和宠物两者的图像数据，而将重要等级“1”设置给包括除人物或宠物之外的对象的图像数据。然后，计算图像组中所包括的图像的重要等级的总和值并将其存储在场景信息中。更具体而言，其中具有包括人物的数量比花卉的数量大或者包括宠物的数量比人物的数量大的图像数据的条数越多的场景，越可能被确定为重要场景。如果用户以此方式通过使用滑动条手动设置重要等级，则可根据用户的意愿确定重要场景。在本发明的示例性实施例中，虽然重要场景是基于三个不同对象和三个等级的设置值确定的，但是处理并不局限于此。还可以设置可从图像数据中辨识出的其他对象，并且可以设置多个重要等级设置值。

可以基于从人物面部的数量导出的人物数量计算重要等级。将重要等级“5”设置给包括至少一个人物的图像数据。将重要等级“1”设置给不包括人物的图像数据。然后，计算图像组中所包括的图像的重要等级的总和值并将其存储在场景信息中。更具体而言，其中具有包括多个面部的图像数据的条数越多的场景，越可能被确定为重要场景。

通过将每个个人ID的滑动条用作主要角色设置滑动条(未例示)来计算重要等级。通过每个个人ID的滑动条，用户可按“高级”、“一般”和“低级”三个等级指定每个设置值。例如，当将ID 1设置为“一般”、将ID 2设置为“高级”而将ID 3设置为“低级”时，将重要等级“5”设置给包括具有ID 1的人物的图像数据或者将重要等级“10”设置给包括具有ID 2的人物的图像数据。将重要等级“15”设置给包括具有ID 1的人物和具有ID 2的人物两者的图像数据，或者将重要等级“1”设置给包括具有ID 3的人物或其他人物的图像数据。然后，计算图像组中所包括的图像的重要等级的总和值并将其存储在场景信息中。更具体而言，其中具有包括具有ID 1的人物的图像数据的条数比包括具有ID 3的人物和其他人物的图像数据的条数多的场景以及其中具有包括具有ID 2的人物的图像数据的条数比包括具有ID 1的人物的图像数据的条数多的场景，更可能被确定为重要场景。

当图像数据包括从运动图像数据剪辑的图像时，图像数据的条数增加，可能增加场景的重要等级。因此，可以获取用来识别数据是否为运动图像数据的识别符并且可以从场景的重要等级中减去针对从运动图像剪辑的图像数量的值。例如，将从运动图像剪辑的图像数据的重要等级设置为“0.1”，并且将并非从运动图像剪辑的图像数据的重要等级设置为“1”。然后，计算各条图像数据的重要等级的总和值。更具体而言，可防止将包括多条从运动图像剪辑的图像数据的场景错误地确定为重要场景。

场景信息中所包括的“时段”是图像被分割成的每个图像组(子场景)中所包括的图像的图像拍摄时段，并且指示以图像拍摄时间的顺序布局图像数据时第一个图像数据与最后一个图像数据之间的时间差。

场景信息中所包括的“时间差”是指图像被分割成的图像组(子场景)之间的时间差，并且指示以图像拍摄时间的顺序布局图像数据时目标子场景的结尾与下一个子场景的开头之间的图像拍摄间隔。接下来，将描述图12A中所例示的“删除目标”和“场景合并ID”。

在步骤S1102中，跨页分配单元209从场景信息中删除满足预定删除条件的子场景。根据本发明的示例性实施例，场景信息的“重要等级”0被视为分配到跨页的排除条件。例如，如图12A中所例示，将重要等级0被设置给场景ID“11”。为此，场景ID“11”满足上述条件且因此为要删除的子场景。如上所述，在用户指定优先模式后识别到重要对象类型并且包括该对象类型的被摄体的图像包括在一个图像组中时，所述图像组的重要等级不为0。因此，包括重要对象类型的被摄体的图像不会被删除。

在步骤S1103中，当子场景数量大于跨页数量时，跨页分配单元209合并(组合)子场景。跨页分配单元209重复子场景合并直至场景数量等于跨页数量为止。根据本发明的示例性实施例，例如，所指定的跨页数量为10。如图12A中所例示，跨页分配单元209排除要删除的场景ID为“11”的子场景并且对剩余的13个子场景进行场景合并。合并子场景的方法类似于图4中所例示的步骤S417中所述的场景合并的过程，因而将省略其描述。可以选择任何包括较少图像的场景和任何具有较小时间差的场景作为要合并的子场景。例如，如果场景分类的结果相同，则要合并的子场景可以是包括较少图像的子场景。另一方面，如果场景分类的结果不同，则要合并的子场景可以是具有较小时间差的子场景。图12A中所例示的“场景合并ID”列指示子场景合并的结果。参照图12A，场景ID“2”和“3”指示要合并成场景合并ID为“2”的场景的子场景。图12B例示步骤S1102和S1103中的处理的结果。如图12B中所例示，作为子场景合并的结果，图12A中所例示的场景合并ID已变为图12B中所例示的场景ID。场景合并信息在场景合并时更新。

在步骤S1104中，跨页分配单元209确定每个子场景的场景信息是否满足重要场景的条件。更具体而言，跨页分配单元209使用场景信息评估每个子场景，并且确定评估结果是否满足预定条件。

根据本发明的示例性实施例，跨页分配单元209使用与场景对应的场景信息评估该场景，并且确定该场景是否为重要场景。例如，会将其中具有包括作为图像拍摄目标的主要角色的图像的数量越多的日常生活场景和较长图像拍摄时段及较高图像拍摄频率的旅游场景确定为较重要的图像组(场景)。因此，这些场景可能会保留在跨页中作为值得在跨页上布局的场景。另一方面，会将其中具有包括主要角色和对象的图像的数量较少的场景和较短图像拍摄时段和较低拍摄频率的突然场景确定为较不重要场景，并且可能会将这些场景删除。

当跨页分配单元209确定场景信息不满足重要场景条件(在步骤S1104中为“否”)时，处理进行到步骤S1105。在步骤S1105中，跨页分配单元209设置子场景数量N＝N+1，N是子场景的数量。更具体而言，在步骤S1105中，跨页分配单元209改变子场景的数量，再次进行步骤S1101至S1103中的处理，并且再次进行步骤S1104中的确定。但是，当子场景的数量发生变化时，分割和合并可以不断重复并且无法结束。因此，对子场景数量N设置上限。另一方面，当跨页分配单元209确定子场景数量N达到上限(在步骤S1104中为“是”)时，子场景分配单元209结束图11中所例示的处理而非重设子场景数量N。

根据本发明的示例性实施例，步骤S1104中的确定条件如下。在关于每个子场景的场景信息中，重要场景的条件预定为：图像数量为10或更多，对象数量为10或更多，重要等级为20或更多，图像拍摄时段为1.5小时或更长，以及时间差为12小时或更长。参照图12B中所例示的示例，所有10个子场景均满足条件。因此，在步骤S1104中，跨页分配单元209确定关于每个子场景的场景信息均满足重要场景的条件，并且结束图11中所例示的处理。更具体而言，当跨页分配单元209确定所有多个子场景(多个图像组)均满足重要场景的条件时，跨页分配单元209将所述多个子场景(多个图像组)确定为要在模板上布局的候选子场景，其数量等于所指定的跨页数量。

如上所述，当完成子场景分割处理时，关于所有子场景的场景信息均满足重要场景的条件。更具体而言，当完成子场景分割处理时，所有子场景均可被确定为重要场景。由于子场景数量和所指定的跨页数量如上所述彼此相等，因此跨页分别与图4中所例示的步骤S416中的子场景相关联。确定为重要的场景可保留在跨页中作为值得布局在跨页上的场景，因而能够防止遗失重要场景。

根据本发明的示例性实施例，如上所述，基于用户所指定的优先模式识别重要对象类型，并且将较高重要等级设置给其中具有包括所述对象类型的被摄体的图像的图像组。因此，根据本发明的示例性实施例，基于用户所指定的优先模式，被用户指定为重要对象类型的被摄体可能包括在图像被分割成的所有图像组中。因此，包括用户认为重要的类型的被摄体的图像不包括在图像组中或者仅少数这样的图像包括在图像组中的概率可降低。

根据上述示例性实施例，作为将尽可能多的包括用户所指定的对象类型的被摄体的图像包括在用户所指定的文件夹中的图像被分割成的多个图像组中的每个图像组中的方法，将较高重要等级赋予包括所述对象类型的对象的图像。

但是，所述方法并不限于此。例如，作为步骤S1104中的确定条件，重要图像组(场景)的条件可能为图像组包括预定数量的包括用户所指定的对象类型的被摄体的图像。例如，如果预定数量被设置为1，则至少一个包括用户所指定的对象类型的被摄体(重要对象)的图像可包括在用户指定的文件夹中的图像被分割成的多个图像组中的每个图像组中。

即使根据上述示例性实施例至少一个包括重要对象的图像可包括在多个图像组中的每个图像组中，但在步骤S419中的图像选择中可能也不会选择该图像。因此，可以提供至少一个包括重要对象的图像被选择的条件作为步骤S419中的图像选择的条件。

可在步骤S417中的场景合并中执行图11中所例示的处理。在此情况下，将大于步骤S407中图像被分割成的场景数量(即，跨页数量)的值设置为子场景数量N的初始值。为此，当第一次进行步骤S1101中的处理时，不进行子场景分割。

根据第一示例性实施例，场景信息包括每个子场景的图像数量、对象数量、重要等级、图像拍摄时段和时间差。使用这些场景信息进行步骤S1104中的确定。但是，可以使用图像数据的文本信息作为确定条件来执行步骤S1104中的确定。例如，当从所拍摄的场景的图像数据中获取文本信息时，将所述文本信息存储为场景信息。在步骤S1104中，跨页分配单元209确定所拍摄场景的文本信息是否为代表预定场所名称(诸如旅游景点)的文本信息或者所述文本信息是否与代表用户最喜欢文字的文本信息一致。当跨页分配单元209确定关于所拍摄场景的文本信息为代表预定场所名称的文本信息或所述文本信息与代表用户最喜欢文字的文本信息一致时，跨页分配单元209确定所述场景为重要场景。

当可从图像数据获取个人信息时，所述个人信息被存储为场景信息。在此情况下，个人信息是指例如名称和地址。如果识别特定人物的信息(诸如名称和地址)被视为不适于要在跨页上布局的图像数据，则在此类型图像数据的条数与每个场景中图像数据的条数的比值等于或大于预定阈值时，跨页分配单元209将所述场景确定为不重要场景。例如，在步骤S1104中，跨页分配单元209可以将“重要等级”0设置给其中不在跨页上布局的图像数据与在跨页上布局的图像数据的比值为100％的场景，并且将所述场景设置为在步骤S1102中要删除的场景。

虽然在上述示例中将从图像数据获取的文本信息和个人信息用作步骤S1104中进行确定的条件，但是所述条件并不局限于此。可从图像数据中获取的其他信息也可用作步骤S1104中进行确定的条件。

根据示例性实施例，用户所指定的文件夹中的多个图像被分割成多个场景(图像组)，并且进行处理使得跨页数量等于图像组数量。但是，所述处理并不限于此。例如，跨页分配单元209可以确定所述多个图像以图像拍摄日期和时间的升序和降序排列是否满足作为图像组的条件(步骤S1104中的确定条件)。然后，跨页分配单元209在满足上述条件的图像组的数量达到跨页数量时，可以结束图像组确定处理。在此情况下，包括重要对象的图像包括在图像组中的条件可以用作上述条件。

其它实施例

本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。所附权利要求的范围应当适合最广泛的解释，以便囊括所有这些改动、等同结构和功能。