专利名称：图像评价装置、图像评价方法、程序、集成电路的制作方法
技术领域：
本发明涉及用来配置适当的图像而制作相册的技木。
背景技术：
近年来，通过数字照相机的普及及记录介质的容量増加，一个用户能够拍摄并保存庞大的数量的图像。相反，从庞大的数量的图像中抽取适合的图像而制作相册的作业变得困难。关于这一点，在专利文献I中，记载有支持相册制作的技术。在该专利文献I中，对相册的I个图像插入区域设定目标值后，显示与该目标值相近的图像。
现有技术文献专利文献专利文献I :专利第4315344号公报发明概要发明要解决的问题但是，在制作相册时，并不是将各图像孤立地配置，可以想到如果能够使图像彼此的组合成为有意义的组合，则会成为更容易观看的相册。关于这一点，在专利文献I中，只不过是向I个图像插入区域插入与目标值近似的I张图像的想法，没有公开考虑图像彼此的组合而配置的结构。
发明内容
本发明是基于这样的背景作出的，目的是提供一种能够基于图像间的组合来评价适合于相册的图像的选择及所选择的图像的配置的图像评价装置。用于解决问题的手段为了解决上述问题，本发明的图像评价装置的特征在于，具备模板存储单元，存储模板，该模板具有用于配置图像的N个(N是2以上的自然数)框、从上述N个框中将多个框组合而构成的I个以上的框组、以及有关配置于各框组的图像各自的特征量的评价项目；取得単元，取得多个图像；评价单元，生成多个从取得的多个图像之中选择N张图像并配置在上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；以及评价值存储单元，存储由上述评价单元计算出的每个配置模式的评价值；上述评价单元确定以与存储在上述评价值存储单元中的评价值中的、最上位的评价值对应的配置模式配置的N张图像。发明效果根据本发明的图像评价装置，基于将配置于上述框组的图像各自的特征量组合而得到的评价项目，计算评价值。因此，能够基于图像间的组合来评价适合于相册的图像的选择及所选择的图像的配置。
图I是实施方式I的图像评价系统的模块图。图2是整体流程图。图3是表示图像取得，対象、背景、和事件提取的详细情况的流程图。图4是表示对象聚类的动作的具体例的形象图。图5是表示对象簇信息的数据构造的图。图6是表示背景特征量的提取动作的具体例的形象图。图7是表示背景特征量的数据构造的图。
·
图8是表示事件聚类的动作的具体例的形象图。图9是表示事件簇信息的数据构造的图。图10是表示图像评价的详细情况的流程图。图11是表示对象重要度计算的详细情况的流程图。图12是表示对象重要度的数据构造的图。图13是表示背景重要度计算的详细情况的流程图。图14是表示背景重要度的计算动作的具体例的图。图15是表示背景重要度的数据构造的图。图16是表示图像组评价的详细情况的流程图。图17是表示对象介绍度计算的详细情况的流程图。图18是表示对象介绍度计算的动作的具体例的形象图。图19是表示对象行动度计算的详细情况的流程图。图20是表示对象行动度计算的动作的具体例的形象图。图21是表示场面迁移度计算的详细情况的流程图。图22是表示场面迁移度计算的动作的具体例的形象图。图23是表示场面概观度计算的详细情况的流程图。图24是表示场面概观度计算的动作的具体例的形象图。图25是表示图像组信息的数据构造的图。图26是表示配置模式评价的详细情况的流程图。图27是表示模板信息的数据构造的图。图28是表示配置模式评价的动作的具体例的形象图之一。图29是表示配置模式评价的动作的具体例的形象图之ニ。图30是表示配置模式信息的数据构造的图。图31是表示模板信息的数据构造的图。图32是表示相册显示的例子的图。图33是表示模板选择的例的图。图34中(a)是表示模板信息的数据构造的图，(b)是表示相册显示的例子的图。图35中(a)是表示模板信息的数据构造的图，(b)是表示相册显示的例子的图。图36是表示配置模式信息的数据构造的图。图37是表示框与评价项目的关系的图。
图38中(a)是表示模板信息的例子的图，(b)是表示配置模式和其评价值的图。图39是表示图像的缩减的例子的图。图40是表示图像的缩减的例子的图。图41是表示数式的例子的图。图42是表示数式的例子的图。图43是表示数式的例子的图。图44是表示数式的例子的图。
具体实施例方式
以下，參照附图对本发明的实施方式进行说明。(实施方式I)< 结构 >以下，參照附图对实施方式I进行说明。图I是表示实施方式I的图像评价装置的原理上的结构的模块图。如图I所示，图像评价系统I包括存储介质2、图像评价装置3及显示器4而构成。图像评价装置3具备图像取得部10、对象提取部20 (包括对象特征量提取部21、对象聚类部22)、事件提取部30(包括摄影日期时间信息提取部31、事件聚类部32)、背景提取部40 (包括背景特征量提取部41)、图像评价部50 (包括对象重要度计算部51、背景重要度计算部52)、存储部90 (包括模板信息存储部91、对象簇信息存储部92、对象重要度存储部93、背景特征量存储部94、背景重要度存储部95、事件簇信息存储部96、图像组信息存储部97、配置模式存储部98)、相册信息选择部60 (包括事件簇选择部61、模板选择部62)、图像组评价部70 (包括对象介绍度计算部71、场面迁移度计算部72、对象行动度计算部73、场面概观度计算部74)、配置模式评价部80、显示控制部100。图像取得部10从存储介质2取得图像数据。图像取得部10例如由SD读卡器构成，从插入在SD卡插槽内的作为SD存储卡的存储介质2取得图像数据。对象提取部20从所取得的图像数据提取对象，进行所提取的对象的聚类。具体而言，对象特征量提取部21以由图像取得部10取得的图像数据为对象，从图像切割出拍摄有对象的区域，提取该对象的特征量。并且，对象聚类部22基于所提取的特征量进行聚类，将表示其结果的信息存储到对象簇信息存储部92中。另外，以下设对象是人脸而进行说明。上述提取及聚类可以使用一般的方法。作为一例，关于从图像提取对象特征量的方法，可以使用基于Gabor滤波器的提取方法(參照后述的參考文献I)。此外，关于对象特征量的聚类方法，可以使用非层级性的方法(对固定的簇分别给出代表来聚类的方法)之一的k 一 means法(參照參考文献I)。背景提取部40以由图像取得部10取得的图像数据为对象，提取背景(图像中的除了对象特征量提取部21切割出的区域以外的区域)的背景特征量，将所提取的信息存储到背景特征量信息存储部94中。关于提取背景特征量的方法，将图像进行分区，提取分区后的区域中的频度高的顔色特征量作为代表色，将代表色的直方图作为背景特征量。事件提取部30将由图像取得部10取得的图像数据基于事件进行分类。
即，摄影日期时间信息提取部31以由图像取得部10取得的图像数据为对象，提取对图像附加的摄影日期时间信息。事件聚类部32基于所提取的摄影日期时间信息将图像聚类到多个事件。并且，将表示聚类的结果的信息存储到事件簇信息存储部96中。另外，关于事件的聚类方法，可以使用设定任意的时间作为阈值、将图像彼此的摄影日期时间的差超过阈值的事件作为事件的划分处的方法(參照參考文献2 )。图像评价部50包括对象重要度计算部51和背景重要度计算部52。对象重要度计算部51基于存储在对象簇信息存储部92中的对象簇信息，计算表示拍摄在图像中的人物等对象各自的重要度的对象重要度，将计算出的信息向对象重要度存储部93存储。
作为该计算方法的概括，在图像中出现的对象的出现频度越多的簇，计算为越高的对象重要度。作为一例，假设 图像取得部10取得的图像的张数…100张 拍摄有人物a的图像的张数…30张 拍摄有人物b的图像的张数…20张 拍摄有人物c的图像的张数…10张。在此情况下，对象重要度计算部51根据出现的图像张数，将人物a的重要度计算为30，将人物b的重要度计算为20，将人物c的重要度计算为10 (參照图12)。另外，作为附加性的要素，也可以计算在各图像中拍摄的人物的大小(占有度)，占
有度越大则使重要度越高。背景重要度计算部52基于存储在对象簇信息存储部92中的对象簇信息、存储在事件簇信息存储部96中的事件簇信息和存储在背景特征量信息存储部94中的背景特征量，计算属于某同一事件的图像各自的背景重要度，将计算出的背景重要度向背景重要度存储部95存储。关于该背景重要度的计算方法的详细情况使用图14在后面叙述。存储部90包括模板信息存储部91、对象簇信息存储部92、对象重要度存储部93、背景特征量信息存储部94、背景重要度存储部95、事件簇信息存储部96、图像组信息存储部97、配置模式存储部98。存储部例如可以由RAM构成。相册信息选择部60具有进行与有关相册的信息(事件及模板)的选择相关的处理的功能。特别是，事件簇选择部61具有选择在相册的制作中使用的图像所属的事件的功倉^:。例如，假设在事件簇信息存储部96中存储有3种事件。在此情况下，事件簇选择部61从该3种之中选择I种事件。该选择可以通过向用户将事件选择的菜单显示在显示器4上、受理来自输入设备的输入来进行。模板选择部62从模板信息存储部91存储的多个种类的模板中选择I种模板。模板信息存储部91按照每个模板存储有(a)表示帧的布局等的关于设计的信息、和(b)关于与配置在一对帧中的一对图像相关的评价项目的信息，详细情况在后面叙述。配置模式评价部80针对模板选择部62选择的模板，按照配置了属于事件簇选择部61选择的事件簇的图像时的每个配置模式(复合图像组)计算评价值，将计算出的评价值向配置模式信息存储部98存储。并且，配置模式评价部80制作与评价值为最上位的配置模式对应的相册'。例如，如果设所选择的模板的帧的数量为6个、属于所选择的事件簇的图像的张数为8张，则将8张图像配置到6个帧中的模式如果以排列考虑，则是8!/(8 — 6)!=20160种。在此情况下，配置模式评价部80按照穷举算法(brute force Algorithm),对该20160种全部的配置模式计算评价值。评价值的细节部的计算由图像组评价部70承担。在计算评价值时，使用(a)事件簇信息、(b)对象簇信息、(c)背景特征量、Cd)对象重要度、Ce)背景重要度这些(a) (e)的要素，进行对ー对框配置的一对图像(图像组)的评价。
·
并且，在构成评价值的评价项目中有以下4种，各评价项目的概要、以及在评价的高低中使用的判断要素(在括号内记载简单的理由)的说明如下。(评价项目I)“对象介绍度”…表示向拍摄在图像中的对象的介绍性的适应度。(评价项目I的判断要素)在一对图像中，拍摄有越多种类的人物则越是高评价在一对图像中，拍摄的人物越重要则越是高评价(评价项目2)“对象行动度”…表示某个场面中的对象的行动的程度。(评价项目2的判断要素)在双方图像中拍摄有同一人物是评价的前提条件 拍摄的同一人物的重要度越高则越是高评价 双方图像的背景重要度越高则越是高评价 ー对图像间的背景越类似则越是高评价(因为可推测为图像间为相同场面) 一对图像间的摄影日期时间越接近则越是高评价(因为如果日期时间接近，则可推测为两者的图像处于在相同的场面下摄影的一系列的图像的关系)(评价项目3)“场面迁移度”…表示场面间的转变的程度。(评价项目3的判断要素) 双方图像的背景重要度越高则越是高评价 ー对图像间的背景越不类似则越是高评价(因为可推測为在图像间场面不同) 一对图像间的摄影日期时间离得越远则越是高评价(因为如果日期时间离得较远，则可推測为在该日期时间之间摄影者进行了移动等，从而在图像间场面不同)(评价项目4)“场面概观度”…是用来回顾特定的场面的评价项目，表示在以近摄和远摄拍摄有人物的情况下，该近摄远摄的对比性的程度。(评价项目4的判断要素)在一对图像的至少I张图像中拍摄有人物是评价的前提条件 双方图像的背景重要度越高则越是高评价 拍摄在ー对图像间的人物的大小越不同则越是高评价(表示近摄远摄) ー对图像间的背景越类似则越是高评价 一对图像间的摄影日期时间越接近则越是高评价
以上是4种评价项目I 4的概要。另外，在上面所示的各评价项目I 4的判断要素中列举的只不过是一例，并不限定于此。此外，评价项目2、4的对象行动度、场面概观度这两者是着眼于背景的类似性的项目，可以说是表示在背景类似的图像间有关同一对象簇的变化度的项目。在图像组评价部70中，对象介绍度计算部71、场面迁移度计算部72、对象行动度计算部73及场面概观度计算部74分别计算对象介绍度、场面迁移度、对象行动度及场面概观度。显示控制部100具有使显示器4进行各种显示的功能。特别是，显示控制部100基于存储在配置模式信息存储部98中的配置模式的评价值和存储在模板信息存储部91中的模板信息，将按照某种配置模式(例如，评价值最高的配置模式)对作为相册的衬纸的模板嵌入图像而成的相册显示在显示器4的画面上。 〈动作〉以下，对评价图像的配置模式为止的流程进行说明。图2是表示整体的处理的流程的流程图。图像评价装置3进行图像取得和对象、背景及事件提取(S21)、图像评价(S22)，从事件簇信息存储部96取得事件簇信息，从所取得的多个事件簇中，通过从用户受理而选择用户想要做成相册的事件(S23)，从模板信息存储部91取得模板信息，用户选择要作为相册的衬纸的模板(S24)。接着，从属于所选择的事件簇的图像群中设定两张图像(一对图像)(S25)，进行所设定的一对图像的图像组评价(S26)，如果不是设定了属于事件簇的全部的图像的组合(S27 :否)，则回到S25，设定还没有组合的两张图像。此外，如果设定了属于事件簇的全部的图像的组合(S27:是)，则进行配置模式评价(S28)，并结束处理。接着，參照图3对步骤S21的图像取得和对象、背景及事件提取的处理进行说明。如图3所示，图像取得部10从存储介质2取得存储在存储介质2内的图像数据(S31)。这里，作为一例，假设在存储介质2内存储有如图4的拍摄有人物a、人物b的图像A 图像C这3张的图像数据，图像取得部10取得该图像A 图像C的图像数据。接着，对象提取部20以所取得的图像数据为对象，从图像中切割出脸部区域，提取脸部的轮廓等特征量、脸部相对于图像的拍摄比例(占有度)等脸部特征量(S32)。并且，对象聚类部22使用所提取的脸部特征量进行聚类，将作为聚类的结果的对象簇信息存储到对象簇信息存储部92中(S33)。接着，背景提取部40的背景特征量提取部41以所取得的图像数据为对象，提取背景特征量，向背景特征量信息存储部94存储(S34)。该背景特征量，是与图像的背景的区域(图像中的、除了作为对象切割出的区域以外的区域)的顔色特征量有关的信息。其详细情况使用图6在后面叙述。并且，事件提取部30的摄影日期时间信息提取部31以所取得的图像数据为对象，从由数字照相机等对所拍摄的图像赋予的Exif (Exchangeable image file format)信息中提取摄影日期时间信息(S35)。并且，事件聚类部32使用所提取的摄影日期时间信息进行聚类，将作为聚类的结果的事件簇信息向事件簇信息存储部96存储(S36)。使用图4具体地说明步骤S32、S33的动作，对象特征量提取部21从3张图像A 图像C (图4 (a))中切割出4个脸部Fl F4，提取脸部Fl F4各自的特征量(图4 (b))。并且，对象聚类部22将4个脸部Fl F4中的类似的脸部彼此的脸部F2、F3聚类为人物a，此外将脸部F1、F4聚类为人物b (图4 (C))。图5是示出表示对象聚类(S33)的结果的对象簇信息的数据构造的图。对象簇信息是表示在图像中出现的脸部分别属于哪个人物簇的信息，包括“对象簇名”、“脸”、“图像”、“脸的占有度”的项目。使用图6具体地说明步骤S34的动作，背景特征量提取部41对3张图像A 图像C (图6 (a))分别划分为32个区域(图6 (b))，从中提取在作为脸部以外的区域的背景区域的分区中最频繁出现的颜色作为该分区的代表色，计算基于所提取的代表色的各图像的顔色直方图作为背景特征量(图6 (C))。 并且，为了去除由脸部区域的大小引起的偏倚，对各背景特征量乘以(32个/背景区域的个数)(正规化)。具体而言，对图像A、图像B、图像C的各背景特征量分别乘以32/18、32/25、32/22。另外，这里作为一例，计算分成各图像的上部和下部的分别5种颜色的代表色(黑、白、红、绿、蓝)的直方图，作为图像A、B、C各自的背景特征量。背景特征量提取部41将正规化后的各背景特征量向背景特征量信息存储部94存储(參照图7)。使用图8具体地说明步骤S35、S36的动作，摄影日期时间提取部31从4张图像A 图像D (图8 (a))分别提取摄影日期时间(图8 (b))。作为摄影日期时间的提取方法，例如能够从由数字照相机等对所拍摄的图像赋予的Exif信息中提取摄影日期时间。并且，事件聚类部32将4个摄影日期时间中的、日期时间接近的图像彼此的图像A、B聚类为事件f，此外将图像C、D聚类为事件g (图8 (C))。图9是示出表示事件聚类(S36)的结果的事件簇信息的数据构造的图。事件簇信息是表示图像属于哪个事件簇的信息，包括“事件簇名”、“图像”、“摄影日期时间”的项目。回到图2继续说明。接着，使用图10对图像评价(S22)的处理进行说明。图像评价部计算算出在图像中拍摄的对象的重要度的对象重要度(S101)，接着计算图像的背景的重要度(S102)。使用图11对计算对象重要度的处理(SlOl)进行说明。对象重要度计算部51从对象簇信息存储部92取得对象簇信息(SI 11)。对象重要度计算部51基于所取得的对象簇信息按照每个对象簇计算对象重要度(S112)。例如，按照每个对象簇，计数在图像中拍摄的对象所属的对象簇的数量，根据计数的数量求出出现频度。并且，以与出现频度成比例的方式计算对象重要度。这考虑到了用户会频繁地拍摄用户认为重要的对象的倾向，依据如下设想在全部的图像中出现频度高的对象应是重要的。图12是示出表示对象重要度计算的结果的对象重要度的数据构造的图。对象重要度存储部93存储的对象重要度是表示拍摄在图像中的对象的重要度的信息，包括“对象簇名”、“对象重要度”、“位次”的项目。这里，作为一例，假设拍摄在图像中的人物a、人物b及人物c各自的对象重要度为30、20、10，并且被赋予了基于该重要度的位次。
回到图10，继续说明关于图像评价的处理。接着，使用图13对计算背景重要度的处理(S102)进行说明。背景重要度计算部52从事件簇信息存储部96取得事件簇信息，从背景特征量信息存储部94取得背景特征量(S131)。背景重要度计算部52基于所取得的事件簇信息和背景特征量，确定属于用户在步骤S23 (參照图2)中选择的事件簇的图像群。并且，从所确定的图像群中计算任意的两张图像间的背景特征量的类似度(S132)。例如，如果设所选择的事件簇的图像群为从图像C到图像F的4张(參照图14)，则背景重要度计算部52从该4张中，对两张图像的各组合(有4C2=4*3/2=6种。)，分别计算背景特征量的类似度。接着步骤S132，背景重要度计算部52针对属于所选择的事件簇的图像群的各图像，计算该图像与其以外的其他图像的背景特征量的类似度的总和作为对象图像的背景频度(S133)。 例如，如果设所选择的事件簇的图像群为从图像C到图像F的4张(參照图14)，则图像C的背景频度为将图像C与图像C以外的图像D 图像F中的某I张组合的背景特征量的类似度的总和。即为，图像C的背景频度=图像CD间的背景特征量的类似度+图像CE间的背景特征量的类似度+图像CF间的背景特征量的类似度。这考虑到了在事件中用户在重要的场面频繁地进行摄影的倾向，类似的背景的图像数越多(背景频度越高)，则认为拍摄有该背景的图像是越重要的场面。接着，背景重要度计算部52从对象簇信息存储部92取得对象簇信息，从对象重要度信息存储部93取得对象重要度(S134)。背景重要度计算部52基于所取得的对象簇信息、对象重要度信息、和在S132中计算出的图像间的背景特征量的类似度，计算表示在与拍摄在图像中的背景类似的背景的图像中一起拍摄(同时出现)重要的人物的程度的对象共现度(S135)。这考虑到了在事件中用户在重要的场面中频繁地摄影人物的倾向，认为与拍摄人物的背景类似的背景的图像是重要的图像。并且，背景重要度计算部52基于计算出的图像的背景频度和对象共现度计算背景重要度，存储到背景重要度信息存储部95中(S136)。使用图14具体地说明步骤132 136。图14(a)的图像C 图像F中的图像C 图像E是在岸边摄影的图像，相对于此，只有图像F是在道路上摄影的图像。因此，从图像C到图像E将两张组合时的背景类似度(是0 I的范围，0表示最不类似，I表示最类似)为比较高的值。例如，图像CE间是0. 8，图像DE间是0. 7。相对于此，在包括图像F在内组合两张时的背景类似度为较低的值，图像CF间、图像DF间及图像EF间都是0. I。图14 (b)表示计算背景频度的例子，图像E的背景频度(I. 6)为图像CE间(0. 8)、图像DE间(0. 7)及图像EF间(0. I)的背景特征量的类似度的总和。图14 (C)表示计算人物共现度(对象共现度)的例子。人物共现度通过将拍摄在图像C、D中的人物的重要度与计算出的背景特征量的类似度分别相乘、求计算出的值的总和来计算。并且，将计算出的背景类似度与人物共现度相乘，计算背景重要度(图14 (d))。在图14中，作为一例，从图像C 图像F的图像中，计算图像E与图像F的背景重要度。在此情况下，与拍摄有人物的图像的背景类似的图像E的背景重要度被较高地计算出，图像F的背景重要度被较低地计算出。图15是示出表示背景重要度计算(S136)的结果的背景重要度的数据构造的图。背景重要度是表示背景的重要度的信息，该背景是拍摄在图像中的对象以外的区域，并且表示事件的场面，该背景重要度包括“图像ID”、“背景重要度”、“位次”的项目。这里，作为一例，存储有图像A、B各自的背景重要度0. 6、0. 4、以及基于背景重要度的位次。回到图2继续说明。接着，使用图16对图像组评价(S26) 的处理进行说明。图像组评价部70基于经过图2的步骤S23 S25设定的两张图像(图像组)，进行以下的4种评价。首先，计算对象介绍度，该对象介绍度用于评价拍摄有分别不同的重要人物的图像的组合(S161)。接着，计算对象行动度，该对象行动度用于评价在同一个重要的场面中拍摄有同ー个重要人物的图像的组合(S162)。接着，计算场面迁移度，该场面迁移度用于评价分别不同的重要的场面的图像组合(S163)。并且，计算场面概观度，该场面概观度用于评价在同一个重要的场面中以近摄和远摄拍摄有重要人物的图像的组合(S164)。通过该4种评价，能够导出知道事件的參加者的图像组(对象介绍度)、知道特定的參加者在事件中进行的行动的图像组(对象行动度)、知道在事件中參加者进行的场所的图像组(场面迁移度)、知道特定的场所的详细情况的图像组(场面概观度)。S卩，通过这4种评价，能够导出有效率地回顾在事件中谁在哪里在怎样的场所做了什么的图像的组合。接着，对这4种图像组的评价的计算方法具体地说明。使用图17对计算对象介绍度的处理(S161)进行说明。对象介绍度计算部71从对象簇信息存储部取得对象簇信息，从对象重要度信息存储部取得对象重要度(S171)。对象介绍度计算部71基于所取得的对象簇信息和对象重要度信息，如果在所设定的两图像中没有拍摄有对象(S172 :否)，则转移到图16的步骤162，相对于此，如果在两图像中拍摄有对象(S172 :是)，则将拍摄在两图像中的各对象的重要度以总和计算对象介绍度，将计算出的对象介绍度向图像组信息存储部存储(S173)。这考虑到了在事件中用户回顾參加的全部的成员的倾向，认为越是拍摄有分别不同的重要人物的图像组，则是越重要的图像组。使用图18具体地说明步骤173，对象介绍度计算部71从8张图像G 图像N (图18 (a))中，例如在图像组GH (图像G和图像H的组合)中，求出拍摄在图像G中的人物b、C、和拍摄在图像H中的人物a的对象重要度的总和，将该总和作为图像组的对象介绍度计算(图 18 (b))。在图18 (b)中，根据岸边处的图像G 图像I、海上的图像J 图像M、道路上的图像N的8个图像，计算图像组GH和图像组JK (图像J和图像K的组合)的对象介绍度。在此情况下，家属全体聚齐的图像组GH的对象介绍度被较高地计算出，家属没有聚齐的图像组JK的对象介绍度被较低地计算出。另外，在图18 (b)左下部所示的图像组HJ中，由于图像H、图像J都拍摄有作为同一人物的人物a，所以不将对象重要度相加。这是因为考虑到同一人物的组合对于多种多祥的人物的介绍没有贡献(不同的人物的组合更好)。使用图19对计算对象行动度的处理(S162)进行说明。对象行动度计算部73从对象簇信息存储部92取得对象簇信息，从对象重要度信息存储部93取得对象重要度，从背景特征量信息存储部94取得背景特征量，从背景重要度信息存储部95取得背景重要度，从事件簇信息存储部96取得摄影日期时间信息(S191)。对象行动度计算部73基于所取得的对象簇信息，如果在设定的两图像中没有拍摄有同一对象(S192 :否)，则转移到图15的步骤163，如果在两图像中拍摄有同一对象(S192:是)，则计算图像间的背景特征量的类似度(S193)，接着计算图像间的摄影日期时间 的间隔(S194)。并且，基于计算出的背景特征量的类似度、摄影日期时间的间隔和两图像的对象重要度及两图像的背景重要度计算对象行动度，将计算出的对象行动度向图像组信息存储部97存储(S195)。这考虑到了用户回顾參加事件的家庭成员做了什么的倾向，认为越是在同一场面中拍摄了同一重要人物的图像组，则是越重要的图像组。使用图20具体地说明步骤S193 S195。图20的8张图像G 图像N是属于某个相同事件的事件簇的图像群。对象行动度计算部72从图像G 图像N之中，确定拍摄有同一对象的图像组HJ、几、HL作为计算对象。在图20 (b)中，表示在这些图像组中关于图像组HJ、JL的对象行动度的计算的流程。S卩，在图像组HJ (图像H与图像J的组合)中，提取在两图像中拍摄的人物a的对象重要度，计算图像H、图像J的背景重要度的平均，计算图像HJ间的背景特征量的类似度，计算图像HJ间的摄影间隔。另外，作为背景特征量的类似度的计算方法，可以使用直方图交集(參照參考文献3)。此外，关于图像间的摄影间隔(是0 I的范围，0表不摄影间隔最远，I表不最接近)，基于属于事件的全部图像各自的摄影日期时间，计算图像间的摄影间隔，使用以使计算出的全部的摄影间隔成为0 I的范围的方式进行正规化后的值。并且，将所提取的对象重要度、计算出的背景重要度的平均、背景特征量的类似度和摄影日期时间的间隔相乗，计算图像组HJ的对象行动度。在图20 (b)中，作为一例，从岸边处的图像G 图像I、海上的图像J 图像M、道路上的图像N的8张图像，计算图像组HJ和图像组JL (图像J与图像L的组合)的对象行动度。在此情况下，在同样的背景的场面拍摄有相同的人物的图像组几的对象行动度被较高地计算出，虽然是相同的人物但在不同的背景的场面中拍摄的图像组HJ的对象行动度被较低地计算出。
使用图21，对计算场面迁移度的处理(S163)进行说明。场面迁移度计算部72从背景特征量信息存储部94取得背景特征量，从背景重要度信息存储部95取得背景重要度，从事件簇信息存储部96取得摄影日期时间信息(S211)。场面迁移度计算部72基于所取得的背景特征量、背景重要度和摄影日期时间信息，计算设定的两张图像的背景特征量的不类似度(=1 ー类似度)(S212)，接着计算图像间的摄影日期时间的间隔(S213)。并且，基于计算出的图像间的背景的不类似度、摄影日期时间的间隔和两图像的背景重要度，计算背景迁移度，向图像组信息存储部存储(S214)。这考虑到了用户回顾进行了事件的多个场面的倾向，认为越是拍摄有不同的场面的图像组，则是越重要的图像组。使用图22具体地说明步骤S212 S214，场面迁移度计算部72根据8张图像G 图像N (图22 (a))，例如在图像组頂(图像I与图像M的组合)中计算两图像的背景重要 度的平均，计算图像间的背景特征量的不类似度和摄影日期时间的间隔。另外，图像间的背景特征量的不类似度通过从I减去背景类似度后的值计算。即，图像组頂的不类似度为从I减去图像组頂的类似度0. 2而得到的0. 8。并且，将计算出的背景重要度的平均、背景特征量的不类似度、和摄影日期时间的间隔相乘，计算图像组頂的场面迁移度(图22 (b))。在图22中，作为一例，从岸边处的图像G I、海上的图像J M、道路上的图像N的8个图像，计算图像组頂和图像组丽(图像M与图像N的组合)的场面迁移度。背景重要度的平均高、且场面迁移的可能性高的图像组的组合的场面迁移度被评价得高。这是因为，背景重要度的平均高，就是指摄影张数多、用户认为重要的图像组的可能性高。此外，假设不类似度越高、且摄影日期时间间隔越大，则场面迁移的可能性越高。这是因为，背景不类似、摄影日期时间上有间隔的图像组可推測为用户移动而场面发生了变化。另外，由于场面迁移度是与人物相比更着眼于场面的迁移的变量，所以也可以从计算对象中排除拍摄有人物的图像组。S卩，也可以仅将组合了图22 (a)的8张图像中的、没有拍摄人的3张图像I、图像M及图像N的图像组作为计算对象。或者，即使不从计算对象中排除，也可以关于包括对象的图像组，评价得低。在图22 (b)中，对于背景重要度更高、摄影日期时间的间隔更大的图像组IM，与图像组MN相比计算出了更高的场面迁移度。使用图23，对计算场面概观度的处理(S164)进行说明。背景概观度计算部74从背景特征量信息存储部94取得背景特征量，从背景重要度信息存储部95取得背景重要度，从事件簇信息存储部96取得摄影日期时间信息，从对象簇信息存储部92取得对象簇信息，从对象重要度信息存储部93取得对象重要度(S231)。场面概观度计算部74基于所取得的信息，如果在设定的两图像中没有拍摄有对象(S232 :否)，则转移到图2的步骤S28，如果在设定的两张图像的某个中拍摄有对象(S232 :是)，则计算图像间的对象占有差异度(S233)。对象占有差异度，是在图像间该对象被拍摄出的大小相对于在两图像中拍摄得最大的对象的差量。接着，计算图像间的背景的类似度(S234)。接着，计算图像间的摄影日期时间的间隔(S235)。并且，基于计算出 的对象占有差异度、背景的类似度和摄影日期时间的间隔，计算背景概观度，向图像组信息存储部97存储(S236)。该场面概观度考虑了用户回顾进行了事件的场面的详细情况的倾向，认为越是在同一场面(=背景特征量的类似度高、摄影日期时间间隔近)将人物以近摄和远摄拍摄(=占有差异度高)的图像组，在回顾事件上是越重要的图像组。使用图24具体地说明步骤S233 S236，场面概观度计算部74从8张图像G 图像N对例如图像组HI (图像H与图像I的组合)，计算图像间的对象占有差异度、背景特征量的类似度和摄影日期时间的间隔。在对象占有差异度的计算中，在两图像中拍摄有人物的情况下，计算两图像的人物被拍摄的大小的差，但在图像组HI的情况下，由于仅在图像H中拍摄有人物，所以将拍摄在图像H中的人物被拍摄的大小(占有度)作为对象占有差异度。并且，将计算出的对象占有差异度、背景特征量的类似度、与摄影日期时间的间隔相乘，作为图像组HI的场面概观度计算(图24 (b))。这里，作为一例，从岸边处的图像G I、海上的图像J M、道路上的图像N的8个图像，计算图像组HI和图像组LM (图像L与图像M的组合)的场面概观度。在此情况下，在相同的场面在一方中将人物拍摄得较大的图像组HI的场面概观度被较高地计算出，在相同的场面在一方中将人物拍摄得较小的图像组LM的场面概观度被较低地计算出。另外，为了将拍摄有重要人物的图像组的场面概观度评价得较高，也可以使用拍摄在图像组中的对象重要度来计算场面概观度。图25是示出表示图像组评价计算的结果的对象介绍度、对象行动度、场面迁移度、场面概观度的数据构造的图。图像组信息存储部97以图25的表97a那样的构造存储对象介绍度，对象介绍度是用于从属于事件簇的两张图像的组合对分别拍摄有不同的重要人物的图像组进行评价的信息。此外，对象行动度是用于从属于事件簇的两张图像的组合对拍摄有同一个重要人物的图像组进行评价的信息，以图25的表97b那样的构造存储。场面迁移度是用于从属于事件簇的两张图像的组合对分别拍摄有不同的场面的图像组进行评价的信息，以图25的表97c那样的构造存储。场面概观度是用于从属于事件簇的两张图像的组合对在同一个场面以近摄和远摄拍摄有重要人物的图像组进行评价的信息，以图25的表97d那样的构造存储。这里，作为一例，将利用8张图像G 图像N的组合计算出的对象介绍度、对象行动度、场面迁移度、场面概观度以表构造存储。另外，在图25的表97a 97d中，仅记入了与图18、图20、图22、图24对应的值而省略了其余部分的值，但实际上记入具体的值、或者如果是不计算值的评价项目则记入“一”。回到图2继续说明。接着，使用图26对配置模式评价(S28)的处理进行说明。配置模式评价部80从模板信息存储部91取得模板信息，从图像组信息存储部97取得图像组评价彳目息，从事件族彳目息存储部96取得事件族/[目息(S261)。
配置模式评价部80基于所取得的信息，从属于用户所选择的事件簇的图像群中，选择包含在用户所选择的模板信息中的帧数的张数的图像，生成将其配置到帧中的情况下的配置模式(S262)。接着，基于对包含在模板信息中的两个帧间的图像组定义的评价项目，计算设定的配置模式的评价值，向配置模式信息存储部98存储(S263)。接着，在属于所选择的事件簇的图像群中，如果没有在全部的配置模式下计算出配置模式的评价值(S264:否)，则回到步骤262，如果在全部的配置模式下计算出了评价值(S264 :是)，则配置模式评价部80使用最高的位次的配置模式制作相册(S265)。并且，显示控制部100将制作出的相册向显示器4显示(S266)。图27是表示模板信息的数据构造的图。
·
模板信息包括“设计(布局)”、“评价项目”、“帧间的评价项目”。在图27中，作为一例仅表不模板A的模板信息的详细情况,但关于模板B、模板C也为同样的数据构造。作为模板A的“设计”，包括与帧的布局有关的信息(巾贞的坐标位置、大小、角度)、与各个帧有关的信息(帧的背景的顔色、图案、框的装饰等)、与相册的衬纸的设计有关的信息(衬纸的尺寸、衬纸的背景色等)等。在图27中，用简单的形象表示，但实际上以规定的数据库形式保存有各种參数。在模板A的“评价项目”中，包括与图像的特征量有关的条件的种类。在该例中，作为帧彼此的组合的条件，有想要嵌入的图像的组合的对象介绍度(01)、对象行动度(0A)、场面迁移度(ST)、场面概观度(SO)的4种条件。模板A的“帧间的评价项目”为了导出容易回顾事件的配置模式而包括想要采用为在ー对帧上配置的一对图像的评价项目的对应表。该对应表中，例如关于ー对帧ab，与对象介绍度(OI)建立了对应。使用图28具体地说明步骤S262 S263。这里，假设用户选择的模板(图2 S24)是模板A。在模板A中，有帧a 帧f 的6个帧。因此，配置模式评价部80求出从8张图像G 图像N (图28 Ca))选择6张图像并在6个帧上排列的8P6=8!/ (8-6) !=20160种组合的配置模式Pl P20160。接着，配置模式评价部80按照每个配置模式，基于由模板A的“帧间的评价项目”规定的帧间的条件，计算配置模式评价值(图29)。如图29所示，配置模式评价值通过将由模板A的“帧间的评价项目”(參照图27)规定的 帧 ab 间的 OI 帧 ac 间的 SO 帧 be 间的 SO 帧 cd 间的 ST 帧 de 间的 SO 帧 df 间的 SO 帧 ef 间的 OA
的全部评价项目相加来求出。在图29的例子中，计算出了配置模式Pl及配置模式P20160的配置模式评价值，配置模式P20160的评价值200比配置模式Pl的评价值100更高。图30是示出表示配置模式评价计算的结果的配置模式评价值的数据构造的图。配置模式评价值是表示基于所选择的事件图像群和模板的、能够有效率地回顾事件的图像组合的评价的信息，包括“配置模式ID”、表示包含在模板中的帧的“模板A的模式”、“配置模式评价值”、“位次”的项目。这里，作为一例，存储有针对图29的Pl和P20160的配置模式的模板a的各自的配置模式评价值100和200、以及基于该配置模式评价值的位次。其中，特别是最高的位次(最高的评价值)的配置模式P20160是最满足模板A的各 评价项目的模式，所以可以设为遵循该配置模式P20160的相册是按照用户的要求的。在图28 图30中说明的例子中，图像的张数为8张较少，但特别在用户在事件中摄影而保有的图像的张数庞大的情况下，用户自身以手动制作相册非常费工夫，所以如果采用本实施方式则是有效的。此外，即使上述庞大的图像是与家庭旅行的事件有关的图像，也可以通过使用上述4种评价项目评价图像组，选择能够有效率地回顾事件的图像的组合、自动制作相册。家庭旅行的图像与结婚典礼的图像等不同，没有标准的图像的构图模式，认为通过以往技术的方式难以自动制作家庭旅行的相册'。相对于此，根据本实施方式，对于家庭旅行的相册的自动制作也能够作出贡献。< 补充 1>以上，对本实施方式进行了说明，但本发明并不限定于上述内容，在用来达到本发明的目的和与其关联或附属的目的的各种形态中也能够实施，例如，也可以是以下这样。(I)相册的显示例图31是表示模板信息存储部91存储的模板A的另一例的图。基本上与图27是同样的，但模板A包括“评价项目，注释”栏这一点不同。该“评价项目，注释”栏表示将对评价项目的注释建立了对应。例如，对于对象介绍度(01)，将“是这样的成员”的注释建立了对应。也可以利用这样的对应建立，在自动制作的相册的帧间显示注释。将该显示例表示在图32中。图32 (a)表示使用配置模式评价值的位次为最上位(I位)的配置模式P20160制作的相册320a，图32 (b)表示配置模式评价值的位次为最下位(20160位)的配置模式Pl制作的相册320b。如图32所示，在帧ab间，如“是这样的成员”的注释那样，显示有与由图31的模板A规定的各帧间的评价项目对应的注释。通过这样显示注释，能够使用户知道在制作相册时考虑的帧间的关系。能够做成用户的满意度更高的相册，此外，能够减轻以手动插入注释的用户的工夫。另外，在相册320a中，在帧ab中分别配置了拍摄有人物的图像H、图像G，与“是这样的成员”的注释相符。相对于此，在相册320b中，在帧ab中分别配置了没有拍摄有人物的图像L、图像I，与“是这样的成员”的注释不相符，是不匹配的。
将两相册320a、320b可知，相册320a完成为更适当的相册。(2)模板的选择例对在图2的步骤S24中说明的模板选择的用户接ロ的例子加以说明。图33表示模板选择部62选择在显示器4上显示的模板的画面330。 模板选择部62读出存储在模板信息存储部91中的3种模板A C，显示在画面330上。并且，经由未图示的输入装置从用户受理模板的选择。(3)模板的例子在实施方式中说明的模板A使用了 4种评价项目(參照图31)，但4种评价项目并不都是必须的，也可以将其中的任意的评价项目组合而作为模板。在图34 (a)中表示模板B的模板信息的数据构造。模板B是仅包括两个帧ab的简单的模板，作为帧ab间的评价项目而将对象介绍度建立了对应。在图34 (b)中表示使用模板B的制作出的相册的例子。(4)相册的例子在实施方式中，举出在衬纸上的帧上粘贴图像的形式的相册为例进行了说明，但并不限定于此，也可以是幻灯片放映型的相册。作为一例，在图35 Ca)中表示模板B’的模板信息的数据构造。模板B’的“设计(布局)”包括表不分别与幻灯片放映中的幻灯片编号I 5对应的幻灯片的信息。例如，幻灯片编号3与幻灯片框a建立了对应，幻灯片编号4与幻灯片框b建立了对应。此外，模板B’的“帧间的评价项目”表示使用对象介绍度评价ー对幻灯片框ab。在图35 (b)中，表示使用模板B制作出的相册的例子。(5)配置模式评价值计算的处理的流程在实施方式中，如图26的S262 S264所示，假设对所生成的全部配置模式计算各自的评价值(穷举法)。但并不限定于此，例如，也可以是，如果在步骤S263中计算出的评价值是阈值以上，则在该时点中断评价值计算处理而转移到步骤S265。(6)模板的构成框组的框的数量在实施方式中，模板的“帧间的评价项目”(參照图27)由两个框的组构成，但并不限定于两个。也可以将比两个大的个数的框作为框组。例如，也可以将3个框构成为框组。作为一例，在模板中，对由3个帧的帧123构成的框组，定义某评价项目。并且，可以将配置于该框组的3个图像ABC各自的特征量组合来评价评价的高低。另外，在运算时，也可以通过在步骤S25 (图2)中设定3张图像而预先计算3张图像组的评价值，用于配置模式的评价。但是，为了减轻运算量(为了能够援用两个图像组的评价值)，图像ABC的3张图像组的评价值也可以将图像AB、图像BC及图像AC交叉相乘、使用每两个图像组的评价值的平均值来计算。此外，也可以为两个框组和3个框组混合存在的模板。说明具体例，在图37 (a)的例子中，对于由帧123构成的框组，将场面迁移度(ST)的评价项目建立了对应。
该场面迁移度可以将帧12的场面迁移度ST12、帧23的场面迁移度ST23、及帧13的场面迁移度ST13的3者交叉相乘来求出。这样的框组有用于从在3个场所游玩的事件的图像中取出3个场所移转的图像的组合。此外，在图37 (b)的例子中，对于由帧1234构成的框组，将对象介绍度(01)的评价项目建立了对应。这样的框组有用于从4人家庭的用户户摄影的家人的图像中取出拍摄有家人的每个人的图像的组合。(7)模板的不參与到框组中的框在实施方式中，在模板的“帧间的评价项目”(參照图27)中，帧ab、ac、bc、cd、de、df、ef的7个框组与评价项目建立了对应。这样，帧a f的全部的帧成为构成至少I个框组的帧。换言之,构成上述7个框组的框包括了 6个上述N个框的全部。
因此，在制作出的相册中，相册内的全部帧是与评价项目有关系的帧，所以在全部帧中能够反映帧间的联系，能够做成使帧间具有有机的关系性的相册。(8)模板的“帧间的评价项目”也可以对图27的“帧间的评价项目”追加权重的项目。通过这样，在模板内有重要的帧(例如，框的区域比其他大、框的位置是中央等)的情况下，能够比其他帧更优先地基于该重要的帧所附帯的权重值进行适当的评价。( 9 )使用多个模板的评价在实施方式中，在配置模式评价(图26)中，使用I个模板进行评价，但并不限定于此，也可以将多个模板作为评价对象。例如，如图36所示，也可以针对模板A及模板D计算各配置模式的评价值。这样的处理例如可以通过在图2的步骤S24中自动地选择(或从用户受理)模板A及模板D、并且将图26的步骤S261 S264的处理按照所选择的每个模板重复来实现。另外，图36的例子的模板D具有6个帧这一点与模板A是同样的，但设计及帧间的评价项目与模板A不同。在图36的例子中，可以考虑使用评价值为最大的评价值240的模板D的配置模式Pd2自动制作相册。通过这样，能够自动地决定最优的模板和使用该模板的最优的配置模式。(10)配置模式的计数方式在实施方式中，区分了模板A的帧a f的6个帧，所以将8张图像配置到6个帧中的模式为8P6=20160种，以这样的排列考虑的处理方式在重视各帧的个性(模板中的帧的位置、帧的装饰、帧的大小等)的情况下是最优的，但并不限定于此。S卩，也可以不将6个帧区分而以组合考虑，使将8张图像配置到6个帧中的模式为8C6=28种而进行处理。如果这样，则有減少计算量的优点。(11)在相册制作中使用的配置模式在实施方式中，使用最高位次的配置模式制作相册(图26 :S265)，但并不限定于此。例如，也可以使用最上3位以内的配置模式制作对应的3个相册，将制作出的相册的ー览向用户显示。(12)单ー框的例子
在实施方式中，通过向多个框(框组)插入的图像的组合计算评价值，但并不是模板的全部框仅由框组构成。例如，也可以在模板的框的一部分中、将I个评价项目与I个框(单ー框)建立对应。图37 (a)的模板D包括8个帧(帧I 8)，帧I与人物重要度、帧2与背景重要度的评价项目建立了对应。这样，帧I、2中，框与评价项目ー对一地对应。此外，帧3、4与对象介绍度(01)、帧5、6与场面迁移度(ST)、帧7、8与场面概观度 (SO)的评价项目建立了对应。在图37 (b)中表示模板D的配置模式和其评价值的例子。(13)框与评价项目的关系在实施方式中，主要将I个评价项目与I个框组建立对应而进行了说明，但也可以将多个评价项目与I个框组建立对应。此外,也可以将多个评价项目与在(12)中说明的单
ー框建立对应。( 14)配置模式数的削减在实施方式中，假设将在模板的框中配置了图像时的配置模式全部生成(图26的S264等)，但为了减轻关于评价值计算的处理负荷，也可以减少计算评价值的配置模式的数量。第I个削减方法是基于各图像的背景重要度将在配置模式的生成中使用的图像的数量缩减的方法。使用图39进行说明。在图39的例子中，有30张属于某个事件的图像。配置模式评价部80将30张图像各自的背景重要度以降序排序，缩减为上位15张(S391)。并且，配置模式评价部80将缩减后的图像用于配置模式的生成(S392 )。例如，在模板的框的数量是4个的情况下，30张图像的配置模式达到657，720(=30X29X28X27)种，但通过进行这样的缩减，能够削减为32, 760 (=15X 14X 13X 12)种。第2个削减方法是将图像群划分为场景、基于各场面的图像群的平均场面重要度将场面缩减、利用缩减后的场面生成配置模式的方法。使用图40进行说明。在图40的例子中，对属于某个事件的30张图像，配置模式评价部80将图像划分为场景I 8，按照各场景求出该场景内的图像的背景重要度的平均值作为场景重要度，基于所求出的场景重要度缩减场景。并且，配置模式评价部80将场景重要度相对高的场景2、4、6、7、8内的21张图像用于配置模式生成(S402 )。例如，在模板的框的数量是4个的情况下，30张图像的配置模式达到657，720(=30 X 29 X 28 X 27)种，但通过进行这样的缩减，能够削减为143, 640 (=21 X 20 X 19 X 18)种。特别是，在以场景单位组合的情况下，能够削减为600 (=3X5X8X5)种。另外，场景重要度的计算方法并不限定于以上所述的使用图像的背景的重要度的方法，也可以使用考虑图像的对象的重要度的计算方法、反映用户的嗜好而计算的方法等其他一般的方法。(15)数式的例子
以下，说明用于评价在实施方式中说明的值的数式的例子。背景类似度可以通过图41 (a)的式(I)求出。另外，区域i是将图像进行区域划分(分段)后的区域。此外，abs是用来得到绝对值的函数。摄影时间间隔可以通过图41 (b)的式(2)求出。背景重要度可以通过图42 (a)的式(3)求出。对象介绍度可以通过图42 (b)的式(5)求出。对象行动度可以通过图43 Ca)的式(6)求出。场面迁移度可以通过图43 (b)的式(7)求出。
场面概观度可以通过图44 Ca)的式(8)求出。配置模式评价值可以通过图44 (b)的式(9)求出。(16)在实施方式中，作为由图像形成的作品而以相册为例进行了说明，但并不限定于书籍形式的相册，也可以通过照片迁移的幻灯片放映形式、或照片以丰富多彩的动画动作的电影形式选择最优的图像组合来作品化。(17)在本实施方式中，作为存储介质的例子，举出SD存储卡为例进行了说明，但只要是记录介质则不限定于此，也可以使用智能介质(SmartMedia)、Compact Flash (注埘商标)、记忆棒(注册商标)、SD存储卡、多媒体卡、CD — R/RW，DVD土R/RW，DVD 一 RAM, HD 一DVD, BD (Blu-ray Disc)的记录介质等。此外，也可以考虑通过将图像评价装置与存储图像的数字照相机或便携电话的摄影设备连接而取得图像。作为两者的连接方式，有线(LAN线缆、USB线缆等)、无线(红外线或Bluetooth等)都可以，可以采取各种方式。(18)实施方式的图像评价装置典型地可以作为集成电路即LSI (Large ScaleIntegration)实现。既可以将各电路单独地形成I个芯片，也可以包括全部的电路或一部分的电路而形成I个芯片。这里记载为LSI,但根据集成度的差异，也有称作ICXIntegratedCircuit)、系统LSI、超级LSI、超大規模LSI的情況。此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、能够重构LSI内部的电路单元的连接及设定的可重构处理器。进而，如果因半导体技术的进步或派生的其他技术出现了代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。(19)程序也可以将用来使计算机等各种设备的处理器、以及与该处理器连接的各种电路执行在实施方式中表示的有关图像评价的处理的由程序代码构成的控制程序记录到记录介质中、或者经由各种通信路径流通而发布。在这样的记录介质中，有智能介质、Compact Flash (注册 商标)、记忆棒(注册 商标)、SD 存储卡、多媒体卡、CD — R/RW，DVD土R/RW，DVD — RAM,HD — DVD,BD(Blu-ray Disc)
坐寸o流通、发布的控制程序通过保存在能够由处理器读出的存储器等中而供利用，通过由该处理器执行该控制程序，来实现如实施方式所示的各种功能。< 补充 2>
本实施方式包括以下技术方案。(I)本发明的图像评价装置的特征在于，具备模板存储单元，存储模板，该模板具有用来配置图像的N个(N是2以上的自然数)框、从上述N个框中组合多个框而构成的I个以上的框组、以及有关配置于各框组的图像各自的特征量的评价项目；取得単元，取得多个图像；评价单元，生成多个从所取得的多个图像之中选择N张图像并配置在上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；以及评价值存储単元，存储由上述评价单元计算出的每个配置模式的评价值；上述评价单元确定以与存储在上述评价值存储单元中的评价值之中最高的评价值对应的配置模式配置的N张图像。(2)也可以是，有关配置于上述框组的图像各自的特征量的评价项目，包括配置于框组的图像所包含的对象的介绍性、或者配置于框组的图像的场面的转变。(3)也可以是，具备将包含在上述多个图像中的对象聚类的对象聚类单元；在配置于上述框组的图像中，各图像所包含的对象的对象簇越不同，上述评价单元将上述对象的介绍性评价得越高。 根据该结构，对适合于人物等的对象的介绍的相册的制作作出贡献。(4)也可以是，具备对象重要度计算单元，该对象重要度计算单元计算聚类而得到的各对象簇的重要度；配置于上述框组的图像所包含的对象的对象簇的重要度越高，上述评价单元将上述对象的介绍性评价得越高。(5)也可以是，具备从上述多个图像分别提取背景的特征量的提取单元；上述评价単元在配置于上述框组的图像中，基于各图像的背景的特征量的不类似性或图像间的摄影间隔的大小，评价上述场面的转变。根据该结构，能够对适合场面的转变的介绍的相册的制作作出贡献。(6)也可以是，具备针对上述多个图像分别计算背景的重要度的背景重要度计算単元；在配置于上述框组的图像中，各图像的背景的重要度越高，上述评价单元将上述场面的转变评价得越高。(7)也可以是，具备将包含在上述多个图像中的对象聚类的对象聚类单元；所谓有关配置于上述框组的图像各自的特征量的评价项目，包括背景类似的图像间的有关同一对象簇的变化度。(8)也可以是，具备从上述多个图像分别提取背景的特征量的提取单元；在配置于上述框组的图像中，各图像所包含的对象簇相同、且各图像的背景的特征量越类似，上述评价单元将上述变化度评价得越高。根据该结构，能够对适合人物等的对象的行动的介绍的相册的制作作出贡献。(9)也可以是，具备对象重要度计算单元，计算聚类而得到的各对象簇的重要度；背景重要度计算单元，针对上述多个图像分别计算背景的重要度；配置于上述框组的图像所包含的对象的对象簇的重要度、以及配置于上述框组的图像的背景的重要度中的至少某一方越高，上述评价单元将上述变化度评价得越高。(10)也可以是，具备从上述多个图像分别计算对象所占的占有区域的计算单元；在配置于上述框组的图像中，各图像所包含的对象簇相同的对象所占的占有区域越不同，上述评价单元将上述变化度评价得越高。
根据该结构，能够对适合场面的概观的介绍的相册的制作作出贡献。(11)也可以是，具备对象重要度计算单元，计算聚类而得到的各对象簇的重要度；背景重要度计算单元，针对上述多个图像分别计算背景的重要度；配置于上述框组的图像所包含的对象的对象簇的重要度、以及配置于上述框组的图像的背景的重要度中的至少某一方越高，上述评价单元将上述变化度评价得越高。(12)也可以是，具备针对上述多个图像分别计算背景的重要度的背景重要度计算単元；上述评价单元在配置于上述框组的图像中，基于各图像的背景的重要度计算上述评价值。(13)也可以是，具备从上述多个图像分别提取背景的特征量的提取单元；上述背景重要度计算单元基于作为计算对象的一个图像与摄影日期时间接近的其他图像各自的背景的特征量的类似性、以及上述一个图像的背景的特征量和拍摄有重要的人物的图像的 背景的特征量的类似性，计算背景的重要度。(14)也可以是，具备显示控制单元，该显示控制单元将与作为评价值的计算的基础的有关框组的评价项目对应的信息、与配置于该框组的图像建立关联而显示。根据该结构，能够使用户知道配置于框组的图像彼此的关系性。( 15)也可以是，在上述模板中，构成上述I个以上的框组的框包括了上述N个框的全部。根据该结构，能够使配置于N个框的全部中的图像间具有有机的关系性。(16)也可以是，上述评价单元从所取得的多个图像中进行缩减，将缩减后的图像作为上述选择的对象。根据该结构，能够对评价值的计算的处理负荷的减轻作出贡献。(17)也可以是，具备对上述多个图像分别计算背景的重要度的背景重要度计算单元；上述评价单元基于上述多个图像各自的背景的重要度进行上述缩减。(18)也可以是，上述评价单元将上述多个图像划分为多个场景，基于划分出的每个场景的重要度进行上述缩减。(19)本发明的图像评价方法，包括取得步骤，取得多个图像；參照步骤，參照存储在模板存储单元中的模板；这里，上述模板具有用来配置图像的N个(N是2以上的自然数)框、从上述N个框中组合多个框而构成的I个以上的框组、以及有关配置于各框组的图像各自的特征量的评价项目；评价步骤，进而生成多个基于上述參照的模板从取得的多个图像中选择N张图像并配置在所选择的上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；评价值存储步骤，存储通过上述评价步骤计算出的每个配置模式的评价值；以及确定步骤，确定以与存储在上述评价值存储步骤中的评价值中的最上位的评价值对应的配置模式配置的N张图像。(20)本发明的程序，是使计算机执行图像评价处理的程序，其特征在于，使上述计算机执行取得步骤，取得多个图像；參照步骤，參照存储在模板存储单元中的模板；这里，上述模板具有用来配置图像的N个(N是2以上的自然数)框、从上述N个框中组合多个框而构成的I个以上的框组、以及有关配置于各框组的图像各自的特征量的评价项目；评价步骤，进而生成多个基于上述參照的模板从取得的多个图像中选择N张图像并配置到所选择的上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；评价值存储步骤，存储通过上述评价步骤计算出的每个配置模式的评价值；以及确定步骤，确定以与存储在上述评价值存储步骤中的评价值中的最上位的评价值对应的配置模式配置的N张图像。(21)本发明的集成电路的特征在于，具备模板存储单元，存储模板，该模板具有用来配置图像的N个(N是2以上的自然数)框、从上述N个框中组合多个框而构成的I个以上的框组、以及有关配置于各框组的图像各自的特征量的评价项目的模板；取得単元，取得多个图像；评价单元，生成多个从所取得的多个图像中选择N张图像并配置在上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；以及评价值存储单元，存储由上述评价单元计算出的每个配置模式的评价值；上述评价单元确定以与存储在上述评价值存储单元中的评价值中的最上位的评价值对应的配置模式配置的N张图像。(22)也可以是，上述I个以上的框组都由两个框构成。 (23)也可以是，上述评价项目包括多个种类的评价项目，在上述I个以上的框组各自中，定义上述多个种类的评价项目中的至少I个作为上述评价项目。<參考文献>(I)參考文献I使用基于Gabor特征的信息量的加权匹配的脸部识别堀田一弘(埼玉大学(日本学术振兴会特别研究员))电子信息通信学会技术研究报告.HIP,人类信息处理100 (34) pp. 31-3820000504(2)參考文献2AJohn C.Platt, Mary Czerwinski, Brent A. Field Photo TOC!AutomaticClustering for Browsing Personal Photographs,Fourth IEEE Pacific Rim Conferenceon Multimedia (2003)(3)參考文献3Swain, M. J. and Ballard, D. H. ,Color Indexing", IJCV, 7, pp. 11-32 (1991)エ业实用性在本发明的图像评价装置及图像评价方法中，能够制作从家庭等的多个用户拥有的庞大的量的图像内容之中能够有效率地回顾事件的相册，与以往的图像的评价方法相比，用户能够从构图不确定的多种的事件图像群，容易地制作及阅览高品质的相册。例如，在从拍摄有家庭的庞大的量的照片内容之中由家属回顾事件的状况下是有用的。实施方式的图像评价装置根据基于图像的组合的得到的评价结果，优先地选择拍摄有事件中的重要的场面和家庭成员的、基于人物和场面的4个观点下的图像组合，将所选择的图像组合作为相册显示。因此，通过相册，用户能够有效率地回顾事件。此外，在个人计算机及服务器终端等的固定放置型終端等中是有用的。进而，作为数字照相机及便携电话等的移动型终端等也是有用的。符号说明I图像评价系统2存储介质
3图像评价装置4显示器10图像取得部20对象提取部21对象特征量提取部22对象聚类部30事件提取部
31摄影日期时间提取部32事件聚类部40背景提取部41背景特征量提取部50图像评价部51对象重要度计算部52背景重要度计算部60相册信息选择部61事件簇选择部62模板选择部70图像组评价部71对象介绍度计算部72场面迁移度计算部73对象行动度计算部74场面概观度计算部80配置模式评价部90存储部91模板信息存储部92对象簇信息存储部93对象重要度存储部94背景特征量存储部95背景重要度存储部96事件簇信息存储部97图像组信息存储部98配置模式信息存储部100显示控制部
权利要求
1.一种图像评价装置，其特征在于，具备 模板存储单元，存储模板，该模板具有用于配置图像的N个框、从上述N个框中组合多个框而构成的I个以上的框组、以及与配置于各框组的图像各自的特征量有关的评价项目，其中N是2以上的自然数； 取得单元，取得多个图像； 评价单元，生成多个从取得的多个图像之中选择N张图像并配置在上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；以及评价值存储单元，存储由上述评价单元计算出的每个配置模式的评价值； 上述评价单元确定以与上述评价值存储单元存储的评价值中的、最上位的评价值对应的配置模式配置的N张图像。
2.如权利要求I所述的图像评价装置，其特征在于， 与配置于上述框组的图像各自的特征量有关的评价项目包括配置于框组的图像所包含的对象的介绍性、或者配置于框组的图像的场面的转变。
3.如权利要求2所述的图像评价装置，其特征在于， 具备对象聚类单元，该对象聚类单元将包含在上述多个图像中的对象聚类； 在配置于上述框组的图像中，各图像所包含的对象的对象簇越不同，上述评价单元将上述对象的介绍性评价得越高。
4.如权利要求3所述的图像评价装置，其特征在于， 具备对象重要度计算单元，该对象重要度计算单元计算聚类而得到的各对象簇的重要度； 配置于上述框组的图像所包含的对象的对象簇的重要度越高，上述评价单元将上述对象的介绍性评价得越高。
5.如权利要求2所述的图像评价装置，其特征在于， 具备提取单元，该提取单元从上述多个图像分别提取背景的特征量； 上述评价单元在配置于上述框组的图像中，基于各图像的背景的特征量的不类似性或图像间的摄影间隔的大小，评价上述场面的转变。
6.如权利要求5所述的图像评价装置，其特征在于， 具备背景重要度计算单元，该背景重要度计算单元针对上述多个图像分别计算背景的重要度； 在配置于上述框组的图像中，各图像的背景的重要度越高，上述评价单元将上述场面的转变评价得越高。
7.如权利要求2所述的图像评价装置，其特征在于， 具备对象聚类单元，该对象聚类单元将包含在上述多个图像中的对象聚类； 与配置于上述框组的图像各自的特征量有关的评价项目包括背景类似的图像间的与同一对象簇有关的变化度。
8.如权利要求7所述的图像评价装置，其特征在于， 具备提取单元，该提取单元从上述多个图像分别提取背景的特征量； 在配置于上述框组的图像中，各图像所包含的对象簇相同、且各图像的背景的特征量越类似,上述评价单元将上述变化度评价得越高。
9.如权利要求8所述的图像评价装置，其特征在于，具备 对象重要度计算单元，计算聚类而得到的各对象簇的重要度；以及 背景重要度计算单元，针对上述多个图像分别计算背景的重要度； 配置于上述框组的图像所包含的对象的对象簇的重要度、以及配置于上述框组的图像的背景的重要度中的至少一方越高，上述评价单元将上述变化度评价得越高。
10.如权利要求7所述的图像评价装置，其特征在于， 具备计算单元，该计算单元从上述多个图像分别计算对象所占的占有区域； 在配置于上述框组的图像中，各图像所包含的对象簇相同的对象所占的占有区域越不同，上述评价单元将上述变化度评价得越高。
11.如权利要求10所述的图像评价装置，其特征在于，具备 对象重要度计算单元，计算聚类而得到的各对象簇的重要度；以及 背景重要度计算单元，针对上述多个图像分别计算背景的重要度； 配置于上述框组的图像所包含的对象的对象簇的重要度、以及配置于上述框组的图像的背景的重要度中的至少一方越高，上述评价单元将上述变化度评价得越高。
12.如权利要求I所述的图像评价装置，其特征在于， 具备背景重要度计算单元，该背景重要度计算单元针对上述多个图像分别计算背景的重要度； 上述评价单元在配置于上述框组的图像中，基于各图像的背景的重要度，计算上述评价值。
13.如权利要求12所述的图像评价装置，其特征在于， 具备提取单元，该提取单元从上述多个图像分别提取背景的特征量； 上述背景重要度计算单元基于作为计算对象的一个图像和摄影日期时间接近的其他图像各自的背景的特征量的类似性、以及上述一个图像的背景的特征量和拍摄有重要的人物的图像的背景的特征量的类似性，计算背景的重要度。
14.如权利要求I所述的图像评价装置，其特征在于， 具备显示控制单元，该显示控制单元将与作为评价值计算的基础的有关框组的评价项目对应的信息、与配置于该框组的图像建立关联来显示。
15.如权利要求I所述的图像评价装置，其特征在于， 在上述模板中，构成上述I个以上的框组的框包括上述N个框的全部。
16.如权利要求I所述的图像评价装置，其特征在于， 上述评价单元从取得的多个图像中进行缩减，将缩减后的图像作为上述选择的对象。
17.如权利要求16所述的图像评价装置，其特征在于， 具备背景重要度计算单元，该背景重要度计算单元针对上述多个图像分别计算背景的重要度； 上述评价单元基于上述多个图像各自的背景的重要度进行上述缩减。
18.如权利要求16所述的图像评价装置，其特征在于， 上述评价单元将上述多个图像划分为多个场景，基于划分出的每个场景的重要度进行上述缩减。
19.一种图像评价方法，其特征在于，包括取得步骤，取得多个图像； 参照步骤，参照存储在模板存储单元中的模板； 这里，上述模板具有用于配置图像的N个框、从上述N个框中组合多个框而构成的I个以上的框组、以及与配置于各框组的图像各自的特征量有关的评价项目，其中N是2以上的自然数； 评价步骤，进而生成多个基于上述参照的模板从取得的多个图像之中选择N张图像并配置在所选择的上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值； 评价值存储步骤，存储通过上述评价步骤计算出的每个配置模式的评价值；以及确定步骤，确定以与上述评价值存储步骤中存储的评价值中的最上位的评价值对应的配置模式配置的N张图像。
20.一种程序，使计算机执行图像评价处理，其特征在于， 使上述计算机执行 取得步骤，取得多个图像； 参照步骤，参照存储在模板存储单元中的模板； 这里，上述模板具有用于配置图像的N个框、从上述N个框中组合多个框而构成的I个以上的框组、以及与配置于各框组的图像各自的特征量有关的评价项目，其中N是2以上的自然数； 评价步骤，进而生成多个基于上述参照的模板从取得的多个图像之中选择N张图像并配置在所选择的上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值； 评价值存储步骤，存储通过上述评价步骤计算出的每个配置模式的评价值；以及确定步骤，确定以与上述评价值存储步骤中存储的评价值中的最上位的评价值对应的配置模式配置的N张图像。
21.一种集成电路，其特征在于，具备 模板存储单元，存储模板，该模板具有用于配置图像的N个框、从上述N个框中组合多个框而构成的I个以上的框组、以及与配置于各框组的图像各自的特征量有关的评价项目，其中N是2以上的自然数； 取得单元，取得多个图像； 评价单元，生成多个从取得的多个图像之中选择N张图像并配置在上述N个框中的情况下的配置模式，基于上述评价项目计算所生成的每个配置模式的评价值；以及评价值存储单元，存储由上述评价单元计算出的每个配置模式的评价值； 上述评价单元确定以与上述评价值存储单元存储的评价值中的、最上位的评价值对应的配置模式配置的N张图像。
全文摘要
模板具有图像配置用的帧(a)、帧(b)，将对象介绍度(OI)与帧(ab)的组建立对应。对于配置于帧(a)、帧(b)的一对图像，基于图像各自的特征量，计算建立了对应的对象介绍度，使用计算出的对象介绍度用作配置模式的评价值。
文档编号G06F17/30GK102859985SQ20128000113
公开日2013年1月2日 申请日期2012年2月6日 优先权日2011年2月17日
发明者薮博史 申请人:松下电器产业株式会社