图像分配装置以及图像分配方法

图像分配装置以及图像分配方法
【专利摘要】本发明提供一种图像分配装置以及图像分配方法，其特征在于，计算与多个图像对应的多个图像数据各自的图像特征量，基于图像特征量将多个图像数据分类为数量与显示用页面的页数对应的图像组，根据基于图像特征量的图像组之间的距离，重新排列图像组的排列顺序。
【专利说明】图像分配装置以及图像分配方法

【技术领域】
[0001]本发明涉及在基于多个图像制作照片书(photo book)等商品时使用的图像分配装置以及图像分配方法。

【背景技术】
[0002]当前，通过利用在图像数据的元信息(Exif)中记录的拍摄日期时间信息对多个图像进行分组，并向显示用页面分配，由此进行照片书、拼贴画等商品的自动制作。
[0003]日本特开2013-46188号公报公开有如下内容，S卩，基于作为Exif等元数据而保存的拍摄时刻，对图像数据进行聚类处理，基于簇(cluster)进行图像的布局。
[0004]近年来，在利用图像的SNS服务等中，当用户将图像数据向SNS的服务器上传时，出于保护隐私的观点，大多进行将Exif等图像的元信息删除的处理。
[0005]如果在图像数据中元信息被删除，则元信息中包含的拍摄信息也被删除，因此，无法判别图像的拍摄时间，如果要由这些无法判别拍摄时间的多个图像制作照片书，则图像的排列顺序变得散乱，如果用户不逐一地确认图像并变更布局，则无法制作形成为期望的布局的照片书。
[0006]当制作照片书时，为了进行期望的布局，以下3个条件较为重要，S卩，1.“清晰地分割出图像组”，I1.“即使无法清晰地分割出图像组，也尽量分配到相邻的页面”，II1.“获取图像组的图像张数和显示页面数之间的平衡”。
[0007]1.“清晰地分割出图像组”是指，如图19㈧的图像组A以及图像组B所示，表示出I个显示页面仅由I个图像组的图像构成，而不会出现以下两种情形，即，如图19(B)的图像组A以及图像组B所示，在I个显示页面配置多个图像组的图像，或者如图19(C)的图像组B所示，I个图像组、特别是即使在I个图像组中还是类似的图像彼此跨越多个页面进行配置。
[0008]另外，I1.“即使无法清晰地分割出图像组，也尽量分配到相邻的页面”是指，防止如图20(A)的图像组A、图像组B所示，I个图像组隔开多个页面而分离地显示，而是如图20(B)的图像组A、图像组B所示，将I个图像组尽量分配到相邻的页面。
[0009]并且，II1.“获取图像组的图像张数和显示页面数之间的平衡”是指，如图21(A)、(B)所示，对于图像张数较多的图像组A，分配较多的页数，对于图像张数较少的图像组B，分配较少的页数。


【发明内容】

[0010]本发明的目的在于提供一种无论有无拍摄信息，都以满足上述I?III的条件的方式，将多个图像分类为多个图像组并重新排列的图像分配装置以及图像分配方法。
[0011]为了解决上述课题，本发明提供一种图像分配装置，其基于图像组的分类，将显示用的图像向显示用页面分配，该图像分配装置的特征在于，具备:图像组分类部，其基于图像特征量，将具有图像特征量的多个图像数据分类为数量与显示用页面的页数对应的图像组；以及图像组排序部，其根据基于图像特征量的图像组之间的距离，重新排列图像组的排列顺序。
[0012]另外，优选还具备图像特征量计算部，其计算多个图像数据各自的图像特征量。
[0013]另外，优选还具备页数变更部，其对页数进行变更。
[0014]另外，优选图像组分类部在页数变更部中页数增加的情况下，按顺序对多个图像组中的图像张数最多的图像组进行分割，直至图像组的数量达到变更后的页数为止，在页数变更部中页数减少的情况下，按顺序将多个图像组中的图像张数最少的图像组、和与图像张数最少的图像组最接近的另I个图像组合并，直至图像组的数量达到变更后的页数为止。
[0015]另外，优选图像组分类部在页数变更部中页数变更后的情况下，基于图像特征量，将多个图像数据再次分类为数量与变更后的页数对应的图像组。
[0016]另外，本发明提供一种图像分配装置，其基于图像组的分类，将显示用的图像向显示用页面分配，该图像分配装置的特征在于，具备:图像组分类部，其基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组；以及排列顺序确定部，其基于所述多个图像数据所具备的拍摄信息，确定所述多个图像数据的排列顺序，所述图像组分类部基于所述图像特征量、所述图像组的分类以及所述多个图像数据的排列顺序，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
[0017]另外，优选还具备图像特征量计算部，其计算所述多个图像数据各自的所述图像特征量。
[0018]另外，优选还具备页数变更部，其对页数进行变更。
[0019]另外，优选图像组分类部基于图像特征量和排列顺序，计算相邻的图像数据之间的图像间类似度，并基于图像间类似度将多个图像数据再分类为数量与显示用页面的页数对应的图像组。
[0020]另外，优选图像组分类部基于图像特征量和排列顺序，计算相邻的图像数据之间的图像间类似度，并基于图像间类似度计算显示用页面的推荐页数。
[0021]另外，优选图像组分类部基于图像组的分类和排列顺序，将多个图像数据分类为多个新的图像组，基于图像特征量和排列顺序计算相邻的图像之间的图像间类似度，基于图像间类似度对多个新的图像组进行合并或分割，由此，将多个图像数据再分类为数量与显示用页面的页数对应的图像组。
[0022]另外，优选还具备拍摄信息判定部，拍摄信息判定部对多个图像数据中的图像数据是具有拍摄信息的图像数据，还是不具有拍摄信息的图像数据进行判定。
[0023]另外，优选在拍摄信息判定部判定为不具有拍摄信息的图像数据的图像张数比具有拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，图像组分类部不对具有拍摄信息的图像数据和不具有拍摄信息的图像数据进行区分而将它们分类为多个图像组，在所述拍摄信息判定部判定为具有拍摄信息的图像数据的图像张数比不具有拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，或者判定为具有拍摄信息的图像数据的图像张数和不具有拍摄信息的图像数据的图像张数的张数差处于规定范围内的情况下，所述图像组分类部将具有拍摄信息的图像数据分类为多个图像组，基于图像特征量将不具有拍摄信息的图像数据追加到具有拍摄信息的图像数据的多个图像组中的某一个中。
[0024]另外，优选还具备分类切换部，
[0025]所述分类切换部选择是考虑所述拍摄信息进行图像组的分类，还是基于所述图像特征量进行图像组的分类，在考虑所述拍摄信息进行图像组的分类的情况下，在拍摄信息判定部进行对多个图像数据的判定后，图像组分类部将多个图像数据分类为所述多个图像组，在基于图像特征量进行图像组的分类的情况下，拍摄信息判定部不进行对多个图像数据的判定，而图像组分类部将多个图像数据分类为多个图像组。
[0026]另外，优选拍摄信息包含拍摄日期时间或者拍摄顺序的信息。
[0027]另外，本发明提供一种图像分配方法，其基于图像组的分类，将显示用的图像向显示用页面分配，该图像分配方法的特征在于，基于所述图像特征量将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组，根据基于所述图像特征量的所述图像组之间的距离，重新排列所述图像组的排列顺序。
[0028]另外，优选在所述图像组的分类之前，分别计算所述多个图像数据的所述图像特征量。
[0029]另外，可以进一步对页数进行变更，基于变更后的页数进行图像组的分类。
[0030]另外，优选在页数增加的情况下，按顺序对多个图像组中的图像张数最多的图像组进行分割，直至图像组的数量达到变更后的页数为止，在页数减少的情况下，按顺序将多个图像组中的图像张数最少的图像组和最接近图像张数最少的图像组的另I个图像组合并，直至图像组的数量达到变更后的页数为止。
[0031]另外，优选在页数变更后的情况下，基于图像特征量将多个图像数据再分类为数量与变更后的页数对应的图像组。
[0032]另外，本发明提供一种图像分配方法，其基于图像组的分类，将显示用的图像向显示用页面分配，该图像分配方法的特征在于，基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组，基于所述多个图像数据所具备的拍摄信息，确定所述多个图像数据的排列顺序，基于所述图像特征量、所述图像组的分类以及所述多个图像数据的排列顺序，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
[0033]另外，优选在所述图像组的分类之前，计算所述多个图像数据各自的所述图像特征量。
[0034]另外，可以进一步对页数进行变更，并基于变更后的页数进行图像组的分类。
[0035]另外，优选基于图像特征量和排列顺序计算相邻的图像数据之间的图像间类似度，基于图像间类似度将多个图像数据再分类为数量与显示用页面的页数对应的图像组。
[0036]另外，优选基于图像特征量和排列顺序计算相邻的图像数据之间的图像间类似度，基于图像间类似度，计算显示用页面的推荐页数。
[0037]另外，优选基于图像组的分类和排列顺序，将多个图像数据分类为多个新的图像组，基于图像特征量和排列顺序计算相邻的图像数据之间的图像间类似度，基于图像间类似度，对多个新的图像组进行合并或分割，由此，将多个图像数据再分类为数量与显示用页面的页数对应的图像组。
[0038]另外，优选判定多个图像数据中的图像数据是具有拍摄信息的图像数据，还是不具有拍摄信息的图像数据。
[0039]另外，优选在不具有拍摄信息的图像数据的图像张数比具有拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，不对具有拍摄信息的图像数据和不具有拍摄信息的图像数据进行区分而将它们分类为多个图像组，在具有拍摄信息的图像数据的图像张数比不具有拍摄信息的图像数据的图像张多出大于或等于规定张数的情况下，或者在具有拍摄信息的图像数据的图像张数和不具有拍摄信息的图像数据的图像张数的张数差处于规定范围内的情况下，将具有拍摄信息的图像数据分类为多个图像组，基于图像特征量将不具有拍摄信息的图像数据追加到具有拍摄信息的图像数据的多个图像组中的某一个中。
[0040]另外，优选选择是考虑拍摄信息进行图像组的分类，还是基于图像特征量进行图像组的分类，在考虑拍摄信息进行图像组的分类的情况下，在进行对多个图像数据的判定后，将多个图像数据分类为多个图像组，在基于图像特征量进行图像组的分类的情况下，不进行对多个图像数据的判定，而将多个图像数据分类为多个图像组。
[0041]另外，优选所述拍摄信息包含拍摄日期时间或者拍摄顺序的信息。
[0042]发明的效果
[0043]根据本发明，能够以满足上述的I?III的条件的方式，将多个图像分类为多个图像组并进行重新排列，因此，能够基于期望的图像组制作形成为期望的布局的照片书等的商品。

【专利附图】

【附图说明】
[0044]图1是表示具备本发明的实施方式I所涉及的图像分配装置的照片书制作装置的结构的框图。
[0045]图2是表示图1的照片书制作装置的照片书制作流程的流程图。
[0046]图3是对聚类处理的一个例子即k均值法进行说明的说明图。
[0047]图4是对各图像组和各图像组的中心位置进行说明的说明图。
[0048]图5是对各图像组的中心距进行说明的说明图。
[0049]图6是表示在图1的照片书制作装置中，在对页数进行变更后的情况下的流程的流程图。
[0050]图7(A)是在图1的图像分配装置中对图像组进行分割的情况下的说明图，图7(B)是在对图像组进行合并的情况下的说明图。
[0051]图8是表示具备本发明的实施方式2所涉及的图像分配装置的照片书制作装置的结构的框图。
[0052]图9是表示图8的照片书制作装置的照片书制作流程的流程图。
[0053]图10(A)?(D)是在图9的照片书制作流程中，对图像组的再分类进行说明的说明图。
[0054]图11是表示图8的照片书制作流程中的步骤S22的详细流程的流程图。
[0055]图12是表示具备本发明的实施方式3所涉及的图像分配装置的照片书制作装置的结构的一个例子的框图。
[0056]图13是表示具备本发明的实施方式3所涉及的图像分配装置的照片书制作装置的结构的一个例子的框图。
[0057]图14是在图12及图13所示的图像分配装置中，在向由具有拍摄日期时间的图像构成的图像组追加无拍摄日期时间的图像的情况下的说明图。
[0058]图15是表示在利用页面显示装置对照片书的显示页面进行显示的情况下的一个例子的说明图。
[0059]图16是表示在本发明的图像分配装置中，在计算要制作的照片书的推荐页数的情况下的计算方法的说明图。
[0060]图17㈧及图17⑶是表示在本发明的图像分配装置中，在制作拼贴画的情况下的制作方法的说明图。
[0061]图18是表示具备本发明的实施方式4所涉及的图像分配装置的照片书制作装置的结构的框图。
[0062]图19(A)?(C)是对照片书的显示页面和图像组的关系进行说明的说明图。
[0063]图20 (A)及图20⑶是对照片书的显示页面和图像组的排列顺序之间的关系进行说明的说明图。
[0064]图21 (A)及图21 (B)是对照片书的显示页面的页数和图像组中的图像张数之间的关系进行说明的说明图。

【具体实施方式】
[0065]以下，基于附图所示的优选实施方式对本发明所涉及的图像分配装置进行详细说明。
[0066]实施方式I
[0067]图1是表示具备本发明的实施方式I所涉及的图像分配装置的照片书制作装置的结构的框图。如图1所示，照片书制作装置由以下部分构成:图像存储装置I;图像分配装置2，其与图像存储装置I连接；以及页面显示装置3和打印机4，它们分别与图像分配装置2连接。
[0068]图像存储装置I将多个图像作为图像数据进行存储，例如，可以由硬盘、软盘、MO、MT、RAM、⑶-ROM、DVD-ROM等记录介质以及读取这些记录介质的设备构成。另外，也可以由因特网上的服务器等构成。
[0069]图像分配装置2具备:图像特征量计算部5、图像组分类部6、图像组排序部7以及图像布局部8，它们依次连接在从图像存储装置I到页面显示装置3或打印机4之间；控制部9，其分别与图像特征量计算部5、图像组分类部6、图像组排序部7以及图像布局部8连接；以及页数变更部10、操作部11及存储部12，它们与控制部9连接。另外，还具备:图像存储器13，其与图像特征量计算部5以及图像组分类部6连接；以及布局存储器14，其与图像布局部8连接。
[0070]图像特征量计算部5对图像数据进行图像解析，由此，作为图像特征量而计算图像的颜色直方图、图像内容等，并使图像数据和计算出的图像特征量相关联。
[0071]图像组分类部6根据要制作的照片书的页数，并基于上述图像特征量，将多个图像数据分类为多个图像组(图像簇)，使图像数据与图像组的信息相关联。例如，以I个图像组对应于照片书的I页，图像组的数量与照片书的页数一致的方式，对图像组进行分类。此外，制作的照片书的页数可以预先指定，另外，还可以在页数变更部10中进行指定或变更。
[0072]图像组排序部7对图像组的排列顺序进行变更，例如，根据属于图像组的多个图像的图像特征量，针对每个图像组计算图像组基准值，基于图像组基准值计算图像组之间的类似度，基于图像组之间的类似度进行图像组的重新排列。具体而言，基于图像数据的图像特征量计算图像组的重心位置，基于图像组的重心位置计算图像组之间的距离，基于图像组之间的距离，例如，以按照距离由近及远的顺序排列的方式对图像组进行重新排列。
[0073]图像布局部8将分类成各个图像组的图像数据配置(布局)于照片书的显示用页面。此外，图像布局部8具备存储于布局存储器14的多个布局配置，例如，根据图像张数、图像特征量等选择I个布局配置，通过使图像数据与该布局对应从而进行图像数据的布局。此外，图像布局部8并不限于进行布局配置，例如，也进行背景的选择.变更、装饰等的配置，制作与作为最终产品的照片书的显示页面对应的页面数据。
[0074]控制部9对图像分配装置2的各部分进行控制，根据来自操作部11的用户指示，获取来自图像存储装置I的多个图像，向页面显示装置3以及打印机4输出所制成的照片书的数据。另外，在利用页数变更部10对要制作的照片书的页数进行变更的情况下，基于变更后的页数进行图像组的再分类。
[0075]页数变更部10根据用户指示对照片书的显示用页面的页数进行变更。此外，如上所述，用户能够通过页数变更部10而预先指定要制作的照片书的页数。
[0076]另外，操作部11用于输入用户指示，能够利用鼠标、键盘、触摸面板等各种公知的输入设备。并且，存储部12对图像分配装置2的动作所需的程序等各种信息进行存储，基于控制部9的指示向控制部9输出各种信息。
[0077]图2是表示具备实施方式I所涉及的图像分配装置2的照片书制作装置的照片书制作流程的流程图。基于图2对照片书制作的动作进行说明。
[0078]首先，作为步骤SI，图像分配装置2获取存储于图像存储装置I的多个图像数据。图像数据的获取，例如，在图像存储装置I是连接到因特网上的服务器的情况下，可以通过因特网获取。
[0079]然后，作为步骤S2，图像分配装置2的图像特征量计算部5分别计算多个图像数据的图像特征量，使其与图像数据相关联，并向图像组分类部6以及图像存储器13中的至少一方输出。图像特征量计算部5例如针对每个图像数据进行图像解析，计算图像数据的颜色直方图，并将颜色直方图作为图像特征量。
[0080]在接下来的步骤S3中，在图像组分类部6中，以利用图像特征量计算部5计算出的图像特征量为基准，将多个图像数据分类为数量与要制作的照片书的页数对应的图像组。
[0081]对于图像组的分类，能够利用各种公知的聚类方法。
[0082]例如，对基于k均值法，将多个图像数据分类为所指定数量的图像组的情况进行说明。
[0083]如图3㈧所示，基于图像特征量，以“X”符号对多个图像数据xi(i = 1，…，η)进行标记。为了进行说明，在图3(A)中以2维方式对图像数据的标记进行说明，但是，通常也可以为多维。能够考虑各种图像特征量。
[0084]然后，如图3(B)所示，对于标记出的多个图像数据xi，分别随机地进行图像组(簇)的分配(分类)。这里，图像组数(簇数)K设为要制作的照片书的页数。这里，由于设为K = 5，因此，多个表示图像数据的“ X ”符号被随机地分类为5个图像组，并利用5种图形记号进行置换。
[0085]在针对多个图像数据进行随机的图像组的分配以后，计算各图像组的中心位置(Vj (j = I,…，K))。例如，为了计算中心位置Vj，使用图像数据Xi的配置的算术平均值。在图3(c)中，由于K = 5，因此，计算针对5个图像组的中心位置Vl?V5。
[0086]并且，求出所计算的各图像组的中心位置Vj和各图像数据Xi之间的距离，将各图像数据xi重新分配到与最近的中心位置Vj对应的图像组。在图3(D)中，分别获取各图像组的中心位置Vl?V5和各图像数据xi之间的距离，基于该距离，将随机地划分到5个图像组的各图像数据xi重新分配到与最近的中心位置Vl?V5对应的图像组中的某一个中，对于随机置换出的图像数据的5种图形记号，以与该重新分配的图像组对应的方式重新置换。
[0087]此外，在上述图像组的重新分配中，在所有图像数据Xi的图像组的分配都未发生变化的情况下，或者在变化量低于规定的阈值的情况下，判断为收敛，使图像组的分配结束。
[0088]另一方面，如图3(D)所示，在图像组的分配发生变化的情况下，基于图像组的变化后的各图像数据xi，重新计算各图像组的中心位置Vj。图3(E)是基于图像组的变化后的各图像数据xi重新计算各图像组的中心位置Vl?V5，并重新显示中心位置Vl?V5的图。如果对图3(D)和图3(E)进行比较，则可知图像组的中心位置Vl?V5发生了移动。
[0089]并且，如图3(F)所示，基于重新计算出的各图像组的中心位置Vj，针对各图像数据xi，再次进行图像组的分配。
[0090]在步骤S4中，计算上述各图像组之间的距离，在图像组排序部7中，基于各图像组之间的距离进行图像组的重新排列。此外，由于图像组之间的距离与图像组之间的类似度对应，因此，以下述方式进行图像组的重新排列，即，图像组以类似的图像组相邻的方式，按照图像组之间的距离从短到长的顺序排列图像组。
[0091]例如，对于图4所示的5个图像组Pl?P5，基于各图像组的图像数据的图像特征量计算各图像组的中心位置Pl'?P5'，如图5所示，计算中心位置Pl'?P5'彼此间的距离。根据中心位置Pl'?P5'彼此间的距离，按照图像组P1、图像组P2、图像组P3、图像组P4、图像组P5的顺序对图像组进行排列即可。
[0092]如上所述，在以类似的图像组相邻的方式对图像组进行重新排列以后，作为步骤S5，在图像布局部8中，以各图像组与要制作的照片书的各显示页面对应的方式进行图像的配置。图像布局部8获取布局存储器14所保存的照片书的显示页面的布局显示，通过使构成图像组的各图像与布局显示对应，进行显示页面上的图像的配置。
[0093]此外，对于显示页面的布局，例如，可以基于图像组的张数来确定，也可以基于构成图像组的各图像的图像特征量来确定，另外，也可以根据它们的组合来确定。
[0094]图像布局部8将在显示页面配置有各图像的照片书的数据向页面显示装置3输出。
[0095]最后，作为步骤S6，页面显示装置3获取在图像布局部8中制成的照片书的数据并进行显示。另外，在页面显示装置3中显示的照片书，可以根据用户指示，在打印机4中输出到纸张介质上。
[0096]下面，说明在页数变更部10中对要制作的照片书的页数进行变更的情况下的动作。
[0097]在用户通过页数变更部10变更照片书的页数的情况下，图像组分类部6获取在图像存储器13中存储的多个图像数据、和与图像数据对应的图像特征量，再次通过进行上述的步骤S3，而以与变更后的页数对应的方式进行图像组的再分类。接着，通过基于该再分类后的图像组进行步骤S4?S6，从而能够制作页数变更后的照片书。
[0098]另外，还能够沿用图像组分类部6中已有的图像组的分类，并进行页数的变更。
[0099]如图6的流程图所示，作为步骤S11，在利用页数变更部10对照片书的页数进行了变更的情况下，如步骤S12所示，控制部9判断页数的增减，在页数增加的情况下，作为步骤S13，如图7(A)所示，图像组分类部6能够对图像张数最多的图像组进行分割，另外，在页数减少的情况下，作为步骤S14，如图7(B)所示，图像组分类部6能够将图像张数最少的图像组和图像组之间的距离最近的相邻图像组合并。
[0100]分割后或合并后的动作即步骤S4'?步骤S6'，与上述步骤S4?步骤S6相同。
[0101]在图6以及图7 (A)、⑶所示的方法中，即使图像组分类部6不对多个图像再次进行图像组的分类，也能够进行与被制作的照片书的页数对应的图像组的分类。
[0102]利用实施方式I所涉及的图像分配装置，基于图像特征量将在照片书的各页面配置的图像分类为与照片书的页数对应的图像组，以类似的图像组相邻的方式对图像组的排列顺序进行重新排列，通过针对各个图像组而将图像配置于各页面中，从而制作照片书，因此，能够制作形成为期望的布局的照片书，且该照片书能够满足1.“清晰地分割出图像组”，I1.“即使无法清晰地分割出图像组，也尽量分配到相邻的页面”，以及II1.“获取图像组的图像张数和显示页面数之间的平衡”。
[0103]实施方式2
[0104]另外，虽然在上述实施方式I所涉及的图像分配装置中，既未考虑拍摄日期时间也未考虑拍摄顺序，但是，即使删除了 Exif等元信息，而未残留拍摄日期时间的信息，有时根据图像的文件名等也能够判断拍摄顺序。在该情况下，通过考虑拍摄顺序，能够进一步提高多个图像的图像组的分类精度，能够进一步提高图像向照片书的显示页面分配的精度。
[0105]图8是表示具备本发明实施方式2所涉及的图像分配装置的照片书制作装置的结构的框图。
[0106]如图8所示，实施方式2所涉及的图像分配装置22具备:图像组分类部26，其与图像存储器13、图像特征量计算部5以及图像布局部8连接；排列顺序确定部27，其与图像组分类部26连接；以及控制部29，其与包含上述部件在内的图像分配装置22的各部分分别连接，除此之外，具备与实施方式I所涉及的图像分配装置2相同的结构。
[0107]图像组分类部26与实施方式I相同地，基于在图像特征量计算部5中计算出的图像特征量，将多个图像数据分类为数量与指定页数对应的图像组。
[0108]另外，图像组分类部26基于在排列顺序确定部27中确定出的排列顺序和上述图像组的信息，将多个图像再次分类为数量与要制作的照片书的页数对应的图像组。此外，后文中对图像组的再分类的详细方法进行叙述。
[0109]排列顺序确定部27不受限于图像组的分类，而对多个图像数据整体的图像数据的排列顺序进行确定，例如，在多个图像数据中，在已知图像的拍摄顺序的情况下，基于图像的拍摄顺序确定多个图像数据整体的排列顺序。另外，在不知道拍摄顺序而是知道拍摄日期时间信息的情况下，可以基于拍摄日期时间信息进行图像数据的重新排列。另外，在残留有图像数据的Exif等元信息的至少一部分的情况下，例如，在已知基于GPS的位置信息的情况下，可以考虑GPS的位置信息而进行图像数据的重新排列。
[0110]控制部29在以下两点上与实施方式I的控制部9不同，即，其与排列顺序确定部27连接，在排列顺序确定部27中控制图像数据的重新排列；以及在图像组分类部26中，对基于图像特征量和图像数据的排列顺序的图像组的再分类进行控制。
[0111]图9是表示具备实施方式2所涉及的图像分配装置22的照片书制作装置的照片书制作流程的流程图。基于图9对照片书制作的动作进行说明。
[0112]由于步骤SI'?步骤S3'、步骤S5"、步骤S6"与实施方式I的步骤SI?步骤S3、步骤S5、步骤S6相同，因此，省略其说明，对动作与实施方式I不同的步骤S21、步骤S22进行详细说明。
[0113]在步骤S21中，如图10(A)所示，排列顺序确定部27对分类为多个图像组的多个图像数据整体的排列顺序进行确定。对于排列顺序的确定，例如，在针对多个图像的拍摄顺序明确的情况下，基于拍摄顺序对多个图像数据进行重新排列，确定多个图像数据的排列顺序。排列顺序确定部27将图像数据的排列顺序向图像组分类部26输出。
[0114]在接下来的步骤S22中，图像组分类部26进行图像组的再分类。步骤S22中的图像组的再分类是按照图11中详细示出的步骤S31?S36进行的。
[0115]在步骤S31中，根据在排列顺序确定部27中确定出的多个图像数据的排列顺序、和上述步骤S3'中的图像组的分类，如图10(B)所示，在图像数据的排列顺序中，每当图像组的种类有变化时，进行再分类而作为新的图像组。
[0116]在接下来的步骤S32中，根据多个图像数据的排列顺序，计算相邻图像之间的类似度。相邻图像之间的类似度，例如，基于相邻的图像数据的2个图像特征量计算即可。
[0117]然后，在步骤S33中，对在步骤S31中再分类后的图像组数量和要制作的照片书的页数进行比较，如果图像组数量和页数一致，则进入步骤S5"，如果图像组数量和页数不一致，则进入步骤S34。
[0118]在步骤S34中，对再分类后的图像组数量和页数进行比较，如果图像组数量比页数少，则进入步骤S35，如果图像组数量比页数多，则进入步骤S36。
[0119]在再分类后的图像组数量比页数少的情况下，在步骤S35中，对图像张数最多的图像组进行分割。具体而言，在图像张数最多的图像组中，在相邻图像之间的类似度最小的位置处进行分割，使图像组数量增加I个，并返回到即将进入步骤S33之前。此外，在步骤S22中，作为图像组数量比页数少的情况的一个例子，举出在页数变更部10中对页数进行变更后的情况。
[0120]另外，在再分类后的图像组数量比页数多的情况下，如图10(C)所示，在步骤S36中，计算图像组的边界处的相邻图像之间的类似度，在类似度最高的位置处将相邻的图像组彼此合并，使图像组数量减少I个，并返回到即将进入步骤S33之前。
[0121]通过重复步骤S33?步骤S36，如图10(D)所示，在图像组分类部26中，能够使多个图像数据的排列顺序保持不变而使再分类后的图像组数量和页数一致。
[0122]此后的步骤S5"、步骤S6"与实施方式I的步骤S5、步骤S6相同。
[0123]如上所述，通过对多个图像进行分类并进行照片书的页面的布局，从而能够考虑到每个图像的图像特征量和图像的拍摄顺序这两者而进行照片书的布局，与实施方式I相同地，能够制作成为期望的布局的照片书，且该照片书能够满足1.“清晰地分割出图像组”，I1.“即使无法清晰地分割出图像组，也尽量分配到相邻的页面”，以及II1.“获取图像组的图像张数和显示页面数之间的平衡”。
[0124]实施方式3
[0125]另外，在多个图像数据中，具有包含拍摄顺序或拍摄日期时间在内的拍摄信息的图像数据(以下，称作具有拍摄信息的图像数据)、和不具有拍摄信息的图像数据混在一起的情况下，可以考虑具有拍摄信息的图像数据和不具有拍摄信息的图像数据的图像张数之差而进行照片书的制作。
[0126]如图12或图13所示，除了拍摄信息判定部30设置于图像特征量计算部5之前这一点以外，实施方式3所涉及的图像分配装置32与实施方式I的图像分配装置2或实施方式2的图像分配装置22相同。
[0127]图像分配装置32具备拍摄信息判定部30。拍摄信息判定部30对在从图像存储装置I向图像分配装置32输出的多个图像数据中具有拍摄信息的图像数据和不具有拍摄信息的图像数据进行判定，在判定为不具有拍摄信息的图像数据的图像张数比具有拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，图像组分类部6、26利用实施方式I或实施方式2中所说明的方法，将多个图像数据分类为数量与要制作的照片书的页数对应的图像组，另外，在拍摄信息判定部30判定为具有拍摄信息的图像数据的图像张数比不具有拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，或者，判定为不具有拍摄信息的图像数据的图像张数和具有拍摄信息的图像数据的图像张数之差包含在规定范围内的情况下，拍摄信息判定部30将多个图像数据中的具有拍摄信息的图像数据向图像特征量算出部5输出，在图像分类部6、26中，仅对具有拍摄信息的图像数据进行图像组的分类，然后，将不具有拍摄信息的图像数据向图像特征量算出部5输出，在图像分类部6、26中，将不具有拍摄信息的图像数据追加到由具有拍摄信息的图像数据构成的图像组中。
[0128]关于不具有拍摄信息的图像数据向由具有拍摄信息的图像数据构成的图像组的追加，在图像组分类部6、26中，如图14所示，根据基于图像特征量的各图像组的中心、和不具有拍摄信息的图像的图像特征量，计算各图像组和不具有拍摄信息的图像数据之间的距离，将不具有拍摄信息的图像数据追加到距离最近的图像组即最类似的图像组。
[0129]在每次追加不具有拍摄信息的图像数据时，重新计算基于图像特征量的图像组的中心位置，对不具有拍摄信息的图像数据进行向各图像组的追加直至其不存在为止，由此，与实施方式I以及实施方式2相同地，能够将多个图像数据分类为与要制作的照片书的页数对应的图像组。
[0130]另外，在具备实施方式I?3所涉及的图像分配装置的照片书制作装置中，在利用页面显示装置3对照片书的页面进行显示的情况下，可以对图像显示进行区分，以便能够对具有包含拍摄日期时间或拍摄顺序的信息在内的拍摄信息的图像、和不具有该拍摄信息的图像进行判别。例如，如图15所示，可以通过在具有拍摄信息的图像中重叠显示规定的图标而对页面进行显示，以便能够对具有拍摄信息的图像和不具有拍摄信息的图像进行判别。
[0131]用户一眼就能够判别出具有拍摄信息的图像和不具有拍摄信息的图像，例如，对于不具有拍摄信息的图像被配置于原本不应当配置的场所这一点等，能够容易地确认。
[0132]此外，当在实施方式I?3所涉及的图像分配装置的图像布局部8中在显示页面对各图像进行布局时，例如，如图15所示，可以将具有拍摄信息的图像配置为比不具有拍摄信息的图像大。通过将具有拍摄信息的图像配置为比不具有拍摄信息的图像大，即使不具有拍摄信息的图像被配置于原本不应当配置的场所，也能够减弱其不协调感。
[0133]另外，在实施方式3中，可以通过对图像分配装置32的操作部11 (兼用作本发明的分类切换部)进行操作，从而选择是考虑拍摄信息进行图像组的分类，还是不考虑拍摄信息而基于图像特征量进行图像组的分类。
[0134]在考虑拍摄信息进行图像组的分类的情况下，如实施方式3记载所述，在拍摄信息判定部30中针对多个图像进行判定以后，进行图像组的分类，另外，在不考虑拍摄信息进行图像组的分类的情况下，不进行拍摄信息判定部30中的拍摄信息的判定，如实施方式I或实施方式2所述进行图像组的分类。
[0135]另外，在实施方式2中，在并未预先指定照片书的页数的情况下，可以确定照片书的推荐页数并向用户提议。
[0136]例如，在图像分配装置22的排列顺序确定部27中，在确定了多个图像数据的排列顺序以后，在图像组分类部26中，基于图像特征量计算相邻的图像数据的图像间类似度，基于计算出的图像间类似度确定推荐页数。这在具备实施方式2的图像分配装置22的结构的实施方式3的图像分配装置32中也适用。
[0137]如图16中的步骤S51?54所示，基于图像数据的排列顺序，在相邻图像间的类似度最小的位置处进行图像组的分割。
[0138]如步骤S51所示，将多个图像整体作为I个图像组，在相邻图像间的类似度最小的位置Al处进行分割，形成为2个图像组。在进行了分割的位置Al处的相邻图像间的类似度小于或等于规定值的情况下，作为步骤S52，接下来在相邻图像间的类似度小的位置A2处将I个图像组分割为2个。在进行了分割的位置A2处的相邻图像间的类似度小于或等于规定值的情况下，同样地，作为步骤S53，接下来在相邻图像间的类似度小的位置A3处将I个图像组分割为2个，作为步骤S54，接下来在相邻图像间的类似度小的位置A4处将I个图像组分割为2个。在步骤S54中进行了分割的位置A4处的相邻图像间的类似度大于或等于规定值的情况下，在此处停止对图像组的分割，将当前的图像组的数量作为推荐页数。
[0139]在图16中，根据分割位置Al?A4而划分为Pl?P5为止的5个图像组，因此，推荐页数为5个页面。
[0140]另外，可以基于在实施方式I?3中分割出的图像组，制作由多个图像构成的拼贴画。
[0141]例如，如图17(A)所示，可以从各图像组提取图像特征量最大的图像数据，制作I张拼贴画，另外，如图17(B)所示，可以从I个图像组按照图像特征量从大到小的顺序提取多张图像的数据，制作I张拼贴画。
[0142]另外，作为上述图像特征量，并不限定于颜色直方图，也能够使用图像的锐度等。
[0143]实施方式4
[0144]此外，本发明的实施方式I?3所涉及图像分配装置2、22、32具备图像特征量计算部5，获取多个图像数据，并分别计算多个图像数据的图像特征量，但是，本发明的图像分配装置也可以获取预先计算出图像特征量的多个图像数据，并进行图像分配。
[0145]如图18所示，本发明的实施方式4所涉及的图像分配装置42不具备实施方式I所涉及的图像特征量计算部5。因此，如果与实施方式I所涉及的图像分配装置2进行比较，作为不同点，图像存储器13'仅与图像组分类部6连接，另外，控制部9,仅与图像组分类部6、图像组排序部7、图像布局部8、页数变更部10、操作部11以及存储部12分别连接。另外，由图像存储装置I,存储且与向图像分配装置42输出的与多个图像对应的多个图像数据，预先具有对应的图像特征量。
[0146]另外，实施方式4所涉及的图像分配装置42的上述以外的结构及动作，与实施方式I的图像分配装置2相同。
[0147]此外，不具备上述实施方式I所涉及的图像特征量计算部5的这种结构，也能够适用于本发明的实施方式2及3。在这些情况下，如上所述，是以图像分配装置预先具有与所要获取的多个图像数据对应的图像特征量为前提的。
[0148]此外，关于图像特征量，在如上述实施方式I?3所记载那样利用图像特征量计算部5进行计算的情况下，或者在如上述实施方式4所述那样预先进行计算并与图像数据一起存储的情况下，只要与所对应的图像数据相关联即可，例如，也可以附带于图像数据中而进行存储，另外，也可以作为与图像数据不同的数据进行存储。
[0149]另外，作为上述拍摄信息，并不限定于拍摄日期时间、拍摄顺序等与拍摄有关的信息，例如，可以利用图像分配装置中的图像数据的获取时间、图像特征量的计算时间、图像存储装置中的图像数据的存储时间(例如，图像数据向图像服务器等的上传时间)等元信肩、O
[0150]虽然在实施方式2中以图像数据的元信息被删除为前提，但是，如上所述，可以将图像存储装置I对图像数据进行存储的时间、图像分配装置22获取图像数据的时间等作为图像数据的新的元信息进行存储。
[0151]在该情况下，例如，可以利用上述的图像存储装置I中的图像数据的存储时间、图像分配装置22中的图像数据的获取时间等取代拍摄顺序，确定图像的排列顺序。
[0152]另外，在实施方式3中，在拍摄信息判定部30中，基于拍摄信息的有无而对具有拍摄信息的图像数据和不具有拍摄信息的图像数据进行判定，但是，如上所述，在将图像分配装置中的图像数据的获取时间、图像特征量的计算时间、图像存储装置中的图像数据的存储时间等用作新的拍摄信息的情况下，可以根据拍摄信息的种类进行图像数据的分类。例如，拍摄信息判定部30可以对是与拍摄日期时间或拍摄顺序相关联的拍摄信息，还是上述图像分配装置中的新追加的图像数据的获取时间、图像特征量的计算时间、图像存储装置中的图像数据的存储时间等的拍摄信息进行判定，并根据这些拍摄信息的种类进行图像数据的分类。
[0153]另外，在实施方式4中也相同地，作为拍摄信息，能够利用上述的图像分配装置中的图像数据的获取时间、图像特征量的计算时间、图像存储装置中的图像数据的存储时间坐寸O
[0154]以上，虽然对具备本发明的图像分配装置的照片书制作装置、以及利用本发明的图像分配方法的照片书制作方法进行了详细说明，但本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内，可以进行各种改进、变更。
【权利要求】
1.一种图像分配装置，其基于图像组的分类，将显示用的图像向显示用页面分配， 该图像分配装置的特征在于，具备: 图像组分类部，其基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组；以及 图像组排序部，其根据基于所述图像特征量的所述图像组之间的距离，重新排列所述图像组的排列顺序。
2.根据权利要求1所述的图像分配装置，其特征在于， 还具备图像特征量计算部，该图像特征量计算部计算所述多个图像数据各自的所述图像特征量。
3.根据权利要求1所述的图像分配装置，其特征在于， 还具备页数变更部，该页数变更部对所述页数进行变更。
4.根据权利要求3所述的图像分配装置，其特征在于， 所述图像组分类部，在所述页数变更部中所述页数增加的情况下，按顺序对多个所述图像组中的图像张数最多的所述图像组进行分割，直至所述图像组的数量达到变更后的页数为止，在所述页数变更部中所述页数减少的情况下，按顺序将多个所述图像组中的图像张数最少的所述图像组、和与所述图像张数最少的图像组最接近的另I个所述图像组合并，直至所述图像组的数量达到变更后的页数为止。
5.根据权利要求3所述的图像分配装置，其特征在于， 所述图像组分类部，在所述页数变更部中所述页数变更后的情况下，基于所述图像特征量，将所述多个图像数据再分类为数量与变更后的页数对应的图像组。
6.一种图像分配装置，其基于图像组的分类，将显示用的图像向显示用页面分配， 该图像分配装置的特征在于，具备: 图像组分类部，其基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组；以及 排列顺序确定部，其基于所述多个图像数据所具备的拍摄信息，确定所述多个图像数据的排列顺序， 所述图像组分类部基于所述图像特征量、所述图像组的分类以及所述多个图像数据的排列顺序，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
7.根据权利要求6所述的图像分配装置，其特征在于， 还具备图像特征量计算部，该图像特征量计算部计算所述多个图像数据各自的所述图像特征量。
8.根据权利要求6所述的图像分配装置，其特征在于， 还具备页数变更部，该页数变更部对所述页数进行变更。
9.根据权利要求6或7所述的图像分配装置，其特征在于， 所述图像组分类部基于所述图像特征量和所述排列顺序，计算相邻的图像数据之间的图像间类似度，并基于所述图像间类似度将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
10.根据权利要求6或7所述的图像分配装置，其特征在于， 所述图像组分类部基于所述图像特征量和所述排列顺序，计算相邻的图像数据之间的图像间类似度，并基于所述图像间类似度计算所述显示用页面的推荐页数。
11.根据权利要求6或7所述的图像分配装置，其特征在于， 所述图像组分类部基于所述图像组的分类和所述排列顺序，将所述多个图像数据分类为多个新的图像组，基于所述图像特征量和所述排列顺序计算相邻的图像之间的图像间类似度，基于所述图像间类似度对所述多个新的图像组进行合并或分割，由此，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
12.根据权利要求6或7所述的图像分配装置，其特征在于， 还具备拍摄信息判定部， 所述拍摄信息判定部，对所述多个图像数据中的图像数据是具有所述拍摄信息的图像数据，还是不具有所述拍摄信息的图像数据进行判定。
13.根据权利要求12所述的图像分配装置，其特征在于， 在所述拍摄信息判定部判定为不具有所述拍摄信息的图像数据的图像张数比具有所述拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，所述图像组分类部不对具有所述拍摄信息的图像数据和不具有所述拍摄信息的图像数据进行区分而将它们分类为多个图像组， 在所述拍摄信息判定部判定为具有所述拍摄信息的图像数据的图像张数比不具有所述拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，或者判定为具有所述拍摄信息的图像数据的图像张数和不具有所述拍摄信息的图像数据的图像张数的张数差处于规定范围内的情况下，所述图像组分类部将具有所述拍摄信息的图像数据分类为多个图像组，基于所述图像特征量将不具有所述拍摄信息的图像数据追加到具有所述拍摄信息的图像数据的所述多个图像组中的某一个中。
14.根据权利要求12所述的图像分配装置，其特征在于， 还具备分类切换部， 所述分类切换部选择是考虑所述拍摄信息进行图像组的分类，还是基于所述图像特征量进行图像组的分类， 在考虑所述拍摄信息进行图像组的分类的情况下，在所述拍摄信息判定部进行对多个图像数据的判定后，所述图像组分类部将所述多个图像数据分类为所述多个图像组， 在基于所述图像特征量进行图像组的分类的情况下，所述拍摄信息判定部部不进行对多个图像数据的判定，而所述图像组分类部将所述多个图像数据分类为多个图像组。
15.根据权利要求6或7所述的图像分配装置，其特征在于， 所述拍摄信息包含拍摄日期时间或者拍摄顺序的信息。
16.一种图像分配方法，其基于图像组的分类，将显示用的图像向显示用页面分配， 该图像分配方法的特征在于， 基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组， 根据基于所述图像特征量的所述图像组之间的距离，重新排列所述图像组的排列顺序。
17.根据权利要求16所述的图像分配方法，其特征在于， 在所述图像组的分类之前，计算所述多个图像数据各自的所述图像特征量。
18.根据权利要求16所述的图像分配方法，其特征在于， 进一步对所述页数进行变更，基于变更后的所述页数进行所述图像组的分类。
19.根据权利要求18所述的图像分配方法，其特征在于， 在所述页数增加的情况下，按顺序对多个所述图像组中的图像张数最多的所述图像组进行分割，直至所述图像组的数量达到变更后的页数为止， 在所述页数减少的情况下，按顺序将多个所述图像组中的图像张数最少的所述图像组、和最接近所述图像张数最少的图像组的另I个所述图像组合并，直至所述图像组的数量达到变更后的页数为止。
20.根据权利要求18所述的图像分配方法，其特征在于， 在所述页数变更后的情况下，基于所述图像特征量将所述多个图像数据再分类为数量与变更后的页数对应的图像组。
21.—种图像分配方法，其基于图像组的分类，将显示用的图像向显示用页面分配， 该图像分配方法的特征在于， 基于所述图像特征量，将具有图像特征量的多个图像数据分类为数量与所述显示用页面的页数对应的图像组， 基于所述多个图像数据所具备的拍摄信息，确定所述多个图像数据的排列顺序，基于所述图像特征量、所述图像组的分类以及所述多个图像数据的排列顺序，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
22.根据权利要求21所述的图像分配方法，其特征在于， 在所述图像组的分类之前，计算所述多个图像数据各自的所述图像特征量。
23.根据权利要求21所述的图像分配方法，其特征在于， 进一步对所述页数进行变更，并基于变更后的所述页数进行所述图像组的分类。
24.根据权利要求21或22所述的图像分配方法，其特征在于， 基于所述图像特征量和所述排列顺序，计算相邻的图像数据之间的图像间类似度， 基于所述图像间类似度，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
25.根据权利要求21或22所述的图像分配方法，其特征在于， 基于所述图像特征量和所述排列顺序，计算相邻的图像数据之间的图像间类似度， 基于所述图像间类似度，计算所述显示用页面的推荐页数。
26.根据权利要求21或22所述的图像分配方法，其特征在于， 基于所述图像组的分类和所述排列顺序，将所述多个图像数据分类为多个新的图像组， 基于所述图像特征量和所述排列顺序，计算相邻的图像数据之间的图像间类似度， 基于所述图像间类似度，对所述多个新的图像组进行合并或分割，由此，将所述多个图像数据再分类为数量与所述显示用页面的页数对应的图像组。
27.根据权利要求21或22所述的图像分配方法，其特征在于， 判定所述多个图像数据中的图像数据是具有所述拍摄信息的图像数据，还是不具有所述拍摄信息的图像数据。
28.根据权利要求27所述的图像分配方法，其特征在于， 在不具有所述拍摄信息的图像数据的图像张数比具有所述拍摄信息的图像数据的图像张数多出大于或等于规定张数的情况下，不对具有所述拍摄信息的图像数据和不具有所述拍摄信息的图像数据进行区分而将它们分类为多个图像组， 在具有所述拍摄信息的图像数据的图像张数比不具有所述拍摄信息的图像数据的图像张多出大于或等于规定张数的情况下，或者在具有所述拍摄信息的图像数据的图像张数和不具有所述拍摄信息的图像数据的图像张数的张数差处于规定范围内的情况下，将具有所述拍摄信息的图像数据分类为多个图像组，基于所述图像特征量将不具有所述拍摄信息的图像数据追加到具有所述拍摄信息的图像数据的所述多个图像组中的某一个中。
29.根据权利要求27所述的图像分配方法，其特征在于， 选择是考虑所述拍摄信息进行图像组的分类，还是基于所述图像特征量进行图像组的分类， 在考虑所述拍摄信息进行图像组的分类的情况下，在进行对所述多个图像数据的判定后，将所述多个图像数据分类为所述多个图像组， 在基于所述图像特征量进行图像组的分类的情况下，在不进行对所述多个图像数据的判定的情况下将所述多个图像数据分类为多个图像组。
30.根据权利要求21或22所述的图像分配方法，其特征在于， 所述拍摄信息包含拍摄日期时间或者拍摄顺序的信息。
【文档编号】H04N5/232GK104517119SQ201410520360
【公开日】2015年4月15日 申请日期:2014年9月30日 优先权日:2013年9月30日
【发明者】桃木阳平, 山路启 申请人:富士胶片株式会社