图像处理装置、图像处理方法、程序、集成电路的制作方法

专利名称：图像处理装置、图像处理方法、程序、集成电路的制作方法
技术领域：
本发明涉及从图像内确定推测为对用户而言重要的区域的图像处理装置。
背景技术：
近年来，通过数字照相机的普及及记录介质的容量增加，成为用户能够轻松地摄影图像的环境。但是，如果用户在摄影后确认所摄影的图像，则经常有拍摄了用户认为不需要的事物的情况，有想要从图像内仅将需要的部分裁剪的需求。此外，在影集制作时，为了插入到影集内的某个相框中，有时也需要以与该相框的形状及大小相应的大小将图像裁剪。作为关于裁 剪的技术，有为了制作证件照片用的面部照片而将人物的面部或从面部到躯干的颈部附近的部分从图像裁剪的技术(参照专利文献I)。现有技术文献专利文献专利文献1:特开2001 - 307122号公报专利文献2:特许第4315344号公报非专利文献非专利文献1:使用基于Gabor特征的信息量的加权匹配的面部识别，堀田一弘(埼玉大学(日本学术振兴会特别研究员))，电子信息通信学会技术研究报告.HIP，人类信息处理 100 (34) pp.31 — 3820000504非专利文献2:John C.Platt, Mary Czerwinski, Brent A.Field, PhotoTOC:Automatic Clustering for Browsing Personal Photographs, Fourth IEEE PacificRim Conference on Multimedia (2003)非专利文献3:1tti, L.，Koch, C.，Niebur, E.:Amodel of saliency-based visualattention for rapid scene analysis.PAMI20 (1998) 1254 — 1259非专利文献4:Υ.Cheng.Mean Shift, mode seeking, and clustering.1EEETrans.Pattern Anal.And Machine Intell., 17 (8): 790 — 799, 1995非专利文献5:Swain，M.J.and Ballard, D.H.: ^ColorIndexing", IJCV, 7, pp.11 — 32 (1991)
发明概要发明要解决的问题但是，用户认为重要的对象不仅是人物、还包括图像内的物体的情况较多。在现状中，关于面部识别技术能够期待一定的精度，但关于识别面部以外的一般物体的物体识别技术，有在精度及鲁棒性的方面不足的一面。因此，例如在将一起拍摄了家人和塔的图像裁剪的情况下，可以想到拍摄人物的部分能够识别、相对于此作为物体的塔不能识别的状况，仅依靠物体识别技术难以将包括图像内的人物和塔的两者的区域裁剪。

发明内容
本发明是鉴于上述问题而做出的，目的是提供一种不完全依赖于物体识别技术、也能够从图像中确定推测为对用户而言重要的区域的图像处理装置。用于解决问题的手段为了解决上述问题，有关本发明的图像处理装置的特征在于，具备:分割部，针对多个图像，分别将图像内分割为多个段；以及计算部，基于一个图像内的不同的段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。发明效果根据有关本发明的图像处理装置，能够有利于从图像之中确定推测为对用户而言重要的区域，例如在区域的修整中能够适当地使用。


图1是图像处理系统的框图。图2是整体流程图。图3是表示图像取得、目标.事件.段提取动作的流程图。图4是目标的提取动作的流程图。图5是表示人物聚类的动作的具体例的形象图。图6是表示目标群集信息的数据构造的图。图7是事件的提取动作的流程图。图8是表示事件聚类的动作的具体例的形象图。图9是表示事件群集信息的数据构造的图。图10是段的提取动作的流程图。图11是段聚类的动作的流程图。图12是表示段聚类的动作的具体例的形象图。图13是表示段群集信息的数据构造的图。图14是表示段特征量提取的动作的具体例的形象图。图15是表示段特征量的数据构造的图。图16是图像评价的流程图。图17是表示目标重要度计算的动作的流程图。图18是表示目标重要度的数据构造的图。图19是表示段重要度计算的动作的流程图。图20是表示目标段的重要度计算的动作的流程图。图21是表示目标段的重要度计算的具体例的形象图。图22是表示段关注度计算的动作的流程图。图23是表示段关注度计算的具体例的流程图。图24是表示前景段的重要度计算的动作的流程图。图25是表示前景段的重要度计算的具体例的形象图。
图26是表示背景段的重要度计算的动作的流程图。图27是表示背景段的重要度计算的具体例的形象图。图28是表示段重要度的数据构造的图。图29是图像修整的动作的流程图。图30是修整判断的动作的流程图。图31是表示修整判断的具体例的形象图。图32是表示修整区域计算的动作的流程图。图33是表示修整区域计算(拉近修整)的具体例的形象图。图34是表示修整区域计算(推远修整)的具体例的形象图。图35是修整信息的数据构造的图。图36是表示修整中心计算的具体例的形象图。图37是表示在前景(背景)段的重要度计算中使用的图像的选择方式的具体例的形象图。图38是表示图像处理系统的例的图。图39是表示实施方式2的概要的图。图40是图像处理系统的框图。图41是表示整体流程图、图像取得、目标.事件.段提取动作的流程图的图。图42是表示事件合并的动作的图。图43是表示同一人物的出现判断的具体例的形象图。图44是表示摄影期间的重复判断的具体例的形象图。图45是表示同一事件判断的具体例的形象图。图46是表示实施方式3的概要的图。图47是图像处理系统的框图。图48是表示修整区域计算的动作的流程图。图49是表示修整中心计算的例子的图。图50是表示修整中心计算的例子的图。图51是表示实施方式4的概要的图。图52是有关实施方式4的图像处理系统的框图。图53是表示修整区域计算的动作的流程图。图54是表示修整中心计算的例子的图。图55是有关实施方式5的图像处理系统的框图。图56 (a)是表示移近/移离的例子的图，图56 (b)是表示缩略图制作的例子的图。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。(实施方式I)〈结构〉本实施方式I有关如下方法，该方法为:针对在旅行等的事件中用户摄影的图像群，将各图像分割为若干个段(segment)，根据各个图像的特征及各个图像的周边的图像的特征，计算表示分割的各段的评价的重要度，基于计算出的重要度将图像裁剪。图1是表示实施方式I的图像处理系统I的原理性的结构的框图。图像处理系统I包括存储介质2、图像处理装置3及显示器4而构成。图像处理装置3具备图像取得部10、目标提取部20 (包括目标特征量提取部21、目标聚类部22)、事件提取部30 (包括摄影日期时间信息提取部31、事件聚类部32)、段提取部40 (包括段分割部41、段分类部42、段特征量提取部43)、图像评价部50 (包括目标重要度计算部51、段重要度计算部52)、图像加工部60 (包括判断部61、区域计算部62、加工执行部63)、存储部70 (包括目标群集信息存储部71、事件群集信息存储部72、段群集信息存储部73、段特征量存储部74、目标重要度存储部75、段重要度存储部76、加工信息存储部77)、显示控制部80。以下，对各块进行说明，但详细的内容使用图2以后的图在后面叙述，所以这里仅大致叙述。图像取得部10例如由SD卡读卡器构成，从插入在SD卡插槽内的SD存储卡等的存储介质2取得图像数据。目标特征量提取部21以图像取得部10取得的图像数据为对象，提取拍摄在图像中的目标的特征量即目标特征量。作为从图像中提取目标特征量的方法，可以使用基于Gabor滤波器的提取方法(参照非专利文献I)。另外，以下作为目标而举人的面部为例进行说明。目标聚类部22基于提取出的目标特征量进行聚类，从而提取目标群集信息，将提取出的信息向目标群集信息存储部71存储。关于目标特征量的聚类方法，可以使用作为非层级性的方法(对固定的群集分别给出代 表来聚类的方法)之一的k-means法(参照非专利文献I)。摄影日期时间信息提取部31以图像取得部10取得的图像数据为对象，提取对图像附加的摄影日期时间信息。此外，事件聚类部32基于所提取的信息进行聚类而提取事件群集信息，将提取出的信息向事件群集信息存储部72存储。关于事件的聚类方法，可以使用设定任意的时间作为阈值、将图像彼此的摄影日期时间的差超过了阈值者作为事件的分界的方法(参照非专利文献2)。段分割部41以图像取得部10取得的图像数据为对象，提取图像的特征量，基于提取出的特征量将图像分割(划分)为多个段(区域)。关于该分割方法，可以使用基于平均值算法的图像分割方法(参照非专利文献4)。段特征量提取部43提取图像的前景特征量。前景特征量的提取可以使用拍摄在图像中的颜色、亮度、边缘方向、进深信息等的信息的至少I个来进行。作为这样的前景特征量的提取方法的一例，可以使用基于Saliency Map (显著图)的前景提取方法(参照非专利文献3)。并且，段分类部42使用提取出的前景特征量和由目标提取部20提取出的目标群集信息，将分割后的多个段分别分类为 拍摄在图像中的人物的部分...目标段
拍摄在图像中的除人物以外、物体作为被摄体的部分.. 前景段.拍摄在图像中的人物及物体以外的其余的部分...背景段的3种的某种，使表示分类结果的信息存储到段群集信息存储部73中。段特征量提取部43提取表示被分类的各个段的特征的段特征量，将表示提取出的段特征量的信息向段特征量存储部74存储。关于提取该段特征量的方法，例如使用将段内划分、提取划分的区域中的频度较高的颜色特征量作为代表颜色、将段内的代表颜色统计图作为特征量的方法。颜色统计图在非专利文献5中有详细说明。目标重要度计算部51基于存储在目标群集信息存储部71中的目标群集信息，计算表示拍摄在图像中的人物等的目标的重要度的目标重要度，将计算出的信息向目标重要度存储部75存储。段重要度计算部52基于存储在存储部71 74中的信息，按多个段的每个段，通过与分类后的段的种类相应的方法计算重要度，将计算出的段重要度向段重要度存储部76存储。图像加工部60进行加工以使图像的特定的区域受到关注。在本实施方式中，假设该加工是修整而进行说明。判断部61判断采用两种所准备的修整方法(“拉近修整”和“推远修整”)中的哪种。区域计算部62按照与判断的修整的种类相应的方法，基于各段的种类及各段的重要度，计算图像内的裁剪的区域，将表示计算出的区域的信息向加工信息存储部77存储。加工执行部63按照计算出的区域进行图像的修整。存储部70包括各存储部71 77，例如由RAM构成。显示控制部80进行显示器4的显示控制。〈动作〉接着，对将图像修整的整体的流程进行说明。如图2所示，图像处理装置3进行图像取得、目标 事件 段提取(S21)、图像评价(S22)，在图像修整(S23)中结束处理。关于图2的图像取得、目标.事件.段提取(S21)，使用图3进行说明。如图3所示，在图像取得、目标.事件.段提取的处理中，图像取得部10从存储介质2取得存储在存储介质2内的图像数据(S31)。接着，目标提取部20以所取得的图像数据为对象，从图像中提取人物的目标(S32)。接着，事件提取部30以所取得的图像数据为对象，提取图像所属的事件(S33)。并且，段提取部40以所取得的图像数据为对象，提取将图像分割而成的段(S34)。使用图4对目标提取(S32)的处理进行说明。目标特征量提取部21将拍摄在图像中的面部的区域切出，提取面部的位置及大小等的面部特征量(S41)。接着，目标聚类部22使用提取出的面部特征量进行聚类，将作为聚类的结果的目标群集信息向目标群集信息存储部71存储(S42)。

使用图5具体地说明S41、S42的动作。
目标特征量提取部21从3张图像A 图像C (图5 (a))中提取4个面部Fl F4(S51)，提取面部Fl F4各自的特征量(图5 (b))。并且，目标聚类部22将4个面部Fl F4中的类似的面部彼此的面部F2、F3作为人物a，此外将面部F1、F4聚类为人物b (S52)(图5 (C))。图6是表示呈现目标聚类(S42)的结果的目标群集信息的数据构造的图。目标群集信息是表示在图像中出现的面部分别属于哪个人物群集的信息，包括“群集ID”、“面部ID”、“图像ID”、“面部的位置(X，Y)”、“面部的大小(W，H)”的项目。使用图7对事件提取(S33)的处理进行说明。摄影日期时间信息提取部31提取在图像的摄影时赋予的摄影日期时间信息(S71)。接着，事件聚类部32使用提取出的摄影日期时间信息进行聚类，将作为聚类的结果的事件群集信息向事件群集信息存储部72存储(S72)。如果使用图8具体地说明S71、S72的动作，则摄影日期时间提取部31从4张图像A 图像D (图8 (a))分别提取摄影日期时间(S81)(图8 (b))。作为摄影日期时间的提取方法，例如可以从由数字照相机等对摄影的图像赋予的Exif(Exchangeable image fileformat)信息中提取摄影日期时间。并且，事件聚类部32将4个摄影日期时间中的日期时间较近的图像彼此的图像A、B作为事件f，此外将图像C、D聚类为事件g (S82)(图8 (C))。图9是表示呈现事件聚类(S72)的结果的事件群集信息的数据构造的图。事件群集信息是表示图像属于哪个事件群集的信息，包括“群集ID”、“图像ID”、“摄影日期时间”的项目。接着，使用图10对段提取(S34)的详细情况进行说明。段分割部41提取图像的边缘特征量(S101)，根据提取出的边缘特征量将图像分割为多个段(区域)(S102)。接着，段分类部42将分割成的段分类为目标 前景 背景这3种(S103)。并且，提取分类出的段的图像特征量，将提取出的 特征量向段特征量存储部74存储(S104)。使用图11对段聚类(S103)的处理进行说明。段分类部42从目标群集信息存储部71取得目标信息(S111)，根据包含在目标信息中的面部的位置及大小推测躯干的位置及大小，推测由面部和躯干构成的人物的范围。并且，将包含在推测出的范围中的区域分类为目标段(S112)。接着，提取图像的前景特征量(S113)，在没有被分类为目标段的区域中，将被提取出前景特征量的区域分类为前景段(S114)。并且，将没有被分类的剩余的区域作为背景，分类为背景段。这样，将图像内的多个段分别分类为目标.前景.背景的某个段，将表示分类结果的段群集信息向段群集信息存储部73存储(SI 15)。使用图12的图像E的例子具体地说明S112 S115的动作，段分类部42从图像E中提取边缘特征量，将图像用段划分(S121)。接着，检测拍摄在图像E中的面部(S122)。通过检测出的面部的位置和大小，在用段划分后的图像中，推测包括面部和躯干的区域的段，将推测出的段分类为目标段(S123)。这里，作为一例，将与拍摄在图像E中的母亲和儿子的面部及躯干的区域对应的段分类为目标段0S1、0S2。接着，从图像E提取前景特征量(S124)。图12 (a)的右上的图表示Saliency Map，表示将人物和灯台作为前景部分有些发白地提取的状况。
接着，段分类部42基于提取出的前景特征量，在用段划分后的图像中，推测包括前景的段，将推测出的段分类为前景段(S125)。在图像E的例子中，前景部分包括两个人物和灯台，两个人物已经被分类为目标段OSl、0S2，所以将拍摄有灯台的部分分类为前景段FSl。并且，将没有被分类为目标段0S1、0S2及前景段FSl的其余的段分类为背景段BS(S126)。在图12 (a)的右下部分，将背景段一起表示为BS，当如图12 (b)所示，实际上细分化为8个背景段BSl BS8。图13是表示呈现段聚类(S103)的结果的段群集信息的数据构造的图。段群集信息是表示包含在图像中的区域分别属于哪个种类的段的信息，包括“图像ID”、表示段的种类的“段分类”、用来唯一地确定段的“段ID”、和表示段的位置及大小的“段信息”的项目。使用图14具体地说明S104的动作，段特征量部提取部43将一个段确定为提取的对象(S141)，将所确定的段的区域划区为栅格状，在各划区中提取最频繁出现的颜色作为该划区的代表颜色，计算提取出的代表颜色的统计图(histogram)作为段特征量(S142)。这里，作为一例，根据图像E (图14 (a))将一个目标段OSl确定为提取的对象，将OSl的区域划区为32个，计算各划区的代表颜色(黑、白、红、绿、蓝)的统计图(图14 (C))。这样，段特征量部提取部43提取图像E的11个各段0S1、0S2、FS1、BSl BS8各自的特征量。图15是表示呈现段特征量提取(S104)的结果的段特征量的数据构造的图。段特征量是包括图像的段的色调的信息，包括“段ID”、“黑、白、红、绿、蓝”等的项目。回到图2继续说明。接着，使用图16对图像评价(S22)的处理进行说明。目标重要度计算部51计算拍摄在图像中的目标的重要度的目标重要度(S161)，接着，段重要度计算部52计算图像内的段的重要度(S12)。使用图17对计算目标重要度的处理(S161)进行说明。目标重要度计算部51从目标群集信息存储部71取得目标群集信息(S171)。目标重要度计算部51基于所取得的目标群集信息，按每个目标群集，求出(A)拍摄有属于该目标群集的对象的图像的张数，通过将其用(B)全部图像张数除(A/B)，求出目标的出现频度，将其计算为目标的重要度。并且，将计算出的目标重要度向目标重要度存储部75存储(S172)。例如，在两张图像中拍摄有属于同一目标群集的人物X的情况下，人物X的出现频度是2，人物X的目标重要度也为2。这是根据用户将重要的目标频繁地摄影的倾向而考虑的，认为在全部的图像中出现频度较高的目标是重要的。图18是表示呈现目标重要度计算的结果的目标重要度的数据构造的图。目标重要度是表示拍摄在图像中的目标的重要度的信息，包括“人物”、“目标重要度”、“顺序”的项目。这里，作为一例，拍摄在图像中的人物a和人物b各自的目标重要度为1.0和0.67，并且存储有基于其重要度的顺序。对图16的段重要度计算(S162)的详细情况进行说明。如图19所示，段重要度计算部52计算包含在图像中的目标段的重要度(S191)，接着计算包含在图像中的前景段、背景段的关注度(S192)。接着，基于计算出的前景段的关注度，计算前景段的重要度(S193)，接着计算背景段的重要度(S194)。所谓关注度，是以往往在重要的人物和重要的被摄体为点对称的位置关系下进行摄影的用户的倾向为前提的、用来计算图像的重要度的I个要素。关注度是根据图像中的人物与前景(物体)的位置关系计算的，其计算处理使用图22在后面叙述。使用图20对目标段的重要度计算(S191)的处理进行说明。段重要度计算部52从目标群集信息存储部71取得目标群集信息，从目标重要度信息存储部71取得目标重要度，从段群集信息存储部73取得关于目标段的段群集信息(S201)，计算包含在目标段中的人物的重要度作为目标段的重要度(S202)。使用图21，具体地说明S202的动作。段重要度计算部52计算在由S32从图像提取出的面部(目标)的全部图像中出现的频度，通过将计算出的频度正规化，计算图像内的各目标段的重要度(S211)。这里，作为一例，从图像E、A、C (图21 (a))，将拍摄在图像E内的人物A、人物B分别分类为目标段I (0S1)、目标段2 (0S2)。接着，将目标段0S1、0S2的重要度分别通过将人物A、B的出现频度正规化的值计算(图21 (b))。接着对图19的段关注度计算(S192)进行说明。如图22所示，段重要度计算部52从段群集信息存储部73取得段信息，从段重要度存储部76取得段重要度(S221)，基于所取得的段信息和段重要度计算关注位置(S222)，基于计算出的关注位置计算图像内的前景段、背景段的段关注度(S223)。使用图23具体地说明S222、S223的动作，则段重要度计算部52根据图像计算目标段的中心位置，根据重要度计算重心(S231 )，根据计算出的重心和图像的中心位置，计算与重心点对称的关注位置(S232)。并且，根据计算出的关注位置、目标段以外的段的距离、和目标段的重要度的均值，计算段关 注度(S233)。这里，作为一例，基于图像E (图23 Ca 求出.人物A的目标段OSl的中心位置Cl.人物B的目标段0S2的中心位置C2。并且，通过求出(Cl的坐标XOSl的重要度+C2的坐标X0S2的重要度)/(0Sl的重要度+0S2的重要度)，计算重心G的坐标(图23 (b))。接着，将以图像E的中心点为中心时的成为重心G的点对称的位置作为关注位置P (图 23 (C))。此外，求出灯台的前景段FSl的中心位置C3，基于关注位置P与中心位置C3的距离计算FSl的段关注度(图23(d))。由于如上述那样推测处于相对于重要的人物为点对称的位置的被摄体是进行摄影的用户认为重要的被摄体，所以对于与该关注位置P越近的前景(背景)段则将段关注度评价得越高。接着，对图19的前景段的重要度计算(S193)进行说明。如图24所示，段重要度计算部52从各存储部72 73、76取得事件群集信息、段群集信息、段特征量、段关注度、摄影日期时间信息(S241)。并且，段重要度计算部52参照事件群集信息，确定属于与计算前景段的重要度的对象图像相同的事件的其他图像，计算对象图像与其他图像的特征量的类似度(S242)。并且，根据摄影日期时间信息进行对象图像与其他图像的摄影间隔的计算(S243)。接着，段重要度计算部52根据在S242中计算出的类似度和在S243中计算出的摄影间隔计算前景同现度(S244)。使用包含在某一个事件中的对象图像和对象以外的全部图像进行该S242 S244的处理，根据计算出的全部的前景同现度计算对象图像的前景段的重要度，向段重要度存储部存储(S245)。所谓“前景同现度”，是以用户在短期间中将重要的被摄体多次摄影的倾向为前提的、用来计算图像的重要度的I个要素，根据对象图像与在属于相同的事件的其他图像(周边图像)中拍摄的图像的前景的关系计算。使用图25具体地说明S242 S245的动作，段重要度计算部52在从对象图像提取出的前景段和从对象图像的前后的图像提取出的前景段中计算段特征量的类似度。根据在计算出的类似度中最高的前景段的类似度、关注度、前后的图像与对象图像的摄影间隔，计算对象图像的前景段的同现度。这里，作为一例，从图像F、E、G (图25 (a))提取前景段FS1、FS2、FS3，计算图像E的前景段FS2与前后的图像F、G的前景段FS1、FS3的类似度。接着，在前后的图像中挑选类似度最高的前景段。这里，是前景段FS1、FS3。并且，将選别出的前景段的类似度、关注度、以及与对象图像的摄影间隔的三者分别加上I后相乘，计算对象图像的前景段FS2的同现度(S251)。这里，图像E的前景段FS2的同现度是5.43。另外，摄影间隔是O I的范围，越接近于I则表示摄影间隔越近。此外，类似度是O I的范围，越接近于I则表示越相似。最后，段重要度计算部52将同现度5.43与对关注度0.7加I后的值相乘，将得到的值9.23作为前景段FS2的重要度输出(S252)。通过这样的计算，摄影间隔越短的图像、或包含段特征量越类似的前景，则评价为越重要的前景段。图25 (d)的计算式的例子是一例，只要是能够反映如上述那样用户在短期间中将重要的被摄体多次摄影的倾向那样的计算式就可以，并不限定于此。即，只要是计算重要度的对象的前景段与前后的图像的前景段越类似、并且(或者)与前后的图像的摄影间隔越近则将该前景段的重要度计算得越高那样的计算式就足够。此外，摄影间隔的要素并不是必须的，也可以考虑不使用的情况。使用图26对图19的背景段的重要度计算(S194)进行说明。段重要度计算部52从各存储部等取得事件群集信息、段群集信息、段特征量、前景段的重要度、摄影日期时间信息(S261)。并且，段重要度计算部52参照事件群集信息，确定属于与计算前景段的重要度的对象图像相同的事件的其他图像，计算对象图像与其他图像的特征量的类似度(S262)。并且，根据摄影日期时间信息，进行对象图像与其他图像的摄影间隔的计算(S263)。接着，段重要度计算部52根据在S262中计算出的类似度和在S263中计算出的摄影间隔，计算背景同现度(S264 )。使用包含在某一个事件中的对象图像和对象以外的全部图像进行该S262 S264的处理，根据计算出的全部的前景同现度计算对象图像的前景段的重要度，向段重要度存储部存储(S265)。使用图27具体地说明S262 S265的动作，段重要度计算部52在从对象图像提取出的背景段和从对象图像的前后的图像提取出的背景段中计算段特征量的类似度。并且，段重要度计算部52根据在计算出的类似度中最高的背景段的类似度、关注度、前后的图像与对象图像的摄影间隔，计算对象图像的背景段的同现度。这里，作为一例，从图像F、E、G (图25 (a))，图像F提取6个背景段，图像E提取7个背景段，图像G提取6个背景段(S271，图25(b))。并且，从图像E的6个背景段中，将背景段为未计算的背景段BS2决定为计算对象。并且，从图像F、G的各自的背景段中，挑选与该背景段BS2类似度最高的背景段BS1、BS3 (S272)。并且，求出BS2与BSl的类似度、BS2与BS3的类似度。将求出的类似度、关注度、以及与对象图像的摄影间隔相乘，计算对象图像的背景段BS2的同现度。这里，图像E的背景段BS2的同现度是0.52。最后，段重要度计算部52将同现度5.43与对关注度0.7加I后的值相乘，将得到的值9.23作为背景段BS2的重要度输出(S273)。另外，在图像E中有6个背景段，所以段重要度计算部52对于其余的5个背景段也同样计算背景段的重要度。此外，图27的计算方法是一例，可以考虑与上面所述的前景段的重要度同样的变形例。图28是表示呈现段重要度计算(S162)的结果的段特征量的数据构造的图。段重要度是表示图像的目标段、前景段、前景段的重要度的信息，包括“图像ID”、“段分类”、“关注度”、“同现度”、“段重要度”等的项目。接着，使用图29对图2的图像修整(S23)进行说明。判断部61进行修整判断(S291 )，根据判断出的修整的种类计算修整区域(S292)。使用图30对修整判断的处理(S291)进行说明。判断部61从段群集信息存储部73取得段信息(S301)。

并且，基于在段信息中表示的段的种类及各段的区域的大小，计算进行修整的对象图像与前后摄影的图像的目标段、前景段的区域的大小的变化度(S302)，根据计算出的变化度，判断是“拉近修整”还是“推远修整”，向加工信息存储部77存储(S303)。这里，所谓拉近修整，是将重要度较高的目标和前景的区域切出。所谓推远修整，是将重要度较高的目标、前景及背景的区域切出。使用图31具体地说明S302 S303的动作，判断部61根据从对象图像提取出的目标.前景的占图像的比例(以后设为占有度)与从对象图像的前后的图像提取出的目标 前景的占有度的差，计算变化度，根据计算出的变化度的值判断修整的种类。这里，作为一例，从图像H、E (图31 (a))作为目标而提取人物AB和前景A (S311)。接着，在各图像中计算提取出的目标 前景的占有度。在此情况下，图像H和E的目标的占有度为0.13、0.23。此夕卜，图像H和E的前景的占有度为0.13,0.15。接着，从对象图像E的目标和前景的占有度减去前面的图像H的目标的占有度而计算变化度。在此情况下，目标的变化度为0.1，前景的变化度为0.02。并且，计算将目标和前景的变化度合计的整体的变化度0.12 (S312)。结果，从前面的图像到对象图像，目标与前景变大(变化度是正数)，所以判断为拉近修整。另外，在从前面的图像到对象图像、目标变小的情况下，判断为推远修整。另外，在图31的例子中，为了使计算变简单而使用面部的区域作为人物的区域的大小，但也可以使用将躯干也包括在内的区域。
接着，使用图32对图29的修整区域计算(S292)进行说明。区域计算部62从段群集信息存储部73取得段群集信息，从段重要度存储部76取得段重要度，从加工信息存储部77取得修整信息(S321)。接着，根据所取得的段群集信息和段重要度，在图像内的目标段、前景段、背景段的各自中计算重心(S323)。在修整判断(S291)为拉近修整的情况下，根据.目标段的中心.前景段的中心计算修整中心。修整中心通过各段的中心位置的坐标值、和将各自的重要度考虑为权重来求出。在图36中表示例子。在图36的例子中:修整中心T的X坐标=[(OSl的重要度Xxl) + (0S2的重要度Xx2) + (0S3的重要度Xx3)]/ [(OSl的重要度)+ (0S2的重要度)+ (0S3的重要度)]，修整中心T的Y坐标=[(OSl的重要度Xyl) + (0S2的重要度Xy2) + (0S3的重要度Xy3)] / [(OSl的重要度)+ (0S2的重要度)+ (0S3的重要度)]。在修整判断(S291)是推远修整的情况下，根据.目标段的中心.前景段的中心.背景段的中心计算修整中心(S323)。计算修整中心的方式与拉近修整是同样的。并且，在拉近修整的情况下，区域计算部62计算包含在目标段、前景段的各自中重要度最高的段的修整区域。相对于此，在推远修整的情况下，区域计算部62计算包含在目标段、前景段、背景段的各自中重要度最高的段的修整区域。并且，区域计算部62将修整的种类、修整区域的位置向加工信息存储部77存储(S324)。具体地说明S322 S324的动作。使用图33说明拉近修整的例子。区域计算部62首先根据从对象图像提取出的全部的目标段和前景段的中心位置及重要度计算修整中心。接着，计算以计算出的修整中心为中心、包含在目标段和前景段中重要度最高的段的区域作为修整区域。这里，作为一例，从图像I (图33 (a))提取目标段0S1、0S2和前景段FS1、FS2 (图
33(b))。接着，根据提取出的0S1、0S2、FS1、FS2的中心位置和重要度计算修整中心(图33(C))。并且，计算以计算出的修整中心为中心、包含在目标段中重要度最高的0S1、和在前景段中重要度最高的FSl的区域(图33 (d))。使用图34说明推远修整的例子。区域计算部62首先根据从对象图像提取出的全部的目标段、前景段、背景段的中心位置和重要度计算修整中心。接着,计算以计算出的修整中心为中心、包括在目标段中重要度最高者、在前景段中重要度最高者、和在背景段中重要度最高者的长方形的区域作为修整区域。这里，作为一例，从图像J (图34 (a))中提取目标段0S1、0S2和背景段BSl BS7(图34 (b))。接着，根据提取出的0S1、0S2、BSl BS7的中心位置和重要度计算重心(图
34(C))。并且，计算以计算出的重心为中心、包含在目标段中重要度最高的OSl和在背景段中重要度最高的BS2的区域(图34 (d))。图35是表示呈现修整区域计算(S292)的结果的修整信息的数据构造的图。修整信息包括“图像ID”、“修整种类”、“修整中心(X，Y)”、“修整尺寸(W，H)”等的项目。加工执行部63基于该修整信息执行图像的修整。根据在本实施方式中说明的图像处理装置，基于一个图像内的区域彼此的关系性、以及上述一个图像与其他图像各自的区域彼此的关系性，计算目标段及前景段的重要度。由此，能够有利于即使不依靠物体识别技术也将推测为对用户而言重要的物体的区域裁剪。(实施方式2)本实施方式是通过从由SNS (社交网络服务)或图像共享服务等的服务在网络上共享的图像群取得图像来实现评价对象的图像的增加、提高评价结果的可靠性的。S卩，在某个用户A在旅行地摄影的图像的数量非常少的情况下，即使使用在实施方式I中说明的方法，由于图像数较少，所以也有不能评价拍摄有对于用户A而言有印象的背景(风景)、前景的图像的情况(参照图39 (a))。所以，将作为用户A的朋友的用户B摄影并上载到社交网络上的图像也用作评价对象(参照图39 (b))。由此，能够更适当地评价拍摄有对于用户A而言有印象的背景(风景)、前景的图像。图40是表示实施方式2的图像处理系统Ia的框图。图像处理装置3a的图像取得部IOa从存储介质2取得图像。此外，预先从用户受理SNS的用户名，使用该用户名，按照SNS的API (Application Program Interface)从SNS服务器2a也取得图像。另外，根据SNS的API，上述取得也有伴随着登入等的认证(Authentication)的情况。事件合并部90在同一事件判断部91中判断从SNS服务器2a取得的图像的事件与在事件群集信息存储部72中已聚类的事件的同一性。并且，事件合并部90基于判断结果将两事件合并。它们的详细情况使用图42后述。在图42中，带有与图1相同的附图标记的块与使用图1说明的是同样的，所以省略说明。〈动作〉图41的左侧是整体流程图，右侧是表示图像取得、目标.事件.段提取动作的流程图。整体流程图与图2相比，追加了图像取得、目标.事件.段提取(S411)的处理内容、和事件合并(S412)的处理这些点不同。在图像取得、目标.事件.段提取的处理中，图像取得部10从存储介质2取得存储在存储介质2内的图像数据。此外，图像取得部10还从SNS服务器2a利用API取得图像(S4111)。例如，图像取得部10使用作为SNS的用户名的用户A，从SNS服务器2a取得用户B (用户A的朋友)的图像。以后的处理(S32、S33、S34)与在实施方式I中说明的处理基本上是同样的，但在事件的提取处理(S33)中，分为从存储介质2取得的图像、和从SNS服务器2a取得的图像而进行处理。在事件合并处理(S412)中，如图42所示，事件合并部90从段特征量存储部74取得各段的段特征量，此外，从事件群集信息存储部72取得事件群集信息(S421)。接着，事件合并部90参照事件群集信息，设定从记录介质2取得的图像的事件、和从SNS服务器2a取得的图像的事件(社交的事件)的两个事件(S422)，判断设定的事件的同一性(S423 )，将这些处理重复直到针对取得途径不同的两种事件的全部组合完成(S424 )。例如，假设在步骤S421中取得的事件群集信息表示从存储介质2取得的图像被划分为两种事件(事件a、事件b)、从SNS服务器2a取得的图像被划分为I种事件A。此时，事件合并部90首先设定事件a和事件A (S422)，判断两事件的同一性(S423)。接着，设定事件b和事件A (S422)，判断两事件的同一性(S423)，结束处理(S424:是)。接着，对同一事件判断处理进行说明。同一事件判断部91将属于设定的两个事件中的一个事件的图像的段特征量与属于另一个事件的图像的段特征量比较，判断在两事件中是否出现(拍摄)了同一人物(S4231)。在图43中表示该判断的具体例。同一事件判断部91从关于从记录介质2取得的图像的事件a、和关于从SNS服务器2a取得的图像的事件A的各自的图像中提取人物，判断在两事件中是否出现了同一人物。在图43的例中，提取在事件a (A的旅行照片)和事件A(SNS上的B的旅行照片)中拍摄的人物，可知在两事件中拍摄有人物A。此外，同一事件判断部91判断一个事件的摄影期间与另一个事件的摄影期间的重复程度(S4232)。在图44中表示该判断的具体例。同一事件判断部91从事件a和事件A中提取最早的摄影日期时间和最新的摄影日期时间(摄影期间)，判断两事件是否重复。在图44的例子中，可知在事件a和事件A中，从2000/09/018:30到2000/09/0115:30的期间重复。基于这些判断结果(同一人物的出现的有无、摄影期间的重复程度的大小)，同一事件判断部91判断一个事件与其他事件是否相同。另外，在图43、图44所示的方法的例子中，在两事件中没有出现同一人物的情况、或没有摄影期间的重复的情况下不判断为相同。在图45的例子中，由于在事件a和事件A中出现了同一人物A，并且摄影期间的重复有一定期间(比例)，所以同一事件判断部91判断为事件a与事件A相同。如果相同，则同一事件判断部91对事件群集信息存储部77写入表示两事件相同的信息。在图42的右下的表中，表示事件a与事件A相同。在这样的事件合并处理(图41:S412)后进行的图像评价处理(S22)、图像修整处理(S23)中，将事件a与事件A看作相同，所以除了事件a的图像以外能够将社交的事件A的图像也作为处理对象，通过增加图像的样本数，能够得到可靠性更高的结果。如以上说明，根据本实施方式，通过将还从SNS (社交网络服务)取得的图像添加到评价对象中，能够增加评价对象的图像数，能够有利于提高评价结果的可靠性。
(实施方式3)在实施方式I中，能够进行无用户操作的自动的修整，而在本实施方式中，对使用用户操作的修整的方法进行说明。S卩，如图46所示，通过对由用户指定的对象使段重要度更大地加权，将该被指定的对象包含在修整区域中。图47是表示实施方式3的图像处理系统Ib的框图。图像处理装置3b的用户操作取得部93经由输入接口等取得用户的操作。〈动作〉图48是表示修整区域计算的动作的流程图。在图48中，对于与图32同样的处理赋予相同的步骤号。如果结束步骤S321的取得，则用户操作取得部93取得用户操作(S481)。该取得可以考虑显示包含“请指定想要包含到修整区域中的段”等的消息的菜单、供用户指定的方法。与此相反，也可以是不使用户特别意识到而取得的方法。即，例如如果图像处理装置3b是带有接触传感器的平板PC，则在图像的阅览时，也可以取得用户接触操作的段的次数，也可以取得处于将手指伸展而放大操作的(扩大的)位置的段的次数。接着，区域计算部62进行基于用户操作的修整中心计算(S482)。具体而言，如图49所示，基本上与在图36中说明的修整中心的计算方法是同样的，但使用用户操作的(指定的)段的次数作为权重系数这一点不同。另外，在图49中，根据操作(指定)次数来设定权重系数，但也可以如上述那样显示修整区域用的菜单，对于由用户明确地指定的段分配最大的权重系数。图50是针对图像P记述图49的式子而得到的。通过这样利用用户的操作(指定)计算修整中心，能够使该修整中心的位置接近于用户认为重要的段。因此，能够期待将用户认为重要的段不遗漏地包含到修整区域内。(实施方式4)本实施方式如图51所示，考虑包含在模板中的修整条件来调整进行修整的区域。在该修整条件中，包含有关于对人物、前景、背景的段中的至少I个段的重要度的加权的条件。在基于该加权调整段的重要度后，计算修整区域。图52是表示实施方式4的图像处理系统Ic的框图。图像处理装置3c的模板取得部94取得关于修整的模板。该模板包含有修整条件，在该修整条件中记载有各段的种类(目标、前景、背景)的权重系数的置换式。该置换式例如为:如果段的种类是目标则将权重系数设为2倍，如果是前景则将权重系数设为1.5倍，如果是背景则将权重系数设为0.5倍。修整条件读入部95将包含在由模板取得部94取得的模板中的修整条件读入。区域计算部62使用读入的修整条件计算修整中心。〈动作〉图53是表示修整区域计算的动作的流程图。在图53中，对于与图32同样的处理赋予相同的步骤号。在步骤S321后，模板取得部94取得模板(S531)。然后，修整条件读入部95将包含在所取得的模板中的修整条件读入(S532 )。接着，区域计算部62基于读入的修整条件计算修整中心(S533)。具体而言，如图54所示，区域计算部62通过对各段乘以在修整条件中记载的各段的权重系数来计算修整中心。由此，能够使修整中心的位置接近于权重系数设定得较高的种类的段。因此，能够期待将在模板的修整条件中指定为重要的段不遗漏地包含在修整区域内。(实施方式5)在实施方式I 实施方式4中，作为将图像加工的处理的例子而举修整进行了说明，但该加工并不限定于修整。从实施方式I到实施方式4中说明的方法能够在图像的特定的区域受到关注那样的(醒目那样的)各种各样的加工中采用。图55是表不实施方式4的图像处理系统Id的框图。图像处理装置3d的图像加工部60a具有加工执行部64。加工执行部64具有修整部64a、移近/移离部64b、缩略图制作部64c。移近/移离部64b在图像的幻灯片影片的再现时，进行移近/移离，以使重要度较高的段成为中央(图56 (a))。根据这样的缩放动作，能够将推测为对用户而言重要的人物或物体特写。缩略图制作部64c在图像的缩略图的制作时，制作以重要度较高的段为中心的缩略图(图56 (b))。这样的缩略图与将图像的尺寸单纯缩小的通常的缩略图不同，能够使推测为对用户而言重要的物体变醒目。〈补充1>以上，对本实施方式进行了说明，但本发明并不限定于上述内容，在用来达到本发明的目的和与其关联或附带的目的的各种形态中也能够实施，例如，也可以是以下这样。(I)在实施方式I中说明的方法在图像内的段评价中能够广泛地用在根据比较容易识别的段(A)来评价比较难识别的段(B)的方法中。在实施方式I中，A相当于目标段，B相当于前景(背景)段。此外，在实施方式I中，作为目标而举人物为例进行了说明，但目标并不限定于人物。在当前时点，由于面部识别技术与其他一般物体相比研究更先进，识别精度较高，所以只不过是举人物作为例子。例如如果在现在或将来储存有关于猫的模型数据，有关于猫能够高精度地识别的环境，则可以考虑根据该猫的目标段来评价其他段等。除了猫以外，还可以考虑汽车、花草、虫子、宠物(狗等)等。(2)在实施方式I中，目标段重要度原样使用目标重要度，但并不限定于此。例如，也可以通过人物的拍摄方式的程度(占有度、焦点、面部的朝向、笑脸等)来评价。如果有占有度较高、焦点对准、面部朝向正面或笑脸的程度较高等的要素，则可以考虑将目标重要度评价得更高。(3)在实施方式I中，假设在拉近修整(推远修整)中，将在各种类的段中重要度最高者包含到修整区域中而进行了说明，但并不限定于此。只要是与重要度相对较高的段、较低的段相比优先的处理方法就可以。例如，作为包含到修整区域中的段的条件，可以考虑设为重要度为一定值以上的条件、或重要度为一定顺序以内的条件。此外，修整判断(图29:S291，图30)的处理不是必须的，也可以将“推远修整”、“拉近修整”进行一方或双方，也可以从用户受理进行哪个的设定。(4)在实施方式I中，假设将图像分类为目标、前景、背景的3种段而进行了说明，但例如在如拉近修整那样仅进行不使用背景段的修整的那样的情况下，也可以分类为目标和iu景的两种段。(5)使用图37说明在前景段重要度计算(参照图24、图25)或背景段重要度计算(参照图26、图27)中，段重要度计算部52使用的图像的选择方式的具体例。作为事件a，假设分类为7张图像a 图像g，其中的图像d是重要度的计算对象(图 37 (a))。方法I是使用对象图像和对象图像以外的全部图像的方法(图37(b))。在图的例子中，使用对象图像d、和对象图像d以外的6张图像a 图像C、图像e 图像g。在实施方式I中说明的方法相当于该方法I。方法2是使用对象图像、和距对象图像的摄影间隔为一定以内的图像的方法(图37(c))。在图的例子中，使用对象图像d、和与对象图像d的摄影间隔为一定(例如，从几秒到几分钟左右)以内的图像b、C、e。该方法2与方法I相比，能够将在前景(背景)段的重要度计算中使用的图像的张数根据摄影日期时间而减少，所以能够起到处理负荷的减轻的作用。此外，方法2由于进行通过摄影间隔的挑选，所以也可以是在前景(背景)段的重要度计算(参照图25、图27)时不使用摄影间隔的处理方式。方法3是使用对象图像、和包含类似度与对象图像为一定以上的前景(背景)段的图像的方法(图37 (d))。在图的例子中，使用对象图像d、和与对象图像d的类似度为一定以上的前景(背景)段的图像a、c、F。该方法3通过仅使用与对象图像d某种程度类似的图像，有利于计算可靠性更高的前景(背景)段的重要度。另外，图像的选择方式并不限定于以上的例子。例如也可以选择对象图像的紧前或紧后的图像。此外，选择的图像的张数既可以是I张，也可以是预先设定的张数，也可以是例如根据作为处理对象的图像的张数计算出的张数。(6)在图33、图34的例子中，修整区域的形状是长方形状，但并不限定于此。也可以是使角变圆的长方形，也可以是椭圆或圆形。例如，在影集制作时，在为了包含到某个相框中而进行修整的情况下，修整区域的形状应为与该相框的形状相应的形状。即，修整区域的形状可以为与该修整的用途相应的形状。(7)在上述实施方式中说明的图像处理装置例如可以作为具备该图像处理装置的功能的BD记录机等的AV设备、个人计算机、及服务器终端等的固定放置型终端、或者数字照相机或便携电话等的移动型终端等实现。进而，也可以做成将在上述实施方式中说明的方法作为网络服务提供的服务器装置。在此情况下，如图38所示，如果服务器装置101经由网络从储存有内容的AV设备110、个人计算机111、便携设备112、数字照相机113等接收内容，则服务器装置101只要对接收到的内容进行通过在上述实施方式中说明的方法的图像处理，将其处理结果经由网络向AV设备110、个人计算机111、便携设备112、数字照相机113等发送就可以。
此外，也可以将记述有在上述实施方式中说明的方法的次序的程序存储到存储器中，通过CPU (Central Processing Unit)等从存储器读出程序、将读出的程序执行,来实现上述方法。此外，也可以将记述有该方法的次序的程序保存到DVD等的记录介质中并发布。此外，也可以使记述有该方法的次序的程序经由因特网等的传送介质广泛地流通。有关上述各实施方式的各结构也可以作为集成电路即LSI (Large ScaleIntegration)实现。这些结构既可以I芯片化，也可以包含一部分或全部而I芯片化。这里，表现为LSI，但根据电路的集成度的差异，也有称作IC (Integrated Circuit)、系统LS1、超级LS1、超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器进行集成电路化。此外，也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器(ReConfigurable Processor)。或者,这些功能块的运算例如也可以使用DSP(Digital Signal Processor)或 CPU (Central Processing Unit)等运算。进而，这些处理步骤也可以通过作为程序记录到记录介质中并执行来处理。(8)在实施方式2中，对从作为用户A的SNS上的朋友的用户B取得图像的例子进行了说明，但并不限定于此。为了扩大(或缩小)图像的取得范围，例如可以考虑从以下这样的用户取得图像。 用户A的朋友的朋友的用户.与用户A在SNS上的关系(联系)的强度为一定以上的用户

另外，“朋友的朋友”或“关系的强度”可以使用SNS提供的关于社交图表的API来判断。< 补充 2>本实施方式包含以下的形态。(I)有关本实施方式的图像处理装置的特征在于，具备:分割部，对于多个图像，分别将图像内分割为多个段；计算部，基于一个图像内的不同段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的段各自的重要度。(2)在(I)中，也可以是，具备将上述分割后的段分类为目标、前景及背景中的某I个种类的分类部。(3)在(2)中，也可以是，上述分类部将与检测到面部的区域及推测为躯干的区域对应的段分类为目标段。(4)在(2)中，也可以是，使用拍摄在图像中的颜色、亮度、边缘方向、进深信息中的至少I个信息，将相当于与周边不同的区域的段分类为前景段。(5)在(2)中，也可以是，上述计算部使用段的关注度、段的同现度及目标重要度中的至少I个进行计算。(6)在(5)中，也可以是，上述计算部将上述目标重要度计算为该目标所属的群集在上述多个图像中出现的频度越高则该目标重要度越高，基于计算出的目标重要度计算目标段的重要度。(7)在(5)中，也可以是，上述计算部将上述段的关注度计算为在上述一个图像内越是接近于推测为摄影者关注的关注位置的段则该段的关注度越高，基于计算出的段的关注度计算前景段和背景段的重要度。(8)在(7)中，也可以是，上述计算部求出上述一个图像内的目标段的重心，求出以该图像的中心点为中心与上述重心点对称的位置作为上述关注位置。(9)在(5)中，也可以是，上述计算部基于(i)上述一个图像内的作为重要度的计算对象的前景或背景的段、与其他图像内的前景或背景段的类似度、(ii)上述一个图像与其他图像的摄影间隔的长度、(iii)在上述一个图像内与推测为摄影者关注的关注位置的远近度的至少I个计算上述段的同现度。(10)在(2)中，也可以是，上述规定的其他图像是包括与上述一个图像的类似度为规定的值以上的前景段的图像。(11)在(I)中，也可以是，具备基于上述图像内的段的重要度计算作为加工对象的区域的中心和大小、将计算出的区域加工的加工部。(12)在(11)中，也可以是，计算上述一个图像中的目标段或前景段的大小与上述一个图像的摄影日期时间的紧前的图像中的目标段或前景段的大小的变化度；基于计算出的变化度，计算包括目标段、前景段及背景段的区域中的作为加工的对象的区域。(13)在(11)中，也可以是，还具备取得用来指定作为加工对象的段的用户操作的用户操作取得部；上述加工部基于所取得的用户操作计算上述区域。(14)在(11)中，也可以是，上述加工部基于表示区域的设定条件的模板计算上述区域。(15)在(I)中，也可以是，还具备从在网络上共享的图像群中取得与上述多个图像有关的图像的图像取得部；上述分割部及上述计算部除了上述多个图像以外，将所取得的图像也分别作为处理的对象。(16)在(I)中，也可以是，上述规定的其他图像是摄影日期时间在上述一个图像之前或之后的规定张数的图像。(17)在(I)中，也可以是，上述规定的其他图像是与上述一个图像的摄影间隔为规定的范围内的图像。(18)有关实施方式的图像处理方法包括:分割步骤，对于多个图像，分别将图像内分割为多个段；计算步骤，基于一个图像内的不同段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的段各自的重要度。(19)有关实施方式的程序，是使图像处理装置执行包括图像处理步骤的处理的程序，上述图像处理步骤包括:分割步骤，对于多个图像，分别将图像内分割为多个段；以及计算步骤，基于一个图像内的不同段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。(20)有关实施方式的集成电路具备:分割部，对于多个图像，分别将图像内分割为多个段；以及计算部，基于一个图像内的不同段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。工业实用性在有关本发明的图像处理装置及图像处理方法中，相对于到目前为止将拍摄在图像中的物体识别后进行图像裁剪，能够不识别图像的物体，而根据家人摄影的内容的倾向来推测图像内的对于家人重要的区域。通过这样的推测，能够从例如拍摄有旅行地点的目标或风景等的图像中进行重要的区域的裁剪。通过采用本发明，在通过家人内容制作的图像影集制作中，也能够与影集的图像插入用的相框的形状及大小相应地进行包含有插入的图像的重要区域的裁剪，所以用户通过影集能够更有效率地回顾事件，在个人计算机或服务器终端等的固定放置型终端等中是有用的。此外，作为数字照相机或便携电话等的移动型终端等也是有用的。附图标记说明1、la、lb、lc、Id 图像处理系统2存储介质2a SNS 服务器3、3a、3b、3c、3d 图像处理装置4显示器IOUOa图像取得部20目标提取部21目标特征量提取部22目标聚类部30事件提取部31摄影日期时间提取部32事件聚类部40段提取部41段分割部42段分类部43段特征量提取部50图像评价部51目标重要度计算部52段重要度计算部60图像加工部61判断部62区域计算部63加工执行部70存储部71目标群集信息存储72事件群集信息存储部73段群集信息存储部74段特征量存储部75目标重要度存储部76段重要度存储部77加工信息存储部80显示控制部90事件合并部
91同一事件判断部93用户操作取得部94模板取得部95修整条件读入部
权利要求
1.一种图像处理装置，其特征在于，具备: 分割部，针对多个图像，分别将图像内分割为多个段；以及 计算部，基于一个图像内的不同的段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。
2.如权利要求1所述的图像处理装置，其特征在于， 具备分类部，该分类部将分割后的上述段分类为目标、前景及背景中的某I个种类。
3.如权利要求2所述的图像处理装置，其特征在于， 上述分类部将与检测到面部的区域及推测为躯干的区域相当的段分类为目标段。
4.如权利要求2所述的图像处理装置，其特征在于， 上述分类部使用拍摄在图像中的颜色、亮度、边缘方向、进深信息中的至少I个信息，将相当于与周边不同的区域的段分类为前景段。
5.如权利要求2所述的图像处理装置，其特征在于， 上述计算部使用段的关注度、段的同现度及目标重要度中的至少I个进行计算。
6.如权利要求5所述的图像处理装置，其特征在于， 上述计算部将上述目标重要度计算为该目标所属的群集在上述多个图像中出现的频度越高则上述目标重要度越高，基于计算出的目标重要度计算目标段的重要度。
7.如权利要求5所述的图像处理装置，其特征在于， 上述计算部将上述段的关注度计算为在上述一个图像内越是接近于推测为摄影者关注的关注位置的段则上述段的关注度越高，基于计算出的段的关注度计算前景段和背景段的重要度。
8.如权利要求7所述的图像处理装置，其特征在于， 上述计算部求出上述一个图像内的目标段的重心，求出以该图像的中心点为中心与上述重心成点对称的位置作为上述关注位置。
9.如权利要求5所述的图像处理装置，其特征在于， 上述计算部基于(I)上述一个图像内的作为重要度的计算对象的前景段或背景段与其他图像内的前景段或背景段之间的类似度、(2)上述一个图像与其他图像的摄影间隔的长度、(3)在上述一个图像内与推测为摄影者关注的关注位置的远近的至少I个来计算上述段的同现度。
10.如权利要求2所述的图像处理装置，其特征在于， 上述规定的其他图像是包括与上述一个图像的类似度为规定的值以上的前景段的图像。
11.如权利要求1所述的图像处理装置，其特征在于， 具备加工部，该加工部基于上述图像内的段的重要度，计算作为加工对象的区域的中心和大小，对计算出的区域进行加工。
12.如权利要求11所述的图像处理装置，其特征在于， 上述加工部计算上述一个图像中的目标段或前景段的大小与上述一个图像的摄影日期时间的紧前的图像中的目标段或前景段的大小之间的变化度； 基于计算出的变化度，计算包括目标段、前景段及背景段的区域之中作为加工的对象的区域。
13.如权利要求11所述的图像处理装置，其特征在于， 还具备用户操作取得部，该用户操作取得部取得用于指定作为加工对象的段的用户操作； 上述加工部基于所取得的用户操作来计算上述区域。
14.如权利要求11所述的图像处理装置，其特征在于， 上述加工部基于表示区域的设定条件的模板来计算上述区域。
15.如权利要求1所述的图像处理装置，其特征在于， 还具备图像取得部，该图像取得部从网络上共享的图像群取得与上述多个图像有关的图像； 上述分割部及上述计算部除了上述多个图像以外，还将所取得的图像分别作为处理的对象。
16.如权利要求1所述的图像处理装置，其特征在于， 上述规定的其他图像是摄影日期时间在上述一个图像之前或之后的规定张数的图像。
17.如权利要求1所述的图像处理装置，其特征在于， 上述规定的其他图像是与上述一个图像的摄影间隔为规定的范围内的图像。
18.一种图像处理 方法，其特征在于，包括: 分割步骤，针对多个图像，分别将图像内分割为多个段；以及 计算步骤，基于一个图像内的不同段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。
19.一种程序，使图像处理装置执行包括图像处理步骤的处理，其特征在于， 上述图像处理步骤包括: 分割步骤，针对多个图像，分别将图像内分割为多个段；以及 计算步骤，基于一个图像内的不同的段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。
20.一种集成电路，其特征在于，具备: 分割部，针对多个图像，分别将图像内分割为多个段；以及 计算部，基于一个图像内的不同的段间的关系性、或者上述一个图像的段与规定的其他图像的段彼此的关系性，计算上述一个图像内的各个段的重要度。
全文摘要
针对图像(I)，分类为目标(人物)段(OS1、OS2)、前景段(FS1、FS2)的段。并且，基于图像(I)内的构图、以及图像(I)内的前景段(FS1、FS2)与图像(I)以外的图像中的前景段的关系性，计算前景段(FS1、FS2)的重要度。
文档编号G06T7/60GK103201769SQ20128000348
公开日2013年7月10日 申请日期2012年8月6日 优先权日2011年8月29日
发明者薮博史 申请人:松下电器产业株式会社