图像构图评估装置、信息处理装置及其方法

图像构图评估装置、信息处理装置及其方法
【专利摘要】本发明公开了图像构图评估装置、信息处理装置及其方法。图像构图评估装置包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。本发明能够对更多类型的图像和/或更多类型的构图问题进行评估。
【专利说明】图像构图评估装置、信息处理装置及其方法

【技术领域】
[0001] 本发明一般涉及图像处理和计算机视觉的领域，尤其涉及图像构图评估装置、信 息处理装置及其方法。

【背景技术】
[0002] 图像的质量不仅由其内容决定，而且还由其构图决定。以摄影图像作为例子。许 多相片包含了人们希望拍摄的景物，但是，由于各种构图问题，它们看起来仍无吸引力。由 于构图对于初学者而言太复杂，所以大多数初学者需要智能照相机来帮助他们得到较好的 相片。
[0003] 为了应对该情形，Fujifilm已经提出具有人体构图判断（HumanComposition Judgment)的成像装置，其能够基于人体提取结果来判断构图是否合适。图1和图2?3分 别示出Fujifilm的人体构图判断方法的示意图和流程图。如图2所示，首先，在步骤210 处，基于图像中的脸部检测来提取人体对象(在图1中用实线的长方形示出人体对象提取 结果)。接下来，在步骤220处，基于图像中的除人体对象提取区域之外的区域中的特殊对 象检测来提取非人体对象(在图1中用多边形示出非人体对象提取结果)。最后，在步骤230 处，基于对象的重心是否在图像的预定区域之内来评估布置平衡性。图3给出了布置平衡 性评估步骤的更详细的流程图。如图3所示，在步骤310和320处，分别计算每个人体对象 的重心和每个非人体对象的重心；然后，在步骤340处，对该重心是否在图像的预定区域之 内进行判断。同时，在步骤330处，基于步骤310和320的结果来计算整个的人体及非人体 对象的重心；然后，在步骤350处，对该重心是否远离图像的中心区域进行判断。最后，在步 骤360处，基于步骤340和350的结果对布置平衡性是否合适进行评估。在图1所示的例 子中，实线的长方形内的十字指示提取的人体对象的重心，多边形内的十字指示提取的非 人体对象的重心，十字A指示整个的人体及非人体提取对象的重心，十字B指示图像中心。 结果，评估得出图1所示的图像的构图并不好（即，重心A低)，由此提议画面可以被变焦到 图1中虚线的长方形所示的位置，以使得重心A不远离图像中心B。
[0004] 然而，以上的人体构图判断方法具有许多限制。
[0005] 首先，这样的方法仅能够应对具有检测到的人脸的相片。这意味着根本就不能对 诸如无特殊对象的风景相片（参见图25C)、无人体的对象相片（参见图2--25E)、以及甚 至无脸部的人体背侧相片（参见图25B)的其它相片进行评估。
[0006] 其次，这样的方法仅能够有助于使人体对象在图像的中心区域中，其对于良好的 构图而言并不足够。例如，由于该方法不关心人体对象的比例，因此人体对象可能不显著 (参见图25B);由于该方法不关心人体对象和非人体对象之间的关系，因此人体位置可能令 人不舒服(参见图25A);由于该方法不关心背景环境，因此可能由于不成比例的背景而导致 不合理的构图（参见图25D)等。
[0007] 因此，希望能够提供一种新的图像构图评估装置及其方法，其能够对更多类型的 图像和/或更多类型的构图问题进行评估。


【发明内容】

[0008] 鉴于以上问题中的至少一个提出本发明。
[0009] 本发明的一个目的是提供一种新的图像构图评估装置、新的信息处理装置、新的 图像构图评估方法和新的信息处理方法。
[0010] 本发明的另一目的是提供一种图像构图评估装置、信息处理装置、图像构图评估 方法和信息处理方法，其能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的 对象图像、无脸部的人体背侧图像等。
[0011] 本发明的又一目的是提供一种图像构图评估装置、信息处理装置、图像构图评 估方法和信息处理方法，其能够评估更多类型的构图问题，包括头上有对象（object on head)、区域尺寸判断、主要对象位置判断、吻边（kissing border)、靠近边界、中分（middle separation)、颜色失配等。
[0012] 根据本发明的第一方面，提供一种图像构图评估装置，其包括：区域分割单元，被 配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个 属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评 估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。
[0013] 根据本发明的第二方面，提供一种信息处理装置，其包括如上所述的图像构图评 估装置。
[0014] 根据本发明的第三方面，提供一种图像构图评估方法，其包括：将图像分割成多个 区域；从每一个区域提取至少一个属性；基于提取的属性来描述区域之间的关系；以及基 于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。
[0015] 根据本发明的第四方面，提供一种信息处理方法，其包括如上所述的图像构图评 估方法。
[0016] 由于以上特征，本发明的图像构图评估装置、信息处理装置、图像构图评估方法和 信息处理方法能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的对象图像、 无脸部的人体背侧图像等。
[0017] 此外，由于以上特征，本发明的图像构图评估装置、信息处理装置、图像构图评估 方法和信息处理方法能够评估更多类型的构图问题，包括头上有对象、区域尺寸判断、主要 对象位置判断、吻边、靠近边界、中分、颜色失配等。
[0018] 从参照附图对示例性实施例的以下详细描述，本发明的进一步的目的、特征和优 点将变得明显。

【专利附图】

【附图说明】
[0019] 被包含于说明书中并构成其一部分的附图示出本发明的实施例，并与描述一起用 于解释本发明的原理。
[0020] 图1是Fujifilm的人体构图判断方法的示意图；
[0021] 图2示意性地示出Fujifilm的人体构图判断方法的流程图；
[0022] 图3示意性地示出Fujifilm的人体构图判断方法的布置平衡性评估步骤的流程 图；
[0023] 图4A?4D示意性地示出Fujifilm的人体构图判断方法的例子；
[0024] 图5是能够实施根据本发明的图像构图评估方法和信息处理方法的计算设备的 硬件配置的示意性框图；
[0025] 图6示意性地示出根据本发明的图像构图评估方法的一般流程图；
[0026] 图7示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤的流程 图；
[0027] 图8示意性地示出如何获得训练后的递归神经网络（RecursiveNeural Network, RNN)模型；
[0028] 图9示意性地示出RNN训练步骤的流程图；
[0029] 图10示意性地示出根据本发明的区域属性提取步骤中的区域更新步骤的流程 图；
[0030] 图11示意性地示出在根据本发明的区域更新步骤中如何对隔离（isolated)区域 进行合并；
[0031] 图12示意性地示出在根据本发明的图像构图评估方法的构图评估步骤中如何检 测吻边问题；
[0032] 图13示意性地示出根据本发明的图像构图评估装置的一般框图；
[0033] 图14示意性地示出根据本发明的图像构图评估装置的区域属性提取单元的框 图；
[0034] 图15示意性地示出根据本发明的区域属性提取单元中的区域更新单元的框图；
[0035] 图16A?16D示意性地示出根据本发明的图像构图评估方法的例子；
[0036] 图 17A ?17B是Felzenszwalb 过分割（over-segmentation)方法和 SLIC 过分割 方法的比较示意图；
[0037] 图18是RNN方法的示意图；
[0038] 图19是RNN训练输入的示意图；
[0039] 图20示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤中的区 域分类步骤的结果；
[0040] 图21示意性地示出在根据本发明的区域属性提取步骤中如何计算尺寸属性；
[0041] 图22A?22B是根据本发明的区域属性提取步骤中的区域更新步骤的示意图；
[0042] 图23示意性地示出两个区域的相对位置；
[0043] 图24示意性地示出在根据本发明的构图评估步骤中如何检测头上有对象的问 题；以及
[0044] 图25A?25E示出通过根据本发明的图像构图评估方法检测到的一些示例性构图 问题。

【具体实施方式】
[0045] 下面将参照附图详细描述本发明的示例性实施例。应注意，以下的描述在本质上 仅是解释性和示例性的，决不意在限制本发明及其应用或使用。除非另外特别说明，否则， 在实施例中阐述的组件和步骤的相对布置、数字表达式以及数值并不限制本发明的范围。 另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在合适的情况下意在 成为说明书的一部分。
[0046] 如前所述，人体构图判断方法是基于主要对象的(尤其是基于人体对象的)，由此 具有许多限制(例如，其不能够对图25A?25E中的大多数图像和问题进行评估)。在经过 广泛且深入的研究之后，本发明的发明人已经找到一种新的基于图像区域的图像构图评估 方法，其能够对几乎所有类型的图像和/或几乎所有类型的构图问题进行评估(例如，其能 够对图25A?25E中的所有图像和问题进行评估)。为了进行简要比较，图4A?4D和图 16A?16D分别示意性地示出Fujifilm的人体构图判断方法的例子和根据本发明的图像构 图评估方法的例子。可以注意到，图4A与图16A是同样的，S卩，要对构图进行评估的输入图 像是相同的。在图4A?4D的方法中，首先，提取人脸（图4B);接下来，计算身体重心，如图 4C的长方形中的十字所示；最后，评估得出身体重心低，由此提出可以如图4D中虚线的长 方形所示的那样拍摄相片，以使得身体重心在图像中心区域内。相比之下，在图16A?16D 的方法中，首先，将图像分割成多个区域（图16B);接下来，提取每一个区域内的属性并计算 区域之间的关系(在图16C中，为了清楚起见，示出了分类后的区域的边缘);最后，评估得出 不仅人体低（正如人体构图判断方法暗示的那样)，而且在图16D所示的椭圆中出现吻边问 题(人体构图判断方法根本就不能检测到这样的构图问题)。
[0047] 下面，首先将参照图5描述可以实施根据本发明的图像构图评估方法和信息处理 方法的计算设备5000的示意性硬件配置。为了简化的目的，仅示出了一个计算设备。然而， 在需要时也可以使用多个计算设备。
[0048] 如图5所示，计算设备5000可包括CPU5110、芯片集5120、RAM5130、存储控制器 5140、显示控制器5150、硬盘驱动器5160、⑶-ROM驱动器5170以及显示器5180。计算设 备5000还可包括连接在CPU5110和芯片集5120之间的信号线5210、连接在芯片集5120 和RAM5130之间的信号线5220、连接在芯片集5120和各种外围设备之间的外围设备总线 5230、连接在存储控制器5140和硬盘驱动器5160之间的信号线5240、连接在存储控制器 5140和⑶-ROM驱动器5170之间的信号线5250、以及连接在显示控制器5150和显示器5180 之间的信号线5260。
[0049] 客户机5300可直接地或经由网络5400而被连接到计算设备5000。客户机5300 可发送图像构图评估任务和/或信息处理任务给计算设备5000,并且计算设备5000可返回 图像构图评估结果和/或信息处理结果给客户机5300。
[0050] 接下来，将详细描述根据本发明的图像构图评估方法和信息处理方法。在本发明 中，以摄影图像为例进行描述；然而，很明显，本发明可以被应用于任何类型的图像。
[0051] 图6示意性地示出根据本发明的图像构图评估方法的一般流程图。
[0052] 如图6所示，首先，在步骤610 (区域分割步骤）处，将图像分割成多个区域(参见 图 16B)。
[0053] 分割方法不被特别限制，只要将图像分割成多个不重叠的区域且所述多个 不重叠的区域整体上构成该图像即可。例如，可以采用过分割方法，以将图像分割成 多个被称为超像素（super-pixel)的区域。每一个超像素内的像素非常相似。采用 的过分割方法可以是Felzenszwalb方法（可以参见Pedro F. Felzenszwalb, Daniel P. Huttenlocher, 'Efficient Graph-based Image Segmentation'，International Journal of Computer Vision, Vol. 59, No. 2, September2004)、SLIC 方法（可以参见 Radhakrishna Achanta, Appu Shaji, KevinSmith et al. , 'SLIC Superpixels, , EPFL Technical Report, No. 149300, June2010)等。图 17A ?17B 分别不出 Felzenszwalb 过分 割方法和SLIC过分割方法。从图17A?17B的比较可以看出，不同的过分割方法导致不同 的分割区域。然而，这对构图评估结果将不会有根本影响。作为替代，也可以采用任何其它 的适当方法，以将图像分割成多个区域。例如，在区域分割步骤610中，甚至可以采用将图 像分割成mXn个方格（square grid)(这里m和n是正整数）的简单方法。当然，这里，m 和n越大，则构图评估结果越好。
[0054] 接下来，在步骤620 (区域属性提取步骤）处，从每一个区域提取至少一个属性。
[0055] 图7给出区域属性提取步骤的示例性流程图。
[0056] 如图7所示，在步骤710 (区域特征提取步骤）处，首先从每一个区域提取至少一 个特征。
[0057] 提取的特征被用来描述分割区域的属性。因此，只要能够描述期望的属性，则提 取的特征的类型和数量就不被特别限制(顺便提及的是，为每一个区域提取的特征是同样 的)。例如，在区域特征提取步骤中可以使用诸如SVL(STAIR Vision Library)、LBP(Local BinaryPatterns)等的特征。尽管不同的特征可在随后的区域分类步骤中导致某种不同，但 是这对构图评估结果将不会有根本影响。一般而言，提取的特征将是矩阵，其中每一行代表 图像中的区域(或超像素）的特征，并且每一列代表图像中的所有区域(或所有超像素）的特 征值。
[0058] 然后，在步骤720 (区域分类步骤）处，基于提取的所述至少一个特征和训练后的 模型将每一个区域分类成预设的类别。
[0059] 分类方法不被特别限制，并且在区域分类步骤中可以采用任何的适当的分类方 法。在本发明的一个实施例中，采用递归神经网络（RNN)方法以将整个输入图像多类分 割成不同的分类区域。图18给出RNN方法的示意图。在RNN方法中，如图18所示，分区 (segment)特征首先被映射到语义特征空间，然后通过同一神经网络被递归地合并，直到它 们代表整个图像为止。映射和合并两者都被习得。RNN方法将通过使用训练后的模型来计 算每一个区域(或超像素）在每一预设的类别中的分数，并基于计算出的分数来选择一个类 别作为每一个区域(或超像素）的标记（label)。在如图16A所示的输入图像的例子中，预 设的类别可以是天空、树、身体及其它，并且图20示意性地示出相应的区域分类结果。
[0060] 顺便提及的是，在本发明中，必须检测哪种类型的区域以及必须预设哪种类型的 类别不被特别限制。其取决于特定的输入图像。例如，如果在图像中捕获到人体，则将要分 析人体自身以及人体和其它区域之间的关系；如果在图像中捕获到风景，则将要分析不同 区域之间的关系。
[0061] 这里，将简要描述RNN训练方法。图8?9示意性地示出如何从标记图像(其包含 标记的类别信息）获得RNN训练后的模型。
[0062] 如图8所示，在步骤810处，将标记图像分割以获得分区文件。然后，在步骤820 处，从标记图像的分割区域提取特征以获得特征文件。特征例如可以包括颜色和纹理特征、 增高的像素分类器分数(在标记的训练数据上训练)、外观和形状特征等。顺便提及的是，步 骤810和步骤820应分别与步骤610和步骤710相同，S卩，对训练图像和要对构图进行评估 的图像两者，应采用相同的分割方法，并且应提取相同的特征。
[0063] 最后，在步骤830处，例如通过使用分区文件、特征文件、以及真值标记文件和列 表文件来进行RNN训练，以便获得在区域分类步骤720中使用的RNN训练后的模型。
[0064] 图19示意性地示出RNN训练输入。在图19中，第二行示出训练图像的输入实例， 其中区域1?2以及区域3?5是被不同地标记的区域。第三行示出区域的相邻矩阵。相 邻矩阵A是对称性的，其中，如果区域i与区域j相邻，则A(i，j)=l ;否则A(i，j)=0。图19 还在其第四行示出正确的树的集合，其对合并具有相同标记的区域的顺序并不在意。
[0065] 简而言之，RNN训练步骤830基于样品区域的所有标记特征来对参数进行迭 代。图9给出RNN训练步骤的示例性流程图。如图9所示，在步骤910处，对数据进行 预处理；在步骤920处，对模型进行初始化；在步骤930处，使能量最小化；在步骤940 处，判断是否收敛：如果否，则处理回到步骤930,否则，处理前进到输出训练后的模型的 步骤950。对于RNN训练的更详细的描述，可以参见RichardSocher, Cliff Chiung-Yu Lin, Andrew Y. Ng, 'Parsing Natural Scenes andNatural Language with Recursive Neural Networks' ，Proceeding of the28th International Conference on Machine Learning, Bellevue, WA, USA, 2011 (图 18 ?19 摘自该文献）。
[0066] 现在回到图7。接下来，在步骤730 (区域属性收集步骤)处，为每一个区域收集所 述至少一个属性。
[0067] 属性被用于图像构图评估，并取决于用于图像构图评估的预设准则。例如，属性可 以包括类别、位置、尺寸、颜色、纹理等中的至少一种。不必说，属性还可以是图像构图评估 所需的任何其它的适当的属性。此外，收集属性的顺序不被特别限制。
[0068] 对于类别属性，其例如可以简单地从区域分类步骤720的结果被取得。如前所述， 可以使用哪种类型的类别不被特别限制。其取决于特定的输入图像。
[0069] 对于位置属性，可以使用哪种类型的位置不被特别限制。仅需要使所有区域收集 相同的位置属性。例如，位置属性可以是区域的重心位置和外接框位置。作为替代，位置属 性可以是区域的轮廓中心位置。可以通过下式（1)来表示区域A的重心GC6ntOT(A):

【权利要求】
1. 一种图像构图评估装置，包括： 区域分割单元，被配置成将图像分割成多个区域； 区域属性提取单元，被配置成从每一个区域提取至少一个属性； 区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；W及构图评估 单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。
2. 如权利要求1所述的装置，其中，在区域分割单元中，采用过分割方法将图像分割成 所述多个区域。
3. 如权利要求2所述的装置，其中，过分割方法是化Izenszwa化方法或化1C方法。
4. 如权利要求1所述的装置，其中，区域属性提取单元进一步包括W下单元： 区域特征提取单元，被配置成从每一个区域提取至少一个特征； 区域分类单元，被配置成基于提取的所述至少一个特征和训练后的模型将每一个区域 分类成预设的类别；W及区域属性收集单元，被配置成为每一个区域收集所述至少一个属 性。
5. 如权利要求4所述的装置，其中，在区域分类单元中，采用递归神经网络方法将每一 个区域分类成预设的类别。
6. 如权利要求4所述的装置，其中，区域属性提取单元进一步包括W下单元： 区域更新单元，被配置成在为每一个区域收集所述至少一个属性之后，合并隔离区域 并更新区域属性。
7. 如权利要求6所述的装置，其中，区域更新单元在合并隔离区域之后且在更新区域 属性之前，进一步使区域之间的边界平滑化。
8. 如权利要求6所述的装置，其中，当在区域更新单元中更新区域属性时，如果被合并 成一个区域的多个区域具有多于一个的类别，那么合并后的所述一个区域的类别是该多个 区域中的最多数区域具有的类别。
9. 如权利要求1所述的装置，其中，区域关系描述单元进一步包括W下单元中的至少 一个： 相对位置计算单元，被配置成基于距离、相邻关系和对称性来计算区域的相对位置；W 及协调度计算单元，被配置成基于相对面积比例、颜色匹配和区域复杂度来计算区域之间 的协调度。
10. 如权利要求1所述的装置，其中，构图评估单元能够针对所述至少一个预设的准则 来找到图像中的构图问题的位置和原因。
11. 如权利要求1所述的装置，进一步包括W下单元： 构图问题通知单元，被配置成在基于提取的属性、描述的关系和至少一个预设的准则 来评估图像的构图之后，输出并通知评估出的构图问题。
12. 如权利要求1至11中任一项所述的装置，其中，所述图像是摄影图像。
13. 如权利要求1至11中任一项所述的装置，其中，提取的属性和描述的关系取决于所 述至少一个预设的准则。
14. 如权利要求1至11中任一项所述的装置，其中，提取的属性包括类别、位置、尺寸、 颜色和纹理中的至少一种。
15. 如权利要求1至11中任一项所述的装置，其中，描述的关系包括相对位置、相对面 积比例、颜色匹配和纹理匹配中的至少一种。
16. 如权利要求1至11中任一项所述的装置，其中，所述至少一个预设的准则包括头 上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分和颜色匹配中的至少一 种。
17. -种信息处理装置，包括如权利要求1至16中任一项所述的图像构图评估装置。
18. -种图像构图评估方法，包括： 将图像分割成多个区域； 从每一个区域提取至少一个属性； 基于提取的属性来描述区域之间的关系；W及基于提取的属性、描述的关系和至少一 个预设的准则来评估图像的构图。
19. 一种信息处理方法，包括如权利要求18所述的图像构图评估方法。
【文档编号】G06T7/60GK104346801SQ201310334287
【公开日】2015年2月11日 申请日期:2013年8月2日 优先权日:2013年8月2日
【发明者】吕尤, 姜涌, 吴波, 李献 申请人:佳能株式会社