图像处理装置和图像处理方法
【技术领域】
[0001]本发明一般涉及图像处理、计算机视觉和模式识别的领域，特别涉及用于群体的图像序列和视频序列的图像处理装置、以及用于群体的图像序列和视频序列的图像处理方法。
【背景技术】
[0002]在拍摄群体(包括至少两个个体，例如，包括至少两个人)的图像序列的情况下，通常希望能够方便地从其获得令人满意的图像，在所述令人满意的图像中，每个人的属性(例如，诸如“微笑”、“悲伤”和“中性”的表情属性，或者诸如“眨眼”、“皱鼻”和“张嘴”的运动单元属性)都是令人满意的。
[0003]为了应对这一情形，已经提出各种图像处理方法，其中一种被示于图1 (参见US2011/0109770A1)中。在图1的流程图中，首先，在步骤10处，图像中的每个面部被检测。接下来，在步骤20处，通过将每个面部的评估出的预定表情转换成数值，计算每个面部的预定表情值。然后，在步骤30处，基于对于所有面部的多个预定表情值，计算群体的决定表情值。在步骤40处，判断决定表情值是否等于或大于预定阈值。如果是，那么在步骤50处所述图像被存储，并且然后处理前进至步骤60 ;否则，处理直接前进至步骤60。在步骤60处，判断是否还有其它图像。如果是，那么处理前进至移动至下一图像的步骤70，并且然后处理回到步骤10 ;否则，处理结束。
[0004]然而，以上图像处理方法具有许多限制。
[0005]首先，这样的方法利用群体的决定表情值来选择图像，这使得由此选择的图像可能未示出每个人的令人满意的表情。例如，对于一个图像，如果群体的大多数具有同一“微笑”表情而仅仅少数人具有诸如“悲伤”或“中性”的不同表情，那么所述图像仍可能被这样的方法选择。然而，群体的情绪基调(emot1nal tone)(或氛围(atmosphere))应该是大多数的表情(即，“微笑”)，并且所述图像中的少数人的“悲伤”或“中性”表情不与其一致。由此，所述图像并不能被视为令人满意的图像，因为并不是所有的表情都与群体的情绪基调最一致。
[0006]其次，这样的方法是基于预定表情(例如，“微笑”)并计算每个面部的预定表情值。如果一个图像中的群体不具有预定表情(例如，每个人都具有“悲伤”表情)，那么所述图像根本就不将被选择。然而，不包含预定表情的图像可能仍具有其它显著的效果(例如，“悲伤”或“震惊”效果)。由此，包含除预定表情之外的各种其它表情的极好图像可能被错过。
[0007]因此，希望能够提供能够应对以上问题中的至少一个问题的新图像处理装置和新图像处理方法。
【发明内容】
[0008]鉴于以上问题中的至少一个问题提出本发明。
[0009]本发明的一个目的是提供用于群体的图像序列和/或视频序列的新图像处理装置、以及用于群体的图像序列和/或视频序列的新图像处理方法。
[0010]本发明的另一目的是提供能够从群体的图像序列和/或视频序列获得令人满意的图像的图像处理装置和图像处理方法，在所述令人满意的图像中，每个个体的属性都尽可能地与群体属性一致。
[0011]本发明的又一目的是提供能够应对除预定属性之外的各种其它属性的图像处理装置和图像处理方法。
[0012]根据本发明的第一方面，提供一种用于群体的图像序列的图像处理装置，包括:被配置为获取所述群体的图像序列的单元，其中所述群体包括至少两个人；被配置为检测所述图像序列的每个图像中的每个人的面部区域的单元；被配置为识别所述图像序列的每个图像中的每个人的面部区域的属性的单元；以及被配置为基于所述图像序列的每个图像中的每个人的面部区域的属性来确定群体属性的单元。
[0013]根据本发明的第二方面，提供一种用于群体的视频序列的图像处理装置，包括:被配置为获取所述群体的视频序列的单元，其中，所述群体包括至少两个人；以及被配置为从所述视频序列的开始顺序地选择N个图像作为当前图像序列，并通过根据本发明的用于群体的图像序列的图像处理装置对所述当前图像序列进行处理，直至到达所述视频序列的结尾的单元，其中，N是预定图像序列长度。
[0014]根据本发明的第三方面，提供一种用于群体的视频序列的图像处理装置，包括:被配置为获取所述群体的视频序列的单元，其中，所述群体包括至少两个人；被配置为从所述视频序列的开始顺序地选择N个图像作为当前图像序列，并通过根据本发明的用于群体的图像序列的图像处理装置确定所述当前图像序列的群体属性，直至到达所述视频序列的结尾的单元，其中，N是预定图像序列长度；被配置为检测所述当前图像序列的群体属性是否从紧接在之前的图像序列的群体属性变化的单元；以及被配置为将具有检测到的群体属性变化的图像序列通知给用户的单元。
[0015]根据本发明的第四方面，提供一种用于群体的图像序列的图像处理方法，包括以下步骤:获取所述群体的图像序列，其中所述群体包括至少两个人；检测所述图像序列的每个图像中的每个人的面部区域；识别所述图像序列的每个图像中的每个人的面部区域的属性；以及基于所述图像序列的每个图像中的每个人的面部区域的属性来确定群体属性。
[0016]根据本发明的第五方面，提供一种用于群体的视频序列的图像处理方法，包括以下步骤:获取所述群体的视频序列，其中，所述群体包括至少两个人；以及从所述视频序列的开始顺序地选择N个图像作为当前图像序列，并通过根据本发明的用于群体的图像序列的图像处理方法对所述当前图像序列进行处理，直至到达所述视频序列的结尾，其中，N是预定图像序列长度。
[0017]根据本发明的第六方面，提供一种用于群体的视频序列的图像处理方法，包括以下步骤:获取所述群体的视频序列，其中，所述群体包括至少两个人；从所述视频序列的开始顺序地选择N个图像作为当前图像序列，并通过根据本发明的用于群体的图像序列的图像处理方法确定所述当前图像序列的群体属性，直至到达所述视频序列的结尾，其中，N是预定图像序列长度；检测所述当前图像序列的群体属性是否从紧接在之前的图像序列的群体属性变化；以及将具有检测到的群体属性变化的图像序列通知给用户。
[0018]由于以上特征，本发明的图像处理装置和图像处理方法能够从群体的图像序列和/或视频序列获得令人满意的图像，在所述令人满意的图像中，每个个体的属性都尽可能地与群体属性一致。
[0019]此外，由于以上特征，本发明的图像处理装置和图像处理方法能够应对除预定属性之外的各种其它属性。
[0020]从参照附图对示例性实施例的以下详细描述，本发明的进一步的目的、特征和优点将变得明显。
【附图说明】
[0021]被包含于说明书中并构成其一部分的附图示出本发明的实施例，并与描述一起用于解释本发明的原理。
[0022]图1示意性地示出现有技术的图像处理方法的流程图；
[0023]图2是能够实施根据本发明的图像处理方法的计算设备的硬件配置的示意性框图；
[0024]图3示意性地示出根据本发明的用于群体的图像序列的图像处理方法的一般流程图；
[0025]图4示意性地示出根据本发明的用于识别图像序列的每个图像中的每个人的面部区域的属性的步骤的流程图；
[0026]图5示意性地示出根据本发明的用于对应于每个预定属性类别对于图像序列的每个图像中的每个人的面部区域进行分类的步骤的流程图；
[0027]图6示意性地示出根据本发明的用于对应于每个预定属性类别对于图像序列的每个图像中的每个人的面部区域进行分类的步骤的另一流程图；
[0028]图7示意性地示出根据本发明的用于确定群体属性的步骤的流程图；
[0029]图8示意性地示出根据本发明的用于确定每个人的属性的步骤的流程图；
[0030]图9示意性地示出根据本发明的用于确定每个人的属性的步骤的另一流程图；
[0031]图10示意性地示出根据本发明的用于确定群体属性的步骤的另一流程图；
[0032]图11示意性地示出根据本发明的用于确定每个图像的属性的步骤的流程图；
[0033]图12示意性地示出根据本发明的用于确定每个图像的属性的步骤的另一流程图；
[0034]图13示意性地示出根据本发明的用于选择每个人的最佳面部区域并将群体中的所有人的最佳面部区域合成为目标图像的步骤；
[0035]图14示意性地示出根据本发明的用于选择每个人的最佳面部区域的步骤的流程图；
[0036]图15示意性地示出根据本发明的用于选择与确定的群体属性对应的图像的步骤的流程图；
[0037]图16示意性地示出根据本发明的用于选择与确定的群体属性对应的图像的步骤的另一流程图；
[0038]图17示意性地示出根据本发明的用于选择最佳图像的步骤的流程图；
[0039]图18示意性地示出根据本发明的用于群体的视频序列的图像处理方法的一般流程图；
[0040]图19示意性地示出根据本发明的用于从视频序列的开始顺序地选择N个图像作为当前图像序列的步骤的流程图；
[0041]图20示意性地示出根据本发明的用于获得下一当前图像序列的步骤的流程图；
[0042]图21示意性地示出根据本发明的用于群体的视频序列的图像处理方法的示例性流程图；
[0043]图22示意性地示出根据本发明的用于检测视频序列的群体属性变化的方法的流程图；
[0044]图23示意性地示出根据本发明的用于检测视频序列的群体属性变化的方法的示例性流程图；
[0045]图24示意性地示出根据本发明的用于群体的图像序列的图像处理装置的一般框图；
[0046]图25示意性地示出根据本发明的用于群体的视频序列的图像处理装置的一般框图；
[0047]图26示意性地示出根据本发明的用于检测视频序列的群体属性变化的图像处理装置的框图；
[0048]图27示意性地示出群体的输入图像序列；
[0049]图28示意性地示出图像序列的每个图像中的每个人的面部区域检测；
[0050]图29包括图29a?29e，其示意性地示出5个预定属性类别；
[0051]图30示意性地示出面部区域的子区域定位；
[0052]图31示意性地示出识别图像序列的每个图像中的每个人的面部区域的属性的结果;
[0053]图32示意性地示出用于确定每个人的属性的一种方式；
[0054]图33示意性地示出用于确定每个图像的属性的一种方式；
[0055]图34对于图像序列的每个图像中的每个人的面部区域示意性地示出对于确定的群体属性的置信分数；
[0056]图35示意性地示出对于群体中的每个人选择的最佳面部区域；
[0057]图36示意性地示出基于对于每个人的最佳面部区域的合成目标图像；
[0058]图37对于图像序列的每个图像中的所有面部区域示意性地示出对于确定的群体属性的平均置信分数；
[0059]图38示意性地示出选择的最佳图像；
[0060]图39比较性地示出通过根据本发明的方法选择的每个人的最佳面部区域和通过一种现有技术方法选择的每个人的最佳面部区域；
[0061]图40示意性地示出用于从视频序列获得新图像序列的一种方式；以及
[0062]图41示意性地示出根据本发明的检测视频序列的群体属性变化的结果。
【具体实施方式】
[0063]下面将参照附图详细描述本发明的示例性实施例。应注意，以下的描述在本质上仅是解释性和示例性的，决不意在限制本发明及其应用或使用。除非另外特别说明，否则，在实施例中阐述的组件和步骤的相对布置、数字表达式以及数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在合适的情况下意在成为说明书的一部分。
[0064]如前所述，现有技术的图像处理方法是基于群体的决定属性值，而群体的决定属性值又是基于对于所有面部的多个预定属性值，由此现有技术的图像处理方法具有许多限制。在广泛且深入的研究之后，本发明的发明人已