用于处理图像的方法和设备的制造方法
【专利摘要】公开了一种用于处理包括至少一张面部的图像的方法。方法包括：在图像中获取(S10)裁切窗；通过裁切由裁切窗所界定的图像部分来处理(S18)图像；其中方法还包括：检测(S12)至少一张面部；确定(S14)针对所检测到的至少一张面部的权重；以及基于权重修改(S16)图像中裁切窗的位置，其中权重至少基于相应检测到的面部的尺寸来确定。
【专利说明】
用于处理图像的方法和设备
技术领域
[0001]在下文中，公开了用于处理图像的方法。特别地，公开了用于处理包括至少一张面部的图像的方法，其中处理包括裁切所述图像。还公开了对应的设备。
【背景技术】
[0002]对于一组固定的图像或视频中的导航应用，能够在一眼可见的单个视图中显示所有图像或视频是有用的。为了这个目的，生成每个固定图像或视频的每幅图像的缩小尺寸版本、从而这些图像或视频被同时显示在同一屏幕上并能容易地进行比较是令人感兴趣的。同样地，对于具有小尺寸屏幕的移动设备(例如，移动电话或PDA)上的视频内容的广播应用，生成视频的每幅图像的缩小尺寸版本以将这些图像显示在小尺寸屏幕上是必要的。
[0003]对本领域技术人员已知的、从源图像或源视频生成这些缩小的图像或视频的方法在于，对这些源图像或源视频进行子采样。在尺寸显著缩小的情况下，由于尺寸太小一些图像部分无法由用户使用。
[0004]裁切图像中包含图像的最显著或最具视觉吸引力的区域的部分是另一种方法。然而由于图像中存在多张面部，这样的方法往往不能成功在图像中定义适当的裁切窗。
【发明内容】
[0005]公开了一种用于处理包括至少一张面部的图像的方法。方法包括:
[0006]-在图像中获取裁切窗；
[0007]-通过裁切由裁切窗分所界定的图像部分来处理所述图像；
[0008]其中方法还包括:检测所述至少一张面部，确定针对所检测到的至少一张面部的权重，并且基于所述权重来修改所述图像中所述裁切窗的位置，其中所述权重至少基于相应检测到的面部的尺寸来确定。
[0009]有利的是，由于将面部的存在纳入考量，经处理的图像质量更好。
[0010]根据具体的实施例，基于所述权重来修改所述图像中所述裁切窗的位置包括:
[0011]-确定围绕所述至少一张面部的边框;以及
[0012]-修改所述裁切窗的位置以使其以所述边框为中心。
[0013]在变体中，图像包括多张面部。在这种情况下，对权重的确定和检测是针对多张面部中的每张面部进行的。
[0014]在该变体中，基于所述权重来修改所述图像中所述裁切窗的位置包括:
[0015]a)以权重降序对所述多张面部排序以形成面部的有序列表；
[0016]b)修改所述裁切窗的位置，从而所述裁切窗以包括所述有序列表中的至少第一面部的边框为中心；
[0017]c)通过添加所述有序列表的下一张面部来扩大所述边框；
[0018]d)重复步骤b)和c)直到所述边框变得比所述裁切窗大。
[0019]有利的是，步骤a)之后是步骤a’)，步骤a’)包括:计算所述有序列表中两个连续面部的权重的差值，并且从所述面部的有序列表中移除遵循差值在阈值之上的面部。
[0020]示例性地，针对多张面部中的每张面部确定权重包括针对一张面部执行下述操作:
[0021]-确定锐度水平；
[0022]-确定深度水平；
[0023]-确定显著性水平；以及
[0024]-将两张面部中的每张面部的权重作为锐度水平、深度水平、显著性水平和尺寸的线性组合来计算。
[0025]公开了一种用于处理包括至少一张面部的图像的设备。所述设备包括被配置为执行下述操作的至少一个处理器:
[0026]-在图像中获取裁切窗；
[0027]-通过裁切由裁切窗分所界定的图像部分来处理所述图像；
[0028]其中至少一个处理器还被配置为:检测所述至少一张面部，确定针对所检测到的至少一张面部的权重，并且基于所述权重来修改所述图像中所述裁切窗的位置，其中所述权重至少基于相应检测到的面部的尺寸来确定。
[0029]在具体的实施例中，基于所述权重来修改所述图像中所述裁切窗的位置包括:
[0030]-确定围绕所述至少一张面部的边框；以及
[0031]-修改所述裁切窗的位置以使其以所述边框为中心。
[0032]在变体中，图像包括多张面部，并且对权重的确定和检测是针对多张面部中的每张面部进行的。
[0033]在这种情况下，基于所述权重来修改所述图像中所述裁切窗的位置包括:
[0034]a)以权重降序对所述多张面部排序以形成面部的有序列表；
[0035]b)修改所述裁切窗的位置，从而所述裁切窗以包括所述有序列表中的至少第一面部的边框为中心；
[0036]c)通过添加所述有序列表的下一张面部来扩大所述边框；
[0037]d)重复步骤b)和c)直到所述边框变得比所述裁切窗大。
[0038]有利的是，步骤a)之后是步骤a’)，步骤a’)包括:计算所述有序列表中两个连续面部的权重的差值，并且从所述面部的有序列表中移除遵循差值在阈值之上的面部。
[0039]示例性地，针对多张面部中的每张面部确定权重包括针对一张面部执行下述操作:
[0040]-确定锐度水平；
[0041 ]-确定深度水平；
[0042]-确定显著性水平；以及
[0043]-将两张面部中的每张面部的权重作为锐度水平、深度水平、显著性水平和尺寸的线性组合来计算。
[0044]公开了一种用于处理包括至少一张面部的图像的设备。该设备包括:
[0045]-用于在图像中获取裁切窗的装置；
[0046]-用于通过裁切由裁切窗分所界定的图像部分来处理所述图像的装置；
[0047]其中该设备还包括:用于检测所述至少一张面部的装置，用于确定针对所检测到的至少一张面部的权重的装置，以及用于基于所述权重来修改所述图像中所述裁切窗的位置的装置，其中所述权重至少基于相应检测到的面部的尺寸来确定。
[0048]根据本发明的具体的实施例，用于基于所述权重来修改所述图像中所述裁切窗的位置的装置包括:
[0049]-用于确定围绕所述至少一张面部的边框的装置；以及
[0050]-用于修改所述裁切窗的位置以使其以所述边框为中心的装置。
[0051 ]在其中图像包括多张面部的变体中，用于检测的装置和用于确定权重的装置被配置为针对多张面部中的每张面部执行权重的检测和确定。
[0052]包括程序代码指令的计算机程序产品，当该程序被在计算机上执行时执行根据所公开的任意实施例和变体的处理方法的步骤。
[0053]其中存储有指令的处理器可读介质，所述指令用于使得处理器至少执行根据所公开的任意实施例和变体的处理方法的步骤。
【附图说明】
[0054]在附图中，示出了本发明的一个实施例。其示出了:
[0055]-图1描绘了根据本发明的具体和非限制性实施例的、用于处理包括至少一张面部的图像Y的设备；
[0056]-图2表示根据本发明的具体和非限制性实施例的、图1的处理设备的示例性架构；
[0057]-图3表示根据本发明的具体和非限制性实施例的、用于处理包括至少一张面部的图像Y的方法的流程图；
[0058]-图4表示根据本发明的具体和非限制性实施例的、图3上描绘的流程图的细节；
[0059]-图5表示根据本发明的各种实施例的、以边框为中心的裁切窗；
[0060]-图6表示根据本发明的具体和非限制性实施例的、图3上描绘的流程图的细节；
[0061]-图7示出了根据本发明的具体和非限制性实施例的方法的不同迭代；
[0062]-图8表示以降序排序的面部的权重；以及
[0063]-图9表示根据本发明的具体和非限制性实施例的、裁切之后的经处理的图像。
【具体实施方式】
[0064]图1描绘了根据本发明的具体和非限制性实施例的、用于处理包括至少一张面部的图像Y的设备I。根据变体，图像包括至少两张面部。处理设备I包括被配置为接收至少一幅图像Y的输入装置10。图像Y可以从源获取。根据本发明的不同实施例，源属于包括下述项的集合:
[0065]-本地存储器，例如视频存储器、RAM、闪速存储器、硬盘；
[0066]-存储接口，例如具有大容量存储设备、R0M、光盘或磁性支撑的接口；
[0067]-通信接口，例如有线接口(例如，总线接口、广域网接口、局域网接口)或无线接口(例如，IEEE 802.111接口、或蓝牙接口)；以及
[0068]-图像捕获电路(例如，诸如CCD(或电荷耦合器件)或CM0S(互补金属氧化物半导体)之类的传感器)。
[0069]输入装置10连接到被配置为在图像Y中获取裁切窗的模块12。裁切窗在文献中也称为重构造窗或提取窗。输入装置10还连接到被配置为检测图像Y中的至少一张面部的面部检测模块14。面部检测模块14依次连接到被配置为确定针对图像Y中每个检测到的面部的权重的模块16。每个权重至少基于对应面部的尺寸来确定。模块12和模块16的输出端连接到模块18，模块18被配置为基于由模块16所确定的权重来修改图像Y中裁切窗的位置。模块18连接到模块20，模块20被配置为通过裁切由裁切窗所界定的图像部分来处理图像Y。模块20连接到输出22。经裁切的图像部分可被存储在存储器中，或者可以被发送到的目的地。作为示例，经裁切的图像部分被存储在远程或本地存储器(例如视频存储器或RAM、硬盘)中。在变体中，经裁切的图像部分被发送到存储接口(例如具有大容量存储设备、ROM、闪速存储器、光盘或磁性支撑的接口)，和/或经由通信接口(例如到点对点链路、通信总线、点对多点链路、或广播网络的接口)发送。
[0070]图2表示根据本发明的具体和非限制性实施例的、图1的处理设备I的示例性架构。处理设备1包括一个或多个处理器110以及内部存储器120(例如，1^1、1?014?1?010，其中处理器110是例如CPU、GPU和/或DSP(数字信号处理器的英文缩写)。处理设备I包括适于显示输出信息和/或允许用户键入命令和/或数据的一个或多个输入/输出接口 130(例如，键盘、鼠标、触摸板、网络摄像头、显示屏)；以及可以在处理设备I外部的电源140。处理设备I还可以包括(一个或多个)网络接口(未示出)。
[0071]根据本发明的示例性和非限制性的实施例，处理设备I还包括存储在存储器120中的计算机程序。计算机程序包括指令，当指令由处理设备1(特别是处理器110)执行时使得处理设备I执行参考图3描述的处理方法。根据变体，计算机程序被存储在处理设备I外部的非暂态数字数据支持设备(例如，外部存储介质，如HDD、⑶-R0M、DVD、只读和/或DVD驱动器和/或DVD读/写驱动器，所有这些都是现有技术中已知的)上。处理设备I因而包括读取计算机程序的接口。此外，处理设备I可以通过相应的USB端口(未示出)来访问一个或多个通用串行总线(USB)型存储设备(例如，“记忆棒” )ο
[0072]根据示例性的和非限制性的实施例，处理设备I是属于包括下述项的集合的设备:
[0073]-移动设备；
[0074]-通信设备；
[0075]-游戏设备；
[0076]-平板设备(或平板电脑)；
[0077]-笔记本电脑；
[0078]-静止图像摄像头；
[0079]-视频摄像头；
[0080]-编码芯片；
[0081 ]-解码芯片；
[0082]-静止图像服务器；
[0083]-视频服务器(例如广播服务器、视频点播服务器、或web服务器)；以及
[0084]-视频共享平台。
[0085]图3表示根据本发明的具体和非限制性实施例的、用于处理包括至少一张面部的图像Y的方法的流程图。在变体中，图像包括至少两张面部。
[0086]在步骤S10，例如由模块12获取裁切窗。示例性地，从存储器中获取裁切窗。在这种情况下，裁切窗被预先确定并存储在存储器中。在变体中，模块12通过应用在欧洲专利申请EP2005291938中公开的方法来获取裁切窗。在该专利申请中，裁切窗名为提取窗。方法包括首先从图像Y确定显著性图(saliency map)。显著性图是图像的醒目性的二维地形表示。显著性图归一化地分布在O和255之间。从而显著性图提供每个像素的、表征其感知相关性(perceptual relevancy)的显著性值。像素的显著性值越高，则该像素在视觉上越相关。示例性地，通过如下步骤获取裁切窗:
[0087]a)定位以具有最高感知兴趣(perceptual interest)的像素为中心的图像中的当前窗；
[0088]b)计算下述项之间的当前比:与位于图像中的每个窗中的像素相关联的显著性值的总和、以及与该图像相关联的显著性值；
[0089]c)如果当前比低于阈值，则:
[0090].识别该图像的具有仅低于当前最显著像素的显著性值的最高显著性值的像素(称为新最显著像素)；
[0091]?定位图像中以其新最显著像素为中心的新窗，新最显著像素成为当前最显著像素并且新窗成为当前窗；
[0092]?返回步骤b;
[0093]否则将所述裁切窗定义为包括当前位于图像中的所有窗的最小窗。
[0094]然而应当理解，本发明并不限于获取裁切窗的此具体方法。裁切窗可以是例如通过定位图像中已知尺寸的、以具有最高显著性值的像素为中心的窗来获得。
[0095]在步骤S12，(例如由检测面部检测模块14)在图像Y中检测到(一张或多张)面部。方法的输出是η张检测到的面部^的列表、及其相应尺寸Sz和在图像Y中的位置，其中i和η是整数，并且η彡I且ie [I ;η]。检测到的面部可能涵盖更多或更少的实际面部。事实上，检测到的面部通常是仅涵盖部分的真实面部的矩形。在下文中，词语“面部”用于表示检测到的面部。(一张或多张)面部例如通过应用在V1la等人于2001年发表于计算机视觉与模式识别IEEE会议上、题为“使用简单特征的提升级联的快速目标检测(rapid object detect1nusing boosted cascade of simple features)”中公开的方法来检测。然而应当理解，本发明并不限于面部检测这种特定的方法。适于检测图像中的面部的任何方法都是适当的。在Zhu等人于2000年发表于计算机视觉与模式识别国际会议论文集上、题为“使用子空间判别式小波特征的快速面部检测(Fast Face Detect1n Using Subspace DiscriminantWavelet Features)”的论文中公开的方法是这种方法的另一示例。该方法通过低维线性子空间F(通常称为面部空间)来近似多模板T。如果其距F的距离小于某阈值，则图片最初被分类为潜在成员T。通过测试的图片被投影在F上，并且这些投影与训练集中的那些投影进行比较。在发表于2004年11月的模式分析和机器智能IEEE会报26(11)上、题为“卷积面部搜索:一种用于快速和可靠面部检测的神经结构(Convolut1nal Face Finder:A NeuralArchitecture for Fast and Robust Face Detect1n)” 的论文中，Garcia等人公开了设计来可靠地检测高度可变的面部模式的、基于卷积神经架构的另一种方法。
[0096]在步骤S14中，响应于至少对这些检测到的面部的尺寸Sz的确定，确定针对(一个或多个)检测到的面部中的每个的权重。权重由例如模块16所确定。示例性地，面部的权重等于该面部的尺寸Sz。尺寸Sz是例如检测到的面部的高度和宽度的像素乘积。
[0097]步骤S14的变体在图4中描述，在步骤S140，针对每张面部Fi确定锐度水平LBi。面部F1的锐度水平可以通过对与位于面部F1中的像素相关联的锐度值进行平均来获取。当面部为模糊的时，其锐度水平低。反之，当面部是清晰的时，则其锐度水平高。
[0098]Baveye等人2012年发表于ICCVG的、题为“通过锐度识别对图像和视频显著性模型的改进(picture and video saliency models improvement by sharpnessidentificat1n)”的论文中所公开的方法可以用于确定这种锐度水平。这种方法提供了将图像中的每个像素与锐度水平相关联的锐度图。在2004年发表于IEEE ICME上、题为“使用小波变换对数字图像的模糊检测(blur detect1n for digital images using wavelettransform)”的论文中，Tong等人提议使用小波变换。事实上，这种变换能够同时区分不同类型的边缘，并且识别清晰和模糊。然而应当理解，本发明并不限于锐度水平确定的这些特定方法。
[0099]在步骤S142，针对面部Fi确定深度水平LDi。面部Fi的深度水平可以通过对与位于该面部F1中的每个像素相关联的深度值进行平均而获得。当面部靠近前景时，其深度水平高。反之，当面部靠近后景时其深度水平低。Kyuseo等人2011年发表于IEEE ICCE上、题为“针对2D到3D图像转换的基于深度图的几何和纹理线索估计(geometric and texture Cuebased depth-map estimat1n for 2D to 3D Picture convers1n)，，的论文公开的方法可以用于估计这样的深度水平。这种方法提供了将图像中的每个像素与深度水平相关联的深度图。在2007年发表于关于用于识别的3D表示的ICCV研讨会上、题为“从单一单眼图学习深度(Learning Depth from Single Monocular Images)” 的论文中，Saxena等人公开了使用分层多尺度马尔可夫随机场(MRF)的模型，其采用多尺度局部图片和全局图片特征，并且对深度以及图片中不同点处的深度之间的关系建模。然而应当理解，本发明并不限于深度水平确定的这种特定方法。
[0100]在步骤S144，针对面部Fi确定显著性水平LSi。在欧洲专利申请EP2004804828中公开的方法可以用于确定这种显著性水平。这种方法提供了将图像中的每个像素与显著性水平相关联的显著性图。显著性水平表征其感知相关性。这种方法包括:
[0101]-如果图像是单色图像则根据亮度分量来对该图像投影，并且如果图像是彩色图像则根据色度分量来对该图像投影；
[0102]-根据人眼的可见度阈值来在频域中进行投影分量的感知子带分解;子带通过在空间径向频率和方向两者中划分频域而获得，每个所得的子带可被视为对应于调谐到空间频率范围内和特定方向的视觉细胞群的神经图像；
[0103]-提取有关亮度分量和有关色度分量的子带的显著性元素，即从子带提取最重要的信息；
[0104]-对有关亮度分量和有关色度分量的每个子带中的显著性元素进行轮廓增强；
[0105]-从对有关亮度分量的每个子带中的显著性元素的增强的轮廓，来计算亮度分量的显著性图；
[0106]-从对有关色度分量的每个子带中的显著性元素的增强的轮廓，来计算色度分量的显著性图；
[0107]-创建作为针对每个子带获取的多个显著性图的函数的显著性图。
[0108]然而应当理解，本发明不限于显著性水平确定的此具体方法。使图像中感知兴趣数据(例如，显著性图)得以计算的任何方法都是合适的。例如，可以使用Itti等人1998年发表于关于PAMI的IEEE期刊上、题为“用于快速场景分析的基于显著性视觉注意的模型(amodel of saliency-based visual attent1n for rapid scene analysis)，，的文献中描述的方法。面部F1的显著性水平可以通过对与位于面部?工中的像素相关联的显著性值进行平均来获取。当面部为显著的时，其显著性水平高。反之，当面部不显著时则其显著性水平低。
[0109]在步骤S146，面部Fi的锐度水平LB1、深度水平LD1、显著性水平LSi和尺寸Sz被线性组合成权重 Wi。示例性地，Wi=KB*LBi/K+KD*LDi/K+KS*LSi/K+KSz*Sz/Sim，其中，Sim 是图像的尺寸并且K为用于标准化O和I之间的值的常数，如果LB1、LD1、LSi的值在范围[O; 255]之内贝IjK = 255。参数KB、KD、KS和KSz被定义为使得KB+KD+KS+KSz = I。示例性地，KB = KD = KS= KSz = 0.25。在变体中，KB = KD = KS = O并且KSz = I。在后一种情况下，权重只响应于面部的尺寸。参数的值可以经由处理设备I的(一个或多个)输入/输出接口 130进行设置。对参数使用不同的值使得对各种水平和尺寸施加不同权重成为可能。
[0110]步骤S140至S144被重复直至针对在步骤S12中检测到的各面部Fi都确定了权重。
[0111]在步骤S16，图像Y中裁切窗CW的位置基于在步骤S14中所确定的权重来修改。图像中Y裁切窗的位置被修改使得它以这样的边框为中心:其中该边框至少包括具有最高权重的、所检测到的面部。在图像中存在单个面部的情况下，裁切窗以围合单个面部的边框为中心。边框被理解为最小边框(也称为围合框)。最小边框指所检测到的面部的所有像素都位于其中的最小区域。根据各种实施例，以边框为中心的裁切窗在图5中表示。在图中边框的中心坐标为(x0，y0)并且裁切窗的中心坐标为(Xl，yl)。在图5的左上部分，步骤SlO中获取的裁切窗与图像Y—样高。在这种情况下，裁切窗以边框为中心，其中它们的中心横坐标是相同的(XO = Xl)而中心纵坐标(y0和yl)可能不同。在图5的左中部分，步骤SlO中获取的裁切窗与图像Y—样宽，则裁切窗以边框为中心，其中它们的中心纵坐标是相同的(y0 = yl)而其中心横坐标UO和Xl)可能不同。在图5的右中部分，当它们各自的中心共位(即，具有相同的空间位置(x0，y0))时，步骤S1中获取的裁切窗以边框的中心为中心。在图5的左下部分，边框接近图像的顶部或底部边界。在此情况下，裁切窗以边框为中心，其中它们的中心横坐标是相同的(XO = Xl)而中心纵坐标(y0和yl)可能不同。在图5的右下部分，边框靠近图像的左边界或右边界。在这种情况下，裁切窗以边框为中心，其中它们的中心纵坐标是相同的(70 = 71)而其中心横坐标(10和义1)可能不同。
[0112]根据描绘在图6中的特定实施例，在步骤S160，面部以其权重降序来排序。在步骤S164，边框被设置在列表中的第一面部周围，并且在步骤S166，裁切窗CW(k)的位置被修改从而它以边框为中心，其中k是表示迭代的整数。如果边框比裁切窗CW(k)小(步骤S168处的检查)，则在步骤S170中边框被扩大从而进一步包括列表中的第二面部。裁切窗的位置被修改从而它以边框为中心。如果边框仍比裁切窗小，则边框被扩大以包括列表中的下一面部。当扩大的边框保持比裁切窗小、并且当列表中存在剩余面部时，步骤S170(其以列表中的新面部来扩大边框)和步骤S166(其修改裁切窗的位置从而它以边框为中心)被重复进行。图7示出了方法的不同迭代。在第一次迭代(图像的左上部分)，边框BB是围绕在列表中的第一面部(其权重为wl)周围。因而裁切窗位置被修改使得CW(O)以边框为中心。由于边框比裁切窗小(即不覆盖裁切窗)，方法继续迭代k=l。在此次迭代(图像的右上部分)中，通过向边框中添加权重为w2的面部来扩大该边框。因而裁切窗位置被修改使得CW(1)以边框为中心。由于边框比裁切窗小，方法继续迭代k = 2。在此次迭代(图像的右下部分)中，通过向边框中添加权重为w3的面部来扩大该边框。因而裁切窗位置被修改使得CW(2)以边框为中心。由于边框比裁切窗小，方法继续迭代k = 3。在此次迭代(图像的右下部分)中，通过向边框中添加权重为w4的面部来扩大该边框。因而裁切窗位置被修改使得CW(3)以边框为中心。由于边框比裁切窗越大，方法结束。要用于裁切的最终裁切窗是在先前的迭代中所确定的裁切窗，即CW⑵。
[0113]根据另一实施例，方法包括准备步骤S162。在步骤S162，计算有序列表中的两个连续面部的权重的差值Dw。当差值Dw高于阈值，那么仅有列表中的在先面部(即如图8中描述的，权重为wl、w2和w3的面部)得以保留。其它面部(即权重为w4和w5的面部)从有序列表中移除。随后经减少的列表由步骤S164至S168所使用。阈值可通过用户设定。示例性地，阈值等于0.7*wl，其中wl是有序列表中的第一面部的权重。
[0114]在步骤S18，通过裁切由经修改的裁切窗W所界定的图像部分来对图像Y进行处理。经裁切的图像可以被存储在存储器中或发送到目的地。图9表示裁切后的经处理的图像。相对图7，仅由CW(2)所界定的图像部分得以保留。
[0115]本原理可以应用于除面部之外的其它感兴趣对象(例如，野外的动物)。
[0116]本文所描述的实现方式可以被实现在，例如方法或进程、装置、软件程序、数据流或信号中。即使只在实施的单一形式的情境下讨论(例如，仅作为方法或设备而讨论)，所讨论的特征的实现方式还可以以其它形式(例如，程序)来实现。装置可以被实现在，例如适当的硬件、软件和固件中。方法可以被实现在诸如处理器之类的装置中，处理器一般情况下指处理设备，包括例如计算机、微处理器、集成电路、或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“Η)Α” )，以及辅助终端用户之间的信息通信的其它设备。
[0117]本文所描述的各种过程和特征的实现方式可以体现在各种不同的设备或应用中，尤其是例如设备或应用。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、提供到编码器的输入的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA和其它通信设备。应当清楚，设备可以是移动的，甚至可以安装在移动车辆种。
[0118]另外，方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式生成的数据值)可以被存储在处理器可读介质上，处理器可读介质例如是集成电路、软件载体或其它存储设备(例如硬盘、致密盘(“CD”)、光盘(例如，DVD，通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM” )、或只读存储器(“ROM”))上。指令可以形成有形地包含在处理器可读介质上的应用程序。指令可以在例如硬件、固件、软件、或其组合中。指令可以在例如操作系统、单独的应用程序、或两者的组合中找到。因此处理器可以作为例如下述两者来表征:被配置为执行进程的设备、以及包括具有由于执行进程的指令的处理器可读介质(例如，存储设备)的设备。此外，处理器可读介质可以存储除指令外的或代替指令的由实现方式生成的数据值。
[0119]如将对本领域技术人员显而易见的，实现方式可以产生各种信号，这些信号的格式被调整为适于承载信息(例如，所存储或发送的信息)。信息可以包括，例如用于执行方法的指令，或者由所描述的实现方式中的一个所产生的数据。例如，信号的格式可以被调整为适于承载数据以及用于写入或读取所描述的实施例的语法的规则，或者承载由所描述的实施例写下的实际语法值的数据。这样的信号的格式可以被调整，例如作为电磁波(例如，使用频谱的射频部分)或基带信号。格式调整可包括，例如，编码数据流以及调制具有编码的数据流的载波。信号承载的信息可以是，例如模拟信息或数字信息。信号可以经由各种已知的不同有线或无线链路来传输。信号可以被存储在处理器可读介质上。
[0120]已经描述了许多实现方式。然而将理解的是，可以做出各种修改。例如，不同的实施方式的要素可被组合、补充、修改或删除以产生其它实现方式。此外，普通技术人员将理解，其它结构和过程可取代所公开的结构和过程，并且使得实现方式以至少基本相同的(一种或多种)方式来执行至少基本相同的(一个或多个)功能，以达成至少基本相同的(一个或多个)结果，如实现方式所公开的。据此，这些实现方式和其它实现方式都是本申请所预期的。
【主权项】
1.一种方法，包括: 在包括多个目标对象的图像中获取(S1)裁切窗； 检测(S12)所述多个目标对象中的每个目标对象； 确定(S14)针对所检测到的每个目标对象的权重，其中所述权重至少基于相应检测到的目标对象的尺寸来确定； 基于一个或多个权重来修改(S16)所述图像中所述裁切窗的位置;并且 裁切(S18)由所述裁切窗所界定的图像部分； 其中基于所述一个或多个权重来修改(S16)所述图像中所述裁切窗的位置包括下述步骤: a)以权重降序来对所述多个目标对象进行排序(S160)从而形成目标对象的有序列表； b)修改(S166)所述裁切窗的位置，从而所述裁切窗以包括至少所述有序列表中的第一目标对象的边框为中心； c)通过添加所述有序列表中的下一目标对象来扩大(S170)所述边框； d)重复步骤b)和步骤c)直到所述边框变得比所述裁切窗更大为止。2.如权利要求1所述的方法，其中以权重降序来对所述多个目标对象进行排序(S160)从而形成目标对象的有序列表之后跟随有下述操作:计算所述有序列表中的两个连续目标对象的权重的差值，并且从所述目标对象的有序列表中移除差值在阈值以上的目标对象。3.如权利要求1或2所述的方法，其中确定针对所述多个目标对象中的每个目标对象的权重包括针对每个目标对象执行下述操作: -确定(S140)锐度水平； -确定(S142)深度水平； -确定(S144)显著性水平；以及 -将权重作为所述锐度水平、所述深度水平、所述显著性水平和所述尺寸的线性组合来计算(S146) ο4.如权利要求1-3中的任一项所述的方法，其中所述目标对象为面部。5.—种包括被配置为执行下述操作的至少一个处理器(110)的设备: 在包括多个目标对象的图像中获取(SlO)裁切窗； 检测(S12)所述多个目标对象中的每个目标对象； 确定(S14)针对所检测到的每个目标对象的权重，其中所述权重至少基于相应检测到的目标对象的尺寸来确定； 基于一个或多个权重来修改(S16)所述图像中所述裁切窗的位置;并且 裁切(S18)由所述裁切窗所界定的图像部分； 其中基于所述一个或多个权重来修改(S16)所述图像中所述裁切窗的位置包括下述步骤: a)以权重降序来对所述多个目标对象进行排序(S160)从而形成目标对象的有序列表； b)修改(S166)所述裁切窗的位置，从而所述裁切窗以包括至少所述有序列表中的第一目标对象的边框为中心； c)通过添加所述有序列表中的下一目标对象来扩大(S170)所述边框； d)重复步骤b)和步骤c)直到所述边框变得比所述裁切窗更大为止。6.如权利要求5所述的设备，其中以权重降序来对所述多个目标对象进行排序(S160)从而形成目标对象的有序列表之后跟随有下述操作:计算所述有序列表中的两个连续目标对象的权重的差值，并且从所述目标对象的有序列表中移除差值在阈值以上的目标对象。7.如权利要求6所述的设备，其中确定针对所述多个目标对象中的每个目标对象的权重包括针对每个目标对象执行下述操作: _确定锐度水平； -确定深度水平； -确定显著性水平；以及 -将权重作为所述锐度水平、所述深度水平、所述显著性水平和所述尺寸的线性组合来计算。8.如权利要求5-7中的任一项所述的设备，其中所述目标对象为面部。9.一种包括程序代码指令的计算机程序产品，当程序在计算机上执行时所述程序代码指令执行根据权利要求1-4中的任一项所述的方法的步骤。10.—种其上存储有指令的处理器可读介质，所述指令使得处理器至少执行根据权利要求1-4中的任一项所述的方法的步骤。
【文档编号】G11B27/034GK106068537SQ201580012113
【公开日】2016年11月2日
【申请日】2015年2月26日 公开号201580012113.6, CN 106068537 A, CN 106068537A, CN 201580012113, CN-A-106068537, CN106068537 A, CN106068537A, CN201580012113, CN201580012113.6, PCT/2015/54035, PCT/EP/15/054035, PCT/EP/15/54035, PCT/EP/2015/054035, PCT/EP/2015/54035, PCT/EP15/054035, PCT/EP15/54035, PCT/EP15054035, PCT/EP1554035, PCT/EP2015/054035, PCT/EP2015/54035, PCT/EP2015054035, PCT/EP201554035
【发明人】简-克劳德·切维特, 法布里斯·厄本, 克里斯特尔·查玛雷特
【申请人】汤姆逊许可公司