专利名称：选择代表图像的方法和设备的制作方法
技术领域：
本发明涉及一种从多幅图像中选择至少一幅代表图像的方法和设备。
背景技术：
数字技术的发展意味着数字照相机已经变得越来越受欢迎。结果，数量越来越多的数字静态图像(例如照片)被捕获且存储在计算机或其他存储装置上。这些图像可以在用户团体中间共享。此外，由于存储介质已经变得更易获得，因此用户很少会删除旧的图像。 这就导致了个人可以访问难以浏览的庞大图像库。因此，在任一装置上浏览和查找照片变成一个越来越重要的问题，对于没有便利控制装置(键盘，鼠标)的装置，例如相框或者便携式装置，尤其如此。已经提出了很多技术以在用户浏览时帮助他们，例如，建立分层浏览方法或者图像集摘要。然而，关于这些技术，期望的是具有代表一组图像的单幅图像。优选地，该图像应该是用户容易地将其与该组联系起来或根据该图像而辨别该组的图像，从而成为该组的代表。
发明内容
本发明试图提供一种从大量图像中获得一组图像的代表图像的技术。依照本发明的一个方面，这通过一种从所述多幅图像中选择至少一幅代表图像的方法来实现，该方法包含以下步骤依照多幅图像的内容的预定特征，将该多幅图像分成群集(clusters)；基于每个群集中图像的数量而选择至少一个群集；以及从所选择的至少一个群集中选择至少一幅图像作为代表图像。依照本发明的第二方面，这也通过一种从所述多幅图像中选择至少一幅代表图像的设备来实现，该设备包含分配器，用于依照多幅图像的内容的预定特征，将该多幅图像分成群集；选择器，用于基于每个群集中图像的数量而选择至少一个群集，以及用于从所选择的至少一个群集中选择至少一幅图像作为代表图像。这样，将图像分成群集。这可以依照相似性、时间、事件或者甚至它们所处的文件夹来实现。选择一个群集，并且从所选择的群集中选择至少一幅图像。其可以是最能代表整组图像的单幅图像或一组图像。这些代表图像提供了图像的更小集合，该集合在概括整个集合、经由集合浏览、查找特定图像等方面是有用的。在一个实施例中，选择至少一个群集的步骤包含以下步骤选择具有最大数量的图像的群集。这种观点就是，一组图像中的特定元素越重要(例如，来自巴黎假日的一组图像中的埃菲尔铁塔)，则在集合中将存在越多的关于该元素的图像。同样地，存在特定目标的图像越多，对于用户来说，则越容易辨别该目标，并且将它与特定事件、时间段或一组图像相关联。这允许从群集中选择出代表图像，该代表图像很可能包含最重要的目标，并且因而最能代表该多幅图像。
如果存在超过一个包含最大数量的图像的群集，则可通过选择预定特征具有最少变化量的群集来进一步选择群集。 这保证了在所选择的群集中的图像比其他群集中的图像更加相似。在一个实施例中，从所选择的至少一个群集中选择至少一幅图像作为代表图像的步骤包含以下步骤选择最接近于所选择的至少一个群集的质心的图像。因此，将该代表图像选为最接近于该群集质心的图像，该群集质心是例如在该群集内的图像平均的代表(就特征而言)。这就为用户提供了与特定群集具有强烈关联的代表图像。可替换地，可以随机选择该图像。通过聚类具有相似特征(例如视觉上相似)的图像可将所述多幅图像分成群集，以便这些群集包含相关的或者具有相似内容的图像。可替换地，可以通过聚类预定时间间隔内某个时间捕获的图像而将该多幅图像分为群集。例如，可以将这些图像分为在某天或者休假时段内捕获的图像的群集。可替换地， 可以聚类这些图像，以便在群集内连续图像之间的时间差不超过某个相对较小的阈值(例如2-10分钟)。大约同时捕获的这些图像很可能是相同目标、场景或者事件的图像。另外，以下步骤可以在聚类视觉上相似的图像之前聚类预定时间间隔内偶尔捕获的图像；以及聚类视觉上相似的图像的步骤包含以下步骤聚类预定时间间隔内偶尔捕获的图像群集中在视觉上相似的图像。将时间信息用作第一聚类步骤防止了将那些语义上无关但视觉上非常相似的图像聚类在一起。例如，仅使用视觉聚类，可以将在两个不同假日旅行期间捕获的两幅海洋图像聚类在一起。可以通过以下步骤将图像聚类从上述多幅图像的每一幅中提取至少一个特征； 确定该多幅图像的每一幅的至少一个所提取的特征之间的距离；以及聚类具有低于预定阈值的距离的图像。该至少一个特征可以包含亮度、颜色信息、颜色分布特征、纹理特征之一。这样，可以利用简单但试验良好的技术来聚类这些图像。从所选择的至少一个群集中选择至少一幅图像作为代表图像的步骤可以包含以下步骤确定在上述所选择的至少一个群集的每幅所述图像内存在至少一张脸；确定包含至少一张脸的图像的数量与不包含脸的图像的数量的比率；以及选择具有脸的图像，如果上述比率大于或等于1，或者选择没有脸的图像，如果上述比率小于1。在图像内人(即脸)的存在可以为选择代表图像提供良好的基础。如果群集内的大多数图像不包含脸，则最具代表性的图像优选地应当也不包含脸。同样，如果群集内的大多数图像包含脸，则最具代表性的图像应该优选地也包含脸。结果，脸部检测可以有助于识别最能代表所述多幅图像的一幅或多幅图像。
现在，参考以下结合附图进行的描述，以便更完整地理解本发明，其中 图1是依照本发明实施例的用于选择图像的设备的简化示意图；以及
图2是依照本发明实施例的选择图像的方法的流程图。
具体实施例方式参照图1，设备100包含连接到存储装置103的输入端101。尽管在这里将存储装置103图解说明为在设备100之外，但是在可替换的实施例中，存储装置103可以是该设备的组成部分。存储装置103可以是计算机系统的存储装置，例如ROM/RAM驱动器、CD、连接到设备100的摄像机或类似装置的存储装置或远程服务器。存储装置103可以经由有线或无线连接而访问，和/或经由更广阔的网络(例如因特网)而访问。存储装置103存储多幅图像。例如，可以上传存储在远程服务器上的图像，并且将它们临时存储在设备100的本地存储装置(此处未示出)中。将设备100的输入端101连接到设备100的分配器105的输入。将分配器105的输出连接到设备100的选择器107的输入。将选择器107的输出连接到设备100的输出端 109。将输出端109连接到显示装置111等。现在，将参照图2描述该设备的操作。从存储装置103中重新获得多幅图像，并且经由设备100的输入端101将这些图像提供给分配器105。基于预定特征，将该多幅图像分成多个群集，步骤201。可以基于捕获图像的时间、与图像相关联的元数据或者可替换地它们的视觉特性而将这些图像分成群集。此外，诸如GPS数据的元数据，或者诸如脸或目标识别的高层次特征都可以用作聚类图像的基础。使用已知的内容分析算法来分析所捕获的图像，以聚类视觉上相似的图像。在一个实施例中，这可以通过提取低层次特征来实现，该特征例如是亮度、类似于色调和MPEG 7 主色的颜色信息、类似于MPEG 7颜色布局和颜色结构的颜色分布特征、以及类似于边缘的纹理特征。确定每个所提取的特征之间的距离。图像之间的相似度就是所确定的距离。因此，所确定的距离小于预定阈值的图像被聚类，导致视觉上非常相似的图像的群集。在聚类所述多幅图像时，这可以通过比较一个特征或特征组合的距离而实现。可以通过简单的求和来组合这些特征，并且可以加权该求和的元素。将这些群集提供给选择器107，并且基于群集中图像的数量而选择至少一个群集，步骤203。在一个实施例中，选择具有最大数量的图像的群集。该群集将具有最大数量的相似图像，并且同样地，更可能包含重要的或者受欢迎的目标/场景。如果多个群集都具有最大的尺寸，则选择在群集内具有最少量的(视觉) 变化的群集。这保证了在所选择的群集中的图像比另一群集中的图像甚至更加相似。然后， 选择器107从所选择的群集中选择至少一幅图像，该图像最能代表该多幅图像(整组图像) 的图像，步骤205。在一个实施例中，将最能代表整组图像的图像选为最接近于质心的图像。 就特征而言，该质心是群集平均的虚拟表示。可基于特定的期望特征而选择最能代表整组图像的图像，该特征例如是诸如锐度/模糊对比度的图像质量或者是其中眼睁开的或者人正在微笑的脸的存在等。在一个可替换的实施例中，在步骤201中，通过使用可交换图像文件(EXIF)日期信息(如果可用的话)来聚类该多幅图像。首先，基于捕获图像的时间来将图像分组。例如， 可以创建一组图像，以便连续图像之间的时间差不超过某一相对较小的阈值(例如2-10分钟)，即预定时间间隔内捕获的图像。大约同时地捕获这些图像，因此这些图像很可能是相同目标、场景或者事件的图像。其次，如上所述聚类每组中视觉上相似的图像。可以用比通常更高的阈值来实现该聚类，即每个单独群集可允许更多的视觉可变性，因为时间信息已经保证了这些图像是相关的。这样，视觉聚类算法将先前的群集(基于时间)而不是所有的分离图像用作输入，从而使得视觉聚类算法能够操作得更快且更有效。将时间信息用作第一聚类步骤防止了将那些语义上无关但视觉上非常相似的图像聚类在一起。例如，仅使用视觉聚类，可以将在两个不同假日旅行期间捕获的两幅海洋图像聚类在一起。在另外的实施例中，可基于图像是否包含脸而选择最具代表性的一幅或多幅图像。如果群集内的大多数图像不包含脸，则最具代表性的图像优选地也不包含脸。同样，如果群集内的大多数图像包含脸，则最具代表性的图像应该优选地也包含脸。例如，如果一个人旅行了多处风景(陆地风景、都市风景等)，但在一天傍晚，该用户捕获了很多他/她孩子正在做一些有趣的事情的图像，则最大的群集很可能是关于该孩子的群集。然而，该用户或许更多地利用位置和风景来识别图像的集合，并且因此，从风景中选择的代表图像将是更合适的。另一方面，如果该集合是例如在生日宴会上捕获的图像，那么庆祝中的人的图像很可能是该事件的恰当的代表图像。因此，脸部检测可以有助于识别最能代表整组图像的一幅或多幅图像。然后，可将所选择的代表图像用来浏览大的图像集合，例如，可将时间线用来代表数年来捕获的数千图像的集合。如果用最能代表时间段的所选择的图像来代表给定的时间段(依照上述实施例)，则浏览整个集合就可以像浏览代表图像那样简单。如果用户想要观看更多的特定时间段，则可将间隔分成更小的间隔，并再次对每个间隔选择代表图像。如上所述，使用(EXIF)日期信息并且聚类图像使得用户能自动地检测出集合中图像捕获的“顶峰”(peak)在哪里，即用户捕获相对多图像的时间点。典型地，这些顶峰对应于特殊事件，例如假日或生日或在动物园的一天。时间线通常将考虑所有的图像，仅使用这些顶峰将集合概括为近年来发生的事件。利用对每个事件具有代表性的一幅或多幅图像， 提供了集合的理想摘要。可以选择所有的事件，或者例如仅选择跨多天的顶峰。在第一种情形中，包括了一天的事件，如生日和一日游，而在后一种情形中，仅显示多天的事件，如假曰。此外，代替选择代表一组图像的一幅图像，还可以将相同的方法用于选择给定数量的图像以代表该组。胜过从最大的群集中取出仅仅一幅图像，用户可以针对η个最大群集对每个群集都取出一幅图像，其中η是所期望的代表数。尽管在附图中已经图解说明且在上述详细描述中已经描述了本发明的实施例，但是应该理解的是，本发明并不局限于公开的实施例，而是在不脱离附带权利要求书中陈述的本发明范围的情况下能有多种修改。本领域技术人员将清楚的是，“装置”意在包括任意硬件(例如单独或集成电路或电子元件)或软件(例如程序或者程序部分)，其在操作中再现或者被设计成再现指定的功能，无论是单独地还是结合其他功能，无论是独立于其他元件还是与其他元件协作。可借助于含有多个不同元件的硬件以及借助于合适编程的计算机来执行本发明。在列举几个装置的设备权利要求中，有些装置可以用同一硬件项来实施。应该理解“计算机程序产品”是指存储在计算机可读介质(例如软盘)上的任意软件产品，其经由诸如因特网的网络是可下载的，或者可以以任意其他方式来销售。
权利要求
1.一种从多幅图像中选择至少一幅代表图像的方法，该方法包含以下步骤 依照所述多幅图像的内容的预定特征，将所述多幅图像分成群集(201); 基于每个群集中图像的数量而选择至少一个群集(203)；以及从所述选择的至少一个群集中选择至少一幅图像作为所述代表图像(205)。
2.依照权利要求1所述的方法，其中所述选择至少一个群集的步骤包含以下步骤 选择具有最大数量的图像的群集。
3.依照权利要求2所述的方法，其中所述选择至少一个群集的步骤进一步包含以下步骤选择所述预定特征具有最少变化量的群集。
4.依照权利要求1所述的方法，其中所述从所述选择的至少一个群集中选择至少一幅图像的步骤包含从所述选择的至少一个群集中选择一幅图像作为所述代表图像的步骤。
5.依照权利要求1所述的方法，其中所述将多幅图像分成群集的步骤包含以下步骤 聚类具有相似特征的图像。
6.依照权利要求5所述的方法，其中所述聚类具有相似特征的图像的步骤包含以下步骤聚类视觉上相似的图像。
7.依照权利要求1所述的方法，其中所述将多幅图像分成群集的步骤包含以下步骤 聚类预定时间间隔内某个时间捕获的图像。
8.依照权利要求6所述的方法，其中以下步骤先于所述聚类视觉上相似的图像的步骤聚类预定时间间隔内偶尔捕获的图像；并且所述聚类视觉上相似的图像的步骤包含以下步骤聚类预定时间间隔内偶尔捕获的图像的所述群集在视觉上相似的图像。
9.依照权利要求5所述的方法，其中所述聚类具有相似特征的图像的步骤包含以下步骤从所述多幅图像的每一幅中提取至少一个特征； 确定所述多幅图像的每一幅的至少一个所提取的特征之间的距离；以及聚类具有低于预定阈值的距离的图像。
10.依照权利要求8所述的方法，其中所述至少一个特征包含亮度、颜色信息、颜色分布特征、纹理特征之一。
11.依照权利要求1所述的方法，其中从所述选择的至少一个群集中选择至少一幅图像作为代表图像的步骤包含以下步骤选择最接近于所述选择的至少一个群集的质心的图像。
12.依照权利要求1所述的方法，其中所述从所述选择的至少一个群集中选择至少一幅图像作为代表图像的步骤包含以下步骤确定在所述选择的至少一个群集的每幅所述图像内存在至少一张脸； 确定含有至少一张脸的图像的数量与不含有脸的图像的数量的比率； 选择具有脸的图像，如果所述比率大于或等于1，或者选择没有脸的图像，如果所述比率小于1。
13.一种计算机程序产品，其包含多个程序代码部分，以用于执行依照前述权利要求任意一个的方法。
14.一种用于从多幅图像中选择至少一幅代表图像的设备(100)，所述设备(100)包含分配器(105)，用于依照所述多幅图像的内容的预定特征，将所述多幅图像分成群集； 选择器(107)，用于基于每个群集中图像的数量而选择至少一个群集，以及用于从所述选择的至少一个群集中选择至少一幅图像作为所述代表图像。
全文摘要
一种从多幅图像中选择至少一幅代表图像的方法，该方法包含以下步骤依照所述多幅图像的内容的预定特征，将所述多幅图像分成群集(201)；基于每个群集中图像的数量而选择至少一个群集(203)；以及从所述选择的至少一个群集中选择至少一幅图像作为所述代表图像(205)。
文档编号G06F17/30GK102460433SQ201080026682
公开日2012年5月16日 申请日期2010年6月8日 优先权日2009年6月15日
发明者A. 彼得斯 M., 方塞卡 P. 申请人:皇家飞利浦电子股份有限公司