专利名称：用于产生图像拼贴画的方法和电子装置的制作方法
技术领域：
本发明涉及产生图像拼贴画(image collage)的方法。 本发明进一步涉及用于产生图像拼贴画的电子装置，该电子装置 包括电子电路。
本发明还涉及用于使得可编程装置执行产生图像拼贴画的方法的 计算机程序。
背景技术：
产生图像拼贴画的方法的例子在US2005/0220345中见诸描述。在 US2005/0220345中描述的该方法中，多幅图^f象的感兴趣区域被确定， 该多幅图像被裁剪以除去不提供信息的部分，即，仅感兴趣区域保留， 且该多幅经裁剪的图像相邻地布置在一幅图像内以形成拼贴画。 US2005/0220345中描述的该方法的缺点为，拼贴画没有充分地传达某 一组特定图像的意境(mood)。
发明内容
本发明的第一目的是提供一种开篇段落中所述类型的方法，该方 法产生更好地传达一组图像的意境的图像拼贴画。
本发明的第二目的是提供一种开篇段落中所述类型的系统，该系 统产生更好地传达一组图像的意境的图像拼贴画。
根据本发明，该第一目的是通过下述方法来实现，该方法包括以 下步骤确定背景图像中的感兴趣区域；以及在该感兴趣区域外的该 背景图像上显示至少一幅前景图像。背景图像传达一组图画的意境并 为前景图像提供环境背景。背景图像的感兴趣区域需要不被阻挡，从 而有效地传达该意境。背景图像例如可以代表从远距离拍摄的海滩。 前景图像例如可以代表被拍摄的人和/或纪念性建筑物。
在该方法的实施例中，显示至少一幅前景图像的步骤包括显示多 幅前景图像，该背景图像在该前景图像之间是可见的。在显示多幅前 景图像时，可以传达更多的信息，不过该背景图像在前景图像之间应
3是可见的，从而保持传达该组图像的意境。
确定该感兴趣区域的步骤可包括在该背景图像中寻找高对比度部 分和/或面部。高对比度部分和/或面部通常被观察者认为是重要的，且 优选地在背景图像中不应被前景图像阻挡。
该方法还可包括通过寻找下述图像来选择背景图像的步骤，该图 像的感兴趣区域较小和/或不具有不规则形状。满足这些标准之一或二 者的背景图像具有相对多的、前景图像可显示于其上的区域。
该方法还可包括裁剪该前景图像以除去不提供信息的部分的步 骤。这使得前景图像足够小以形成部分拼贴画。另外或备选地，该方 法还可包括调整该前景图像的尺寸，以使得前景图像足够小以形成部 分拼贴画。如果前景图像包括多个分离的感兴趣区域，裁剪该前景图 像可得到多幅图像。这些多个分离的感兴趣区域中每一个感兴趣区域 可以独立地显示在背景图像上。
该方法还可包括以某一速度使用另一前景图像替换该前景图像的 步骤，该速度高于使用另一背景图像替换该背景图像的速度。这形成 动态的图像拼贴画，其中人或纪念性建筑物例如可以依序显示在代表 该人或纪念性建筑物的照片被拍摄的位置的背景图像上。
该前景图像显示的持续时间取决于该前景图像的等级。按照这种 方式，最重要的主题和对象在该动态图像拼贴画中变得最显目。
例如通过鼠标点击或者触摸使得用户能够选择前景对象，可以使 该动态拼贴画为交互式的。前景对象所属的内容项于是被放大地显示 或者选择成为背景图像。按照这种方式，动态拼贴画不仅可以用作内 容集合的视觉上吸引人的表现，也可以用作浏览工具。
根据本发明，该第二目的是通过下述电子装置来实现，该电子装 置的电子电路可工作以确定背景图像中的感兴趣区域，并且在该感兴 趣区域外的该背景图像上显示至少一幅前景图像。该电子装置可以是
便携装置，诸如具有照片功能的MP3播放器、移动电话、数字静态照 相机或者PDA，或者是固定装置，诸如个人计算机、HDD记录器或者 电视机。该电子装置可以是家用计算机或者服务器计算机，例如，用 于在诸如照片/视频分享和备份服务的在线服务、视频点播和媒体在线 店铺中提供内容集合的总览。
本发明的这些和其他方面将会显而易见，并且将会参考附图以示
例性方式予以进一步解释说明，其中 图1为本发明的方法的流程图； 图2为本发明的方法的实施例的流程图； 图3示出基于对比度的感兴趣区域的探测的四个示例； 图4示出在背景图像中的探测到的感兴趣区域的第五示例； 图5示出图4的背景图像中潜在地将前景图像置于其中的区域； 图6为本发明的电子装置的框图。 附图中的相应要素使用相同参考符号表示。
具体实施例方式
本发明的方法包括在背景图像中确定感兴趣区域的步骤1，以 及在该感兴趣区域外的背景图像上显示至少一幅前景图像的步骤3，见 图1。
在该方法的实施例中，见图2,多幅图像ll用作输入。该多幅图 像11例如可以是图片的内容集合的目录，或者是从视频提取的关键帧。
步骤13包括确定多幅图像11中的感兴趣区域。静态图像中的对 象和元素可以划分为两种类别(l)感兴趣部分，其通常为图像的主 题，诸如面部、人和纪念性建筑物，(2)无趣或不感兴趣的部分，其 通常作为图像的背景，诸如天空、建筑空间的墙壁以及草地。第一类 别定义为感兴趣区域。人的注意力被图像的高对比度部分以及面部所 吸引(此外，动作对于视频起着重要作用)。在步骤15中，通过寻找 图像中的高对比度区域来选择这些区域。这个过程的示例示于图3。可 选地，也可以执行面部探测以确保面部包括在感兴趣区域内。
步骤17包括确定合适的背景图像。为了在图像拼贴画中传达尽可 能多的信息，该拼贴画由具有内嵌前景图像的背景图像组成。然而， 图像的区域不应交叠或者遮挡。因此，在先前步骤中探测到的感兴趣 区域被分析以确定其尺寸和形状。当感兴趣区域相对于原始形状而言 大，或者当感兴趣区域具有不规则形状时，相应图像不是非常适合作 为背景图像。区域的尺寸可以通过对属于感兴趣区域的像素的数目执 行求和来计算。备选地，包括整个感兴趣区域的最小矩形的尺寸可被确定。这两种方法的比例为感兴趣区域的不规则性的可能度量之一。 在寻找合适背景图像时也可以考虑该比例。按照这种方式，图像分为
前景图像21和背景图像23。此外，其他视觉特征(例如，边缘数目、 图像复杂性、紋理)可在考虑之列。
步骤19包括裁剪前景图像。前景图像只应是有用且提供信息的对 象或要素。因此，前景图像必须裁剪以除去不提供信息的部分。该裁 剪基于感兴趣区域完成。包括整个感兴趣区域的最小矩形可以用于此 目的。此外，可将感兴趣区域视为由多个连接的子区域组成，这些子 区域从尺寸和形状方面被单独分析。随后，在裁剪前景图像的过程中， 这些子区域可被合并或忽略。
步骤25包括构成拼贴画。从先前步驟得到两组(裁剪)图像前 景图像21和背景图像23。在构成图像拼贴画时，前景图像灵活地置于 背景图像中。这意味着它们不相互交叠且不遮挡感兴趣背景区域。发 现每幅前景图像的位置和尺寸的问题可以映射到约束优化问题(二维 装箱问题)，其中利用分离轴定理(separating axis theorem )-在计算 机游戏中使用的一种已知技术-来模拟不交叠和不遮挡条件。该问题 的变量为每幅前景图像的位置和尺寸。尺寸变量是以取决于前景图像 内容的最小尺寸为下限。约束为前景图像之间没有交叠且背景不被 遮挡。另外的约束为将背景图像的足够部分留为空闲(例如，通过添 加围绕前景图像的空白边界)。待最大化的目标函数为前景图像的数目 以及其以像素数目计的面积。二维装箱问题随后使用标准方法求解。 当二维装箱问题未发现可行解时，某些条件可以放宽以允许部分交叠/ 遮挡。"最佳"解(具有最小交叠的解)随后可被接受。图4和5示出 这样的情形，其中感兴趣区域使用其边界盒来模拟(包括该盒的最小 矩形)。图4示出原始图像41及探测到的感兴趣区域43。图5示出将 前景图像置于其中的区域区域51-54和56-59以及禁止区域55。
上述步骤详细描述了如何自动地构造静态拼贴画。然而，静态拼 贴画只能显示数目非常有限的图像，这给出对集合的非常有限的总览。 通过动态地及时改变前景图像和背景图像使得拼贴画栩栩如生则可以 解决该问题。为了视觉上连续，前景图像变化快于背景图像。拼贴画 及时的变化使前景图像的定位复杂化。二维装箱问题从二维问题转变 为三维问题(有关背景图像的2个空间维度和1个时间维度)。由于感兴趣区域不是在每幅背景图像中都相同，可用空间的尺寸变化，因此 组成动态边界条件。分离轴定理也可以应用于三维装箱问题，且同样 可以使用标准方法求出解。如果该问题约束过多(不存在无交叠的解)， 则交叠量最小(和最短)的解可被选择。另外，在优化过程中可考虑 内容项的相对重要性(等级)，从而与次重要的前景图像相比更快和/
或更长时间地显示重要图像。重要性/等级例如可以基于ROI的尺寸、 注释、手动分级、图像已被看到的次数来确定。
图6的电子装置71为用于产生图像拼贴画的电子装置。电子装置 71的电子电路73可工作以确定背景图像中的感兴趣区域，并在该感兴 趣区域外的背景图像上显示至少一幅前景图像。电子装置71可进一步 包括存储装置75、再现装置77、输入79和/或输出81。电子装置71 可以是固定或便携装置。电子装置71可以是消费类装置或者专业装置。 电子电路73可以是通用或专用处理器。电子电路73能够执行计算机 程序。
存储装置75例如可包括硬盘、固态存储器、光盘读取器或者全息 存储装置。存储装置75可存储前景和/或背景图像和/或图像拼贴画。 再现装置77例如可包括显示器和/或扬声器。再现装置77可用于显示 图像拼贴画。备选地，输出81可用于在外部显示器(未示出)上显示 图像拼贴画。电子装置71可包括输入装置(未示出)，例如触摸屏或 触摸板。备选地，输入79可用于接收来自外部输入装置(未示出)的 用户输入。该外部输入装置例如可以是鼠标、跟踪球或者数码笔。输 入79和输出81例如可包括网络连接器，诸如USB连接器或以太网 连接器；模拟音频和/或视频连接器，诸如cinch连接器或SCART连接 器；或者数字音频和/或视频连接器，诸如HDMI或SPDIF连接器。输 入79和输出81可包括无线接收器和/或发送器。
尽管已经结合优选实施例对本发明进行了描述，应当理解对于本 领域技术人员来说在上述原理范围内的更改是显而易见的，且因而本 发明不限于这些优选实施例，而是要包括这些更改。本发明在于各个 和每个新颖的特性特征和特性特征的各个和每个组合。权利要求中的 参考符号不是对其保护范围的限制。动词"包括"及其变形的使用不排 除那些未在权利要求列出的部件的存在。部件之前使用的冠词"一"或 "一个"并不排除多个这样的部件的存在。
7如本领域技术人员显而易见的，"装置"的含义包括任何硬件(诸 如分立或集成的电路或电子元件)或软件(诸如程序或程序部件)，其 单独或与其他功能结合，隔离或与其他部件协作地在操作中运行或被 设计为执行特定功能。本发明可以通过包括若干不同部件的硬件以及 通过合适编程的计算机来实施。在列举若干装置的装置权利要求中， 这些装置中的若干个可以由一个相同的硬件来实施。"计算机程序"应 被理解为存储在诸如软盘的计算机可读取介质上、通过诸如互联网的 网络可下载的、或者通过任何其他方式可购得的任何软件产品。
权利要求
1. 一种用于产生图像拼贴画的方法，该方法包括以下步骤确定(1)背景图像(41)中的感兴趣区域(43)；以及在所述感兴趣区域(43)外的所述背景图像(41)上显示(3)至少一幅前景图像。
2. 如权利要求1所述的方法，其中显示(3)至少一幅前景图像的 步骤包括显示多幅前景图像，所述背景图像(41)在所述前景图像之间 是可见的。
3. 如权利要求l所述的方法，其中确定(1)所述感兴趣区域(43) 的步骤包括在所述背景图像(41)中寻找高对比度部分和/或面部。
4. 如权利要求l所述的方法，还包括通过寻找下述图像来选择所述 背景图像(41)的步骤，所述图像的感兴趣区域(43)较小和/或不具有 不规则形状。
5. 如权利要求l所述的方法，还包括裁剪所述前景图像以除去不提 供信息的部分的步骤。
6. 如权利要求l所述的方法，还包括调整所述前景图像的尺寸的步遞
7. 如权利要求l所述的方法，还包括以某一速度使用另一前景图像 替换所述前景图像的步骤，该速度高于使用另 一背景图像替换所述背景 图像(41)的速度。
8. 如权利要求7所述的方法，其中所述前景图像显示的持续时间取 决于所述前景图^(象的等级。
9. 一种计算机程序，用于使得可编程装置执行如权利要求1所述的 方法。
10. —种用于产生周像拼贴画的电子装置(71 )，其包括电子电樹73 ), 该电子电路(73)可工作以确定背景图像(41)中的感兴趣区域(43);以及 在所述感兴趣区域(43)外的所述背景图像(41)上显示至少一幅 前景图像。
全文摘要
本发明的产生图像拼贴画的方法包括以下步骤确定背景图像(41)中的感兴趣区域(43)；以及在该感兴趣区域(43)外的该背景图像(41)上显示至少一幅前景图像。本发明的电子装置可工作以执行本发明的方法。本发明的计算机程序可工作以使得可编程装置执行本发明的方法。
文档编号H04N1/387GK101513034SQ200780033639
公开日2009年8月19日 申请日期2007年9月7日 优先权日2006年9月11日
发明者G·加洛, J·韦达, M·巴比里 申请人:皇家飞利浦电子股份有限公司