利用遮挡成本计算的拼贴生成的制作方法

专利名称：利用遮挡成本计算的拼贴生成的制作方法
技术领域：
本发明的实施例涉及生成图像的拼贴(collage)。更具体地， 本发明的实施例涉及在图像拼贴的生成中使用遮挡成本(occlusion cost )信息。
背景技术：
数十年来，模拟图像内容呈现的最流行的格式之一是拼贴。照片 在拼贴中的艺术性并置创建了去除眼睛可以容易检测的重复结构的
视觉上有吸引力的布局(layout)。拼贴代表脱离其它更结构化的可 视显示图像的代替品的某种无序。然而，好的拼贴部分依赖于对内容 本身的分析。例如，重叠图像是重要的，但是并不要重叠那么多而使 层叠导致遮盖住了脸或图像中感兴趣的一些其它对象。
模拟图像的好的拼贴的手动创建是一个劳动量非常大的过程，需 要大量的图像再排列和再排序。同样地，数字图像的好的拼贴的手动 创建也是一个劳动量非常大的过程，需要例如利用图像编辑计算机程 序，消耗大量的时间来操纵数字图像的布置和位置。
当前存在一些用于创建数字图像拼贴的自动化方法，然而它们也 受困于很多缺陷。这些已有的自动化方法趋于分为两类安全拼贴创 建方法和侵略性(aggressive)拼贴创建方法。
在安全拼贴创建方法中，仅用图像间的小量重叠创建拼贴。使用 安全方法创建的拼贴通常看起来更类似于图像的平铺而不是巧妙创 建的拼贴。这种最小重叠有助于防止遮挡脸和其它重要图像细节，但 是它通常导致令人视觉不太愉快的无聊拼贴。
在侵略性拼贴创建方法中，通过一个图像在另 一个图像上的侵略 性重叠来创建拼贴。使用侵略性方法创建的拼贴有效地将图像压挤 (pack)到观看区(viewing region)中，但是通常模糊了图像中最 感兴趣的内容。尽管有可能通过这种方式创建好的拼贴，但是更有可 能的是脸或图像的感兴趣区域被随意遮挡，从而导致令人视觉不愉快 的拼贴。随着数字照相机和强大的观看装置(比如个人计算机)的快速崛 起，以有吸引力的方式显示多媒体内容的需求变得日益普遍。拼贴是 一种显示图像的令人愉悦的且流行的方法。然而，如上所述，当前用 于创建数字图像的好拼贴的方法要么是劳动量太大，要么受困于导致 令人不愉快的拼贴的自动创建的缺陷。


合并在此并作为说明书一部分的

了遮挡成本生成技术 的实施例，并且与文字描述共同用于解释以下讨论的原理，其中
图1是根据本发明的实施例使用的示例性计算机系统的示图； 图2是根据本发明的拼贴生成的示例性系统的框图； 图3示出了根据本发明的一个实施例的布置在观看区中的多个示 例性图像；
图4是根据本发明的一个实施例的示例性图像数据装载器 (loader)的框图5示出了根据本发明的一个实施例的在图像装载过程期间执行 的示例性图像操纵；
图6示出了根据本发明的一个实施例的示例性加性(additive) 拼贴生成器的框图7是根据本发明的 一个实施例的加性生成图像拼贴的方法的流
程图8示出了根据本发明的一个实施例的被种植(seed)到观看区
中的示例性图像；
图9示出了根据本发明一个实施例的被添加到拼贴布局(layout )
中的示例性图像；
图10示出了根据本发明的一个实施例创建的示例性拼贴； 图11是根据本发明一个实施例的迭代拼贴生成器的框图； 图12是根据本发明一个实施例的迭代地生成图像拼贴的方法的
流程图13示出了根据本发明一个实施例的多个图像的示例性初始拼 贴布局；
图14示出了根据本发明一个实施例的示例性的图像z-排序(z-ordering ) ^L最小4b4并贝占布局的i4^当
图15示出了根据本发明一个实施例的用于示例性图像的示例性 二维轻推(nudging)可能性；
图16示出了根据本发明一个实施例的示例性图像轻推以最小化 4并贴布局的遮挡成本；
图17示出了根据本发明一个实施例创建的示例性拼贴。
在本文中涉及的附图应当被理解为除非其特别说明，其都没有按 比例绘制。
具体实施例方式
现在将详细参考本发明的实施例，其示例在相应附图中示出。对 于本发明，应当理解所述示例不打算将本发明限于这些实施例。相反， 所述技术的打算覆盖包括在由所附权利要求书定义的各个实施例的 精神和范围内的替代物、修改和等同物。此外，在以下详细描述中， 阐述了很多具体细节，以便提供对本发明的透彻理解。然而，可以实 践本发明，而不需要这些具体细节。在其它情况中，为了避免不必要 地模糊本发明的各方面，众所周知的方法、程序、部件和电路都没有
i羊细4苗述。
除非另外具体指出，如从以下讨论中显见的，可以理解在整个详 细描述中，使用了比如"种植"、"提供，，、"生成，，、"添加"、 "合并，，、"重复，，、"缩放(scaling )，，、"赋予(attributing )"、 "优化"、"放置"、"选择"、"调整"、"显示，，、"计算"、 "更新"、"显示"、"最小化"、"获取"、"旋转"和"接收" 等术语的讨论，参考计算机系统(比如图1的计算机100)或类似的 电子计算设备的动作和过程。该计算机系统或类似的电子计算设备将 计算机系统的寄存器和存储器中的被表示为物理(电子)量的数据处 理和变换为被类似地表示为计算机系统存储器或寄存器或其它这种 信息存储、传输或显示设备中的物理量的其它数据。本发明也适用于 其它计算机系统的使用，比如光学、虚拟和机械计算机。此外，还应 当理解在本发明的实施例中， 一个或多个步骤可手动执行。
示例计算机系统环境
6现参考图1，本发明的各部分由驻留在例如计算机系统的计算机 可用介质中的计算机可读且计算机可执行指令组成。也就是说，图1 示出了可用于实施以下讨论的本发明实施例的计算机类型的一个示 例。图1示出了可根据本发明的实施例使用的示例性计算机系统100。
可以理解图1的系统IOO仅是示例性的并且本发明可在许多不同的计
算机系统上或其中操作，包括通用连网的计算机系统、嵌入式计算机 系统、路由器、交换机、服务器设备、客户端设备、各种中间设备/ 节点、独立计算机系统、数字照相机、手持设备等等。如图l所示，
图1的计算机系统IOO被很好地适配为具有外围计算机可读介质102, 比如软盘、紧致盘以及与其耦合的类似装置。
图1的系统100包括用于传送信息的地址/数据总线104,以及耦 合到总线104用于处理信息和指令的处理器106A。如图1所述，系统 100也4艮好地适用于其中存在多个处理器106A、 106B和106C的多处 理器环境。相反，系统IOO也很好地适用于单处理器比如处理器106A。 处理器106A、 106B和106C可以是任意种类的孩i处理器。系统100还 包括数据存储元件，比如耦合到总线104用于为处理器106A、 106B 和106C存储信息和指令的计算机可用的易失性存储器108,例如随机 存取存储器(RAM)。系统100还包括耦合到总线104用于为处理器 106A、 106B和106C存储静态信息和指令的计算机可用的非易失性存 储器110,例如只读存储器(ROM)。系统100中还存在耦合到总线 104用于存储信息和指令的数据存储单元112 (例如磁盘或光盘和盘 驱动器)。系统100还包括可选的字母数字输入设备114,其包括耦 合到总线104用于传送信息和命令选择到处理器106A或处理器106A、 106B和106C的字母数字和功能4建。系统100还包括可选的光标 (cursor)控制设备116,其耦合到总线104用于传送用户输入信息 和命令选4奪到处理器106A或处理器106A、 106B和106C。本实施例 的系统100还包括耦合到总线104的用于显示信息的可选显示设备 118。
仍参考图1,图1的可选显示设备118可以是液晶设备、阴极射 线管、等离子体显示设备或其它适于创建用户可识别的图形图像和字 母数字字符的其它显示设备。可选的光标控制设备116允许计算机用 户动态地用信号指示可视符号(光标)在显示设备118的显示屏上的移动。光标控制设备116的很多实施方式在本领域中是公知的，包括 跟踪球、鼠标、触摸板、摇杆或能够用信号指示给定位移方向或方式
的移动的字母数字输入设备114上的特殊键。可替换地，应理解光标 可使用特殊键和键序列命令通过来自字母数字输入设备114的输入来 引导和/或激活。系统100还很好地适用于具有由其它方式(例如语 音命令)引导的光标。系统IOO还包括用于将系统100与外部实体耦 合的1/0设备120。例如，在一个实施例中，I/O设备120是用于在 系统100和外部网络(比如但是不限于因特网)之间实现有线或无线 通信的调制解调器。
仍参考图l.,描述了系统100的其它各个部件。具体地，当存在 时，操作系统122、应用124、模块126和数据128被示为通常驻留 在例如随机存取存储器(RAM)的计算机可用的易失性存储器108和 数据存储单元112的其中之一或某种组合中。在一个实施例中，本发 明例如可作为应用124或模块126存储在RAM108内的存储位置和存 储单元112内的存储区域中。
遮挡成本计算
遮挡成本计算是一种确定与在观看区中要显示的一个或多个图 像的相对位置和该一个或多个图像之间的任意可能重叠相关的定量 遮挡成本的方式。用于得到图像的遮挡成本的方法的一个示例由表1 所示的成本等式表示。
表l的等式依赖于显著性(saliency)信息的使用，比如显著性 图(saliency map)。如以下进一步所述，显著性图和^艮多用于确定 图像显著性的其它技术都是公知的。例如显著性图通常为特定图像提 供显著区(salient region)的对应映射。典型地，图像区的显著性 在显著性图/数据中具有对应的分数(score)，该图像区域可以与图 像的像素同样大小。例如图像的显著性图可由图像的灰度级图组成。 在这种显著性图中，可在一定尺度上分配显著性值，例如从0到255 ， 其中最高显著性由白像素和255的值表示，最低显著性由黑像素和0 的值表示。在表1-5和7中显示的等式是用于将这些对应的显著性值 相加来确定观看区内的图像、布局或部分布局的特定遮挡成本的技 术。表1-用于计算布局的遮挡成本的示例等式
成本-s所有图像(遮挡的总显著性/总图像显著性)
表1中的等式计算图像中的被遮挡区域的显著性等级并且将其除
以整个图像中的显著性总和。该结果是在布局方位(layout or ienta t ion)上覆盖或遮挡图{象区的遮挡成本。例如在 一 个实施例 中，表1中的等式用于确定单独在观看区显示的单个图像的布局方位 的遮挡成本。其还可用于通过求和来计算同时在观看区中显示的多个 图像的布局的遮挡成本。产生的成本值的范围从零到一，并且可被认 为是百分比。越接近一的成本等于几乎全部遮挡，而越接近零的成本 意味着非常少的遮挡。
如果为观看区内显示的图像的单个布局计算遮挡成本，那么该计 算利用图像的显著性数据来确定该图像的布局的遮挡成本。如果在图 像中存在多于一个的布局，那么可为每个图像布局确定遮挡成本。如 果多于一个的图像被处理用于在观看区中同时显示，可对该多个图像 的每一个计算遮挡成本以确定用于在观看区内同时呈现该多个图像 的布局的遮挡成本。如果存在多于一个的布局用于在观看区内同时呈 现多个图像，那么可为该多个图像的每个布局确定遮挡成本。
在 一 些实施例中，附加的用户指定值可被作为合并到遮挡成本确 定中的非线性直接添加到遮挡成本计算中。在其它实施例中，附加的
用户指定参数可被直接添加到用于遮挡成本计算的显著性数据(比如 图像显著性图)中。例如，如果某个人脸(或特定图像区域)不被遮 挡是重要的，那么可以通过设置用户定义参数用图像显著性数据/图 中的高显著性来标记该人脸。例如，可将人脸标记为包含高显著性特 征。这保证了在大多数情况下，如果这种预先标记的人脸被遮挡的话， 将从遮挡成本确定中产生高遮挡成本(为一或接近一)。
附加变量也可以被包括在表1所示的遮挡成本函数中，从而使得 关于每个图像的尺度(scale)的项被添加到该函数中。因此如果图 像在尺度上放大(enlarge in scale)，那么关于其尺度的成本将减 小，因为尺度的增加将导致图像被遮挡或造成另 一个图像遮挡的情况 的增加。表2示出了添加了缩放(scaling)信息的遮挡成本函数的样
口口 O
9在表2所示的遮挡成本函数的示例中，"n"和"m"可被设置为 限定值。"n"和"m"的大值或小值将导致图像的侵略性更大或更小 的缩放。"n"和"m"的值还可作为用户指定参数输入到布局方位限 制控制器325和图像显著性生成器控制器315，导致根据一个或多个 图像的尺度调整的布局方位生成和图像显著性生成。
表2 -在遮挡成本计算中包括图像尺度的示例等式
成本
g自.,(遮挡的总显著性/总图像显著性)]
在本发明的 一 些实施例中，还可以进一 步改进遮挡成本的计算，
以基于布局中图^f象的遮^当的面积才卜寸尝(area compensation)而更好 地计算遮挡成本。例如在接收显著性数据以及接收用于观看区中图像 的显示(或多个图像的同时显示)的布局方位数据之后，与显著性和 特定布局有关的数据可被用于最佳地确定布局中特定图像的遮挡成 本。可基于每个图像的位置以及每个图像如何与另一个图像或观看区 的边缘重叠来确定遮挡成本。随后可基于三个互相依赖 (co-dependent )的分量来计算遮挡成本观看区的总显著性密度、 可见的部分显著性(fractional saliency)以及基于其总信息量的 图像的缩放。
表3中示出了面积补偿的遮挡成本计算的特定例示。表3中的非 简化版本的等式(等号左边)包含三个分量，其分别与所述三个互相 依赖的分量有关观看区的总显著性密度、可见的部分显著性以及基 于其总信息量的图像的缩放。
表3-图像的面积补偿的遮挡成本的示例等式
<formula>formula see original document page 10</formula>其中
Ci是与图像i相关的成本Sv,i是可见的图像i的显著性部分(fraction)
ST,i是图像i的总显著性
Aj是图像i的面积 Af是框架(窗口 )的面积
在表3中，在计算的观看区部分中的总显著性密度力图最大化在 该观看区内捕获的可见显著性的量。通过将一个图像重叠在另一个之 上，或者通过用观看区的边缘剪切一部分图像，计算的部分显著性可 见部分试图最小化布局中被遮挡的显著性的量。致力于基于图像内容 对图像进行缩放的计算部分设法通过对图像成本进行加权来创建显 著性在观看区上的均匀分布，所述加权增加具有高信息量的图像(例 如风景、屋顶、树木等等)的尺度并降低具有较低信息量的图像(例 如单个脸)的尺度。计算的框架分量的面积是观看区的面积。
在一个实施例中，如果为包括多于一个的在观看区内同时显示的 图像的布局计算面积补偿的遮挡成本，这包括为布局中的每个图像计 算面积补偿的遮挡成本，并且然后为整个布局计算面积补偿的遮挡成 本。通过计算每个独立图像的成本的几何平均，可产生整个布局的面 积补偿的遮挡成本。表4中显示具有在共享观看区中同时显示的多个 图像的布局的面积补偿的遮挡成本计算函数的示例。
_表4-布局的面积补偿的遮挡成本的示例等式_
其中
C (L)是在共享观看区中同时显示的图像的整个布局的面积补偿 的遮挡成本
n是布局的数量，其中n>=l
Ci是与图像I相关的面积补偿的遮挡成本(参见表3的等式)利用遮挡成本计算的拼贴生成的本技术的概述利用遮挡成本计算的拼贴生成的本技术提供用于产生图像拼贴 的方法和系统。该方法和系统应用遮挡成本计算的技术来生成4并贴。 通过这些技术的应用，本发明的实施例生成提供图像区域的显著重 叠、但却最小化拼贴图像的显著性区域(比如人脸和其它感兴趣的区 域)的遮挡的拼贴。本发明的一些实施例利用诸如显著性图的显著性 信息来识别图像中存在的显著性区域，比如人脸和其它感兴趣的对 象。通过使用这种显著性数据，本发明的实施例计算布局的遮挡成本 并且生成将被识别为显著的图像区域的遮挡最小化的拼贴。本发明的 一些实施例还利用赋予观看区的显著性，其中拼贴正在该观看区中显 示。这允许本发明计算一平衡图像显著性的遮挡和观看区显著性的遮 挡的遮挡成本。这允许本发明的一些实施例生成平衡图像的重叠与观 看区的有效利用的拼贴。在将遮挡成本计算应用到拼贴生成时，成百幅(或者更多)图像 的拼贴可被自动生成。当生成这些拼贴时，并且允许图像在所有维度(位置、尺度、旋转和z次序(z-order))自由移动，用于生成拼 贴的解集实际上是无穷的。因此本发明的实施例设法简化该解集。例如，在一个实施例中，每个图像的尺度和旋转是固定的。限制 这些自由度也就限制了解集并且允许应用传统的优化技术。因为角度 多样性(angular divers i ty)是拼贴的关键特征，所以本发明的一个 实施例在拼贴布局之前强制进行方位分布。此外，本发明的一个实施 例在布局之前设定图像尺寸。在布局之前施加这些限制的优势是图像 旋转和缩放都是计算成本很高的。因此，在拼贴生成期间通过不重复 地重新执行这些操作来明显缩短拼贴生成时间。在本发明的一个实施例中，在拼贴生成之前也固定拼贴布局的 "效率"。在本文中，"效率"被定义为图像面积总和与布局的总面 积之间的比值。低效率表明图像具有相当大的空间来移动，并且如果 重叠的话在拼贴生成期间仅稍稍重叠。高效率强制图像之间的相当大 的重叠，并且增加了显著区域(比如人脸)的令人不快的遮挡的风险。 在拼贴生成之前固定布局的效率限制了另一个自由度并且使得生成 拼贴的解集变得更易处理。12利用遮挡成本计算的拼贴生成的示例性系统图2是根据本发明的用于拼贴生成的示例性系统200的框图。系 统200根据从数字图像的图像数据自动地生成图像的拼贴。系统200 由图像装载器205、生成器选择器210、加性(additive)拼贴生成 器215和迭代拼贴生成器220组成。图像装载器205用于接收和处理图像数据，并且在一个实施例中 耦合到提供该图像数据的计算机系统，比如计算机系统100。如图2 所示，图像装载器205也耦合到生成器选择器210。图像装载器205 还通过生成器选择器21Q耦合到加性拼贴生成器215和迭代拼贴生成 器220。加性拼贴生成器215和迭代拼贴生成器220都耦合到用于输 出生成的拼贴到例如显示设备或计算机系统100的一部分的输出端。 图像装载器205的功能将在以下结合图4和5进一步描述。生成器选择器210被配置为耦合到图像装载器205,并且在一个 实施例中是图像装载器205的一部分。生成器选择器210选择拼贴布 局生成器用于生成所述拼贴。在一个实施例中，生成器选择器210基 于在观看区中被拼贴的图像数量来做出该选择。通过举例而不是限制 的方式，在一个实施例中，当十五个或更少的图像在观看区中被拼贴 时生成器选择器210选择加性拼贴生成器215。同样，在这种实施例 中，当多于十五个的图像在观看区中被拼贴时生成器选择器210选择 迭代拼贴生成器220。这种选择机制是有利的，因为当拼贴较少数量 的图像时加性拼贴生成器215是比较有效的，而当拼贴较大数量的图 像时迭代拼贴生成器220是比较有效的。应当理解在其它实施例中可以使用其它分界点来选择拼贴生成 器。还应当理解在一些实施例中，基于用户输入的分界点数或比如期 望的拼贴效率或期望的拼贴生成速度之类的其它选择标准，生成器选 择器210在加性拼贴生成器215和迭代拼贴生成器220之间选择。还 应当理解在一些实施例中，不使用生成器选择器215和其中一个拼贴 生成器(215或220 )。加性拼贴生成器215被配置为耦合到图像装载器205,用于按照 生成器选择器210的指示来接收图像数据。加性拼贴生成器215通过以设计为最小化图像和观看区的遮挡的方式顺序地添加图像到观看区中来生成拼贴。将结合图6-10进一步描述加性拼贴生成器215。迭代拼贴生成器220被配置为耦合到图像装载器205,用于按照 生成器选择器210的指示来接收图像数据。迭代拼贴生成器220通过 迭代地最小化观看区内的多个图像的初始布局的遮挡成本来生成拼 贴。将结合图11-17进一步描述迭代拼贴生成器220。在本发明的一些实施例中，顺序地使用系统200的拼贴生成单元 (215和220 )。例如，在一个这样的实施例中，加性拼贴生成器215 被生成器选择器210选择，以通过使用加性拼贴生成过程(如下所述) 来生成多个图像的初始拼贴布局。随后该加性生成的拼贴被作为初始 拼贴布局耦合到迭代拼贴生成器220。迭代拼贴生成器220通过选择 性地z排序和/或轻推图像以最小化遮挡成本，来执行该初始拼贴的 迭代优化(如下所述)。示例性图像图3示出了根据本发明的一个实施例的排列在观看区300中的多 个示例图像(305, 310, 315 ， 320， 325和330 )。图3所示的布置 是观看区中多个图像的初始结构化布局的示例。结构化布局还包括分 片的(tiled)边到边布局、轻微重叠的图像布局以及其它根据模式 或计划生成的布局。多个图像的这种初始布局用于迭代拼贴生成器 220的一个实施例中。用于识别对象和确定图像的显著(或感兴趣的)部分的技术是已 知的，并且在以下作品中有所描述，比如A Model of Saliency—Based Visual Attention for Rapid Scene Analysis, Laurent ltti， Christof Koch, and Ernst Niebur， IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998 年 11 月；和Robust Real—Time Object Detection, Paul Viola and Michael Jones, Second International Workshop on Statistical and Conputational Theories of Vision — Modeling, Learning, Computing, and Sampling, 7月13日，3001.每个图像(305, 31 0， 315, 320, 325和330 )包含显著和非显著区域。在图像305中，两个戴着棒球帽的人被认为是显著区域。在 图像310中帆船和太阳是显著区域。在图像315中房子是显著区域。 在图像320中飞机是显著区域。在图像325中，伸出胳膊的人是显著 区域。在图像330中，自行车是显著区域。这些图像中(305， 310， 315, 320, 325和330 )的每一个也包含非显著区域，比如空白空间。 本发明寻求根据图像(比如这些示例图像)产生拼贴，所述拼贴改善 了图像的重叠并且使得显著区域的遮挡最小化。本发明利用本领域公 知的比如图像显著性图之类的技术来识别图像的显著区域。在一个实 施例中，图像数据装载器205根据图像数据(比如图像位图)生成这 种显著性图。示例性图像数据装载器图4是根据本发明一个实施例的示例性图像数据装载器205的框 图。图像装载器205包括图像数据接收器405、图像显著性生成器410、 图像缩放器415和图像旋转器420。如图4所示，图像数据接收器405、 图像显著性生成器410、图像缩放器415和图像旋转器420都彼此耦 合并且耦合到公共输出端。这允许根据需要在图像数据装载器205的 单元之间交换信息。这还允许图像数据装载器205输出图像数据，比 如图像位图、缩放和/或旋转的图像位图、图像显著性图、缩放和/或 旋转的图像显著性图和其它图像数据到系统200的其它单元。在一个 实施例中，图像数据装载器以图像分片(Ule )(图5的510和510A) 的形式输出这种图像数据，所迷图像分片被用于产生拼贴。图像数据接收器405从比如计算机系统100的图像数据源接收或 获得图像数据，比如图像位图和显著性图。该图像数据根据需要被耦 合到图像显著性生成器410、图像缩放器415和图像旋转器420。图像显著性生成器405生成图像显著性数据，其识别图像中的重 要或感兴趣的区域。在一些实施例中采用显著性图的形式的图像显著 性数据是根据比如图像位图的图像数据生成的。图像的图像显著性数 据包括比如显著性图、面部识别信息和其它图像分析信息之类的信 息。图像显著性生成器410基于已知的和创建的图像处理技术来生成 显著性数据所述图像处理技术比如用于确定显著性和识别比如人脸的对象的技术。在一些实施例中，基于用户指定的参数或限制，比如 图像的特别显著区域的用户标记，来生成图像显著性信息。随后图像显著性生成器405以诸如图像显著区域的分级(ranking)或绘图的形式输出每个图像的显著性数据。例如，在本 发明的一些实施例中，图像显著性数据可由灰度级图像来表示，其中 每个像素的值是该像素的显著性分数。在本发明的其它实施例中，每 个图像具有以图的形式传递的显著性数据，其可以包含指示图中每个 部分的相对显著性的分数。显著性数据表示图像中"兴趣的"特定分 布，并且因此表示图像的哪些区域应当保持可见，并且哪些区域可被 安全地遮挡。图像缩放器415缩放图像和/或图像的显著性数据。例如在一个 实施例中，图像和显著性数据被缩放到某个恒定面积(constant area)。在一个实施例中，该恒定面积在整个拼贴生成过程中始终保 持固定以减小自由度(图像尺度)，并且因此简化了用于根据多个图 像生成拼贴的解集。在一个这样的实施例中，像素区域被设置为恒定 面积而不是恒定的线性尺寸。这减小或消除了补偿图像高宽比的多样 性的需要。例如，在一个实施例中，图像缩放器415将图像和/或显 著性图缩放到30， OOO像素的设定区域。图像旋转器420旋转图像数据和/或图像显著性数据。在本发明 的 一 个实施例中，每个图像的图像数据和/或显著性数据被随机旋转 一定角度(在可允许的范围内)。在另一个实施例中，根据预设模式 旋转每个图像的图像数据和/或显著性数据。例如，第一图像的数据 不被旋转，第二图像的数据被向右旋转十度，第三图像的数据向左旋 转十度，并且随后对于随后的图像重复该模式。在一个实施例中，图 像旋转器4 2 0输出旋转的和缩放的图像以及显著性数据作为拼贴生成 中使用的图像分片(510和510A)。在一个实施例中，此旋转在整个 拼贴生成过程中保持固定以减小自由度(图像旋转)，并且因此简化 了 一系列用于从多个图像中生成拼贴的解集。图5示出了根据本发明一个实施例的在图像装载过程期间执行的 示例性图像操纵。通过举例的方式，在一个实施例中，图像数据接收 器405接收或获得图像(比如图像305 )的诸如位图的图像数据。图 像数据接收器405将该图像数据传递到图像显著性生成器410，其中根据图像数据生成显著性图505。显著性图505的形式为灰度级图像， 该灰度级图像将较显著的区域示出为较亮的区域，并且将较不显著的 区域示出为较暗的区域。在这样的显著性图中，可在一定尺度上(例 如从0到255 )分配显著性值，其中最高显著性由白像素和255的值 表示，而最低显著性由黑像素和0的值表示。在显著性图505中，区 域506和507 (其由图像305中的两个人占据)由较浅的阴影表示来 指示高显著性。显著性图505的剩余部分相对较暗，因而指示除了区 域506和507之外的低或无显著性。图像显著性生成器410将图像数据和显著性数据传递到图像缩放 器415。图像缩放器415将显著性图505和图像305缩放到统一区域 (在该情况下为较小的区域)。图像缩放器415将缩放的图像图和缩 放的图像传递到图像旋转器420。图像旋转器420将缩放的显著性图 和缩放的图像向右旋转大约十度并且输出缩放的和旋转的图像显著 性分片510以及缩放的和旋转的图像分片510A。图像数据装载器205 提供这些分片(510， 510A)的一个或两个作为输出。比如加性拼贴 生成器215以及迭代拼贴生成器220的拼贴生成器利用这种图像分片 (510和510A)来生成拼贴。图像分片510包括缩放的和旋转的图像显著性图505A,图像显著 性图505A包括缩减的显著性区506A和507A。示出的图像分片510具 有可视边界(用于说明的目的)，其封闭围绕显著性图507A的透明 区域511。实际上，边界也是透明的。该透明边界和透明区域511允 许观看图像或者观看直接位于拼贴中分片510之下的区域空间。图像分片510A包括缩放和旋转的图像305A。示出的图像分片 510A也具有可视边界(用于说明的目的)，其封闭围绕图像305A的 透明区域511A。实际上，分片510A的边界也是透明的。该透明边界 和透明区域511A允许观看图像或者观看直接位于拼贴中分片510A之 下的区域空间。用于图3的剩余图像的附加图像分片也通过用于生成分片510A 的相同过程来生成。这产生了缩;改和旋转的图像310A、 315A、 320A、 325A和330A，其在例如图9、图IO、图13、图14、图16和图17中 不同地示出。示例性操作方法以下讨论通过具体实施例的描述详细阐述了本发明的操作。参考图7和12,流程图700和1200的每一个说明了本发明各个实施例使 用的示例步骤。流程图700和1200包括在不同实施例中由处理器在计算机可读和计算机可执行指令的控制下执行的过程。所述计算机可 读和计算机可执行指令例如驻留在数据存储元件中，比如图1的计算机可用易失性存储器108、计算机可用非易失性存储器110和/或数据 存储单元112中。所述计算机可读和计算机可执行指令被用于结合例 如图1的处理器106A和/或处理器106A、106B和106C来控制或4乘作。 尽管在流程图700和1200中公开了特定步骤，但是这些步骤都是示 例性的。即实施例也适于执行各种其它步骤或者在流程图700和1200 中描述的步骤的变形。应当理解流程图700和1200中的步骤可以以 不同于所示的顺序来执行，并且并不是流程图700和1200中的所有 步骤都要被执行。利用遮挡成本计算的加性拼贴生成图6示出了根据本发明一个实施例的示例性加性拼贴生成器215 的框图。如图所示，加性拼贴生成器215由彼此耦合以允许根据需要 交换信息的图像播种器(seeder ) 605、试验布局提供器610、遮挡成 本生成器615以及图像添加器620组成。图像播种器605被配置为例 如以图像分片510和510A的形式接收图像数据和图像显著性数据作 为输入。图像添加器620被配置为输出信息，比如通过加性拼贴生成 器215从多个图像中生成的拼贴。应当理解加性拼贴生成器215的单 元可以以完成同样功能的不同于所示配置的其它配置来耦合或布置。 结合图7的流程图700的适当单元以及图8、图9和图10所示的图像 来描述加性拼贴生成器215的单元的操作。图7是根据本发明 一 个实施例的加性地生成图像拼贴的方法的流 程图700。在一个实施例中，在流程图700中的710,第一图像被种 植到观看区中以开始拼贴。加性拼贴生成器215采用图像播种器605 来种植初始图像(比如图像分片510或510A)到观看区中来开始拼贴 的布局。图像播种器605可将图像种植到观看区中的任意部分。18在本发明的一个实施例中，观看区的尺寸由图像播种器605设定 在预定面积，比如比在观看区中拼贴的所有图像的面积大10%的面积。 而在本发明的另一个实施例中，观看区的尺寸(以及面积)由图像播种器605改变。例如，在本发明的一个实施例中，图像播种器605从 预定面积将观看区的尺寸(和面积)与在观看区中拼贴的图像的总面 积成比例地放大或缩小。在另一个示例中，图像播种器605根据用户 输入来设置观看区的尺寸。在该生成拼贴的加性方法中，设置观看区的面积和尺寸并不是为 了强制特定的拼贴效率，，但是确实起到一定的辅助作用。反之，进 行设置是为了增加或减小拼贴的观看区的尺寸并且选择拼贴的宽高 比。相反拼贴效率主要由赋予观看区背景的显著性来控制，其中拼贴 在该背景上加性地生成。图像播种器605设置的拼贴尺寸和面积有助于生成的拼贴的结 果。例如，预定义比将要拼贴的图像面积稍大的观看区面积允许拼贴 创建的充分空间。此外，加性拼贴生成器215生成具有与观看区的尺 寸大体一致的宽高比的拼贴。没有预定的尺寸，该加性方法仍然可行， 但是会生成具有不常见的和变化的宽高比的拼贴。此外，因为图像播 种器605设置观看区的尺寸，所以图像可以被有意地种植到定义的观 看区中的特定位置。例如在一个实施例中，图像播种器605将初始图 像种植到观看区的中心。这迫使拼贴从该初始图像向外生成到观看区 的边缘。图8示出了根据本发明一个实施例的被种植到观看区中的示例图 像。图像播种器605定义矩形观看区300的尺寸。在一些实施例中， 这些尺寸可以以除了矩形之外的其它形状来定义，比如正方形、椭 圓形或圆形等等。在图8中，图像播种器605已经将图像305A种植 到观看区300的中心以形成拼贴800的初始图像。图像305A是与图 像分片510 (图5)相同的缩放和旋转的图像。然而，图像分片510A 的透明边界和透明区域511不是可见的，因此说明了在添加性生成的 过渡步骤中拼贴实际上将如何向观看者呈现。在一个实施例中，在流程图700的720，提供了多个试验布局布 置。在每个试验布局布置中，附加图像被添加到拼贴布局。试验布局 提供器610生成并提供该多个试验布局布置。试验布局布置器610顺序地接收该附加图像，或者从被一起拼贴到观看区300中的多个图像 中选择附加图像。例如，在本发明的一个实施例中，试验布局提供器 610从被拼贴的该多个图像中选择一个图像并且用其来生成特定的多 个试验布局布置。在该示例之后，该特定的多个试验布置然后被传递 到遮挡成本生成器615。图9示出了根据本发明一个实施例的被添加到拼贴布局的示例图 像。图9是由试验布局提供器610生成的特定多个试验布局布置中的 一个试验布局布置的示例。图9所示的试验布局布置包括添加到观看 区300中的拼贴800的附加图像310A。注意图像305A保持在如图8 中先前所示的相同的二维位置。在该特定多个试验布局的其他试验布 局中，图像305A的二维位置保持固定，而附加图像(在该情况下是 310A)的二维仿置和z次序位置将改变。随后在一实施例中，该多个 试验布局布置的 一 些将包括z排序在已存在拼贴之上的附加图像的多 个二维位置，以及多个试验布局布置的一些将包括z排序在已存在拼 贴之下的附加图像的多个二维位置。在 一 个实施例中该多个试验布局的总数是预定的。而在另 一 个实 施例中，试验布局的数量是可变的，例如，响应于用户输入以缩短拼 贴生成时间(timeline)。同样，在具有减少的计算能力的一些实施 例中，比如数字照相机中，生成较少的试验布局布置来加速拼贴生成。在一个实施例中，在流程图700的730，为该多个试验布局布置 中的试验布局布置生成遮挡成本。该遮挡成本表示被该试验布局布置 遮挡的图像显著性以及观看区显著性。遮挡成本生成器615为该试验 布局布置生成遮挡成本。在一个实施例中，遮挡成本生成器为某个部 分(比如特定多个试验布局布置的百分之十或百分之百)计算遮挡成 本。遮挡成本生成器将显著性赋予在其中生成拼贴的观看区(比如观 看区300 )的内部区域。在一个实施例中，该〗见看区的显著是预定的， 而在另 一个实施例中，该观看区的显著经由用户输入通过遮挡成本生 成器615来控制。例如在一个实施例中，遮挡成本生成器615将统一 (uniform)的预定显著赋予观看区所包括的整个区域中的每个像素。 观看区显著性的精确像素值给出了拼贴重叠的侵略性的精确控制，以 及得到的效率。例如在一个实施例中，图像显著性图中的显著性从0(无显著性)到255 (最高显著性)之间变化，遮挡成本生成器615 可将观看区中的每个像素的显著性设置为值10 (低显著性)。将较高 的统一显著性赋予观看区中的像素将导致更具侵略性的重叠和覆盖 较少观看区的更有效的拼贴。类似地，将较低的统一显著性赋予观看 区中的像素将导致更不具侵略性的重叠和覆盖较多观看区的不那么 有效的拼贴。表1 (先前所示)示出了遮挡成本生成器615可用来生 成表示遮挡的图像显著性并且也表示遮挡的观看区显著性的遮挡成 本的等式。
遮挡成本是在特定布局中可见的部分(fractional)显著性的倒 数。表5示出了遮挡成本生成器615可用来生成在观看区中的特定试 验布局布置中可见的部分显著性的一个等式。部分显著性在零和一之 间变化，数目越大表示可见的显著性越多。基于该部分可见显著性的 计算，遮挡成本生成器615生成与由表1所示的等式计算的遮挡成本 一致的遮挡成本。
表5 —用于试验布局布置的部分可见显著性计算的示例等式
所有B像 背素
《
、.V
1>2
所有图像
Fs-在试验布局布置中的可见显著性的部分 S^可见像素的总和
St-在试验布局布置中所有可见像素的总和
表1和5所示的等式是示例性的，并且应当理解为试验布局布置 计算遮挡成本的其它计算也可使用，其中遮挡成本表示被试验布局布 置遮挡的图像显著性和观看区显著性。遮挡成本生成器615将为试验 布局布置生成的遮挡成本传递到图像添加器620。
在一个实施例中，在流程图700的740中，图像被添加到拼贴。 在一个实施例中，当图像被添加到拼贴时，该拼贴被更新以反映为其计算遮挡成本的其中一个试验布局布置。图像添加器620添加新的图 像到该拼贴。在一个实施例中，图像添加器620比较其为每个都接收 遮挡成本的每个试验布局布置的遮挡成本。基于该比较，图像添加器 620选择具有最低遮挡成本的试验布局布置。随后图像添加器620从 最低成本的试验布局布置中向该拼贴添加附加图像。该新图像(附加 图像)在该附加图像出现在最低成本的试验布局布置中的相同的z排 序位置和二维位置上^皮添加到该-汫贴。
在一个实施例中，在流程图700的750中，通过重复块720、 730 和740将要拼贴的多个图像的剩余图像加性地合并到该拼贴中，直到 来自该多个图像的所有图像都被依次添加到该拼贴中。
图10示出了根据本发明一个实施例创建的示例性拼贴800。图 10示出了从图3所示的该多个图像(305、 310、 315、 320、 325和330 ) 中加性地生成的示例性结果拼贴。每个图像通过先前所述的过程被转 换为图像分片。然后该图像分片被加性地拼贴到观看区300中。该拼 贴包括作为先前描述的图像分片的 一 部分的缩放旋转的图像3 0 5 A 、 310A、 315A、 320A、 325A和330A。注意在图10中，存在相当侵略性 的图像重叠。这是由于为观看区300的显著性设置了高值。选择较低 的观看区显著性值将会导致在观看区300周围间隔更宽的图像。选择 较小尺寸的观看区将导致在观看区300中围绕拼贴800的更少的空白 空间。
利用遮挡成本计算的迭代拼贴生成
图11示出了根据本发明一个实施例的迭代拼贴生成器220的框 图。如图所示，迭代拼贴生成器220由彼此耦合以允许根据需要交换 信息的初始布局生成器1105、布局调整器111G、遮挡成本生成器1115 和布局优化器1120组成。初始布局生成器1105被配置为接收例如以 图像分片510和51 OA为形式的图像数据和图像显著性数据作为输入。 布局优化器1120被配置为输出信息，比如通过迭代拼贴生成器220 从多个图像中生成的拼贴。应当理解迭代拼贴生成器220的单元可以 以完成同样动作的不同于所示配置的其它配置来耦合或布置。
在一个实施例中，初始布局生成器1105用于根据多个图像生成
22初始拼贴布局。在提供初始拼贴布局作为输入的一些实施例中，不使 用初始布局生成器105。在一个实施例中，布局调整器1110用于递增
地调整拼贴布局。在一个实施例中，遮挡成本生成器1115用于为拼
贴布局(比如递增调整的拼贴布局)计算遮挡成本。在一个实施例中，
布局优化器1120用于选择具有最低遮挡成本的递增调整的布局。迭 代拼贴生成器220的这些单元的进一步操作将结合图12的流程图 1200的适当单元以及图13、图14、图15、图16和图17中所示图像 来描述。
图12是根据本发明一个实施例的迭代地生成图像的拼贴的方法 的流程图1200。在一个实施例中，在流程图700中的1210,接收将 被拼贴到观看区中的多个图像的图像显著性数据。迭代拼贴生成器 220采用初始布局生成器1105来接收该图像显著性数据。在本发明的 一些实施例中，初始布局生成器1105接收包括图像数据的各种图像 信息，所述图像数据诸如图像位图、图像显著性数据和图像分片(比 如图像分片510和510A (图5 ))。
在一个实施例中，在流程图1200的1220中，在观看区中根据该 多个接收的图像生成初始拼贴布局。在一个实施例中，初始布局生成 器1105根据多个接收的图像分片(比如图像分片510或510A)通过 将该图像分片置于定义的观看区中而生成该初始拼贴布局。初始布局 生成器1105通过使用预定义或用户选择的宽高比和拼贴效率的值来 确定观看区的尺寸(其在整个迭代拼贴生成过程中保持恒定)。例如 在一个实施例中，响应于用户输入，初始布局生成器1105生成具有 宽高比为1.33: 1和效率为1.15的矩形观看区。这意味着生成的观 看区中所有拼贴的图像的总面积将比拼贴的总区域的面积大15%。
在一个实施例中，初始布局生成器1105根据图案、栅格或一些 其它结构化方式来安排诸如图像分片的图像。图3是根据图案生成的 多个图像(305、 310、 315、 320、 325和330 )的初始拼贴布局的示 例。初始布局生成器1105通过根据图案将图像置于观看区300中而 生成图13所示的初始拼贴布局。在另一个实施例中，初始布局生成 器将比如图像分片的图像以随机或伪随机的方式置于观看区中来产 生初始^f贴布局。
图13示出了根据本发明一个实施例的多个图像的初始拼贴布局的示例。在图13中，初始拼贴生成器1105具有在观看区300中随机 放置的图像305A、 310A、 315A、 320A、 325A和330A来生成这多个图 像的初始拼贴布局1300。如前所述，每个图像(305A、 310A、 315A、 320A、 325A和330A)是图像分片(比如分片510A)的一部分，并且 因此具有在拼贴生成过程中保持不变的预设的图像尺度和旋转。不管 作为迭代拼贴生成过程的一部分而施加到拼贴1 300上的图像x-y位 置或z排序有任何变化，该预设尺度和旋转都保持不变。
在一个实施例中，在流程图1200的1220中，初始拼贴布局被优 化。所述优化包括通过选择最小化的遮挡成本来迭代地调整初始布 局。在本发明的一个实施例中，继续该迭代调整和选择，直到为拼贴 布局达到预定效率。在本发明的一个实施例中，该迭代调整和选择一 直持续到达到预定数量的调整迭代，比如100次迭代。布局调整器 1110、遮挡成本生成器115和布局优化器1120合作来执行初始拼贴 布局的这种优化。表6示出了描述用于执行初始拼贴布局的迭代优化 的方法的示例伪代码结构。
表6:用于迭代地优化初始拼贴布局的伪代码结构
创建"预分数(pre-score)"和"后分数(pos t-score)"变量 创建初始布局
当(while)预分数大于后分数
优化Z-排序 使布局平坦化
将预分数设为等于布局分数 对于布局中的所有图像
使布局平坦化
对布局打分(无移动) 对于所有四个方向(下，上，左，右)
将图像移动设定距离
24使布局平坦化 对布局打分
选择具有最佳分数的布局 完成图像运动
使布局平坦化
将后分数设为等于布局分数 输出拼贴
在一个实施例中，遮挡成本生成器1115根据存在于所有分片中
的总显著性与在初始拼贴布局中可见的部分显著性的比率为初始拼 贴布局计算遮挡成本。该第二部分，即"在初始拼贴布局中可见的部 分显著性，，，从拼贴的"平坦化，，布局中计算。使拼贴布局平坦化可 被认为是在拼贴展现给观看者时对拼贴进行快照(snap shot)。然 而，快照是使用拼贴中每个图像的对应显著性图来表现的，而不是使 用每个图像的全色图像数据(例如关于分片510A的图像数据)，例 如使用图像分片510的显著性数据而不是图像分片510A的图像数据。 然后通过将快照中可见的显著性(Sv)累加起来来计算该平坦化拼贴 布局的显著性。
表7示出了被遮挡成本生成器1115用于计算拼贴布局的遮挡成 本的示例等式。随后该初始布局的遮挡成本被布局优化器1120保存 为"预分数，，。该预分数被用于估计将来的拼贴布局是比初始布局更 好还是更差。
表7 —用于在拼贴布局迭代中的部分可见显著性的计算的示例等
式rr* 所有分片 =='t-
其中
7"
所有分片
可见像素
以及
全部像素
如前所述，遮挡成本是拼贴布局中可见显著性的部分的倒数函
数。表7的等式中的相关变量是可见显著性Sv和总显著性ST。 St是在 所有图像上(比如图5的图像分片510和510A)加起来的总显著性。 在执行平坦化过程以后通过将所有图像分片上可见的总显著性加起 来为同一拼贴布局获得Sv。因为平坦化通常将导致在一些图像分片中 遮挡一些显著性，Sv通常比St小，并且对应的遮挡成本将小于一。
在遮挡成本生成器1115计算初始拼贴布局的遮挡成本"预分数" 之后，执行初始布局的z排序优化。在大多数通常情况下，这包括计 算z排序中的每个图像排列的遮挡成本。然而，为了减小计算复杂度 和/或计算时间，在一些实施例中，仅为z排序排列的子集计算遮挡 成本。
例如，在本发明的一个实施例中，计算布局遮挡成本，用于将图 像分片中的图像z排序在拼贴中该多个图像的所有其它图像之上或之 下。该z排序优化是简单的过程。布局调整器1110依次添加每个图 像(比如图像分片)到拼贴中两个位置之一在z排序顶部(在任何 其它图像前面)或在z排序底部(在任何其它图像下面)。然后遮挡 成本生成器1120以前述的方式为图像分片的每个位置计算遮挡成本。 布局优化器1120选择具有最低成本的布局作为图像分片的最优z排 序位置。然后基于计算的遮挡成本更新拼贴布局以反映最低的布局遮 挡成本。随后对于该拼贴中所述多个图像分片中的每个图像重复该z 排序、计算和更新。当已经用这种方式对所有图像分片排序时，z排 序完成。同样，在本发明的为观看区中z排序图像排列的更大集合来计算遮挡成本的实施例中，接着是类似的优化过程或Z排序、计算和 更新。
图14示出了根据本发明一个实施例的最小化拼贴布局的遮挡成
本的图像的示例性z排序。在图14中示出的拼贴布局1300的所有单 元与图13中所示的拼贴布局1 300是相同的，除了已经以消除在图13 中发生的图像显著性遮挡(图像305A的右边的人的下半部分)的方 式而将图像305A最优地z排序在图像330A之上。
在执行完z排序之后，遮挡成本生成器1115将拼贴布局平坦化， 并且确定该布局的遮挡成本。如表6中的伪代码所示，随后该z排序 布局的遮挡成本代替先前存储的预分数。
随后紧跟着类似的迭代过程来优化观看区中每个图像(比如图像 分片)的二维x-y位置并且选择具有最低的二维调整的布局遮挡成本 的拼贴布局。而且，布局调整器1110、遮挡成本生成器1115和布局 优化器1120合作以在二维上稍微轻推每个图像，并且迭代地从在每 次轻推操作之后计算的遮挡成本中选择每个图像的最优二维位置。在 一个实施例中，从原始位置向四个方向(上、下、左和右)稍稍轻推 每个图像分片。
例如，布局调整器IIO对于单个图像的x-y位置做出轻微调整。 随后遮挡成本生成器1115使调整的布局平坦化并且为该稍微二维调 整的布局计算遮挡成本。随后布局优化器1120将该稍微调整的布局 的遮挡成本与存储的布局的分数进行比较。如果调整的布局具有较小 的遮挡成本，布局优化器1120更新存储的布局来反映该调整的布局。 随后该更新的布局成为布局调整器做出下 一 个稍微轻推调整的操作 布局。迭代的轻推、平坦化、计算和更新一直持续直到所述多个拼贴 图像分片中的每个图像分片已经被最优地轻推。
图15示出了根据本发明一个实施例的示例图像的示例二维轻推 可能性。在图15中，图像分片510A再次被可见地显示在透明区域511 和图像305A周围。位置1501表示图像分片510A的左上角的原始位 置。位置1 502 、 1503、 1504和1505表示图像调整器1110可在轻推 过程中轻推图像分片510A的微小距离。例如在一个实施例中，位置 1502在原始位置1501之上的微小距离1520，比如十个像素。接着该 示例，位置1503在原始位置1501的右边十个像素的孩i小距离1522;位置1504在原始位置1501的下面十个像素的微小距离1521;以及位 置1505在原始位置1501的左边十个像素的微小距离1523。遮挡成本 生成器1115为原始位置和每个可能的轻推位置1502、 1503、 1504和 1505来生成遮挡成本。布局优化器1120执行比较并且选择表示最低 遮挡成本的轻推位置。应当理解在一些实施例中，布局可在比图15 所示的更少方向或更多方向或者更大或更小距离来轻推。
图16示出了根据本发明一个实施例的最小化拼贴布局的遮挡成 本的示例图像轻推。图16所示的拼贴1 300的所有单元与图14所示 的拼贴布局1 300都相同，除了图像305A被轻推到稍稍位于在图像分 片330A之上的其先前位置的左边的二维位置。
在一个实施例中，上述的z排序和轻推的选择性调整操作被重复 直到迭代选择的拼贴达到了预定或最优的遮挡成本。在另 一 个实施例 中，上述z排序和轻推的选择性调整操作被重复直到达到预定数量的 这种调整迭代。这种迭代的预定数量的一个示例是100。这对于限制 花费在迭代地生成拼贴上的时间量和/或计算资源是有用的。在用户 选择的拼贴效率等级对于特定多个图像不可实现的情况下，这作为故 障保护(failsafe)退出标准也是有用的。在另一个实施例中，z排 序和轻推的选择性调整操作持续，直到在任何方向轻推图像或改变任 何图像的z排序位置，总的遮挡成本不能被进一步降低。
图17示出了根据本发明一个实施例创建的示例拼贴。图17示出 了从图3所示的该多个图像(305、 310、 315、 320、 325和330 )中 迭代地生成的示例结果拼贴。图17所示的拼贴是上述的z排序和轻 推的选择性调整操作的多次迭代的结果。通过先前描述的过程将每个 图像转换为图像分片。图像分片随后被迭代地拼贴到观看区300中。 该拼贴包括作为先前描述的图像分片的 一部分的缩放旋转的图像 305A、 310A、 315A、 320A、 325A和330A。注意在图17中，存在相当 侵略性的图像重叠。这是由于为拼贴1 300的迭代生成设置的高效率。 选择较低的效率将会导致图像被较少侵略性地重叠并且在观看区300 周围更宽地间隔。
28
权利要求
1. 一种加性地生成图像的拼贴的计算机实施方法700，所述方法包括种植710第一图像到观看区中来开始所述拼贴；提供720多个试验布局布置，其中附加图像被添加到所述拼贴；为所述多个试验布局布置中的试验布局布置生成730遮挡成本，其中所述遮挡成本表示被所述试验布置遮挡的观看区显著性和遮挡的图像显著性；以及添加740图像到所述拼贴，其中所述拼贴被更新以反映为其生成所述遮挡成本的所述试验布局布置之一。
2. 如权利要求1所述的计算机实施方法700,进一步包括 将所述多个图像顺序地合并750到所述拼贴中，其中所述合并包括重复所述提供、所述生成以及所述添加直到所述多个图像被合并到 所述拼贴中。
3. 如权利要求1所述的计算机实施方法700,其中所述种植710第 一图像到观看区中来开始所述拼贴包括种植第 一 图像到观看区中来开始所述拼贴，其中所述观看区具有 预定面积。
4. 如权利要求3所述的计算机实施方法700,其中所述种植710第 一图像到观看区中来开始所述拼贴，其中所述观看区具有预定面积进 一步包括种植第 一 图像到观看区中来开始所述拼贴，其中所述观看区具有 与被拼贴的图像的组合图像面积成t匕例地自动缩放的预定面积。
5. 如权利要求1所述的计算机实施方法700，其中所述种植710第 一图像到观看区中来开始所述拼贴包括种植第 一 图像到观看区中来开始所述拼贴，其中所述第 一 图像被 种植到所述观看区的中心位置。
6. 如权利要求1所述的计算机实施方法700,其中所述提供720多 个试验布局布置，其中附加图像被添加到所述拼贴包括生成多个试验布局，所述试验布局包括所述观看区内的所述附加 图像的多个二维位置，其中所述附加图像被z排序在所述拼贴之上； 以及生成多个试验布局，所述试验布局包括所述观看区内的所述附加 图像的多个二维位置，其中所述附加图像被Z排序在所述拼贴之下。
7. 如权利要求l所述的计算机实施方法，其中所述为试验布局布置生成7 30遮挡成本进一步包括4巴统一的显著性赋予所述观看区；以及为所述多个试验布局布置的每个生成所述遮挡成本。
8. 如权利要求1所述的计算机实施方法700,其中所述添加740图所述试验布局布置之一，包括添加图像到所述拼贴，其中所述拼贴被更新以反映为其生成所述 遮挡成本的所述试验布局布置中的最低遮挡成本的布局布置。
9. 一种迭代地生成图像的拼贴的计算机实施方法1200,所述方法 包括接收l210多个图像的图像显著性数据，所述多个图像要被拼贴到 观看区中；在所述观看区内生成122 0所述多个图像的初始拼贴布局；以及 优化12 30所述初始拼贴布局，其中所述优化包括通过选择最小化 的布局遮挡成本来迭代地调整所述初始布局。
10. 如权利要求9所述的计算机实施方法1200，其中所述优化1230 所述初始拼贴布局，其中所述优化包括通过选择最小化的布局遮挡成 本来迭代地调整所述初始布局进一步包括从多个z排序的布局中选择最低z排序布局遮挡成本；以及 从多个二维调整的布局中选择最低的二维调整的布局遮挡成本。
全文摘要
在一种创建图像拼贴的计算机实施方法700中，第一图像被种植710到观看区来开始该拼贴。提供多个试验布局布置720，附加图像添加到所述拼贴。为试验布局布置生成730遮挡成本。该遮挡成本表示试验布置遮挡的图像的显著性以及遮挡的观看区显著性。通过更新拼贴来反映为其生成遮挡成本的试验布局布置之一，从而将图像添加740到该拼贴。
文档编号G06T11/60GK101536038SQ200780024677
公开日2009年9月16日 申请日期2007年4月20日 优先权日2006年4月28日
发明者S·维道森 申请人:惠普开发有限公司