专利名称：动态照片拼贴的制作方法
技术领域：
本发明涉及数字图象显示领域，并且更尤其涉及一种用于显示动
态照片拼贴(collage)的系统，其中用户定义的输入被用于根据各种 标准来对一组或者多组数字照片区分优先次序并且分类，用于在观察 装置上成比例显示。
背景技术：
照相对人们来说，是用于分享经历、与其他人表达和互通经历、 以及记住并且在以后的日子中再次使人想起经历的非常普及的方法， 随着数字摄像术的进展，也扩大了提高这种乐趣的机会.例如，结合 有数字相机的移动电话允许小型带盒(compact carriage)并且还易 于几乎瞬间地传送数字图象。图象编辑器和其他软件工具使用户能够 以各种方式修改图片，例如将摄影师添加到景象中、改变阴影或者色 调、用于开玩笑的形态表情(morph face)等，以及结合图片、整合 各个镜头以形成全景，以及形成拼贴。
除了以传统的相纸打印方式观看照片之外，通常还可以将数字照 片存储在CD-ROM或者其他可记录介质中，并且使用家庭计算机观看。 目前还已知照片的其他电子显示。例如，数字相机自身可以用作显示 装置，例如被围绕餐桌传递来显示刚刚或者最近拍摄的照片。
数字图象显示的一种形式为照片拼贴。拼贴可以与某一特定的事 件、象假期、婚礼或者周年纪念有关。因此，可以从事件中拍摄的一 组照片中选择最吸引人的、值得纪念的、典型的或有趣味的照片并且 艺术性地集中在单个框中，从而放置在框中或者挂在墙上。
可以使用已知的图象编辑器(例如Photoshop )数字生成拼贴。 然而，这些解决方案在感观上是静态的，即一旦拼贴已经产生或被编 辑，它就固定了。还已知相框形式设计成的数字显示。这种框是有用 的，因为它们可以自动重新载入，这考虑到了图象的动态显示。这种 动态框在由Kodak的Bandaru等人的题目为"使用数字媒体框分享图 象的方法和系统"的号为6, 535, 228的美国专利中被描述了 ( 一般称为数字媒体框，或者"DMF")。
还可以使用已知的软件工具从CD-ROM或者计算机的硬盘驱动器 中提供数字照片的动态显示。可以选择一系列的数字照片并且每张照 片显示的时间可以为不连续的量，以不变的速度在整个照片中循环。 然而，这些显示方法并不能解决以如下方式显示照片表现出观看者 对每个单独照片的特定相关兴趣。虽然给定套或组的所有照片对于观 看者来说可能是一般的兴趣，但是每张照片几乎毫无疑问地会由观看 者产生不同程度的个别兴趣，这种个别程度的兴趣在本质上是时间上 的(例如，与比较老的照片相比，越新近的照片，兴趣就越大)，或 者它可以基于特定的新近事件(例如，最近的婚礼、毕业等).此外， 由于照片在质量(焦距或者曝光)和组成(每个人展现出不同的笑容) 上通常是不同的，所以这种性质同样会表现出观看者一张接一张地看 照片的整体需求.而且，在指定套或者组照片中通常存在多张相同或 者相似动作的照片，并且虽然所有的照片可能都是非常感兴趣的并且 是高质量的，但是观看者仍然会希望跳过它们中的一些。相反地，在 该组或者套中存在数量相对少的特定动作或者位置的图象的地方，即 使质量差或者具有其他问题的图片仍然被会优先显示。
发明内容
因此，需要一种能够从数字照片集中显示动态照片拼贴的照片显 示系统，其中根据各个照片的用户选择的优先次序，可以改变拼贴的 外观。
公开一种用于提供动态照片拼贴的方法，所述方法包括如下步 骤接受一组数字图象；对该组数字图象中的至少笫一和第二图象指 定等级；以及在显示装置上显示这些图象时，使用指定给第一和第二 图象的等级，来控制该图象相对彼此的显示属性，
公开一种用于提供数字照片集的方法，所述方法包括如下步骤 获得多个数字图象；获得用户为多个数字图象中的每个图象划分的等 级；以及在显示装置上显示这些数字图象中的至少两个图象；其中， 所述两个图象在显示装置上具有基于用户对图象划分的等级的显示尺 寸、显示时间或者显示位置。
一种用于显示照片拼贴的方法，包括如下步骤对存储介质中存 储的多个数字图象指定等级，用户选择等级是基于所述多个数字图象
中的每个数字图象的内容或者质量；给每个图象指定显示时间或者显 示尺寸标识符，所述标识符基于用户选择的等级；以及在显示装置上 显示所述多个数字图象中的至少一部分图象；其中根据用户选择的等 级，每个图象显示一段时间。
结合附图，在下面本发明的优选实施方案的详细说明中将更加完 整地公开本发明的这些和其他特征以及优点，附图中相同的附图标记 表示相同的部分，其中
图l是根据本发明的生成动态照片拼贴的系统的逻辑视图； 图2是示出图1的动态照片拼贴的铺瓦片的竖框(tiling stile) 的示例布局；
图3是图1中生成动态照片拼贴的系统的历史记录和显示计划； 图4是与图1中系统一起使用的选择规则的采样列表.
具体实施例方式
公开了一种数字图象拼贴系统，其中图象集中每个图象的更新时 间和显现形式都是可控制的并且可以根据用户对每张照片输入的优选 级(preference)而定。因此，对于非常喜欢的图象来说，该图象持 续的时间和出现的频率比不太喜欢的图象大。同样，非常喜欢的图象 的布局和风格可以与不太喜欢的图象不同。根据相对的图象质量和任 何拍摄的动作的唯一性，每个图象的显示动态还可以取决于图象相对 于图象集中其他图象的固有特性。例如，与质量较差的图象或者内容 不太令人满意的图象相比，吸引人的高质量图象可以在显示装置上显 示较长的时间，或者可以永久显示。用户可以控制该系统的显示动态。
需要注意，虽然本发明一般地相对于其在数字照片集方面的应用 而进行的描述，但是它可以广泛地应用于数字"图象"的显示.在使 用数字照片的情况下，数字照相机可以捕获照片。图象可以具有任何 已知的格式，例如JPEG、 TIFF、 GIF、 BMP、 PCX等。图象可以可选择 地是视频序列，例如MPEG或其任何变形。
参考图1,其图示说明了一种用于控制一组数字照片在显示装置 上的显示的系统1，其中该组中的各个照片可以显示不同的时间长度， 并且占据显示屏的相对比例还可以不同，这取决于用户输入的优选级 不同以及每张照片内在特性的不同。
照相机200可以与处理器100通信，处理器IOO可以与个人电脑 IOOO或者其他电子装置相关联。用户或者观看者可以通过与电子装置 相关联的用户界面对处理器100进行控制。处理器100可以运行以指
示照相机将一个或者多个照片或者视频序列传输到与处理器相关联的 数据存储装置中。在图1的实施方案中，照相机可以由处理器指示，
通过硬线连接(例如，USB、并联或者串联端口 )或者无线连接，将照 片或者视频序列传输到数字图象集2中。虽然所述系统描述为和个人 电脑PC-1000 —起使用，但是也可以使用其他合适的电子装置，因此， 例如，处理器IOO可以是显示装置10的一部分，或者甚至可以是照相 机的一部分。处理器100可以具有与其相关联的一个或者多个存储部 件200，用于存储对于处理器的运行指令。在一个实施方案中，存储器 200可以是RAM，但是也可以使用任何其他合适的存储器类型。正如所 理解的那样，当考虑到图1时，矩形单元表示将要在用户的计算机的 处理器上逻辑"运行"的任务和/或者进程。圆柱形单元表示将要逻辑 地存在于用户计算机上(例如在其硬盘上)的数据存储。应当理解， 任务和/或进程和数据还可以存在于远程计算机、服务器等上，并且可 以是对于具有适当连通性的硬件和软件的用户计算机是可访问的。分 析/分类/集成一簇方框(图1中示为与元数据数据库4和本体 (ontology) 6相关联)也是一个进程任务，但是典型地它将脱机"运 行"(即在其他进程(矩形单元)之前或者与其他进程(矩形单元) 异步)。"显示说明"20是逻辑文档，其典型地将被存储在用户计算 机的RAM中，
处理器100可以运行以将数字图象集2的显示指向使用数字显示 装置10的观看者，例如计算机屏幕、蜂窝式电话的视频屏幕、个人数 字助理、或者专用的数码相框的显示屏。图象集2也可以是闭集图象
(a closed set of images)(例如在已经在前一时刻点被下载的保 存在用户计算机硬盘驱动器(HD)上的一套或者一组图象)。可替换 地，所述图象集可以是开放式(open-ended)的，例如可以通过链接或 者与因特网的链接从远程计算机或者服务器访问的一套或者一组图 象。图象集2可以存储在用户计算机的硬盘驱动器、随机访问存储器
(RAM)、闪存、可移动介质、或者其他存储介质上。可替换地，图象 集可以存储在这样的介质组合中，或者存储在通过网络获得访问的另
一台计算机上。
图象集2中的图象可以和与这些图象有关的信息的单独数据库相 关联。在一个实施方案中，设置元数据数据库4并且保持关于图象集2 中的至少部分图象的信息。可以设置本体6，其将元数据数据库4中的 相对低级别的特征与更多用户定向的或者更高级别的概念联系起来. 例如，存在论6可以描述形成簇的类别，这些簇根据所述图像的元数 据特性中的相似性将图象集中的各种图象联系在一起。还可以设置记 录(logging )数据库8来保持与照片集相关的显示事件的历史。可以 设置浏览生成模块12，其响应用户关于数字照片显示的命令并且使用 从元数据数据库4、存在论6和记录数据库8中获得的信息以组合成照 片拼贴。
浏览生成模块12可以由一套选择规则14控制，该选择规则是用 户可选择的或者可操作的以改变显示的特性，例如，赋予来自某一事 件或者某一时间段的图象以优先级。
根据选择规则14，控制程序可以指示取指令程序(fetch routine) 16以取出照片集2中满足所需标准的照片，从而取出的照 片可以以相对次序在显示装置IO上显示。选择可以基于与每张照片相 关联的元数据4 ，并且还可以基于存在论6或者记录数据库8所提供 的信息。
风格模块18可以用于为取出的图象选择所需要的显示层次。例 如，可以选出多张照片用于同时显示，非常喜欢的图象放置在显示器 的中间，不太喜欢的图象排列在显示器的外围。显示循环(display loop) 20可以以所选定的周期速率改变显示的图象。
应当理解，图1中的说明实际上仅仅是代表性的，因此它示出了 各个模块相互连接的一种可行方案。此外，图中表示为单个模块的在 实践中可以包含多个不同的模块。因而，例如元数据4不需要是物理 上可识别的离散实体，而是可以简单地是包含在多个不同的逻辑和物 理位置中的元数据的代表。
再次参考图l，元数据数据库4可以包含用于每个图象的不同数量 的元数据。所述元数据按照照片的特性对照片进行描述，例如产生图 象的日期和时间以及产生图象的地点。语义上更有意义的数据保存在 本体6中。例如，当元数据数据库4可以用于存储关于图象的属性信
息(例如用于拍摄数字照片图象的位置的GPS坐标)，本体6可以提 供GPS坐标和地球上的地方(例如城市名称、山顶、岛屿岸线等)之 间的关系。
元数据数据库4还可以具有等级级别表，该表针对于显示优选级 对存储的图象分等级。该等级级别表可以由数字照片拼贴的用户创 建，或者它可以根据缺省方案(即运算法则)得出。例如可以根据质 量、色彩的浓烈、可辨认的面容数等，对照片指定可信度(credits )。 可以为每个图象提供多个不同的等级级别，从而允许不同的用户根据 其自身的个人喜好分别把图象集中的图象区分出优先次序。
数据库4中的元数据可以由用来"拍摄"数字图象的照相机产生。 例如对于具有日期-时间和GPS坐标性能的照相机来说，当产生图象时 (即"拍摄"数字照片时)，关于这些特性的元数据可以与图象相关 联。利用分析原始图象编码的特征提取机制，元数据还可以添加到各 个照片中。例如，可以使用面容辨认算法提取照片中的人名，并且将 关于那个人的元数据和包含那个人的肖像(likeness)的图象联系起 来。在这种情况下本体6(在下面更详细描述)可以用于将家庭成员(例 如父母、孩子、伯父)的图象联系起来.元数据还可以由一个或者多 个用户人工地被添加(即被加注释)到数据库4中。这种人工添加(例 如添加时间/日期/地点/事件)可以在拍摄照片的过程中发生，或者可 以在后来输入，例如在将图象转移到集数据库2的过程中或者之后。 可以为每张照片存储种类繁多的元数据信息，如本领域普通技术人员 所理解的那样，因此，例如，技术数据如照相机类型、透镜类型、焦 距等可以被存储。此外，可以使用时间标记作为元数据，并且事件如 圣诞节、假日可以被本体存储或者以其他方式提供给本体并且由本体 处理，然后可以通过它们具有特征的特殊日期链接某些照片。作为另 外的例子，本体6可以使用元数据来链接"家庭照片"，或者"专业/ 业余爱好"(在照相机或者透镜类型的情况下)分组等。
正如提到的，可以提供本体6来帮助用户自动地将照片分組并且 内部相关联成不同的子组或者子集。例如，本体6可以提供有家体成 员、假日、拍摄照片的地点等之间的一系列关系。可以定义内部标记， 并且可以提示用户人工地注释每张照片，从而同样适当地将照片与一 个标记或者多个标记联系起来。可以以相似的方式定义子标记，例如
"圣诞节前夕"可以是"冬季假日"的子标记。结果是本体6可以被 编程有多种不同的标记和子标记类别，并且因此可以被用来基于多种 用户输入和先前定义的信息，将照片彼此相关联。
因此，在一个例子中，在定义标记"孩子"并且用那个标记对图 象进行注释之后，然后本体6会提示用户标识"哪个孩子？，，，于是 本体可以提供一个建议的名字的列表(其由用户事先载入的)或者它 可以允许用户响应提示输入新名字或者名字列表。这种提示可以为可 以与每张照片相关联的多种属性中的任何一个而提供。此外，当想要 减少在评定等级级别和分类过程期间所需的用户输入总量时，系统可 以允许用户限制提示的数目和类型。
本体6能够从用户最初提供的或者随着时间而提供的信息中学 习。例如，当用户将标记"假日"与特定图象相关联时，本体可以创 建特定标记和通过数字照相机与图象相关联的日期-时间编码之间的 内部关系。因而，本体6可以自动地将标记"圣诞节"或者"光明节" 与用户定义的十二月部分期间产生的图象相关联。正如所理解的，内 在地或者外在地归因于每个图象的标记和基础元数据之间的其他可学 会的联系也是可能的。
除了用户提供的和算法产生的图象之间的联系之外，还可以分析 图象的固有本性，从而提供另外的等级划分或者分组。例如，可以使 用合适的技术来分析图象质量并且指定相对值，用于以后在选择用于 显示的图象的时候使用。可以分析这些图象的这样的质量特征，例如 焦距(使用边缘检测方法)、明、暗、曝光不足、过度曝光等。这种 分析可以自动进行而不需要用户参与。可替换地，可以允许用户人工 地输入关于照片质量的信息而不顾自动分等级(在被使用的地方)， 使得具有优选质量的图象(例如，艺术上表现的有意模糊的图象等) 仍然可以提供有相对高的等级。这种信息可以存储在本体6中或者以 其他方式施加在本体6中。
另外，可以将数据挖掘技术应用到这些图象(再者，以最小的另 外的用户动作)中，从而将图象"聚集一簇"成本体6中定义的种类。 例如，具有相似或者相同日期-时间元数据的图象或者具有相同或者相 似组的人(例如，通过已知的面容辨认技术所产生的)的图象可以成 聚集成一簇。这样有助于简化分类和分组过程，从而限制了用户所需
的输入总量。例如， 一旦用户已用标记"假日"人工地注释了一个或 者多个照片，在相同时间帧中拍摄的所有其它图像可以被类似地分 类。同样， 一旦用户已人工地注释了与特定地理位置或者旅行事件(例
如"埃特纳山")相对应的一个或者多个照片，那么具有相似GPS坐 标的所有其他图象可以被分类在一起，而不需要另外的用户行为。因 而，通过评估与那些照片相关联的元数据，本体6可以用于内部联系 起来的照片，并且不需要分配或者改变所述元数据。同样地，可以创 建、再次创建、添加或者改变几乎无限多种类的关联，而不会影响建 立该关联的基础数据。
还可以提供记录数据库8来聚集显示装置已经显示了什么照片的 历史记录。在基础级别上，数据库8可以存储关于已经显示了哪些照 片的信息连同这个显示或者这些显示的日期和时间。还可以存储对于 每个图象的相对显示时间和显示尺寸。记录数据库8还可以存储关于 显示装置的显示历史的多种其他信息，例如已经显示了什么特殊组的 照片(任选地还与时间和日期相关联)，以及用于个别观看者或者用 户的特定历史浏览。记录数据库8还可以存储关于用户与显示交互的 信息以及这种交互发生的时间.例如，用户可以评价一张照片为喜欢、 对一特定照片或照片组指定为不喜欢，或者可以对显示设置进行一些 其他修改。
本领域普通技术人员应当理解，记录数据库8中收集的信息本身 可以用于扩展新的照片组或者照片集，例如标记"喜欢"、"最近显 示过"等的一组图象。这种信息还可以提供给本体6，从而扩展这样的 新组、集或者扩展新的图像"关系"。
处理器100可以控制各种可以用于产生所需数字图象显示的特殊 进程模块。 一套图象选择规则包含在选择规则数据库14中。这些规则 用于控制拼贴显示的动态。在一个实施方案中，这些规则是"if then" 格式，但是合适的时候可以使用其他表示。通常地，选择规则可以表 现为一套约束条件或者表现为各个图象的评定。这些选择规则可以设 置成与不同情境(context)或者事件相对应的不同集合和组。"情境" 的例子可以是特定用户，因而，在选择规则内，每个用户可以具有他 或她自己的"情境"，其能够根据各个用户的偏爱，对照片的显示(以 及它们的显示特性)能够个性化选择。然后每个用户可以在数据库14
中具有他或她自己的一套用户化的选择规则。当用户"登录"系统时， 或者在某些其他个性化指示提供给处理器时，为了根据那个用户的偏
爱显示照片，处理器可以从数据库14中拖出与那个用户相关的选择规 则。情境还可以这些规则本身的一部分，其允许用户将情景混合在规 则定义中。下面是情境面向选择规则的例子
如果[当前内容-=]聚会，那么显示彩色图象；或者
如果[当前-用户==]乔纳森，那么包括用于玛格丽特的规则
图4中示出了可以存在于选择规则数据库14中的示例性选择规则
的清单。
系统1可以使用"获得下一张，，处理模块22读取选择规则14，从 而从照片集2中选择用于显示的下一张照片。"获得下一张"模块22 还使用选择规则来确定下一张照片的显现或者显示风格(即它的尺 寸、方位等)。将下一张照片的这个身份(即它的照片ID)以及显示 风格发送给"取出，，处理模块16，"取出"处理模块16从照片集数据 库2中"读取"该照片并且将其发送给显示说明模块20中的列表或者 队列，在显示说明模块20中它可以用于代替过期的(即先前的)照片。 然后将新(下一张)照片发送给显示器IO用于向观看者显现。虽然逻 辑上该显示载入一个完整的新说明，但在实践中只有改变的部分真正 需要被再现。显示器的这些组成图象被"示出"，然后"终止，，，以 被其他图象取代。这种取代可以引起显示的一个图象或者多个图象的 重组，这取决于所应用的规则。正如理解的那样，根据严格的或者固 定的次序，取代不一定发生，也不是完全随机的，更确切地说，是根 据照片集2中照片的元数据之间的关系，并且特别是"取代"和"被 取代，，的照片之间的关系。这些关系可以包括等价的/相似的照片的种 类/簇，如前面所讨论的。图1中的模块说明并且表示为实施这个进程 所进行的主要任务。
浏览产生模块12作为中间处理模块运行，其使用本体6提供关于 在执行选择规则14时适于由获得下一张模块使用的元数据和记录数据 的浏览。本体6和浏览产生模块12能够使这些规则按照所需要的显示 动态被表示。例如，两个选择规则可以是
如果过期的图象是来自假日，那么从在巴黎的假日中选择下一个
如果过期的图象是来自在巴黎的假日，那么从不在巴黎的假日中
选择下一个
该规则使用高级说明，并且当浏览产生模块12处理这些规则时， 必须评价前提是否正确。数据库4提供低级元数据(例如GPS和时间 标记值)。本体6提供所需的信息，从而确定给定的低级值是否满足 前提中的高级说明(例如，给定的GPS和时间标记值是否在"假日集 合，，或者"在巴黎假日"集合中)。在上述情况下，两个规则对于两 个前提评价为正确的情况来说应当是相矛盾的。在一个实施方案中， 本体6会通过识别"在巴黎的假日"是"假日"的子集，因而识别更 具体的概念，来帮助解决这种矛盾.矛盾消解可以适当地把更具体的 规则区分优先次序。
当显示器10启动时，最初示出照片集2中一张或者多张最希望的 或者最喜欢的照片。可以以连续的方式示出多张照片，通常以愿望想 要的降序方式示出.可替换地，可以一次示出多于一张的照片，每张 照片占用空间不到少于总屏幕空间的全部百分比.照片同样可以重 叠，比较多张喜欢的照片在顶部显示并且而不太喜欢的照片在底部显 示。这种安排或者"构成"可以被限定在描述照片、它们的布局、它 们各自显示的持续的时间以及它们的风格的逻辑文档中(例如，显示 说明模块20中)，显示说明20应当可以最初存储在用户计算机上， 然而，运行版译本将被应当存储在RAM中，并且当图象到期和被替代 终止时将被连续地可以继续修改和被替代。所述说明是逻辑的，因此 例如风格模块18能够保持图象列表和它们在屏幕上的位置的表格，并 且能够用下一个构成直接更新显示器10。在这个设置中在写入18和读 取10之间不存在"文档".除了所述构成以外，每张照片的风格都可 以控制，包括例如色彩的浓烈/灰暗、亮度等.典型地，该构成要确保 喜欢的一张或者多张照片与不太喜欢的照片相比，会在前景中显示， 会占用屏幕相对大的部分，并且要在屏幕上停留较长的时段。正如所提到的，可以实施非常多样的构成风格。例如，照片可以 部分地重叠，比较喜欢的照片在顶上，不太喜欢的照片在底下。还可 以以图2中说明的方式提供瓦片平铺(tiling)布局。在图2实施方 案中，可以一次显示多张照片1， 2，每张照片具有特定尺寸和定向(即， 风景、人像等)。此外，比较喜欢的照片占用屏幕的部分可以比不太 喜欢的照片相对大些。不同构成类型的组合也是可能的，例如象重叠
和平铺的组合那样，与其他布局一样本领域技术人员都能理解。
影响构成风格和持续时间的值可以存储在元数据数据库4中的单 独列表中，并且以与用于获得对于每张照片或者照片组的等级级别的 类似的方式得出。用户可以改变该存储的值，或者可以实施只用于那 个用户的单独定制的一组值。(应当注意，除了改变特性值之外，用 户还可以改变这些规则而实现相似的结果)。
选择规则14控制拼贴的动态特性，并且"获得下一张"处理模块 22利用这些规则14选择下一张照片以及它的显示方式(即，照片将被 显示的风格)。将与下一张照片相关的识别信息发送给取出处理模块 16，然后将该照片(逻辑地)添加到显示说明20中。当文档中给定照 片的显示持续时间到期时，对于待显示的下一张照片，获得下一张处 理模块22向显示说明模块20发出呼叫(call )。显示说明模块20是 表示在显示器上的什么地方将显示什么图象的逻辑文档.风格模块18 写入所述文档20并且显示模块10从其中读取.因而，可以把它看作 起到风格模块18和显示模块IO之间的接口作用.然后将修改的说明 (即，新照片)发送给显示器10。逻辑地，显示器10将载入一个完整 的新图象说明(即，新照片)用于显示，在可替换的实施方案中，仅 仅再现显示器中的改变。因而，对同时示出多张照片的照片拼贴来说， 仅仅需要再现变化的照片信息.
应当注意，用户可以通过与显示装置交互，对于下一张照片人工 地输入"获得下一张"呼叫。为了在显示器上保持照片的时间比在这 些规则下会出现的时间长，用户还可以对于要终止的照片不考虑或者 抑制"获取下一张"呼叫.除了人工地改变所选照片的显示持续时间， 用户还可以在显示器中四处移动照片，例如象小瓦片到大瓦片那样改 变它的位置(例如，从图2中的数"1"到数"2").
如前提到的，图4中包含了各种选择规则的例子。虽然这些例子 建议包括标准的如果、那么形式的格式，但是也可以使用其他的表示。 例如，这些规则可以表现为一套约束条件，或者表现为对照片和它们 可能的显示说明等的评价功能。例如，采用图4中的第一种规则
如果图象被分等级为喜欢，那么在顶上显示
约束条件'.VI， j:(等级(照片[i])-等级(照片[j]))(顶 部(照片[i])-顶部(照片[j] ) ) > 0
功能顶部(照片[i])=等级(照片[i] ) /最大_等级 此外，不同类型的规则的组合也可以被想到并且可以被使用。 在可替换的实施方案中，用户可以扩展并且存储一个或者多个预 选的演示列表(play list)。这种演示列表可以存储在用户计算机的 硬盘中作为一连串的显示说明文档，或者当组合到一起成为单个文档 时，可以是动态显示说明文档。提供这种预选列表的好处就是它们可 以是单独基于用户对不连续照片的人工选择，并且不会基于任何元数 据或者本体的等级级别标准.可以预先构建并且存储各种不同的预选 演示列表，使得单个用户可以由他或她自由支配而具有一个以上的演 示列表。同样，多个用户每个均可以具有他们自己的演示列表.
图3中提供了另外一个可替换的实施方案的说明，其中系统保持 每张显示过的照片的频率统计和显现持续时间(例如，显示间隔的开 始时间和结束时间)的日志，然后根据那个历史重新显示它们.这种 历史可以保持在记录数据库8中，并且可以使用统计建模技术概括， 在Vincentus Buil的题目为"项目的选择"的目前待审批的PCT申 请W002/095611中描述了一种这样的统计建模技术，在此结合其全部 内容作为参考，其中实施了多媒体内容的受欢迎性和新近性(新鲜 性)。这种技术通过引入额外的称作"厌腻"的要素而被扩展。"受 欢迎的"照片是那些比其他照片显示频率高的照片。"新近的"照片 是那些比其他照片更新近显示的照片。"厌腻的"照片是那些比其他 照片显示时间长的照片.为此，让M表示照片集中照片的数量。
对照片i的受欢迎性的测量可以看作是Pi，其中尸=》，并且其
中iii表示照片i已被显示的次数。简而言之，就是照片i已被显示的 次数相对于所有照片已被显示过的总次数的比例(从0到1表示)。 必须对极限条件(例如，ni-O)给予特别的关注。 对照片i的新近性的测量可以看作是Ri,其中
<formula>formula see original document page 17</formula>
，其中t现在表示当前系统时间，并且其中eij
表示照片i的第j个显示间隔的结束时间。筒而言之，就是从照片i 的最近的显示开始流逝的时间和所有其他显示间隔之间的时段平均值
之间的比率。为了使其为一个成比例的数，用计算出来的最大值除Ri。
对照片i的厌腻Si的测量是 ，其中bij表示照片i
的第j个显示间隔的开始时间。简而言之，Sij就是照片i的总显示持 续时间相对于组合的所有照片的总显示持续时间的百分比的反比例
三个测量结果的对数的凸组合为
M = ^ 1og(《)十mvlog(代)十ws log(&)，其中wp + wr +气=1是权重并且保持 相等(即，所有的权重都在0到l之间并且合计等于1)，目的是为了 简单。通过线性转换，Ui可以转换成合计等于1的机率值(chance
value) ， .然后通过以如下方式随机采样下一张要显示的
照片来使用这些机率值Ci:显示频率最少的、最不新近的并且最厌腻
的照片最有可能是要显示的下一张照片。
在这个实施方案中，产生了显示"缝隙"("slot")并且存储 在用户计算机的硬盘中。这些"缝隙"是数学表达的一部分，因而它 们可以是不同的持续时间。可替换地，它们可以是相同的持续时间并 且单张照片可以填充几个连续的缝隙。然后根据刚刚描述过的分析， 系统处理器计算这些照片以填充接下来的"缝隙"。代替之前描述的 基于规则的显示系统，可以对在给定的显示频率和显示持续时间约束 条件内对适配的照片的属性值对进行局部查找。然后识别相匹配的照 片作为候选缝隙填充物。出于推断目的，照片具有(元数据的)属性 值对，例如由本体可能支持的事件、地点、人物和图片质量。代替规 则，将照片将要被显示的时间和内容的愿望编码成约束条件，这些约 束条件是为必须被满足的缝隙而定义的属性(predicate)。例如，可
2")
以使用基数约束条件规定允许或者需要多少次将具有特定本质(即具 有特定属性值对)的照片指定给一个缝隙。 一个约束条件可以规定需
要将"圣诞节"照片指定给50 - 70%的缝隙。应当理解，也可以使用其 他约束条件定义照片在连续缝隙中的指定。 一连串的二进制约束条件 可以规定多对连续的缝隙被指定具有特定属性值对的照片。例如，涉 及"假期"的照片的显示应当一个跟一个。同样地，可以声明什么样 的照片不应当指定给缝隙，或者在整个缝隙中的照片的差异度。应当 理解，因为各个约束条件之间的矛盾，很难同时满足所有这些约束条 件。 一种解决方法就是将约束条件转换成分段线性罚函数，这些函数 表示约束条件以成比例的方式被损坏的程度。例如，用于涉及^个缝
隙的基数约束条件的一个示例性罚函数可以表示为
0<formula>formula see original document page 19</formula>(例如"圣诞节"照片)的照片的缝隙的数量，其中a表示需要的最 小基数，以及b是允许的最大基数。在使用IOO个缝隙的"圣诞节" 照片的例子中，a和b应分别为50和70。所有罚函数的组合涉及在整 个罚函数中的结果，该整个罚函数必须被最小化以解决将照片最佳地 指定给缝隙这一问题，但是近似地指定。罚函数的使用还考虑到将要 指定给照片的用户等级级别的最佳化或者照片图象质量的最佳化。通 过进行局部查找来实现最佳化，其中通过对指定次序实施随机的、小 变化， 一个指定一个指定地步进，从而评价完整的缝隙-照片指定.可 以通过从(部分)照片集中随机抽出照片并且通过将它们与指定中的 其他照片交换，使用相同的分布或者说明"受欢迎性"、"新近性" 和"厌腻"的分配，来进行这些变化。后面的分配的引入需要使用记 录数据库6和所需统计学的估计。如果新产生的指定好于先前的一个， 那么接受该新的指定并且进入局部搜索的下一个迭代直到找到最佳指 定。目标在于防止局部最佳状态的一类特殊的局部搜索算法公知为模 拟退火。可以预先脱机执行该过程，其中将照片预先指定给预定数量 的缝隙。同样地，可以在线并且递增地实现该过程，其中考虑到对以
前缝隙的照片的指定(即，显示历史)和在约束条件中表示的当前占 优势的用户优选级，可以提前计算照片对一小部分缝隙的指定(即， 保持接下来一些照片的窗口 )。显示历史可以是由实际的以前的指定
表示，或者是由记录数据库6概括。
概念地，在应用级别上，规则解决方法和约束条件满足系统可以 与之前描述的实施方案相同。但是在实施级别上，使用了不同的算法 接近，正如所提到的。
再一次注意的是，图1用于提供通过系统1的信息的一般流程的 图示说明。因此，虽然图1可能没有示出各种系统元件之间相互作用 的所有可能变换，但是元件之间的任何适当的相互作用都是可以的。 此外，示出的元件不需要是离散的实体，而是可以分布在剩余的那些 元件内。因此，所描述的这些元件实际上应当看作是代表性的。例如， 代替提供单独的元数据数据库4，用于每个图象的元数据可以随图象本 身一同存储作为照片集2的一部分，或者可以分布在本体6或者记录 数据库8内。
应当注意，虽然已经本发明通常已经关于其用于组织和显示数字 照片的用途进行了描述，但是本发明的原理可用应用到任何数字图象 的组织和显示，无论是拍摄的、扫描的，或者在数字介质中产生的或 者传送到数字介质中图象。因此，本发明可以用于对已经扫描的并且 存储在用户计算机的硬盘驱动器上的原创艺术品集进行分析和显示。
因此，虽然参考上述实施方案已经对前述发明进行了描述，但是 在不脱离本发明精神的情况下可以进行各种变形和改动。因此，所有 这样的变形和改动都看作是在所附权利要求的等价物的范围内。
权利要求
1.一种用于提供动态照片拼贴的方法，所述方法包括如下步骤接收一组数字图象(2)；对该组数字图象中的至少第一和第二图象指定等级；以及当在显示装置(10)上显示图象时，使用指定给第一和第二图象的等级来控制这些图象相对于彼此的显示属性。
2. 根据权利要求l的方法，其中接收一组数字图象的步骤包括将 所述图象以数字形式存储在至少一个存储介质(2)中。
3. 根据权利要求l的方法，其中指定等级的步骤包括基于图象质 量、图象内容或者图象产生日期，给每个图象指定至少一个等级。
4. 根据权利要求l的方法，其中显示属性为在显示装置(10)上 的图象尺寸、在显示装置上的图象位置、和在显示装置上显示的时段 中的一个。
5. 根据权利要求l的方法，其中当在显示装置(10)上显示第一 和第二图象时，根据第一和第二图象的相对等级，第一图象具有的图 象尺寸比第二图象的图象尺寸大.
6. 根据权利要求1的方法，其中显示装置(1)为数码相框、蜂 窝式电话、个人计算机、或者个人数字助理.
7. 根据权利要求1的方法，还包括将元数据(4)与每个图象相 关联的步骤。
8. 根据权利要求7的方法，其中元数据(4)表示图象被拍摄的 时间。
9. 根据权利要求7的方法，其中元数据(4)表示图象被拍摄的 地方的GPS坐标.
10. 根据权利要求7的方法，其中还包括基于用户输入或者与每 个图象相关联的至少一部分元数据(4)，使用本体(6)将一分组标 识符指定给多个数字图象中的至少一部分。
11. 一种用于显示数字照片拼贴的系统，所述系统包括 在处理器(100)上运行的程序； 包括多个数字图象的数据库(2);与所述多个数字图象中的每个数字图象相关联的元数据(4);以 及与处理器(100)通信的显示装置(10)，用于向观看者显示所述 多个数字图象；其中处理器(100)指示显示装置(10)显示所述多个数字图象中 的至少两个，所述多个图像中的每个都具有基于与每个图象相关联的 元数据的、在显示装置上的显示尺寸、显示时间或者显示位置。12. 根据权利要求ll的系统，其中所述多个数字图象以数字形式 存储在至少一个存储介质(2)中.13. 根据权利要求ll的系统，其中所述元数据包括关于相关联的 图象的质量、内容或者产生日期的信息。14. 根据权利要求11的系统，其中所述处理器(100)指示显示 装置(10)同时显示至少两个图象。15. 根据权利要求14的系统，其中根据图象的相关联的元数据的 对比， 一个图象具有的显示尺寸大于另一个图象的显示尺寸.16. 根据权利要求ll的系统，其中所述显示装置(10)为数码相 框、蜂窝式电话、个人计算机或者个人数字助理。17. 根据权利要求16的系统，其中所述元数据表示图象被拍摄的 时间。18. 根据权利要求16的方法，其中所述元数据表示图象被拍摄的 地方的GPS坐标。19. 根据权利要求16的方法，还包括与所述处理器相关联的本体 (6)，本体(6)被构造成基于用户输入或者与每个图象相关联的元数据，将一分组标识符指定给所述多个数字图象中的至少一部分。20. —种用于显示多个数字照片的动态照片拼贴，包括 处理器(100);与处理器(100)连接的数据库(2)，数据库包括多个数字图象；与处理器(100)连接的元数据数据库(4)，元数据数据库包括 与所述多个数字照片中的每张照片有关的信息；以及与处理器(100)连接的显示装置(10),所述数据库构造成用于 向观看者显示所述多个数字图象；其中处理器(100)构造成指示显示装置(10)将所述多个照片中 的每张照片显示一预定时间，所述预定时间基于与所述多个图象中的每个图象相关联的至少一部分元数据。21. 根据权利要求20的动态照片拼贴，其中所述多个数字图象以 数字形式存储在至少一个存储介质(2)中。22. 根据权利要求20的动态照片拼贴，其中所述元数据包括关于 相关联的图象的质量、内容或者产生日期的信息。23. 根据权利要求20的动态照片拼贴，其中所述处理器(IOO) 指示显示装置(10)同时显示至少两个图象。24. 根据权利要求23的动态照片拼贴，其中根据图象的相关联的 元数据的对比， 一个图象具有的显示尺寸大于另一个图象的显示尺 寸。25. 根据权利要求20的动态照片拼贴，其中所述显示装置(IO) 为数码相框、蜂窝式电话、个人计算机或者个人数字助理。26. 根据权利要求25的动态照片拼贴，其中所述元数据表示图象 被拍摄的时间。27. 根据权利要求26的动态照片拼贴，其中所述元数据表示图象 被拍摄的地方的GPS坐标。28. 根据权利要求20的动态照片拼贴，还包括与所述处理器 (100)相关联的本体(6)，该本体(6)构造成基于用户输入或者与每个图象相关联的元数据，将一分组标识符指定给所述多个数字图象 中的至少一部分。29. —种用于提供动态照片拼贴的存储介质(200 )，所述存储介 质包括用于接收一组数字图象的代码；用于对该组数字图象中的至少第一和第二图象指定等级的代码；以及用于当在显示装置(10)上显示图象时，使用指定给第一和第二 图象的等级来控制这些图象相对于彼此的显示属性的代码。30. —种用于显示数字照片拼贴的装置，所述装置包括 运行程序的处理器(100); 包括多个数字图象的数据库(2);与所述多个数字图象中的每个数字图象相关联的元数据(4);以及与处理器(100)通信的显示装置(10)，用于向观看者显示所述 多个数字图象；其中所述处理器(100)指示所述显示装置(10)显示所述多个数字图象中的至少两个，这些图象中的每个图象具有基于与每个图象相 关联的元数据的、在显示装置上的显示尺寸、显示时间或者显示位置。
全文摘要
本发明提供一种照片显示系统，其允许由任何照片集(2)拼贴照片，其中该拼贴以如下方式随着时间而变化更新时间和显现形式取决于用户基于每张照片对照片选定和非选定的选择。每张照片的显示动态还取决于照片相对于照片集(2)中的其他照片的特性，包括诸如照片质量和图片动作的唯一性这样的要素。
文档编号G06F17/30GK101111841SQ200680003510
公开日2008年1月23日 申请日期2006年1月26日 优先权日2005年1月28日
发明者J·H·M·科斯特, S·C·波瓦斯, W·R·T·滕卡特 申请人:皇家飞利浦电子股份有限公司