专利名称：时空媒体对象布局的制作方法
时空媒体对象布局
背景技术：
个人和组织正在快速地累积大量的数字内容，包括静止图像、文本、图形、动画图 形以及全动视频图像。该内容可以以各种各样的不同形式被单独地呈现或者组合，所述不 同形式包括文档、目录、演示文稿、静止照片、商业视频、家庭电影、以及描述一个或多个相 关数字内容文件的元数据。随着这些收集的数量和多样性增长，个人和组织将越来越需要 用于组织和呈现他们的收集中的数字内容的系统和方法。为了满足这种需要，需 要各种不 同的用于组织和呈现数字图像内容的系统和方法。
发明内容
在一个方面中，本发明特征在于一种方法，依据该方法依据相对时空布局规范来 自动地生成确定的时空布局规范。该相对时空布局规范描述媒体对象类型的相对空间位置 和时间次序。该确定的时空布局规范描述媒体对象在显示区域中随着时间流逝的布局。生 成确定的时空布局规范的过程包括为每个媒体对象确定与在其中调度媒体对象以进行再 现的相应再现时段内显示区域中的相应窗口对应的相应时空间隙(slot)。输出该确定的时 空布局规范。本发明还特征在于装置以及存储使计算机执行上面描述的方法的计算机可读指 令的计算机可读媒体。本发明的其他特征和优点将通过包括附图和权利要求书的以下描述而变得显而 易见。
图1是包括时空布局生成器的时空布局生成系统的实施例的方框图，所述时空布 局生成器依据相对时空布局规范来处理媒体对象集合以产生确定的时空布局规范。图2是时空布局生成方法的实施例的流程图。图3是相对时空布局规范的实施例的示意图。图4是依据图3的相对时空布局规范所生成的媒体对象的确定的时空布局的实施 例的示意图。图5A是从媒体对象的确定的时空布局的实施例中提取的图像帧集合的示意图。图5B示出图5A中示出的图像帧的元素和对应的相对时空布局规范的元素之间的 对应性。图6是相对时空布局规范的实施例的两种表示的示意图。图7是相对时空布局规范的实施例的两种表示的示意图。图8是相对时空布局规范的实施例的两种表示的示意图。图9A是相对时空布局规范的实施例的两种表示的示意图。图9B是依据图9A中表示的相对时空布局规范所生成的媒体对象的确定的时空布 局的实施例的示意图。
图10是图1中示出的时空布局生成系统的实施例的方框图。图11是在图2的时空布局发生方法的实施例中使用的多维最优化处理的实施例 的方框图。图12是在图2的时空布局发生方法的实施例中与图11的多维最优化处理一起使 用的自适应调度处理的实施例的方框图。图13是为实施图1的时空布局生成系统的实施例而编程的计算机系统的实施例 的方框图。
具体实施例方式在以下描述中，相同的参考标记用来标识相同的元素。而且，附图旨在以示意的方 式示出示例性实施例的主要特征。附图并不旨在描绘实际实施例的每个特征也不描绘所描 绘元素的相对尺寸，并且不是按比例绘制的。I.引言
下面详细描述的实施例能够将媒体对象收集组织成时空布局，在该时空布局中，每个 媒体对象被分配到空间上和时间上均被划分的调度再现(或呈现)空间中的相应间隙。通常依据相对时空布局规范来生成该时空布局，所述相对时空布局规范指导呈现 空间到时空间隙的空间和时间划分并且指导媒体对象到这些间隙中的分配。相对时空布局 规范是媒体对象类型的相对空间布局以及用于以特定的再现顺序对媒体对象类型进行排 序的调度的一般规范。相对时空布局规范规定相对时空布局而不考虑任何媒体对象或媒体 对象元数据(例如，持续时间、纵横比、分辨率等)。在一些实施例中，熟练的多媒体技术人员 独立于任何特定的媒体对象来生成相对时空布局规范。以此方式，相对时空布局规范可以 以可以由不熟练的用户控制(leverage)以产生其媒体对象收集的高质量呈现的方式体现 多媒体专业人员的美感和技艺。本文描述的实施例在消费者应用空间中提供显著的优点，其中它们允许以具有内 容的媒体对象的适当形式记载复杂的事件，所述内容本来是支离破碎的并且具有变化极大 的格式和分辨率。II.术语的定义
术语“媒体对象”广义上指代任何形式的数字内容，包括文本、音频、图形、动画图形、静 止图像、全动视频以及物理对象的电子代替物。该内容可以以各种各样的不同形式单独地 或以某种组合进行打包和呈现，所述不同形式包括文档、注释、演示文稿、音乐、静止照片、 商业视频、家庭电影、以及描述一个或多个相关数字内容文件的元数据。基于图像的媒体对 象(或仅仅“图像”)可以是包括如下的任何类型的数字或电子图像的完整或部分版本由图 像传感器(例如，视频照相机、静止图像照相机或者光学扫描仪)捕获的图像或者这种图像 的经处理(例如，滤波、重新格式化、增强或以其他方式修改的)版本；计算机生成的位图或 矢量像；文本图像(例如，含有文本的位像);以及肖像图像。术语“媒体对象”涵盖 由一个或多个媒体对象的凝聚群体或集合形成的多元素媒体对象和单元素媒体对象二者。 单元素媒体对象到特定多元件媒体对象的分派表明组成的单元素媒体对象是相关的。一般 而言，多元素媒体对象中的单元素媒体对象的类型可以是相同的或不同的。媒体对象通常 被存储在一个或多个计算机可读媒体上的一个或多个数据库中。媒体对象可以被物理地存储在本地数据库中或者在一个或多个可以通过局域网和全球通信网进行访问的远程数据 库中。一些媒体对象也可以被存储在可通过对等网络连接进行访问的远程数据库中。如本文所使用的，术语“相对时空布局”指代媒体对象类型的相对空间布置和时间 顺序，其中不规定媒体对象类型的绝对位置和媒体对象类型的绝对再现时间。相对时空布 局规范描述媒体对象类型随着时间流逝的相对空间位置。如本文所使用的，术语“确定的时空布局”指代媒体对象依据描述媒体对象的位 置、尺寸和调度再现时段的确定的时空布局规范以特定的顺序在显示区域中的布局。术语“数据结构”广义上指代其中组织和存储数据的物理布局(或格式)。“计算机”是一种根据暂时或永久地存储在计算机可读媒体上的计算机可读指令 (例如，软件)处理数据的机器。执行特定任务的这种指令集被称为程序或软件程序。术语“计算机可读媒体”指代任何能够存储可由计算机读取的信息的媒体。计算机 可读媒体的示例是适合于有形地体现指令和数据的储存设备，包括但不限于所有形式的计 算机可读存储器，包括非易失性形式，例如半导体存储器设备(诸如EPROM、EEPROM和闪存 存储器设备)、磁盘(诸如内部硬盘和可移动硬盘)、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。III.概沭
图1示出包括时空布局生成器12的时空布局生成系统10的实施例，所述时空布局生 成器12依据相对时空布局规范14来处理媒体对象18的集合16以产生确定的时空布局规 范20。相对时空布局规范描述媒体对象类型的相对空间位置和时间次序，而确定的时空布 局规范20描述媒体对象18随时间流逝在显示区域中的布局。图2示出由时空布局生成器12实施的方法的实施例。依据图2的方法，时空布局生成器12依据相对时空布局规范14自动生成确定的 时空布局规范20 (图2，方框22)。在这个过程中，时空布局生成器12为每个媒体对象18 确定相应的时空间隙，其对应于在相应的再现时段(在该时段内调度媒体对象以进行再现) 内显示区域中的相应窗口。时空布局生成器12输出确定的时空布局规范20 (图2，方框24)。在一些实施例 中，时空布局生成器12通过将确定的时空布局规范20存储在计算机可读媒体上来输出所 述确定的时空布局规范20。在这些实施例中，时空布局生成器12通常以包括数据结构(例 如，表格或列表)的规范的形式输出确定的时空布局规范20，所述数据结构描述媒体对象18 到空间上和时间上被划分的调度再现(或呈现)空间中的间隙的分配。在一些实施例中，该 规范以XML (可扩展标记语言)文件格式存储在计算机可读媒体上。在一些实施例中，时空布局生成系统10依据确定的时空布局规范20来再现媒体 对象18的确定的时空布局。例如，在一些实施例中，时空布局生成系统10将媒体对象18 的确定的时空布局再现在显示器上。该显示器可以是例如平板显示器，诸如LCD(液晶显示 器)、等离子体显示器、EL显示器(电致发光显示器)和FED (场发射显示器)。在其他实施例 中，时空布局生成系统10将媒体对象18的确定的时空布局再现在打印媒体(例如，一张或 多张纸)上。在一些实施例中，确定的时空布局规范20对应于输出视频文件，其可以被视 频播放器再现以呈现媒体对象18的对应时空布局。在这些实施例中，输出视频文件 依据视频文件格式(例如，AVI、MOV、MPEG-2、MPEG-4、Ogg, ASF、RealMedia 和 3gp)被存储在计算机可读媒体上。在一些实施例中，确定的时空布局规范20对应于可剖 析视频回放指令，其使机器(例如，计算机)呈现与媒体对象18的时空布局对应的复 合视频。在这些实施例中，这些指令依据多媒体创作脚本语言(例如，Adobe Flash
·)存储在计算机可读媒体上，所述多媒体创作脚本语言可以由脚本解译器(例如，Adobe
Flash 播放器)运行或剖析以再现媒体对象18的时空布局。在一些实施例中，确定的时
空布局规范20对应于视频混合规范(例如，脚本)，其描述媒体对象18的时空布局将被呈 现在显示区域中所用的方式。在这些实施例中，视频混合规范由视频创作工具(例如Adobe
Flash ■或AviSynth)处理，所述视频创作工具产生可以被处理以再现媒体对象18的时空
布局的输出视频文件(例如，AVI文件)或可剖析视频回放指令集(例如，Adobe Flash 脚
本或AviSynth脚本)。IV.规定相对时空布局 A-引言
如上面所解释的，相对时空布局规范14描述媒体对象类型以特定时间顺序的空间布 局，其中不规定媒体对象类型的绝对位置和媒体对象类型的绝对再现时段。媒体对象类型 的相对空间位置可以例如依据任何类型的、描述媒体对象类型相对于彼此或相对于共同参 考点(例如，共同坐标系的角点或边点)的相对空间位置的平面图模型来加以描述。相对时 空布局规范14描述相对再现空间到间隙的分解，每个间隙正好含有媒体对象类型之一。图3示出与相对再现空间的递归分割(或细分)模型对应的相对时空布局规范14 的实施例。在这个实施例中，分割模型是被组织成树结构26的二叉时空分割模型。树结 构26具有与相应媒体对象类型对应的叶节点28、30、32、34以及与由树结构26分割的相对 再现空间的分区对应的内部节点36、38、40。在示出的实施例中，垂直条“ I ”指示相对再现 空间的垂直空间划分(或分裂)，破折号“一”指示相对再现空间的水平划分，并且远大于符 号“》”指示相对再现空间的时间划分，其中左孩子节点在相对再现顺序中领先于右孩子节 点。因而，由树结构26规定的相对再现空间的递归划分对应于视频媒体对象类型的第一实 例(所述第一实例被分配到在照片媒体对象类型的两个连续实例左边的时空间隙)和视频 媒体对象类型的第二实例，其中照片媒体对象类型的连续实例被再现于在含有视频媒体对 象类型的第二实例的右下时空间隙之上的右上时空间隙中。图4示出依据由二叉树结构26表示的时空分割规范、被分配到调度再现空间42 中的相应间隙的两个视频(即，视频_1和视频_2)和两个照片(即，照片_1和照片_2)的确 定的时空布局的示例性实施方式。也可以使用定义相对再现空间的递归时空分割的类似文本模式(schema)来规定 由树结构26表示的时空分割规范。依据这种模式
垂直条“ I ”指示相对再现空间的垂直空间划分，其中在垂直条左侧识别的元素(即， 一个或多个媒体对象类型的一个或多个实例)位于在垂直条的右侧识别的元素的左边；
破折号“一”指示相对再现空间的水平划分，其中在水平条左侧识别的元素(即，一 个或多个媒体对象类型的一个或多个实例)位于在水平条的右侧识别的元素之上；以及 远大于符号“》”指示相对再现空间的时间划分，其中在远大于符号左侧的元素领先于在远大于符号右侧的元素。在一些实施例中，该模式另外包括标签或允许相对时空布局规范的设计者为间隙 中的指定的一个间隙规定一个或多个媒体对象选择准则的其他元数据。响应于此类媒体对 象选择准则，时空布局生成器12基于所分派的媒体对象匹配媒体对象选择准则的用户指 示来把集合16中的媒体对象18之一分派给指定的间隙。在各种类型的媒体对象选择准则 当中，可以被包括在模式中的标签为如下
在媒体类型名称的相对侧的下划线(即，“_MediaType (媒体类型)_”)指示分配给 确定的时空布局中的对应时空间隙的媒体对象应当是被用户识别为表示用户想要确定的 时空布局规范20传达的主题的所规定MediaType的媒体对象；以及
紧接着媒体类型名称的感叹号(“！ ”)(即，"MediaType ！ ”)指示分配给确定的时 空布局中的对应时空间隙的媒体对象应当是被用户识别为表示确定的时空布局规范20的 气候事件的所规定MediaType的媒体对象。因而，依据上面描述的模式，由图3中示出的树结构26表示的时空相对分割规范 由以由单个表达式组成的计算机语言的以下文本描述等效地规定
视频I ((照片》照片)一视频)。图5A示出在连续时间tl、t2、t3、t4、t5、t6从媒体对象的确定的时空布局的实施 例中提取的图像帧集合。这个实施例是依据以下相对分割规范从十个照片媒体对象和两个 视频媒体对象的用户选择集合中生成的
权利要求
1.一种计算机实施的方法，包括依据描述媒体对象类型的相对空间位置和时间次序的相对时空布局规范(14)来自动 地生成确定的时空布局规范(20)，其中该确定的时空布局规范(20)描述媒体对象(18)随 着时间流逝在显示区域(46)中的布局，并且所述生成包括为每个媒体对象(18)确定相应 时空间隙，所述相应时空间隙对应于在其中所述媒体对象(18)被调度以进行再现的相应再 现时段内在显示区域(46)中的相应窗口 ；以及输出该确定的时空布局规范(20)。
2.权利要求1的方法，其中所述确定包括依据多维度最优化处理来确定所述窗口的 空间参数值和所述再现时段的时间参数值。
3.权利要求2的方法，其中所述确定包括依据对表征候选的确定的时空布局的目标 函数进行最优化的处理来查明媒体对象(18)的一系列连续候选的确定的时空布局从媒 体对象(18)的初始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义 的媒体对象(18)的连续候选的确定的时空布局，到对应于确定的时空布局规范(20)的最 终的确定的时空布局。
4.权利要求2的方法，其中所述确定包括依据模拟退火最优化过程来查明空间参数 和时间参数的值。
5.权利要求4的方法，其中所述查明包括用自适应冷却调度来迭代地执行该模拟退 火最优化过程，所述自适应冷却调度取决于具有相继减小部分的随机移动的候选确定的时 空布局中的连续的候选确定的时空布局的量，所述随机移动在模拟退火过程的一个或多个 迭代中的每个迭代期间被接受。
6.权利要求1的方法，其中相对时空布局规范(14)包括针对所述间隙中的规定间隙 的媒体对象选择准则，并且所述生成包括基于所分派的媒体对象匹配所述媒体对象选择准 则的用户指示来将媒体对象(18 )之一分派到所述规定间隙。
7.装置，包括存储器(144);以及处理单元(142)，耦合到所述存储器(144)且可操作以执行包括如下的操作依据描述媒体对象类型的相对空间位置和时间次序的相对时空布局规范(14)来自动 地生成确定的时空布局规范(20)，其中该确定的时空布局规范(20)描述媒体对象(18)随 着时间流逝在显示区域(46)中的布局，并且所述生成包括为每个媒体对象(18)确定相应 时空间隙，所述相应时空间隙对应于在其中所述媒体对象(18)被调度以进行再现的相应再 现时段内在显示区域(46)中的相应窗口 ；以及输出该确定的时空布局规范(20)。
8.权利要求7的装置，其中在所述确定中所述处理单元(142)可操作以执行包括如下 的操作依据多维度最优化处理来确定所述窗口的空间参数值和所述再现时段的时间参数值。
9.权利要求8的装置，其中在所述确定中所述处理单元(142)可操作以执行包括如下 的操作依据对表征候选的确定的时空布局的目标函数进行最优化的处理来查明媒体对象 (18)的一系列连续候选的确定的时空布局从媒体对象(18)的初始候选的确定的时空布 局，经过由空间和时间参数值的不同相应集合定义的媒体对象(18)的连续候选的确定的时空布局，到对应于确定的时空布局规范(20)的最终的确定的时空布局。
10.权利要求8的装置，其中在所述确定中所述处理单元可操作以执行包括如下的操 作依据模拟退火最优化过程来查明空间参数和时间参数的值。
11.一种计算机可读媒体(144，148)，其存储使计算机(140)执行包括如下的操作的 计算机可读指令依据描述媒体对象类型的相对空间位置和时间次序的相对时空布局规范(14)来自动 地生成确定的时空布局规范(20)，其中该确定的时空布局规范(20)描述媒体对象(18)随 着时间流逝在显示区域(46)中的布局，并且所述生成包括为每个媒体对象(18)确定相应 时空间隙，所述相应时空间隙对应于在其中所述媒体对象(18)被调度以进行再现的相应再 现时段内在显示区域(46)中的相应窗口 ；以及输出该确定的时空布局规范(20)。
12.权利要求11的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算 机(140)执行包括如下的操作依据多维度最优化处理来确定所述窗口的空间参数值和所 述再现时段的时间参数值。
13.权利要求12的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算 机(140)执行包括如下的操作依据对表征候选的确定的时空布局的目标函数进行最优化 的处理来查明媒体对象(18)的一系列连续候选的确定的时空布局从媒体对象(18)的初 始候选的确定的时空布局，经过由空间和时间参数值的不同相应集合定义的媒体对象(18) 的连续候选的确定的时空布局，到对应于确定的时空布局规范(20)的最终的确定的时空布 局。
14.权利要求13的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算 机(140)执行包括如下的操作依据模拟退火最优化过程来查明空间参数和时间参数的值。
15.权利要求14的计算机可读媒体，其中在所述确定中所述计算机可读指令使计算 机(140)执行包括如下的操作用自适应冷却调度来迭代地执行该模拟退火最优化过程， 所述自适应冷却调度取决于在模拟退火过程的一个或多个迭代中的每个迭代期间具有连 续较佳目标函数得分的候选确定的时空布局中的连续候选确定的时空布局的量。
全文摘要
依据相对时空布局规范(14)来自动地生成确定的时空布局规范(20)。该相对时空布局规范(14)描述媒体对象类型的相对空间位置和时间次序。该确定的时空布局规范(20)描述媒体对象(18)随着时间流逝在显示区域(46)中的布局。生成确定的时空布局规范(20)的过程包括为每个媒体对象(18)确定相应时空间隙，所述相应时空间隙对应于在其中所述媒体对象(18)被调度以进行再现的相应再现时段内在显示区域(46)中的相应窗口。输出该确定的时空布局规范(20)。
文档编号G06F9/06GK102084337SQ200880130242
公开日2011年6月1日 申请日期2008年5月6日 优先权日2008年5月6日
发明者奥布里恩-斯特雷恩 E. 申请人:惠普开发有限公司