数字图像的回放的制作方法

专利名称：数字图像的回放的制作方法
数字图像的回放
背景
在过去的几年里，数码照相机的使用量大幅增加，而且数码照相机现在通 常并入其他的便携式电子设备，特别是移动电话。数码照相机允许用户拍摄大
量照片，允许他们知道他们能够在随后选择打印或以其他方式保存哪些和多少 图像。这导致了用户具有一个很大的数字图像集合。
SenseCam (感知相机)是一款由Microsoft Research (微软研究院)开发 的可佩戴照相机，它可通过使用户能够倒带该设备佩戴者最近所经历的事件来 帮助唤起记忆。这对于记忆受损的个体或者在个体经历创伤性事件的情况下 (例如，老年人因跌倒导致受伤)尤为有用。
该设备可以捕捉极大数量的图像，并且除了捕捉图像之外，该设备还记录 传感器数据，诸如周期性运动、亮度级和温度。该传感器数据用于触发图像捕 捉，例如当亮度级改变或者突然移动时。亮度级的改变可以指示用户从一个房 间移动至另一房间，或者从室内移动至室外，因此捕捉的图像将会指示佩戴者 位置(和环境)的变化。该设备具有广角或鱼眼镜头，使得用户不必担心需要 将设备指向特定方向。 一加速计用于图像稳定。
通过使用传统数码照相机或SenseCam，用户就可以生成他们想要查看的 一个巨大的数字图像集合。现存有许多软件应用程序允许用户经由目录结构或 文件夹层次浏览他们的照片并能以电影胶片或幻灯片的形式查看目录/文件夹 内的图像。摄影胶片视图从目录中显示沿着水平线(按文件名的字母顺序排列) 彼此相邻的各幅图像，其中滚动条允许用户沿着该摄影胶片移动。幻灯片放映 视图根据文件名的字母次序列表顺序显示目录中的各幅图像。已经开发的快速 顺次视觉呈现(RSVP)技术允许用户向前或向后并以可调节的速度来浏览他 们的照片。慢速时显示类似于幻灯片放映视图，而快速时显示则更类似于电影。
虽然这些视图能够很好地显示含有几十张照片的目录，但是它们不适合显 示含有多得多照片数量的目录。具体问题可能会在用户尝试査看SenseCam上拍摄的图像时出现，因为SenseCam可能会在一天之内拍摄几百幅图片(甚至 有可能上千幅)图像。
概述
下面提供本揭示的简化概要以便为读者提供基本的理解。本概要不是本揭 示的详尽概观，并且既不标识本发明的关键/本质元素也不描绘本发明的范围。 其唯一目的是以简化形式提供在此揭示一些概念作为稍后提供的更详细描述 的序言。
第一示例提供一种显示数字图像的方法，包括以下各项步骤接收显示长 度指示符；访问数字图像；根据显示长度指示符和预定义选择准则从所访问的 数字图像中选择一组数字图像；并且以预定次序显示所选的该组数字图像。
有利地，本方法把要显示的图像数量自动减少至用户定义的水平。这在数 字图像源很大(例如，几百幅图像)的情况下特别有用。它使得对事件序列的 搜索更为简单并且更加用户友好。预定义选择准则的示例包括但不限于根据图像的日期/时间戳、图像在序 列中的位置或者图像间的差异、或者一组代表性图像的选择来进行选择。
优选地，数字图像是数字照片。
优选地，预定次序是时间次序。
有利地，通过按时间顺序显示图像，用户就看到记录在图像内各事件的代 表性视图以及它们如何彼此相关，而不会超载过多的信息。
优选地，显示长度指示符包括以下各项之一图像数量、显示时间或者图 像差异阈值。
有利地，通过指定显示时间，用户能够将他们的查看体验调整成适合他们 可用的时间。
访问步骤包括以下各步骤访问数字图像；并且将所访问的数字图像限制 为在定义时段内捕捉的图像。
优选地，选择步骤包括以下各步骤从显示长度指示符确定要显示的图像 数量；并且根据关联于每幅图像的时间戳和每幅图像的性质中的至少一个从所 访问的图像中选择所述数量的图像。优选地，选择所述数量的图像的步骤包括以下各项步骤根据指定的准则 从所访问图像中选择第一图像；从所访问图像中选择给出预定义能量参数极值 的再一幅图像；并且重复选择再一幅图像的步骤直到己选择了预定数量的图像。这样就有利地从被访问的图像中选择了要显示的一组代表性图像。因此显 示就向用户提供了在数字图像中捕捉的活动/场景的良好代表。取决于预定的能 量参数，极值可以是最大值或最小值。优选地，能量参数是关于重要性因子和相似性因子而被定义的，并且其中 重要性因子是关于一幅或多幅图像属性的度量而相似性因子则是关于两幅图 像之间差异的度量。优选地，重要性因子是以下一项或多项的度量图像中人脸的存在；图像 的有趣程度；以及图像的清晰度。优选地，显示步骤包括以预定次序顺序显示所选的一组数字图像。本方法还包括以下各项步骤访问音频剪辑；选择与所选数字图像相关联 的一个或多个音频剪辑；以及与显示所选一组数字图像步骤并行地播放所选音 频剪辑。本方法还包括以下各项步骤访问传感器数据；选择传感器数据中与所选 数字图像相关联的那些部分；处理传感器数据所选的各部分以提供感知反馈信 号；以及与显示所选的一组数字图像的步骤并行地输出该感知反馈信号。有利地，提供感知反馈信号就能向查看者提供增强的体验并能让査看者更 好地欣赏图像中示出的活动。优选地，传感器数据包括加速度数据；感知反馈信号包括低频音频信号并 且输出步骤包括与显示所选的一组数字图像的步骤并行地向感知执行器输出 该低频音频信号。优选地，处理传感器数据的所选部分的步骤包括访问音频剪辑；使用低 通滤波器过滤音频剪辑以产生低频音频信号；以及根据加速度数据控制低频音 频信号的放大。本方法还包括以下步骤与向传感执行器输出低频音频信号同步播放音频 剪辑。优选地，传感执行器包括低音扬声器。 有利地，无需专门的设备就能提供感知反馈。
第二示例提供了一种包括计算机程序代码装置的计算机程序，当所述程序 在计算机上运行时适于执行上述任何方法的所有步骤。 该计算机程序可以在计算机可读介质上具体化。
第三示例提供一种用于显示数字图像的装置，包括用户输入设备；处理
器，被安排用于接收来自用户输入设备的显示长度指示符，访问数字图像并且 根据显示长度指示符和预定义的选择准则从所访问的数字图像中选择一组数
字图像；以及显示器，用于以预定次序显示所选的该组数字图像。 优选地，预定次序是时间次序。
再一个示例提供了一种向一幅或多幅数字图像的查看者提供感知反馈的 方法，所述方法包括访问传感器数据的源；选择关联于所述一幅或多幅数字 图像中至少一幅的传感器数据的部分；处理传感器数据的所选部分以提供感知
反馈信号；以及将该感知反馈信号输出至执行器。
另一示例提供一种用户界面，包括被安排用于指示显示长度指示符的第 一元素；被安排用于指示数字图像位置的第二因素以及用于启动对选自该数字 图像的一组图像的显示的输入，该组图像是根据显示长度指示符和预定义选择 准则来选择的。
在此描述的各方法可由存储介质上具备机器可读形式的软件执行。软件能 够适于在并行处理器或串行处理器上执行，使得本方法的各步骤可以按任何合 适的次序或同时开展。
这里承认软件能够是有价值的、可以单独交易的商品。它旨在包含运行于 或者控制"桠(dumb)"或者标准的硬件以实现期望的功能的软件。它还旨在 包含"描述"或者定义硬件配置的软件，例如HDL (硬件描述语言)软件， 用于设计硅芯片，或者用于配置通用可编程芯片以实现期望的功能。
许多伴随特征将随着参考下面的详细描述并结合附图进行理解而得到更 好的认识。


从结合附图的下列详细描述将更好地理解本描述，在附图中 图1是数字图像回放方法的一个示例性流程图； 图2-4示出了用户界面的示例；图5示出了一种用于数字图像回放的安排的示意图；图6是选择一组图像的方法的示例性流程图；图7是例示图6所示选择方法的示意图；图8是例示选择方法的另一示例的示意图；图9是选择一组代表性图像的方法的示例性流程图；图IO是示出了用于定义通用纹理基元(texton)词汇的过程的示例性流程图；图11是图IO所示用于定义通用纹理基元词汇的过程中各阶段的示意图； 图12是示出了一种用于确定图像的纹理基元直方图的方法的示例性流程图；图13示出了纹理基元直方图的两个示例；图14示出了一个示例性显示屏；图15是数字图像回放方法的另一个示例性流程图；图16示出了用于记录加速度信息的装置的示意图；图17示出了从所记录的加速度数据中确定的倾斜度量的示例性图表；图18示出了典型的家用计算机音频系统的示意图；以及图19示出了使用触觉论增强回放的信号处理步骤的一个示例的示意图。 相同的标号用于指示附图中相同的部分。详细描述下面结合附图提供的详细说明旨在作为本发明的例子的描述，但是并不旨 在表示可以构造或者使用本例子的仅有的形式。该描述阐述本示例的功能以及 用于构造和操作本示例的步骤序列。然而，相同或等价的功能与序列可由不同 的示例来完成。图1是数字图像(例如，数码照片)回放方法的一个示例性流程图。用户 输入信息以提供对所需显示长度的指示符(步骤101)。该指示符可以有关所9需显示的时间长度(例如，秒或分钟)、有关要显示的图像数量、或者其他参
数，诸如正显示的两图像间最小差异的指示(例如，最小SAD为20，见下文 讨论)。访问图像源(步骤102)，其中每幅图像都具有与其相关联的日期/ 时间戳，以详述该图像是在何时被捕捉/拍摄(例如，存储为JPEG图像的属性)。 随后根据显示长度指示符从源中选择一组图像(步骤103)。随后以预定次序 (例如，按时间顺序)显示所选的一组图像(步骤104)，该显示从第一幅拍 摄的所选图像开始并以最后一幅拍摄的所选图像结束(按照图像日期/时间戳所 定义的)。这些步骤在下面将更详细地描述。
图2-4示出了可由用户用来输入显示长度指示符(为步骤IOI)的用户界 面(UI)示例。图2示出了在其中用户能够指定图像位置(框201)的第一示 例性UI屏幕200。图像可以存储在单个目录下或是跨多个目录存储，此外它 们还可以存储在正运行显示应用程序的计算机上或是可经由内联网或互联网 的网络远程地进行访问。在此示例中，向用户提供了有关显示长度指示符的两 个可选项单元——时间(使用按钮202选择)或者图像数量(使用按钮203选 择)。在任一情况下，用户都可以直接输入所需数量(在框204、 205中)或 者使用箭头按钮206来设置显示长度指示符。除了选择显示长度指示符之外， 用户还可以选择所需的显示类型(屏幕部分207)以及某些增强特征(屏幕部 分208)。显示类型和增强特征将在以下更为详细地解释。显示长度指示符是 在用户点击'下一个，按钮209时的输入(为步骤101)。
图3示出了第二示例性UI屏幕300，该UI屏幕300具有显示区域301以 及其下的两个滑块302、 303和时间线304。第一滑块302能让用户通过点击和 向两侧拖曳条305来指定显示长度指示符。如果用户将条305左移，则显示指 示符变小而如果用户将条305右移，则显示指示符增加。第二滑块303允许用 户显示所基于的时段，并且具有两个可调节标记306、 307，这两个标记分别可 以相对于其上的时间线304移动来设置开始和结束时间。在所选图像的回放期 间(在步骤104)，箭头308沿着时间线304移动以向用户指示正显示的图像 是何时被拍摄的。用户可以在任何时刻点击该箭头来暂停显示。在此示例中， 显示长度指示符可以只要条305沿滑块302移动使得值改变就被自动输入(为 步骤101)。输入新的显示长度指示符(步骤101)会引起使用新的显示参数和新近选择的一组图像(在步骤103中选择的)的图像显示重新开始(步骤 104)。图4示出了第三示例性UI屏幕400，在其中如图2—样，向用户提供了 有关显示长度指示符的两个可选项单元——时间(使用按钮401选择)或者图 像数量(使用按钮402选择)。在此示例中，显示长度指示符的值通过旋转刻 度盘403来设置，因此在顺时针旋转刻度盘403时显示长度增加而在逆时针旋 转刻度盘403时显示时间縮短。显示长度指示符的值在合适的框404中显示。 如图2—样，显示长度指示符是在用户点击按钮时的输入(为步骤101)，在 此示例中用户点击的按钮是'显示'按钮405。图5示出了根据图1所示方法的一种用于数字图像回放的安排的示意图， 包括显示器501、处理器502、用户输入设备503和图像源504。显示器501 用于显示UI (例如，如图2-4所示)和图像。处理器502接收来自用户输入设 备503的显示长度指示符(步骤101)，访问图像源(步骤102)，从源中选 择一组数字图像以供显示(步骤103)并在随后将所选的该组图像输出至显示 器501 (步骤104)。显示器501、处理器502和用户输入设备503可以集成在 一数码相机内，因此回放可以在拍摄图像(即，数码照片)的相机上进行。在 另一示例中，处理器502可以是附连有监视器(显示器501)和键盘和/或鼠标 (用户输入设备503)的计算机的一部分。如上所述，访问图像源的步骤(步骤101)可以涉及访问位于一个或多个 地点的一个或多个目录。图像可以是本地存储的，例如与处理器相同的设备上， 或者可以存储在其他地方，例如在远程计算机、服务器或网站上。图像源的位 置可以由用户经由例如图2的框201之类的UI来指定。除了仅指定存储图像 的目录之外，还可以对图像源进行进一步的限制。如图3所示，用户还可以例 如使用滑块303来指定有趣图像的日期/时间范围。这一用户输入除了已由用户 标识任何文件目录(例如，经由图2的框201)之外还用作对图像源的进一步 限制。从源中选择满足显示长度指示符的一组图像(步骤103)可以使用各种不 同的方法来实现，此处描述了三种可能的方法 ，根据时间/日期戳选择 根据序列中的位置选择 选择一组代表性图像 在其中根据图像的时间/日期戳来作出选择的第一种选择方法可以参考图
6和7进行描述。首先计算要显示的图像数量(步骤601)。如果使用了单元
'图像'，则该数量可以直接从显示长度指示符获取。作为替换，该数量也可 以通过用所需显示时间除以预定义的图像显示时间(例如，l秒种)来计算。
在计算出该数值(在图7所示示例中为6)之后，就从源中所有这些图像中选 择所需数量的图像，使得所选组尽可能跨所有图像覆盖的时段平均分布。图7 在时间线702上将每幅图像示出为圆圈701。垂直符号703示出了在源704的 第一幅图像和源705的最后一幅图像之间沿时间线等分的六个点。由箭头706 指示的图像是时间上最接近垂直符号703之一的那些点。虽然本方法提供了贯 穿感兴趣的时段而在时间上被良好间隔的图像，但是所选图像可能不是代表性 的并且如果它们沿着时间线落在了错误的点上，那么所选图像可能会未命中图 像聚类(例如，聚类707)。
在其中根据图像在序列中的位置来作出选择的第二种选择方法可以参考 图8进行描述。首先以与上述相同(步骤601)的方式计算要显示的图像数量。 在计算出该数值(在图8所示示例中仍为6)之后，就从源中所有这些图像中 选择所需数量的图像，使得所选组尽可能地按图像顺序平均选取。图8在时间 线702上将每幅图像示出为圆圈701 (如图7)。像箭头801指示的那样选择 第一幅、第五幅、第九幅、第十三幅、第十七幅和最后一幅(第二十一幅)图 像。虽然本方法提供了贯穿源内那些图像而良好间隔的图像，但是所选图像可 能对全组21幅图像不具有代表性。
第三种选择方法从源内的那些图像中选择一组代表性图像。如果该源包括
n幅图像，就定义具有n个元素的向量x，其中如果图像i被选作该组代表性图
像之一，那么x(i)4;否则x(i)-0。于是，如果要从包括100幅图像的源中选
择10幅图像，那么向量x会具有IOO个元素(n=100)，其中IO个元素等于
1而90个元素等于0。
为了选择一组X幅的代表性图像，将能量E定义为 <formula>formula see original document page 12</formula>其中如果arg为真，则5(Wg)-l;否则5(flrg) = 0 A^是常数且示例值为100S/m(ij)是两幅图像之间的相似性。两幅同样的图像ij具有等于0的Sz'm(i,j)， 而两幅很不同的图像i,j则具有较大值的^Vn(U)。这被定义为两幅图像时间的 距离，例如两幅图像文本基元直方图的绝对差之和(SAD)(将在下文中详述)。 如下所述使用纹理基元直方图，这是因为它考虑到图像的颜色和纹理基元两 者。在另一示例中，可以使用颜色直方图仅对具体图像内的像素颜色分布进行 比较。Imp(i)是图像的重要性，其值越高则认为该图像越重要。在一个示例中，它可 被定义为Imp(i)=人脸权重+平均信息量(i) 其中如果图像中有人脸，则人脸权重=0.008;否则人脸权重=0。合适的人脸检 测算法的一个示例在P. Viola和M. Jones发表于2001年的国际计算机视觉大 会(ICCV)的题为'健壮实时对象检测，('Robust Real-Time Object Detection')中有所描述。平均信息量(/)"2^H/^og(W) 其中平均信息量(i)是对图片多有趣的测度(例如，均匀颜色的图像会不怎么有趣，而细节感强且色彩丰富的图像则会很有趣)k是总像素数m是图像通道数(例如，RGB图像具有3个通道) 《是像素i在通道c内的值。在上述等式中，如果图像中有人脸并且如果图像具有较高的平均信息量， 即较高的有趣程度，则认为该图像比较重要。可以使用其他因素作为替换或者 附加来确定图像的重要性。例如还可以将图像清晰度包括在内，模糊的图像具 有极低的值(例如，0)，而清晰的图像则具有较高值。图像若带有与其相关 联的音频剪辑(如下将描述)，则可被认为是重要的并且因此被包括在平均信息量的计算中。用户能够例如经由UI来定义他们认为比其他方面更重要的方 面(例如，清晰度相比于人脸出现)。
为了选择一组代表性图像，必须找出能量E的最大值。这一优化可以在图 9所示通过一次选择一幅图像来执行。首先如上所述(参考图6的步骤601) 计算要显示的图像数量N (步骤900)。接下来将全部i的x(i)设置为0 (步骤 901)。将人脸最多的图像选择为第一图像(步骤902)，并且针对该图像，将 x(i)设置为l (步骤903)。随后，通过选择给出最大能量E的(第i幅)图像 来一个个地选择少于的N-1幅图像(步骤904，包括904a和904b部分)。为 了选择第二图像，轮流检查所有剩余的n-l幅图像，并且计算E的值以找出哪 幅图像(即i为几)给出了最大值(步骤904a)，并且一旦被标识，就把第二 所选图像的x(i)的值设置为1 (步骤904b)。随后为选择第三图像重复上述步 骤，即轮流检査所有剩余的n-2幅图像，并且计算E的值以找出哪幅图像(即 i为几)给出了最大值(步骤904a)，并且一旦被标识，就把第三所选图像的 x(i)的值设置为1 (步骤904b)。随后重复上述步骤，直到已经选择了N幅图 像并且在向量x中具有其x(i)-l的元素(步骤905)。
为了执行上述对E值的计算(在步骤904a)，有必要计算Sim(i,j)的值。 如前所述，这被定义为两幅图像时间的距离，例如两幅图像纹理基元直方图的 绝对差之和(SAD)。为了计算两幅图i和j的纹理基元直方图的SAD，需要 纹理基元的通用词汇。这是在许多训练图像的基础上定义，并且词汇通常依赖 于应用，所以训练图像的类型优选地类似于将位于源内的实际图像。例如，由 SenseCam拍摄的图像具有与常规数码照相机拍摄的图像明显不同的特性。因 此，在要使用SenseCam图像的源时使用SenseCam图像作为训练图像将会是 合适的，而在要使用标准数码照相机图像的源时使用标准数码照相机图像作为 训练图像将会是合适的。在要从中选择其他类型的图像的情况下，则应该使用 一组合适的代表图像作为训练图像以定义通用词汇。
可以参考图10和11描述定义通用词汇的过程。选择第一训练图像1101 (步骤1002)并将该图像传递通过一排诸如伽柏(Gabor)滤波器排的f个滤 波器(步骤902)，其中f是使用的滤波器的个数。以一种能够获取纹理信息 的方式来使用各滤波器。滤波器通常从围绕每个像素的10x10像素区域中捕捉信息。通常使用一排17个滤波器(f=17)，并且相同的滤波器组可用于任何 应用或任何图像类型。该步骤(步骤1002)的输出是一组滤波器响应图像1102， 每幅图像针对一滤波器(即，f幅滤波器响应图像)。随后以f个维度标绘每 幅滤波器响应图像中每个像素的滤波器响应(步骤1003)。考虑最初训练图像 1101中位置(x，y)处的特定像素，存在f个滤波器响应，每个滤波器响应针对该 排内的一个滤波器(即，在f幅滤波器响应图像1102的每一幅中位置(x,y)处的 滤波器响应)。这创造了带有f个元素的向量(rhr2，r3，.…rf)，随后可将其标绘 在f维图1103上。随后可以用不同的训练图像多次重复这三个步骤(1001-1003) 并且所有这些点都绘制在同一幅图1104上。随后例如使用k平均(k-means) 算法标识该图上点的聚类1104a-f (步骤1004)，并在每个聚类中央处定义位 置1105a-f (步骤1005)。因此就得到了一组向量，它们各自都包括f个元素， 并且各自定义了一个聚类中央所处的位置。该组向量(图11中示出为6个向 量，虽然通常存在有50个向量或"视觉词")是纹理基元的通用词汇(针对 与所使用训练图像类型相同的图像)。每个视觉词(或向量)如下所述导致纹 理基元直方图中的一个柱(bin)。词的个数较少(以及由此产生的条)导致执 行图像间比较时处理速度较快，然而个数较多则提供对两图像间差异性或相似 性的更好度量。在确定了通用纹理基元词汇之后，就可以如图12所示计算图像的纹理基 元直方图。选择该图像(步骤1201)并将其传递通过确定通用词汇时所使用的 同一排f个滤波器(步骤1202)。随后为f个滤波器中的每一个滤波器确定针 对该图像每个像素的滤波器响应以提供f维空间内的位置(步骤1203)，随后 将该位置与通用词汇(例如，1105中示出的6个视觉词)进行比较以确定每个 像素最接近的聚类中心位置(在步骤1005中定义)。将结果绘制在直方图上， 其中每个柱针对一个视觉词并且每个柱一条目针对最接近该视觉词的每个像 素。图13中示出了两个纹理基元直方图1301和1302的示例。随后就可计算 两幅图i和j的纹理基元直方图的SAD (即，每个柱大小之间的绝对差之和)， 并且这给出了用于计算如上所述的平均信息量E的S/m(i,j)的值。在以上的描述中，定义能量参数E从而能够在确定代表性图像的过程中寻 找最大值。本领域普通技术人员显而易见的是，可以为能量参数使用其他替换的表达式并且依赖于所选的表达式，可以寻找最大值或最小值来确定代表性图 像。在例如使用上述三种方法之一选择要显示的一组图像(步骤103)之后， 就按时间顺序显示所选的该组图像(步骤104)。存在有各种不同的图像显示 方式，并且所使用的显示类型可由用户选择(参见图2所示的用户界面的部分 207)。图像可以例如使用幻灯片放映或RSVP技术来顺序显示，并且取决于每幅 图像的显示速度，在査看者看来图像的显示可以象是幻灯片放映显示(慢速)、 类似于翻书的显示(中速)或者电影(快速)。每幅图像显示之间的时间可以 是恒定的(例如，每幅图一秒)，或者在显示间的时间可以有所变化从而为用 户提供捕捉两幅图像间实际时间差异的指示。例如，如果第一幅图像在上午9 点捕捉，第二幅在上午IO点而第三幅在下午两点，那么若是第一幅图像在1=0 时刻显示，第二幅在1=1时刻显示，则第三幅图像就可以在1=1.2时刻显示以 指示用户第二幅和第三幅图像之间的拍摄时间间隔要远大于第一幅和第二幅 图像之间的拍摄时间间隔。在另一个示例中，取决于可用显示区域，可以并排显示部分或全部的所选 图像。图像可以在网格内显示或者可以模拟电影胶片沿单线显示。在可用显示 区域内无法显示全部图像的情况下可以提供滚动条，或者可以调整图像大小以 适合可用显示区域。在某些显示示例中，可以在显示图像的同时示出时间线以便向査看者指示 图像的拍摄时间，如图3所示(时间线304)。可以使用具有带等距核对记号 的线性标度的标准时间线(或轨迹条)，即核对记号之间的间隔是恒定的(例 如，IO分钟)，如图7所示(核对记号703)。在另一个示例中，可以使用改进 的时间线(或轨迹条)，其中核对记号(或其他指示符)用于表示场景的改变。 这些场景改变可以通过比较两幅毗邻图像i和i+l并计算SAD (如上所述)来 检测。如果SAD超过阈值(可以是可配置的)，就指定一场景中断并在时间 线的该点上放置核对记号。这些核对记号仍可以显示在线性时间线上，虽然它 们将不再等距间隔。这一改进的时间线使得用户能够方便地向前/向后移动通过 图像序列中示出的不同场景。在其他示例中，场景改变标记可以与时间线分开使用，并且可以作为图像序列的翻书或电影型呈现内的标志或标签。在其它的显示示例中，可以使用同时和顺序显示的组合。这种显示技术组合的示例可以参考图14和图15描述，其中图14示出了示例性显示屏幕1400 而图15则示出了数字图像回放方法的另一个示例性流程图。如上所述，接收 显示长度指示符的输入(步骤101)，访问图像源(步骤102)并从源中选择 满足该显示长度指示符的一组图像(步骤103)。在此示例中，选择三幅代表 性图像(在步骤103中)。随后在三幅代表性图像的每一幅周围选择一图像聚 类(步骤1501)。这些聚类与参考图10-13所提及的聚类不同。选择聚类中的 图像以使得这些图像与代表性图像相类似，而这一选择可以如下所述使用纹理 基元(或颜色)直方图的SAD的计算来完成。可以定义一阈值，若SAD低于 该阈值，则考虑图像是类似的。作为这一选择的替换或者组合，可以定义最大 聚类大小以选择例如IO幅最接近的图像(除非只有IO幅以下类似图像，在这 种情况下聚类将包含少于10幅的图像)。也可以在聚类内选择的图像，使得 它们的拍摄时间与代表性图像接近。例如，如果源包括100幅图像，按时间顺 序编号为1至100，并且图像2、 30和89被选作三幅代表性图像(在步骤103) 中，则关于图像2的图像聚类可以包含范围在1-29之间的图像(如果认为其 相似)，但是不能包含范围在30-100之间的图像，即使图像非常相似。此外， 如果图像1-8都是在20分钟内拍摄的，而图像9是在图像8之后2小时拍摄 的，则关于图像2的图像聚类可以包含范围在l-8之间的图像(如果认为其相 似)，但是可以不包括图像9及其后图像。在选择了与每幅代表性图像相关联的聚类之后，就按时间顺序显示每个聚 类内的所选图像(步骤104)，其中第一聚类在第一显示区域1401内顺序显示， 第二聚类在第二显示区域1402内顺序显示，而第三聚类在第三显示区域1403 内顺序显示。每个聚类内的图像显示速度可以不同以使得每个聚类的总显示时 间相等(即，含有10幅图像的聚类显示图像的速度要比含有5幅图像的聚类 快一倍)，同样地，在聚类内每幅图像的显示时间可以相同或者可以如上所述 可以根据每幅图像的拍摄时间而在聚类内变化。顺序显示的速度可以是慢的 (像幻灯片放映)、快的(像电影)或者是其间的任何速度。在另一个示例中，聚类的顺序显示可由用户例如通过将鼠标指针悬停在显示区域1401-1403之一上来控制。在又一个示例中，既可以在一个显示区域(例 如，显示第一聚类，之后是第二聚类，再后是第三聚类)也可以在多个显示区 域(例如，在区域1401内显示第一聚类，随后在区域1402内显示第二聚类同 时在区域1401内显示代表性图像等)内顺序显示每个聚类。在其他示例中，显示可以包括以上技术的组合，为一些代表性图像(例如， 在显示区域1401和1403内)而不为其他图像(例如，在显示区域1402内) 显示图像聚类。在显示器使用参考图14和15描述的技术的情况下，显示长度指示符可以 具有两个方面显示的代表性图像数量(例如，在示出示例中为3)和长度(时 间)。可选地，可以固定这两个参数之一并使用显示长度指示符来确定另一参 数。以上描述涉及按时间顺序显示图像。这仅作为示例并且可以按任何预定顺 序显示图像。除了显示图像之外，其他显示技术也可以与显示图像结合使用，如以上在 图2所示用户界面中增强特征选择部分208中所指示的那样。一些数码相机(例 如，SenseCam)还可以自动地或者作为用户启动的备忘录特征来记录短的音频 剪辑。这些音频剪辑可以与图像显示并行地回放给用户。这些音频剪辑可以存 储在音频剪辑源内，该源可以与图像源504所处位置相同。在源内图像所覆盖 时段内记录了大量音频剪辑的情况下，可以对音频剪辑进行选择，从而只选择 与被选为代表性图像的图像(在步骤103中)相关联的音频剪辑。如上所述， 带有关联音频剪辑的图像可以被认为是更重要的，因此更可能被选为代表性图 像。在另一个选择示例中，可以选择位于代表性图像拍摄时间所定义时间间隔(例如，2分钟)内所记录的音频剪辑。在以运动方式显示图像(例如，幻灯 片放映/翻书/电影)的情况下，音频剪辑的播放可以与正在被显示的代表性图 像同时或在类似时间拍摄的各幅图像同步。这一同步可以是近似的，尤其是在 图像被顺序显示而音频剪辑的长度超过关联图像显示时间的情况下。为了播放 音频剪辑，图5所示的安排还需包括扬声器。为了增强图像回放，特别是在顺序显示图像的情况下，可以使用'触觉论(haptics)'向查看者提供对图像内所描绘的经历的'感觉'。触觉论指涉及触觉的科学，并且也是有关物理传感器的术语，而该物理传感器提供皮肤级别 的触觉以及往来自肌肉和关节的力反馈信息。触觉论接口已经在飞机内用于向 飞行员提供力反馈，并且还用于计算机游戏和虚拟现实环境。通常这一反馈是 通过操纵杆提供的，该操纵杆被安排为提供运动阻抗以及振动。触觉论还用于 创建医疗模拟器，从而能够以仿真(即，远离病人)且为用户提供真实体验的 方式来实现侵入式过程。
可以参考图16-19描述使用触觉论来增强图像回放。触觉论用于重新生成 由加速计或数码相机内其他传感器所记录的运动，并且使用低音扬声器、移动 地板或其他执行器来重新合成该运动。图16示出了可以在数码相机内使用以 记录加速度信息的装置1600的示意图。装置1600包括加速计1601或者检测 加速度的其他装置、微控制器1602 (或微处理器)和存储器1603。如果有音 频也被记录(如上所述)，则还提供话筒输入1604。这些元件已经设置在数码 相机(例如，在SenseCam)内，并且这些元件可以具有若干目的，例如存储 器也可用于记录捕捉到的图像。装置1600周期性地(例如，每10ms)记录沿 着一个或多个轴(例如，沿着x和y轴)的加速度。这些数据例如可被记录为 IO比特的值。图17示出了可以从(例如在佩戴者滑雪时记录的)测得加速度 中确定的倾斜度量(以角度为单位)的示例性图表1700。用户在滑雪时经历的 跌倒从图1701中清晰可见。虽然图17示出了倾斜度量，但是在其它实例中也 可以使用原始的加速度数据。
图18示出了可使用触觉论来增强回放的家用计算机的典型音频系统1800 的示意图。其他系统也可用于增强回放，在此示出的仅作为示例。系统1800 包括计算机1801，计算机1801连接至音频功率放大器1802，而后者进而连接 至两个中间扬声器1803、 1804 (—左一右)以及一个低音喇叭扬声器1805。 在另一个示例中，可以提供两个低音喇叭扬声器。这就能够提供振动的定向角 度。
信号(如图17所示)由计算机1801处理并且倾斜数据用于放大音频轨迹。 例如，当佩戴者跌倒时，倾斜数据接近90°并且放大该跌倒的低频(例如， <100Hz)音频记录。以此方式，通过由低音扬声器1805产生的低频振动就能 够给出振动感觉，从而能够增强对跌倒音频记录的真实感。通常由软件执行的信号处理步骤的示例在图19中示出，其中音频信号的一部分被分接并馈入低
通滤波器1901 (例如，100Hz低通滤波器)。放大器增益控制元件1902随后 用于根据加速度输出水平来控制放大器的增益。放大器增益控制元件l卯2的 输出随后与原始音频信号混合(在混音器1903内)并馈入音频放大器1802(在 图18中)，该音频放大器1802则与理想地放在地板上的至少一个低音扬声器 1805相连接。这一低音扬声器1805产生地板振动，从而向图像的査看者提供 额外的感知信息。
额外感知信息的提供如上所述可以与图像显示(以及音频剪辑的播放，如 果合适的话)同步。在以移动方式显示图像(例如，幻灯片放映/翻书/电影) 的情况下，额外感知信息的提供可以与正在被显示的代表性图像同时或在类似 时间拍摄的各幅图像同步。这一同步可以是近似的，尤其是在图像被顺序显示 而提供的额外感知信息剪辑的时间长度超过关联图像显示时间的情况下。
在图19示出的示例中，加速度信息与记录的音频结合使用以增强音频并 提供对图像的'感觉'。在另一个示例中，可以不使用音频而使用加速度信息 本身来生成可在低音扬声器上播放的低频音频以产生可被査看者感觉到的振 动。在这种情况下，可以按时序用极性相反的信号(例如，以方波或类似的形 式)驱动扬声器的喇叭以实现査看者强烈的'重击'感。
在以上参考图16-19描述的示例中，低音扬声器用于重新产生由数码相机 携带者所经历的振动。如上所述，作为低音扬声器的附加或者替代，可以使用 其他执行器来重新产生振动，诸如移动地板、内建于椅子的执行器、以及内建 于操纵杆的执行器。
作为上述使用加速度数据生成振动的附加或者替代，由数码相机记录的其 他传感器数据也可映射至其他的执行器。例如，可以生成风噪音并用标准扬声 器播放以给出速度的印象，可以使用风扇产生气流以给出速度的印象，可以将 环境传感器数据映射至气候控制装置(例如，空调、中央加热)，并且可以将 亮度数据映射至照明装置。
如上所述使用触觉论来增强数字图像的回放可以与参考图1-15描述的部 分或所有技术相结合。作为替换，触觉论也可以与数字图像回放的任何其他方 法相结合。本领域的技术人员将认识到用于存储程序指令的存储设备可分布在网络 上。例如，远程计算机可存储描述为软件的该过程的示例。本地或终端计算机 可访问远程计算机并下载该软件的一部分或全部以运行该程序。可替换地，本 地计算机可按需下载软件的片断，或者可以在本地终端上执行一些软件指令而 在远程计算机(或计算机网络)上执行一些软件指令。本领域的技术人员将认 识到，通过使用本领域技术人员已知的常规技术，软件指令的全部或部分可由
专用电路如DSP、可编程逻辑阵列等来执行。
如对于本领域的技术人员而言，显然此处给出的任何范围或者设备值可以
被扩展或者改变而不失去所寻求的效果。
文本中描述的各方法步骤可以在需要时按任何合适的次序或同时执行。 可以理解，上面对于较佳实施例的描述仅仅是作为例子给出的，而本领域
的技术人员可以做出多种改变。
权利要求
1.一种显示数字图像的方法，包括以下各项步骤接收显示长度指示符；访问数字图像；根据所述显示长度指示符和预定义选择准则从所访问的数字图像中选择一组数字图像；以及以预定次序显示所选的该组数字图像。
2. 如权利要求l所述的方法，其特征在于，所述数字图像是数字照片。
3. 如前述任一项权利要求所述的方法，其特征在于，所述预定次序是时 间次序。
4. 如前述任一项权利要求所述的方法，其特征在于，所述显示长度指示 符包括以下各项之一图像数量、显示时间或者图像差异阈值。
5. 如前述任一项权利要求所述的方法，其特征在于，所述访问步骤包括 以下各步骤访问数字图像；以及将所访问的数字图像限制为在定义时段内捕捉的图像。
6. 如前述任一项权利要求所述的方法，其特征在于，所述选择步骤包括 以下各步骤从所述显示长度指示符确定要显示的图像数量；以及 根据关联于每幅图像的时间戳和每幅图像的性质中的至少一个从所访问 的图像中选择所述数量的图像。
7. 如权利要求6所述的方法，其特征在于，选择所述数量的图像的步骤 包括以下各步骤根据指定的准则从所访问图像中选择第一图像； 从所访问图像中选择给出预定义能量参数极值的再一幅图像；以及 重复选择再一幅图像的所述步骤直到已选择预定数量的图像。
8. 如权利要求7所述的方法，其特征在于，所述能量参数是关于重要性 因子和相似性因子而被定义的，并且其中重要性因子是关于一幅或多幅图像属性的度量而相似性因子则是关于两幅图像之间差异的度量。
9. 如权利要求8所述的方法，其特征在于，所述重要性因子是以下一项 或多项的度量图像中人脸的存在；图像的有趣程度；以及图像的清晰度。
10. 如前述任一项权利要求所述的方法，其特征在于，所述显示步骤包括: 以预定次序顺序显示所选的一组数字图像。
11. 如前述任一项权利要求所述的方法，其特征在于，还包括以下各步骤: 访问音频剪辑；选择与所选数字图像相关联的一个或多个音频剪辑；以及 与显示所选一组数字图像的步骤并行地播放所选音频剪辑。
12. 如前述任一项权利要求所述的方法，其特征在于，还包括以下各步骤: 访问传感器数据；选择所述传感器数据中与所选数字图像相关联的那部分； 处理传感器数据的所选部分以提供感知反馈信号；以及 与显示所选的一组数字图像的步骤并行地输出该感知反馈信号。
13. 如权利要求12所述的方法，其特征在于，所述传感器数据包括加速 度数据；所述感知反馈信号包括低频音频信号并且所述输出步骤包括与显示所选的一组数字图像的步骤并行地向感知执行器输出该低频音频 信号。
14. 如权利要求13所述的方法，其特征在于，所述处理传感器数据的所 选部分的步骤包括访问音频剪辑；使用低通滤波器过滤音频剪辑以产生低频音频信号；以及 根据所述加速度数据控制所述低频音频信号的放大。
15. 如权利要求14所述的方法，其特征在于，还包括以下步骤 与向传感执行器输出低频音频信号同步播放所述音频剪辑。
16. 如权利要求13至15中任一项所述的方法，其特征在于，所述传感执 行器包括低音扬声器。
17. —种包括计算机程序代码装置的计算机程序，当所述程序在计算机上 运行时适于执行前述任一项权利要求所述的所有步骤。
18. 如权利要求17所述的计算机程序在计算机可读介质上具体化。
19. 一种用于显示数字图像的装置，包括 用户输入设备；处理器，被安排用于从所述用户输入设备接收显示长度指示符，访问数字 图像并且根据所述显示长度指示符和预定义选择准则从所访问的数字图像中 选择一组数字图像；以及显示器，用于以预定次序显示所选的该组数字图像。
20. 如权利要求19所述的装置，其特征在于，所述预定次序是时间次序。
全文摘要
描述了一种在其中接收显示长度指示符并访问数字图像的显示数字图像的方法。根据该显示长度指示符和预定义选择准则从所访问的数字图像中选择一组数字图像并且以预定次序显示所选的该组数字图像。本方法可由在计算机可读介质上具体化的计算机程序来执行。
文档编号H04N5/225GK101322396SQ200680045522
公开日2008年12月10日 申请日期2006年11月16日 优先权日2005年12月5日
发明者A·克里米尼斯, C·洛瑟, J·斯里尼瓦桑, K·伍德, L·威廉姆斯, S·胡德格斯 申请人:微软公司