视频图案缩略图和方法

专利名称：视频图案缩略图和方法
技术领域：
本发明总体上涉及视频或图像处理以及电子设备，例如用于参与语 音通信的电子设备。
背景技术：
使用缩略像在计算机行业中是常见的。缩略图通常是诸如图像 文件之类的媒体文件的内容的小的图形表示。通过观看缩略图，用户能 够在不打开媒体文件的情况下确定该文件的内容。然而，常规的缩略图 当用来描绘诸如视频文件之类的非图像文件的内容时不那么有用。常规 的视频文件缩略图可以包括代表来自该视频文件的帧的单幅图像。由于 视频文件可能包含数万的帧或者更多的帧，因而来自视频的单帧的表示 有时对于标识媒体文件的内容并不有用
发明内容
依照一个实施例，电子设备具有有权访问媒体文件的控制电路， 该媒体文件包括帧序列的数据，其中帧序列中的每帧的数据代表相应的 图像，每帧具有相对于帧序列中的其他帧的位置；以及处理器，其用于 提取所述序列中每帧的部分数据以便产生合成图像。
依照一个方面，所述帧序列包括其中在序列帧的相应图像中存在大 的变化的媒体文件中的位置处的较多的帧，以及其中在序列帧的相应图 像中存在小的数据变化的媒体文件中的位置处的较少的帧。
依照另 一个方面，从每个给定帧中提取的部分在这些帧间改变。
依照另 一个方面，从每个给定帧中提取的部分基于所述帧序列内该 给定帧的位置而改变。
依照另一个方面，从每个给定帧中提取的部分基于所述帧序列内序 列帧的相应图像中的最大变化的位置而改变。
依照另 一 个方面，所提取的部分包括若干列和/或若干行帧数据。
依照另 一个方面，所述合成图像包括依照所述帧序列内给定帧的位 置以时间顺序设置的提取的部分数据。依照另一个实施例，创建图像的方法具有步骤访问媒体文件，该
媒体文件包括帧序列的数据，其中该数据代表相应的图像，每帧具有相
对于帧序列中的其他帧的位置；以及从所述序列的帧中提取部分数据以 便产生合成图像。
依照另 一 个方面，所述提取步骤包括在这些帧间改变提取的部分。
依照另 一个方面，所述提取步骤包括从其中在序列帧的相应图像中 存在大的变化的媒体文件中的位置处的较多的帧中提取数据，以及从其 中在序列帧的相应图像中存在小的变化的媒体文件中的位置处的较少 的帧中提取数据。
依照另一个方面，所述提取步骤包括基于所述帧序列内每个给定帧 的位置而改变来自该给定帧的提取的部分。
依照另 一 个方面，所述提取步骤包括提取若干列和/或若干行帧数据。
依照另一个方面，所述方法还包括步骤通过依照所述帧序列内给 定帧的位置以时间顺序设置提取的部分来形成合成图像。
依照一个实施例，电子设备具有有权访问媒体文件的控制电路， 该媒体文件包括帧序列的数据，其中帧序列中的每帧的数据代表相应的 图像，每帧具有相对于帧序列中的其他帧的位置；以及处理器，其用于 提取所述序列中每帧的部分数据以便产生合成图像，从每个给定帧中提 取的部分的位置在这些帧间改变。
依照一个方面，从每个给定帧中提取的部分基于所述帧序列内该给 定帧的位置而改变。
依照另一个方面，所述合成图像包括依照所述帧序列内给定帧的位 置以时间顺序设置的提取的部分数据。
依照另一个方面，所提取的部分为若千列帧数据。
依照另 一 个方面，代表所述合成图像的数据包括依照所述帧序列内 给定帧的位置以时间顺序设置的所述若干列帧数据。
依照又一个方面，所提取的部分为若千行帧数据。
依照另 一个方面，代表所述合成图像的数据包括依照所述帧序列内 给定帧的位置设置的所述若干行帧数据。
依照再一个方面，从所述帧中提取的部分基于所述帧序列内序列帧 的相应图像中的最大变化的位置而改变。依照另 一个方面，所述帧序列包括其中在序列帧的相应图像中存在 大的变化的媒体文件中的位置处的较多的帧，以及其中在序列帧的相应 图像中存在小的数据变化的媒体文件中的位置处的较少的帧。依照再一个方面，所述合成图像包括从其中存在较大的变化和较小 的变化的媒体文件的区域中提取的部分数据，其中从具有较大的变化的 区域中提取的部分比从其中存在较小的变化的区域中提取的部分更亮。依照另一个方面，所述媒体文件为基于帧的媒体。依照又一个方面，所述媒体文件为基于时间的媒体。依照另一个实施例，创建图像的方法具有步骤访问媒体文件，该媒体文件包括帧序列的数据，其中该数据代表相应的图像，每帧具有相对于帧序列中的其他帧的位置；以及从所述序列的帧中提取部分数据以 便产生合成图像，来自每个给定帧的提取的部分的位置在这些帧间改变。依照一个方面，所述方法所述提取步骤包括基于所述帧序列内每个 给定帧的位置而改变来自该给定帧的提取的部分。依照另一个方面，所述方法还包括步骤通过依照所述帧序列内给定帧的位置以时间顺序设置提取的部分来形成合成图像。依照再 一 个方面，所述提取步骤包括提取若干列帧数据。依照另一个方面，所述方法包括步骤依照所述帧序列内给定帧的 位置以时间顺序设置所述若干列帧数据。依照又一个方面，所述提取步骤包括提取若干行帧数据。依照另一个方面，所述方法还包括步骤依照所述帧序列内给定帧 的位置设置所述不同的若干行帧数据。依照另 一个方面，所述提取步骤包括从其中在序列帧的相应图像中 存在大的变化的媒体文件中的位置处的较多的帧中提取数据，以及从其 中在序列帧的相应图像中存在小的变化的媒体文件中的位置处的较少 的帧中提取数据。依照再一个方面，所述方法还包括步骤使从媒体文件中具有大的 变化的位置处提取的部分数据形成的所述合成图像的那些部分变亮。依照另一个实施例，存储在机器可读介质上的程序，当由机器执行 时通过以下步骤提供对图像的创建访问媒体文件，该媒体文件包括帧 序列的帧数据；以及从所述多帧的每帧中提取不同的部分帧数据以便产生合成图像，该合成图像包括来自所述帧序列的提取的部分帧数据。在另一个实施例中，电子设备具有有权访问媒体文件的控制电路，该媒体文件包括多帧的帧数据，其中所述多帧的每帧的帧数据代表包括像素数据阵列的相应的图像；以及处理器，其用于从所述多帧的每帧中 提取部分帧数据以便产生代表合成图像的数据，该合成图像包括来自所 述多帧的每帧的部分幀数据。依照一个方面，所述多帧^按照时间顺序。依照另 一个方面，来自每帧的提取的部分帧数据包括来自该帧的像 素数据阵列的像素数据列。依照另 一个方面，代表所述合成图像的数据包括来自并排且以时间 顺序设置的多帧的每帧的若干列像素数据。依照另 一个方面，所述电子设备具有观看所述合成图像的显示器。 依照另 一 个方面，该显示器具有包含像素阵列的显示区域。 依照另一个方面，所述像素阵列包括多个像素列。 依照另 一个方面，像素数据列的数量与所述显示器中的像素列的数量相同。依照另 一个方面，所述电子设备具有观看所迷合成图像的显示器。 依照另一个方面，所述电子设备还包括用于存储在显示器上观看的媒体文件的媒体库。依照另 一个方面，所述媒体库包括该媒体库中的媒体文件的合成图像。依照另 一个方面，所述媒体库还包括用于指示已经由媒体播放器访 问的媒体文件的部分的进度条。依照另 一 个方面，每个像素数据阵列包括多行像素数据并且提取的 部分帧数据代表来自每行的像素数据的主色。依照另 一个方面，代表所述合成图像的数据包括并排且以时间顺序 设置的多列像素数据。依照另 一个方面，所迷电子设备具有观看所述合成图像的显示器。依照另一个方面，所迷々某体文件包括视频文件。依照另一个方面，所述媒体文件包括图像文件序列。依照另一个方面，所述々某体文件代表音频文件。依照另一个方面，所述电子设备为移动通信设备。在另一个实施例中，创建图像的方法包括步骤访问媒体文件，该 媒体文件包括多帧的帧数据，其中所述多帧的每帧的帧数据代表包括像素数据阵列的相应的图像；以及从所述多帧的每帧中提取部分帧数据以 便产生代表合成图像的数据，该合成图像包括来自所述多帧的每帧的部 分帧数据。依照一个方面，所述提取帧数据的步骤包括从所述多帧的每帧中提 取像素数据列。依照另一个方面，所述方法包括步骤以时间顺序并排地设置像素数据。依照另一个方面，所述方法还包括步骤在显示器上显示所述合成图像。在另 一个实施例中，显示所述合成图像的步骤包括在包括像素阵列 的屏幕上显示所述合成图像。依照另一个方面，所述显示步骤还包括利用屏幕显示所述合成图 像，所述屏幕包括具有多个像素列的像素阵列。依照另一个方面，在屏幕上显示所述合成图像的步骤还包括利用屏 幕上的相应像素列显示提取的每列像素数据。依照另一个方面，所述方法包括步骤指示已经由媒体播放器功能 访问的媒体文件的部分。在另一个实施例中，程序存储在机器可读介质上，该程序在由机器 执行时通过以下步骤提供对图像的创建访问媒体文件，该媒体文件包 括多帧的帧数据，其中所述多帧的每帧的帧数据代表包括像素阵列的相 应的图像；以及从所述多帧的每帧中提取部分帧数据以便产生代表合成 图像的数据，该合成图像包括来自所述多帧的每帧的部分帧数据。参照以下描述和附图，本发明的这些和其他特征将是清楚明白的。 在本说明书和附图中，详细公开了本发明的特定实施例，其指示其中可 以采用本发明的原理的一些方式，但是应当理解的是，本发明在范围方 面并不受到相应的限制。相反地，本发明包括处于所附权利要求书的精 神和术语中的所有变化、修改和等效物。关于 一个实施例描述和/或图示的特征可以以 一个或多个其他实施 例中的相同的方式或相似的方式来使用，和/或结合或代替所述其他实施 例的特征而使用。应当强调的是，当用于本说明书中时，措词"包括/包含"用来指明陈述的特征、整体、步骤或部件的存在，但是并没有排除 一个或多个其他特征、整体、步骤、部件或其组的存在或附加。


图1为在显示器上显示媒体库的内容的电子设备。 图2为代表媒体文件的内容的 一 系列帧。 图3为图2的一系列帧，其用来创建合成图像。 图4为代表媒体文件的内容的一系列帧。图5A为图4的一系列帧，其用来根据不同列的帧数据创建合成图像。图5B为图4的一系列帧，其用来根据不同行的帧数据创建合成图像。图5C为图4的一系列帧，其用来根据不同部分的帧数据创建合成 图像。图5D为用来创建合成图像的一系列帧。图6A代表来自媒体文件的单帧。图6B代表来自图6A的帧的提取的部分像素数据。图7为代表用于处理所述媒体文件以便创建合成图像的步骤的流程图。图8为移动电话的示例性实施例。图9为图8的移动电话的相关部分的示意性框图。图10为图8的移动电话可以在其中操作的通信系统的示意图。
具体实施方式
在以下参照了附图的描述中，相同的附图标记始终用来表示相同的 元件。应当理解，这些附图不一定符合比例。在本申请中，主要在电子 设备以及特别地在移动电话的上下文中描迷了本发明。然而，应当理解， 本发明并不预期限于移动电话，并且可以是任何类型的电子设备。术语 "电子设备"包括便携式无线电通信设备。此后称为"移动无线电终端"的 术语"便携式无线电通信设备，，包括诸如移动电话、寻呼机、通信器、电 子管理器(organizer)、个人数字助理(PDA)、智能电话、便携式通 信装置之类的所有设备。图1中示出了电子设备10。电子设备10为移动无线电终端，并且 特别地为移动电话。因此，将把该电子设备称为移动电话10。下面将更加详细地描述移动电话10的功能。简要地参照图9,移动 电话10包括控制电路12、处理器或视频处理电路13并且有权访问媒体 库14。控制电路12可操作来控制视频处理电路13以便在移动电话10 的显示器18上播放媒体文件16。在媒体库14中访问的或者由媒体库14存储的每个媒体文件16被 编程成包括有关该媒体文件的信息(例如帧数据20)以及关于艺术家、 标题、格式等的信息。媒体文件16包括代表用于在显示器18上显示该 媒体文件16的多帧的帧数据20。帧数据20包括每个对应帧的像素数据 22阵列。像素数据22由视频处理电路13处理以便在显示器18上产生 帧的图形表示。视频处理电路13可操作来处理帧数据20以便创建视频图案缩略图 或合成图像24,其包括媒体文件16中的多帧的每帧的部分像素数据22。 因此，合成图像24代表媒体文件16的内容的独特表示，例如媒体文件 16的总体感受、彩色化、光亮、节奏等等。再次参照图1,显示器18上的菜单中示出了媒体库14 (或者媒体 库14可能有权访问的文件)的内容。图1中的菜单是可扩展/可折叠的 菜单。在折叠状态下，该菜单显示每个媒体文件16的缩略图23和标题 26。当扩展菜单时，显示媒体文件16的合成图像24、标题28以及进度 条30。进度条30是已经例如利用媒体播放器由视频处理电路13访问、 收听或播放的媒体文件16的部分的图形描绘。关于称为"File 4.mpg"的 媒体文件，进度条30的颜色已经由视频处理电路13改变以便指示已经 被访问或播放的所述文件的部分。未播放的该文件的部分被赋予白色， 而已经播放的该文件的部分被赋予黑色。于是，用户可以容易地确定该 文件的哪些部分未纟皮访问并且开始在那点处观看所述文件。如果媒体文 件16为音频文件，那么进度条30指示哪些章节或部分已经被听过以及 哪些没有被听过，从而允许用户在他或她先前停止处开始听所述文件。尽管图1的显示器18描绘了折叠和/或扩展状态下每个媒体文件16 的缩略图23、文件名28、合成图像24以及进度条30,但是应当理解的 是，可以对控制电路12编程，以便控制菜单显示更多、更少或不同的 信息，或者如希望的那样定制该菜单。图2中示出了媒体文件16的一个实例，例如视频文件。该媒体文
件16包括以时间顺序设置的多帧32。媒体文件16的每帧包括用于在显 示器18上显示帧32的帧数据20。帧数据20包括像素数据22阵列，其 由视频处理电路13处理以便在显示器18上产生帧32的图形表示。
媒体文件16,尤其是视频和音频文件，可以包含大量的数据并且可
,、/ —、名jrf 士々; tj^ rb aA々4 rr々^ 4士 J-、 it《二 /x々6 ^&:+'。々^ 4士 4> 4丄AJ』《
*v、 J^乂/十、7JA1卞'厶7、>"* WV 7上"日1人乂l、"^'l J a-^刁日,厂'f ^/工刁日Cj<tr i"》"
帧内压缩、帧间压缩、无损压缩等等。如果媒体文件16被压缩，那么 每个单独的帧的帧数据20可能不包括用于表示图像或帧的完全的像素 数据22集合。换言之，帧数据20可能仅包含在显示器18上显示该帧 所需的部分数据。然而，当结合来自媒体文件16的其余部分的帧数据 20处理压缩的帧数据时，可以获得完整的图像。因此，本领域技术人员 应当理解的是，如果结合媒体文件16中的附加的帧数据20处理来自任 何给定帧的帧数据20,那么可以根据来自任何给定帧的帧数据20获得 完整的图像。这里所描述的装置和过程同样可应用到压缩和未压缩的媒 体文件，包括视频和图像文件等等。
参照图3,视频处理电路13被编程成通过从图2的媒体文件16中 提取部分像素数据22来创建合成图像36。在图3的实施例中，提取来 自视频文件16中的多帧38、 40、 42、 44、 46的每帧的像素数据列以便 创建合成图像36。例如，从帧38中提取像素数据列38a。类似地，从 帧40中提取像素数据列40a,等等，直到从所述多帧38、 40、 42、 44、 46的每帧中提取像素数据列38a、 40a、 42a、 44a、 46a。为了说明的目 的，在图3中将提取的部分像素数据38a、 40a、 42a、 44a、 46a描绘为 阴影区域；然而，应当理解的是，当提取像素数据时，没有改变帧数据 20以及由该帧数据代表的图像。
一见频处理电路13还被编程成以时间顺序并排地设置所述多帧38、 40、 42、 44、 46的提取的部分38a、 40a、 42a、 44a、 46a以便形成合成 图像36。然后，可以竖直地压缩合成图像36以便创建尺寸缩小的合成 图像48,其可以用于图1的可扩展/可折叠菜单中。
尽管图3中仅仅示出了一些帧，但是视频处理电路13可操作来从 任意数量的帧32中提取像素数据22。例如，多帧32可以被确定或者基 于媒体文件16或视频文件中全部数量的帧以及显示器18的尺寸。例如， 如果该视频文件包含2400帧的帧数据20并且显示器18为240个像的宽度，那么视频处理电路13被编程成从240个均匀间隔的帧中或者 在这个实例中从每100帧中提取像素数据以便创建合成图像36。由于显 示器为240个像素的宽度并且从240帧中提取数据，因而每帧提取一列 像素数据并且将其用于组合以便创建所述合成图像。因此，视频处理电 路13被编程成从所述240帧的每帧中提取单列像素数据22并且如上所 述以时间顺序并排地组合该像素数据以便创建合成图像36。
可替换地，视频处理电路13可以被编程成从120帧而不是240帧 中提取像素数据，在该情况下，将从所述多帧的每帧中提取两列像素数 据。类似地，如果所述显示器为480个像素的宽度，那么从其中提取像 素数据的所述多帧可以是480帧，或者如果提取来自120帧的数据，那 么像素数据列可以是4个像素的宽度。
应当理解的是，以上用于视频文件中的帧数量以及显示器尺寸的值 仅仅是说明性的，并且视频处理电路13以及这里描述的宽泛概念可以 应用到具有任意数量的帧的媒体文件以及用于任意尺寸或分辨率的显 示器。
一般而言，碎见频文件中的每个一见频帧的中心部分包含最相关的主 题，即它通常是观察者关注的焦点。帧的上、下和侧面区域的像素数据 22因而不太可能包含最相关的主题。视频处理电路13被编程成提取来 自帧的中心的像素数据22而不是帧的边界附近的像素数据，以便增大 提取的部分像素数据包含帧的相关部分的可能性。如图3所示，提取的 部分像素数据38a、 40a、 42a、 44a、 46a代表来自所述多帧38、 40、 42、 44、 46的每帧的中心的帧数据20列。合成图像36因而由像素数据22 形成，其代表最可能包含视频文件16的相关部分的像素数据列。视频 处理电路13也可以操作来裁剪每列像素数据的上下部分。可替换地， 视频处理电路13可以被编程成压缩所述像素数据列以便减小合成图像 36的高度，从而保证该合成图像由很可能包含视频文件的最相关部分的 像素数据形成。
在图4所示的另一个实施例中，媒体文件16包含多帧50。每帧的 帧数据可以代表相同的一般主题。例如，如图4所示，如果人物在演讲， 那么媒体文件16为例如人脸的视频文件。由于人脸在整个视频中基本 上不运动，因而所述多帧50的每帧的帧数据一般是相同的，例如代表 相同的概貌。媒体文件的其他实例可以是通常静止的自然场景的视频；或者具有若干不同场景的视频，其中包括每个场景的帧通常表示相同的 图像；或者另一种类型的媒体文件，其对于帧序列中的每帧始终具有大 体相似的主题等等。
如图5A所示，碎见频处理电路13被编程成如上所述从帧序列52、 54、 56、 58、 60的每帧中提取部分帧数据52a、 54a、 56a、 58a、 60a。 这些提取的部分幀数据为基于所述幀序列内的幀位置从每幀52、 54、 56、 58、 60中的不同位置提取的帧数据列52a、 54a、 56a、 58a、 60a。因此， 来自序列中第一帧52的提取的部分52a位于该帧的左侧，来自序列中 第二帧54的提取的部分54a位于第一提取的部分52a的右边。来自序列 中下一帧56的提取的部分56a位于第二提取的部分54a的位置的右边， 等等。
按照时间顺序设置帧序列52、 54、 56、 58、 60。因此，每帧52、 54、 56、 58、 60代表^L频文件的时间顺序中的不同时间。结果，来自帧 序列中的每帧的提取的部分的位置基于帧序列内的帧位置横跨帧从左 向右渐进地移动，例如，帧在帧序列中越靠后，则将提取的列越置于靠 右。碎见频处理电路13还可以:故编程成提取4黄^争帧从右向左变化的帧数 据列或者从左向右和/或从右向左变化的列等等。
不管这些列如何变化， 一见频处理电路13都被编程成组合来自每帧 52、 54、 56、 58、 60的提取的列52a、 54a、 56a、 58a、 60a以便创建合 成图像62。如果媒体文件为具有基本上相似的帧的视频文件，那么合成 图像62将是来自所述帧之一的图像的粗略再创建。如图5A所示，视频 图案缩略图或合成图像62由从序列的每帧中提取的帧数据拼合在一起。
;i中的合成图像62所示。对于更大的帧序;，、、可二重复该过程以便创
建类似于图1中的合成图像24的并排设置的一系列缩略图。
在图5B中示出的另一个实施例中，由视频处理电路13提取的部分 帧数据为来自帧序列64、 66、 68、 70、 72的帧数据行64a、 66a、 68a、 70a、 72a。这些帧数据行从所述帧内的不同位置处被提取。如图5B所 示，这些行基于帧序列内的帧位置从帧的顶部变化到帧的底部。来自该 帧序列中的第一帧64的提取的行64a在该帧的顶部附近。对于该帧序 列中的每帧而言，来自该帧序列中的下一帧66的提取的行66a位于第 一提取的行64a之下，等等。随着这些帧在媒体文件中进一步前进，提取的部分渐进地更加靠近帧的底部，直到例如提取了底部行，或者碎见频 处理电路13循环以便从这些帧的顶部提取行，等等。
视频处理电路13被编程成设置提取的行64a、 66a、 68a、 70a、 72a 以便形成视频图案缩略图或合成图像74。对于从所述帧序列中提取的每 行而言，第一提取的行64a设置在合成图像74的顶部，第二提取的行 66a设置在第一提取的行64a之下，等等。提取的帧数据的行数量可以 基于可用于显示所述合成图像的行数量。例如，如果30行像素可用于 显示所述合成图像，那么可以提取30行帧数据。对于更大的帧序列而 言，可以重复该过程以便创建类似于图1中的合成图像24的并排设置 的一系列缩略图。
在图5C的实施例中，所述-见频处理电聘4皮编程成^v所述帧序列的 每帧76、 78、 80、 82、 84、 86中提取部分帧数据76a、 78a、 80a、 82a、 84a、 86a。依照相对于该序列的帧位置提取帧数据的块。如图所示，来 自该序列的第一帧76的提取的部分76a为来自该帧的左上角的块。该 序列的下一帧78中的提取的部分78a为来自该帧的右上角的块。如图 5C所示，对于该序列中的每帧而言，来自该序列中的第三帧80的提取 的部分80a为位于该帧的左中侧的块，等等。
3见频处理电路13被编程成设置提取的部分76a、 78a、 80a、 82a、 84a、 86a以便创建合成图像88。如图所示，基于所述帧序列中的提取 的数据的位置设置这些提取的部分以便形成合成图像。例如，第一提取 的部分76a位于该合成图像的左上角，第二提取的部分78a位于该合成 图像的右上角等等，从而提取的块76a、 78a、 80a、 82a、 84a、 86a产生 了来自帧序列76、 78、 80、 82、 84、 86的图像的粗略表示。对于更大 的帧序列而言，可以重复该过程以便创建类似于图1中的合成图像24 的并排设置的 一 系列缩略图。
应当理解的是，可以从每帧中提取帧数据的任意大小的部分或块。 例如，这些块可以是1像素乘1像素的方形，或者可以是帧的一半或更 大。还应当理解的是，图5C中绘出的实施例仅仅表示从帧序列中提取 若干部分或若干块帧数据的宽泛概念，并且所提取的帧数据可以是若干 块帧数据的形式或者任何其他形状，例如圆形、矩形等等。
图5D描绘了另一个实施例。如图5D所示，帧序列90、 92、 94、 96、 98为具有大致固定的背景以及动作焦点(focal point of action )的一系列图像。例如，如图5D所示，该媒体文件可以是汽车沿公路向下
行进的视频，因而视频中的大部分运动是汽车的运动。视频处理电路13
被编程成提取代表该视频文件中的运动的数据。为了确定每帧中最多的
运动的位置，视频处理电路13被编程成比较与所述帧序列中的序列帧 相应的数据。例如，当比较帧90的图像和后继的帧92的图像时，帧90 的图像中最大变化的位置为部分90a。因此，从帧90中提取部分90a。 然后，处理器13比较帧92和帧94的相应图像。相比于帧94的帧92 中的最大变化的位置为部分92a。对于所述帧序列中的每帧重复这个过 程，直到处理了所有的帧。然后，并排地设置提取的部分数据90a、 92a、 94a、 96a、 98a以便创建合成图像99。此外，如上所述，可以针对所述 序列中的任意数量的帧重复该过程以便创建合成图像99。应当理解的 是，处理器13可以被编程成比较代表所述帧序列中的每幅相应图像的 数据，以便确定存储器112 (图9)中的媒体文件中的最大变化的位置， 而不在显示器18上显示每幅图像。
在另 一个实施例中，可以通过々某体文件的内容确定构成所述序列的 帧。例如，所述帧序列可以包括在每帧的相应图像中相比于后继的帧具 有较多的动作或者具有较大的变化的媒体文件中的位置处的较多的帧。 然后，可以如以上任何一个实施例所述形成合成图像。得到的合成图像 因而包括从在相应的图像中具有较多的动作或较大的变化的媒体文件 中的位置处的较多的帧提取的数据以及从在相应的图像中具有较少的 动作或较少的变化的帧中提取的较少的数据。
所述合成图像也可以反映在媒体文件的帧的相应图像中的较大动 作或较多变化的位置。例如，从在相应的图像中具有大的变化或较大的 动作的媒体文件中的位置处提取的合成图像中的部分数据可以比从具 有较少动作的位置处提取的部分更亮。附加地或者可替换地，提取的部 分的相对高度可以依照媒体文件中的动作的相对数量而改变。例如，在 其中存在较多动作的媒体文件中的那些位置处可以增大所述相对高度 和/或在其中存在较少动作的那些位置处可以减小所述相对高度。
还应当理解的是，在这里所描述的任何实施例中，提取的帧数据可 以基于帧序列内的帧位置而改变，或者可以随机地改变，或者可以依照 某种其他图案或者其他设置而改变。也可以通过随机地设置提取的部分 帧数据来形成所述合成图像。如，每个提取的部分与下一个提取的部分对准，使得这些提取的部分覆 盖整个帧。应当理解的是，这些提取的部分不必彼此是有顺序的，例如， 帧的某些部分可能不被所述视频处理电路提取，或者这些提取的部分可 以比图中所示更小，或者这些提取的部分可以彼此间隔，等等。然而， 这些才是取的部分仍然可以以如上所述的相同的 一 般方式设置以便创建 视频图案缩略图。还应当理解的是，尽管利用了有限数量的帧进行图解 说明，但是这里所描述的构思同样可以应用到任意数量的帧的序列。此 外，即使所述合成图像被描述为由相似帧的序列形成，应当理解的是， 该合成图像也可以由不相似的或者其中每帧是不同的帧的序列形成，所 述序列例如图2中绘出以及上面所描述的媒体文件16或者音频文件等 等。
尽管图2-5D中绘出的实例是白底黑色，但是应当理解的是，这里 的描述同样可以应用到彩色媒体文件。例如，以丛林中的场景开始、随 后是沙滩上或海洋中的场景并且以丛林中的场景结束的视频文件可以 具有这样的视频图案缩略图，其具有深浅不同的绿色和棕色、然后是蓝 色和白色并且然后再次是绿色和棕色。总体为暗色并且血淋淋的电影可 以具有这样的视频图案缩略图，其包括代表暗色和深浅不同的红色的像 素数据。在另 一个实例中,所述媒体文件可以是音 频文件，其中视频处 理电路13可操作来创建该音频文件的内容的图形表示，例如代表波形 的帧数据。然后，视频处理电路13将如上所述从代表波形的多帧中提 取帧数据以便创建合成图像。
参照图6A，在另一个实施例中，帧数据20包括用于—见频文件或电 影中常见的同时显示的多种颜色的像素数据22。视频处理电路13可操 作来处理来自所述多帧的帧数据20以便确定像素阵列中的每行像素数 据的最主要的颜色。视频处理电路13被编程成提取与每行帧数据20中 的最主要的颜色相应的像素数据22以便创建竖直像素数据列。在图6A 中，为了简化起见，在显示器18上将几种不同的颜色示为颜色块。显 示器18的顶部100的主色为蓝色，而显示器18的底部101的主色为绿 色。
图6B表示在确定了像素阵列的每行中的像素数据的最主要的颜色 之后由视频处理电路13创建的像素数据列。该像素数据列的上部102为蓝色，而该像素数据列的下部103为绿色。 一见频处理电路13被编程 成以相同的方式处理视频文件的多帧的每帧。然后，如上所述按照时间 顺序并排地设置提取的像素数据，以便创建代表所述视频或其他媒体文 件的内容的合成图像。
应当理解，代替若干列像素数据的是，提取的部分像素数据可以包 括若千行像素数据，或者方形的像素数据，或者随机的像素数据等等。 此外，代替并排的时间顺序的是，可以以棋盘图案、随机地或者以另一 图案或取向等设置提取的部分像素数据。
现在参照图7,流程图示出了被编程成创建合成图像时的视频处理 电路13的操作。在步骤104,视频处理电路13被编程成访问来自媒体 库14的媒体文件16。媒体文件16可以存储在移动电话的存储器内或者 位于远离移动电话10的位置并且通过无线电电^各122(图9)而一皮访问。 每个媒体文件包括多帧，每帧具有帧数据20，其包括用于在显示器18 上显示该帧的像素数据22阵列。
在步骤105,碎见频处理电路13被编程成从媒体文件16的多帧的每 帧中提取部分帧数据20。所述多帧可以由包括显示器18的宽度的像素 的总数确定。例如，如果显示器为240个像素的宽度，那么视频处理电 路13将被编程成从媒体文件16中选择240帧，或者显示器18上的每 像素列选择一列像素数据。如上所述，视频处理电路13也可以被编程 成适应不同尺寸和分辨率的显示器和/或不同长度的视频文件。此外，如 上所述，提取的部分像素数据的尺寸可以取决于诸如显示器的分辨率、 媒体文件的长度之类的因素。
在提取步骤105中，视频处理器13还可以被编程成提取部分帧数 据，相比于帧序列中的后继的帧，所述部分帧数据与每帧中的最多的运 动相对应。3见频处理器13可以:帔编程成通过比4交两个相邻的帧并且确 定最多的运动的位置来确定最多的运动的位置，然后仅提取帧的该部分 以便创建合成图像。视频处理器13还可以被编程成从具有较多的动作 的媒体文件中的位置处的较大数量的帧中提取数据以及提取具有较少 的动作的媒体文件中的那些位置处的较少部分的数据。
在步骤105，视频处理电路13被编程成提取来自步骤104的多帧的 每帧的部分像素数据22。在一个实施例中，如上所述，提取的像素数据 包括若干列像素数据。在其他实施例中，提取的像素数据可以包括若干行像素数据、方形像素数据等等，或者很可能代表选定帧的帧数据20 的相关内容的任何其他变型。例如，提取的部分数据可以是不同列、行、 块或其他部分的帧数据，如上所述。
参照步骤106，视频处理电路13被编程成设置提取的像素数据以便 创建合成图像。以时间顺序并排地设置所述若干列提取的像素数据以便 创建代表媒体文件16的内容的合成图像。也可以以不同的取向(例如 水平线)或棋盘图案或者随机地等等设置提取的像素数据。视频处理器
13还可以被编程成减小合成图像的尺寸或者竖直地压缩该合成图像以
便创建较小的或尺寸减小的合成图像。
在其他实施例中，视频处理电路13被编程成基于所述帧序列内的
帧位置设置提取的不同部分的帧数据。例如，如果提取了不同的若干列
帧数据，那么视频处理电路13可以被编程成基于所述帧序列内提取数 据所在的帧位置来设置这些列。类似地，如果提取了若干行帧数据，那 么从顶部到底部设置它们和/或从左到右将它们设置在提取的数据集合 中，使得每次视频处理电路13提取来自所述帧的顶部的行时，创建新 的集合。类似地，如果提取了若干块帧数据或其他的部分帧数据，那么 以相同的方式设置它们，例如依照所述帧序列内的位置设置它们。
所述视频处理器还可以使得与具有较多的动作的媒体文件中的位 置相应的那些部分提取数据变亮，或者降低与具有较少的动作的媒体文 件中的位置相应的那些提取的部分的亮度。附加地或者可替换地，视频 处理器13可以基于视频文件中提取数据所在的位置处的相对动作级别 增大或减小合成图像中的提取的部分的相对高度。因此，在与具有较多 动作的媒体文件的部分相应的位置处，合成图像的相对高度可以高于与
具有较少的动作的视频文件中的那些位置相应的部分。
在步骤107,视频处理电路13被编程成在所述电子设备上显示该合 成图像，作为用于显示媒体库14的内容的菜单的一部分。显示器18可 以包括媒体文件的合成图像、名称、进度条等等，使得用户可以通过观 看包含在菜单中并且显示在显示器18上的所述合成图像和/或其他信息 容易地辨别媒体文件的内容。
参照图8,移动电话IO也包括显示器18和小键盘110。像常规的 那样，显示器18向用户显示信息，例如操作状态、时间、电话号码、 联系信息、各种导航菜单等等，其使得用户能够利用移动电话10的各种特征。显示器18也用来可视地显示由移动电话10接收和/或从移动电 话10的存储器112中获取的内容。此外，用户输入的电话号码或文本
消息可以作为图形用户界面(GUI)的一部分显示在显示器18上。
小键盘IIO可以是常规的，因为它提供了各种用户输入操作。例如， 小键盘IIO—般包括字母数字键114,其用于允许输入字母数字信息， 例如电话号码、电话列表、联系信息、备忘录等等。此外，小键盘110 可以包括特殊的功能键，例如用于发起或者应答呼叫的"呼叫发送"键以 及用于结束、挂起或断开电话呼叫的"呼叫结束"键。
小键盘110还可以包括特殊功能键，其可以包括例如菜单导航键 116,用于在显示器18上显示的菜单中导航，例如媒体库14、联系列表 等等，或者像常规的那样选择不同的电话功能、简档、设置等等。与移 动电话10关联的其他键可以包括音量键、音频静音键、电源开/关键、 网络浏览器启动(launch)键、照相机键等等。键或者类似于键的功能 也可以实施为与显示器18关联的触摸屏。键114可以用来输入写入的 文本(例如一串字母数字字符)并且操作GUI菜单，或者调节或修改移 动电话设置，例如显示器的亮度、音频音量等等。
移动电话10包括常M^的呼叫电路，其允许移动电话10建立与^皮呼 叫/呼叫设备的呼叫和/或交换信号，所述被呼叫/呼叫设备一般为另 一移 动电话或陆线电话。被呼叫/呼叫设备不必是另一电话，然而，它可以是 某种其他设备，例如互联网网络浏览器、内容提供服务器等等。
图9表示移动电话10的功能框图。为了简短起见，将不详细地描 述移动电话10的通常为常规的功能。移动电话10包括主控制电路12, 其被配置成实现移动电话10的功能和操作的总体控制。控制电路12可 以包括处理设备118，例如CPU、微控制器或微处理器。处理设备118 执行存储在控制电路2内的存储器(未示出)中和/或单独的存储器(例 如存储器112)中的代码，以便实现移动电话IO的操作。存储器112可 以是例如緩沖器、闪存、硬盘驱动器、可移除介质、易失性存储器、非 易失性存储器或者其他适当的设备中的一种或多种。
计算机编程领域并且特别是用于移动电话或其他电子设备的应用 编程领域的普通技术人员应当清楚，如何对视频处理电路13和移动电 话IO进行编程以便操作和实现这里描述的功能。
继续参照图8和图9，移动电话10包括耦合到无线电电路122的天线120。无线电电路122包括用于像常规那样通过天线120发射和接收 信号的射频发射器和接收器。无线电电路122可以被配置成工作于移动 通信系统中，以及接收数据和/或音视频内容或无线电传输。例如，所述 接收器可以是与混合网络结构兼容的IP数据广播(datacast)兼容接收 器，所述混合网络结构提供移动通信以及数字广播服务，例如DVB-H 移动电$见和,/或移动电台。用于与移动无线电网络或者广# 网络交互的其 他接收器是可能的并且包括例如GSM、 CDMA、 WCDMA、 MBMS、 WiFi、 WiMax、 DVB-H、 ISDB-T等等，以及这些协议的高级版本。
移动电话10还包括声音处理电路124,其用于处理由无线电电路 122发射/从无线电电路122接收的音频信号。扬声器126耦合到声音处 理电路124。麦克风128也耦合到声音处理电路124,其允许用户像常 头见那样通过移动电话10:^炎话。无线电电^各122和声音处理电3各124都 耦合到控制电路12以便实现总体操作。可以将音频数据从控制电路12 传送到声音处理电路124以便通过扬声器126向用户回放。该音频数据 可以包括例如来自由存储器112存储并且由控制电路12获取的音频文 件的音频数据，或者来自远离移动电话10而存储并且由无线电电路122 或另 一常规装置访问或获取的音频文件或其他媒体文件的音频数据。声 音处理电路124可以包括任何适当的緩沖器、解码器、放大器等等。
移动电话10还包括前述显示器18以及耦合到控制电路12的小键 盘IIO。显示器18可以通过视频处理电路13耦合到控制电路12,所述 视频处理电路13将视频数据转换成用来驱动显示器18的视频信号。该 视频数据可以由控制电路12产生、从存储在存储器112中的视频文件 中获取、从由无线电电路122接收的输入视频数据流中导出或者通过任 何其他适当的方法获得。
移动电话10还包括一个或多个I/O接口 130。所述I/0接口 130可 以是典型的移动电话I/O接口的形式并且可以包括一个或多个电连接 器。通常，所述I/0接口 130可以用来将移动电话IO耦合到电池充电器 以便对移动电话10内的电源单元(PSU) 132的电池充电。此外或者可 替换地，所述I/0接口 130可以用来将移动电话IO连接到有线个人免提 适配器(未示出)(例如头戴式耳机)，以便可听见地向用户输出由声 音处理电路124输出的声音信号。此外，所述I/0接口 130可以用来通 过数据电缆将移动电话10连接到个人计算机或者其他设备。当连接到车辆电源适配器或者电气插座电源适配器时，移动电话10可以通过所 述I/0接口 130接收操作功率。
移动电话IO还可以包括用于实现定时功能的定时器134。这样的功
能可以包括对呼叫的持续时间定时、产生时间和日期戳的内容等等。移
动电话10可以包括用于拍摄数字图片和/或电影的照相机136。可以将 与这些图片和/或电影相应的图像和Z或视频文件存储在存储器112中。 移动电话IO还可以包括位置数据接收器138,例如全球定位系统(GPS) 接收器、伽利略卫星系统接收器等等。移动电话10还可以包括本地无 线接口 140,例如红外收发器和/或RF适配器(例如蓝牙适配器)，其 用于建立与附件、免提适配器(例如可以可听见地输出与从移动电话10
传送到该适配器的音频数据相应的声音的头戴式耳机)、另一移动无线 电终端、计算机或另一设备的通信。
移动电话10可以被配置成发射、接收和处理数据，例如文本消息 (例如一些人将其俗称为"SMS")、电子邮件消息、多媒体消息(例如 一些人将其俗称为"MMS")、图像文件、视频文件、音频文件、铃声、 流式音频、流式视频、数据馈送(包括群播(podcast))等等。处理这 样的数据可以包括将该数据存储到存储器112中、执行允许用户与数据 交互的应用、显示与该数据关联的视频和/或图像内容、输出与该数据关 联的音频声音等等。
控制电路12可以:故配置成访问々某体库14。该+某体库14可以访问存 储在存储器112内或者处于与移动电话10相距遥远的位置处并且通过 无线电电路12 2或者本领域技术人员能够理解的其他适当的装置访问的 一个或多个媒体文件16。媒体文件16可以是任何类型的音频/视频文件， 例如包括^f旦不限于.avi、 .mpeg、 .mpeg-2、 .mp3、 .mp4、 .midi、 .jpg、 .jpeg、 .ppt、流式视频等等。声音处理电路124可以操作来将音频文件的内容 处理成可以通过扬声器126播放的可听信号。类似地，视频处理电路13 可以操作来处理图像或视频文件以便在显示器18上产生图像或视频。 声音处理电路124和一见频处理电路13可以同时用于再现包含音频和视 频编码的媒体文件。本领域技术人员应当理解，该声音和碎见频处理可以 通过任何常规的处理电路或设备来实现，或者可以组合到单个处理器 中。
此外，参照图10，移动电话10可以:陂配置成作为通信系统142的一部分而操作。系统142可以包括具有服务器146 (或多个服务器)的 通信网络144,所述服务器用于管理由移动电话IO发出的以及预定到移 动电话10的呼叫、将数据发送到移动电话10并且执行任何其他的支持 功能。服务器146通过传输介质与移动电话10通信。该传输介质可以 是任何适当的设备或组件，包括例如通信塔、另一移动电话、无线接入 点、有线接入点、卫星等等。所述网络的部分可以包括无线传输通路。 网络144可以支持多个移动电话IO的通信活动，但是在图IO的图示中 仅示出了一个移动电话10。
在一个实施例中，服务器146相对于通信网络144的其他服务器可 以工作于独立的配置中，或者可以被配置成实现多个通信网络功能。应 当理解的是，服务器146可以被配置为用来实现若干功能的典型计算机 系统，并且可以包括被配置成执行包含逻辑指令的软件的处理器，所述 逻辑指令实施服务器146的功能。
尽管主要针对基于帧的媒体文件(例如mpeg文件)进行了描述， 但是应当理解的是，本文描述的构思同样可应用到基于时间的媒体文 件，例如可缩放矢量图形或SVG文件等等。例如，代替提取帧序列中
相应的数据。于是，每个时间戳处的i;)以用来创;整;文二的任意 时间处的帧的序列。然后，视频处理器13可以提取代表性时间戳处的 数据以便如上所述创建合成图像。
尽管针对电子设备进行了描述，但是也应当理解的是，所述合成图 像和任何关联的一见频处理可以远离该电子设备例如利用独立计算机、服 务器等来实现，并且可以以包含在媒体文件中的信息将这种合成图像传 送到所述电子设备，或者通过单独的传送机制将这种合成图像传送到所 述电子设备。术语"视频图案缩略图"也可以与术语"合成图像"交换使用。
尽管已经针对特定优选实施例示出和描述了本发明，但是明显的 是，本领域技术人员一旦阅读并且理解了本说明书，将想到若干等效物 和修改。本发明包括所有这样的等效物和修改，并且仅由以下权利要求 书的范围所限定。
权利要求
1.一种电子设备，包括有权访问媒体文件的控制电路，该媒体文件包括帧序列的数据，其中帧序列中的每帧的数据代表相应的图像，每帧具有相对于帧序列中的其他帧的位置；以及处理器，其用于提取所述序列中每帧的部分数据以便产生合成图像。
2. 权利要求1的电子设备，其中所述帧序列包括其中在序列帧的相 应图像中存在大的变化的媒体文件中的位置处的较多的帧，以及其中在 序列帧的相应图像中存在小的数据变化的媒体文件中的位置处的较少 的帧。
3. 权利要求1-2中任何一项的电子设备，其中从每个给定帧中提取 的部分在这些帧间改变。
4. 权利要求1-3中任何一项的电子设备，其中从每个给定帧中提取的部分基于所述帧序列内该给定帧的位置而改变。
5. 权利要求1-4中任何一项的电子设备，其中从每个给定帧中提取的部分基于所述帧序列内序列帧的相应图像中的最大变化的位置而改变。
6. 权利要求1-5中任何一项的电子设备，其中所提取的部分包括若 干列和/或若干行帧数据。
7. 权利要求1-6中任何一项的电子设备，其中所述合成图像包括依 照所述帧序列内给定帧的位置以时间顺序设置的提取的部分数据。
8. —种创建图像的方法，包括步骤访问媒体文件，该媒体文件包括帧序列的数据，其中该数据代表相 应的图像，每帧具有相对于帧序列中的其他帧的位置；以及 从所述序列的帧中提取部分数据以便产生合成图像。
9. 权利要求8的方法，其中所述提取步骤包括在这些帧间改变提取 的部分。
10. 权利要求8-9中任何一项的方法，其中所迷提取步骤包括从其 中在序列帧的相应图像中存在大的变化的媒体文件中的位置处的较多 的帧中提取数据，以及从其中在序列帧的相应图像中存在小的变化的媒 体文件中的位置处的较少的帧中提取数据。
11. 权利要求8-10中任何一项的方法，其中所述提取步骤包括基于 所迷帧序列内每个给定帧的位置而改变来自该给定帧的提取的部分。
12. 权利要求8-11中任何一项的方法，其中所述提取步骤包括提取 若干列和/或若干行帧数据。
13. 权利要求8-12中任何一项的方法，还包括步骤通过依照所述 幀序列内给定幀的位置以时间顺序设置提取的部分来形成合成图像。
全文摘要
一种电子设备和方法，用于根据从帧序列的给定帧中提取的部分数据创建合成图像或者视频图案缩略图。提取的部分帧数据依照所述序列内给定帧的位置而改变，并且所述合成图像代表媒体文件的内容。
文档编号G11B27/28GK101517649SQ200780034625
公开日2009年8月26日 申请日期2007年3月16日 优先权日2006年9月18日
发明者M·克雷茨, S·埃克斯兰德 申请人:索尼爱立信移动通讯股份有限公司