视频浏览用户界面的制作方法

专利名称：视频浏览用户界面的制作方法
视频浏览用户界面
背景技术：
数字视频流可以被划分为几个称作场景(scenes)的逻辑单元，其中每个场 景包括若干个镜头(shots)。视频流中的镜头是指摄影机无间断获得的一系列视 频帧。视频内容浏览通常是基于镜头分析的。
例如， 一些现有系统通过分析视频中的镜头来提取出代表镜头的关键帧。 提取出来的关键帧就可用来代表视频的摘要。关键帧提取技术不一定必须依赖 镜头。比如，关键帧提取技术可以不用分析视频的内容而从每预定数量的帧之 中提取出一帧。或者，关键帧提取技术可以是高度依赖于内容的。比如，分析 每帧(或选定帧)的内容，然后基于内容分析的结果将内容的分数指定给这些 帧。之后，那些被指定的分数可能用来只提取分数高于阈值的帧。
不管采用何种关键帧提取技术，被提取的关键帧通常是用作视频的静态摘 要(或瞎节串连图板)。例如，在视频的典型菜单中，通常将各种静态帧显^^合 用户来实现场景选择。当用户选择这些静态帧中的一个静态帧时，视频播放器 自动跳到该静态帧代表的场景的开始处。
视频的一维瞎节串连图板或摘要通常需要大量关键帧在同一时间显示，以 充分地代表整个视频。因而这种类型的视频浏览需要大的显示屏幕，而对于小 屏幕显示(比如，PDA)来说并不实际，并且，通常不允许用户在同一时间浏 览多个视频(比如，决定看哪个视频)。
一些现有的系统可能允许用户在同一屏幕上观看多个视频的静态缩略 (thumbnail)表示。但是，如果用户希望浏览任何一个视频的内落他或MM常 必须选择其中一个视频(MMi^择縮略图像)，并要航行到下一个显示窗口 (代 替有缩略图的窗口) ^M看该视频的静态帧(比如，关键帧)。
因此，市场需要使用户會,更容易地在一个显示屏幕上浏览多个视频的视 频浏览用户界面
发明内容
—壬i田车、)加始im條6A^"伤ihW:玄4:fe甘/fn链田年古/法在s的方/;去祖 Tiv ij j i〃jwiyb7>;u:jzj、 i/g i工7j、^乂ii， 六。ju/ij j 'i丁wh少 i .17U7;Nu;j-i丁ii^"nFr、
用于访问视频的处理器和使用户能够浏览视频的视频浏览用户界面。用户界
面被配置为使得能够在一个显示屏幕上进行在多种状态下的视频浏览，包括
用来显示该视频的静态表示的第一状态、用来显示该视频的动态表示的第二
状态和用来播放选定视频的至少一部分的第三纟犬态。
一种用于产生视频浏览用户界面的示例性方法，其包括获得多个视频， 获得每个视频的关键帧，从每个视频的相应关键帧中选择该视频的静态表示， 获得每个视频的动态表示，并基于所述静态表示、所述动态表示以及所述视 频生成视频浏览用户界面，使用户能够在显示屏幕上浏览所述多个视频。
下面还描述了其他实施例和实施方式。


图1标用于显示示例性视频浏览用户界面的示例性计穀几系统。 图2标示例性视频浏览用户界面的示例性第一状态。 图3表示示例性视频浏览用户界面的示例性第二状态。 图4表示示例性视频浏览用户界面的示例性第三状态。 图5表示产生示例性视频浏览用户界面的示例性过程。
具体实施方式
I、鹏
第II部分描述了用于示例性视频浏览用户界面的示例性系统。
第in部分描述了示例性视频浏览用户界面的示例性状态。 第iv部分描述了用于生成示例性视频用户界面的示例性过程。 第v部分描述了示例性计算环境。 n、示例性视频浏览用户界面的示例性系统
图i表示用于实现示例性视频浏览用户界面的示例性计算机系统ioo。系
统100包括显示装置110、控制器120和用户输入界面130。显^置110可以
是计算才 视器、电视机屏幕或其他任何可以显示视频狡u览用户界面供用户观
看的显示装置。控制器120包括存储器140和处理器150。
在示例性实施方式中，存储器140可用于存储多个视频、视频的关键帧、*视频的静态表示(比如，4 性图像)、*视频的动态表示(比如，幻灯
片放映)禾n/或其他与视频相关的数据，其中的一些或全部可用于视频浏览用户
界面来加强视频浏览体验。此外，存储器140可用作存储和处理经由网络(比 如，因特网)接收的流式视频的缓冲器。在另一个示例性实施例中(未示出)， 可实现附加的、控制器120可访问的外部存储器来存储一些或全部i^数据。
处理器150可以是CPU、微处理器、或任何可以访问存储器140 (或其他 外部存储器，如，经由网络访问远程服务器处的外部存储器)的计算装置，上 述访问基于经由用户输入界面130接收的用户输入。
用户输入界面130可以实现为ffiil键盘、鼠标、操纵杆、麦克风、或其他 任何输入装置接收来自用户的输入。处理器150可接收用户输入以激活视频浏 览用户界面的不同状态。
控制器120可以在终端计算机装置(比如，PDA、能用作计算机的 (computer-enabled)电视机、个人计^t几、膝上型计^t几、DVD播放器、数字 家庭娱乐中心等)中或网络上的服务器计算机中实现。
系统100的一些或全部各种组件可位于本地或位于网络和/或分布式环境中 的不同位置。
III、示例性视频浏览用户界面
示例性视频浏览用户界面包括多种状态。比如，在示例性实施方式中，视 频浏览用户界面可包括三种不同状态。图2-4表示了用户浏览一组视tl^用的示 例性视频浏览用户界面的三种示例性状态。
图2表示了视频浏览用户界面的示例性第一状态。在示例性实施方式中， 第一状态是导航(navigate)到(或用别的方式调用)视频浏览用户界面的用户 首先看到的默认状态。在示例性实施方式中，第一状态显示一组视频中每个视 频的静态表示。比如，图2中表示的示例性第一状态显示四个视频中每一个的 代表图像。视频的代表性图像的显示或多或少会依赖于设计选择、用户偏好、 配置以^/或物理限制(如，屏幕大小等)。*静态表示(比如，fW性图像) 代表了一个视频。在示例性实施方式中，每个视频的静态表示可以选自相应视 频的关键帧。在下面的第IV部分会详细描述关键帧的生成。比如，视频的静态 表示可以是第一关键帧、随机选取的关键帧或基于其与视频内容的相关性而选 取的关键帧。在图2中，视频1的静态表示为汽车的图像，视频2的静态表示为房屋的 图像，视频3的静态表示为工厂的图像，视频4的静态表示为公园的图像。这 些表示仅为说明性的。当用户将鼠标移动至这四个图像中的每一个上时，视频 浏览界面可变换至第二状态。或者，为了激活第二状态，用户必须要选择(比 如，M点击鼠标或敲離盘上的回车键等) 一静态表示。因此，视频浏览界 面可被设置为一旦检测到光标或一旦接收到其它适宜的用户输入就自动激活第 二状态。
图3表示了视频浏览用户界面的示例性第二状态。比如，在接收适宜的用 户选择之后或检观倒光标时，可以为选定视频激活第二状态。在示例性实施例 中，第二状态显示了选定视频的动态表示。比如，在示例性实施方式中，如果 选中了视频1 ，则连续显示视频1的幻灯片放映直到用户将光标从视频1的静态 表示上移走(或者如果用户以其它方式取消选定视频l)。选定视频的动态^ (比如，幻灯片放映)可以在与该视频的静态表示的窗口相同的窗口内显示。即， 静态表示被动态表示替代。或者，也可在单独的窗口 (未示出)中显示动态表 示。在示例性实施方式中，选定视频的静态表示的帧可如图3中所示高亮显示。
视频的动态表示，比如幻灯片放映，可通过从其对应视频中选择某些帧而 产生。帧选择可以基于或不基于内容。比如，任何已知的关键帧选择技术可被 实施，以选择用于动态表示的视频中的关键帧。示例性关键帧选择技术会在下 面的第IV部，行更加详细地描述。对于任何给定视频，在选择其关键帧之后， 关键帧的一些或全部可结合到该视频的动态表示中。也可以配置动态表示(如， 幻灯片放映)中的每帧(如，幻灯片)的持续时间。
在一示例性实施方式中，视频的动态表示为幻灯片放映。在一个实施方式 中，视频关键帧的一些或全部可用来作为幻灯片放映中的幻灯片。幻灯片放映 可以基于已知的DVD标准(比如，公知的DVD论坛中描述的)来产生。按 DVD标准生成的幻灯片放映通常可以在任何DVD播放器中播放。DVD标准是 公知的，在此无需更详尽的描述。
在另一实施方式中，幻灯片放映可以基于已知的W3C标准产生，从而生 成可在任何个人计算装置中播放的动画GIF。生成动画GIF的软件和技术是本 领域公知的，在此无需更详尽的描述(比如，Adobe Photoshop, Apple iMovie， Hp Memories Disk Creator等)。系统管理者或用户可以选择采用，标准之一、上述两种标准或其他标准，
来生成幻灯片放映。比如，用户希望用DVD播放器和个人计穀几都能浏览视频。 在这个例子中，用户可以配置处理器150来生成多组幻灯片放映，每组依从一 个标准。
用幻灯片放映作为动态^的实施方式只是说明性的。本领域技术人员会 明白，作为替换，可以实现其他类型的动态表示。比如，可将每个视频的短视 频剪辑作为该视频的动态表示。
当用户提供了适宜的输入(比如，通,择正在进行的动态表示)时，可 以激活第三状态。在示例性实施方式中，用户也可以直接从第一状态激活第三 状态，比如，通过在一视频的静态表示上适当地选择该视频。在示例性实施方 式中，用户还可以ilil^击视频的静态表示或动态表示^i^择该视频。
图4表示了视频浏览用户界面的示例性第三状态。在示例性实施方式中， 当用户适当地选择了视频的静态表示(第一状态)或动态表示(第二状态)来 激活第三状态时，可以播放至少一选定部分或整个视频。视频可在与该视频的 静态表示的窗口相同的窗口中播放(未示出)，也可以在单独的窗口中播放。单 独的窗口可以与原始显示屏幕的部分或全部重叠，或置于原始显示屏幕的旁边 (未示出)。比如， 一旦用户选择，就可以调用媒体播放器(比如，windows媒 体播放器、与处理器耦合的DVD播放器等)来播放视频。
在一个实施方式中， 一旦接收至,户对视频的选择，可以播方M^视频(比 如，从视频的开头)。
在另一个实施方式中， 一旦接收至,户对视频的选择，就播放选定视频的 片段。比如，可以播放介于当前幻灯片和下一个幻灯片之间的视频片段。用户 可以选择播方M个视频或只播放视频的片段。
上面描述的这三种状态只是说明性的。本领域技术人员明白可在视频浏览 用户界面中实现更多或更少的状态。比如，在第四状态中允许用户在同一显示 屏幕中，同时看到多个视频的动态表示(比如，幻灯片放映)，其可以结合或替 代任何上述的三种状态来实现。 IV、示例性视频浏览用户界面生成的示例性过程
图5表示了用于生成示例性视频浏览用户界面的示例性过程。
在步骤510中，处理器150获得多个视频。在示例性实施方式中，从存储
8器140中获得视频。在另一实施方式中，从远程源中获得视频。比如，处理器 150可以获得存储于远程存储器中的视频或经由网络从服务器计算机发送的流 式视频。
在步骤520中，获得^视频的关键帧。在一个实施方式中，处理器150
获得由另一^置提取的关键帧(比如，经由网络从服务器计^m获得)。在另
一示例性实駄式中，处理器150可实施基于内容的关键帧提取技术。比如， 该技术可以包括分析视频每帧内容的步骤，然后基于该分析选择候一组选关键 帧的步骤。该分析确定每帧是否包括任何有意义的内容。有意义的内容可通过 分析，比如，但并不限于，视频中摄影机的运动、视频中对象的运动、视频中 的人脸内容、视频中内容的变化(比如，颜色和/或纹理特征)禾n/或视频中的音 频事件，来确定。在进行一次或多次分析以确定是否每一帧中存在任何有意义 的内容后，为该帧指定内容分数。比如，依赖于幻灯片放映(比如，视频的动 态表示)中所需的幻灯片的数量，提取出的候选关键帧可分组为该数量个群 (cluster)。将每个群中拥有最高内容分数的关键帧选择为幻灯片放映中的幻灯 片。在示例性实施方式中，有某些相似特性(比如，相似颜色直方图)的候选 关键帧分组成同一群。关键帧的其他特性可用来形成群。所描述的关键帧提取 技术只是说明性的。本领域技术人员明白视频的任何帧(即，关键帧或其他) 或多个帧都可用来生成静态或动态表示。另外，当使用关键帧时，可应用任何 关键帧提取技术。或者，处理器150可从另一装置获得更多个视频之一的提取 出的关键帧或已生成的幻灯片放映。
在步骤530中，选择每个视频的静态表示。在一个示例性实施方式中，每 个视频的静态表示是从获得的关键帧中选择出来的。在一个实施方式中，每个 视频的第一关键帧被选择作为静态表示。在另一个实施方式中，依赖于使用的 关键帧提取技术，如果有的话，将最相关的或'最好的"帧选为静态表示。选定 的静态表示会在视频浏览用户界面中作为视频的默认表示而显示。
在步骤540中，获得每个视频的动态表示。在一个示例性实施方式中，获 得針视频的幻灯片放映。在一个实施方式中，处理器150从另一装置(比如， 经由网络从远程服务器)获得一个或多个视频的动态表示(比如，幻灯片放映)。 在另一实施方式中，处理器150基于*视频的关键帧生成#^视频的动态表 示。比如，动态表示可以包括视频的一些或全部关键帧。在一个实施方式中，视频的动态表示可基于每个关键帧的内容包含视频的一些关键帧(比如，所有 内容分数在某一阈值以上的关键巾^T包括在动态表示中)。动态表示可用本领域
所公知的技將B标准(比如，DVD论坛或W3C标准等)生成。动态表示可作 为视频浏览用户界面的备选状态而激活。
在步骤550中，将静态^/示、动态表示和视频存储在存储器140中，以供
处理器150根据舰视频浏览用户界面浏览视频时的用户输AiS^H方问。
V、 示例性的计算环境 在此描述的技术可以采用任何适宜的计算环境实现。计算环境可采用存储
于一个或多个计算机可读存储器中并采用计算机处理器执行的、基于软件的逻 辑指令的形式。或者，也可以将一些或全部技术采用硬件实现，如果硬件模块 包括必备的处理器功能，甚至可不需要单独的处理器。硬件模块可包括PLA、 PAL、 ASIC以及其他任何本领域公知的或将来开发的可用于实现逻辑指令的装 置。
大体上，之后，实现所述技术的计算环境应该理解为包括，无论在硬件还 是软件或者两者的结合中实现指定功能的任何电路、程序、代码、例行程序 (routine)、对象、组件、数据结构等等。软件敏和硬件通常存在于或构成一些 类型的计算机可读介质，该介质可存{*计算机或处理逻辑可访问的数据和逻辑 指令。这些介质可包括，但并不限于，硬盘、软盘、磁带、闪存卡、数字视频 盘、可拆卸磁带(removable cartndge)、随机存取存储器(RAM)、只读存储器 (ROM)和/或其他本领域公知的或将来开发的电子的、磁性的和域光学的介质。
VI、 结论
前述例子说明了某些示例性实施例，来自于这些示例性实施例的其他实施 例、^^和修5婉于本领域技术人员来说都是显而易见的。因此，发明并不应 限于战讨论的特定实施例，而是由权利要求所限定。此外， 一些权利要求可 包括文字数字的标识符以区分要素和/或按照特定的顺序来描述要素。这些标识 符或序列只是为了阅读方便，并不必理解为按照需要或意味着特定的步骤顺序 或者权利要求要素之间的特定的顺序关系。
权利要求
1、一种用于浏览视频的系统，包括用来存储多个视频的存储器；用来访问所述视频的处理器；以及使得用户可以浏览所述视频的视频浏览用户界面，将所述用户界面配置为使得可以在显示屏幕上进行多种状态下的视频浏览，包括第一状态，其用来显示所述视频的静态表示；第二状态，其用来显示所述视频的动态表示；以及第三状态，其用来播放选定视频的至少一部分。
2、 如权禾[j要求I所述的系统，其中，所述存储器包括作为每个所述视频的动态表示的关键帧。
3、 如权利要求1所述的系统，其中，所述第三状态包括播放齡选定视频。
4、 如权利要求1所述的系统，其中视频的所述静态表示是从该视频的一组 关键帧中选出的。
5、 如权利要求1所述的系统，其进一步包括第四状态，用来在显示屏幕中， 同时显示两个或更多所述视频的动态表示。
6、 一种生成视频浏览用户界面的方法，包括 获得多个视频； 获得,见频的关键帧；从^t视频的相应关键帧中选择该视频的静态表示； 基于*视频的所述关键帧获得动态表示；并且基于所述静态表示、所述动态表示和所述视频生成视频浏览用户界面以使 得用户旨,在显示屏幕上浏览所述多个视频。
7、 如权利要求6所述的方法，其中，*视频的所述动态表示是该视频的 幻灯片放映。
8、 如权利要求6所述的方法，其中，所M择包括 基于針关键帧的内容获得每个关键帧的内容分数以及 选择^视频的关键帧，该关键帧相对于该视频的其他关键帧的内容分数具有最高内容分数。
9、 如权利要求6所述的方法，其中，所述用户界面的第四状态包括同时显示两个或更多所述视频的动态表示。
10、 一种用于生成视频浏览用户界面的计算机可读介质，包括逻辑指令，当执行所,辑指令时 获得多个视频；获得*视频的关键帧；从*视频的相应关键帧中选择所述视频的静态表示；获得^视频的动态表示；并且基于所述静态表示、所述动态表示和所述视频生成视频浏览用户界面，以 使得用户育,在显示屏幕上浏览所述多个视频。
全文摘要
本发明涉及一种用于浏览视频的示例性系统(100)，其包括用于存储多个视频的存储器，用于访问视频的处理器(150)，以及使用户能够浏览视频的视频浏览用户界面。用户界面被配置为可在显示屏幕(110)上进行多种状态下的视频浏览，包括用来显示视频的静态表示的第一状态、用来显示视频动态表示的第二状态和用来播放选定视频的至少一部分的第三状态。
文档编号G11B27/34GK101443849SQ200780017183
公开日2009年5月27日 申请日期2007年5月11日 优先权日2006年5月12日
发明者D·特雷特, S·维道森, T·张 申请人:惠普开发有限公司