专利名称：用于确定关键视频帧的方法
技术领域：
本发明涉及数字视频处理领域，并且更具体地涉及一种用于选择关键视频帧并形成视频概要的方法。
背景技术：
许多数字捕获设备能够捕获视频以及静止图像。然而，管理数字视频内容可能是一项困难的任务。通常用视频的第一帧的缩略图来可视地表示视频。这可能不会提供很多的对于视频内容的洞察。确定在给定的视频中是否包含特定事件常常需要查看整个视频。 对于较长的视频而言，用户可能更愿意能够获得视频的快速概要，而不必查看整个视频。
从共享的角度来看，数字视频也可能呈现出实际问题。许多数字捕获设备以高达 1920 X 1080个像素的分辨率、以每秒30或60帧的速度记录视频。即使在被压缩时，所生成的数据的量也使得共享甚至相对较短的视频不切实际。
可以使用视频编辑软件来手工地将视频概括成能够更容易共享的较短的版本。然而，手工视频编辑可能是一个冗长的繁重的过程，并且许多用户对手工编辑并不感兴趣。也存在自动视频概括算法。这些方案开始于将捕获的视频作为输入，并分析视频以确定视频概要。然而，这样的算法是非常复杂的，这是因为需要对视频进行解码以执行确定视频概要所需要的分析。因而，不可能在数字捕获设备上立即查看与刚刚捕获的视频相对应的视频概要。这种缺点使得难以有助于对捕获的视频进行快速回顾和共享。
因而，需要提供一种用于在数字捕获设备中计算视频概要的方法。具体地，需要提供在完成视频捕获时在极小延迟的情况下在数字捕获设备上生成视频概要的方案。发明内容
本发明表示一种用于确定数字视频的关键视频帧的方法，所述数字视频具有视频帧的时间序列，所述方法包括使用处理器来执行以下步骤
a)分析所述数字视频以确定依据时间的重要性值；
b)响应于所述依据时间的重要性值，通过在时间上对所述视频帧进行重定位来形成扭曲时间表示；
c)将扭曲时间的数字视频序列表示再划分成一组相等的间隔；
d)通过分析每个间隔内的视频帧来选择每个间隔的关键视频帧；以及
e)将关于所述关键视频帧的指示存储在处理器可访问的存储器中。
本发明具有以下优点其选择与数字视频序列中的最重要部分相对应的关键视频帧。
其具有以下额外的优点其使用全局和局部运动分析来提供关于视频帧重要性的指示。还使用全局和局部运动分析来选择关键视频帧，以避免选择可能遭受运动伪影的关键视频帧。
其具有以下其它的优点可以使用所识别的关键视频帧来形成包括重要的关键视4CN 102939630 A说明书2/18页频片段的序列的视频概要。
图I是示出了根据本发明实施例的用于形成视频概要的系统的组件的高级图2是根据本发明实施例的用于确定数字视频序列的关键视频帧的方法的流程图3是根据本发明实施例的用于对视频帧进行分类的方法的流程图4示出了用一组相等的数字视频间隔划分的数字视频序列；
图5示出了在图4中所示的数字视频序列的扭曲时间表示；
图6示出了将扭曲时间表示再划分成相等时间间隔；
图7示出了图6中的时间间隔相对于图4中的原始数字视频序列的相应位置；
图8是根据本发明实施例的用于形成视频概要的方法的流程图9是根据本发明实施例的用于确定排名最高的关键视频帧的方法的流程图10和图11示出了固定位置直方图12示出了在图11中给出的固定位置直方图的数字表示；·
图13示出了用于确定排名最高的关键视频帧的排名过程的例子；
图14示出了根据一个实施例形成关键视频片段；以及
图15示出了根据另一个实施例形成关键视频片段。
具体实施方式
在以下描述中，将按照通常实现为软件程序的方式来描述本发明的优选实施例。 本领域技术人员将容易地认识到，还可以用硬件来构造这种软件的等价形式。因为图像操作算法和系统是公知的，所以本描述将特别地针对形成根据本发明的系统和方法的一部分或更直接与该系统和方法合作的算法和系统。这种算法和系统的其它方面以及用于生成并以其它方式处理涉及于其中的图像信号的硬件或软件在本文中没有具体示出或描述，可以从本领域已知的这样的系统、算法、组件和元件中进行选择。给出在以下材料中根据本发明描述的系统，本文中没有具体示出、暗示或描述的用于实现本发明的软件是常规的，并且处于本领域普通技术范围内。
此外，如本文中使用的，用于执行本发明的方法的计算机程序可以存储在计算机可读存储介质中，计算机可读存储介质可以包括例如磁存储介质，例如磁盘(例如硬盘驱动器或软盘)或磁带；光存储介质，例如光盘、光带或机器可读条形码；固态电子存储设备， 例如随机存取存储器(RAM)或只读存储器(ROM);或者用于存储具有指令的计算机程序的任何其它物理设备或介质，其中所述指令用于控制一个或多个计算机实施根据本发明的方法。
本发明包括本文描述的实施例的组合。提及“特定实施例”等是指在本发明的至少一个实施例中存在的特征。单独提及“实施例”或“特定实施例”等未必是指相同的一个实施例或相同的多个实施例；然而，这样的实施例并不是相互排斥的，除非这样指示或对于本领域技术人员是显而易见的。在提及“方法”或“多种方法”等时使用单数或复数并不是限制性的。应当注意的是，除非上下文明确地提到或需要，否则在本公开内容中使用的词语5“或者”具有非排它性的意义。
因为采用成像设备以及相关的用于信号捕获和处理以及显示的电路的数字照相机是公知的，所以本公开内容将具体地针对形成根据本发明的方法和装置的一部分的元件或者与所述方法和装置更直接地协作的元件。在本文中未具体示出或描述的元件是从本领域已知的元件中选择的。将要描述的实施例的某些方面是以软件形式提供的。考虑到在以下材料中示出并描述的根据本发明的系统，在本文中未具体示出、描述或暗示的可用于实现本发明的软件是常规的，并在本领域普通技术的范围内。
本领域技术人员将熟悉以下对数字照相机进行的描述。将明显的是，对于该实施例存在可能的供选择的许多变型，以降低成本，增加特征或改善照相机的性能。
图I描述了根据本发明的包括能够捕获视频图像的数字照相机10的数字摄影系统的方框图。优选地，数字照相机10是便携式的用电池操作的设备，其足够小以至于用户在捕获和回顾图像时能够容易地手持。数字照相机10生成数字图像，使用图像存储器30将所述数字图像存储成数字图像文件。本文中所使用的短语“数字图像”或“数字图像文件” 是指诸如数字静止图像或数字视频文件之类的任何数字图像文件。
在一些实施例中，数字照相机10捕获运动视频图像和静止图像两者。在其它实施例中，数字照相机10是只捕获运动视频图像的数字视频照相机。数字照相机10还可以包括其它功能，包括但不限于数字音乐播放器(例如，MP3播放器)、移动电话、GPS接收机或可编程数字助理(PDA)的功能。
数字照相机10包括镜头4，其具有可调孔径和可调快门6。在优选实施例中，镜头 4是变焦镜头，并且由变焦和聚焦电机驱动器8来控制。镜头4将来自场景的光(未示出) 聚焦到图像传感器14 (例如，单芯片彩色C⑶或CMOS图像传感器)上。镜头4是一种用于在图像传感器14上形成场景的图像的光学系统。在其它实施例中，该光学系统可以使用固定焦距的镜头，其具有可变或固定焦点。
图像传感器14的输出由模拟信号处理器(ASP)和模拟-数字(A/D)转换器16转换成数字形式，并被临时存储在缓冲存储器18中。随后处理器20使用存储在固件存储器 28中的嵌入式软件程序(例如，固件)来操作存储在缓冲存储器18中的图像数据。在一些实施例中，使用只读存储器(ROM)将软件程序永久地存储在固件存储器28中。在其它实施例中，可以通过使用例如Flash EPROM存储器来修改固件存储器28。在这样的实施例中，外部设备可以使用有线接口 38或无线调制解调器50来更新存储在固件存储器28中的软件程序。在这样的实施例中，固件存储器28还可以用于存储图像传感器校准数据、用户设置选择以及在关闭照相机时必须保留的其它数据。在一些实施例中，处理器20包括程序存储器(未示出)，并且存储在固件存储器28中的软件程序在被处理器20执行之前被复制到程序存储器中。
将理解的是，可以使用单个可编程处理器或通过使用包括一个或多个数字信号处理器(DSP)设备在内的多个可编程处理器来提供处理器20的功能。可替换地，可以通过定制电路(例如，通过被具体设计用在数字照相机中的一个或多个定制集成电路(IC))或者通过可编程处理器和定制电路的组合来提供处理器20。将理解的是，可以使用公共数据总线来进行处理器20与图I中所示的各种组件中的一些或全部之间的连接。例如，在一些实施例中，可以使用公共数据总线在处理器20、缓冲存储器18、图像存储器30和固件存储器28之间进行连接。
然后使用图像存储器30来存储被处理的图像。将理解的是，图像存储器30可以是本领域技术人员已知的任何形式的存储器，包括但不限于可移除闪存卡、内部闪存芯片、 磁存储器或光学存储器。在一些实施例中，图像存储器30可以包括内部闪存芯片以及与可移除闪存卡(例如安全数字(SD)卡)的标准接口。可替换地，可以使用不同的存储卡形式， 例如微SD卡、压缩闪存(CF)卡、多媒体卡(MMC)、xD卡或存储棒。
图像传感器14由时序生成器12控制，时序生成器12产生各种时钟信号，用以选择行和像素并同步ASP和A/D转换器16的操作。例如，图像传感器14可以具有12. 4兆像素(4088 X 3040个像素)，以便提供大致4000 X 3000个像素的静止图像文件。为了提供彩色图像，图像传感器通常与滤色镜阵列重叠，滤色镜阵列提供的图像传感器具有包括不同颜色的像素的像素阵列。不同颜色的像素可以以许多不同的模式进行排列。作为一个例子，可以使用公知的Bayer滤色镜阵列来排列不同颜色的像素，如在共同转让给Bayer的美国专利3971065“彩色成像阵列”中所描述的，该美国专利的公开内容通过引用方式并入本文。作为第二例子，可以对不同颜色的像素进行排列，如在共同转让给Compton和Hamilton的、于 2007 年 7 月 28 日提交的并且名称为“ Image sensor with improved light sensitivity” 的美国专利申请公开2005/191729中所描述的，该美国专利申请的公开内容通过引用方式并入本文。这些例子不是限制性的，并且可以使用许多其它的颜色模式。
将理解的是，图像传感器14、时序生成器12以及ASP和A/D转换器16可以是单独制造的集成电路，或者它们可以被制造成单个的集成电路，如通常对CMOS图像传感器所做的。在一些实施例中，这种单个的集成电路可以执行图I中所示的其它功能中的一些功能， 包括处理器20所提供的功能中的一些。
图像传感器14在第一模式中被时序生成器12驱动时是有效的，用以提供较低分辨率的传感器图像数据的运动序列以便组成图像，该运动序列在捕获视频图像时并且也在预览被捕获的静止图像时使用。可以作为例如具有1280X720个像素的HD分辨率图像数据，或者作为例如具有640X480个像素的VGA分辨率图像数据，或者使用其它分辨率(其与图像传感器的分辨率相比，具有显著更少列和行的数据)，来提供这种预览模式的传感器图像数据。
可以通过对具有相同颜色的邻近像素的值进行组合，或者通过消除一些像素值， 或者通过对一些颜色像素值进行组合同时消除其它颜色像素值，来提供预览模式的传感器图像数据。可以如共同转让给Parulski等的、名称为“Electronic camera for initiating capture of still images while previewingmotion images”的美国专利6292218 中所描述的那样处理预览模式的图像数据，该美国专利申请通过引用方式并入本文。
图像传感器14在第二模式中被时序生成器12驱动时也是有效的，以提供高分辨率的静止图像。提供这种最终模式的传感器图像数据，以作为高分辨率的输出图像数据，对于具有较高的光照水平的场景而言，所述高分辨率的输出图像数据包括图像传感器的全部像素，并且可以是例如具有4000X3000个像素的12兆像素的最终图像数据。在较低光照水平，可以通过在图像传感器上“放弃”(binning) —些数量的颜色相似的像素来提供最终的传感器图像数据，以便提高信号水平并从而提高传感器的“ISO速度”。
变焦和聚焦电机驱动器8由处理器20所供应的控制信号来控制，以便提供适当的焦距设置并将场景聚焦到图像传感器14上。通过控制可调孔径和可调快门6的f/数量和曝光时间、图像传感器14的经由时序生成器12的曝光时段以及ASP和A/D转换器16的增益(即，ISO速度)设置，来控制图像传感器14的曝光水平。处理器20还对闪光灯2进行控制，闪光灯2可以对场景进行照明。
可以通过使用共同转让给Parulski等的名称为“Electronic camera withRapid Automatic Focus of an Image upon a Progressive Scan Image Sensor，，的美国专利 5668597中所描述的“通过镜头”的自动聚焦来在第一模式中对数字照相机10的镜头4进行聚焦。这是通过以下方式实现的使用变焦和聚焦电机驱动器8将镜头4的焦点位置调节到在近焦点位置与无限远焦点位置之间变化的多个焦点位置，同时处理器20确定为图像传感器14所捕获的图像的中心部分提供峰值的最近的焦点位置。随后可以将与最近的焦点位置相对应的焦点距离用于若干目的，例如自动设置适当的场景模式，并且该焦点距离可以作为元数据与其它镜头和照相机设置一起存储在图像文件中。
处理器20生成菜单和低分辨率的彩色图像，它们临时存储在显示存储器36中并在图像显示器32上进行显示。图像显示器32通常是有源矩阵彩色液晶显示器(IXD)，虽然也可以使用其它类型的显示器，例如有机发光二极管(OLED)显示器。视频接口 44向视频显示器46 (例如平板HDTV显示器)提供来自数字照相机10的视频输出信号。在预览模式或视频模式中，处理器20对来自缓冲存储器18的数字图像数据进行操作，以形成一系列运动预览图像，所述一系列运动预览图像通常作为彩色图像在图像显示器32上进行显示。在预览模式中，使用来自存储在图像存储器30中的数字图像文 件的图像数据来产生在图像显示器32上显示的图像。
响应于通过用户控制34所提供的用户输入，来控制在图像显示器32上显示的图形用户界面。用户控制34用于选择各种照相机模式，例如视频捕获模式、静止捕获模式和预览模式，并且用于发起对静止图像的捕获以及对运动图像的记录。在一些实施例中，当用户部分地按压快门按钮时，发起上面描述的第一模式(即，静止预览模式)，快门按钮是用户控制34中的一个，并且当用户完全按压快门按钮时，发起第二模式(S卩，静止图像捕获模式)。用户控制34还用于开启照相机，控制镜头4，以及发起图片拍摄过程。用户控制34通常包括按钮、摇杆式开关、操纵杆或选转盘的某种组合。在一些实施例中，通过使用图像显示器32上的触摸屏幕覆盖来提供用户控制34中的一些。在其它实施例中，可以使用额外的状态显示器和图像显示器。
可以使用用户控制34选择的照相机模式包括“定时器”模式。当选择“定时器”模式时，在用户完全按压快门按钮之后，在处理器20发起对静止图像的捕获之前，出现较短的延迟(例如，10秒)。
连接到处理器20的音频编解码器22从麦克风24接收音频信号，并向扬声器26 提供音频信号。这些组件可以用于与视频序列或静止图像一起记录以及回放音频轨迹。如果数字照相机10是多功能设备(例如，组合照相机和移动电话)，那么麦克风24和扬声器26 可以用于电话会话。
在一些实施例中，扬声器26可以用作用户接口的一部分，例如以便提供指示已经按压了用户控制或者已经选择了特定模式的各种可听信号。在一些实施例中，可以使用麦克风24、音频编解码器22和处理器20来提供语音识别，使得用户能够通过使用语音命令而不是用户控制34来向处理器20提供用户输入。还可以使用扬声器26将进入的电话呼叫通知给用户。这可以通过使用存储在固件存储器28中的标准振铃音调，或者通过使用从无线网络58下载的并存储在图像存储器30中的定制振铃音调来完成。此外，可以使用振动设备(未示出)来提供进入电话呼叫的静音(例如，非可听的)通知。
在一些实施例中，数字照相机10还包含加速计27，其提供与照相机的运动有关的数据。优选地，加速计27检测三个正交方向中的每个方向上的线性和旋转加速(总共有6 维的输入)。
处理器20还提供对来自图像传感器14的图像数据的额外处理，以便产生被渲染的sRGB图像数据，其被压缩并被存储在图像存储器30中的“已完成”图像文件中，例如公知的Exif-JPEG图像文件。
可以经由有线接口 38将数字照相机10连接到接口 /可再充电器48，其连接到计算机40，计算机40可以是位于家庭或办公室的台式计算机或便携式计算机。有线接口 38 可以遵循例如公知的USB 2. O接口规范。接口 /可再充电器48可以经由有线接口 38向数字照相机10中的一组可再充电电池(未示出)提供电力。
数字照相机10可以包括无线调制解调器50，其通过射频频带52与无线网络58 对接。无线调制解调器50可以使用各种无线接口协议，例如公知的蓝牙无线接口或公知的802. 11无线接口。计算机40可以经由互联网70将图像上载到照片服务提供商72，例如Kodak EasyShare Gallery。其它设备(未示出)可以访问照片服务提供商72所存储的图像。
在可替换的实施例中，无线调制解调器50通过射频(例如，无线)链路与诸如3GSM 网络之类的移动电话网络(未示出)通信，移动电话网络与互联网70连接，以上载来自数字照相机10的数字图像文件。可以将这些数字图像文件提供给计算机40或照片服务提供商 72。
现在将参考图2来描述本发明，图2详细描述了用于使用处理器20来确定数字视频序列200的关键视频帧的方法，其中，数字视频序列200具有视频帧的时间序列。初始地， 使用分析数字视频的步骤210来分析数字视频序列200，以确定依据时间的重要性值215。 形成扭曲时间表示的步骤220通过响应于依据时间的重要性值215而在时间上对视频帧重定位来形成数字视频序列200的扭曲时间表示225。对扭曲时间表示进行再划分的步骤230 将扭曲时间表示225再划分成一组相等的时间间隔235。选择关键视频帧的步骤240通过分析每个时间间隔235内的视频帧来为每个时间间隔选择关键视频帧245。存储关于关键视频巾贞的指不的步骤250将关于数字视频序列200的关键视频巾贞245的指不存储在计算机可访问的存储器中。
现在将更详细地描述图2中的步骤。分析数字视频的步骤210确定依据时间的重要性值215。重要性值215是表示数字视频序列200的帧的依据时间的显著性的量。优选地，重要性值215是为数字视频序列200中的每个帧定义的数值。例如，可以给被确定为具有较高重要性的视频帧(例如，包含人脸的视频帧)分配相对较高的重要性值215。可以给被确定为具有较低重要性的视频帧(例如，包括快速摇动运动的视频帧)分配相对较低的重要性值215。
本领域技术人员将认识到，存在可以关于数字视频序列200中的视频帧计算的许多特征，其可以用于确定依据时间的重要性值215。在本发明的优选实施例中，分析数字视频的步骤210包括全局运动分析和局部运动分析。全局运动分析确定通常与捕获设备的运动相对应的全局运动信息，而局部运动分析确定与场景中的对象的移动相对应的局部运动信息。
在一些实施例中，使用两个参数的全局运动模型来执行全局运动分析，其中两个参数的全局运动模型提供依据时间的平移偏移信息(水平和垂直平移)。在其它实施例中， 可以使用更复杂的全局运动模型来提供额外的信息，例如关于三个正交轴的旋转信息以及缩放(变焦)信息。
使用局部运动模型来执行局部运动分析，所述局部运动模型提供密集的局部运动信息。在一些实施例中，局部运动模型提供每个像素的依据时间的平移运动值。局部运动模型还可以提供较粗糙的运动估计，例如提供每个8X8或16X 16大小的像素块的平移运动值。在优选实施例中，局部运动信息提供关于在视频帧的中心区域中出现的运动程度的指示。例如，这可以通过对视频帧的中心区域中的被识别为移动区域的一部分的像素的数量进行计数来进行计算。
在一些实施例中，在数字视频序列200已经被捕获、压缩并存储在处理器可访问的存储器中之后，执行对全局和局部运动信息的计算。这需要已压缩的数字视频序列在可以被分析之前被解压缩。在其它实施例中，在数字视频捕获过程期间，在数字视频序列200 被压缩之前确定全局和局部运动信息。这消除了为了执行全局和局部运动分析而解压缩数字视频序列的需要。在这种情况中，可以将所计算出来的全局和局部运动信·息作为与数字视频序列200相关联的元数据进行存储。可以将元数据存储在数字视频文件中，或者可以将元数据作为与所存储的数字视频序列相关联的单独文件进行存储。在共同转让的、名称为“Video summary method and system”的待决美国专利申请12/786，483中描述了这种方法。
在优选实施例中，分析数字视频的步骤210包括对多个视频帧进行分类的步骤。 图3描述了本发明优选实施例的分类过程。全局运动分析和局部运动分析分别确定的全局运动信息310和局部运动信息320是分类器330的输入，分类器330确定多个视频帧的视频帧类别340。在优选实施例中，分配给视频帧的视频帧类别340包括变焦，快速摇动，感兴趣的以及不活动的。
每当在捕获帧的同时照相机在放大或缩小，分类器330就将该视频帧分类成变焦视频帧。可以使用包括用于检测变焦的缩放参数的全局运动模型通过数字图像分析来检测变焦过程。还可以在捕获时通过识别发送到变焦电机驱动器8的用于调整变焦镜头4的信号来检测变焦过程。
每当在视频帧期间出现的全局平移运动的大小超过阈值，分类器330就将该视频帧分类成快速摇动视频帧。与快速摇动运动相对应的各个视频帧通常是非常模糊的，因而并不是表示数字视频序列的关键视频帧的良好候选。
每当全局平移运动的大小和变焦运动的大小以及局部运动的大小低于指定阈值， 分类器330就将视频帧分类成不活动的视频帧。这样的视频帧指示相对静止的捕获设备以及具有相对较少的对象运动的场景。单个的关键视频帧通常就足以表示数字视频序列的不活动片段。
在缺少额外的类别的情况下，可以将所有其余的视频帧分类成感兴趣的视频帧。 感兴趣的视频巾贞表数字视频序列中的最可能包含表不数字视频序列的关键视频巾贞的良好候选的片段。
在本发明的优选实施例中，为每个视频帧分配一个重要性值215(图2)。可以通过将适当的重要性值与不同视频帧类别340中的每一个类别相关联，而根据视频帧类别340 来确定重要性值215。下表示出了上面描述的每个视频帧类别340的示例性重要性值215。
表I :视频帧类别重要性值
权利要求
1.一种用于确定数字视频的关键视频巾贞的方法，所述数字视频具有视频巾贞的时间序列，所述方法包括使用处理器来执行以下步骤a)分析所述数字视频以确定依据时间的重要性值；b)通过响应于所述依据时间的重要性值对所述视频帧进行时间重定位来形成扭曲时间表示；c)将扭曲时间数字视频序列表示再划分成一组相等的间隔；d)通过分析每个间隔内的视频帧来选择每个间隔的关键视频帧；以及e)将关于所述关键视频帧的指示存储在处理器可访问的存储器中。
2.如权利要求I所述的方法，其中，步骤a)包括分析全局运动。
3.如权利要求I所述的方法，其中，步骤a)包括分析局部运动。
4.如权利要求I所述的方法，其中，步骤a)包括将多个所述视频帧分类成视频帧类别。
5.如权利要求4所述的方法，其中，所述视频帧类别包括变焦、快速摇动、感兴趣的或不活动的。
6.如权利要求4所述的方法，其中，给每个视频帧类别分配一个相应的类别重要性值。
7.如权利要求I所述的方法，其中，步骤d)包括给每个间隔内的多个视频帧分配选择分数。
8.如权利要求7所述的方法，其中，所述选择分数是全局运动和局部运动的函数。
9.如权利要求I所述的方法，其中，步骤d)还包括在每个时间间隔中选择独立编码的视频巾贞，作为所述关键视频中贞。
10.如权利要求I所述的方法，其中，步骤e)包括提取单独的关键视频帧作为不同的文件。
11.如权利要求I所述的方法，其中，步骤e)包括存储关键视频帧的列表，作为与所述数字视频相关联的元数据。
12.如权利要求I所述的方法，其中，步骤e)包括存储所述关键视频帧的缩略图，作为与所述数字视频相关联的元数据。
13.如权利要求I所述的方法，其中，所述扭曲时间数字视频序列表示是通过给所述数字视频的多个部分中的具有较低重要性值的视频帧分配较短的时间范围而形成的。
14.如权利要求I所述的方法，其中，所述扭曲时间数字视频序列表示是通过给所述数字视频的多个部分中的具有较高重要性值的视频帧分配较长的时间范围而形成的。
15.如权利要求I所述的方法，其中，时间间隔的数量是用户指定的。
16.如权利要求I所述的方法，还包括f)根据指定的准则对所述关键视频帧进行排名；g)形成与排名最闻的关键视频巾贞相对应的关键视频片段；h)对所述关键视频片段进行组装以形成视频概要；以及i )将所述视频概要的表示存储在处理器可访问的存储器中。
17.一种数字视频照相机系统，包括图像传感器；光学系统，用于在所述图像传感器上形成场景的图像；数据处理系统；以及存储器系统，通信地连接到所述数据处理系统，并存储被配置成使得所述数据处理系统实现用于确定数字视频的关键视频帧的方法的指令，其中，所述指令包括使用所述图像传感器捕获数字视频，所述数字视频具有视频帧的时间序列；分析所述数字视频以确定依据时间的重要性值；通过响应于所述依据时间的重要性值对所述视频帧进行时间重定位来形成扭曲时间表不;将扭曲时间数字视频序列表示再划分成一组相等的间隔；通过分析每个间隔内的视频帧来选择每个间隔的关键视频帧；以及将关于所述关键视频帧的指示存储在处理器可访问的存储器中。
全文摘要
一种用于确定数字视频的关键视频帧的方法，所述数字视频具有视频帧的时间序列，所述方法包括使用处理器来执行以下步骤分析所述数字视频以确定依据时间的重要性值；通过响应于所述依据时间的重要性值对所述视频帧进行时间重定位来形成扭曲时间表示；将扭曲时间数字视频序列表示再划分成一组相等的间隔；通过分析每个间隔内的视频帧来选择每个间隔的关键视频帧；以及将关于所述关键视频帧的指示存储在处理器可访问的存储器中。
文档编号H04N21/8549GK102939630SQ201180025386
公开日2013年2月20日 申请日期2011年5月17日 优先权日2010年5月25日
发明者A·T·迪弗 申请人:伊斯曼柯达公司