根据输入视频创建修改视频的方法和设备的制作方法

专利名称：根据输入视频创建修改视频的方法和设备的制作方法
技术领域：
本发明涉及一种用于根据输入视频创建修改视频的方法和设备，例如涉及一种用
于对录像摄像机所捕获的输入视频进行编辑的方法和设备。
背景技术：
从诸如录像摄像机之类的视频记录器创建的视频内容通常具有比专业内容要低的质量。即使在对原始录像摄像机镜头进行高级用户编辑之后，习惯观看专业编辑内容的用户仍不满意结果产生的质量。 录像摄像机所生成的视频内容看起来劣于专业内容的一个原因是视频场景通过单个照相机，例如利用单个记录角度来拍摄。相反地，对于专业内容而言，使用了多角度照相机，其允许在不同场景之内切换，例如从大角度拍摄切换到特写镜头。 目前，虽然向用户提供了一些视频编辑软件以进行视频编辑，但是这样的软件需要若干专门技能，这使得它们难以使用并且还很耗时。

发明内容
本发明的目的是提供一种根据输入视频来创建修改视频的方法。 为此，根据本发明的方法包括以下步骤生成至少一个与输入视频的子视图相对
应的子视频；以及沿着时间轴将所生成的子视频集成到输入视频中以创建修改视频。 该修改视频包括来自输入视频的若干个特写镜头内容，该修改视频比原始输入视
频更吸引人。 有利的是，该生成步骤还包括识别子视图的步骤以及从原始输入视频中提取子视图的步骤。 有利的是，该集成步骤包括用所生成的子视频替换输入视频剪辑的步骤。 有利的是，该集成步骤包括将所生成的子视频插入到输入视频中的步骤。 本发明的另一目的是提供一种用于根据输入视频创建修改视频的设备。 为此，根据本发明的设备包括第一模块，用于生成至少一个与所述输入视频的子
视图相对应的子视频；以及第二模块，用于沿着时间轴将所述子视频集成到所述输入视频
中以创建所述修改视频。 本发明的又一目的是提供一种包括如上所述的设备、用于根据输入视频创建修改视频的视频记录器。 下面将给出对本发明的详细说明及其他方面。


现在参考在下文中所描述的并且结合附图所考虑的实施例对本发明的特定方面进行说明，在附图中以相同方式来指定相同部分或子步骤 图1描述了根据本发明、根据输入视频创建修改视频的方法的流程3
图2描述了根据本发明、从输入视频中识别子视图的示例。
图3描述了根据本发明、从输入视频中提取子视图的示例； 图4、图5、以及图6描述了根据本发明的沿着时间轴的修改视频的示例； 图7描述了根据本发明、提取其大小逐渐改变的一组子视图的示例； 图8描述了根据本发明、在屏幕上移动子视图的示例； 图9描述了在本发明中使用的图形用户界面的示例； 图10描述了根据本发明、用于根据输入视频创建修改视频的功能模块的框图；
图11示意性地描述了根据本发明的实施例、用于根据输入视频创建修改视频的装置。
具体实施例 图1给出了根据本发明、根据输入视频创建修改视频的方法的第一流程图。
该方法包括生成至少一个与输入视频的子视图相对应的子视频的步骤100，继 之是沿着时间轴将所生成的子视频集成到输入视频中以创建修改视频的步骤IIO。
在下文中，输入视频可以是例如MPEG-2、 MPEG-4、 DV、 MPG、 DAT、 AVI、 DVD或M0V这 样的任何视频格式。输入视频可以通过例如录像摄像机等等这样的摄像机来捕获。
根据本发明，子视图是输入视频中的图像的局部视图。例如，图2示出了描述具有 位于左边的第一人(面部1)和位于右边的第二人(面部2)的场景的输入视频200， 201是 包括面部1的第一子视图；202是包括面部2的第二子视图；203是同样包括面部2但是具 有比子视图202更大背景的子视图的另一示例。 根据本发明，子视频是由包括子视图(其属于输入视频的连续帧)的数据的帧组 成，并且通过生成步骤100生成。例如，图3沿着时间轴描述了具有位于左边的第一人和位 于右边的第二人(或者在交谈或者在倾听)的输入视频300的场景。子视频311 (虚线所 环绕的)由这样的帧组成，这些帧包括生成步骤100所生成的子视图301。按照相同的方 式，还生成了与子视图302相对应的子视频312以及与子视图303相对应的子视频313。
应该注意的是在下面的附图中，为了便于说明，仅为每个不同视频场景示出了一 个画面。 步骤110用于将子视频集成到输入视频中。图4给出了沿着时间轴的、由输入视频 420和子视频412、411、413组成的修改视频400。换句话说，在修改视频400中，在第一分 钟期间，将播放属于输入视频420的第一分钟的剪辑；在第二分钟期间，将播放子视频412 ; 在第三分钟期间，将播放子视频411 ;在第四分钟期间，将播放子视频413 ;而在第五分钟期 间，将播放属于输入视频420的第五分钟的剪辑。按照这样的方式，通过沿着时间轴组合子 视频和输入视频的剪辑，创建了修改视频400。 所属技术领域的专业人员应该理解的是，如下面所详细说明的那样，集成步骤IIO 可以由各种方法根据输入视频的数据内容来实现。 作为选择，如图1的流程图所述，步骤100还包括识别子视图的步骤101。 为了识别视频中的子视图，必须给定若干参数选择。例如，需要给出期望子视图的
数目、期望子视图的大小、以及期望子视图的形状。 如图2所述，所给出的参数选择可以是如果子视图涉及交谈内容，则识别两个不同大小的、包括发言人面部的子视图以及包括倾听人面部的第三子视图。因此，将子视图 202和子视图203标识为发言人的特写镜头，并且将子视图201标识为倾听人的特写镜头。
有利地是，识别步骤101还包括从输入视频中检测出对象、以根据所检测到的对 象识别子视图。 例如，通过对输入视频的数据内容进行检测，可将面部、移动对象、或者中心对象 检测为对象。如图2所述，可将位于画面左边的面部1和位于画面右边的面部2检测为对 象。根据检测结果和预设的参数选择，如在上述识别步骤101中所讨论的那样，识别出包括 所检测到的对象(面部1和面部2)的子视图201、202、203。 作为选择，标识步骤101还包括接收用户的用户输入以识别子视图的步骤。
图9示出了图形用户界面的示例，该图形用户界面向用户显示所有已识别出的子 视图901、902、903以及输入视频的一个画面920。用户可以据此选择用于创建修改视频的 子视图。在该示例中，用户选择了子视图901。 还可完全由通过用户接口的用户输入来识别子视图。在这种情况下，用户将确定 上述参数并且选择要包含在子视图中的对象。 如图1的流程图所示，步骤100还包括从输入视频中提取所识别的子视图的步骤
102。将从输入视频中提取包括子视图数据的一组帧以便生成相应的子视频。 例如，图3示出了沿着时间轴的5分钟输入视频300。如果这些输入视频每秒钟包
括25帧，那么第二分钟包括1500帧。从这1500帧中提取用于生成与子视图302相对应的
子视频312的数据。同样地，从输入视频的第三分钟中生成与子视图301相对应的子视频
311，并且从输入视频的第四分钟中生成与子视图303相对应的子视频313。 提取步骤102可包括预定准则以指示如何并且在哪里提取子视图。 例如，在图3中，准则可以是在相关面部发言时的时间期间提取子视图的数据。例
如，如果位于画面左边的人1在第三分钟期间发言，那么将在输入视频的第三分钟期间连
续提取相关子视图301。 对于另一示例，提取准则可以是通过对所检测的对象进行跟踪来提取子视图的数 据，以便该对象总是在子视图中，而与该对象是否移动无关。 对于另一示例，提取准则允许通过逐渐改变背景大小来提取一组子视图。
例如，图7示出了一组各种大小的子视图。从输入视频700提取大小逐渐增加的 一组子视图(702(1)、702(2)、702(n))。因此，基于大小逐渐增加的这些子视图生成子视频。 当播放相应子视频时，在子视图702与整个视图之间创建縮放效果。 作为选择，如图1所述，集成步骤110包括用所生成的子视频来替换输入视频剪辑 的步骤。所要替换的输入视频剪辑可以与所生成的子视频具有相同长度。换句话说，所生 成的子视频中的帧用于替换相同时间长度的输入视频中的帧。所替换的帧可以是用于生成 子视频的帧。 例如，如图4中所述，在修改视频400中，由子视频412替换了输入视频420的第二 分钟的剪辑、子视频411替换了第三分钟的剪辑、并且子视频413替换了第四分钟的剪辑， 其中从输入视频420的第二分钟中提取了子视频412的数据，并且从输入视频420的第三 分钟中提取子视频411的数据，并且类似地，从输入视频420的第四分钟中提取子视频413 的数据。
作为选择，要被替换的输入视频剪辑可以与所生成的子视频具有不同时间长度， 即，输入视频剪辑的帧数量不同于所生成的子视频的帧数量。 作为选择，在替换步骤111中，子视频还可用于替换任何其他剪辑，这些剪辑没有 用来提供具有相同时间长度的子视频的数据。在这种情况下，应考虑与该视频相关的音频， 因为当替换帧时还要替换相应的音频。为了避免音频混乱，在编辑期间可移除整个原始音 频或者由音乐来替换。 作为选择，如图1中所述，集成步骤110还包括沿着时间轴将子视频插入到输入视 频中的步骤112。在这种情况下，输入视频的总持续时间改变了。 例如，图5描述了根据本发明、沿着时间轴的修改视频500的示例。沿着时间轴将 子视频512插入到输入视频520中。其结果是，修改视频500的总时间长度从5分钟增加 到6分钟。类似地，当插入了子视频512时，也插入了相应音频。在这种情况下，在编辑期 间，可用音乐替换原始音频。因此，当插入子视频时音频不会重复。 作为选择，如图1所述，根据本发明的方法还包括对所生成的子视频的显示大小
进行放大的步骤107。例如，将子视频放大至原始输入视频的整个屏幕大小。 例如，图6示出了沿着时间轴的修改视频600 ，其中对子视频611 、 612 、以及613的
显示大小进行放大。 作为选择，放大步骤107还包括提高所放大子视频的分辨率的步骤108。
提高分辨率的一个示例是上调(up-scaling)，其中人为地增加像素。例如通过 提高分辨率的步骤108可进行将SD_(标准密度)(576*480像素)上调至HD_(高密度) (1920*1080像素)。 作为选择，根据本发明的方法还包括沿着时间轴使所提取的子视图的位置逐渐移 动的步骤105。该步骤可在修改视频中给出摇摄效果(pan effect)。 图8示出了连续移动所提取的子视图802 (a) 、802 (b) 、802 (c)、以及802 (n)的位置 的示例。当对由位于屏幕不同位置的子视图(802(a)、802(b)、802(c)、802(n))的帧所组成 的子视频进行播放时，将创建出摇摄效果。 作为选择，根据本发明的方法还包括使子视频渐显或渐弱的步骤106。渐显在这里
是指使图像或声音逐渐出现或被听到。渐弱在这里是指使图像或声音逐渐消失。 图10描述了根据本发明、用于根据输入视频IOOI创建修改视频1030的设备1000
的功能模块。设备1000的功能模块用于执行上述根据本发明的方法中的步骤的功能。 视频修改设备1000包括第一模块IOIO，用于生成至少一个与输入视频的子视图
相对应的子视频；以及第二模块1020，用于沿着时间轴将所生成的子视频集成到原始输入
视频中以创建修改视频。 第一模块IOIO还包括第一单元1011，用于从原始输入视频的数据内容中识别出
子视图；以及第二单元1012，用于从原始输入视频中提取所标识的子视图。 第一单元1011用于根据预定优选和给定对象来标识子视图。为了检测对象，可使
用若干种对象检测单元。诸如面部检测单元、移动对象检测单元、中心对象检测单元等。
与根据本发明方法的先前描述类似，在检测了对象之后，此后系统根据预定优选来标识包
括有所检测的对象的子视图。 与上述步骤102类似，第二单元1012用于从原始输入视频中提取子视图。
第二模块1020用于将子视频集成到原始输入视频中以便创建修改视频。 作为选择，与根据本发明的方法所描述的步骤111类似，第二模块1020还包括用
于用所生成的子视频来替换输入视频的剪辑的第三单元1021。 作为选择，与根据本发明的方法所描述的步骤112类似，第二模块1020还包括用 于将所生成的子视频插入到原始输入视频中的第四单元1022。 作为选择，第一模块1010还包括接收用户的用户输入以标识子视图的第五单元 1013。接收单元1013经由用户接口接收用户输入。与上面根据本发明的方法所描述的、接 收用户输入的步骤类似，用户可选择系统提供的子视图或者选择对象并直接标识相应子视 图。 图11示出了根据本发明、用于根据输入视频创建修改视频的设备实现的示例。
该实现包括 第一处理器1181，用于标识包括有原始输入视频中的给定对象的子视图；以及 与所述第一处理器1181相连的第一存储器1182，用于存储所标识的子视图和相
关的代码指令。
该实现还包括 第二处理器1183，用于从原始输入视频中提取子视图；以及 与所述第一处理器1183相连的第二存储器1184，用于存储所提取的子视图数据
和相关代码指令。
该实现还包括 第三处理器1185，用于集成初始输入视频；以及 与所述第三处理器1185相连的第三存储器1186，用于存储原始输入视频、所生成 的子视频、修改视频、以及相关代码指令。 存储器1182-1184-1186和处理器1181-1183-1185有利地经由数据总线进行通信。 所属技术领域的专业人员应该理解的是，存储器H82、1184、以及1186可组合到 一个存储器中，而且处理器1181 、 1183、 1185可组合到单个处理器中。 所属技术领域的专业人员还应该理解的是，本发明可以通过硬件或软件或他们的 组合来实现。 本发明还涉及这样的视频记录器，该视频记录器用于记录输入视频，并且包括用 于从输入视频创建修改视频的设备1000。该视频记录器例如与录像摄像机等等相对应。
虽然在附图和先前描述中已对本发明进行了说明并对其进行了详细的描述，但是 应该认为该说明和描述是说明性或示意性的，而并不是限制性的；本发明并不受限于所公 开的实施例。 不应将权利要求中的任何参考符号看作是对权利要求的限制。单词"包括"不排 除存在除权利要求中所列举的元件之外的其他元件。元件之前的单词"一"或"一个"不排 除存在多个这样的元件。
权利要求
一种用于根据输入视频(420，520，620)创建修改视频(400，500，600)的方法，该方法包括步骤生成(100)至少一个与所述输入视频的子视图相对应的子视频；以及沿着时间轴将所述子视频集成(110)到所述输入视频中，以便创建所述修改视频。
2. 如权利要求l所述的方法，其中所述生成步骤(100)还包括标识子视图的步骤 (101);以及从所述输入视频中提取所述子视图的步骤(102)。
3. 如权利要求2所述的方法，其中所述标识步骤(101)还包括从所述输入视频中检测对象、以根据所检测到的对象标识子视图的步骤。
4. 如权利要求2所述的方法，其中所述标识步骤(101)还包括接收用于标识子视图的用户输入的步骤。
5. 如权利要求2所述的方法，其中所述提取步骤允许通过逐渐改变背景大小来提取一 组子视图。
6. 如权利要求1所述的方法，其中所述集成步骤(110)包括用所生成的子视频输入视频的剪辑的步骤(111)。
7. 如权利要求1所述的方法，其中所述集成步骤(110)包括将所述子视频插入到所述输入视频中的步骤(112)。
8. 如权利要求1所述的方法，还包括放大所述子视频的显示大小的步骤(107)。
9. 如权利要求8所述的方法，其中所述放大步骤还包括提高所放大的子视图的分辨率的步骤(108)。
10. 如权利要求2所述的方法，还包括沿着时间轴逐渐移动所提取的子视图的位置的步骤(105)。
11. 如权利要求1所述的方法，还包括使所述视频渐显或渐弱的步骤(106)。
12. —种用于根据输入视频(420,520,620)创建修改视频(400， 500， 600)的设备，所述设备包括第一模块(1010)，用于生成至少一个与所述输入视频的子视图相对应的子视频；以及第二模块(1020)，用于沿着时间轴将所述子视频集成到所述输入视频中以便创建所述修改视频。
13. 如权利要求12所述的设备，其中所述第一模块(1010)还包括第一单元(1011)， 用于从所述输入视频中标识子视图；以及第二单元(1012)，用于从所述输入视频中提取所 述子视图。
14. 如权利要求12所述的设备，其中所述第二模块(1020)包括第三单元(1021)，用于 用所生成的子视频来替换输入视频中的剪辑。
15. 如权利要求12所述的设备，其中所述第二模块(1020)包括第四单元(1022)，用于 将所述子视频插入到所述输入视频中。
16. 如权利要求12所述的设备，其中所述第一模块(1010)还包括第五单元(1013)，以 接收用于标识子视图的用户输入。
17. —种用于记录输入视频的录像摄像机，所述录像摄像机包括如权利要求12所述的 设备，用于根据所述输入视频(420,520,620)创建修改视频(400， 500，600)。
全文摘要
本发明提供了一种用于根据输入视频创建修改视频的方法和设备，该方法包括步骤生成至少一个与输入视频的子视图相对应的子视频；以及沿着时间轴将所生成的子视频集成到原始输入视频中以创建所述修改视频，所述修改视频因此包括若干来自输入视频的特写镜头内容，所述修改视频比原始输入视频更吸引人。
文档编号H04N5/262GK101785298SQ200880102550
公开日2010年7月21日 申请日期2008年8月5日 优先权日2007年8月9日
发明者D·P·凯利 申请人:皇家飞利浦电子股份有限公司