专利名称：运动图像编辑设备和方法
技术领域：
本发明涉及一种用于编辑多个运动图像的图像编辑设备、以及用于控制该图像编辑设备的方法及程序。
背景技术：
对于视频信号存在多个不同类型的系统。例如，这些系统包括由国家电视系统委员会(NTS C, national television systemcommittee)禾口逐对亍倒相(PAL, phase alternation by line)所分别制定的模拟电视(TV)广播用的标准格式、以及电影动画用的格式。在这些格式中，帧频彼此不同，因而将一种类型的视频信号转换成输出装置可利用的、帧频不同的其它类型的视频信号(参考日本特开2000-3M453号公报)。另一方面，近年来，与仅可以处理特定格式的视频信号的传统的电视机不同，诸如个人计算机(PC)等的输出装置可以处理多个格式的运动图像。此外，PC可以经由因特网从万维网(WEB)服务器下载各种类型的格式的运动图像数据。当能够处理多个格式的运动图像的装置组合各自采用不同格式的多个运动图像以新创建一个运动图像时，用户不得不从多个帧频中选择要采用哪个帧频，由此对用户施加了较多的工作。此外，对于不熟悉操作该装置的用户而言，用户难以判断哪个帧频适合， 因此可能错误地进行了选择。结果，有时不能获得平滑的运动图像。
发明内容
根据本发明的方面，一种运动图像编辑设备，包括分类单元，用于根据运动图像的帧频将要组合的多个运动图像分类成组，其中，分类到同一组的运动图像的帧频为同一值的整数倍；第一选择单元，用于基于属于各个组的运动图像的量，从分类得到的组中选择一个组；第二选择单元，用于基于针对属于所选择的组的运动图像的各个帧频的运动图像的量，从属于所选择的组的运动图像的帧频中选择一个帧频；转换单元，用于将要组合的多个运动图像转换成所述第二选择单元所选择的帧频；以及组合单元，用于组合转换后的多个运动图像。根据本发明的另一方面，一种运动图像编辑方法，包括以下步骤根据运动图像的帧频将要组合的多个运动图像分类成组，其中，分类到同一组的各个运动图像的帧频为同一值的整数倍；基于属于各个组的运动图像的量，从分类得到的组中选择一个组；基于针对属于所选择的组的运动图像的各个帧频的运动图像的量，从属于所选择的组的运动图像的帧频中选择一个帧频；将要组合的多个运动图像转换成所选择的帧频；以及组合转换后的多个运动图像。根据本发明的方面，当通过组合不同格式的多个运动图像来创建运动图像时，可以在不对用户施加过多工作的情况下设置适合的帧频。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明
3显。
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。图1是示出根据本发明的典型实施例的图像编辑设备的结构的框图。图2是示出根据本发明的典型实施例的图像编辑设备所进行的操作的流程图。图3A和IBB示出根据本发明的典型实施例的运动图像选择画面。图4是示出根据本发明的典型实施例的图像编辑设备的操作的流程图。图5示出根据本发明的典型实施例的要编辑的运动图像数据。图6是示出根据本发明的典型实施例的图像编辑设备所进行的操作的流程图。图7是示出根据本发明的典型实施例的图像编辑设备所进行的操作的流程图。图8是示出根据本发明的典型实施例的图像编辑设备所进行的操作的流程图。图9示出根据本发明的典型实施例的要编辑的运动图像数据。
具体实施例方式以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。然而，本典型实施例所述的结构元件仅是例子，并且并不意图限制本发明的范围。在本典型实施例中，将说明图像编辑设备通过组合帧频不同的多个运动图像数据来创建一个运动图像数据的情况。根据本典型实施例的图像编辑设备要混合并组合以下的 NTSC系统、PAL系统、电影系统和其它系统中的运动图像数据在NTSC系统中，帧频为每秒 30帧(fps) (29. 97fps)的整数倍；在PAL系统中，帧频为25fps的整数倍；在电影系统中， 帧频为Mfps。更具体地，根据本典型实施例，属于同一系统的运动图像数据的帧频为同一值的整数倍，并且属于不同系统的运动图像数据的帧频为不同值的整数倍。例如，除了帧频为 30fps的运动图像数据以外，在NTS C系统中还包括帧频为作为“30”的2倍的60fps的运动图像数据。另一方面，帧频为作为“25”的2倍的50fps的运动图像数据不属于NTS C系统而属于PAL系统。首先，参考图1所示的框图，将说明本典型实施例的图像编辑设备的结构。在图1中，图像编辑设备100可以由诸如个人计算机(PC)等的信息处理设备来实现。控制单元101是例如用以整体控制图像编辑设备100的中央处理单元(CPU)。只读存储器(ROM) 102存储无需改变的程序和参数。随机存取存储器(RAM) 103暂时存储从外部装置供给的程序和数据。外部存储装置104包括对图像编辑设备100固定设置的硬盘和存储卡、或者从图像编辑设备100可拆卸的存储卡。根据本典型实施例的外部存储装置104记录诸如操作系统(0 、各种类型的程序以及图像数据等的数字数据。特别地，根据本典型实施例的外部存储装置104将以下将作为控制单元101执行的计算机可读程序代码来说明的运动图像编辑程序记录在控制单元101中。与输入装置的接口 105接收用户进行的操作，并且将图像编辑设备100与用于输入数据的、诸如指示装置(鼠标)和键盘等的输入装置109相连接。显示器110显示图像编辑设备100所保持的数据和供给至图像编辑设备100的数据。显示器接口 106将图像编辑设备100与显示器110相连接。网络接口 107将图像编辑设备100与诸如因特网等的网络线路111相连接。系统总线113可通信地相互连接各单元101、102、103、104、105、106和107。在本典型实施例中，说明了将运动图像编辑程序记录在外部存储装置104中的例子，然而，可以将本发明应用于将运动图像编辑程序记录在ROM 102中或保持在网络上的情况。在本典型实施例中，将说明由PC来实现图像编辑设备的例子。此外，本发明同样可应用于诸如数字照相机等的摄像设备。接着，将参考图2所示的流程图来说明本典型实施例的图像编辑设备100进行的操作。当图像编辑设备100的控制单元101从外部存储装置104读取OS或运动图像编辑程序以启动该OS或运动图像编辑程序时，可以实现以下操作。在步骤S201中，控制单元101在显示器110上显示初始状态的运动图像选择画面。在步骤S202中，响应于用户对输入装置109进行的操作，控制单元101从外部存储装置104中存储的运动图像数据中选择要编辑的运动图像数据，并且在步骤S203中，设置运动图像数据的顺序。例如，在图3A所示的运动图像选择画面300中，显示与要编辑的运动图像数据相对应的缩略像，其中，将这些缩略像中的第一个缩略像排列在左侧。当用户操作输入装置109以移动缩略像301时，响应于该操作，缩略像301的位置改变，并且显示为如图3B所示。根据缩略像排列的顺序，RAM 103存储要编辑的运动图像数据的顺序。接着，响应于用户对输入装置109进行的操作，控制单元101开始要编辑的运动图像数据的编辑处理，并且在步骤S204中判断是否自动选择帧频。响应于用户对输入装置 109进行的操作，控制单元101预先将与是否自动选择帧频有关的信息存储在外部存储装置104中。如果不自动选择帧频，则外部存储装置104存储与运动图像编辑软件相关联的预定帧频。当判断为自动选择帧频时(步骤S204中为“是”)，在步骤S205中，控制单元101 进行以下将说明的帧频的选择处理。在步骤S206中，控制单元101将要编辑的运动图像数据的帧频转换成在步骤S205中选择的帧频。另一方面，当判断为不自动选择帧频时(步骤S204中为“否”)，在步骤S207中， 控制单元101从外部存储装置104读取预定帧频。在步骤S208中，将要编辑的运动图像数据的帧频转换成在步骤S207中读取的预定帧频。在步骤S206和S208中，不对具有与转换后的帧频相同的帧频的运动图像数据进行帧频的转换处理。在步骤S209中，控制单元101在转换帧频之后，通过组合要编辑的运动图像数据来新创建运动图像数据。在步骤S210中，外部存储装置104存储该新创建的运动图像数据。接着，将参考图4所示的流程图来说明在步骤S 205中本典型实施例的图像编辑设备100进行帧频的选择处理的操作。首先，在步骤S401中，控制单元101从外部存储装置104读取要编辑的运动图像数据。在步骤S402中，基于各运动图像数据的帧频，控制单元101识别各运动图像数据的系统，以将要编辑的运动图像数据分类成系统组。在步骤S403中，控制单元101比较这些系统组中包括的运动图像数据的量，并且选择运动图像数据的量最大的系统组。运动图像数据的量表示运动图像数据的个数、运动图像数据的再现时间或帧数。 当运动图像数据的量最大的系统组存在多个时，控制单元101根据预定规则选择这些系统组中的任一个系统组。例如，当PAL系统组和NTSC系统组各自所包括的运动图像数据的量相同时，选择PAL系统组。在步骤S404中，控制单元101从要编辑的运动图像数据中提取在步骤S403中选择的系统组中包括的运动图像数据。在步骤S405中，控制单元101识别提取出的运动图像数据的帧频，并且针对各个帧频比较运动图像数据的量，以选择运动图像数据的量最大的帧频。图5示出根据本典型实施例的要编辑的运动图像数据的示例。在图5中，选择了 11个运动图像数据进行编辑，并且设置了这11个运动图像数据的顺序。第1个、第3个、第4个、第9个和第10个运动图像数据属于帧频为25fps的PAL 系统。第2个、第5个、第6个和第7个运动图像数据属于帧频为30fps的NTSC系统，并且第8个和第11个运动图像数据属于帧频为60fps的NTSC系统。如果将运动图像数据的量定义为运动图像数据的个数，则在这11个运动图像数据中包括了 6个NTSC系统中的运动图像数据和5个PAL系统中的运动图像数据。因而，在步骤S403中，控制单元101选择NTSC系统。此外，由于NTSC系统包括4个帧频为30fps 的运动图像数据和2个帧频为60fps的运动图像数据，因此，在步骤S405中，控制单元101 选择30fps。在步骤S208中，控制单元101进行用于按每5帧对帧频为25fps的运动图像数据插入1帧的处理、以及用于将帧频为60fps的运动图像数据间隔剔除为一半的处理，以将这些运动图像数据转换成帧频为30fps的运动图像数据。在本典型实施例中，说明了 NTSC系统和PAL系统这两类系统组中包括的运动图像数据。此外，本典型实施例同样可应用于其它类型的系统组中包括的运动图像数据。此外，在步骤S405中，控制单元101基于运动图像数据的量选择帧频，然而，控制单元101可以基于其它标准来选择帧频。例如，无论运动图像数据的量如何，都可以选择最大的帧频。如图5所示，当在步骤S403中获取的系统组中包括的运动图像数据的帧频为 30fps和60fps时，控制单元101选择60fps。此外，在步骤S405中，当运动图像数据的量最大的帧频存在多个时，控制单元101可以选择较大的帧频。此外，在步骤S 402中，控制单元101基于运动图像数据的帧频来识别运动图像数据的系统。然而，识别方法不限于此，并且控制单元101可以基于表示诸如分配给运动图像数据的文件的类型等的各种类型的信息的元数据来识别系统。在如上所述的本典型实施例中，首先基于要编辑的运动图像数据的各系统组中包括的运动图像数据的量来选择系统组。此外，基于针对各帧频的系统组中包括的运动图像数据的量来选择帧频。利用该配置，即使组合帧频不同的多个运动图像数据，也可以减少不连续部分以创建平滑的运动图像数据。
例如，关于图5所示的要编辑的运动图像数据，如果在不考虑各系统组中包括的运动图像数据的个数的情况下、仅通过针对各个帧频比较运动图像数据的个数来选择运动图像数据的量最大的帧频，则选择25fps。当将NTSC系统中的帧频为30fps或60fps的运动图像数据转换成PAL系统中的帧频为25fps的运动图像数据时，通常进行用于对帧进行间隔剔除的处理。例如，当帧频为 30fps时，按每6帧间隔剔除1帧。当帧频为60fps时，将帧间隔剔除为一半，并且进一步按每6帧间隔剔除1帧。如上所述，当将帧频从NTSC系统转换成PAL系统时，由于生成了运动图像数据的帧不是按均勻间隔布置的部分，因此运动图像数据无法平滑地连续。因此，不能获得平滑的视频。此外，当将帧频从PAL系统转换成NTSC系统时，由于同样生成了运动图像数据的帧不是按等间隔布置的部分，因此运动图像数据无法平滑地连续。因此，如上所述，同样不能获得平滑的视频。在第二典型实施例中，将说明基于关于与运动图像数据相关联的属性的信息来选择帧频的情况。在以下说明中，将不重复说明与第一典型实施例中的结构相同的结构，并且将详细说明本典型实施例特有的结构。在本典型实施例中，作为属性信息，将说明表示运动图像数据的重要性的等级信息(ratinginformation)作为例子，然而，本典型实施例可以同样应用于运动图像数据的图像大小及其记录率。参考图6所示的流程图，将说明在步骤S205中根据本典型实施例的图像编辑设备 100对帧频进行选择处理的操作。在步骤S601中，控制单元101从外部存储装置104读取要编辑的运动图像数据， 并且在步骤S602中，进行以下将说明的用于针对包括运动图像数据的各系统组计算第一基准量的处理。在步骤S603中，控制单元101针对各个系统组比较第一基准量，并且选择第一基准量最大的系统组，然后生成所选择的系统组中包括的运动图像数据的列表，将该列表存储在RAM 103中。当多个系统组具有最大的第一基准量时，控制单元101根据预定规则识别这些系统组中的任一个系统组。例如，控制单元101按NTSC系统、PAL系统、电影系统和其它系统的顺序选择系统组。接着，在步骤S604中，控制单元101对与该列表相关联的运动图像数据进行以下将说明的用于计算运动图像数据的第二基准量的处理。在步骤S605中，控制单元101针对各个帧频比较第二基准量，并且选择第二基准量最大的帧频。当多个帧频具有最大的第二基准量时，选择较大的帧频。接着，参考图7所示的流程图，将说明在步骤S602中根据本典型实施例的图像编辑设备100进行用于计算第一基准量的处理的操作。在步骤S701中，控制单元101从外部存储装置104读取要编辑的运动图像数据中的一个运动图像数据，并对其进行分析，并且基于该运动图像数据的帧频判断其系统的类型。在步骤S702中，控制单元101读取与该运动图像数据相关联的等级信息，并且将该等级信息保持为变量“η”。在步骤S703中，控制单元101将变量“η”代入等式“m = η/3”中以计算加权系数“m”。将本典型实施例中的等级信息定义为整数1、2、3、4和5，并且当等级信息没有与该运动图像数据相关联时，控制单元101保持“3”作为变量“η”的初始值。此外，用于计算加权系数“m”的等式不限于以上所述的等式。在步骤S 704中，控制单元101将与该运动图像数据相关联的系统和加权系数“m”保持在RAM103中。在步骤S705中，控制单元101判断是否已经对所有的运动图像数据进行了处理， 并且对其余的运动图像数据重复进行上述处理。当已经对所有的运动图像数据进行了处理时(步骤S705中为“是”)，在步骤S706中，控制单元101针对各个系统组计算加权系数 “m”的总和作为第一基准量。接着，参考图8所示的流程图，将说明在步骤S604中根据本典型实施例的图像编辑设备100进行用于针对各帧频计算运动图像数据的加权系数的处理的操作。首先，在步骤S801中，控制单元101从外部存储装置104读取列表上的运动图像数据中的一个运动图像数据并分析该运动图像数据，从外部存储装置104读取与该运动图像数据相关联的等级信息，并且保持该等级信息作为变量“η”。在步骤S802中，控制单元 101将变量“η”代入等式“m = η/3”中以计算加权系数“m”。用于计算加权系数“m”的等式不限于此。在步骤S803中，控制单元101将与该运动图像数据相关联的帧频和加权系数“m，， 保持在RAM 103中。在步骤S804中，控制单元101判断是否对列表上的所有运动图像数据进行了处理，并且对列表上的其余运动图像数据重复进行上述处理。当控制单元101已经对列表上的所有运动图像数据进行了处理时(步骤S804中为“是”)，在步骤S805中，控制单元101针对各帧频计算加权系数的总和作为第二基准量。图9示出根据本典型实施例的要编辑的运动图像数据的一个例子。在图9中，选择了 14个运动图像数据进行编辑，并且设置了这14个运动图像数据的顺序。第1个、第4 个、第9个、第10个和第12个运动图像数据属于帧频为25fps的整数倍的PAL系统。第2 个、第6个、第13个和第14个运动图像数据属于帧频为30fps的整数倍的NTSC系统。第 3个、第5个和第7个运动图像数据属于帧频为Mfps的电影系统。第8个和第11个运动图像数据属于其它系统。因而，在这14个运动图像数据中，4个运动图像数据属于NTSC系统，5个运动图像数据属于PAL系统，3个运动图像数据属于电影系统，并且2个运动图像数据属于其它系统。 此外，根据本典型实施例的运动图像数据包括与运动图像数据相关联的并且在星号的右侧示出的等级信息。例如，第1个运动图像具有“2”，第2个运动图像具有“3”，并且第3个运动图像具有“5”。因此，PAL系统的第一基准量为13/3，NTSC系统的第一基准量为16/3，电影系统的第一基准量为13/3，并且其它系统的第一基准量为5/3。因而，NTSC系统的第一基准量最大。NTSC系统的第二基准量对于30fps为8/3，并且对于120fps为8/3。由于这两个帧频的第二基准量相同，因此控制单元101选择作为较大的值的120fps。根据本典型实施例，将加权系数应用于第一基准量和第二基准量这两者，然而，可以将加权系数应用于第一基准量和第二基准量中的一个。如上所述，根据本典型实施例，还基于与运动图像数据相关联的属性信息来选择帧频。因此，例如，由于帧频适合于对于用户而言重要的运动图像数据，因此可以平滑地再现与该重要的运动图像数据相对应的部分。
8
还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的方面， 其中，由系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施例的功能，来进行该方法的步骤。为了该目的，例如，经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。在这种情况下，系统或设备、以及存储有程序的存储介质包括于本发明的范围内。尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种运动图像编辑设备，包括分类单元，用于根据运动图像的帧频将要组合的多个运动图像分类成组，其中，分类到同一组的运动图像的帧频为同一值的整数倍；第一选择单元，用于基于属于各个组的运动图像的量，从分类得到的组中选择一个组；第二选择单元，用于基于针对属于所选择的组的运动图像的各个帧频的运动图像的量，从属于所选择的组的运动图像的帧频中选择一个帧频；转换单元，用于将要组合的多个运动图像转换成所述第二选择单元所选择的帧频；以及组合单元，用于组合转换后的多个运动图像。
2.根据权利要求1所述的运动图像编辑设备，其特征在于，所述运动图像的量表示运动图像的个数、运动图像的再现时间和运动图像的帧数至少之一。
3.根据权利要求1所述的运动图像编辑设备，其特征在于，所述第二选择单元还基于帧频的大小来选择帧频。
4.根据权利要求1所述的运动图像编辑设备，其特征在于，所述第二选择单元还基于与运动图像有关的属性信息来选择帧频。
5.根据权利要求4所述的运动图像编辑设备，其特征在于，所述属性信息包括等级、图像大小和记录率至少之一。
6.根据权利要求1所述的运动图像编辑设备，其特征在于，至少存在针对NTSC系统、 PAL系统和电影系统之一的组。
7.—种运动图像编辑方法，包括以下步骤根据运动图像的帧频将要组合的多个运动图像分类成组，其中，分类到同一组的各个运动图像的帧频为同一值的整数倍；基于属于各个组的运动图像的量，从分类得到的组中选择一个组； 基于针对属于所选择的组的运动图像的各个帧频的运动图像的量，从属于所选择的组的运动图像的帧频中选择一个帧频；将要组合的多个运动图像转换成所选择的帧频；以及组合转换后的多个运动图像。
全文摘要
本发明提供一种运动图像编辑设备和方法。该运动图像编辑设备在用户新创建运动图像时，自动选择适合的帧频以提高通过组合帧频不同的多个运动图像所生成的新运动图像的图像质量，从而防止用户进行过多的选择工作。本发明的图像编辑设备基于帧频来将要组合的多个运动图像分类成组，比较各个组中包括的运动图像的量，并且选择运动图像的量最大的组。此外，该图像编辑设备比较所选择的组中包括的针对各个帧频的运动图像的量，以选择运动图像的量最大的帧频。该图像编辑设备将要组合的运动图像转换成所选择的帧频，然后组合转换后的多个运动图像。
文档编号H04N7/01GK102164264SQ20111004169
公开日2011年8月24日 申请日期2011年2月21日 优先权日2010年2月19日
发明者三河拓马 申请人:佳能株式会社