图像编辑装置和图像编辑方法

图像编辑装置和图像编辑方法
【专利摘要】本发明涉及一种图像编辑装置、图像编辑方法和程序。提供用于生成包括图像材料中的多个场景的子集的编辑作品的方法和信息处理装置。该信息处理装置包括被配置为存储包括多个场景的图像材料的存储器。该信息处理装置还包括处理器，该处理器配置为基于编辑作品的前一个（第n-1个）场景的至少一个特征和所述多个场景的特征，从所述多个场景中选择用于编辑作品的第n个场景的多个第一候选场景。该处理器还配置为生成包括场景选择区域和预览区域的图形用户界面。该场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像，并且该预览区域包括前一个（第n-1个）场景的预览。
【专利说明】图像编辑装置和图像编辑方法
[0001]本申请是申请日为2010年7月22日、申请号为20101237418.6、发明名称为“图
像编辑装置和图像编辑方法”的发明专利申请的分案申请。
【技术领域】 [0002]本发明涉及图像编辑装置、图像编辑方法和程序。
【背景技术】
[0003]以诸如摄像放像机的成像装置拍摄和记录的运动图像包括未成功拍摄图像的场景或不必要的场景，因此必须对该运动图像进行编辑，以便使其看起来平滑连续。出于这个目的，已经开发了用于在诸如个人计算机(PC)等的编辑装置中编辑运动图像的各种编辑应用软件。
[0004]然而，对于过去不习惯于编辑运动图像的用户，存在关于编辑环境和编辑技能的障碍，因此，上述编辑应用很难说被广泛地使用。例如，关于编辑环境的障碍可能是对PC以及适用于该PC的编辑应用的选择是困难的，PC必须具有高规格，或应用操作的学习是麻烦的。另外，关于编辑技能的障碍可能是选择运动图像中的场景将被划分的位置的任务、选择或删除场景的任务、连接多个场景的任务、或指定将被在场景之间应用的图像转换效果的任务是困难的。
[0005]因此，已经为运动图像的自动编辑开发了各种PC应用。在这些应用之中，根据一种全自动编辑应用，通过简单地指定将被编辑的运动图像和所希望的模板，用户可以实现运动图像的编辑结果。例如，JP-A-2004-159331公开了一种自动编辑应用，该应用计算从视频中提取出的子镜头的重要性，并且根据该重要性生成视频概要。
[0006]然而，根据该全自动编辑应用，不允许用户调整已被自动调整的运动图像，并且可能无法获得所希望的作品。因此，还开发了允许对已被自动编辑的运动图像进行调整的应用。例如，Sony Corporation (索尼公司)"VA10 de kantan!Suteki na movie wotsukuttemiyo!，"[online (在线)][searched on Julyl6, 2009 (搜索于 2009 年 7 月 16日)]，Internet (因特网)<URL:http://vcl.vai0.sony.c0.jp/support/special/appl/dvd_howto05-4.html>公开了一种自动编辑应用，该自动编辑应用能够向已通过一种应用自动编辑的运动图像中增加新场景或从中删除场景，或能够通过用户操作重新安排场景的顺序。

【发明内容】

[0007]然而，根据允许在自动编辑之后的调整的上述编辑应用，在自动编辑之后，用户必须执行检查多个场景的必要性以及转换或增加每个场景的用户操作，因此，仍然有改进操作系统的空间。另外，它不能够向用户呈现可被适合地链接在某个场景之后的多个推荐场
旦-5^ ο
[0008]本发明解决上述的问题，并且使得能够向用户呈现在对自动编辑图像作品进行调整时，可被适合地链接在某个场景之后的多个候选场景，并且还使得用户能够通过简单的操作系统容易地产生用户喜欢的图像作品。
[0009]根据一个示例实施例，提供了一种信息处理装置，该信息处理装置用于生成包括图像材料中的多个场景的子集的编辑作品。该信息处理装置包括存储器和处理器。该存储器配置为存储包括多个场景的图像材料。该处理器配置为基于所述编辑作品的前一个(第η-1个)场景的至少一个特征和所述多个场景的特征，从所述多个场景中选择用于编辑作品的第η个场景的多个第一候选场景，并且生成包括场景选择区域以及预览区域的图形用户界面，所述场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像，并且所述预览区域包括前一个(第η-1个)场景的预览。
[0010]另外，根据另一个示例实施例，提供了一种生成包括图像材料中的多个场景的子集的编辑作品的方法。该方法包括存储包括多个场景的图像材料。基于所述编辑作品的前一个(第η-1个)场景的至少一个特征和所述多个场景的特征，由信息处理装置的处理器从所述多个场景中选择用于编辑作品的第η个场景的多个第一候选场景。另外，由所述信息处理装置的处理器生成图形用户界面。该图形用户界面包括场景选择区域以及预览区域，所述场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像，并且所述预览区域包括前一个(第η-1个)场景的预览。
[0011]另外，根据另一个示例实施例，提供了一种用于生成包括图像材料中的多个场景的子集的编辑作品的非暂时性计算机可读存储介质。该非暂时性计算机可读存储介质存储指令，当被处理器执行时，所述指令使得所述处理器存储包括多个场景的图像材料。基于所述编辑作品的前一个(第η-1个)场景的至少一个特征和所述多个场景的特征，由信息处理装置的处理器从所述多个场景中选择用于编辑作品的第η个场景的多个第一候选场景。另夕卜，由所述信息处理装置的处理器生成图形用户界面。该图形用户界面包括场景选择区域以及预览区域，所述场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像，并且所述预览区域包括前一个(第η-1个)场景的预览。
【专利附图】

【附图说明】
[0012]图1是示出了根据本发明的示例实施例的编辑屏幕的显示例子的图；
[0013]图2是示出了根据示例实施例的图像编辑装置的硬件配置的框图；
[0014]图3是示出了根据示例实施例的图像编辑装置的功能配置的框图；
[0015]图4是示出了根据示例实施例的图像材料的特征的例子的图；
[0016]图5是示出了根据示例实施例的使用图像编辑装置的图像编辑方法的流程图；
[0017]图6是示出了根据示例实施例的对编辑材料组的分析处理的例子的概念图；
[0018]图7是示出了根据示例实施例的候选场景的选择处理的例子的概念图；
[0019]图8是示出了根据示例实施例的根据基于故事的编辑模式的编辑屏幕的显示例子的图；
[0020]图9是示出了根据示例实施例的根据音乐驱动的编辑模式的编辑屏幕的显示例子的图；
[0021]图10是示出了根据示例实施例的根据场景放弃(scene drop)的编辑模式的编辑屏幕的显示例子的图；[0022]图11是示出了根据示例实施例的显示选择菜单的编辑屏幕的显示例子的图；
[0023]图12是示出了根据示例实施例的显示标题的编辑屏幕的显示例子的图；和
[0024]图13是示出了根据本发明的修改例的图像编辑装置的图。
【具体实施方式】
[0025]下面，将参考附图详细描述本发明的优选示例实施例。注意，在本说明书和附图中，以相同的附图标记指代具有大体相同的功能和结构的结构元件，并且省略对这些结构元件的重复解释。
[0026]另外，将以下面示出的顺序进行描述。
[0027]1.编辑方法的概况
[0028]2.编辑屏幕的显示的例子
[0029]3.图像编辑装置的硬件配置
[0030]4.图像编辑装置的功能配置
[0031]5.图像编辑方法
[0032]6.应用例子
[0033]7.总结
[0034]〈1.编辑方法的概况〉
[0035]首先，将描述根据本示例实施例的第一示例实施例的图像编辑装置的图像编辑方法的概况。
[0036]根据本示例实施例的图像编辑装置包括基于图像材料的特征(属性)自动编辑图像材料的自动编辑功能，以及根据用户输入调整通过自动编辑产生的图像作品以便完成编辑作品的手动调整功能。
[0037]此处，图像材料是由运动图像或静态图像形成的图像数据。例如，图像材料是以诸如数字摄像放像机、数字静态照相机等的成像装置拍摄和记录的图像数据，但是还可以是通过图像处理创建的图像数据，例如CG (计算机图形)、插图等。另外，编辑作品是对图像材料进行编辑的结果，即，通过编辑一个或更多个图像材料获得的图像数据。另外，在本说明书中，图像包括运动图像和静态图像。另外，场景是运动图像的场景的部分或全部。场景是编辑运动图像时所使用的编辑单元。
[0038]采用自动编辑功能，图像编辑装置分析图像材料，并且获得图像材料的特征，并且基于所述特征，将图像材料中的运动图像划分为多个场景。然后，基于该多个场景的特征，图像编辑装置从多个场景中提取适当场景，以适当顺序安排这些提取的场景，并且自动地产生编辑作品。这种自动编辑功能使得能够根据图像材料的特征自动创建适当的编辑作品，从而可以实现用户的便利。
[0039]采用手动调整功能，图像编辑装置显示用于通过自动编辑功能创建的编辑作品的编辑屏幕，并且向已被自动编辑的编辑作品添加场景/从已被自动编辑的编辑作品中删除场景，或者重新安排场景的顺序。这种手动调整功能使得用户能够容易地将已被自动编辑的编辑作品修改为用户喜欢的编辑作品(编辑结果)，从而可以改善编辑作品的质量。
[0040]如上所述，根据本示例实施例的图像编辑装置使用自动编辑功能和手动调整功能，以便编辑图像材料，并且产生用户所希望的编辑作品。在手动调整时，图像编辑装置在编辑屏幕上呈现可被适合地链接在某个场景之后的场景的多个候选(候选场景)。因此，通过从用户喜欢的开头场景起从呈现在编辑屏幕上的多个候选场景中顺序地进行选择，用户可以产生用户希望的编辑作品。如所描述的，根据本示例实施例的图像编辑装置的特征在于提供具有极其简单的操作，并且使得用户能够容易地产生用户喜欢的编辑作品的用户界面(编辑屏幕)。
[0041]〈2.编辑屏幕的显示的例子〉
[0042]接着，将参考图1描述根据本示例实施例的图像编辑装置的编辑屏幕1的概况。图1是示出了根据本示例实施例的图像编辑装置的编辑屏幕1的显示例子的图。
[0043]如图1所示，编辑屏幕1是用于用户手动调整已通过图像编辑装置自动编辑的编辑作品的⑶I (图形用户界面)屏幕。编辑屏幕1被通过安装在图像编辑装置中的应用软件显示在图像编辑装置的显示设备(未示出)上。用户可以通过观看编辑屏幕1检查已被自动编辑的编辑作品的概况，并且还可以执行手动编辑，例如对构成编辑作品的多个场景的增加/删除/重新安排。
[0044]如上所述，基于一个或更多个图像材料的特征，图像编辑装置通过将所述一个或更多个图像材料中的运动图像划分为多个场景，并且以适当的顺序组合所述多个场景中的适当场景，将一个或更多个图像材料自动编辑为编辑作品。已被以这种方式自动编辑的编辑作品由从所述一个或更多个图像材料中提取的多个场景的图像的组合构成。通过在观看编辑屏幕1的同时执行特定操作，用户可以通过删除编辑作品中不必要的场景，通过向其中增加新场景，或通过改变场景的顺序，将已被自动编辑的编辑作品调整(重新编辑)为用户喜欢的作品。编辑屏幕1是使得用户能够通过简单操作执行这种手动编辑的GUI。
[0045]下面，将详细描述编辑屏幕1的配置。另外，在下面将描述这样的情况，其中通过自动编辑生成的编辑作品由m个场景(m是2或大于2的任意整数)构成，并且其中用户在编辑屏幕1上从开头起一个接一个地选择构成该编辑作品的m个场景。编辑作品是通过对图像材料进行自动和手动编辑获得的编辑的最终结果。
[0046]如图1所示，编辑屏幕1在一个屏幕上包括场景选择区域2、下一场景显示区域3、预览区域4和胶卷区域5。下面将详细描述编辑屏幕1上的每个区域。
[0047]首先，将描述场景选择区域2。场景选择区域2是显示多个候选场景20A到20C的区域，这些候选场景是从编辑作品的开头起第η个场景的候选，并且用户使用它们以便从多个候选场景20Α到20C中手动选择一个候选场景。在示出的例子中，场景选择区域2近似布置在编辑屏幕1的中部，并且三个候选场景20Α、20Β和20C的图像在垂直方向上布置在场景选择区域2中。另外，在场景选择区域2中呈现的候选场景的数目不限于图1中的三个，可以呈现任意数目(例如，两个或四个或更多)的候选场景20。另外，候选场景20的图像可以是运动图像或静态图像，只要其是候选场景20的再现图像的至少一部分即可。例如，可以仅仅使得光标21当前所选择的候选场景20Β是运动图像，而其它候选场景20Α和20C可以是静态图像。
[0048]基于图像材料的每个场景的特征，图像编辑装置自动选择可被适合地链接在前一个场景(第η-1个场景)之后的特定数目的候选场景20作为编辑作品的第η个场景的候选。此时，基于图像材料的每个场景的特征，并且基于每个场景的特征和第η-1个场景的特征之间的关系，图像编辑装置获得用于第η个场景的每个候选场景20的推荐级别，并且自动地从最高推荐级别起顺序选择特定数目的(例如，三个)候选场景20。以这种方式自动选择的多个候选场景20的图像被根据推荐级别的顺序显示在场景选择区域2中。在示出的例子中，在垂直方向显示在中间的候选场景20B具有最高的推荐级别，顶部的候选场景20A具有次高的推荐级别，其后是底部的候选场景20C。
[0049]如所描述的，在编辑屏幕I上的场景选择区域2中呈现适合地链接在前一个场景(第η-1个场景)之后的多个候选场景20。这使得用户能够通过仅观看被推荐的特定数目的候选场景20A到20C，容易地选择用户喜欢的候选场景20B作为编辑作品的第η个场景。
[0050]显示在场景选择区域2中的光标(指示符)21是用于从候选场景20Α到20C中选择一个候选场景的工具。通过光标21指定的候选场景20Β指示场景选择区域2中当前选择的候选场景。用户通过按压向上按钮22Α和向下按钮22Β而向上和向下移动光标21，从呈现在场景选择区域2中的候选场景20Α、20Β和20C中选择用户喜欢的候选场景20Β。
[0051]另外，通过按压光标21的向左/向右按钮23Α和23Β，可以设置将被应用在当前选择的候选场景20 (第η个场景)和将被连接在候选场景20之前和之后(第η-1和第η + I个场景)的场景之间的图像转换效果。稍后将描述这种图像转换效果的设置的细节。
[0052]另外，图标24被作为指示候选场景20的特征的信息显示在场景选择区域2中的每个候选场景20附近。此处，指示候选场景20的特征的信息是指示为什么推荐候选场景20的原因的信息。根据每个候选场景20的特征的图片被显示在图标24中。
[0053]例如，图标24Α指示候选场景20Α是具有“大量人物”的场景，图标24Β指示候选场景20Β是包括“说话声”的场景。另外，图标24C指示候选场景20Β和20C是具有“少量人物”的场景，图标24D指示候选场景20Β是包括“笑声”的场景。另外，图标24Ε指示候选场景20C是包括“模糊图像”的场景，图标24F指示候选场景20C是包括“笑脸”的场景。
[0054]如所描述的，指示候选场景20的特征(推荐原因)的图标24被与候选场景20相关联地显示在场景选择区域2中。这使得用户能够通过不仅参考候选场景20的图像而且参考图标24，容易地掌握该候选场景20的特征和推荐原因。
[0055]如上所述，在场景选择区域2中，呈现被推荐为编辑作品的第η个场景的多个候选场景20Α到20C，并且从候选场景20Α到20C中选择用户喜欢的候选场景。作为该选择操作，用户可以将光标21设置到所希望的候选场景20Β，并且例如按压确定按钮(未示出)。另夕卜，在示出的例子中，示出了选择从编辑作品的开头起的第三个场景(η = 3)的状态。在完成对第三个场景(例如，候选场景20Β)的选择之后，用于第四个场景的候选的图像(例如，候选场景30D、30E和30F)被显示在场景选择区域2中，从而成为可选择的。
[0056]接着，将描述下一场景显示区域3。下一场景显示区域3是用于显示，针对第η个场景的相应候选场景20，作为从编辑作品开头起第η + I个场景的候选的编辑作品的第η +I个场景的多个候选场景30Α到301的区域。在示出的例子中，下一场景显示区域3被布置在编辑屏幕I的右侧，并且三组候选场景30Α到30C、30D到30F和30G到301总共9个场景在垂直方向上被布置在下一场景显示区域3中。此外，候选场景30的图像可以是运动图像或静态图像，只要其是候选场景30的再现图像的至少一部分即可。然而，当考虑编辑屏幕I的可视性时，候选场景的图像优选地是静态图像。
[0057]在下一场景显示区域3中，候选场景30A到301中的每一个被与场景选择区域2中所显示的第η个场景的候选场景20Α到20C中的一个相关联地显示。在示出的例子中，多个(例如，三个)候选场景30A到30C、30D到30F和30G到301分别与候选场景20A、20B和20C相关联。候选场景30A到30C是可被适合地链接在候选场景20A之后的场景的候选，候选场景30D到30F是可被适合地链接在候选场景20B之后的场景的候选，并且候选场景30G到301是可被适合地链接在候选场景20C之后的场景的候选。另外，在下一场景显示区域3中呈现的用于每个候选场景20的候选场景30的数目不限于图1所示的三个，可以呈现任意数目(例如，一个、两个或四个或更多)的候选场景30。
[0058]基于图像材料的特征，图像编辑装置自动选择可被适合地链接在用于第η个场景的候选场景20Α、20Β和20C中的每一个的前一个场景(第η个场景)之后的候选场景30 (第η + 1个场景)，作为编辑作品的第η + 1个场景的候选。此时，如在上面所述的用于第η个场景的候选场景20的情况，基于图像材料的每个场景的特征，并且基于该特征和第η个场景的候选场景20的特征之间的关系，图像编辑装置获得用于第η + 1个场景的每个候选场景30的推荐级 别，并且自动地从最高推荐级别起顺序选择特定数目的(例如，三个)候选场景30。然后，图像编辑装置在下一场景显示区域3中显示被选择用于每个候选场景20Α、20Β和20C的候选场景30。
[0059]在示出的例子中，三个候选场景30D、30E和30F被推荐为用于跟在候选场景20B(第η个场景)之后的场景(第η + 1个场景)的候选，并且在这些场景中，布置在中间的候选场景30Ε的推荐级别最高。即，在示出的例子中，可以看到，在选择场景选择区域2中的编辑作品的第η个场景的时间点，具有最高推荐级别的用于第η个和第η + 1个场景的候选场景是候选场景20Β和候选场景30Ε。
[0060]如上所述，针对前一个场景(第η个场景)的候选场景20Α到20C，可被适合地链接在前面的候选场景20Α到20C之后的推荐的候选场景30Α到301被呈现在编辑屏幕1上的下一场景显示区域3中。这使得用户能够在参考针对上一级中的候选场景20Α到20C呈现的下一级中的候选场景30Α到301的同时，以及在考虑编辑作品的场景之间的相关性的同时，在场景选择区域2中选择用户喜欢的候选场景20Α到20C中的任意一个。
[0061]另外，在图1的编辑屏幕1的例子中，当前选择的用于第η个场景的候选场景和用于接下来的第η + 1个场景的候选场景30被呈现在具有两层的树结构内，但是不限于这种例子，候选场景可被呈现在例如具有三层或更多层的树结构中。
[0062]接着，描述预览区域4。预览区域4是用于预览在场景选择区域2中选择的候选场景(编辑作品的第η个场景)和所选择的场景之前和之后的候选场景(包括至少第η-1个场景和第η + 1个场景)的连接部分的区域。更具体地，预览区域4显示在场景选择区域2
中被选择的候选场景20Β (第η个场景)、前面场景的候选场景(第η-1个、第η_2个、......)
(未示出)以及后面场景(第η + 1个、第η + 2个、……)的候选场景30Ε的连接部分的回放运动图像41。
[0063]此处，在场景选择区域2中被选择的候选场景20Β是用户当前从显示在场景选择区域2中的多个候选场景20Α到20C中选择的候选场景(即，通过光标21指定的候选场景)。另外，所选择的候选场景20Β (第η个场景)之前的场景的候选场景是布置在编辑作品中的第η个场景的候选场景之前的一个或更多个候选场景，并且包括至少第η-1个场景的候选场景(未示出)。在第η-1个候选场景的时间长度比特定时间短的情况下，前面场景的候选场景还可以包括用于第η-2个、第η-3个、……场景的候选场景。因此，将在预览区域4中显示用于第η个场景的候选场景之前特定时间的场景的运动图像。另外，跟在所选择的候选场景20Β (第η个场景)之后的候选场景是布置在第η个场景的候选场景之后的一个或更多个候选场景，并且包括至少第η + 1个场景的候选场景30Α到301。在第η + 1个候选场景的时间长度比特定时间短的情况下，后面场景的候选场景还可以包括用于第η + 2个、第η + 3个、……场景的候选场景。因此，还将在预览区域4中显示用于第η个场景的候选场景之后特定时间的场景的运动图像。在示出的例子中，后面的候选场景是候选场景30Ε,其作为跟在候选场景20Β之后的下一个场景的推荐级别是用于第η + 1个场景的候选场景30Α到301中最高的。在选择场景选择区域2中的第η个场景的时间点,确定了前面的第η-1个场景，但是尚未确定后面的第η + 1个场景。在选择了第η个场景之后，从下一场景显示区域3中的候选场景30Α到301中选择第η + 1个场景。
[0064]另外，上面提到的连接部分可以是所选择的候选场景20Β (第η个)、前面的候选场
景(第η-1个、第η-2个......)和后面的候选场景(第η + 1个、第η + 2个......)的整体，或 者它可以是这些候选场景的若干部分(例如，仅这些候选场景的接合部分及其周围)。另外，在预览区域4中显示的场景可以仅是所选择的候选场景20Β和前面的候选场景，或可以仅是所选择的候选场景20Β和后面的候选场景。另外，在选择编辑作品的第一个场景(n = 1)期间，仅第一和第二场景的候选场景被显示在预览区域4中。与之相对的，在选择编辑作品的最后场景(n = m)期间，仅第n-Ι个和第m个场景的候选场景被显示在预览区域4中。
[0065]采用如上所述的预览区域4，回放运动图像41被反复显示(高速预览)，该回放运动图像41是被高速回放(例如，10X)的在场景选择区域2中被选择的候选场景20B与前面和后面场景的候选场景的连接部分。另外，当被选择的候选场景20B被改变为场景选择区域2中的候选场景20A时,改变之后的候选场景20A、前面场景的候选场景和后面场景的候选场景30B在预览区域4中被高速预览。
[0066]借助于这种预览区域4，可以通过显示和回放运动图像41，呈现出用户正在关注的场景与前面和后面场景之间的关系(连续性)，回放运动图像41是被高速回放的当前被选择的场景和该场景之前和之后特定范围(例如，若干分钟)内的图像。因此，用户可以通过回放运动图像41反复检查被选择的场景与前面和后面场景之间的连续性，由此，可以迅速地并且适当地检查被选择的场景与前面和后面场景之间的相关状态，以及整个结构的可接受性。如所描述的，为了用户立刻掌握所选择的场景前后的上下文，最好在预览区域4中高速预览回放运动图像41。然而，预览区域4的回放速度可以是任何回放速度，只要不会引起用户掌握回放运动图像41的不便即可。例如，如果回放图像整体是短的，则预览区域4的回放速度可以是正常回放速度或缓慢回放速度。出于这个观点，虽然图像编辑装置以最佳回放速度自动回放预览区域4中显示的图像，但也允许用户选择所希望的回放速度。另外，预览区域4的回放速度不限于恒定的回放速度，它可以是可变的速度。例如，图像编辑装置可以快进回放运动图像41中的无聊场景。
[0067]接着，将描述胶卷区域5。胶卷区域5是用于以胶卷格式显示构成自动编辑的编辑作品的第一到第m个场景的缩略图50A到50E的区域。胶卷格式是按发生时间顺序并排显示运动图像的每个片段的缩略图(静态图像)的格式。在胶卷区域5中按发生时间顺序显示通过自动编辑的推荐级别最高的构成编辑作品的m个场景的缩略图。此处，“m”指示构成编辑作品的场景的总数，并且m等于或大于η。[0068]在图1的例子中，编辑作品由5个(m = 5)场景构成。左端上的缩略图50A是编辑作品的第一个U = I)场景的缩略图，并且右端上的缩略图50Ε是编辑作品的最后(η =m)场景的缩略图。另外，光标(指示符)51被附于缩略图50C上，缩略图50C是从胶卷区域5左侧起的第三个缩略图。该光标51指示在场景选择区域2中被选择的第η个场景(从开头起的第三个场景)的位置。
[0069]另外，当用户在场景选择区域2中移动光标21，并且改变对候选场景20的选择时，根据对候选场景20的改变的选择，胶卷区域5中的后面候选场景的缩略图50也动态地改变。即，当在场景选择区域2中被选择的第η个场景的候选场景20 (即，其被以光标21指定)被从20Β改变为20Α时，用于第η + I个和后面场景(第η + I个到第m个场景)的推荐的候选场景也被改变。另外，在存在对场景选择区域2中的候选场景20的选择改变的情况下，显示在胶卷区域5中的缩略图50A到50E中的第η个和后面场景(第η个到第m个场景)的缩略图50C到50E被动态地改变。在该情况下，缩略图50C到50E被动态改变为选择改变之后的第η个场景的候选场景20Α的缩略图，以及与候选场景20Α相应的第η + I个场景和后面场景的候选场景30Β的缩略图。
[0070]采用如上所述的胶卷区域5，正被编辑的编辑作品的全部图片或编辑作品的每个场景的概况可被以可容易理解的方式呈现给用户。另外，根据对场景选择区域2中的候选场景20的选择改变，胶卷区域5中的候选场景和后面场景的缩略图50也被动态地改变。因此，用户可以在参考显示在胶卷区域5中的编辑作品的全部图片的同时，在场景选择区域2中选择用户喜欢的候选场景。
[0071]迄今已经参考图1描述了本示例实施例的编辑屏幕I。根据本示例实施例的编辑屏幕1，可被适合地链接在前面场景之后的多个候选场景20被自动呈现在场景选择区域2中作为针对编辑作品的每个场景的推荐图像。因此，用户可以通过简单地从编辑作品的第一个场景起顺序地从呈现在场景选择区域2中的多个候选场景20中选择所希望的场景，编辑包括运动图像或静态图像的图像材料。因此，用户可以通过极其简单的操作容易地产生用户喜欢的编辑作品。
[0072]另外，不仅是场景选择区域2，而且下一场景显示区域3、预览区域4和胶卷区域5也被显示在编辑屏幕I上。因此，用户可以在参考这些区域中的图像的同时，适当地并且高效地产生用户喜欢的编辑作品。
[0073]特别地，自动编辑最为推荐的编辑结果的缩略图50被并排显示在胶卷区域5中。另外，沿着编辑屏幕I中部的水平线并排示出的图像(图1中的候选场景20Β和候选场景30Ε)也反映了自动编辑最为推荐的编辑结果。通过以这种方式在编辑屏幕I上呈现最为推荐的编辑结果，只要用户满意该编辑结果，场景选择甚至也成为是不必要的。另外，当用户选择候选场景20时，下级中的候选场景也在胶卷区域5和下一场景显示区域3中被动态地改变。因此，用户可以容易地掌握当前选择的场景与前面和后面场景之间的关系，由此可以以心中清楚的确定准则选择适当的候选场景。
[0074]<3.图像编辑装置的硬件配置〉
[0075]接着，将参考图2描述根据本示例实施例的图像编辑装置100的硬件配置。图2是示出了根据本示例实施例的图像编辑装置100的硬件配置的框图。
[0076]如图2所示，图像编辑装置100包括例如CPU201、R0M202、RAM203、主机总线204、桥接器205、外部总线206和接口 207。图像编辑装置100还包括输入设备208、显示设备209、存储设备(HDD ) 210、驱动器211、连接端口 212和通信设备213。如所描述的，例如，使用通用计算机设备(例如，PO配置图像编辑装置100。
[0077]CPU201用作算术处理装置和控制装置，根据各种程序操作，并且控制图像编辑装置100中的每个单元乂?似01根据存储在1?01202中的程序或从存储设备210加载到RAM203的程序执行各种类型的处理。R0M202存储CPU201使用的程序和算术参数，并且用作缓冲器以便减少从CPU201对存储设备210的访问。RAM203临时存储CPU201执行处理时使用的程序，以及在执行过程中的适当时刻改变的参数等。这些组件可被以由CPU总线等配置的主机总线204彼此连接。主机总线204通过桥接器205连接到诸如外部组件互连/接口(PCI)总线的外部总线206。
[0078]输入设备208包括例如诸如鼠标、键盘、触摸板、按钮、开关或控制杆的操作装置，以及生成输入信号并且将其输出给CPU201的输入控制电路。以例如液晶显示器(IXD)、有机EL显示器、等离子体显示器、阴极射线管(CRT)显示器等配置显示设备209。另外，还配备有诸如扬声器的声音输出设备(未不出)。
[0079]存储设备210被用于存储各种类型的数据，并且被以例如外部或内置盘驱动器(例如HDD)配置。存储设备210驱动作为记录介质的硬盘，并且存储由CPU201执行的程序和各种类型的数据。驱动器211被用于对记录介质实施读和写操作，并且被内置于图像编辑装置100或被外部附接到图像编辑装置100。驱动器211对加载到图像编辑装置100中的可移动记录介质(诸如例如，磁盘、光盘、磁光盘或半导体存储器)执行各种类型数据的写/读操作。
[0080]连接端口 212被用于连接外部外围设备，并且具有诸如例如USB或IEEE1394的连接端子。连接端口 212通过接口 207、外部总线206、桥接器205、主机总线204等连接到CPU201等。通信设备213是以例如用于连接到网络214的通信设备等配置的通信接口。通信设备213通过网络214向和从具有网络通信功能的外部设备发送和接收各种类型的数据。
[0081]例如，图像编辑装置100可以通过网络214从具有网络通信功能的成像装置或其它设备获取图像材料(运动图像或静态图像)。图像编辑装置100还可以经由通过成像装置在其中记录了图像材料的记录介质获取图像材料。
[0082]<4.图像编辑装置的功能配置〉
[0083]接着，将参考图3描述根据本示例实施例的图像编辑装置100的功能配置。图3是示出了根据本示例实施例的图像编辑装置100的功能配置的框图。
[0084]如图3所示，图像编辑装置100包括材料准备单元110、分析单元120、场景划分单元130、候选场景选择单元140、转换效果选择单元150、编辑屏幕创建单元160、显示控制单元170、显示单元172、编辑结果产生单元180和输入单元182。图像编辑装置100还包括存储单元(未示出)，该存储单元存储材料组数据库300、分析结果数据库310、用户偏好数据库320和编辑结果数据库330。在上面提及的结构元素中，材料准备单元110、分析单元120、场景划分单元130、候选场景选择单元140、转换效果选择单元150、显示控制单元170和编辑结果产生单元180通过例如安装在图像编辑装置100中的应用软件来实现。即，图2所示的CPU201通过根据存储 在R0M202等中的程序操作，执行这些单元的功能。另外，程序被通过记录介质或网络提供给图像编辑装置100。
[0085]材料准备单元110准备诸如运动图像、静态图像、声音等的编辑材料，该编辑材料是图像编辑装置100的编辑目标。除了诸如运动图像或静态图像的图像材料之外，编辑材料还包括诸如音频数据、文本数据等的材料。材料准备单元110包括获取单元112、修改单元114和生成单元116。
[0086]获取单元112从外部装置获取编辑材料。例如，获取单元112通过网络从拍摄图像材料的图像的成像装置接收图像材料。或者，获取单元112从通过成像装置在其中记录了图像材料的可移动记录介质(例如，光盘、存储器卡等)中读出图像材料。
[0087]修改单元114通过修改质量不好的编辑材料，生成作为质量得以改善的编辑材料的材料(修改的材料)。生成单元116通过处理编辑材料产生新材料(生成的材料)。稍后将描述修改的材料和产生的材料。
[0088]分析单元120通过分析存储在材料组数据库300中的编辑材料，获得编辑材料的特征(包括图像材料的特征)，并且将该特征存储在分析结果数据库310中。例如，分析单元120通过分析包括在图像材料中的运动图像、静态图像或音频数据，或通过分析附加到图像材料的信息(照相机设置值、图像拍摄时间、数据量等)，检测图像材料的特征。图像材料的特征是指示图像材料的属性的信息，并且是被量化以便指示图像材料的特征的各种类型参数的信息。图像材料的特征将是把图像材料的运动图像划分为多个场景时，或通过自动编辑选择最佳候选场景时使用的参考。
[0089]图4示出了根据本示例实施例的图像材料的特征的例子。通过分析由摄像放像机以一个图像拍摄操作拍摄的运动图像获得图4所示的特征。
[0090]如图4所示，图像材料的特征可以与例如照相机操作(缩放、摇摄、倾斜、手控模糊(hand blur)等)、出现在运动图像中的对象、未被成功拍摄的图像、声音等有关。
[0091]与出现在运动图像内的对象有关的特征指示存在/不存在对象、对象的移动、存在/不存在对象(人)的一部分(例如，脸、身体)、对象的表情(笑脸)等。可以使用已知的脸部检测技术或已知的笑脸检测技术检测对象的脸或笑脸。另外，可以通过基于视觉注意力(Visual Attention)技术的聚焦对象检测和追踪技术检测对象的存在/不存在或移动。这使得能够检测聚焦对象没有做任何运动的精彩场景(highlight scene)。
[0092]另外，与失败图像有关的特征指示由于图像失焦、由于手控模糊等图像拍摄是不成功的，并且图像质量不好。可以通过基于Wavelur技术的使用图像的模糊/失焦的失败场景检测技术检测失败的图像。另外，与声音有关的特征指示在运动图像的拍摄期间存在/不存在记录的声音(说话声、环境声音、诸如音乐的BGM等)或声音的速度(tempo)。
[0093]如图4所示，通过分析图像材料，可以获得关于图像材料的各种类型的特征，并且可以获得这些特征沿着时间轴的改变。这种特征的时间改变指示运动图像中场景之间的转变。因此，一个运动图像可被基于各种类型的特征划分为多个场景。
[0094]因此，图3所示的场景划分单元130基于存储在分析结果数据库310中的图像材料的特征，将图像材料划分为多个场景。通过综合评估各种类型特征根据编辑目的彼此组合，场景划分单元130检测构成一个运动图像的多个场景的划分位置，并且将运动图像划分为多个场景。另外，场景划分单元130基于通过划分运动图像获得的场景的特征，评估每个场景是否是可接受的。[0095]在图4的例子中，一个运动图像被划分为5个场景A到E。场景A是稳定的、良好的场景，其中虽然没有对象的出现，但也没有失败的图像或手控模糊(良好场景)。相反，场景B是在搜索对象时以照相机拍摄的场景，由于照相机正在移动，所以存在手控模糊，并且由于对象也在移动，因此对象的脸未被正确地拍摄，从而该场景的一部分被确定为是失败的图像(坏场景)。另外，场景C是最好的场景，其不包括由于照相机的移动产生的模糊，包括对象的笑脸，并且其中记录了对象的说话声(最佳场景)。另外，由于对象正在移动并且没有说话声，场景D不如场景C那样好，但是也是好场景(良好场景)。相反，场景E是最差场景，其存在很多手控模糊，并且其中未出现对象(最差场景)。
[0096]候选场景选择单元140基于图像材料的特征，从场景划分单元130划分的场景中选择作为编辑作品中的第n个场景的候选的多个候选场景。该候选场景是上面所述的将被呈现在编辑屏幕I上的场景选择区域2中的第η个场景的候选场景20，并且是可被适合地链接在前面的第n-Ι个场景之后的推荐场景。通过使用存储在分析结果数据库310中的特征和稍后描述的存储在用户偏好数据库320中的用户偏好信息，候选场景选择单元140从图像材料的多个场景中选择特定数目的候选场景作为第η个场景的候选。根据编辑屏幕I上的用户操作，候选场景选择单元140从第一个场景开始顺序地选择作为编辑作品的第一到第m个场景的候选的多个候选场景。
[0097]作为候选场景选择方法的例子，将描述基于根据特征计算的推荐级别，选择第η个场景的候选场景的方法。作为选择用于场景选择区域2的第η个场景的候选场景的方法，例如，可以构想使用每个场景的推荐级别的方法，以及使用全体自动编辑结果的推荐级别的方法。
[0098]首先，将描述使用每个场景的推荐级别_的方法。基于图像材料的场景的特征，并且基于该场景的特征和第n-Ι个场景的特征之间的关系，候选场景选择单元140获得作为第η个场景的候选的场景的推荐级别。然后，候选场景选择单元140从图像材料的多个场景中选择推荐级别高的特定数目的场景作为第η个场景的候选场景。推荐级别是指示可被适合地链接在前面场景(第n-Ι个场景)之后的候选场景的推荐程度的参数，并且被基于该场景的重要性或与前面场景的关系计算。稍后将详细描述推荐级别的计算方法。
[0099]通过以这种方式量化和获得每个场景的推荐级别并且比较推荐级别，可以适当地选择可被适合地链接在第n-Ι个场景之后的第η个场景的候选场景。
[0100]接着，将描述使用全体自动编辑结果的推荐级别的方法。根据该方法，产生多个自动编辑结果模式，获得每个自动编辑结果的推荐级别，并且选择第η个场景的候选场景。
[0101]更具体地，候选场景选择单元140首先通过组合以任意顺序划分图像材料所获得的多个场景中的至少一部分场景，创建多个自动编辑结果模式。例如，当存在场景Α、Β和C时，将创建 15 个自动编辑结果模式(Α，B, C，A+B, B+A, A+C, C+A, B+C, C+B, A+B+C, A+C+B, Β+Α+C，B+C+A, C+A+B, C+B+A)。自动编辑结果是通过图像编辑装置100的自动编辑功能自动创建的编辑作品。另外，自动编辑结果可以是按发生时间顺序布置的多个场景，或可以是以随机方式混洗(shuffle)而不考虑发生时间顺序的多个场景。
[0102]接着，基于通过划分图像材料获得的场景的特征，并且基于该场景的特征与前面场景的特征之间的关系，候选场景选择单元140获得多个自动编辑结果模式的每个推荐级另O。此处，推荐级别是指示自动编辑结果的推荐程度的参数，并且根据每个场景的特征或与之前和之后场景的特征之间的关系而变高或变低。例如，即使在通过组合相同的5个场景A到E产生自动编辑结果的情况下，自动编辑结果的推荐级别也将取决于场景的布置顺序而有所不同。多个自动编辑结果模式中的推荐级别最高的自动编辑结果被呈现在初始编辑屏幕1上作为最为推荐的自动编辑结果。
[0103]然后，基于上述的每个自动编辑结果的推荐级别，候选场景选择单元140从图像材料的多个场景中选择第η个场景的多个候选场景。例如，候选场景选择单元140从多个自动编辑结果模式中按照推荐级别的降序提取特定数目的自动编辑结果，并且在所述特定数目的自动编辑结果中选择相应的第η个场景，并且使得它们成为候选场景。如所描述的，通过根据推荐级别选择候选场景，可以考虑全体编辑结果的场景的特征或场景之间的关系，呈现适当的候选场景。
[0104]另外，候选场景选择单元140还可以不仅基于上述每个场景的特征，而且基于存储在用户偏好数据库320中的用户偏好信息(指出用户的过去选择结果的信息)，选择候选场景。基于由用户过去选择的结果，更新用户偏好信息。每次用户在编辑屏幕1上选择一个候选场景，稍后描述的编辑结果产生单元180基于该选择结果更新用户偏好信息。候选场景选择单元140根据用户偏好信息改变推荐级别的权重，或用于选择候选场景的特征的权重。例如，在用户频繁选择具有笑脸的场景的情况下，使指示笑脸的特征的权重变大来计算上述推荐级别。如所描述的，通过每次用户选择候选场景实时地学习用户偏好，可以将该偏好立刻反映在对后面的候选场景的选择上。
[0105]另外，候选场景选择单元140基于特征或每个场景的关系，为第η个场景的每个所选择的候选场景选择作为第η + 1个场景的候选的多个候选场景。第η + 1个场景的多个候选场景被显示在编辑屏幕1上的下一场景显示区域3中。对第η +1个场景的候选场景的选择处理与上述用于第η个场景的候选场景的选择处理相同。
[0106] 如上所述，候选场景选择单元140顺序地为编辑作品的第一个、第二个、……、第m个场景选择候选场景。当用户确定在编辑屏幕1上的场景选择区域2中的第η个场景时，候选场景选择单元140选择可被适合地链接在第η个场景之后的候选场景作为第η + 1个场景的候选。
[0107]另外，基于图像材料中的每个场景的特征，候选场景选择单元140选择将被显示在编辑屏幕1上的胶卷区域5中的第一到第m个候选场景。第一到第m个候选场景是自动编辑功能最推荐的自动编辑结果。例如，作为选择胶卷区域5的第一到第m个候选场景的方法，如同上述的情况，可以构想使用每个场景的推荐级别的方法和使用全体自动编辑结果的推荐级别的方法。
[0108]首先，将描述使用每个场景的推荐级别的方法。如同上述的情况，候选场景选择单元140重复地对编辑结果的第一到第m个场景执行获得作为第η个场景的候选的每个场景的推荐级别的处理。因此，获得作为第一到第m个场景的相应场景的推荐级别。然后，候选场景选择单元140从图像材料的多个场景中选择作为第一到第m个场景的候选的推荐级别最高的相应场景，作为第一到第m个场景的候选场景。通过组合以这种方式选择的用于第一到第m个场景的这些候选场景，可以产生最为推荐的自动编辑结果，并且其缩略图50可被显示在胶卷区域5中。
[0109]接着，将描述使用全体自动编辑结果的推荐级别的方法。候选场景选择单元140如同上述情况执行自动编辑处理，创建多个自动编辑结果模式，并且获得每个自动编辑结果的推荐级别。然后，候选场景选择单元140从图像材料的多个场景中选择构成最为推荐的自动编辑结果的第一到第m个场景的候选场景。第一到第m个场景的这种候选场景的缩略图50被显示在编辑屏幕1上的胶卷区域5中。
[0110]另外，当在编辑屏幕1上的场景选择区域2中改变(移动光标21)对第η个场景的候选场景20的选择时，候选场景选择单元140基于上述的推荐级别重新选择将被安排在选择改变之后的候选场景20之后的第η + 1到第m个场景的每个候选场景。更具体地，候选场景选择单元140选择具有最高推荐级别的候选场景作为链接在改变之后的第η个场景的候选场景20之后的第η + 1个场景的候选，并且选择具有最高推荐级别的候选场景作为接着将被链接的第η + 2个场景的候选。通过重复这种处理，分别重新选择与选择改变之后的第η个场景的候选场景20相应的第η + 1到第m个场景的候选场景。这使得能够根据对场景选择区域2中的候选场景20的选择改变，动态地改变胶卷区域5中的缩略图50的显不。
[0111]如上所述，候选场景选择单元140具有用于图像材料的自动编辑功能。此处，候选场景选择单元140选择多个候选场景作为编辑结果中的每个场景的候选。由候选场景选择单元140选择的候选场景在适当时被显示在编辑屏幕1上的场景选择区域2、下一场景显示区域3、预览区域4和胶卷区域5中。
[0112]基于由候选场景选择单元140选择的候选场景的特征，转换效果选择单元150在预先设置的多个图像转换效果中选择将被应用在候选场景之间的图像转换效果。图像转换效果也被称为效果，是应用于两个运动图像的连接部分的图像效果，并且它可以是例如“剪切(cut)”、“淡入(B)”、“静态”、“擦除(wipe)”、“渐隐”、“插入(W)”等。通过由转换效果选择单元150根据候选场景的特征选择将被应用于候选场景之间的图像转换效果的适当候选，可由稍后描述的编辑屏幕1上的选择菜单27 (参考图11)显示图像转换效果的候选。这使得用户能够从编辑屏幕1上的选择菜单27中的图像转换效果的适当候选中选择所希望的图像转换效果。
[0113]编辑屏幕创建单元160从材料组数据库300读出上述由候选场景选择单元140选择的候选场景的图像数据，并且创建如图1所示的编辑屏幕1。
[0114]显示控制单元170控制显示单元172，并且使得显示单元172显示由编辑屏幕创建单元160创建的编辑屏幕1。显示单元172是诸如IXD等的监视器设备，并且在显示控制单元170的控制下显示编辑屏幕1。
[0115]编辑结果产生单元180基于输入单元182上的用户操作，调整上述已由候选场景选择单元140自动编辑的编辑结果，并且产生最终编辑结果(编辑作品)。即，编辑结果产生单元180通过组合由用户从显示在编辑屏幕1上的场景选择区域2中的多个候选场景中顺序选择的第一到第m个场景的候选场景，产生最终编辑结果(编辑作品)。
[0116]如图1所示，编辑结果的第η个场景的候选场景20被显示在编辑屏幕1上的场景选择区域2中。当用户从场景选择区域2中的候选场景中选择所希望的场景时，第η + 1个场景的候选场景将被接着显示在场景选择区域2中。通过重复这种用户选择，从开头顺序地确定构成编辑结果的m个场景(第一、第二、......、第m个场景)。
[0117]编辑结果产生单元180以选择顺序连接用户以上述方式选择的m个场景，产生通过编辑图像材料获得的编辑结果(编辑作品)，并且在编辑结果数据库330中存储关于编辑结果的信息。将被存储的关于编辑结果的信息可以是编辑结果的图像数据本身，或可以是构成该编辑结果的多个场景的标识信息。
[0118]另外，编辑结果产生单元180确定用户从显示在编辑屏幕I上的选择菜单27 (参考图11)中的图像转换效果的多个候选中选择的一个图像转换效果，作为将被在场景之间应用的图像转换效果。选择菜单27中的图像转换效果的多个候选是可被适合地应用于场景之间的图像转换效果，所述多个候选由转换效果选择单元150来选择。还通过上述针对候选场景的相同处理，从编辑结果前两个场景的连接起顺序地确定这种图像转换效果。编辑结果产生单元180在编辑结果数据库330中存储关于以这种方式确定的应用于场景之间的图像转换效果的信息。
[0119]另外，输入单元182可以是交迭布置在显示编辑屏幕I的显示单元172上的触摸板，或它可以是鼠标、键盘等。在输入单元182是触摸板的情况下，用户通过在编辑屏幕I上敲击选择所希望的候选场景或所希望的图像转换效果。另外，在输入单元182是鼠标的情况下，用户移动显示在编辑屏幕I上的鼠标指针，并且选择所希望的候选场景或所希望的图像转换效果。
[0120]<5.图像编辑方法〉
[0121]接着，将参考图5描述根据本示例实施例的使用图像编辑装置100的图像编辑方法。图5是示出了根据本示例实施例的使用图像编辑装置100的图像编辑方法的流程图。
[0122]如图5所示，图像编辑装置100首先将诸如运动图像、静态图像、声音等的编辑材料组导入装置(S100)。图像编辑装置100通过网络214从外部设备或可移动记录介质获取编辑材料，并且将其存储在材料组数据库(DB) 300中。
[0123]接着，图像编辑装置100分析图像材料组，并且将分析结果存储在分析结果DB310中(S110)。此处，将参考图6详细描述对编辑材料组的分析处理(S110)。图6是示出了根据本示例实施例的对编辑材料组的分析处理的例子的概念图。
[0124]如图6所示，图像编辑装置100首先分析存储在编辑材料组DB302中的编辑材料的运动图像、静态图像、声音等，并且将分析结果存储在编辑材料组的分析结果DB312中(Slll)0编辑材料组的分析结果可以包括图4所示的图像材料的特征。
[0125]接着，图像编辑装置100基于对编辑材料组的分析结果(特征)，确定可被修改的编辑材料，修改图像材料，并且产生修改的材料(S112 )。材料修改处理包括例如手控模糊补偿处理(运动图像)、模糊补偿处理(静态图像)、环境声音去除处理(声音)等。通过材料修改处理生成的修改的材料被存储在修改材料组DB304中。
[0126]另外，图像编辑装置100分析存储在修改材料组DB304中的修改的材料的运动图像、静态图像、声音等，并且将分析结果存储在用于修改材料组的分析结果DB314中(SlH)0修改材料组的分析结果也包括例如图4所示的图像材料的特征。
[0127]另一方面，基于存储在分析结果DB312中的编辑材料组的分析结果(特征)和存储在用户偏好数据库320中的用户偏好信息，图像编辑装置100从编辑材料新生成更适合于编辑的编辑材料(此后，称为“生成的材料”)。材料生成处理包括例如对象追踪和剪裁(cropping)处理(运动图像)、慢动作处理(运动图像)、静态图像提取处理(运动图像)、高清晰度处理(静态图像)、照明处理(静态图像)、声音强调处理(声音)等。通过材料生成处理所生成的生成的材料被存储在生成材料组DB306中。
[0128]另外，图像编辑装置100分析存储在生成材料组DB306中的生成的材料的运动图像、静态图像、声音等，并且将分析结果存储在用于生成材料组的分析结果DB316中(S118)。生成材料组的分析结果也包括例如图4所示的图像材料的特征。
[0129]通过以上述方式准备材料，也可使通过修改编辑材料获得的修改的材料和从编辑材料新生成的生成的材料成为作为编辑目标的图像材料。另外，不仅分析编辑材料的原始数据，而且分析修改的材料和生成的材料，并且根据分析结果获得这些材料的特征。这使得能够包括修改的材料和生成的材料作为候选场景，因此可以产生具有高质量的并且用户喜欢的编辑结果。
[0130]回到图5继续描述。在上述的步骤S110之后，基于用户输入，图像编辑装置100从存储在图像编辑装置100的材料组DB300中的图像材料中选择作为编辑目标的图像材料，并且选择编辑模式(S120)。编辑模式是使用编辑屏幕1自动编辑的一种形式，并且包括例如“基于故事的模式”、“音乐驱动的模式”、“场景放弃的模式”等。基于故事的模式是将运动图像的场景布置在故事中，使得其容易观看的编辑模式。音乐驱动的模式是根据诸如音乐的BGM选择场景的编辑模式。场景放弃的模式是用于确定运动图像中的多个场景中的将被删除的场景的编辑模式。利用作为编辑目标的图像材料和用户设置的编辑模式，图像材料可被以所希望的编辑形式自动编辑。另外，通过预先设置编辑模式，可以省略步骤S120。
[0131]然后，当用户通过例如按压自动编辑按钮(S130)指示图像编辑装置100执行自动编辑时，图像编辑装置100自动编辑图像材料，并且选择候选场景(S140)。此处将参考图7详细描述对候选场景的选择处理(S140)。图7是示出了根据本示例实施例的对候选场景的选择处理的例子的概念图。
[0132]如图7所示，通过使用包括用于各种类型的材料组的分析结果DB312、314和316以及用户偏好DB320的DB组310，图像编辑装置100自动编辑各种类型的材料组，并且选择构成编辑结果的每个场景的候选场景以及应用于场景之间的图像转换效果的候选。对各种类型的材料组的分析结果包括上述的对编辑材料组、修改材料组和生成材料组的分析结果。分析结果DB312、314和316被包括在图3所示的材料组数据库300中。
[0133]首先，图像编辑装置100将在S120选择的作为编辑目标的图像材料中的运动图像划分为多个场景(S142)。更具体地，基于包括在分析结果中的各种类型的特征的值以及这些特征沿着时间轴的改变，图像编辑装置100确定包括在运动图像中的场景的位置，并且将运动图像划分为多个场景。特征例如是图4所示的照相机的操作(缩放、摇摄、倾斜等)、运动图像中存在或不存在对象、对象的移动、存在/不存在对象(人)的一部分(例如，脸、身体)、对象的表情(笑脸)或对象讲的话，存在/不存在声音或声音的速度(音乐、环境声音、说话声等)、存在/不存在由于手控模糊或失焦等产生的失败图像等。
[0134]接着，基于诸如在S142中获得的运动图像的每个场景、静态图像等的图像材料的特征，图像编辑装置100获得图像材料的推荐级别(S144)。更具体地，图像编辑装置100首先从多种类型的特征中选择适合于在S120中选择的编辑模式的多个特征，并且根据用户偏好DB320中的用户偏好信息对所选择的特征加权。作为结果获得的特征将是计算运动图像中的每个场景的推荐级别的基础。接着，基于包括在分析结果DB310中的分析结果中的图像材料的每个场景的特征，并且基于场景的特征之间的关系，图像编辑装置100量化每个图像材料的推荐级别。
[0135]将描述推荐级别的量化的一个具体例子。根据场景的特征获得，通过划分运动图像获得的每个场景的推荐级别。例如，检测并且识别出现在运动图像中的人脸，并且基于每个人的出现时间、他/她在图像中的位置等可以评估每个人的重要性，并且可以对具有高重要性的人长时间出现在其中的场景提升推荐级别。可替换地，可以提升使得能够掌握图像拍摄状态的场景，或使得能够实现图像拍摄环境的全境观看的场景(例如，具有广告牌的场景、远景场景)的推荐级别。
[0136]还可以根据图像材料中每个场景的布置顺序(场景的特征之间的关系)获得推荐级别。例如，在具有类似特征的多个场景被连续布置的情况下，由于场景单调冗长，可以降低推荐级别。可替换地，在编辑模式是基于故事的模式时，在场景被以图像拍摄时间的相反顺序布置的情况下，可以降低推荐级别。
[0137]接着，图像编辑装置100基于在S144获得的每个场景的推荐级别，选择多个候选场景作为当前选择的场景的候选(S146)。例如，当选择编辑结果的第η个场景时，从运动图像的多个场景中或从静态图像中以场景的推荐级别的降序选择特定数目(例如，三个)候选场景作为第η个场景。候选场景是适合于作为已经确定的第n-Ι个场景之后的场景。
[0138]另外，基于上述每个图像材料的特征，图像编辑装置100选择适合于该特征的图像转换效果的候选作为将被应用于每个场景之间的图像转换效果(S148)。例如，当两个连续场景之间存在时间间隙时，在场景之间插入黑图像(black image),并且选择使得场景淡入/淡出的图像转换效果“淡入(B)”。另外，当场景的特征之间存在很大差别时，选择使得场景彼此部分交迭的图像转换效果。采用选择将被应用于每个场景之间的图像转换效果的候选的图像编辑装置100，用户可以从所述候选确定所希望的图像转换效果。另外，图像编辑装置100还可以自动选择将被应用于每个场景之间的最佳图像转换效果。
[0139]根据上述的候选场景选择处理S140，基于图像材料的特征，从多个图像材料(静态图像、运动图像的场景)中自动提取可被适合地链接在前面场景之后的多个候选场景，并且还选择将被应用于每个场景之间的图像转换效果的候选。
[0140]回到图5以便描述S140之后的处理。图像编辑装置100显示编辑屏幕I (参考图1)，以便向用户呈现在S140选择的多个候选场景(S150)。如图1所示，适合于作为被选择的第η个场景的候选的多个候选场景20Α到20C被显示在编辑屏幕I上的场景选择区域2中。另外，用于第η + I个场景的多个候选场景30Α到30C、30D到30F和30G到301分别被针对候选场景20A到20C显示在下一场景显示区域3中。另外，高速回放运动图像41被显示在预览区域4中，以便检查被选择的场景与该场景之前和之后的场景之间的连续性。另夕卜，示出自动编辑最为推荐的编辑结果的全体图片的缩略图50A到50E被显示在胶卷区域5中。
[0141]用户观看这个编辑屏幕1，掌握候选场景的内容以及场景前后的上下文，并且从呈现在场景选择区域2中的多个候选场景20A到20C中选择用户喜欢的场景(S160)。用户通过按压与光标21相邻的向上/向下按钮22A和22B向上和向下移动光标21,将光标21设置在所希望的候选场景20，并且按压确定按钮(未示出)，选择所希望的场景。通过这种用户选择确定编辑结果的第η个场景。
[0142]接着，图像编辑装置100基于S160中的用户选择的结果更新用户偏好DB320(S170)。这使得能够将过去用户选择结果的历史存储在用户偏好DB320中。图像编辑装置100根据用户在S160选择的候选场景的特征，更新用户偏好DB320中的用户偏好信息。例如，当用户选择具有笑脸的场景时，用户偏好信息被这样更新，即，使得在上述S140中计算推荐级别时，关于笑脸的特征的权重是大的。这使得能够从下次在S140中选择候选场景开始，反映过去的用户选择结果。
[0143]接着，图像编辑装置100确定用户是否选择了编辑结果的所有场景(第一到第m个场景)(S180)。在不是所有场景都被选择的情况下，使η增加1 (S182)，并且图像编辑装置100的处理返回S140。然后，以与上面相同的方式，图像编辑装置100选择下一个场景(第η + 1个场景)的多个候选场景(S140)，在编辑屏幕1上呈现候选场景(S150)，并且将用户在编辑屏幕1上选择的候选场景确定为第η + 1个场景(S160)。通过顺序重复用于这种候选场景的选择处理，将从编辑结果的第一个场景起顺序地确定所有场景(第一到第m个场景)。
[0144]然后，图像编辑装置100组合用户以上述方式顺序选择的第一到第m个场景，产生最终编辑结果(编辑作品)，并且将该编辑结果存储在编辑结果DB330中(S190 )。
[0145]〈6.应用例子〉
[0146]接着，将描述根据本示例实施例的使用编辑屏幕1的图像编辑方法的应用例子。
[0147](1)根据编辑模式的编辑
[0148]首先，将参考图8到10描述根据本示例实施例的根据编辑模式的图像编辑方法。
[0149]根据本示例实施例的图像编辑装置100可以根据用户的目的呈现各种编辑模式。如上所述，作为编辑模式，存在用于将运动图像的场景布置到故事中使其容易观看的基于故事的模式、根据诸如音乐的BGM选择场景的音乐驱动的模式、用于确定运动图像中的多个场景中将被删除的场景的场景放弃的模式等。通过根据目的设置所希望的编辑模式，用户可以容易地获得所希望的编辑结果。
[0150]图8是在基于故事的模式中编辑的情况下的编辑屏幕1的显示的例子。在基于故事的模式中，通过从一个或更多个图像材料中删除不必要的场景，并且按照发生时间顺序连接必要的场景，获得具有故事情节的编辑结果。不必要的场景是具有手控模糊或失焦的失败场景、所希望的对象未出现的场景、不生动的场景、单调冗长的场景等。必要的场景是出现了所希望的对象的场景、具有笑脸的场景、生动(lively)的场景、具有对话的场景、精彩场景、摘要场景等。在基于故事的模式中，构成必要场景的候选场景被基本按照发生时间顺序呈现在编辑屏幕1上的场景选择区域2中。因此，通过顺序地选择呈现在编辑屏幕1上的候选场景，用户可以容易地获得具有故事情节的所希望的编辑结果。
[0151]图9是在音乐驱动的模式中编辑的情况下的编辑屏幕1的显示的例子。在音乐驱动的模式中，通过连接与作为BGM播放的音乐匹配的场景获得编辑结果。可以通过已知的12音调分析技术指定音乐段的特定部分(例如，和弦、A调、B调等)，由此，在音乐驱动的模式中，图像的场景可被与音乐段的一部分相关联地显示。例如，一个精彩场景可被与音乐段的和弦部分相关联，并且一个平静场景可以与A调部分相关联。指示音乐段的所述部分的图标25和35被显示在图9的编辑屏幕1上，以便向用户呈现当前选择的场景与音乐段的哪个部分相关联。图标25指示场景选择区域2中当前选择的第η个场景相应于音乐段的Α调部分，并且图标35指示下一场景显示区域3中显示的第η + 1个场景相应于音乐段的和弦部分。这允许用户在编辑屏幕I上选择与音乐段的和弦部分等匹配的候选场景20。
[0152]图10是在场景放弃的模式中编辑的情况下的编辑屏幕I的显示的例子。在场景放弃的模式中，可以通过使用显示在编辑屏幕I上的场景选择区域2中的删除图标26删除不必要的场景，获得以必要的场景配置的编辑结果。如图10所示，在显示在编辑屏幕I上的场景选择区域2中的相应候选场景20上显示删除图标26A到26C。用户可以通过选择编辑屏幕I上的删除图标26A删除相应于删除图标26A的候选场景20A。在用户在选择第η个场景时选择了一个候选场景20而没有选择删除图标26中的任何一个的情况下，处理前进到对接下来的第η + I个场景的选择，而不删除候选场景20Α到20C。
[0153]如上所述，编辑屏幕I上的预览区域4显示高速回放运动图像41，该高速回放运动图像41示出了所选择的场景以及所选择场景前后的场景。因此，通过使用编辑屏幕I上的删除图标26删除不必要的场景，预览区域4的显示发生改变，并且用户可以检查删除编辑屏幕I上的场景的后果。过去没有立刻向用户呈现由图像材料的删除导致的全体编辑结果的后果的GUI。然而，根据本示例实施例的编辑屏幕I能够提供这种GUI，并且可以解决过去的问题。
[0154](2)对图像转换效果的选择
[0155]接着，将参考图11描述根据本示例实施例的选择编辑屏幕I上的图像转换效果的方法。
[0156]如图11所示，当按压编辑屏幕I上的场景选择区域2中的左按钮23A (或右按钮23B)时，显示用于选择图像转换效果的选择菜单27。选择菜单27以推荐级别的降序顺序显示将被应用于被选择的第η个场景的候选场景20Β与前面和后面场景(第n-Ι个场景或第η + I个场景)的候选场景之间的图像转换效果的候选。在图11的例子中，在选择菜单27中从顶部起以推荐级别的降序顺序呈现了 6个图像转换效果，并且可以看到“剪切”是最为推荐的图像转换效果。这些图像转换效果的候选被基于候选场景的特征自动选择，并且是根据两场景的内容或特征的适当的图像转换效果。
[0157]用户可以通过在选择菜单27中移动光标28，从根据场景的内容等的图像转换效果的适当候选中选择用户喜欢的图像转换效果。另外，由于选择菜单27中的图像转换效果被以推荐级别的顺序呈现，所以在用户选择图像转换效果时非常方便。图像编辑装置100将用户选择的一个图像转换效果确定为将被应用于场景之间的图像转换效果，并且将其存储在编辑结果DB330中。
[0158](3)标题的插入
[0159]接着，将参考图12描述根据本示例实施例的使用编辑屏幕I插入标题的方法。
[0160]如图12所示，在编辑屏幕I上的场景选择区域2中，可以向所选择的候选场景20增加标题29 (文本信息)。根据本示例实施例的编辑屏幕1，标题29可被以这种方式容易地插入构成编辑结果的第一到第m个场景，并且可以有效地执行编辑的任务。
[0161]<7.总结〉
[0162]迄今已经详细描述了根据本示例实施例的图像编辑装置100以及使用图像编辑装置100的图像编辑方法。根据本示例实施例，适合于链接在前面场景之后的多个候选场景20被呈现在编辑屏幕I上的场景选择区域2中。因此，允许用户通过从呈现在编辑屏幕I上的多个候选场景20中顺序选择所希望的场景，容易地产生用户喜欢的图像作品。因此，可以在调整已被自动编辑的图像作品时呈现可被适合地链接在某个场景之后的多个推荐场景，并且也允许用户以简单的操作系统容易地产生用户喜欢的图像作品。
[0163]更具体地，使用根据本示例实施例的编辑屏幕1的图像编辑方法可以在运动图像的自动编辑之后手动调整编辑内容时提供极其简单的操作系统。即，通过从第一个场景开始简单地顺序选择呈现在编辑屏幕1上的多个候选场景，用户可以容易地编辑运动图像，并且产生用户喜欢的图像作品。此时，通过呈现在场景选择区域2上的多个候选场景20之间进行用户希望的任意次数的适当选择和改变，用户可以通过反复试验来精心设计所希望的内容。
[0164]另外，由于基于图像材料的分析结果获得每个图像材料的推荐级别，并且在手动编辑之前产生最佳自动编辑结果，所以图像编辑装置100可以在编辑屏幕1上显示最为推荐的自动编辑结果。例如，沿着编辑屏幕1中部的水平线并排示出的图像(图1中的候选场景20B和30E)以及胶卷区域5中的缩略图50A到50E是根据自动编辑最为推荐的自动编辑结果。采用呈现在编辑屏幕1上的最为推荐的编辑结果，只要用户满意该编辑结果，场景选择甚至也成为是不必要的。
[0165]另外，在编辑屏幕1上，不仅显示在场景选择区域2中当前被选择的候选场景(第η个)，而且在下一场景显示区域3中显示下一个场景(第η + 1个)的候选场景。因此，用户可以同时检查两个场景。另外，在所有时刻在预览区域4中显示用于所选择的候选场景与前面和后面场景的候选场景的回放运动图像41，以便以高速预览。因此，用户可以立即检查被选择的候选场景与前面和后面场景之间的连续性。另外，还在场景选择区域2中显示使得能够理解候选场景20的推荐原因的信息(图标23)，并且这种信息帮助用户选择候选场景20。
[0166]另外，每次用户选择候选场景20或将被应用在场景选择区域2中的场景之间的图像转换效果，图像编辑装置100通过使用该选择结果更新用户偏好DB320。这使得能够实时地学习用户的偏好，并且将该偏好立刻反映在对以后候选场景的选择上。
[0167]另外，还可以生成混合了运动图像和静态图像两者的编辑结果，作为混合了多个图像材料的图像材料。另外，用户可以容易地在编辑屏幕1上的编辑结果中插入标题(文本信息)。另外，用户不仅可以在编辑屏幕1上检查在编辑结果(编辑作品)中使用的多个候选场景，而且可以检查未使用的场景。
[0168]另外，当通过组合包括来自不同生成来源的多个运动图像、静态图像等的各种图像材料来进行编辑时，根据本示例实施例的图像编辑方法是方便的。使用根据本示例实施例的图像编辑方法的示例如下。
[0169]例如，假设家庭成员去学校给在运动会上的最小的孩子加油，并且每个成员使用分配给该成员的成像装置拍摄运动会的图像的情况。此时，假设爸爸使用数字摄像放像机，妈妈使用小型数字照相机，哥哥使用单镜头反射数字照相机，并且姐姐使用移动电话的内置照相机。然后，决定将由这些成像装置拍摄的图像材料编辑为一个短片(运动图像)，作为最小的孩子在运动会上的活跃表现的纪念。决定由不熟悉个人计算机的妈妈而不是繁忙的爸爸执行编辑的任务，并且妈妈决定使用可由任何人容易地操作的自动编辑软件。
[0170]即使在这种使用情况下，通过使用安装有根据本示例实施例的自动编辑功能的软件的图像编辑装置100，妈妈也可以容易地产生一个组合了各种图像材料的编辑作品(短片)。
[0171]本领域的技术人员应当理解，根据设计要求和其它因素，可以发生各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内。
[0172]例如，虽然已经描述了图像编辑装置被应用于个人计算机的上述示例实施例的例子，本发明不限于这种例子。如图13所示，本发明的图像编辑装置可被应用于摄像机100A、便携游戏机100B、游戏机100C和电视机100D的组合、移动电话100E等，只要在安装了该编辑应用软件时，它是能够显示编辑屏幕I的设备。
[0173]本申请包含与2009年7月29日提交到日本专利局的日本在先专利申请JP2009-176572的公开相关的主题，通过引用将其完整内容结合在此。
【权利要求】
1.一种信息处理装置，包括:选择装置，基于所述编辑作品的前一个即第η-1个场景的特征，从多个场景中选择用于所述编辑作品的第η个场景的多个第一候选场景；和生成装置，生成与包括场景选择区域的图形用户界面有关的信息，其中，所述场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像，其中所述生成装置配置为生成与所述图形用户界面有关的信息，以便在选择区域中包括图标，所述图标表示所述多个第一候选场景的特征。
2.如权利要求1所述的信息处理装置，其中所述信息处理装置还包括:存储装置，存储包括多个场景的图像材料。
3.如权利要求1所述的信息处理装置，其中所述图形用户界面还包括预览区域，所述预览区域包括第η-1个场景的预览。
4.如权利要求3所述的信息处理装置，其中所述预览区域包括第η-1个场景和所述多个第一候选场景中的被选择的一个场景的预览。
5.如权利要求3所述的信息处理装置，其中所述预览区域包括由所述选择装置选择的第η-1个场景、所述多个第一候选场景中的被选择的一个场景、以及后一个即第η + 1个场景的预览。
6.如权利要求1所述的信息处理装置，其中所述生成装置配置为生成与所述图形用户界面有关的信息，以便在选择区域中包括指示符，所述指示符基于用户输入标识所述多个第一候选场景中的被选择的一个场景。
7.如权利要求1所述的信息处理装置，其中基于所述多个第一候选场景，所述选择装置配置为从所述多个场景中选择用于编辑作品的后一个即第η + 1个场景的多个第二候选场景；和所述生成装置配置为生成与所述图形用户界面有关的信息，以便包括下一场景显示区域，所述下一场景显示区域包括与所述多个第二候选场景相应的一个或更多个第二候选图像。
8.如权利要求1所述的信息处理装置，其中所述选择装置配置为自动选择跟在第η个场景之后的所述编辑作品的至少一个场景，和所述生成装置配置为生成与所述图形用户界面有关的信息，以便包括胶卷区域，所述胶卷区域包括与至少第η个场景和包括在所述编辑作品中的被自动选择的至少一个场景相应的缩略图。
9.如权利要求1所述的信息处理装置，其中所述生成装置配置为生成与所述图形用户界面有关的信息，以便包括图像转换效果选择窗口，所述图像转换效果选择窗口包括将被应用于所述编辑作品的第η个场景与第η-1个或后一个即第η + 1个场景之一之间的连接部分的用户可选择的图像转换效果的列表。
10.如权利要求1所述的信息处理装置，其中所述生成装置配置为生成与所述图形用户界面有关的信息，以便在选择区域中包括用于一个或更多个所述多个第一候选场景中的每一个的删除图标，并且响应接收到的所述删除图标的用户选择，删除所述多个第一候选场景中的相应一个候选场景。
11.如权利要求1所述的信息处理装置，其中 所述生成装置配置为生成与所述图形用户界面有关的信息，以便包括与所述多个第一候选场景中的一个候选场景相应的标题输入字段。
12.如权利要求1所述的信息处理装置，其中 所述选择装置配置为基于在所述编辑作品中的第η-1个场景之后发生的多个场景的发生时间顺序，从所述多个场景中选择所述多个第一候选场景，并且 所述生成装置配置为生成与所述图形用户界面有关的信息，使得按照发生时间顺序显示包括在所述场景选择区域中的所述一个或更多个第一候选图像。
13.如权利要求1所述的信息处理装置，其中 所述选择装置配置为基于将被与所述编辑作品的第η个场景相关联的音乐段的一部分，从所述多个场景中选择所述多个第一候选场景。
14.如权利要求1所述的信息处理装置，其中所述选择装置配置为确定所述多个场景中的每一个的不同推荐级别，并且基于所述不同推荐级别从所述多个场景中选择所述多个第一候选场景。
15.如权利要求14所述的信息处理装置，其中所述生成装置配置为生成与所述图形用户界面有关的信息，使得基于所述多个第一候选场景的不同推荐级别在所述场景选择区域中显示所述多个第一候选场景。
16.如权利要求1所述的信息处理装置，其中表示所述多个第一候选场景的特征的所述图标被用户用于标识所述多`个第一候选场景的内容。
17.—种信息处理方法,包括: 基于所述编辑作品中的前一个即第η-1个场景的特征，从所述多个场景中选择用于所述编辑作品的第η个场景的多个第一候选场景，和 生成与包括场景选择区域的图形用户界面有关的信息，其中所述场景选择区域包括与所述多个第一候选场景中的至少一个相应的一个或更多个第一候选图像， 其中生成与所述图形用户界面有关的信息，以便在选择区域中包括图标，所述图标表示所述多个第一候选场景的特征。
18.一种信息处理装置，包括: 选择装置，基于所述编辑作品的前一个即第η-1个场景的特征，自动从所述多个场景中选择用于所述编辑作品的第η个场景的多个候选场景；和 生成装置，生成与包括场景选择区域的图形用户界面有关的信息，其中，所述场景选择区域包括与所述多个候选场景中的至少一个相应的一个或更多个候选图像，所述一个或更多个候选图像被呈现在树结构中。
19.一种信息处理方法,包括: 基于所述编辑作品的前一个即第η-1个场景的特征，自动从所述多个场景中选择用于所述编辑作品的第η个场景的多个候选场景；和 生成与包括场景选择区域的图形用户界面有关的信息，其中，所述场景选择区域包括与所述多个候选场景中的至少一个相应的一个或更多个候选图像，所述一个或更多个候选图像被呈现在树结构中。
【文档编号】H04N5/272GK103702039SQ201310514431
【公开日】2014年4月2日 申请日期:2010年7月22日 优先权日:2009年7月29日
【发明者】鹿岛浩司 申请人:索尼公司