专利名称：编辑装置、编辑方法、程序和记录介质的制作方法
技术领域：
本公开涉及编辑装置、编辑方法、程序和记录介质。
背景技术：
近来，诸如PC(个人计算机)的计算机的处理性能的显著进步例如允许在实际处理时间中编辑图像(运动图像和静止图像)，而不特别使用专用装置。此外，该趋势已经持续地提高了用于个人和家庭使用的图像编辑装置的用户数量。例如，图像编辑要求各种任务，如图像(或素材)的分类、故事的确定、图像的选择和图像链接的选择。因此，存在对于图像编辑任务自动化的需要。在该情况中，可以开发了自动编辑图像的技术。这些技术之一公开在日本专利公报No. 2009-153144中，其中从运动图像提取例如反映由该运动图像指示的内容的流的事件，并且例如自动产生具有反映关联的内容的流的场景的摘要图像。
发明内容
应用了用于自动执行图像编辑的现有技术(以下简称为“现有技术”)的编辑装置(以下称为“现有技术编辑装置”)从概念“引入、展开、转折和结论”的观点从运动图像提取场景，并且生成与提取的场景关联的摘要图像。然而，因为现有技术编辑装置基于概念 “引入、展开、转折和结论”从运动图像提取场景，所以如果指示一条内容的运动图像中没有建立该内容“引入、展开、转折和结论”，则现有技术编辑装置不能总是从关注的运动图像提取场景。在自动编辑图像的另一方法中，假定编辑装置从两个或多个图像中选择图像，并且基于故事模板以时间依赖方式链接选择的图像，故事模板用于指定例如由编辑后创建的图像指示的内容的流(或者所谓故事)。然而，可以经历编辑的图像(以下称为“候选图像”)中，适合故事模板的候选图像典型地不存在。因此，在使用故事模板的情况下，如果没有适合故事模板的候选图像，可能不能完成由该故事模板指定的故事，或者获得不完整的图像作为编辑的图像。此外，如果没有适合故事模板的候选图像，则编辑装置例如从候选图像中选择给定的候选图像，以提供试验性的完成图像作为编辑图像。然而，在此情况下，不能利用基于故事模版的编辑点。即使通过使用现有技术或故事模板执行自动编辑，有时也不能执行匹配“引入、展开、转折和结论”(或一种故事)的观点的场景的提取，或者匹配故事的候选图像的选择。因此，即使通过使用现有技术或故事模板执行自动编辑，也可能获得不完整的图像作为编辑图像，由此使得可能编辑的图像不总是提供用户期望的图像。因此，本公开处理上述和其他与现有技术方法和装置关联的问题，并且通过提供一种编辑装置、编辑方法、程序和记录介质解决处理的问题，该编辑装置、编辑方法、程序和记录介质配置为在每个图像选择时间从两个或多个候选图像中选择对应于故事的图像，以编辑由此选择的图像。在执行本公开中并根据本公开的第一模式，提供一种编辑装置。该编辑装置具有 故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。在上述新颖的配置中，可以对每个选择时间从两个或多个候选图像中选择对应于故事的图像，以编辑选择的图像。在上述编辑装置中，估计值计算块对于每个所述选择时间基于所述多个候选图像的每个的特征值以及所述多个候选图像的每个的所述特征值的期望值，计算曼哈顿距离作为所述估计值。在上述编辑装置中，图像选择块对于每个所述选择时间，选择在每个所述选择时间具有最小估计值的候选图像作为所述选择图像。在上述编辑装置中，图像选择块从排除已经选择的候选图像的所述多个候选图像中对于每个所述选择时间选择所述选择图像。上述编辑装置还具有图像估计块，配置为基于所述多个候选图像，设置用于所述多个候选图像的每个的所述特征值。在上述编辑装置中，如果所述多个候选图像中的任一是在再现时间上超过预定时间的运动图像，则所述图像估计块划分所述运动图像，使得所述再现时间落入所述预定时间内，并且对从划分得到的多个候选图像的每个设置所述特征值。上述编辑装置还具有候选图像确定块，配置为根据用户操作确定所述多个候选图像的每个。上述编辑装置还具有通信块，配置为与外部装置执行通信，其中所述故事确定块基于指示由所述通信块接收的、从所述外部装置发送的所述故事的故事信息，确定所述故事。在上述编辑装置中，故事通过使用指示图像的特征量的特征值的时间函数表示。在上述编辑装置中，故事通过使用指示图像的种类的信息的时间函数表示。在执行本公开中并根据本公开的第二模式，提供一种编辑方法。该编辑方法具有 确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；基于所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间选择的图像的选择图像。上述新颖的方法允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。在执行本公开中并根据本公开的第三模式，提供一种计算机程序。该程序使得计算机执行以下步骤的程序确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。上述新颖的计算机程序允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。在执行本公开中并根据本公开的第四模式，提供一种计算机可读记录介质。该新颖的记录介质记录用于使得计算机执行以下步骤的程序确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。上述新颖的记录介质允许对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。如上所述并且根据本公开的实施例，可以对于每个选择时间从两个或多个候选图像选择对应于故事的图像，以编辑选择的图像。
图1是指示与作为本公开的一个实施例实施的编辑装置中的编辑途径关联的示例性处理的流程图；图2是指示作为本公开的另一实施例实施的对候选图示设置的示例性特征值的图；图3是指示图1的编辑装置中的示例性故事确定处理的流程图；图4是指示图1的编辑装置中的示例性估计值计算处理的流程图；图5是用于描述图1的编辑装置中的示例性图像选择处理的图；图6是用于描述图1的编辑装置中的另一示例性图像选择处理的图；图7是指示图1的编辑装置中的示例性图像选择处理的流程图；图8是图示图1的编辑装置的示例性配置的框图；以及图9是图示图1所示的编辑装置的示例性硬件配置的示意图。
具体实施例方式将参考附图通过本公开的实施例进一步详细描述本公开。应当注意，具有基本上类似的功能配置的组件块以相同的参考数字指示，并且忽略重复的说明。将按以下顺序进行本公开是实施例的描述。(1)作为本公开的一个实施例实施的途径(或方法)；
(2)作为本公开的另一实施例实施的控制装置；(3)作为本公开的另一实施例实施的程序；以及(4)其中存储作为本公开的一个实施例实施的程序的记录介质-作为本公开的一个实施例实施的途径在描述作为本公开的一个实施例实施的编辑装置(以下称为编辑装置100)的示例性配置之前，将描述其中编辑作为本公开一个实施例实施的图像的途径。作为本公开一个实施例实施的图像是静态图像或运动图像。在随后的内容中，可以编辑的候选图像有时可以称为“素材”。应当注意，与作为本公开的一个实施例实施的途径关联的处理可以理解为与作为本公开的一个实施例实施的编辑方法关联的处理。-编辑途径的概述如上所述，即使通过使用现有技术或故事模板执行自动编辑，也不可选择匹配故事的候选图像。如上所述，如果在不能选择候选图像的情况，则出现担心获得不完整的图像作为编辑的图像，使得编辑的图像不总是提供用户期望的图像。因此，基于对每个候选图像设置的特征值，作为本公开的一个实施例实施的编辑装置100在每个选择时间计算每个候选图像的估计值。此外，基于在每个选择时间计算的估计值，编辑装置100从候选图像选择图像。然后，编辑装置100以时间依赖方式相互链接在选择时间选择的选择图像，从而生成编辑图像。这里与本公开的一个实施例关联的故事代表通过其从两个或多个候选图像中选择图像的参考，其由函数(其细节将随后描述)表示。这里与本公开的一个实施例关联的选择时间代表用其在每个故事中计算估计值的时间。更具体地，与本公开的一个实施例关联的选择时间指示用于执行处理的时间，该处理用于沿故事选择候选图像。例如，该选择时间是从开始编辑的时间起流逝的时间(例如，用秒、分钟或小时表示)。与本公开的一个实施例关联的选择时间可以是预先指定的时间，或者按照希望由用户设置的时间。如上所述，编辑装置100基于由时间函数表示的故事顺序地计算每个选择时间的估计值，以及对候选图像设置的特征值，并且对每个选择时间设置具有最小(或者最大)估计值的候选图像(即，具有较高值的候选图像)，例如作为对每个选择时间的选择图像。因此，作为本公开的一个实施例实施的编辑装置100防止引起这样的情况，其中在通过使用现有技术或故事模板的自动编辑中可能出现的在每个选择时间中没有选择选择图像。因此，编辑装置100可以对每个图像选择时间从两个或多个候选图像中选择对应于故事的图像，由此编辑选择的图像。此外，编辑装置100从两个或多个候选图像中选择具有计算的高估计值的候选图像(例如，具有最小估计值的估计图像或者具有最大估计值的估计图像)作为选择图像，使得如果在未指定的多个候选图像上执行编辑，则可以选择更接近故事的选择图像。因此，如果候选图像随着情况动态地改变，该情况是其中两个或多个用户按照希望增加或删除图像的图像社区站点的图像处理为候选图像，则例如编辑装置100可以从候选图像中选择更接近故事的选择图像。此外，因为编辑装置100使用由时间函数表示的故事，所以例如编辑装置100可以根据选择时间的设置延长或缩短故事。另一方面，由创建者即人类创建故事模板，使得故事模板的自动改变是困难的。更具体地，难以通过改变故事模板延长或缩短故事。因此，当使用故事模板时为了延长或缩短故事，要求准备两个或多个故事模板，并且例如时常改变准备的故事模板。因此，通过使用由时间函数表示的故事，编辑装置100可以比使用难以延长或缩短故事除非改变模板本身的故事模板，更容易地延长或缩短故事。因此，通过使用由时间函数表示的故事，编辑装置100可以编辑更多样的图像。-与编辑途径关联的处理的具体示例以下描述用于实现作为本公开的一个实施例实施的上述编辑途径的处理的示例。 参考图1，示出指示与作为本公开的一个实施例实施的编辑装置100中的编辑途径关联的处理的一个示例的流程图。首先，编辑装置100确定素材组(S100)。当执行步骤SlOO的处理时，确定候选图像。例如，这里的素材组代表通过预定主题(如运动会、节日、婚礼和海洋)分类的一组候选图像。这里的素材组可以是由用户手动分类的组，或者通过执行图像处理由编辑装置100 或外部装置(如服务器)自动分类的组。编辑装置100例如基于用户操作执行步骤SlOO的处理。应当注意，这里上述“基于用户操作执行步骤Sioo的处理”代表编辑装置100根据对应于从操作者部分(将随后描述)发送的用户操作的操作信号、对应于从外部操作者设备(如遥控器)发送的用户操作的外部操作信号、或者经由网络(或直接)从外部装置发送的操作信号，执行处理。应当注意，作为本公开的一个实施例实施的编辑装置100可以不执行图1所示步骤SlOO的处理。如果编辑装置100不执行步骤SlOO的处理，则编辑装置100从例如没有通过用户操作确定的专门分组的候选图像中选择选择图像。如上所述，编辑装置100例如基于对在步骤SlOO确定的候选图像设置的特征值执行处理。以下描述对作为本公开的一个实施例实施的候选图像设置的特征值。参考图2，示出指示对与本公开的一个实施例关联的候选图像设置的特征值的一个示例的图。图2示出对图像ml到ml4设置的特征值的一个示例。每个候选图像设置有特征值(或者所谓对每个种类(C)的分值)。这里种类代表用于分类图像以确定编辑的图像的方向的关注点。这里种类可以是例如由用户按照希望从两个或多个种类候选中选择的预定的一个或多个。例如，这里种类包括指示基于取得图像的时间的关注点的时间(Cl)、指示基于取得图像的位置的关注点的位置(c2)、指示基于图像角度的关注点的图像角度(U)、指示基于成像的被摄体是否为特定的一个的关注点的肖像度(c4)、以及指示基于成像的被摄体或成像装置运动(可以包括摇摄或缩放)到什么程度的关注点的运动度(c5)。应当注意，这里的种类不限于上述那些，例如这里的种类可以指示基于成像的被摄体的数量、快门速度等的关注点。例如，编辑装置100通过对每个候选图像执行图像分析和参考每个候选图像的元数据，对每个候选图像设置特征值。例如，在设置位置(^)的特征值时，编辑装置100根据在通过使用GPS(全球定位系统)获得的编辑装置100的位置与取得每个候选图像的位置之间的直线距离，以10级设置每个候选图像的特征值。此外，在设置图像角度(d)的特征值时，编辑装置100以广角侧为1和远摄侧为10的10级设置每个候选图像的特征值。在设置肖像度(c4)时，编辑装置100以候选图像不具有成像的被摄体为1和候选图像关注特定的成像的被摄体(例如，在图像的中心的成像的被摄体)为10的10级，设置每个候选图像的特征值。应当注意，在编辑装置100中设置特征值的方法不限于上述一个；例如，可以设置通过归一化具体值获得的归一化的特征值。此外，如果候选图像是例如在再现时间上超过预定的持续时间的运动图像，则编辑装置100可以通过时间轴划分候选图像，使得再现时间落入预定持续时间内。如果使用该划分，则编辑装置100设置特征值到每个划分的候选图像。在此情况下，编辑装置100通过参照候选图像的元数据识别候选图像的再现时间。然而，与本公开的一个实施例相关联的识别每个候选图像的再现时间的方法不限于上述方法。上述预定的持续时间例如可以是预定的一个或更具用户操作设置的一个。如上所述，编辑装置100通过时间轴划分候选图像，使得再现时间落入预定的持续时间内，并且设置特征值到每个划分的候选图像。因此，与对未划分的候选图像设置特征值的情况相比，编辑装置100可以设置更接近图像的特征的特征值。如上所述，用于候选图像(M)的种类(C)的特征值表示为“S(M，C) ”。例如，在图2 所示图像ml中种类(U)的特征值表示为S(m2，c2) = 1。应当注意，图2示出对每个候选图像设置两个或多个种类(C)的示例；明显地，对与本公开的一个实施例关联的每个候选图像可以只设置一个种类(C)。例如，如上所述编辑装置100对每个候选图像设置特征值。例如，编辑装置100对在步骤SlOO确定为候选图像的图像设置特征值，但是作为本公开的一个实施例实施的编辑装置100中的处理不限于该处理。例如，无论是否已经执行步骤SlOO的处理，编辑装置 100可以执行对可以提供候选图像的图像设置特征值的处理。在不执行设置估计值的处理的情况下，发送候选图像(或可以提供候选图像的图像)到诸如服务器的外部装置，并且通过使用在涉及的外部装置中设置的特征值执行与随后要描述估计值计算关联的处理，对编辑装置100也是可实施的。以下再次参考图1描述与作为本公开的一个实施例实施的编辑装置100中的编辑途径关联的处理的一个示例。当在步骤Sioo确定素材组时，编辑装置100确定故事(步骤 S102中的故事确定处理)。例如，编辑装置100基于对应于从操作者块(将随后描述)发送的用户操作的操作信号，或者对应于从外部操作设备(如遥控器)发送的用户操作的外部操作信号，确定故事。应当注意，在编辑装置100中确定故事的方法不限于上述的一个。 例如，如果经由网络(或者直接)接收从连接到编辑装置100的外部装置发送的记录有故事的故事信息，则编辑装置100可以确定由接收的故事信息指示的故事，作为用于随后要描述的处理中使用的故事。如上所述，与本公开的一个实施例关联的故事提供通过其从两个或多个候选图像中选择图像并且由时间函数表示的参考。通过使用在选择时间tl每个候选图像的特征值的期望值(SX)和特征值二者，表示每个故事。在以下内容中，在每个候选图像中种类(cn) (η是1或更高的整数)在选择时间t的期望值指示为“SX(cn，t) ”。在以下的等式⑴到(3)指示与本公开的一个实施例关联的故事。等式⑴示出用于计算基于候选图像(M)的特征值和候选图像的期望值二者的曼哈顿距离(Manhattan distance)作为在选择时间t的期望值的故事的一个示例。等式( 和( 指示在选择时间t用于每个种类的期望值的一个示例。等式(1)和(3)中的N指示每个候选图像的种类的数量。
权利要求
1.一种编辑装置，包括故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。
2.根据权利要求1所述的编辑装置，其中所述估计值计算块对于每个所述选择时间基于所述多个候选图像的每个的特征值以及所述多个候选图像的每个的所述特征值的期望值，计算曼哈顿距离作为所述估计值。
3.根据权利要求2所述的编辑装置，其中所述图像选择块对于每个所述选择时间，选择在每个所述选择时间具有最小估计值的候选图像作为所述选择图像。
4.根据权利要求1所述的编辑装置，其中所述图像选择块从排除已经选择的候选图像的所述多个候选图像中对于每个所述选择时间选择所述选择图像。
5.根据权利要求1所述的编辑装置，还包括图像估计块，配置为基于所述多个候选图像，设置用于所述多个候选图像的每个的所述特征值。
6.根据权利要求5所述的编辑装置，其中，如果所述多个候选图像中的任一是在再现时间上超过预定时间的运动图像，则所述图像估计块划分所述运动图像，使得所述再现时间落入所述预定时间内，并且对从划分得到的多个候选图像的每个设置所述特征值。
7.根据权利要求1所述的编辑装置，还包括候选图像确定块，配置为根据用户操作确定所述多个候选图像的每个。
8.根据权利要求1所述的编辑装置，还包括通信块，配置为与外部装置执行通信，其中所述故事确定块基于指示由所述通信块接收的、从所述外部装置发送的所述故事的故事信息，确定所述故事。
9.根据权利要求1所述的编辑装置，其中所述故事通过使用指示图像的特征量的特征值的时间函数表示。
10.根据权利要求9所述的编辑装置，其中所述故事通过使用指示图像的种类的信息的时间函数表示。
11.一种编辑方法，包括确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；基于所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；基于所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间选择的图像的选择图像。
12.一种用于使得计算机执行以下步骤的程序确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考； 基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。
13.—种记录程序的计算机可读记录介质，该程序使得计算机执行以下步骤 确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考； 基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，在所述故事中对于每个选择时间计算用于所述多个候选图像的每个的估计值；基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。
全文摘要
在此公开一种编辑装置，包括故事确定块，配置为确定由时间函数表示的故事，并且提供用于从多个候选图像中选择图像的参考；估计值计算块，配置为基于由所述故事确定块确定的所述故事以及指示对所述多个候选图像的每个设置的所述多个候选图像的每个的特征的至少一个特征值，对于所述故事中的每个选择时间计算用于所述多个候选图像的每个的估计值；图像选择块，配置为基于由所述估计值计算块计算的所述估计值，从所述多个候选图像中对于每个选择时间选择图像；以及编辑处理块，配置为以时间依赖方式相互连结作为对于每个选择时间由所述图像选择块选择的图像的选择图像。
文档编号G06F17/30GK102567446SQ201110326628
公开日2012年7月11日 申请日期2011年10月25日 优先权日2010年10月25日
发明者安田弘幸 申请人:索尼公司