专利名称：信息处理装置、信息处理方法、程序、存储介质以及集成电路的制作方法
技术领域：
本发明涉及对从动态图像内容生成强调(highlight)动态图像进行辅助的技术。
背景技术：
以往有一种为了实现用户的高效视听，对从原始的动态图像内容中提取精彩处的场景(scene)加以辅助的技术(例如参照专利文献I 4)。现有技术文献专利文献专利文献1:日本特开2008 - 98719号公报专利文献2 日本特开2007 - 134770号公报专利文献3 日本特开2000 - 235637号公报专利文献4 日本特开平6 - 165009号公报
发明概要发明要解决的技术问题
发明内容
为了生成强调动态图像，需要从原来的动态图像内容中提取出恰当的部分来进行。鉴于此，本发明的目的在于，提供一种有助于生成良好的强调动态图像的信息处
理装置。用于解决技术问题的手段本发明涉及的信息处理装置的特征在于，具备受理机构，针对动态图像内容从用户受理多个再现位置的指定；提取机构，基于接收到的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；赋予机构，对提取出的每个场景赋予优先级；和生成机构，基于对各场景赋予的优先级来调整I个以上场景的长度，在调整后将各场景相连而生成强调动态图像。发明效果根据本发明涉及的信息处理装置，能够有助于生成良好的强调动态图像。
图1是表示实施方式I中的信息处理装置的构成的图。图2是表示与标记有关的元数据(metadata)的数据结构的图。图3是表示强调动态图像生成的整体动作的流程的图。图4是表示标记输入步骤的动作的流程的图。图5是表不用户输入标记的场面的一个例子的图。
图6是表示强调场景提取步骤的动作的流程的图。图7是表示从标记提取强调场景的一个例子的图。图8是表示强调场景优先级赋予步骤的动作的流程的图。图9是表示从强调场景的再现区间的长度的观点出发的优先级赋予的一个例子的图。图10是表示从强调场景内的标记的密度的观点出发的优先级赋予的一个例子的图。图11是表示强调场景长度调整步骤的动作的流程的图。
图12是表示在将优先级低的强调场景的再现区间的长度缩短后，生成强调动态图像的一个例子的图。图13是表示实施方式2中的信息处理装置的构成的图。图14是表示强调场景提取步骤的动作的流程的图。图15是表示强调场景提取步骤的一个例子的图。图16是表示强调场景优先级赋予步骤的动作的流程的图。图17是表示基于强调场景的再现区间的长度、以及一次拍摄(shot)内的强调场景的再现区间的长度的合计值的情况划分的图。图18是表示一次拍摄内的多个强调场景的关系性的图。图19是表示一次拍摄内的强调场景的再现区间的长度的合计值为Tl以下时的优先级赋予的图。图20是表示一次拍摄内的强调场景的再现区间的长度的合计值为T2以下时的优先级的图。图21是表示一次拍摄内的强调场景的再现区间的长度的合计值为大于T2时的优先级的图。图22是表示使用了遥控器的优先级的赋予的例子的图。图23是表示实施方式3中的信息处理装置的构成的图。图24是表示标记赋予所利用的指标的例子的图。图25是表示实施方式4中的信息处理装置的构成的图。图26是表示信息处理装置的概要构成的图。
具体实施例方式<想到本实施方式的经过>本发明者们研究了，通过将基于用户的指定而提取出的、或者自动提取出的场景进行连接，来生成强调动态图像。但是，对于将提取出的场景直接连接而生成的强调动态图像而言，有时整体的长度过短而难以把握内容、或过长而造成冗长，不一定能满足用户的要求。本实施方式鉴于这样的背景而提出，主要目的在于，为了生成强调动态图像而将上述场景的长度调整成最佳的长度。以下，参照附图对本发明的实施方式进行说明。(实施方式I)
<信息处理装置的构成>图1是表示实施方式I涉及的信息处理装置10的构成的图。信息处理装置10具备用户输入受理部12、强调场景提取部14、优先级赋予部16、强调动态图像生成部18(包括长度调整部20)、存储部22、管理部24、解码部26、显示控制部28。用户输入受理部12具有经由遥控器2来受理用户的输入的功能。遥控器2包括用于指示动态图像的再现等(再现开始、再现停止、跳过、快进、倒带等)的多个按钮、以及用户指定所希望的场景作为强调动态图像用的按钮。
作为用户指定上述场景的方法，可以通过手动指定上述场景的起点以及终点，也可以指定上述场景的一部分。在本实施方式中，对用户进行后者的指定的情况加以说明。具体而言，用户在感到有意思时，按下用于指定所希望的场景作为上述强调动态图像的按钮，来输入“标记”。这里，标记由用户感到有意思的动态图像、以及用于识别其再现位置的信息构成。这样的标记如前述那样，可以是用户指定的标记，也可以是信息处理装置10或者其他设备通过对动态图像进行解析而自动指定的标记。在实施方式I中，以标记是由用户指定的标记的情况为例来进行说明。当在遥控器2中按下了按钮时，遥控器2向用户输入受理部12发送表示用户的指示内容的信息。用户输入受理部12受理接收到的信息所表示的指示内容，作为用户的输入。强调场景提取部14基于上述标记从存储部22中存储的动态图像内容中提取强调场景。该强调场景是用户喜好的场面或者推测为喜好的场面。优先级赋予部16根据需要，对由强调场景提取部14提取出的每个强调场景赋予优先级。强调动态图像生成部18将提取出的强调场景相连组合，来生成强调动态图像。长度调整部20对将强调场景相连组合而生成的强调动态图像的长度是否为最佳进行判定，在不是最佳时，通过对强调场景提取部14请求改变长度的强调场景的再提取处理，来调整强调动态图像的长度。关于这些强调场景的提取、优先级赋予以及强调动态图像生成的详细内容将后述。存储部22例如由HDD(Hard Disk Drive)等构成，存储动态图像内容以及元数据。作为该动态图像内容，只要作为强调场景的提取对象而具有一定的长度即可，没有特别限定。在本实施方式中，作为动态图像内容的例子，对用户自身进行摄影而生成的用户生成内容的情况进行说明。其原因在于，由于这样的用户生成内容大多包括冗长的场景，所以想要生成强调动态图像这样的用户的愿望较多。另外，存储部22所存储的元数据的内容的一个例子如图2所示。图2的表示元数据的构造的表23包括“动态图像内容ID” 23a、“拍摄ID” 23b、“标记ID” 23c、“标记的再现位置(秒)” 23d的项目。“动态图像内容ID” 23a是用于唯一识别存储部22所存储的动态图像内容的识别符。
“拍摄ID” 23b是用于识别与“动态图像内容ID” 23a所表示的动态图像内容对应的I个以上的拍摄的识别符。这里“拍摄”是在用户摄影动态图像时，从第一次开始摄影到摄影结束的单位。“标记ID” 23c是用于识别标记的识别符。“标记的再现位置(秒)” 23d表示与标记ID对应的再现位置。其中，作为该信息，只要是表示再现位置的信息即可，例如也可以取代秒数而使用动态图像的帧ID。管理部24具有担负动态图像内容的再现以及与元数据有关的管理的功能。具体而言，若用户输入受理部12受理动态图像的再现指示，则管理部24基于该指示使解码部26对存储部22中存储的动态图像内容进行解码。然后，管理部24通过显示控制部28将解码后的动态图像内容显示到显示器4上。另外，若在动态图像内容的再现中，用户输入受理部12受理来自用户的标记的输 入，则管理部24在标记的接收时将再现中的动态图像内容的动态图像内容ID及其再现位置等作为元数据存储到存储部22。此外，图2所示的元数据的内容只不过是一个例子，并不限定于此。例如，也可以考虑另外通过播放列表等来进行针对动态图像内容的拍摄的归属管理。<强调动态图像生成的整体动作>接下来，使用图3对实施方式I中的信息处理装置10的强调动态图像生成的整体动作进行说明。在信息处理装置10中，首先进行标记输入步骤(S310)的处理。接着，信息处理装置10执行根据从上述用户接收了输入的标记的再现位置，提取强调场景的强调场景提取步骤(S320)。然后，进行步骤(S330)的处理，该步骤(S330)判定将上述强调场景提取步骤(S320)中提取出的强调场景相连后的强调动态图像的长度是否为最佳。当判定为强调动态图像的长度不是最佳时(S330 :否)，执行对在上述步骤S320中提取出的每个强调场景赋予优先级的强调场景优先级赋予步骤(S340)、和基于所赋予的优先级来对强调场景的再现区间的长度进行调整的强调场景长度调整步骤(S350)。其中，步骤S330的强调动态图像的长度为最佳的状态例如是将步骤S320中提取出的强调场景直接相连后的强调动态图像的长度收敛在规定的下限值到上限值之间(例如从5分钟到15分钟之间)的状态。<标记输入步骤>首先，使用图4对标记输入步骤(S310)的详细内容进行说明。首先，当利用管理部24开始了动态图像内容的再现时，用户输入受理部12开始受理用户进行的标记的输入(S410)，并等待其输入(S420 :否)。当用户输入受理部12受理到标记的输入时(S420 :是)，将构成受理到的标记的信息作为元数据储存到存储部22(S430)。在图2的例子的情况下，构成该受理到的标记的信息包括动态图像内容ID、拍摄ID、标记ID、以及标记的再现位置。此外，关于应该作为元数据储存的标记的再现位置，可以是在标记的受理时刻与解码部26正在解码的帧对应的再现位置，也可以是在标记的受理时刻与管理部24正在读出的帧对应的再现位置。
在用户输入受理部12受理到动态图像内容的再现的停止(S440)，或动态图像内容被再现直到终端后结束为止(S450)，反复执行该步骤S420 S430的处理。图5中表不用户输入标记的场面的一个例子。在该图5的例子中，用户正在视听自身所摄影的女儿所在的幼稚园的游乐会的动态图像内容。由于用户想要观看女儿，所以在女儿活跃时，按下了遥控器2的强调按钮。<强调场景提取步骤>接下来，使用图6对强调场景提取步骤(S320)进行详细说明。当上述标记输入步骤(S310)结束后，管理部24对强调场景提取部14通知该标记输入步骤结束的信息。
接收到该信息的强调场景提取部14取得存储部22中储存的元数据中、与在刚刚结束之前进行了再现的动态图像内容相关联的标记(S610)。例如，如果元数据的内容是图2的例子那样的构成，且刚刚结束之前进行了再现的动态图像内容的ID为0，则取得图2的表的从上起3行量的元数据。接下来，强调场景提取部14针对尚未提取对应的强调场景的标记，分别提取标记的再现位置前后的再现区间，作为强调场景(S620 )。作为步骤S620的提取方法，可考虑多种手法。例如，可考虑利用标记来提取固定长度的场景而将其作为强调场景的方法。在本方法中，将标记的再现位置的前后的再现区间提取出所设定的固定长度量，作为强调场景。另外，在上述手法中，当多个标记间的再现位置之差小于上述固定长度时，从上述多个标记提取出的强调场景彼此重合。该情况下，提取出如下再现区间作为强调场景，该再现区间从自最初的标记回溯了固定长度量的时刻开始，到自最后的标记的再现位置起的固定长度量后的时刻为止。图7中表不了将上述固定长度设为5秒时的上述手法的一个例子。在图7(a)中，由于标记的再现位置为21秒，所以提取出其前后5秒的再现区间即16秒到26秒作为强调场景。另外，在图7 (b)中，提取出将从最初的标记的再现位置(21秒)回溯了 5秒的16秒作为起点、将从下一标记的再现位置(23秒)起的5秒后的时刻的28秒作为终点那样的再现区间，作为强调场景。此外，图7中设定为固定长度的5秒只是一个例子，并不限定于此。另外，强调场景的提取方法不限于上述提取固定长度那样的手法，只要是包括标记的再现位置那样的强调场景的提取方法，就可以使用任意的方法。例如，也可以采用专利文献3等所公开的下述方法计算标记的再现位置的前后的再现区间的各帧的图像特征量并进行比较，按照将在标记的再现位置的前后的再现区间各自中图像特征量的差分为阈值以上那样的帧作为强调场景的间断的方式，来提取强调场
旦
ο另外，也可以采用下述的方法从声学的观点出发将标记的再现位置的前后的帧细化，分别导出与声音环境有关的特征量和其平均值，提取出将特征量与平均值的差分为阈值以上那样的帧作为场景的间断那样的场景。并且，还可以采用专利文献4等所公开的下述方法当对标记的再现位置的前后的再现区间的帧进行摄影时的用户的摄影设备的操作内容是某一特定的操作内容时，提取出将进行了该特定的操作的帧作为强调场景的间断那样的强调场景。另外，强调场景的提取方法并不限定于以上列举的方法。<强调场景优先级赋予步骤>接下来，使用图8对强调场景优先级赋予步骤(S340)进行说明。首先，优先级赋予部16从“强调场景的再现区间的长度”的观点出发，赋予优先级(S810)。这里，由于用户希望得到汇集了觉得有趣的场景的强调动态图像，所以需要强调场景的再现区间的长度不过长且“长到觉得有趣的程度”。鉴于此，要降低明显过短以及过长的场景的优先级。
具体而言，对强调场景的再现区间的长度导入下述两种指标T1、T2 (Tl < Τ2)，在强调场景的再现区间的长度比Tl短，或者比Τ2长的情况下，将优先级设为最低。此外，该手法只是一个例子，并不限定于此。这里，“Tl”是认为有趣的程度下的最短的长度。另外，“Τ2”是不厌倦且能欣赏的程度下的最长的长度。图9表示基于强调场景的再现区间的长度的、优先级赋予的一个例子的图。这里，由于拍摄2的从第二个标记提取出的强调场景的再现区间的长度比Tl小，所以被判定为优先级最低。另外，由于从拍摄3提取出的强调场景的再现区间的长度比Τ2大，所以同样被判定为优先级最低。接下来，优先级赋予部16针对在步骤S810中长度为Tl以上且为Τ2以下的强调场景，从“强调场景内的标记的密度”的观点出发来赋予优先级(S820)。对基于该“强调场景内的标记的密度”的优先级赋予的一个例子进行详细说明。这里，标记的密度是指每个强调场景的标记的数量。即使“多个精彩处汇集成的强调场景”稍长，通过连续观看也会增加乐趣。鉴于此，提高一个强调场景内的标记的密度高的强调场景的优先级。即，如果I个强调场景的标记的数量多，则优先级赋予部16提高优先级，如果I个强调场景的标记的数量少，则优先级赋予部16降低优先级。图10是表示基于强调场景内的标记密度的、优先级赋予的一个例子的图。这里，由于从拍摄2提取出的右侧的强调场景的标记的密度高，所以其被判定为最高的优先级I。接下来，由于从拍摄I提取出的强调场景的标记的密度为中等程度，所以其被判定为优先级2。接下来，由于从拍摄2提取出的左侧的强调场景的标记的密度低，所以其被判定为优先级3。最后，由于从拍摄3提取出的强调场景的标记的密度最低，所以其被判定为优先级4。此外，作为标记的密度，也可以使用每个强调场景的每单位时间的标记数。最后，优先级赋予部16对步骤S810与步骤S820的结果为同一优先级的强调场景彼此进行比较、分析，赋予详细的优先级(S830)。作为赋予详细的优先级的方法，例如可考虑下述那样的方法。 将包含特定的图像的强调场景的优先级提高(例包含孩子的面部图像的强调场景)·将包含特定的声音的强调场景的优先级提高(例包含孩子的歌声的强调场景) 将在摄影时进行了特定的操作的强调场景的优先级提高(例刚变焦之后的强调场景)·将认为摄影失败的强调场景的优先级降低(例手抖动严重的强调场景) 将包含特定的元数据的强调场景的优先级提高(例摄影了同一场景的静止图像的强调场景)通过这样的赋予详细的优先级的方法，能够对强调场景赋予反映了用户的主观的优先级。另外，也可以选择对上述强调场景赋予详细的优先级的所有方法或者它们中的多个方法，对强调场景打分，基于该得分来赋予优先级。并且，也可以当在步骤S330中确认强调动态图像的长度时一并确认与预先设定的时间相比过长还是与其相比过短，在各个情况下以不同的方法赋予优先级。 <强调场景长度调整步骤>最后，使用图11对强调场景长度调整步骤(S350)进行详细说明。若步骤S340结束，则优先级赋予部16对强调场景动态图像生成部18通知该信息。接收到该信息的强调动态图像生成部18的长度调整部20确认强调动态图像的长度是否比设定时间长(S1110)。在强调动态图像的长度比设定时间长的情况下(S1110 :是)，长度调整部20对强调场景提取部14请求强调场景的再提取处理，以使强调场景的长度变短。接收到请求的强调场景提取部14从该时刻正被提取的所有强调场景中提取没有进行长度的调整的强调场景，将其中优先级最低的强调场景的再现区间的长度缩短(S1120)。作为基于这样的再提取请求而将强调场景的再现区间的长度缩短的方法，有如下手法，即，强调场景提取部14利用在最初的提取处理(S320)中使用的算法，变更参数来进行再提取，以使强调场景的再现区间变短。例如，当在最初的提取处理(S320)中，使用了将上述标记的再现位置的前后的再现区间提取所设定的固定长度量来作为强调场景的方法时，可考虑使固定长度比最初的提取时短。具体而言，将在图7中设定为5秒的固定长度缩短设定为3秒。另外，当在最初的提取处理(S320)中，使用了对上述图像特征量、声音环境的特征量进行分析那样的方法时，可考虑对比较图像间的各特征量的差分的阈值等参数进行调整，按照比在上述最初的提取处理(S320)中提取出的强调场景短的方式，提取标记的再现位置的前后的再现区间来作为强调场景。并且，当在最初的提取处理(S320)中，使用了对上述摄影设备的操作内容进行分析那样的方法时，可考虑将与标记的再现位置接近的场景的间断直接采用为强调场景的起点，并按照包括标记的再现位置的部分、且比在步骤S320中提取出的强调场景短的方式，设定强调场景的终点。此外，作为基于再提取请求而将强调场景的再现区间的长度缩短的方法，也可以利用与在最初的提取处理(S320)中使用的算法不同的方法。另外，将上述强调场景的再现区间的长度缩短的方法并不限定于这些方法。并且，在步骤S1120中，也可以将被赋予的优先级最低的强调场景中、强调场景的再现区间的长度比Tl短那样的过短的强调场景从调整对象中除去，或者延长强调场景的再现区间的长度。接下来，如果在步骤S1120中将一个强调场景缩短的处理结束，则强调动态图像生成部18确认强调动态图像整体的长度与设定时间的差分是否在预先设定的阈值以内(S1130)。如果在阈值以内，则结束强调场景长度调整步骤。另一方面，如果为阈值以上，则返回到步骤S1120，长度调整部20对强调场景提取部14请求强调场景的再提取处理，以使强调场景的长度缩短。接收到请求的强调场景提取部14从该时刻正被提取的所有强调场景中提取没有进行长度的调整的强调场景，将其中优先级最低的强调场景的再现区间的长度缩短。另一方面，当在步骤SlllO的比较中比设定时间短时，长度调整部20对强调场景提取部14请求强调场景的再提取处理，以使强调场景的长度增长。首先，接收到请求的强调场景提取部14将没有进行长度的调整的强调场景中、优先级最高的场景的再现区间的长度增长(S1140)。将强调场景的再现区间的长度增长的方法与步骤S1120的将强调场景缩短的方法同样，可以使用与在强调场景提取步骤(S320)中提取强调场景的方法同样的方 法，也可以使用不同的方法。此外，在步骤S1140中，也可以将被赋予的优先级最低的强调场景中、强调场景的再现区间的长度比T2长的强调场景从调整对象中除去，或者将强调场景的再现区间的长
度缩短。如果缩短一个强调场景，则长度调整部20确认强调动态图像的长度与设定时间的差分是否在预先设定的阈值以内(S1150)。如果在阈值以内(S1150 :是)，则结束强调场景长度调整步骤。另一方面，如果为阈值以上(S1150 :否)，则返回到步骤S1140，接下来将优先级高的强调场景的再现区间的长度增长。如以上说明那样，根据本实施方式，通过基于对强调场景赋予的优先级来调整强调场景的再现区间的长度，能够按照预先设定的时间，实现与用户的喜好对应的强调动态图像的生成。例如如图12所示那样，即使在将作为强调场景而提取出的场景I 场景3直接相连而成的强调动态图像超过预先设定的时间那样的情况下，通过缩短优先级低的(对用户而言推定为重要性低的)场景1、场景2的长度缩短，也能够将强调动态图像的长度收敛在设定时间内。根据本实施方式，由于用户能够简单地生成符合自己喜好的强调动态图像，所以能够防止内容的藏而不用。(实施方式2)本实施方式是应用了实施方式I的方式，与实施方式I的不同之处在于，在强调场景提取中利用声音的解析手法、以及在优先级的赋予中考虑场景彼此的关系性等。对与实施方式I同样的点省略说明。图13的信息处理装置11与图1特别不同之处在于，强调场景提取部14a具有声音稳定性解析部15。声音稳定性解析部15具有对动态图像内容的声音稳定性进行分析的功能。<强调场景提取步骤>接下来，使用图14对实施方式2中的强调场景提取的方法进行说明。
强调场景提取部14a按标记的再现位置的前后提取出η秒的区间，并对声音稳定性解析部15请求声音稳定性的解析。声音稳定性解析部15将η秒的区间分割成每最小区间a (a为正的任意的数)秒的更详细的区间(S1410)。这里，在与某个标记的再现位置对应的强调场景的提取为第一次时，η为预先决定的最小值，否则，η为在后述的步骤S1460中指定的值。另外，最小区间a秒可以是对信息处理装置11预先设定的值，也可以是由用户设定的值，还可以是根据其他条件动态发生变更的值。接下来，声音稳定性解析部15将分割后的各区间的声音特征量、和整个区间的声音特征量的平均值导出(S1420)。接着，强调场景提取部14a基于其内部的声音稳定性解析部15在步骤S1420中导 出的结果，分别导出上述平均值与各区间的声音特征量的差分(S1430)。接下来，确认导出的差分的任意一个是否比预先设定的阈值大(S1440)。在大的情况下，设η = η + a，从步骤S1410的处理开始反复处理(S1460)。在大的情况下，提取出标记的前后η — a秒的区间作为场景(S1450)。提取出的强调场景内的声音的特征量的变化量少，可以说声音稳定性高。由于一般声音稳定性的变化与场景内的状况的变化相关的情况较多，所以通过本方法，能够提取对用户而言有意义的场景。图15中表示了强调场景提取步骤的一个例子。在图15的例子中，η = 10,a = 2，将标记的再现位置的前后10秒的区间分割成每2秒的详细的区间。而且，按各详细的区间求出声音的特征量Π f5、和声音的特征量的平均值 fave = (fl + f2 + f3 + f4 + f5) / 5。并且表示了，将声音的特征量Π f5与平均值fave的各差分和预先设定的阈值轧比较，由于各差分的任意一个都不大于阈值fth (S1440 :否)，所以将所提取的区间从10秒向12秒变更。上述阈值fth为预先设定的值，但并不局限于此，也可以是由用户设定的值，还可以是根据其他条件动态变更的值。此外，图14所示的处理只是一个例子，只要是能够解析再现位置前后的声音的特征量，并提取解析后的声音的特征量类似的区间作为场景的手法即可，并不限定于此。<强调场景优先级赋予步骤>使用图16对实施方式2的强调场景优先级赋予步骤(S340)进行说明。优先级赋予部16根据“强调场景的再现区间的长度”、“一次拍摄内的强调场景的再现区间的长度的合计值”、“一次拍摄内的强调场景彼此的关系性”的观点出发，对提取出的强调场景赋予优先级(S1610)。对步骤S1610的赋予优先级的方法的一个例子进行表示。首先，对基于“强调场景的再现区间的长度”的优先级赋予方法进行详述。由于用户希望获得将觉得有趣的场景汇集后的强调动态图像，所以需要强调场景的再现区间的长度不过长且“长到觉得有趣的程度”。鉴于此，应该将明显过短以及过长的场景的优先级降低。鉴于此，对强调场景的再现区间的长度导入以下两种指标T1、T2。Tl是“认为有趣的程度下的强调场景的再现区间的最短的长度”。另外，Τ2是“不厌倦且能欣赏的强调场景的再现区间的最长的长度”。分成基于这两种指标的情况，来赋予强调场景的优先级。首先，对基于“强调场景的再现区间的长度”的优先级赋予方法进行说明。如图17 (a)所示，在强调场景的再现区间的长度t为t < Tl的情况下，由于强调场景的再现区间的长度过短，所以降低优先级。在Tl g t g T2的情况下，由于强调场景的再现区间的长度最佳，所以提高优先级。在t > T2的情况下，由于强调场景的再现区间的长度过长，所以降低优先级。接下来，对基于“一次拍摄内的强调场景的再现区间的长度的合计值”的优先级赋予方法进行说明。即使“汇集了多个精彩处的提取场景”稍长，通过连续观看也会增加乐趣。鉴于此，针对一次拍摄内的关系性高的多个强调场景的再现区间的长度的合计值，也分为基于Tl和T2的指标的情况，来赋予优先级。图17 (b)是表示基于一次拍摄内的强调场景的再现区间的长度的合计 值T的情况划分的图。首先，在一次拍摄内的强调场景的再现区间的长度的合计值T为T < Tl的情况下，由于过短而降低优先级。在Tl = T = T2的情况下，由于长度最佳，所以提高优先级。在T > T2的情况下，由于过长，所以降低优先级。接下来，对“一次拍摄内的强调场景彼此的关系性”进行详述。一般情况下，用户将一次拍摄作为一个集合体来进行摄影。因此，从一次拍摄提取的多个场景大多相互关系性很高。鉴于此，考虑它们的关系性来进行情况划分。图18是表示一次拍摄内的多个强调场景的关系性的图。此外，图18的例子只不过是一个例子，并不限定于此。综合考虑这样的强调场景的再现区间的长度与其合计值、以及一次拍摄内的强调场景的关系性，优先级赋予部16对强调场景设定优先级。图19 图21是表示优先级赋予部16基于上述的判断要素来对强调场景设定优先级的方法的图。此外，图19 图21的例子只不过是一个例子，并不限定于此。优先级赋予部16首先确认一次拍摄内的强调场景的再现区间的长度的合计值T，然后，确认强调场景的再现区间的长度和关系性。在图19所示那样的T Tl且t Tl的情况下，由于强调场景的再现区间的长度的合计值、以及其一个一个场景的长度在最佳的强调场景的再现区间的长度的下限附近，所以将优先级设定为最高，基本上直接提取作为强调场景。接下来，在图20所示那样的T ^ T2的情况下，根据强调场景的再现区间的长度和其关系性来变更优先级。例如，在关系性不规律的情况下，判断为不能说各强调场景彼此的关系性是强还是弱，将优先级设为中等程度。另外，在t ^ T2且强调场景彼此独立的情况下，判断为各场景的关系性弱，且将强调场景缩小的余地大，将优先级设定得低。在其他的情况下，判断为强调场景最佳，或者进一步缩短长度的余地少，将优先级设定得高。接下来，在图21所示那样的T > T2的情况下，判定为过长，基本上将优先级设定得较低。但是，在强调场景彼此的关系性为“连结”、“一部分重复”的情况下，由于是“汇集了多个精彩处的提取场景”的可能性比其他的情况高，所以将优先级设为中等程度。最后，信息处理装置11对步骤S1610中为同一优先级的强调场景彼此进行比较、分析，来赋予详细的优先级(S830)。其中，由于步骤S830与实施方式I的步骤S830同样，所以省略说明。这样，根据实施方式2中的优先级赋予方法，能够基于强调场景的长度、以及强调场景彼此的关系性，更灵活地赋予恰当的优先级。因此，例如即使将强调场景调整得短，对于用户可能认为重要的场景，也能尽量不使其成为缩短的对象。<强调场景长度调整步骤>是基于对每个强调场景赋予的优先级来调整长度的处理。关于该处理，由于与实施方式I (图11)同样，所以省略说明。(实施方式3)在实施方式I中，基于用户进行的遥控器2的输入操作，使动态图像与标记建立了对应关系，但并不限定于此。本实施方式3将介绍对动态图像赋予标记的其他手法。图23的信息处理装置230特别具备用户输入受理部12a、包括标记赋予部17的强调场景提取部14b。除此以外的功能模块基本与图1同样，所以省略说明。
用户输入受理部12a受理动态图像的再现指示，但与实施方式I不同，也可以不受理标记赋予用的输入操作。标记赋予部17进行标记赋予的时机没有特别限定，例如可考虑以强调场景提取部14b开始强调场景提取处理为契机来进行。强调场景提取部14b基于标记赋予部17赋予了的标记的再现位置，从动态图像内容中提取强调场景。强调场景提取部14b提取强调场景的时机例如可考虑以下的(A) (B)时机。(A)向存储部22内存入动态图像内容时(B)由用户指示了强调动态图像再现时强调场景提取部14b基于标记赋予部17赋予了的标记的再现位置，从动态图像内容中提取强调场景。若对两个模块的关系具体进行说明，则标记赋予部17基于一个指标或者多个指标的组合来对动态图像内容赋予标记。在赋予后，使存储部22存储包括赋予了的标记的再现位置的元数据。由于该元数据的构造与图2同样，所以省略说明。而且，强调场景提取部14b基于存储部22中存储的元数据所包含的标记的再现位置，从动态图像内容中提取强调场景。图24中表示了标记赋予部17采用的指标的例子。图像的特异点的指标用于对图像特征量的与前后显著不同的点(再现位置)赋予标记。作为该图像特征量的例子，可举出图像内的物体的运动矢量、图像内的色彩特征量等。例如，标记赋予部17以前后的场景中运动矢量的差分超过阈值为条件，来赋予标记。声音的特异点用于对声音特征量的与前后显著不同的点赋予标记。例如，可以预先按动态图像内容的每个区间计算出声音特征量，标记赋予部17以相邻的区间间的声音特征量的差分为阈值以上作为条件，来赋予标记。摄影操作的特异点用于对进行了特定的操作的点赋予标记。例如，如果进行了变焦操作，则利用摄影者可能感到有趣这一推定，标记赋予部17对开始了变焦操作的再现位置赋予标记。元数据的特异点用于对显现特定的元数据的点赋予标记。作为元数据的例子，可举出动态图像摄影中的静止图像摄影。该情况下，标记赋予部17对进行了静止图像摄影的再现位置赋予标记。在标记赋予部17通过上述那样的手法赋予了标记后，强调场景提取部14b基于所赋予的标记来提取强调场景。其中，关于利用标记赋予部17赋予的标记进行的强调场景提取步骤(S320)，由于可使用和在实施方式I中说明的手法同样的手法，所以省略说明。另外，关于此后接着进行的强调场景优先级赋予步骤(S340)、强调场景长度调整步骤(S350),由于可使用和在实施方式I中说明的手法同样的手法，所以省略说明。(实施方式4)在本实施方式4中，对在实施方式3中叙述的标记赋予部的其他方式进行说明。在图23的信息处理装置230中，标记赋予部17包含在强调场景提取部14b中，但也可以是与强调场景提取部14b独立的形态。图25表示了这样的信息处理装置250。图25的信息处理装置250特别具备用户输入受理部12a、标记赋予部19。
用户输入受理部12a经由遥控器2来受理强调动态图像的再现指示等的指示。标记赋予部19基于一个指标或者多个指标的组合来对动态图像内容赋予标记。该赋予的手法与标记赋予部17中说明的同样。该标记赋予部19进行标记赋予的时机也与标记赋予部17同样，例如，(A)在向存储部22内存入动态图像内容时，自动进行标记的赋予。或者，(B)在由用户指示了强调动态图像再现时，自动进行标记的赋予。根据实施方式4，能够取代同时进行标记赋予和强调场景的提取，而先进行标记赋予，并将赋予的标记在之后的强调场景的提取等用途中利用。 例如，从装置的规格的制约出发，在自动的标记赋予的处理中需要时间的情况下有用。另外，关于利用标记赋予部19赋予的标记进行的强调场景提取步骤(S320)、强调场景优先级赋予步骤(S340)、强调场景长度调整步骤(S350)，由于可使用与在实施方式I中说明的手法同样的手法，所以省略说明。此外，在实施方式4中，基于强调场景提取部14的强调场景的提取处理(包括基于来自强调动态图像生成部18的请求的强调场景的再提取处理)、以及基于标记赋予部19的标记的赋予分别独立进行。然而，强调场景提取部14以及标记赋予部19都进行同样的内容解析处理。因此，例如可以使信息处理装置250具备未图示的内容解析部，强调场景提取部14以及标记赋予部19在进行各自的处理时，向内容解析部请求内容的解析，使用其结果来进行强调场景的提取、标记的赋予。<补充 I >以上，对实施方式进行了说明，但本发明不限定于上述的内容，在用于实现本发明的目的和与其相关或者附带的目的的各种方式中，也能够实施，例如，也可以是以下的方式。(I)输入器件在各实施方式中，作为输入器件的例子，使用遥控器2进行了说明，但并不限定于此。只要是能够检测出用户希望作为强调的再现位置那样的输入器件即可，也可以是下述那样的输入器件。例如，可以是鼠标、键盘那样的输入器件。另外，在信息处理装置具备触摸面板的情况下，输入器件也可以是触摸笔那样的指示笔(stylus)、用户的手指。
并且，在是具备麦克风以及声音识别功能的信息处理装置时，也可以是声音输入。或者，在是具备手掌等人体模型的识别功能的信息处理装置时，也可以是姿势(gesture)输入。(2)强调场景的最佳范围图3的步骤S330的强调动态图像的长度为最佳的状态例如可以是信息处理装置10中预先登记的长度与强调动态图像的长度的差分收敛在一定值以内那样的状态，也可以是比登记的长度长、或者短的状态。并且，也可以取代登记的长度而使用用户输入的长度。或者，也可以向用户询问强调动态图像的长度是否为最佳，而依赖用户的判断。(3)优先级的赋予方法作为优先级的赋予方法，也可以利用图22所示那样的遥控器2来进行。S卩，遥控器2具有表示最高优先级的按钮1、表示中等程度优先级的按钮2以及表示最低优先级的按钮3。而且，优先级赋予部16可以根据用户输入受理部12受理到的这些按钮I 3来赋予优先级I 3。(4)集成电路实施方式的信息处理装置典型地可以作为集成电路即LSI (Large ScaleIntegration)来实现。可以将各电路独立地作为I个芯片，也可以以包括全部的电路或者一部分的电路的方式被单芯片化。这里，虽然记载为LSI，但根据集成度的不同，有时也被称为IC (Integrated Circuit)、系统LS1、超级LS1、特级(ultra) LSI。另外，集成电路化的手法并不限于LSI，也可以通过专用电路或者通用处理器来实现。还可以利用在LSI制造后能够程序化的FPGA (Field Programmable Gate Array)、可重建LSI内部的电路单元的连接及设定的可重构处理器。并且，如果基于半导体技术的进步或者派生的其他技术而出现了取代LSI的集成电路化的技术，则当然也可以利用该技术来进行功能模块的集成化。可能实现生物技术的
适用等。(5)记录介质、程序可以将用于使计算机等各种设备的处理器以及与该处理器连接的各种电路执行实施方式中表示的处理的、由程序代码构成的控制程序记录到记录介质，或者经由各种通信路径使其流通来进行发布。这样的记录介质包括Smart Media、compact flash (注册商标)、记忆棒(memorystick)(注册商标)、SD 存储器卡、多媒体卡、CD — R / RW、DVD±R / RW、DVD — RAM、HD —DVD、BD ((Blu — ray (注册商标)Disc))等。被流通、发布的控制程序通过存储到能够被处理器读出的存储器等来加以利用，该处理器通过执行该控制程序来实现实施方式所示那样的各种功能。(6)强调场景的长度的调整在实施方式中，强调场景的长度的调整通过长度调整部20对强调提取部14请求改变长度的强调场景的再提取处理来进行，但并不限定于此。例如，也可以是长度调整部20直接进行强调场景的长度的调整的构成。该情况下，长度调整部20直接执行强调场景提取部14进行的处理。例如，可以采用下述的第I手法，即利用与上述的最初的提取(S320)相同的算法，按照强调场景的再现区间变得更短的方式变更参数，来进行再提取。此外，也可以采用下述的第2手法，即强调场景提取部14使用与最初的提取(S320)不同的算法，按照强调场景的再现区间变得更短的方式进行再提取。另外，将上述强调场景的再现区间的长度变短的方法不限定于这些。(7)基于标记的密度等的优先级的赋予对强调场景赋予的优先级的高低可以基于标记在再现时间轴上是聚集还是疏散来决定。作为判断“疏散” “聚集”的指标，可采用每单位时间的标记的密度作为指标。当然，有时即使长期间观察时的密度低，但如果标记在局部集中，则也可以设为高的优先级。也可以采用这样的局部的标记的集中程度作为指标。从这样的观点出发，作为赋予优先级的手法，可举出以下的手法I 手法3的例 子。·手法 I手法I是如实施方式I中说明那样，根据一个强调场景内的标记的密度来赋予强调场景的优先级的手法。·手法 2手法2是通过将一个强调场景内的标记的数量除以该强调场景的长度，来求出每单位时间的标记的数量，基于此来赋予强调场景的优先级的手法。·手法 3手法3是利用局部的标记的集中程度的手法。即，不基于一个强调场景整体的标记的数量而基于强调场景内的任意单位时间的标记的数量的最大数，来赋予强调场景的优先级。由此，即使在强调场景整体中标记的数量少时，如果标记集中于任意的单位时间(例如I秒)，则由于上述最大数变多，所以也能够赋予高的优先级。此外，以上说明所使用的任意单位时间的I秒只是一个例子，但并不限定于此。(8)信息处理装置所需要的构成在实施方式中，在信息处理装置内生成强调动态图像，但这样的生成功能不是必须的，也可以由其他装置进行强调动态图像的生成。另外，在信息处理装置内存储动态图像内容的功能也不是必须的，也可以是利用外部装置中存储的动态图像内容的方式。S卩，如图26所示，作为信息处理装置260的概要，只要具备如下部件即可标记赋予部(确定再现位置的确定部)262，对动态图像内容赋予多个再现位置；强调场景提取部264，基于多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个强调场景；和优先级赋予部266，对提取出的每个强调场景赋予优先级。(9)优先级的用途在实施方式中，以在强调动态图像的生成中利用所赋予的优先级的例子为中心进行了说明，但并不限定于此。例如，赋予的优先级可以用于在一览显示多个动态图像内容的画面中，选捡出各动态图像内容中优先级高的强调场景来进行显示。另外，在表示动态图像内容的内容的菜单画面中，通过按每个优先级分色显示强调场景，可使用户知晓动态图像内容的内容。
(10)实施方式I 4、本补充I的(I) (9)中所述的事项能够组合。<补充 2 >以上说明的实施方式包括以下的方式。(I)本实施方式涉及的信息处理装置的特征在于，具备确定机构，对动态图像内容确定多个再现位置；提取机构，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予机构，对提取出的每个场景赋予优先级。(2)在(I)中，上述赋予机构对上述确定出的多个再现位置进行解析，判定该多个再现位置在再现时间轴上疏散还是该多个再现位置在再现时间轴上聚集，对包括判定为疏散的再现位置的场景赋予低的优先级，对包括判定为聚集的再现位置的场景赋予高的优先级。
(3)在(I)中，上述赋予机构基于提取出的多个场景各自的长度、以及提取出的多个场景彼此在再现时间轴上的关系性，来赋予优先级。(4)在(I)中，上述赋予机构对提取出的多个场景各自的再现位置的数量进行解析，对每一场景包含的再现位置的数量多的场景赋予高的优先级，对每一场景包含的再现位置的数量少的场景赋予低的优先级。(5)在(I)中，上述提取机构对上述再现位置前后的声音的特征量进行解析，对表示解析出的声音的特征量类似的区间的场景进行提取。根据该构成，有助于提取出可期待为具有意义的集合体的场景。(6)在(I)中，还可以具备基于对各场景赋予的优先级而调整I个以上场景的长度、并在调整后将各场景相连来生成强调动态图像的生成机构。(7)在(6)中，上述生成机构判定将提取出的多个场景全部相连时的强调动态图像的长度是否收敛在规定范围内，当判定为比上述规定范围的上限值长时，将优先级低的场景的长度调整得更短，当判定为比上述规定范围的下限值短时，将优先级高的场景的长度调整得更长。根据该构成，能够使生成的强调动态图像的长度收敛在规定范围内。(8)本实施方式涉及的强调动态图像生成方法包括确定步骤，针对动态图像内容确定多个再现位置；提取步骤，基于确定出的多个再现位置，分别提取出包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予步骤，对提取出的每个场景赋予优先级。( 9 )本实施方式涉及的程序是使存储动态图像内容的信息处理装置执行优先级赋予处理的程序，上述优先级赋予处理包括如下各步骤确定步骤，针对动态图像内容确定多个再现位置；提取步骤，基于确定出的多个再现位置，分别提取出包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予步骤，对提取出的每个场景赋予优先级。(10)本实施方式涉及的集成电路具备确定机构，对动态图像内容确定多个再现位置；提取机构，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予机构，对提取出的每个场景赋予优先级。工业上的利用可能性本发明涉及的信息处理装置由于具有生成与用户的喜好对应的强调动态图像的功能，所以作为视听动态图像内容的信息处理装置等是有用的。附图标记的说明2—遥控器4 —显示器10、11、230、250、260 —信息处理装置12 一用户输入受理部14、14a、14b、264 —强调场景提取部 15 一声音稳定性解析部16,266 一优先级赋予部17、19 一标记赋予部18 一强调动态图像生成部20 一长度调整部22 —存储部24 —管理部26 —解码部28 一显示控制部262 —标记赋予部(确定部)
权利要求
1.一种信息处理装置，其特征在于，具备确定机构，针对动态图像内容确定多个再现位置；提取机构，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予机构，对提取出的每个场景赋予优先级。
2.根据权利要求1所述的信息处理装置，其特征在于，上述赋予机构对上述确定出的多个再现位置进行解析，判定该多个再现位置在再现时间轴上疏散还是该多个再现位置在再现时间轴上聚集，对包括判定为疏散的再现位置的场景赋予低的优先级，对包括判定为聚集的再现位置的场景赋予高的优先级。
3.根据权利要求1所述的信息处理装置，其特征在于，上述赋予机构基于提取出的多个场景各自的长度、以及提取出的多个场景彼此在再现时间轴上的关系性，来赋予优先级。
4.根据权利要求1所述的信息处理装置，其特征在于，上述赋予机构对提取出的多个场景各自的再现位置的数量进行解析，对每一场景包含的再现位置的数量多的场景赋予高的优先级，对每一场景包含的再现位置的数量少的场景赋予低的优先级。
5.根据权利要求1所述的信息处理装置，其特征在于，上述提取机构对上述再现位置前后的声音的特征量进行解析，提取表示解析出的声音的特征量类似的区间的场景。
6.根据权利要求1所述的信息处理装置，其特征在于，还具备生成机构，该生成机构基于对各场景赋予的优先级而调整一个以上场景的长度，并在调整后将各场景相连而生成强调动态图像。
7.根据权利要求6所述的信息处理装置，其特征在于，上述生成机构判定将提取出的多个场景全部相连时的强调动态图像的长度是否收敛在规定范围内，当判定为比上述规定范围的上限值长时，将优先级低的场景的长度调整得更短，当判定为比上述规定范围的下限值短时，将优先级高的场景的长度调整得更长。
8.一种强调动态图像生成方法，其特征在于，包括确定步骤，针对动态图像内容确定多个再现位置；提取步骤，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予步骤，对提取出的每个场景赋予优先级。
9.一种程序，使存储动态图像内容的信息处理装置执行优先级赋予处理，其特征在于， 上述优先级赋予处理包括以下各步骤确定步骤，针对动态图像内容确定多个再现位置；提取步骤，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予步骤，对提取出的每个场景赋予优先级。
10.一种集成电路，其特征在于，具备确定机构，针对动态图像内容确定多个再现位置；提取机构，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予机构，对提取出的每个场景赋予优先级。
全文摘要
信息处理装置(260)具备确定机构(262)，针对动态图像内容确定多个再现位置；提取机构(264)，基于确定出的多个再现位置，分别提取包括一个以上再现位置并表示上述动态图像内容的区间的多个场景；和赋予机构(266)，对提取出的每个场景赋予优先级。
文档编号G11B27/034GK103026704SQ20128000214
公开日2013年4月3日 申请日期2012年5月11日 优先权日2011年5月23日
发明者宫本慎吾, 山本雅哉, 槻馆良太, 井上隆司 申请人:松下电器产业株式会社