基于视频操作历史的重要度信息赋予装置及方法

专利名称：基于视频操作历史的重要度信息赋予装置及方法
技术领域：
本发明涉及以视频操作(video operation)的历史为基础而对重要的区域 赋予重要度信息的重要度信息赋予装置及方法。
背景技术：
在目前的节目制作的编辑步骤中，通过用户的视频视听动作，即，使用 了快进、倒回、重放(reproduction)的视频操作，进行在所拍摄的视频中确 认是否有在节目中使用的剪辑段(cut part)的预览，在视频中有多个剪辑段 的情况下，重复进行用于'搜索想看的视频段，、'观看搜索出的视频段，的 视频操作。将从用于'搜索想看的视频段，、'观看搜索出的视频段，的开始 操作至看完视频的停止操作为止的 一连串的视频视听动作称为 一次预览。
此'外，编辑步骤大致分为粗编辑步骤和源编辑步骤，在粗编辑步骤中进 行确认作为节目中的使用的部分的剪辑段的预览，在源编辑步骤中搜索在粗 编辑步骤中已确认的剪辑段，进行将看过的剪辑段连结合并等的编辑。这样， 通过两阶段地进行编辑步骤，从完成了拍摄的视频中只先进行粗编辑，在结 束了所有的拍摄后进行源编辑步骤，从而使节目制作高效率。此外，在粗编 辑步骤中，在备忘录中获得所搜索出的'剪辑段，的In点(进入点)、Out 点(结束点)等，使源编辑步骤中的视频中的'剪辑段，的视频点的掌握高 效率。但是，为了在源编辑步骤中观察备忘录而使'剪辑段'露出头，需要 与粗编辑步骤同样地进行使用了快进、倒回的视频操作。
下述专利文献1公开了以下技术存储用户在视听视频时进行的使用了 快进、倒回、重放的视频操作的历史(以下，记载为预览日志)，对于基于预 览日志判断为重要的段赋予重要度信息。例如，在下述专利文献1中，对于 进行了重放操作的段，作为可以推测为'用户慢慢并仔细地观看了视频的 段，，从而对于预览日志中所包含的所有重放段赋予较高的重要度信息。此外， 通过将重复进行了重放操作的段、或倒回而进行了再次的重放操作的段等作 为可以推测为'用户特别关注的段，，赋予更高的重要度信息，从而根据操作特征而使重要度信息具有幅度。这样，通过对基于预览日志判断为重要的重 放段赋予重要度信息来进行管理，实现视频中所包含的重要的剪辑段的检索 或编辑的高效率。
专利文献l:特开2000-331008号公报

发明内容
发明要解决的课题
用户的视频视听动作(以下，记载为预览)由'搜索想看的视频段，、'观 看搜索出的视频段'这样的两类目的的视频操作而构成。因此，在预览 (preview)之中进行的重放中有'在搜索想看的视频段时确认正在观看的视 频在哪儿附近的重放，和'仔细地视听搜索出的视频段的重放，的哪一个的 意思。对于这两种重放，节目制作者按在节目中使用的视频这样的观点来考 虑重要度信息时，由于'在搜索想看的视频段时确认正在观看的视频在哪儿 附近的重放，不能称为节目制作者关注的重放段，所以当然不能说重要。但 是，在上述专利文献1对于预览日志所包含的所有重放段，由于考虑为'仔 细地视听搜索出的视频段的重放，，所以对于原来不重要的'在搜索想看的视 频段时确认正在观看的视频在哪儿附近的重放，也会被赋予较高的重要度信 息(参照图29)。此外，在有重复进行了这样的重放操作的段、或进行了再 次倒回的操作的段的情况下，考虑到是'用户特别关注的段，，因而被赋予更 高的重要度信息。其结果，存在对于不重要的重放段被赋予不需要的较高的 重要信息，视频中所包含的重要的剪辑段的检索效率或编辑效率变差的问题。
本发明着眼于这样的问题，其目的在于，提供基于视频操作历史的重要 度信息赋予装置及方法，通过从作为用户的视频操作历史的预览日志中检测 '搜索想看的视频段，的操作群(operation group)(即，以下，记载为关注 视频搜索操作群)，除去在其中包含的'在搜索想看的视频段时确认正在观看 的视频在哪儿附近的重放，，对于判定为'仔细地视听搜索出的视频段的重放， 的重放段(以下，记载为用户关注段)赋予重要度信息。
用于解决课题的方案
一般地，用户搜索自己想看的视频段(以下，称为用户关注段)的开始 点时，为了极快地访问(access)该视频段而进行快进，在重要部分， 一边进 行向一方向的连续操作一边继续搜索用户关注段，以为了确i人自己正在观看的部分是什么样的视频内容而进行重放的方式。在向一方向的连续操作上有 两种， 一个是以快进操作为主体，进行快进或重放、或组合了快进和重放的 连续操作，另一个是以倒回操作为主体，进行倒回或组合了倒回和进行倒回 的段中所包含的重放的连续操作。
此外， 一般地，用户进行快进直至搜索到关注段为止，并在找到该关注 段而进行重放时，发生已经错过了想重放的视频点。此外，快进通常在倍速 以上进行，所以有时大幅度地错过想重放的视频点。这种情况下，用户进行 与至此为止进行的连续操作相反方向的连续操作，恢复该错过。即，进行以 倒回操作为主体的连续操作。此外，即使进行以倒回操作为主体的连续操作， 由于也发生上述那样的错过，所以在这样的情况下，进行其相反方向的连续 操作，即，进行以快进操作为主体的连续操作。于是，用户在搜索用户关注 段时，通过交替进行相互相反方向的连续操作，逐渐地靠近用户关注段的开 始点。
此外，在搜索用户关注段时，作为相互相反方向的连续操作的以快进操 作为主体的连续搡作和以倒回操作为主体的连续操作之间的视频上的时间性
关系具有在一方的连续操作的开始时间和结束时间之间包含紧接其后的另
一方的连续操作的结束时间的关系，或者一方的连续操作的开始时间被包含 在紧靠其前的另 一方的连续操作的开始时间和结束时间之间的关系。这是因
为用户有意识地进行视频操作以不产生相同的错过，此外，在进行了紧靠其 前的连续操作时进行视频视听，并理解了视频的流动，所以在比以前靠近用 户关注段的部分进行重放。因此，关注视频搜索操作群，交替地进行以快进 操作为主体的连续操作和以倒回操作为主体的连续操作，并且相互相反方向 的连续操作间的视频上的时间性关系为包含关系。
而且，在关注视频搜索操作群中， 一定存在将快进、倒回、重放组合而 构成的关注视频搜索操作群的最小单位的最小搜索操作群。最小搜索操作群 是，关注视频搜索操作群被交替地进行以快进操作为主体的连续操作和以倒 回操作为主体的连续操作而构成，根据上述以快进搡作为主体的连续操作和 以倒回操作为主体的连续操作之间的时间关系， 一定产生在以快进操作为主 体的连续操作和以倒回操作为主体的连续操作的转换部分。此外，与以快进 操作为主体的连续操作和以倒回操作为主体的连续操作之间的时间关系同 样，最小搜索操作群相互相反方向的操作间的视频上的时间性关系为包含关系。此外，该最小搜索操作群可以分类为表示规定的操作特征的各种模式A、 B、 C。
本发明利用这些特征进行关注视频搜索操作群的检测。因此，本发明的 基于视频操作历史的重要度信息赋予装置的特征在于，包括关注视频搜索操 作群检测单元，该关注视频搜索操作群检测单元包括最小搜索操作群检测 单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群 内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将所述检 测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在 所述最小搜索操作群之前的操作和所述最小搜索操作群之后的操作，从而确 定关注视频搜索操作群。可以通过所述关注视频搜索操作群检测单元检测关 注视频搜索操作群，由此，可从预览日志中所包含的所有的重放段中除去关 注视频搜索操作群所包含的重放段，从而检测用户关注段，并对检测出的用 户关注段赋予重要度信息。
此外，本发明的基于视频操作历史的重要度信息赋予方法的特征在于， 包括从作为用户的视频操作历史的预览日志中基于具有规定的操作特征的 各种模式检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群的 步骤；以检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特 征来判定所述最小搜索操作群之前的操作及所述最小搜索操作群之后的操 作，从而确定关注视频搜索操作群的步骤；从预览日志中所包含的所有重放 段中除去关注视频搜索操作群所包含的重放段，从而检测用户关注段的步骤； 以及对于检测出的用户关注段赋予重要度信息的步骤。
发明的效果
从上述可知，根据本发明的重要度信息赋予装置及方法，可以从作为用 户的视频操作历史的预览日志中检测关注视频搜索操作群，由此，可以除去 在其中包含的'搜索想看的视频段时确认正在观看的视频在哪儿附近的重 放，，对用户本来在节目编辑中利用的视频段、即用户关注段赋予重要度信息， 所以用户可以仅将用户需要的视频段作为检测对象，可以提高检索效率和编 辑效率。
本发明的上述目的及优点，参照附图进行说明。通过以下的实施例，会 更清楚。


图1是表示本发明一实施方式中使用的基于视频操作历史的重要度赋予装置100的内部结构的方框图。
图2是表示预览日志生成单元102输出的预览日志的数据结构的图。图3是以图像方式表示预览日志生成单元102输出的预览日志的图。图4的(a)是表示关注视频搜索操作群检测单元103的内部结构的方框
图，图4的(b)是表示在关注视频搜索操作群^r测单元103的内部进行的处
理的流程的流程图。
图5是以图像方式表示最小搜索操作群检测单元401检测的最小搜索操
作群的图。
图6是以图像方式表示进行关注视频搜索操作群的确定过程的图。
图7是以图像方式表示进行了确定的关注视频搜索操作群的图。
图8是以图像方式表示关注视频搜索操作群检测单元103输出的关注视
频搜索操作群的图。
图9是表示在最小搜索操作群检测单元401的内部进行的处理的流程的
流程图。
图IO是表示基于模式(pattern) A检测最小搜索操作群的处理的流程的流程图。
图11是表示基于模式B检测最小搜索操作群的处理的流程的流程图。图12是表示基于模式C检测最小搜索操作群的处理的流程的流程图。图13是表示最小搜索操作群检测单元401输出的预览日志的数据结构的图。
图14是表示在模式C确定单元403的内部进行处理的流程的流程图。图15是表示模式C和B的最小搜索操作群重叠的情况下进行了结合的预览日志的翁:据结构的图。
图16是表示模式C的后方确定处理的流程的处理流程图。
图n是表示以快进操作为主体的连续操作的图。
图18是表示以倒回操作为主体的连续操作的图。图19是表示由模式C确定单元403生成的预览日志的数据结构的图。图20是表示在模式A或B确定单元404的内部进行的处理的流程的流程图。
8图21是表示模式A和B的最小搜索操作群重叠的情况下进行了结合的预览日志的凄t据结构的图。
图22是表示模式A或B的前方确定处理的流程的流程图。图23是表示模式A或B的后方确定处理的流程的流程图。图24是表示由模式A或B的前方确定处理生成的预览日志的数据结构的图。
图25是表示由模式A或B的后方确定处理生成的预览日志的数据结构的图。
图26是表示关注视频搜索操作群检测单元103输出的预览日志的数据结构的图。
图27是表示用户关注段检测单元104输出的预览日志的数据结构的图。图28的(a)是表示重要度信息赋予单元105输出的预览日志的数据结
构的图，图28的(b)是表示由重要度信息赋予单元105管理的重要度信息
表的图。
图29是表示对于预览日志中所包含的所有重放段赋予重要度信息的状况的图(专利文献l)。标号i兌明
101视频操作单元
102预览日志生成单元
103关注视频搜索操作群检测单元
104用户关注段;险测单元
105重要度信息赋予单元
106视频及重要度信息存储单元
107视频检索单元(GUI)
401最小搜索操作群检测单元
402搜索操作群确定单元
403 ^t式C确定单元
404模式A或B确定单元
具体实施例方式
以下，说明用于实施本发明的优选方式。图1是以方框图方式表示本实施方式中使用的基于视频操作历史的重要度信息赋予装置的内部结构的图。
如图1所示，重要度信息赋予装置100包括视频操作单元101,根据用户进行的快进、倒回、重放等的视频操作请求进行视频操作；预览日志生成单元102,基于视频操作单元101进行过的视频操作而生成视频操作历史(以下，记载为预览日志)；关注视频搜索操作群检测单元103,从预览日志生成单元102生成的预览日志中检测用户进行过操作的视频操作群(以下，记载为关注视频搜索操作群)，直至达到关注的视频段为止；用户关注段检测单元104,从预览日志中所包含的所有重放段中，除去在关注视频搜索操作群检测单元103检测出的关注视频搜索操作群中所包含的重放段，从而检测用户关注段；重要度信息赋予单元105,对于用户关注段检测单元104检测出的用户关注段赋予重要度信息；视频及重要度信息存储单元106，将重要度信息赋予单元105所赋予的重要度信息和视频一起存储；以及视频检索单元(GUI)107，根据用户的视频检索请求，对视频及重要度信息存储单元106中所存储的视频及重要度信息进行视频检索。
接着，用图2说明预览日志的数据结构。如图2所示，预览日志的数据结构为管理对每一操作赋予的'操作号，、表示重放、快进、倒回等操作的内容的'操作类别，、以序号表示各个操作的类别的'操作类别号，、表示操作为正向还是反向的'操作方向，、以视频上的点表示操作开始位置的'ln点，、以及以视频上的点表示操作结束位置的'Out点，的结构。即，预览日志在重复进行所谓'搜索想看的视频段，、'观看搜索出的视频段，的两种目的的视频操作中，对每个操作生成由操作类别、操作类别号、操作方向、操作开始位置(In点)及操作结束位置(Out点)组成的一数据，并连续地生成该数据，直至所有的视频操作结束为止。图3表示所生成的预览日志的数据结构。
接着，用图4说明关注视频搜索操作群检测单元103进行的、从预览曰志中检测关注视频搜索操作群的处理。图4的(a)以方框图形式表示关注视频搜索操作群检测单元103的内部结构，图4的(b)以流程图形式表示在关注视频搜索操作群检测单元103的内部进行的处理的流程。如图4的(a)所示，关注视频搜索操作群检测单元103包括最小搜索操作群检测单元401,基于具有规定的操作特征的各种模式A、 B、 C从预览日志来判定检测在关注视频搜索操作群内一定存在的最小单位的最小搜索操作群；以及搜索操作群确定单元402，以检测出的最小搜索搡作群作为基点，基于关注视频搜索搡
作群的特征来判定最小搜索操作群之前的操作及最小搜索操作群之后的操作，从而确定关注视频搜索操作群。
最小搜索操作群检测单元401基于具有规定的操作特征的各种模式A、B、 C来判定检测在关注视频搜索操作群内一定存在的最小搜索操作群。模式A的操作特征是，在快进操作或快进及重放操作的紧接其后有倒回操作，并且，在从快进操作或快进及重放操作的开始时间至结束时间之间包含倒回操作的结束点(Out点)，模式B的操作特征是，在倒回操作的紧接其后有快进操作或重放及快进操作，并且，在倒回操作的开始时间至结束时间之间包含快进操作或重放及快进操作的结束点(Out点)，模式C的操作特征是，在重放操作的紧接其后有倒回操作，并且在从重放操作的开始时间至结束时间之间包含倒回操作的结束点(Out点)。即，最小搜索操作群检测单元401基于各种模式A、 B、 C的操作特征来判定'相互相反方向的操作间的视频上的时间性关系为包含关系的操作，，从而作为最小搜索操作群进行检测，并用作用于检测关注视频搜索操作群的基点。再有，最小搜索操作群检测单元401中的处理相当于图4的(b)所示的步骤401。此外，图5中表示以虚线形式表示了最小搜索操作群。如图5所示，最小搜索操作群呈现较小的倒三角形的形状，这表示相互相反方向的操作间的视频上的时间性关系为包含关系。
此外，搜索操作群确定单元402包括模式C确定单元403,将最小搜索操作群检测单元401检测出的模式C的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之后的操作，从而确定关注视频搜索操作群；以及模式A或B确定单元404，将最小搜索操作群检测单元401检测出的模式A或B的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定最小搜索操作群之前的操作及最小搜索操作群之后的操作，从而确定关注视频搜索操作群。即，搜索操作群确定单元402将最小搜索操作群检测单元401检测出的最小搜索操作群作为基点，对于其之前的操作及之后的操作，使用预览日志所示的操作类别及该操作的开始时间、结束时间，判定是否有作为关注视频搜索操作群的特征的'交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作，并且在一方的连续操
作的开始时间和结束时间之间包含紧接其后的另一方的连续搡作的结束时间的关系，或者一方的连续操作的开始时间包含在紧靠其前的另一方的连续操
ii作的开始时间和结束时间之间的关系，即相互相反方向的连续操作间的视频上的时间性关系为包含关系，，并根据该判定，确定关注视频搜索操作群。在
搜索操作群确定单元402中，以模式C、模式A或B的顺序来确定关注视频搜索操作群。再有，模式C确定单元403中的处理相当于图4的(b)所示的步骤402，模式A或B确定单元404中的处理相当于步骤403。此外，图6表示以图像(image)形式表示了进行关注视频搜索操作群的确定的状况。如图6所示，关注视频搜索操作群从视频的末端附近的基点起依次确定最小搜索操作群之前的操作及最小搜索操作群之后的操作。此外，图7及图8表示以图像形式表示了关注视频搜索操作群。如图7及图8所示，关注视频搜索操作群呈现比最小搜索操作群(参照图5)大的倒三角形的形状，这表示通过搜索操作群确定单元402,确定从最小搜索操作群检测单元401检测出的最小搜索操作群到关注视频搜索操作群的'搜索想看的视频段，操作，相互相反方向的连续操作间的视频上的时间性关系为包含关系。
接着，用图9说明在最小搜索搡作群检测单元401中进行的基于具有规
定的操作特征的各种模式来判定检测最小搜索操作群的处理的流程。若开始最小搜索操作群的检测处理(开始(START ))，则首先搜索操作号'n=l，(步骤901)，获得它的操作类别(步骤卯2),并进行判定(步骤卯3)。根据判定出的操作类别，进行模式判定处理(步骤904)。即，在操作类别为快进的情况下，进行图IO所示的模式A的判定处理，在倒回的情况下进行图11所示的模式B的判定处理，在重放的情况下进行图12所示的模式C的判定处理。由此，对于操作号'n=l，判定模式，接着对于是否有操作号'n+l，进行判定。在有的情况下，对于操作号n，作为'n=n+l，返回到步骤902，进行与上述同样的处理。另一方面，在没有的情况下，结束处理(END)。图13表示最小搜索操作群检测单元401生成的预览日志的数据结构。
用图10说明在步骤903中判定出的操作类别为快进的情况下进行的模式A的判定处理。模式A的判定处理基于模式A的操作特征进行，进行判定在快进操作或快进及重放操作的紧接其后有倒回操作，并且在从快进操作或快进及重放操作的开始时间至结束时间之间是否包含了倒回操作的结束点的处理。
在操作号'n，为快进的情况下(START )，获得操作号'n+l'的操作类别，并进行判定(步骤1001 )。在操作号'n+l，的操作类别为倒回的情况
12下(步骤1002)，判定操作号'n+l，的Out点是否位于操作号'n，的In点 Out点内(步骤1003 ),在位于其内的情况下，将操作号'n，和'n+l，判 定为模式A而结束处理(步骤1004， END)。另一方面，在操作号'n+l，的 Out点没有在操作号'n，的In点 Out点内的情况下，不判定为模式A而结 束处理(步骤1003, END)。此外，在操作号'n+l，的操作类别不是倒回而 是重放的情况下(步骤1005 ),获得操作号'n+2，的操作类别并进行判定(步 骤1006)，另一方面，在操作号'n+l，的操作类别既不为倒回也不是重放的 情况下，不判定为模式A而结束处理(步骤1005， END)。而且，在步骤1006 中判定出的操作号'n+2，的操作类别为倒回的情况下(步骤1007)，判定操 作号'n+2'的Out点是否位于操作号'n'的ln点 Out点内(步骤1008)， 在位于其内的情况下，将操作号'n，、 'n+l，和'n+2，判定为模式A并结 束处理(步骤1009， END)。另一方面，在操作号'n+2，的Out点没有在操 作号'n，的In点 Out点内的情况下，不判定为^^莫式A而结束处理(步骤1008， END)。此外，在判定出的操作号'n+2，的操作类别不是倒回的情况下也不 判定为模式A而结束处理(步骤1007， END )。通过上述步骤进行模式A的 判定处理。例如，在图13中操作号7及8的操作被判定为模式A。
接着，用图11说明在步骤903中判定出的操作类别为倒回的情况下进行 的模式B的判定处理。模式B的判定处理基于模式B的操作特征进行，在倒 回操作的紧接其后有快进操作或重放及快进操作，并且进行判定在从倒回操 作的开始时间至结束时间之间是否包含了快进操作或重放及快进操作的结束 点的处理。
在操作号'n，为倒回的情况下(START),获得操作号'n+l'的操作 类别，并进行判定(步骤1101)。在操作号'n+l，的操作类别为快进的情况 下(步骤1102)，判定操作号'n+l，的Out点是否位于操作号'n'的In点 Out点内(步骤1103)，在位于其内的情况下，将操作号'n，和'n+l，判 定为模式B而结束处理(步骤1104, END)。另一方面，在操作号'n+l，的 Out点没有在操作号'n，的In点 Out点内的情况下，不判定为模式B而结 束处理(步骤1103, END)。此外，在操作号'n+l，的操:作类别不是快进而 是重放的情况下(步骤1105),获得操作号'n+2，的操作类别并进行判定(步 骤1106)，另一方面，在操作号'n+l，的操作类别既不是快进也不是重放的 情况下，不判定为模式B而结束处理(步骤1105， END)。而且，在步骤1106
13中判定出的操作号'n+2，的操作类别为快进的情况下(步骤1107)，判定操 作号'n+2，的Out点是否位于操作号'n'的ln点 Out点内(步骤1108)， 在位于其内的情况下，将操作号'n，和'n+l，以及'n+2，判定为模式B 并结束处理(步骤1109, END)。另一方面，在操作号'n+2，的Out点没有 在操作号'n，的In点 Out点内的情况下，不判定为^^莫式B而结束处理(步 骤1108， END)。此外，在判定出的操作号'n+2，的操作类别不是快进的情 况下也不判定为模式B而结束处理(步骤1107, END)。通过上述步骤进行 模式B的判定处理。例如，在图13中操作号5、 6、 7、 12、 13的操作被判定 为模式B。
接着，用图12说明在步骤903中判定出的操作类别为重放的情况下进行 的模式C的判定处理。模式C的判定处理基于模式C的操作特征进行，在重 放操作的紧接其后有倒回操作，并且进行判定在从重放操作的开始时间至结 束时间之间是否包含了倒回操作的结束点的处理。
在操作号'n，为重放的情况下(START),获得操作号'n+l，的操作 类别，并进行判定(步骤1201 )。在操作号'n+l，的操作类别为倒回的情况 下(步骤1202)，判定操作号'n+l，的Out点是否位于操作号'n'的In点 Out点内(步骤1203)，在位于其内的情况下，将操作号'n，和'n+l，判 定为模式C而结束处理(步骤1204， END)。另一方面，在操作号'n+l'的 Out点没有在操作号'n，的In点 Out点内的情况下，不判定为模式C而结 束处理(步骤1203, END)。此外，在操作号'n+l，的操作类别不是倒回的 情况下也不判定为^f莫式C而结束处理(步骤1202， END)。通过上述步骤进 行模式C的判定处理。例如，在图13中操作号11、 12的操作被判定为模式 C。
接着，说明在搜索操作群确定单元402中进行的、以对各种模式的每个 模式检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来 判定最小搜索操作群之前的操作及最小搜索操作群之后的4乘作，从而确定关 注视频搜索操作群的处理的流程。在重放操作的紧接其后有倒回操作，并且 在从重放操作的开始时间至结束时间之间包含了倒回操作的结束点(Out点) 的模式C有可能被包含在模式A或B中，所以被在前面确定。即，在本实施 方式中，确定关注视频搜索操作群的处理在进行了模式C的确定之后，进行 模式A或B的确定。下面用图14说明在模式C确定单元403中进行的处理的流程。在最小 搜索操作群检测单元401中结束了最小搜索操作群的检测后，若开始模式C 的确定处理(START),则首先判定是否有与模式C的最小搜索操作群重叠的 模式A或B的最小搜索操作群(步骤1401),在有重叠的情况下，将重叠的 模式A或B与模式C进行结合(步骤1402 )，在没有重叠的情况下进至步骤 1403。图15中表示步骤1402中生成的预览日志的数据结构。由于操作号12 是模式C和模式B重叠(参照图13),所以判定为其是相同的关注视频搜索 操作群，将模式B与模式C进行结合，并置换标志(flag)而作为模式C的 操作群(参照图15)。再有，由于标志的置换只要是能够识别是相同的关注 视频搜索操作群的标志就可以，所以置换为哪个标志都可以。
然后，从预览日志的最后方依次获得模式C的操作群(步骤1403 )，进 行模式C的后方确定的处理(步骤1404 )。模式C的后方确定，对于模式C 的操作群之后的操作，基于关注视频搜索操作群的特征，判定在所获得的模 式C的操作群内包含的某一方的连续操作的开始和结束时间之间，包含紧接 其后的另一方的连续操作的结束时间的连续操作是否处于模式C的操作群之 后的操作，从而作为模式C的关注视频搜索操作群进行确定后方的处理。即， 对于模式C的操作群之后的操作，判定'交替地进行以快进操作为主体的连 续操作和以倒回操作为主体的连续搡作，并且相互相反方向的连续操作间的 视频上的时间性关系是否满足了为包含关系的条件，，在为包含关系的情况 下，使模式C的操作群膨胀，重复进行处理，直至检测不出满足上述条件的 操作为止，从而确定模式C的关注视频搜索操作群的后方。另一方面，在没 有包含关系的情况下，确定模式C的关注视频搜索搡作群的后方而不使模式 C的操作群膨胀。
然后，在步骤1404中进行了模式C的后方确定的处理后，判定是否有 其他的模式C的操作群(步骤1405 )，在有其他的模式C的操作群的情况下 返回到步骤1404,进行与上述相同的处理。另一方面，在没有其他的模式C 的操作群的情况下结束处理(END)。图19表示模式C确定单元403生成的 预览日志的数据结构。在本实施方式中，模式C的操作群不膨胀，确定了模 式C的关注视频搜索操作群的后方。
下面用图16说明在步骤1404中进行的模式C的后方确定的处理。首先， 若开始模式C的后方确定的处理(START),则从最末尾向前方(n-l方向)
15搜索与获得的模式C的操作群的最末尾的操作号n的操作方向相反方向的连 续操作，获得其第1个操作群的操作号(步骤1601)，并从In点、Out点获 得操作群的操作范围(步骤1602)。这里，连续操作表示向一方向的连续操 作， 一个连续操作如图17所示，是将快进或交替组合了快进和重放的快进操 作作为主体的连续操作，另一个连续操作如图18所示，是将倒回或组合了倒 回和倒回的段中包含的重放的倒回操作作为主体的连续操作。在本实施方式 中，获得操作号12，获得其In点'00:01:15，、 Out点'00:01:00，。从操作号 n向后方(n+l方向)搜索Out点包含在连续获得的操作范围中的、与操作号 n同方向的连续操作(步骤1603 ),判定是否有操作群(步骤1604)。在有操 作群的情况下，将操作号n+l 操作群的最后的操作号N判定为模式C (步骤 1605 ),在没有操作群的情况下结束模式C的后方确定的处理(END)。在本 实施方式中，判定为没有操作群，并结束。再有，在步骤1605中将操作号 n+l 最后的操作号N判定为模式C后，将上述为止的n复位(reset),将操 作号N置换为n。
接着，在步骤1605中将操作号n判定为模式C后，判定操作号n+l和n 是否为相反方向(步骤1606)。在为相反方向的情况下，从n向前方(n-l方 向败索与操作号n同方向的操作，获得其第l个操作群的操作号(步骤1607), 并从In点、Out点获得操作群的操作范围(步骤1608 )。然后从操作号n向 后方(n+l方向)搜索Out点包含在所获得的操作范围中的、与操作号n相 反方向的连续操作(步骤1609)，然后进行与上述同样的处理。另一方面， 在步骤1606中，在操作号n+l和n不是相反方向的情况下，判定操作号n的 操作类别是否为重放(步骤1610),在是重放的情况下，已判定为模式C的 操作号n没有作为模式C而删除标志(步骤1611),并结束模式C的后方确 定的处理(END)。另一方面，在不是重放的情况下，直接结束模式C的后 方确定的处理(END)。通过上述步骤进行模式C的后方确定的处理。
下面，用图20说明在模式A或B确定单元404中进行的处理的流程。 在结束了模式C的确定后，若开始模式A或B的确定处理(START),则首 先判定是否有与模式A或B的最小搜索操作群重叠的模式A或B的最小搜 索操作群(步骤2001 ),在有操作群的情况下，将重叠的模式A或B与其他 的模式A或B进行结合(步骤2002 )，另一方面，在没有操作群的情况下进 至步骤2003。图21中表示在步骤2002中生成的预览日志的数据结构。操作
16号7是模式B和模式A重叠的操作号(参照图19)，所以判定是相同的关注 视频搜索操作群，将模式A和模式B进行结合，并置换标志而作为模式A或 B的操作群(参照图21 )。再有，由于标志的置换只要是能够识别是相同的关 注视频搜索操作群的标志就可以，所以置换为哪个标志都可以。
然后，从预览日志的最后方依次获得模式A或B的操作群(步骤2003 )， 进行模式A或B的前方确定的处理(步骤2004 )。模式A或B的前方确定， 基于关注视频搜索操作群的特征，对于模式A或B的操作群之前的操作，判 定在所获得的模式A或B的操作群内包含的某一方的连续操作的开始时间被 包含在紧靠其前的另一方的连续操作的开始时间和结束时间之间是否有连续 操作，从而作为模式A或B的关注视频搜索操作群进行确定前方的处理。即， 对于模式A或B的操作群之前的操作，判定'交替地进行以快进操作为主体 的连续操作和以倒回操作为主体的连续操作，并且相互相反方向的连续操作 间的视频上的时间性关系是否满足了为包含关系的条件，，在为包含关系的操 作的情况下，使模式A或B的操作群膨胀，重复进行处理，直至不被;险测出 满足上述条件的操作为止，从而确定模式A或B的关注视频搜索操作群的前 方。另一方面，在没有包含关系的操作的情况下，确定模式A或B的关注视 频搜索操作群的前方而不使模式A或B的操作群膨胀。
图24中表示进行了模式A或B的前方确定的处理的预览日志的数据结 构。在本实施方式中，利用操作号1 4使模式A或B的操作群膨胀，确定模 式A或B的关注视频搜索操作群的前方。
在步骤2004中进行了模式A或B的前方确定的处理后，进而进行模式 A或B的后方确定的处理(步骤2005)。模式A或B的后方确定，对于模式 A或B的操作群之后的操作，基于关注视频搜索操作群的特征，判定在紧接 该操作群后的另 一方的连续操作的结束时间被包含在获得的模式A或B的操 作群内所包含的某一方的连续操作的开始时间和结束时间之间的连续操作是 否处于模式A或B的操作群之后的操作，从而作为模式A或B的关注视频 搜索操作群进行确定后方的处理。即，对于模式A或B的操作群之后的操作， 判定'交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续 操作，并且相互相反方向的连续操作间的视频上的时间性关系是否满足了为 包含关系的条件，，在为包含关系的操作的情况下，使模式A或B的操作群 膨胀，重复进行处理，直至不被检测出满足上述条件的操作为止，从而确定群的后方。另一方面，在没有包含关系的操 作的情况下，确定模式A或B的关注视频搜索操作群的后方而不使模式A或 B的操作群膨胀。
图25表示进行了模式A或B的后方确定的处理的预览日志的数据结构。 在本实施方式中，不使模式A或B的操作群膨胀，确定模式A或B的关注 视频搜索操作群的后方。在进行了步骤2004中模式A或B的前方确定及步 骤2005中模式A或B的后方确定的处理后，判定是否有其他的模式A或B 的操作群(步骤2006 )，在有其他的模式A或B的操作群的情况下返回到步 骤2004,进行与上述同样的处理。另一方面，在没有其他的模式A或B的操 作群的情况下结束处理(END)。
下面用图22说明在步骤2004中进行的模式A或B的前方确定的处理。 首先，若开始模式A或B的前方确定的处理(START),则从In点、Out点 获得已获得的模式A或B的操作群的开头的操作号m的操作范围(步骤 2201 )。在本实施方式中，获得操作号5，并获得它的In点'00:00:35，、 Out 点'00:00:12，。接着从操作号m向前方(m-1方向)搜索包含已获得的操作 范围的Out点的、与操作号m相反方向的连续操作(步骤2202)。然后，判 定是否有连续操作，同时判定操作群的开头的操作号的操作类别是否为重放 (步骤2203 )。在本实施方式中，判定为有操作号l-4组成的连续操作，并 判定为操作号1的操作类别不是重放(快进)。
在有操作群，且开头的操作类别不是重放的情况下，将操作号m-l 开 头的操作群的最后的操作号M判定为模式A或B (步骤2204 )，在没有操作 群的情况下或开头的操作类别是重放的情况下，结束模式A或B的前方确定 的处理(END)。在本实施方式中，将操作号l-4判定为模式A或B。再有， 在步骤2204中将最后的操作号M判定为模式A或B后，将上述为止的m复 位，并将操作号M置换为m。
接着，在步骤2204中将操作号m判定为模式A或B后，判定操作号 m-l和m是否为相反方向(步骤2205)。在有操作号m-l，并为相反方向的 情况下，从操作号m向前方(m-1方向)搜索与操作号m同方向的连续操作， 获得它的操作群(步骤2206)，并从In点、Out点获得操作群的操作范围(步 骤2207)。另一方面，在没有操作号m-1的情况下或即使有操作号m-1也不 是相反方向的情况下，结束模式A或B的前方确定的处理(END)。在本实
18施方式中，由于没有操作号m-1，所以结束处理。
从操作号m向前方(m-1方向)搜索包含已获得的操作范围的Out点的、 与操作号m相反方向的连续操作，获得它的操作群(步骤2208)，判定是否 有操作群，同时判定是否为重放(步骤2203 )。然后，进行与上述同样的处 理。通过上述步骤进行;漠式A或B的前方确定的处理。
接着，用图23说明在步骤2005中进行的模式A或B的后方确定的处理。 首先，若开始模式A或B的后方确定的处理(START),则从最末尾向前方 (1-1方向)搜索与已获得的模式A或B的操作群的最末尾的操作号n的操 作方向相反方向的连续操作，获得其第1操作群的操作号(步骤2301 )，从 In点、Out点获得操作群的操作范围(步骤2302)。在本实施方式中，获得操 作号6、 7，并获得它的In点'00:00:12，、 Out点'00:00:25，。接着，从操作 号1向后方(1+1方向)搜索Out点包含在已获得的操作范围中的、与操作号 1同方向的连续操作(步骤2303 )，判定是否有操作群(步骤2304)。在有操 作群的情况下，将操作号l+l 操作群的最后的操作号L判定为模式A或B(步 骤2305 ),在没有操作群的情况下，结束模式A或B的后方确定的处理(END )。 在本实施方式中，判定为没有操作群，并结束。再有，在步骤2305中将操作 号1+1 最后的操作号L判定为模式A或B后，将上述为止的l复位，并将操 作号L置换为1。
接着，在步骤2305中将操作号n判定为模式A或B后，判定操作号1+1 和1是否为相反方向(步骤2306 )。在为相反方向的情况下，从1向前方(1-1 ) 搜索与操作号l同方向的操作，获得其第l个操作群的操作号(步骤2307)， 从In点、Out点获得操作群的操作范围(步骤2308 )。从操作号1向后方(1+1 方向)搜索Out点包含在获得的操作范围中的、与操作号1相反方向的连续 操作(步骤2309)。然后，进行与上述同样的处理。另一方面，在步骤"06 中，操作号1+1和1不是相反方向的情况下，判定操作号1的操作类别是否为 重放(步骤2310 )，在是重放的情况下，已判定为模式A或B的操作号1不 作为模式A或B而删除标志(步骤2311 )，结束(END)模式A或B的后方 确定的处理。另一方面，在不是重放的情况下，直接结束模式A或B的后方 确定的处理(END)。通过上述步骤进行模式A或B的后方确定的处理。
关注视频搜索操作群检测单元103将基于关注视频搜索操作群的特征进 行判定而确定出的关注视频搜索操作群以能够识别的方式输出。图26表示关注视频搜索操作群检测单元103输出的数据结构。如图26所示，对于检测出 的关注视频搜索操作群，将'关注视频搜索操作群标志，设为'r，将除此 之外的操作号设为'0，。由此，识别用户进行的关注视频搜索操作群，直至
到达要关注的视频段为止。再有，在本实施方式中，模式c的开头的操作类 别为重放，开头的重放后的操作被考虑为搜索该重放内部的操作群，所以模 式c的开头的标志设为'o，而没有被设为'r 。该预览日志被输入到用户关
注段检测单元104,在用户关注段检测单元104,从所输入的预览日志中包含
的所有重放段中，除去关注视频搜索操作群中包含的重放段，从而检测已判
定为'仔细地视听已检测出的视频段的重放，的用户关注段。图27表示用户 关注段检测单元104输出的数据结构。用户关注段检测单元104检测关注视 频搜索操作群标志为'O，，并且操作类别为重放的操作号。此外，用户关注 段检测单元104判定是否为搜索关注视频搜索操作群的紧接其后的重放，对 于在检测出关注视频搜索操作群的紧接其后进行重放的操作号，将'搜索出 的紧接其后的标志，设为'i，，将除此以外的操作号设为'0，。该判定在进
行重放的操作号的前一个搜索操作标志为'1，的情况下，将判定为进行检测 出关注视频搜索操作群的紧接其后的重放，对于该操作号，将检测出的紧接
其后的标志设为'r。用户关注段检测单元104将表示用户关注段的预览曰
志(参照图27)输出到重要度信息赋予单元105。
在重要度信息赋予单元105，使用将'搜索出的紧接其后的标志，及'重 要度信息，相关联管理的重要度信息表(参照图28的(b))，基于从用户关 注段检测单元104输入的表示了用户关注段的预览日志中所示的'搜索出的 紧接其后的标志，，对于各个操作号赋予对应的重要度信息，并将其以能够识 别的方式输出。图28的(a)表示从重要度信息赋予单元105输出的数据结 构。如图28的(a)所示，在从用户关注段检测单元l(H输出的预览日志(参 照图27)中有'搜索出的紧接其后的标志，为'1，的4喿作号的情况下，由 于与其对应的重要度信息表(参照图28的(b))中所示的重要度信息为'10，， 所以对该操作号赋予重要度信息'10，。此外，在有'搜索出的紧接其后的标 志，为'0，的操作号的情况下，由于与其对应的重要度信息表中所示的重要 度信息为'5，，所以对该操作号赋予重要度信息'5，。由此，根据'搜索出 的紧接其后的标志，，可以只对真正重要的段赋予规定的重要度信息。重要度 信息赋予单元105将表示了重要度信息的预览日志(图28的(a))输出到视频及重要度信息存储单元106。
然后，在视频及重要度信息存储单元106，获得从重要度信息赋予单元105输入的表示了重要度信息的预览日志(参照图28的(a)),将其和视频一起存储。由此，可以通过视频检索单元(GUI) 107，从视频及重要度信息存储单元106中所存储的视频中，根据使用了重要度信息的用户的视频检索请求来仅检索用户需要的视频段。
以上，从本实施方式也很明显，根据本发明的重要度信息赋予装置及方法，可以从作为用户的视频操作历史的预览日志检测'搜索想看的视频段，的操作群，即检测用户进行的视频操作群(关注视频搜索操作群)，直至达到要关注的视频段为止，由此，可以除去在其中包含的'在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放，，能够对于用户本来用于节目编辑的视频段、即对于判定并检测为'仔细地视听搜索出的视频段的重放，的重放段(用户关注段)赋予重要度信息，所以用户可以仅将用户需要的视频段作为检索对象，可以提高检索效率和编辑效率。
工业利用性
本发明的基于视频操作历史的重要度信息赋予装置及方法当然可在节目制作中利用，也可以用于家庭用的HDD录像机的自动编辑功能和自动DVD生成功能。例如，用户使用拍摄后的视频，通过从作为用户的视频操作历史的预览日志中检测关注视频搜索操作群，对用户关注段赋予重要度信息，仅将用户需要的视频段保存在HDD录像机或DVD中即可。此外，同样地，还可以用于家庭用HDD录像机的自动CM剪辑功能。例如，用户使用录像后的节目，通过从作为用户的视频操作历史的预览日志中检测关注视频搜索操作群，除去CM剪辑段，对于作为用户关注段的节目段赋予重要度信息，仅保存用户需要的节目段即可。于是，不仅可作为节目制作来利用，还可以个人方式地利用。
此外，本发明的重要度信息赋予装置的结构不仅可形成为一体的结构，也可以形成为分离的结构。在本发明的实施方式中，说明了形成为一体的结构，但也可以将从预览日志中检测关注视频搜索操作群为止的结构和检测关注视频搜索操作群后赋予重要度信息为止的结构分离。通过形成为将重要度信息赋予装置分离的结构，例如，在节目制作上利用的情况下，可以在进行粗编辑步骤的端和进行源编辑步骤的端之间进行利用，在个人方式地利用的情况下，可以在发送台端和接收台端之间进行利用。
21而且，本发明的重要度信息赋予装置还可以使用与预览日志合在一起的
分段元数据(segmentmeta-data)等，由此，对检测出的用户关注段的开始点和结束点进行校正，可以使用户需要的视频段的开始点和结束点完全一致。
基于附图所示的优选实施例说明了本发明，但本领域技术人员应该明白，可将本发明容易地进行变更及改变，这样的变更部分也包含在本发明的范围内。
权利要求
1. 一种基于视频操作历史的重要度信息赋予装置，其特征在于，包括关注视频搜索操作群检测单元，该关注视频搜索操作群检测单元包括最小搜索操作群检测单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将所述检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在所述最小搜索操作群之前的操作和所述最小搜索操作群之后的操作，从而确定关注视频搜索操作群。
2. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特 征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具 有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种 模式的一个模式，在快进操作或快进及重放操作之后立即有倒回操作，并且 在从快进操作或快进及重放操作的开始时间至结束时间之间包含倒回操作的 结束点。
3. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特 征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具 有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种 模式的一个模式，在倒回操作之后立即有快进操作或重放及快进操作，并且 在从倒回操作的开始时间至结束时间之间包含快进操作或重放及快进操作的 结束点。
4. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特 征在于，由所述最小搜索操作群检测单元检测的所述最小搜索操作群基于具 有规定的操作特征的各种模式进行检测，而表示所述规定的操作特征的各种 模式的一个模式，在重放操作之后立即有倒回操作，并且在从重放操作的开 始时间至结束时间之间包含倒回操作的结束点。
5. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特 征在于，所述搜索操作群确定单元对基于所述各种模式检测出的所述最小搜 索操作群包含公用的操作而构成的情况进行结合，形成一个新的最小搜索操 作群。
6. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对于所述最小搜索操作群之前的操作及所 述最小搜索操作群之后的操作，使用所述预览日志中所示的操作类别及该操 作的开始时间、结束时间，判定是否有作为关注视频搜索操作群的特征的、 交替地进行以快进操作为主体的连续操作和以倒回操作为主体的连续操作， 并且相互相反方向的连续操作之间的视频上的时间性关系为包含关系，并根 据该判定，确定关注视频搜索操作群。
7. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，所述搜索操作群确定单元对于基于所述最小搜索操作群获得的操作 群之前的操作，判定在该操作群内所包含的某一方的连续操作的开始时间被包含在紧靠该操作群之前的另 一方的连续梯:作的开始时间和结束时间之间是 否有连续操作，从而进行确定作为关注视频搜索操作群的前方的处理。
8. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特 征在于，所述搜索操作群确定单元对于基于所述最小搜索操作群获得的操作 群之后的操作，判定在该操作群内所包含的某一方的连续操作的开始时间和 结束时间之间，包含紧接该操作群后的另 一方的连续操作的结束时间的连续 操作是否处于该操作群之后的操作，从而进行确定作为关注视频搜索操作群 的后方的处理。
9. 如权利要求1所述的基于视频操作历史的重要度信息赋予装置，其特征在于，还包括用户关注段检测单元，从所述预览日志中包含的所有重放 段中，除去由所述关注视频搜索操作群检测单元4全测出的所述关注视频搜索 操作群中所包含的重放段，从而检测用户关注段；以及重要度信息赋予单元，对于所述检测出的用户关注段赋予重要度信息。
10. —种基于视频操作历史的重要度信息赋予方法，其特征在于，包括 从作为用户的视频操作历史的预览日志中，基于具有规定的操作特征的各种 模式检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群的步 骤；以检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征 来判定所述最小搜索操作群之前的操作及所述最小搜索操作群之后的操作， 从而确定关注视频搜索操作群的步骤；从预览日志中所包含的所有重放段中 除去关注视频搜索操作群所包含的重放段，从而检测用户关注段的步骤；以 及对于检测出的用户关注段赋予重要度信息的步骤。
全文摘要
本发明的目的在于，通过从作为用户的视频操作历史的预览日志中检测‘搜索想看的视频段’操作群，除去在其中包含的‘在搜索想看的视频段时确认正在观看的视频在哪儿附近的重放’，对于判定为‘将搜索出的视频段仔细地视听的重放’的重放段赋予重要度信息。因此，本发明提供基于视频操作历史的重要度信息赋予装置及方法，重要度信息赋予装置包括了关注视频搜索操作群单元，关注视频搜索操作群单元具有最小搜索操作群检测单元，从作为用户的视频操作历史的预览日志中检测在关注视频搜索操作群内存在的最小单位的最小搜索操作群；以及搜索操作群确定单元，将检测出的最小搜索操作群作为基点，基于关注视频搜索操作群的特征来判定在最小搜索操作群之前的操作和之后的操作，从而确定关注视频搜索操作群。
文档编号H04N5/91GK101480048SQ20078002382
公开日2009年7月8日 申请日期2007年4月24日 优先权日2006年4月24日
发明者影山光宏, 稻富康朗 申请人:松下电器产业株式会社