用于构造数字内容节目的装置和方法

专利名称：用于构造数字内容节目的装置和方法
技术领域：
本发明涉及一种用于构造数字内容节目的装置和方法。
技术背景随着近来对于宽带等的广泛使用，数字内容的流通量正在不断增 加。用于有效管理和处理计算机上日益增加的数字内容量的技术己经 予以考虑，使用这些技术来向数字内容添加元数据。当数字内容是视频的时候，例如，如果将指示"随后场景的开始" 的元数据附于时间序列之上，那么就能够很容易地定位或搜索想要的 场景。这提高了用户的方便性。通常，内容提供商通过利用诸如将电 影分割为多个场景时所使用的定界信息的元数据，事先将视频内容分 割成多个章节。然而，向全部内容精确地添加元数据对于内容提供商 来说负担很重。最近，具备播放列表创建功能的HDD记录器的个人用户(观看 者)，通过向视频内容的时间序列添加元数据来创建播放列表。JP-A 2004-193871(KOKAI)教授了一种由用户添加元数据的技术。根据这 个技术，将由个人用户(观看者)所创建的元数据公开，以便其能够被 多个用户(观看者)所共享。然而，根据JP-A2004-193871(KOKAI)，因为由不同用户(观看者)所创建的元数据被共享，所以元数据并不可能总是为内容提供精确的 章节分割。另一方面，代替内容提供商或用户将内容分割成多个章节的是， 已经建议了从内容自身的信息中自动提取元数据，以实现章节分割。 建议了下列方法(1) 一种从视频内容的音频信息中提取元数据的方法；(2) —种从诸如提取自视频内容的字幕的文本信息中或者从包含
在视频脚本中的文本信息中提取元数据的方法；以及(3)—种从诸如提取自视频内容的摄像机切换信息的图像信息中 提取元数据的方法。在这些从内容自身的信息中自动提取元数据的方法中仍然存在 一些还未解决的问题。首先，当使用视频内容中的音频信息时，基于鼓掌的响度，能够 提取诸如"令人激动的"的抽象场景，或者基于区别性的关键词，能 够提取粗略分割的场景。然而目前，语音识别技术并不能够足够准确 地提取精确分割的场景。这里仍然有一个问题，即在无声间隔期间不 能提取场景的信息。第二，当使用视频内容的文本信息时，通过随着追踪出现的词语 的变化来估计主题，能够提取场景。然而，这里有个问题，即这个方 法不适用于并不包含诸如字幕和脚本的文本信息的内容。尽管可以为 了场景提取的目的将文本信息添加到内容，但是一开始就将场景信息 作为内容的元数据进行添加比仅仅为了场景提取而添加文本信息更 为有效。第三，当使用视频内容的摄像机切换信息时，这种信息建议了非 常原始的间隔。因此，摄像机切换信息将内容切割为太小的片断。如果内容是机智问答(quizshow)或者新闻节目，在此依照摄像机切换信息包括了典型序列，那么可以通过适当地对序列分组来提取大小适当 的场景。然而，这个技术并不适用于所有的数字内容节目。如果将场 景分割成大小不适当的章节，则可能会降低用户的方便性。更具体地， 有如下问题--如果场景分割的章节太大，则用户可能需要快进数据，以定位想要的场景，或者可以在跳过(skip)操作下跳过想要的场景。-另一方面，如果场景分割的章节太小，则必须重复多次跳过操 作以达到想要的场景。另外，即使当处理相同的内容时，场景的大小也取决于观看该内 容的用户的观点，随用户的不同而不同。因而，很难决定将要把场景 分割成的大小适当的章节。 发明内容根据本发明的一个方面， 一种节目构造装置，包括播放列表收 集单元，用于为定义了时间序列的内容收集播放列表;第一存储单元, 用于与所述播放列表中出现的每个截止点的出现频率相对应地存储 所述截止点，并且所述截止点是所述内容的节目结构的断点；计算单 元，用于根据每个所述截止点的出现频率，计算由所述截止点定义的 场景片断之间的相关性级别；提取单元，用于基于所述相关性级别， 提取多级章节分割；以及第二存储单元，用于存储所述提取出的构造 为树形的多级章节分割。根据本发明的另一个方面， 一种节目构造方法，包括根据为定 义了时间序列的内容创建的播放列表中出现的截止点，从所述内容中 提取场景片断，所述截止点是所述内容的节目结构的断点；基于每个 所述截止点的出现频率，确定所述场景片断之间的相关性级别；提取 多级章节分割作为一簇具有高相关性级别的场景片断；以及将提取出的多级章节分割构造成树形。


图1是示出了根据本发明的实施例的数字内容节目构造系统的 结构的图；图2是示出了在时间序列上具有截止点的内容的节目结构的例 子的示意图；图3是示出了数字内容节目构造装置的硬件结构的框图；图4是数字内容构造过程的流程图；图5是播放列表收集过程的流程屈；图6是示出了装置信息的示意图；图7是示出了内容信息的示意图；图8是示出了播放列表信息的示意图；图9是内容正规化过程的流程图；图IO是示出了对应表的示意图； 图11是内容正规化过程的流程图；图12是用于说明内容的特征量随时间的变化以及正规化的内容 的示意图；图13是截止点正规化过程的流程图； 图14是截止点正规化过程的流程图；图15是用于说明内容的特征量随时间的变化以及时间的差异 (discrepancies)的示意图；图16是场景片断相关性计算过程的流程图；图17是示出了计算截止点的出现频率的结果的例子的示意图； 图18是章节分割提取过程的流程图；图19是示出了关于内容长度、章节分割的粗糙度以及章节分割 的对应表的例子的示意图；图20是章节分割过程的流程图；图21是示出了关于章节分割的粗糙度和阈值的系数的对应关系 的例子的示意图；图22是示出了章节分割的示意图；图23是示出了构造成树形的多个章节分割的例子的示意图； 图24是章节分割分配过程的流程图；以及图25是示出了说明节目结构系统的结构的修改例子的系统结构 的图。
具体实施方式
参考图1至25来说明根据本发明的典型实施例。图1是示出了 根据实施例的数字内容节目构造系统的结构的图。数字内容节目构造 系统100表示经由网络20(如利用网间协议(IP)的因特网)将数字内容 节目构造装置1连接到若干个播放列表创建装置30(如HDD记录器 和个人计算机)的系统。尽管在现实中系统中包括大量的数字内容节 目构造装置1和播放列表创建装置30，但是为了简化说明起见，图l 中阐明了单个数字内容节目构造装置1和三个播放列表创建装置30。每个播放列表创建装置30包括内容存储单元31，用于存储各
种视频内容；播放列表创建单元32，用于对内容存储单元31中存储 的视频内容执行公知的播放列表创建功能；播放列表存储单元33， 用于存储由播放列表创建单元32创建的播放列表；以及内容操作单 元34，用于通过利用诸如包含在电影场景中的定界符信息的元数据， 将内容存储单元31中存储的视频内容分割成多个章节。例如，播放 列表创建单元32的播放列表创建功能表示如下的功能，使用这种功 能创建用于从内容存储单元31中存储的视频内容中选择想要的项并 以想要的次序再现这些项的列表，并且使用这种功能来注册和控制所 创建的列表。因为播放列表创建功能被预先安装到HDD记录器和个 人计算机中，所以省略其详细说明。具有存储有各种视频内容的内容 存储单元31的播放列表创建装置30也作为内容存储装置。简言之，数字内容节目构造装置1通过网络20收集由播放列表 创建装置30为内容而创建的播放列表。数字内容节目构造装置1基 于出现于每个播放列表中的截止点，确定包括在内容中的场景片断之 间的相关性程度，并且从而构造数字内容节目。出现于播放列表中的截止点指示播放列表中内容的节目结构的 断点，稍后将提供关于其的细节。图2是示出了时间序列上的具有截 止点的内容的节目结构的例子的示意图。内容的节目结构中的截止点 的例子包括"商业广告"、"幵场白"、"视频上的第一问题"、"来自人 物A的回答"、"来自人物B的回答"、"来自人物C的回答"、"对视 频上第一问题的回答"、"商业广告"、"视频上的第二问题"等。现在来说明数字内容节目构造装置l。图3是示出了数字内容节 目构造装置l的硬件结构的框图。如图3所示，数字内容节目构造装 置1可以是个人计算机，其包括作为计算机的主要单元并且中央控制 其它单元的中央处理单元(CPU)2。利用总线5，将CPU2连接到存储 BIOS等的只读存储器(ROM)3和以可重写的方式存储各种数据的随 机访问存储器(RAM)4。利用总线5经由未示出的输入/输出装置，还将CPU 2连接到其 中存储有各种节目的硬盘驱动器(HDD)6、作为用于读取分配的计算 机软件程序的机制并且读取CD-ROM 7的CD-ROM驱动器8、控制数字内容节目构造装置1和网络20之间的通信的通信控制装置10、 发送各种操作命令的诸如键盘和鼠标之类的输入装置11、以及显示 各种信息的诸如阴极射线管(CRT)和液晶显示器(LCD)之类的显示装 置12。由于其以可重写的方式存储各种数据的特性，因此RAM 4作为 CPU2的工作区并且作为缓冲区等。根据本发明，图3所示的CD-ROM 7作为记录介质，并且在其 中存储操作系统(OS)和各种程序。CPU 2读取存储在CD-ROM驱动 器8上的CD-ROM 7中的程序，并且将其安装到HDD 6中。记录介质并不限于CD-ROM 7，而是可以采用利用各种系统的介 质，这样的例子包括诸如DVD的各种类型的光盘、各种类型的磁光 盘、诸如软盘的各种类型的磁盘、以及半导体存储器。此外，可以利 用通信控制装置10从诸如因特网的网络20上下载程序并将其安装在 HDD 6中。在这种系统中，其中存储有程序的发送方服务器的存储 装置也是本发明所覆盖的记录介质。所述程序可以是在特定操作系统 (OS)上操作并且执行如稍后所述的各种过程的类型，这些过程的一部 分可以转移(off-load)到OS。所述程序可以作为组成特定应用软件和 OS的一组程序文件的一部分。控制整个系统的操作的CPU 2根据装载到用作系统的主存储器 的HDD6上的程序，执行处理。在由CPU 2根据安装在数字内容节目构造装置1的HDD 6中的 不同程序所执行功能之中，接下来说明根据本实施例的数字内容节目 构造装置1的特别的功能。如图1中所示，数字内容节目构造装置1执行数字内容构造程序， 并且从而具有播放列表收集单元21、内容正规化单元22、截止点正 规化单元23、第一存储单元24、计算单元25、提取单元26、第二存 储单元27以及章节分割分配单元28。播放列表收集单元21收集网络20上存在的每个播放列表创建单 元30的播放列表存储单元33中存储的播放列表。内容正规化单元22对创建了播放列表的内容执行正规化过程。
截止点正规化单元23对由播放列表收集单元21收集的每个播放 列表中出现的截止点执行正规化过程。更具体地，截止点正规化单元 23根据数字内容节目构造装置1的时钟和内容的时钟之间的差别， 校正播放列表中出现的截止点的时间。播放列表中出现的截止点表示 包含在该播放列表中的内容的节目结构中的断点。例如，商业广告章 节。由截止点正规化单元23正规化的截止点要与由播放列表收集单 元21收集的并且存储在第一存储单元24中的播放列表中的截止点的 出现频率相对应。计算单元25根据存储在第一存储单元24中的截止点提取场景片 断，并且基于截止点的出现频率计算所提取的场景片断之间的相关性 级别。提取单元26计算由计算单元25计算的场景片断的相关性的多级 阈值。此外，提取单元26合并相关性级别超过阈值的场景片断，并 且从而提取出多级章节分割。将所提取的多级章节分割构造成树形。 由提取单元26以这种方式提取的多级章节分割是树形结构的并且存 储在第二存储单元27中。当第二存储单元27中存在与网络20上的每个播放列表创建装置 30的内容存储单元31中存储的内容相对应的章节分割时，章节分割 分配单元28通过网络20将这些章节分割分配到播放列表创建装置 30的内容存储单元31。参考图4的流程图简要地说明由数字内容节目构造装置1的多个 单元进行的处理的流程。播放列表收集单元21收集网络20上的每个 播放列表创建装置30的播放列表存储单元33中存储的播放列表(步 骤Sl)。内容正规化单元22对创建了播放列表的内容进行正规化(步 骤S2)。还对播放列表收集单元21所收集的每个播放列表中出现的截 止点进行正规化(步骤S3)。接下来，计算单元25根据正规化的内容 和截止点，提取场景片断(步骤S4)，并且计算所提取的场景片断之间 的相关性(步骤S5)。提取单元26计算适合于计算单元25所计算的场 景片断的相关性的多级阈值(步骤S6)，并且通过合并相关性级别超过 阈值的场景片断来提取多级章节分割(步骤S7)。将所提取的多级章节
分割形成树形结构(步骤S8)。已经提供了关于由数字内容节目构造装置1的单元执行的数字 内容节目构造过程的流程的概述。现在，下面将给出数字内容节目构 造装置1的每个单元所执行的过程的细节。首先，说明由播放列表收集单元21执行的播放列表收集过程。 图5是播放列表收集过程的流程图。在由播放列表收集单元21执行 的播放列表收集过程中，对由多个"播放列表创建装置R、内容C以 及播放列表P"的组所组成的列表L进行初始化(步骤Sll)。列表L 成为将要输入的数据，用于计算截止点的出现频率和场景片断之间的 相关性，这将在稍后进行讨论。此后，在整个网络20中搜索播放列表创建装置30(播放列表创建 装置R)，并且分别获取(步骤S12)。图6是示出了播放列表创建装置30所保持的装置信息的示意图。 根据该图，作为网络20上的播放列表创建装置30中之一的播放列表 创建装置Rl是型号AOOO、序列号000-0001的HDD记录器1，其在 网络20上的IP地址是"xx.xx.xx.xx"。当以这种方式查找到播放列表创建装置R(步骤S12为"是")时， 搜索播放列表创建装置R的内容存储单元31中存储的内容，并且一 个一个地获取(步骤S13)。图7是示出了内容存储单元31中存储的内容信息的示意图。根 据图7，内容C1的标题是"Forest Friends(森林朋友)"， 一个由AAA 在2006年1月23日10:00am到11:30 am播放的TV节目。当以这种方式在播放列表创建装置R上査找到内容C(步骤S13 为"是")时，搜索为播放列表创建装置R上的内容C创建的并且存 储在播放列表存储单元33中的播放列表，并且一个一个地获取(步骤 S14)。另一方面，当在播放列表创建装置R上没有查找到内容C(步 骤S13为"否")时，系统控制回到步骤S12，以搜索在下一个播放 列表创建装置R的内容存储单元31中存储的内容。图8是示出了播放列表存储单元33中存储的播放列表信息的示 意图。根据图8，播放列表Pl意味着内容Cl(由AAA在2006年1 月23日10:00 am到11:30 am播放的标题为"Forest Friends"的TV 节目)，图2用包含在其中的截止点描述了其节目结构。播放列表P1 由从00:00:00到00:25:00的场景片断(开场和第一问题)和从00:30:00 到00:55:00的另一场景片断(第二问题)组成。如图8所示，为了用户 的方便，可以将对场景的描述添加到存储在播放列表存储单元33中 的播放列表信息。然而，播放列表收集单元21仅仅收集(由播放列表 标识符、内容标识符以及场景片断组成的栏)，而不必收集场景的描 述。当以上述方式査找到内容C的播放列表P(步骤S14为"是")时， 将在不同步骤处获取的播放列表创建装置R、内容C以及播放列表P 组成到一起并且添加到列表L(步骤S15)。另一方面，当没有査找到 内容C的播放列表P(步骤S14为"否")时，系统控制回到步骤S13， 并且搜索适合于下一个内容C的播放列表P。重复步骤S12到S15的过程，直到完成对网络20上的所有播放 列表创建装置30(播放列表创建装置R)的处理(步骤S12为"否")。当完成对网络20上的所有播放列表创建装置30(播放列表创建 装置R)的处理(步骤S12为"否")时，输出所创建的列表L(步骤S16)。接下来说明由内容正规化单元22执行的内容的正规化过程。概 括地，将播放列表收集单元21所收集的列表L发送到内容正规化单 元22，并且内容正规化单元22对列表L中包含的所有内容执行正规 化过程。更具体地，内容正规化单元22从列表L中包含的多个内容 之中，搜索彼此物理上不同但能够看作逻辑上匹配的内容。确定内容 是否逻辑上匹配可以参考广播电台和广播区域的对应表或者广播节 目、广播电台和播出时间的对应表来进行。或者，可以通过向创建了 播放列表的播放列表创建装置30请求诸如单通道/立体声通道声音、 声级以及图像亮度之类的内容的特征量随时间的变化，并且利用响应 时接收到的特征量随时间的变化，来进行确定。下面说明结合了这种 技术的内容正规化过程。首先说明利用了对应表的技术。图9是基于广播电台和广播区域 的对应表以及广播节目、广播电台和播出时间的对应表的内容正规化
过程的流程图。如果从播放列表收集单元21输入的列表L中可获取 一组"播放列表创建装置R、内容C以及播放列表P"(步骤S21为 "是")，则将任何参考广播电台和广播区域的对应表被认为是相同 的内容C标记为内容C'(步骤S22)，并且将任何参考广播节目和广播 电台的播出时间的对应表被认为是相同的内容标记为内容C'(步骤 S23)。重复上述过程直到确定从播放列表收集单元21输入的列表L 中获取了所有的"播放列表创建装置R、内容C以及播放列表P"的 组(步骤S21为"否")。当所有的"播放列表创建装置R、内容C以 及播放列表P"的组都已经经历该过程(步骤S21为"否")时，输出 所创建的包括"播放列表创建装置R、内容C'以及播放列表P"的组 的列表L'(步骤S24)。
假定事先提供了广播电台和广播区域的对应表以及广播节目和 广播电台的播出时间的对应表，如图10所示。因为指明AAA和AAC 是互相有关联的电台，所以将图7中列出的内容Cl和内容C5确定 为逻辑上相同。这样，将相同的内容标识符C1 '附于图7中的内容C1 和内容C5。参考广播节目的对应表，还可确定由AAB在2003年1 月25日的2:00pm到3:30pm播出的内容"ForestFriends"是逻辑上 相同的，尽管其并不包括在图7中。
下面说明利用了内容的特征量随时间的变化的技术。图11是内 容正规化过程的流程图，利用所述内容正规化过程从创建了播放列表 的播放列表创建装置30请求诸如单通道/立体声通道声音、声级以及 图像亮度的内容的特征量随时间的变化并且所述内容正规化过程是 基于响应时接收到的特征量随时间的变化的。当从播放列表收集单元 21输入的列表L中可获取一组"播放列表创建装置R、内容C以及 播放列表P"(步骤S31为"是")时，将关于内容C的特征量(单通道 /立体声通道声音、声级以及图像亮度等的特征量)随时间的变化f(t) 的询问发送到播放列表创建装置30(播放列表创建装置R)(步骤S32)。 将任何参考内容的特征量随时间的变化f(t)被认为是相同的内容C标 记为内容C'(步骤S33)。重复这个过程直到确定从播放列表收集单元 21输入的列表L中获取了所有的"播放列表创建装置R、内容C以
及播放列表P"的组(步骤S31为"否")。当对所有的"播放列表创 建装置R、内容C以及播放列表P"的组都进行了该过程(步骤S31 为"否")时，输出所创建的包含"播放列表创建装置R、内容C'以 及播放列表P"的列表L'(步骤S34)。
例如，当对如图12所示的播放列表创建装置Rl到R5上的内容 Cl到C5都计算了音量等级随时间的变化时，内容Cl和内容C5中 的变化模式正好相同。因而，将内容C1和内容C5确定为逻辑上相 同，并且将内容标识符C1'添加到这两个内容。
尽管特征量的变化越小计算时的费用越少，但是这可能增加将逻 辑上不相同的内容误判为相同的可能性。因而，优选地合并不同的特 征量来进行判断。
下面说明由截止点正规化单元23执行的截止点正规化过程。概 括地，将其内容已经由内容正规化单元22正规化的列表L'发送到截 止点正规化单元23，并且截止点正规化单元23对列表L'中所包含的 所有播放列表执行正规化过程。更具体地，截止点正规化单元23根 据数字内容节目构造装置1的时钟和内容的时钟之间的差别，校正列 表L'的播放列表中出现的截止点的时间。为了检测出数字内容节目构 造装置1的时钟和内容的时钟之间的差另lj，可以将关于当前时间的询 问发送到播放列表创建装置30，并且可以参考数字内容节目构造装 置1的时间和响应时所接收到的时间之间的差别。或者，可以将关于 单通道/立体声通道声音、声级、图像亮度等的特征量随时间的变化 的询问发送到已经创建了播放列表的播放列表创建装置30，并且可 以参考响应时所接收到的特征量随时间的变化。下面说明采用这些技 术的截止点正规化过程。
首先说明利用了数字内容节目构造装置1的时间和播放列表创 造装置的时间之间的差别的技术。图13是利用了数字内容节目构造 装置1的时钟和播放列表创建装置30的时钟之间的差别的截止点正 规化过程的流程图。获取数字内容节目构造装置1的当前时间T(步 骤S41)。当从内容正规化单元22输入的列表L'中可获取一组"播放 列表创建装置R、内容C'以及播放列表P"(步骤S42为"是")时，
将关于当前时间t的询问发送到播放列表创建装置30(播放列表创建 装置R)(步骤S43)。根据数字内容节目构造装置1的当前时间T和播 放列表创建装置30(播放列表创建装置R)的当前时间t之间的差别， 对播放列表P中出现的截止点的时间进行校正(步骤S44)。重复这个 过程直到确定从内容正规化单元22输入的列表L'中获取了所有的 "播放列表创建装置R、内容C'以及播放列表P"的组(步骤S42为 "否")。当对所有的"播放列表创建装置R、内容C'以及播放列表P" 的组都已经进行了该过程(步骤S42为"否")时，输出所创建的包含 "播放列表创建装置R、内容C'以及播放列表P'"的组的列表L〃(步 骤S45)。
简言之，使用这个技术，根据截止点正规化单元23所获取的当 前时间T和响应于询问时从播放列表创建装置30接收的当前时间t 之间的差别，对播放列表中出现的截止点的时间延迟进行校正。
接下来说明利用了内容的特征量随时间的变化的技术。图14是 截止点正规化过程的流程图，在其中将关于单通道/立体声通道声音、 声级、图像亮度等的特征量随时间的变化的询问发送到已经创建了播 放列表的播放列表创建装置30，并且参考响应时所接收到的特征量 随时间的变化。当从内容正规化单元22发出的列表L'中可获取一组 "播放列表创建装置R、内容C'以及播放列表P"(步骤S51为"是") 时，计算内容C'的特征量(诸如单通道/立体声通道声音、声级、图像 亮度等的特征量)随时间的变化F(t)(步骤S52)。将关于内容C'的特征 量(单通道/立体声通道声音、声级、图像亮度等的特征量)随时间的变 化f(t)的询问发送到播放列表创建装置30(播放列表创建装置R)(步骤 S53)。根据随时间的变化F(t)和随时间的变化f(t)之间的差别，对播 放列表P中出现的截止点的时间进行校正(步骤S54)。重复这个过程 直到确定从内容正规化单元22输入的列表L'中获取了所有的"播放 列表创建装置R、内容C'以及播放列表P"的组(步骤S51为"否")。 当对所有的"播放列表创建装置R、内容C'以及播放列表P"的组都 已经进行了该过程(步骤S51为"否")时，输出所创建的包含多个"播 放列表创建装置R、内容C'以及播放列表P'"的组的列表L"(步骤
S55)。
假定如图15所示地计算了在每个播放列表创建装置Rl到R3上 正规化的内容C'的音量等级随时间的变化。参考相应的峰值和谷值之 间的差异，能够对每个播放列表中出现的截止点的时间进行校正。
尽管特征量随时间的变化越小计算时的费用越少，但是彼此并不 对应的峰值和谷值可能会被误判为是对应的，这导致误算该差异的可 能性增加。因而，优选地是将不同的特征量合并在一起来进行判断。
使用以上所描述技术中的任何一个，都可将由截止点正规化单元 23对播放列表中出现的截止点进行了正规化的列表L"存储在第一存 储单元24中，并且输入到计算单元25 。
接下来说明由计算单元25执行的场景片断相关性计算过程。图 16是计算单元25所执行的场景片断相关性计算过程的流程图。首先， 计算单元25初始化包括一组"正规化的内容C'和截止点的出现频率 F"的列表D(步骤S61)。接下来，搜索第一存储单元24中存储的"播 放列表创建单元R、正规化的内容C'以及正规化的播放列表P'"的组， 并且一个一个地获取(步骤S62)。每次获取正规化的播放列表P'时， 计算单元25将播放列表P'中出现截止点的频率递增，并且更新列表 D的内容C'中的相应位置(步骤S63)。重复步骤S63的过程直到确定 获取了第一存储单元24中存储的所有的"播放列表创建单元R、正 规化的内容C'以及正规化的播放列表P'"的组(步骤S62为"否")。 当对所有的"播放列表创建单元R、正规化的内容C'以及正规化的播 放列表P'"的组都进行了该过程(步骤S62为"否")时，输出包括"正 规化的内容C'和截止点的出现频率F"的列表D(步骤S64)。
假定关于内容C1'，获取如图17A所示的播放列表。如图17B所 指示地计算截止点的出现频率F。因为当创建播放列表时，考虑到有 较多的用户使用与内容的节目结构中的主要断点相对应的截止点，而 有较少的用户使用与次要断点相对应的截止点，所以计算每个截止点 的出现频率F。换言之，截止点的出现频率越高就认为在该截止点之 前和之后的场景片断之间的相关性越低。
将计算单元25为每个内容计算了截止点的出现频率的列表D输入到提取单元26。
接下来说明提取单元26所执行的章节分割过程。概括地，提取 单元26根据列表D中截止点的出现频率，计算多级阈值。提取其出 现频率超过相应阈值的截止点，以便提取出多簇场景片断。因此，多 级章节分割得以实现。为了根据截止点的出现频率来计算多级阈值， 可以使用根据内容的长度而事先计算得到的章节分割的数量。或者， 可以使用根据每个截止点的最大频率而计算得到的阈值。下面说明采 用这些技术来计算多级阈值和提取多级章节分割的过程。
首先说明基于事先计算得到的章节分割的数量的技术。图18是 基于根据内容的长度而事先计算得到的章节分割的数量的章节分割 提取过程的流程图。提取单元26初始化包括一组"正规化的内容C' 和章节分割C"的列表D'(步骤S71)。接下来，当从包括多个"正规 化的内容C'和出现频率F"的组的列表D中可得到一组"正规化的内 容C'和截止点的出现频率F"(步骤S72为"是")时，获取了与内容 C'的长度和想要的粗糙度一致的章节分割的数量N1、 N2、 N3….(步 骤S73)。然后，在以出现频率的降序获取N1、 N2或N3...个截止点 并且定义为章节分割c之后(步骤S74)，将(C'， c)添加到列表D'(步骤 S75)。重复这个过程直到确定获取了所有的"正规化的内容C'和截止 点的出现频率F"的组(步骤S72为"否")。当对所有的"正规化的 内容C'和截止点的出现频率F"的组已经进行了该过程(步骤S72为 "否，时，输出所创建的"正规化的内容C'和章节分割c"的列表D'(步 骤S76)。
可以利用适当的系数，通过公式计算出章节分割的数量
其中内容C'的长度是L，章节分割的粗糙度是G(1代表大片断、2代 表中等片断、3代表小片断)。或者，如图19所示，可以通过准备内 容的长度、章节分割的粗糙度以及章节分割的数量的对应表，来执行 该计算。在根据图19的计算中，内容C1'具有如图7和10所示的1 小时30分钟的长度，这意味着如果想要的是大片断就是20到30个分割，如果想要的是中等片断就是30到50个分割，如果想要的是小 片断就是50到80个分割。因而，以出现频率的降序获取了 20到30、 30到50或50到80个内容Cl'的截止点。将所获取的截止点定义为 适合于对应的粗糙度的章节分割。
接下来说明根据每个截止点的最大出现频率来计算阈值的技术。 图20是根据每个截止点的最大出现频率来计算阈值的章节分割过程 的流程图。提取单元26初始化包括多个"正规化的内容C'和章节分 割C"的组的列表D'(步骤S81)。当从输入的包括多个"正规化的内 容C'和截止点的出现频率F"的组的列表D'中可得到一组"正规化的 内容C邻截止点的出现频率F"(步骤S82为"是")时，根据粗糙度 来获取系数(阈值)ocl、 a2或a3(步骤S83)。获取超过相对于截止点的 最大出现频率F的阈值al、 (x2或a3的截止点并且定义为章节分割 c(步骤S84)。然后，将(C'， c)添加到列表D'(步骤S85)。重复上述过 程直到确定获取了所有的"正规化的内容C邻截止点的出现频率F" 的组(步骤S82为"否")。当对所有的"正规化的内容C'和截止点的 出现频率F"的组都已经进行了该过程(步骤S82为"否")时，输出 所创建的"正规化的内容C邻章节分割c"的列表D'(步骤S86)。
可以根据截止点的出现频率F的图的形状，统计地计算出阈值。 或者，为了该计算可以准备章节分割的粗糙度和阈值的系数的对应 表，如图21所示。当使用图21的表时，获取了其出现频率超过最大 出现频率的1/4、 2/4或3/4的内容Cl'的截止点，并且将所获取的截 止点定义为适合于目标粗糙度的章节分割。
在上述的章节分割的提取中，在大片断的章节分割中包含的截止 点总是包含在小片断的章节分割中，如图22B所示。提取单元26， 输出根据不同粗糙度的章节分割而获取的树形结构作为内容cr的最 终章节分割，如图23中所示，并且将所述结构存储在第二存储单元 27中。
最后，说明由章节分割分配单元28所执行的章节分割分配过程。 概括地，当第二存储单元27中存在与网络20上的任何播放列表创建 装置30的内容存储单元31中存储的内容相对应的章节分割时，章节
分割分配单元28经由网络20将章节分割分配到播放列表创建装置 30的内容存储单元31中。
图24是由章节分割分配单元28执行的章节分割分配过程的流程 图。章节分割分配单元28在整个网络20上搜索播放列表创建装置 30，并且一个一个地获取(步骤S91为"是")。在章节分割分配单元 28的监视下，放置所获取的播放列表创建装置30，并且每次内容控 制时都经由网络20获取目标内容C(步骤S92为"是")。将该内容C 输入到内容正规化单元22，并在此执行正规化该内容的过程(步骤 S93)。当第二存储单元27中存在与正规化的内容C'相对应的章节分 割c(步骤S94为"是")时，章节分割分配单元28经由网络20将这 些章节分割分配到播放列表创建装置30中(步骤S95)。这个过程使得. 根据节目的结构来定位和搜索目标场景的操作更加容易。
根据该实施例，通过收集从诸如定义了时间序列的TV节目和 DVD之类的视频内容中创建的播放列表，以及根据场景片断的相关 性级别提取作为一簇场景片断的章节分割，从内容中提取了构造成树 形的章节分割。通过将元数据添加到章节分割，能够根据内容的结构， 高精度很容易地定位或搜索目标场景。考虑到当创建播放列表时，较 多的用户使用的是与内容的节目结构中的主要断点相对应的截止点， 而较少的用户使用与次要断点相对应的截止点。结果是，树形结构的 章节分割反映了节目的结构。
根据该实施例，将数字内容节目构造装置1的播放列表收集单元 21描述为，从网络20上所找到的播放列表创建装置30中直接收集 播放列表。然而，本发明并不局限于此。例如，如图25中所示，数 字内容节目构造装置1可以包括共享的播放列表存储单元50，使用 其能够将由用户在播放列表创建装置30的播放列表创建单元32上创 建的播放列表公开放置并且可以利用网络20进行注册。然后，可以 从共享的播放列表存储单元50中间接地收集播放列表。可以将共享 的播放列表存储单元50布置在数字内容节目构造装置1的系统结构 内部，如图25中所示，或者可以放置在网络20上。当将共享的播放 列表存储单元50放置在网络20上时，可以有一个以上的共享的播放
列表存储单元50。对于本领域的技术人员来说额外的优点和修改是显而易见的。因 此，本发明在其更宽的方面并不局限于在此描述和显示的具体细节和 典型实施例。因此，在不脱离由所附权利要求及其等价物所定义的总 的发明构思的精神或范围的情况下，可以进行各种修改。
权利要求
1、一种节目构造装置，包括播放列表收集单元，用于为定义了时间序列的内容收集播放列表；第一存储单元，用于与所述播放列表中出现的每个截止点的出现频率相对应地存储所述截止点，并且所述截止点是所述内容的节目结构的断点；计算单元，用于根据每个所述截止点的出现频率，计算由所述截止点定义的场景片断之间的相关性级别；提取单元，用于基于所述相关性级别，提取多级章节分割；以及第二存储单元，用于存储所述提取出的构造为树形的多级章节分割。
2、 根据权利要求l所述的装置，其中所述计算单元根据所述内容的长度计算所述多级章节分割的数 量，并且所述提取单元通过按照所述截止点的出现频率的降序选择章节 分割直到章节分割的数量达到所计算的章节分割的数量，来提取所述 多级章节分割。
3、 根据权利要求1所述的装置，其中所述计算单元根据所述截止点的最大出现频率计算多个多级阈 值，并且所述提取单元通过选择出现频率超过所述阈值的截止点，来提取 所述多级章节分割。
4、 根据权利要求1所述的装置，进一步包括内容正规化单元， 用于从创建了播放列表的所有内容中，查找即使物理上不同但被认为 彼此逻辑上匹配的内容，并且向所述查找到的内容添加新的相同的内 容标识符。
5、 根据权利要求4所述的装置，其中，当参考广播电台和广播 区域的对应表以及广播节目和广播电台的播出时间的对应表，确定所 述内容彼此匹配时，即使所述内容物理上不同，所述内容正规化单元 也向所述内容添加所述相同的内容标识符。
6、 根据权利要求4所述的装置，其中，当参考响应于每个内容 的特征量随时间的变化进行的询问而接收到的所述特征量随时间的 变化，确定所述内容彼此匹配时，即使所述内容物理上不同，所述内 容正规化单元也向所述内容添加所述相同的内容标识符。
7、 根据权利要求1所述的装置，进一步包括截止点正规化单元， 用于根据所述节目构造装置的时钟和创建所述播放列表的播放列表 创建装置的时钟之间的差异，执行正规化过程，以对所述播放列表中 出现的所述截止点的时间进行校正。
8、 根据权利要求7所述的装置，其中，所述截止点正规化单元 基于一个时间来检测所述节目构造装置的时钟和所述播放列表创建 装置的时钟之间的所述差异，其中所述时间是响应于对创建所述播放 列表的播放列表创建装置所进行的关于当前时间的询问而接收到的。
9、 根据权利要求7所述的装置，其中，所述截止点正规化单元 基于所述内容的特征量随时间的变化来检测所述节目构造装置的时 钟和所述播放列表创建装置的时钟之间的所述差异，其中所述变化是 响应于对创建所述播放列表的播放列表创建装置所进行的关于所述 特征量随时间的变化的询问而接收到的。
10、 根据权利要求1所述的装置，进一步包括章节分割分配单元， 用于监视网络上的内容存储装置，并且与所述内容存储装置所执行的内容操作相对应地存在与所述内容相对应的章节分割时，向所述内容 存储装置分配所述章节分割。
11、 一种节目构造方法，包括根据为定义了时间序列的内容创建的播放列表中出现的截止点， 从所述内容中提取场景片断，所述截止点是所述内容的节目结构的断 点；基于每个所述截止点的出现频率，确定所述场景片断之间的相关 性级别；提取多级章节分割作为一簇具有高相关性级别的场景片断；以及 将提取出的多级章节分割构造成树形。
全文摘要
一种节目构造装置，包括播放列表收集单元，用于为定义了时间序列的内容收集播放列表；第一存储单元，用于与所述播放列表中出现的每个截止点的出现频率相对应地存储所述截止点，并且所述截止点是所述内容的节目结构的断点；计算单元，用于根据每个所述截止点的出现频率，计算由所述截止点定义的场景片断之间的相关性级别；提取单元，用于基于所述相关性级别，提取多级章节分割；以及第二存储单元，用于存储所述提取出的构造为树形的多级章节分割。
文档编号H04N5/76GK101155280SQ20071016188
公开日2008年4月2日 申请日期2007年9月27日 优先权日2006年9月27日
发明者山崎智弘, 浦田耕二, 筒井秀树 申请人:株式会社东芝