专利名称：用于识别视频内容和记录视频的装置、方法和计算机产品的制作方法
技术领域：
本发明涉及识别视频内容的技术以及记录视频的技术。
背景技术：
编程记录设备在预定时间记录节目的视频图像。该编程记录设备对根据视频图像的各种特征而记录的视频内容进行识别，并根据这些特征来识别所记录的节目是否延时。如果延时，则改变记录的起始和结束。
典型的传统编程记录设备包括视频内容识别单元；节目信息设定单元，其设定与要记录的节目相关的信息；以及记录时间控制单元，其将由视频内容识别单元识别的内容与由节目信息设定单元设定的信息进行比较，并对记录的起始和结束进行控制。视频内容识别单元包括特征检测单元，其检测图像信号的特征；知识库单元，其包含与图像内容的特征相关的知识库；以及特征验证单元，其将检测到的特征与知识库进行比较。
例如，在日本特开公报No.H6-309733中公开了这种传统技术。
然而，在该传统的编程记录设备中，必须预先准备包含与视频图像内容的特征相关的知识库的知识库单元。结果，难以提供与新节目相关的视频图像内容的特征数据。因此，根据视频图像内容来进行特征检测的准确度变低，导致无法记录新节目。
例如，假设对于棒球比赛的转播设置了编程记录。当知识库单元接收到新的视频图像信号时，例如，当从不同的体育场转播棒球比赛、棒球队的制服发生变化、或者转播该比赛的电视台的画面编排发生变化等时，这些信号不会被识别为预定要进行记录的棒球转播的视频图像内容。结果，没有进行记录。
提高准确度的一种方法是更新知识库单元的内容。但是，随着当前多频道广播的趋势，所涉及的数据量和数据更新的频度将变得非常大，知识库单元的参数数据量也将增加。参数数据的增加导致更高的错误检测的概率，这降低了检测的准确度。
发明内容
本发明的目的是解决传统技术中的至少这些问题。
根据本发明一个方面的用于识别视频内容的一种装置包括分割单元，其根据多个剪辑点(cut point)将多个图像帧分割成多个视频镜头(shot)集合，每一个剪辑点都表示画面的改变；相似视频镜头提取单元，其从这些视频镜头集合中提取与各个视频镜头相似的相似视频镜头；最大计数视频镜头提取单元，其对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将最大计数视频镜头作为表示视频内容的代表性视频镜头。
根据本发明另一方面的一种记录装置包括视频内容识别装置，用于识别由多个图像帧构成的视频的内容；记录信息输入单元，其接收记录信息的输入，该记录信息包括想要记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，用于记录节目的视频；以及记录控制单元，其对记录单元进行控制，并对在由记录信息输入单元输入的记录信息中设定的节目的视频进行记录。该视频内容识别装置包括分割单元，其根据多个剪辑点将多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从这些视频镜头集合中提取与各个视频镜头相似的相似视频镜头；最大计数视频镜头提取单元，其对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将最大计数视频镜头作为代表视频内容的代表性视频镜头。该视频内容识别装置根据描绘节目内容的图像帧序列，来确定代表在记录信息中设定的节目的视频内容的代表性视频镜头。记录控制单元根据由视频内容识别装置进行的代表性视频镜头确定的结果，终止在记录信息中设定的记录。
根据本发明另一方面的一种记录装置包括视频内容识别装置，用于识别由多个图像帧构成的视频的内容；记录信息输入单元，其接收记录信息的输入，该记录信息包括想要记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，其记录节目的视频；以及记录控制单元，其对记录单元进行控制，并对在由记录信息输入单元输入的记录信息中设定的节目的视频进行记录。该视频内容识别装置包括分割单元，其根据多个剪辑点将多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从这些视频镜头中提取与各个视频镜头相似的相似视频镜头；最大计数视频镜头提取单元，其对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；代表性视频镜头确定单元，其将最大计数视频镜头作为代表视频内容的代表性视频镜头；以及视频内容识别单元，其识别第二图像帧序列的视频内容是否与代表性视频镜头的视频内容相似。该分割单元将第二图像帧序列分割成包括由多个剪辑点限定的多个图像帧在内的第二视频镜头集合，每一个剪辑点都表示画面的变化。该视频内容识别单元根据该代表性视频镜头的视频镜头和该第二视频镜头集合，来识别第二图像帧序列的视频内容是否与代表性视频镜头的视频内容相似。该视频内容识别装置根据描绘节目内容的第一图像帧序列确定在记录信息中设定的代表节目的视频内容的代表性视频镜头。如果视频内容识别装置能够确定代表在记录信息中设定的节目的代表性视频镜头，则该记录控制单元对在经过在记录信息中设定的节目的播放持续时间之后的预定时间段内输入的第二图像帧序列进行记录。
根据本发明另一方面的一种记录装置包括视频内容识别装置，用于识别由多个图像帧构成的视频的内容；记录信息输入单元，其接收记录信息的输入，该记录信息包括想要记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，其记录节目的视频；以及记录控制单元，其对记录单元进行控制，并对在由记录信息输入单元输入的记录信息中设定的节目的视频进行记录。该视频内容识别装置包括分割单元，其根据多个剪辑点将多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的改变；相似视频镜头提取单元，其从这些视频镜头中提取与各个视频镜头相似的相似视频镜头；最大计数视频镜头提取单元，其对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将最大计数视频镜头作为代表视频内容的代表性视频镜头。此外，该记录信息输入单元还接收与想要记录的节目之前的节目相关的节目信息的输入。该视频内容识别装置根据描绘先前节目内容的图像帧序列，确定代表在记录信息中设定的节目的视频内容的代表性视频镜头。该记录控制单元根据由该视频内容识别装置进行的代表性视频镜头确定的结果，来终止在记录信息中设定的记录。
根据本发明另一方面的一种识别视频内容的方法包括根据多个剪辑点将多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从这些视频镜头集合中提取与各个视频镜头相似的相似视频镜头；对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及将该最大计数视频镜头作为代表该视频内容的代表性视频镜头。
根据本发明另一方面的一种记录视频的方法包括输入记录信息，该记录信息包括想要记录的节目的播放日期、播放起始时间和播放持续时间；开始记录该节目的视频；根据多个剪辑点将该视频的多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从这些视频镜头集合中提取与各个视频镜头相似的相似视频镜头；对各个视频镜头的相似视频镜头的数量进行计数，并提取相似视频镜头数量最大的最大计数视频镜头；将最大计数视频镜头作为代表性视频镜头；以及根据该代表性视频镜头终止该记录。
根据本发明另一方面的一种计算机可读记录介质存储一计算机程序，该计算机程序使计算机执行根据本发明的识别视频内容的上述方法。
根据本发明另一方面的一种计算机可读记录介质存储一计算机程序，该计算机程序使计算机执行根据本发明的记录视频的上述方法。
将具体提出本发明的其它目的、特征和优点，或者本发明的其它目的、特征和优点将通过结合附图阅读本发明的以下详细说明而变得明了。
图1是根据本发明一实施例的视频内容识别装置和记录装置的硬件结构；图2是输入到视频内容识别装置和记录装置中的图像帧序列；图3是视频内容识别装置和记录装置的功能结构框图；图4是用于说明图3所示的特征信息数据库的内容的示意图；图5是由图3所示的相似视频镜头提取单元进行的提取操作的示例；图6是由图3所示的图表创建单元创建的图表的示例；图7是由图3所示的图表创建单元创建的图表的另一示例；图8是根据第一操作示例的代表性视频镜头评估处理的流程图；图9是根据第二操作示例的代表性视频镜头评估处理的流程图；图10是根据第三操作示例的记录处理的流程图；图11是图10所示的视频内容识别处理的详细流程图；图12表示在根据第三操作示例的记录处理过程中的视频镜头的分布；图13是根据第四操作示例的记录处理的流程图；以及图14是根据第五操作示例的记录处理的流程图。
具体实施例方式
下面参照
用于识别视频内容的装置、方法和计算机程序的示例性实施例，以及用于记录视频的装置、方法和计算机产品。
接下来说明根据本发明一实施例的视频内容识别装置和记录装置的硬件结构。图1是根据本发明一实施例的视频内容识别装置和记录装置的硬件结构。
该视频内容识别装置和记录装置包括中央处理单元(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、硬盘驱动器(HDD)104、硬盘(HD)105、播放器/记录器106、可拆卸记录介质107、图像/声音输入接口108、接收天线109、图像/声音输出接口110、显示器111、扬声器(或耳机)112、数据输入接口113、遥控114、键盘/鼠标115、通信接口116、以及连接所有上述部分的总线100。
CPU101控制整个视频内容识别装置和记录装置。ROM102存储程序，例如启动程序。CPU101使用RAM103作为工作区。HDD104在CPU101的控制下从HD105读取数据以及将数据写入HD105。HD105在HDD104的控制下存储写入其中的数据。
播放器/记录器106在CPU101的控制下从记录介质107播放数据，或者将数据记录在记录介质107上。记录介质107可以从播放器/记录器106拆除。在播放器/记录器106的控制下，可以从记录介质107读取数据或者将数据写入记录介质107。记录介质的示例包括光盘(CD)、可刻录光盘(CD-R)、只读光盘(CD-ROM)、数字多功能光盘(DVD)、数字多功能可刻录光盘(DVD-R)、DVD+R、可重写DVD(DVD-RW)、DVD+RW、磁光盘(MO)、闪存卡、录像带、HD105等。
图像/声音输入I/F108输入由接收天线109接收的图像和声音。图像/声音输出I/F110连接到显示图像的显示器111和输出声音的扬声器(或耳机)112。显示器111显示各种类型的数据，例如图标、光标、菜单、窗口、文本、图像等。显示器111例如可以是阴极射线管(CRT)、薄膜晶体管(TFT)液晶显示器、等离子体显示器等。
数据输入I/F113输入通过远程控制114和键盘/鼠标115输入的数据，该遥控114配备有用于输入文本、数字和指令等的多个键。可以输入的数据例如为电源开/关、频道设定、与编程记录相关的信息等。通信I/F116输入来自网络117的各种数据，例如图像数据、声音数据、电子节目指南数据等。网络117的示例包括局域网(LAN)、广域网(WAN)、因特网等。
接下来说明输入到视频内容识别装置和记录装置中的图像帧序列。图2是输入到视频内容识别装置和记录装置中的视频帧序列。
从图1所示的图像/声音输入I/F108或通信I/F依次输入描绘特定视频内容的图像帧序列200。图像帧序列200的视频内容描绘了棒球转播。该图像帧序列200由多个视频镜头Si(i＝1到n)构成。视频镜头Si由两个剪辑点Ci(i＝1到n+1)之间的一组连续图像帧构成，其中剪辑点Ci代表画面的显著变化。
例如，由连续图像帧序列f1到fj构成的视频镜头Si是由位于中间的摄像机拍摄的。由图像帧序列fj+1到fk构成的后续视频镜头Si+1是由位于其它地方的摄像机拍摄的。下一个视频镜头Si+2表示商业节目。
接下来说明根据本发明的视频内容识别装置和记录装置的功能性结构。图3是视频内容识别装置和记录装置的功能结构框图。
记录装置300包括图像帧输入单元301、视频内容识别装置302、记录信息输入单元303、记录单元304和记录控制单元305。图像帧输入单元301接收例如连续图像帧序列200的输入。可以通过图1所示的图像/声音输入I/F108或通信I/F116来实现图像帧输入单元301的功能。
接下来说明视频内容识别装置302的功能性结构。视频内容识别装置302包括分割单元320、特征信息创建单元321、特征信息数据库322、过滤单元323、相似视频镜头提取单元324、最大计数视频镜头提取单元325、代表性视频镜头确定单元326、评估单元327和视频内容识别单元328。
分割单元320将从图像帧输入单元301输入的图像帧序列分割成由多个剪辑点(在该剪辑点处，视频内容发生变化)限定的多个图像帧构成的多个视频镜头。具体地，分割单元320将图2所示的图像帧序列200分割成多个视频镜头Si。
分割单元320包括边缘检测单元331、行为分析单元332、色彩分析单元333和剪辑点查找单元334。边缘检测单元331检测从图像帧输入单元301输入的一系列图像帧中的每一个图像帧中的对象的边缘。该对象的示例包括图2中的图像帧f1中的球员、裁判、球场、挡球网等。
行为分析单元332通过将由边缘检测单元331检测到的图像帧的边缘与另一图像帧的边缘进行比较来分析对象的行为。例如，在图2的视频镜头Si中，诸如球员和裁判的动态对象的边缘部分或全部移动。另一方面，诸如球场或挡球网的静态对象不会移动。
当超过剪辑点Ci+1时，当这些对象(其边缘被边缘检测单元331检测到)明显变化为下一视频镜头Si+1中的对象时，行为信息会发生显著变化。当利用运动图像专家组(MPEG)压缩格式来压缩影片时，行为分析单元332通过图像帧和运动矢量对视频镜头S的行为进行分析。
色彩分析单元333对各个图像帧中的色彩进行分析。具体地，色彩分析单元333计算采用YUV格式的各个图像帧的色彩信息，Y表示亮度信号，U表示亮度信号和红色分量之间的差异，V表示亮度信号和蓝色分量之间的差异。在视频镜头Si中，因为在各个图像帧中显示了相同的对象，所以色彩信息变化不大。但是，对于下一视频镜头Si+1，色彩信息变化明显。
剪辑点查找单元334将两个连续的图像帧进行比较，并识别剪辑点C，该剪辑点C表示视频内容发生变化的点。具体地，当两个连续的图像帧在色彩信息或行为信息方面的差异超过了预定阈值时，剪辑点查找单元334识别这两个帧之间的剪辑点C。
例如，剪辑点查找单元334比较连续图像帧fj与fj+1的色彩信息和行为信息，如果该差异超过了预设阈值，则确定视频镜头S从视频镜头Si改变到视频镜头Si+1。剪辑点查找单元334识别剪辑点Ci+1之前的图像帧fj，作为视频镜头Si的最后一帧，并将剪辑点Ci+1之后的图像帧fj+1作为视频镜头Si+1的第一帧。
由此，通过识别剪辑点C，将从图像帧输入单元301输入的图像帧序列200分割成多个视频镜头S，该多个视频镜头S由通过多个剪辑点C(表示画面发生变化的点)限定的图像帧序列构成。CPU101通过执行存储在诸如图1所示的ROM102、RAM103、HD105等的记录介质中的程序来实现分割单元320的功能。
特征信息创建单元321创建表示由分割单元320分割的各个视频镜头S的特征的特征信息。特征信息数据库322存储由特征信息创建单元321创建的特征信息。图4是特征信息数据库322的内容表。
具体地，该特征信息包括块信息，其包括各个视频镜头S的第一帧和最后一帧；各个视频镜头的色彩信息，其通过对视频镜头中的所有图像帧的色彩信息进平均而获得；以及各个视频镜头的行为信息，其通过对视频镜头中的所有图像帧的行为信息进行平均而获得。CPU101通过执行存储在诸如图1所示的ROM102、RAM103、HD105等的记录介质中的程序来实现特征信息创建单元321的功能。可以通过如图1所示的ROM102、RAM103、HD105等来实现特征信息数据库322的功能。
返回到图3，过滤单元323从存储在特征信息数据库322中的特征信息中过滤出与商业节目相对应的视频镜头Si+2的特征信息。具体地，由于来自转播摄像机的视频镜头S的图像帧的数量可能远远大于任何其它节目或商业节目，所以过滤单元323对图像帧的数量设置一预定阈值，如果视频镜头S中的图像帧的数量少于该预设阈值，则过滤掉与该视频镜头S相关的特征信息。将该视频镜头S计算为最后帧号与第一帧号之间的差值。CPU101通过执行存储在诸如图1所示的ROM102、RAM103、HD105等的记录介质中的程序来实现过滤单元323的功能。
相似视频镜头提取单元324提取与由分割单元320分割的各个视频镜头相似的视频镜头S。具体地，相似视频镜头提取单元324通过存储在特征信息数据库322中的各个视频镜头S的特征信息来计算一个视频镜头S与其余视频镜头S之间的相似度。该相似度例如可以为包含在进行比较的两个视频镜头的特征信息中的色彩信息的差异。
该相似度还可以为包含在进行比较的两个视频镜头的特征信息中的行为信息的差异。另选地，该相似度可以为进行比较的视频镜头的色彩信息和行为信息的差异的总和。相似视频镜头提取单元324提取处于预定相似度之内的视频镜头S，作为相似视频镜头Sr。CPU101通过执行存储在诸如图1所示的ROM102、RAM103、HD105等的记录介质中的程序来实现相似视频镜头提取单元324的功能。
接下来说明由相似视频镜头提取单元324进行的提取操作的更具体的示例。图5是由相似视频镜头提取单元324进行的提取操作的更具体的示例。相似视频镜头提取单元324将连续的视频镜头序列S分割成多个块E。接下来，相似视频镜头提取单元324从各个块E中的视频镜头S中提取相互相似的视频镜头S。例如，相似视频镜头提取单元324从块E1中的视频镜头Sa到Se中提取相互相似的视频镜头Sb和Sd。
相似视频镜头提取单元324计算从任何给定块E(例如块E1)中提取的视频镜头(例如Sb和Sd)与从其余块E中提取的视频镜头S之间的相似度。相似视频镜头提取单元324对从各块E中提取的各个视频镜头S，提取相似视频镜头Sr。
然后，当提取相似视频镜头Sr时，可以通过将视频镜头S的连续序列分割成多个块E来过滤掉不与任何其它视频镜头S相似的视频镜头S。因此，对于具有大量视频镜头S的节目(例如超过一个小时的节目)，可以提高提取相似视频镜头Sr的速度。
最大计数视频镜头提取单元325提取最大计数视频镜头Srm，其具有由相似视频镜头提取单元324提取的相似视频镜头Sr的最大数量。如果存在多个所提取的最大计数视频镜头Srm，则可以提取这些最大视频镜头Srm中的任何一个。CPU101可以通过执行存储在图1所示的ROM102、RAM103、HD105等中的程序来实现最大计数视频提取单元325的功能。
代表性视频镜头确定单元326包括第一代表性视频镜头确定单元341和第二代表性视频镜头确定单元342。第一代表性视频镜头确定单元341将表示视频内容的代表性视频镜头SD作为由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm。
基于评估单元327的评估结果，第二代表性视频镜头确定单元342将表示视频的视频内容的代表性视频镜头SD作为最大计数视频镜头提取单元325提取的最大计数视频镜头Srm。CPU101可以通过执行存储在图1所示的ROM102、RAM103、HD105等中的程序，来实现代表性视频镜头确定单元326的功能。
评估单元327根据与由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm相似的视频镜头S的数量以及由分割单元320分割的视频镜头S的数量，来评估由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm是否与第一代表性视频镜头单元341确定的代表性视频镜头SD相对应。具体地，评估单元327包括出现比率计算单元343、比率比较单元344、和比较结果评估单元345。
出现比率计算单元343利用由分割单元320分割的视频镜头S的数量以及与由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm相似的视频镜头S的数量，来计算出现比率。例如，如果由分割单元320分割的视频镜头S的数量为N，而与由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm相似的视频镜头S的数量为M，则出现比率为P＝M/N。
比率比较单元344将由出现比率计算单元343计算的出现比率P与预定的出现比率Q进行比较。比较结果评估单元345根据比率比较单元344的比较结果，评估由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm是否与由第一代表性视频镜头确定单元341确定的代表性视频镜头SD相对应。
具体地，如果出现比率P大于预定出现比率Q，则比较结果评估单元345确定由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm与由第一代表性视频镜头确定单元341确定的代表性视频镜头SD相对应。否则，比较结果评估单元345确定由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm不与由第一代表性视频镜头确定单元341确定的代表性视频镜头SD相对应。
将该评估结果输出到第二代表性视频镜头确定单元342。如果由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm与由第一代表性视频镜头确定单元341确定的代表视频镜头SD相对应，则第二代表性视频镜头确定单元342将由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm作为代表性视频镜头SD。
换言之，第二代表性视频镜头确定单元342支持(uphold)第一代表性视频镜头确定单元341的判定。如果由最大计数视频镜头提取单元325提取的最大计数视频镜头Srm不与由第一代表性视频镜头确定单元341确定的代表性视频镜头SD相对应，则第二代表性视频镜头确定单元342不将最大计数视频镜头Srm作为代表性视频镜头SD。CPU101可以通过执行存储在图1所示的ROM102、RAM103、HD105等中的程序来实现评估单元327的功能。
因此，如果代表性视频镜头确定单元326可以从连续的视频镜头S序列中确定代表性视频镜头SD，则将该视频内容作为代表性视频镜头SD的重复描述的视频镜头或者与该代表性视频镜头SD相似的视频镜头。这种类型的视频内容的一些示例例如包括棒球、网球、排球、相扑、职业摔跤、马拉松、马拉松接力赛等。
另一方面，如果代表性视频镜头确定单元326不能从连续的视频镜头S序列中确定代表性视频镜头SD，则将该视频内容作为与代表性视频镜头SD中的视频镜头不相似的描绘视频镜头。这种视频内容一些示例为电视剧、新闻、各种节目、动画等，其中的屏幕变化远比体育赛事的转播频繁。因此，可以根据是否能够确定代表性视频镜头SD来确定当前是否正在播放体育赛事。
视频内容识别单元328在确定代表视频镜头SD之后，根据代表性视频镜头SD的视频镜头S以及由分割单元320分割的新视频镜头S来识别视频内容。具体地，视频内容识别单元328识别在确定代表性视频镜头SD之后输入的新图像帧序列是否具有与代表性视频镜头SD的视频内容相似的视频内容。视频内容识别单元328包括相似度计算单元351、镜头计数查找单元352、图表创建单元353、镜头计数比较单元354和评估结果输出单元355。
相似度计算单元351计算代表性视频镜头SD的视频镜头与由分割单元320分割的新视频镜头S之间的相似度。具体地，当在确定代表性视频镜头SD之后输入了新图像帧序列200时，分割单元320将图像帧序列200分割成多个新的视频镜头S。特征信息创建单元321为这些新视频镜头S创建特征信息，并将特征信息存储在特征信息数据库322中。
相似度计算单元351通过存储在特征信息数据库322中的特征信息，来计算代表性视频镜头SD的视频镜头与新视频镜头S之间的相似度。该相似度例如可以为包含在进行比较的两个视频镜头的特征信息中的色彩信息的差异。该相似度还可以为包含在进行比较的两个视频镜头的特征信息中的行为信息的差异。另选地，该相似度可以为进行比较的两个视频镜头的色彩信息和行为信息两者的差异的总和。相似视频镜头提取单元324提取处于预定相似度之内的视频镜头S，作为相似视频镜头Sr。
镜头计数查找单元352对于由相似度计算单元351计算的各个相似度，查找新视频镜头S的镜头计数值。图表创建单元353创建表示镜头计数查找单元352的检测结果的图表。接下来说明由图表创建单元353创建的图表。图6和图7是由图表创建单元353创建的图表的示例。
在图6和图7中，以直方图和相关函数的形式表示与代表性视频镜头SD相比较的多个视频镜头S的相似度以及各个相似度的镜头计数。图6的曲线图表示棒球转播的视频内容。图7的曲线图表示电视剧的视频内容。X轴表示新视频镜头S的相似度，Y轴表示各个相似度的新视频镜头的镜头计数。代表性视频镜头SD的视频计数和相似度被设置为‘0’。
在图6所示的曲线图中，对于相似度‘6000’可以看到峰值(镜头计数‘44’)。与该峰值相对应的相似度为相关函数的最大值。从该峰值开始，随着相似度的增加，镜头计数开始下降，并在相似度‘15000’处到达最小值。从相似度‘15000’开始，镜头计数又开始增加。另一方面，在图7所示的曲线图中，镜头计数随着相似度的增加而增加。换言之，相关函数稳定地增加。
图3所示的镜头计数比较单元354根据由图表创建单元353创建的曲线图形状，将预定镜头计数和与低于预定相似度的任何随机相似度相对应的镜头计数进行比较。根据比较结果，镜头计数比较单元354确定在确定代表性视频镜头之后输入的新图像帧序列的视频内容是否与代表性视频镜头SD的视频内容相似。
为了使用图6所示的曲线图进行更具体的说明，假设预定相似度为‘15000’，即，如果相似度为‘15000’或更小，则新图像帧序列的视频内容与代表性视频镜头SD相似，而如果相似度为‘16000’或更大，则不相似。并且，假设预定镜头计数为‘20’，则在小于‘15000’的相似度中，与‘20’或更大的镜头计数相对应的相似度为‘6000’、‘7000’和‘8000’。
可以根据是否存在与低于预定镜头计数或相似度的镜头计数相对应的相似度来判断新图像帧序列的视频内容是否与代表性视频镜头SD的视频内容相似。另选地，可以计算与大于预定镜头计数的镜头计数相对应的相似度的总和，或者这些镜头计数本身的总和，并将各个总和与预设阈值进行比较，以确定新图像帧序列的视频内容是否与代表性视频镜头SD的视频内容相似。
假设在上面给出的示例中，假定该确定基于是否存在与预定镜头计数‘20’相对应的相似度，则由于找到了三个相似度，即‘6000’、‘7000’和‘8000’，所以镜头计数比较单元354将该新图像帧序列的视频内容识别为与代表性视频镜头SD的视频内容相似。
评估结果输出单元355创建与镜头计数比较单元354的评估结果相关的信息(下文中称为“评估结果信息”)，并将该评估结果信息输出到记录控制单元305。CPU101可以通过执行存储在图1所示的ROM102、RAM103、HD105等中的程序来实现视频内容识别单元328的功能。
返回到图3，记录信息输入单元303接收与任何给定节目相关的记录信息，例如包括播放日期、播放起始时间、播放频道和播放持续时间。G-code(注册商标)和电子节目指南为记录信息的示例。电子节目指南可以包括节目列表以及与这些节目相关的信息，例如它们的播放日期、播放起始时间、播放频道和播放持续时间、播放是否可能延长、如果可能延长则延长的持续时间等。
除了G-code(注册商标)和电子节目指南之外，用户还可以直接利用操作键或数值键直接输入任意节目的记录信息。可以通过数据输入I/F113或通信I/F116，由图1所示的遥控114、键盘/鼠标115(还有未示出的输入键)来实现记录信息输入单元303的功能。
记录单元304在预定记录介质上记录节目。记录单元304还重放记录在记录介质上的视频。可以通过图1所示的播放器/记录器106来实现记录单元304的功能。可以通过图1所示的记录介质107或HD105来实现记录介质的功能。
记录控制单元305控制记录单元304，并记录与由记录信息输入单元303输入的记录信息相对应的节目。具体地，记录控制单元305以在记录信息中规定的播放日期的播放起始时间启动记录单元304，并且在整个播放持续时间内，对记录信息中规定的播放频道的视频(或者更为具体地为图像帧序列200)进行记录。
记录控制单元305控制记录单元304，并根据代表性视频镜头确定单元326的确定结果以及视频内容识别单元的识别结果继续记录、暂停记录、或者擦除记录在记录介质上的视频数据。在诸如下雨的坏天气使棒球比赛中断的情况下，播放频道切换到其它节目，直到比赛继续进行。由此，在棒球转播的记录过程中，如果代表性视频镜头确定单元326可以确定代表性视频镜头SD，则记录控制单元305根据代表性视频镜头确定单元326的确定结果，确定继续进行转播，并由此控制记录单元304继续进行记录。
另一方面，如果代表性视频镜头确定单元326不能确定代表性视频镜头SD，则记录控制单元305确定转播暂停，并由此控制记录单元304暂停记录操作。记录控制单元305还可以控制记录单元304擦除所记录的视频。CPU101可以通过执行存储在图1所示的ROM102、RAM103、HD105等中的程序来实现记录控制单元305的功能。
接下来说明该实施例的第一操作示例。现将说明根据第一操作示例的涉及由视频内容识别装置302进行的代性表视频镜头评估处理的步骤。图8是根据第一操作示例的代表性视频镜头评估处理的流程图。
当输入了预定时间段的连续图像帧序列200(步骤S801的‘是’)时，在图像帧200中识别出将图像帧200分割成多个视频镜头S的多个剪辑点C(步骤S802)。创建表示各个视频镜头S的特征的特征信息(步骤S803)。对各个视频镜头S的特征信息进行过滤处理(步骤S804)。
从各个视频镜头S的特征信息中提取与各个视频镜头S相似的视频镜头(相似视频镜头Sr)(步骤S805)。找到相似视频镜头Sr的镜头计数，并提取具有最大相似视频镜头Sr的计数值的视频镜头(最大计数视频镜头Srm)(步骤S806)。将最大计数视频镜头Srm作为描绘预定时间段的连续图像帧序列200的视频内容的代表性视频镜头SD(步骤S807)。
根据第一操作示例，可以根据具有实际播放的视频内容的图像帧序列200来确定代表性视频镜头SD。即使没有预先提供要进行识别的节目的视频，该记录装置也可以识别从差不多没有变化的摄像角度播放的节目的视频。
接下来说明本实施例的第二操作示例。该第二操作示例与根据第一操作示例的代表性视频镜头SD的提高评估准确度的处理相关。图9是根据第二操作示例，由视频内容识别装置302进行的代表性视频镜头确定处理的流程图。步骤S801到S807与图8的相同，因此不再赘述。
一旦在步骤S807将最大计数视频镜头Srm(暂时)确定为代表性视频镜头SD，则对表示作为相似最大计数视频镜头Srm的视频镜头S的镜头计数的出现比率P(步骤S901)进行计算。将所计算的出现比率P与预设的预定出现比率Q进行比较(步骤S902)。
如果P大于或等于Q(步骤S903的‘是’)，则认为最大计数视频镜头Srm与代表性视频镜头SD相对应，并且将代表性视频镜头SD确定(实际确定)为最大计数视频镜头Srm(步骤S904)。但是，如果P小于Q(步骤S903的‘否’)，则认为最大计数视频镜头Srm不与代表性视频镜头SD相对应，并且不将最大计数视频镜头Srm确定为代表性视频镜头SD(步骤S905)，由此，使步骤S807中进行的确定(暂时确定)无效。
根据第二操作示例，仅当与最大计数视频镜头Srm相似的多个视频镜头的镜头计数的出现比率P大于预定值时才认为最大计数视频镜头Srm与代表性视频镜头SD相对应。由此，记录装置高准确度地将正在播放的视频识别为从差不多没有变化的摄像角度拍摄的视频。
接下来说明本实施例的第三操作示例。现将说明根据第三操作示例的记录装置300的记录处理。图10是根据第三操作示例的记录装置300的记录处理的流程图。要进行记录的节目为棒球转播，其播放可能超过预定的播放结束时间。
输入与棒球转播相关的记录信息(步骤S1001的‘是’)。当到了记录起始时间时(步骤S1002的‘是’)，开始棒球转播的记录(步骤S1003)。接下来，进行代表性视频镜头SD的确定处理(步骤S1004)。在图8和图9所示的流程图中说明了代表性视频镜头确定处理，因此不再赘述。
如果在步骤S1004之后，确定了代表性视频镜头(步骤S1005的‘是’)，则根据记录起始时间和播放持续时间计算的规定记录结束时间延长预定时间段T(例如5分钟)的两倍，即，将记录结束时间延长2T(步骤S1006)。当在预定播放结束时间之后经过预定时间段T(步骤S1007的‘是’)时，则执行视频内容识别处理(步骤S1008)。稍后说明视频内容识别处理。
如果在经延长的时间段(即，预定时间段T)内输入的连续图像帧序列的视频内容与代表性视频镜头SD的视频内容相同(步骤S1009的‘是’)，则将已延长了一次的记录结束时间进一步延长预定时间段T(步骤S1010)。然后处理返回到步骤S1007。
如果在步骤S1009，没有将连续图像帧序列的视频内容识别为与代表性视频镜头SD的视频内容相似(步骤S1009的‘否’)，则当在规定记录结束时间之后经过了预定时间段T(步骤S1011的‘是’)时，结束棒球转播的记录(步骤S1012)。由此，即使延长了棒球转播的播放，也可以将该节目记录到结束。
如果在步骤S1005中，不能确定代表性视频镜头SD(步骤S1005的‘否’)，则表示例如由于下雨等原因而使棒球转播发生了中断，并代替该转播而播放另一节目。因此，结束记录(步骤S1012)。该记录的结束可以仅仅是停止记录。如果记录介质为录像带，则可以在记录结束后将该录像带倒带到开始记录的位置。如果该记录介质是可重写的，例如DVD+RW或DVD-RW，则可以擦除所记录的视频。由此，可以使用户的编辑工作更为高效。
接下来说明图10所示的视频内容识别处理(步骤S1008)。图11是视频内容识别处理的流程图。当输入了预定时间段T的连续图像帧序列200(步骤S1101的‘是’)时，在图像帧200中识别将这些图像帧分割成多个视频镜头S的多个剪辑点C(步骤S1102)。为各个所分割的视频镜头S创建特征信息(步骤S1103)。对这些视频镜头S的特征信息进行过滤处理(步骤S1104)。
根据各个视频镜头S的特征信息计算代表性视频镜头SD与各个所分割的视频镜头S之间的相似度(步骤S1105)。为各个所计算的相似度查找镜头计数(步骤S1106)。根据这些相似度以及各个相似度的镜头计数，创建直方图，该直方图表示各个相似度的镜头计数的分布(参见图6和图7)(步骤S1107)。
根据所创建的直方图，确定在预定时间段T输入的连续图像帧序列200的视频内容是否与代表性视频镜头SD的视频内容相同(步骤S1108)。与该确定结果相关的信息为该视频内容的识别结果。
因此，根据视频内容识别处理，可以将表示已播放的节目的视频内容的代表性视频镜头SD与当前正在播放的节目的视频内容进行比较。由此，可以识别是否在继续播放具有差不多没有变化的摄像角度的特定节目(例如棒球转播)。
接下来说明在所经过的时间段中进行的记录处理中的视频镜头S的出现分布。图12是在记录处理中，在所经过的时间段中的视频镜头的出现分布的曲线图。在图12所示的曲线图中，示出了棒球转播的多个视频镜头S，其播放可能被延长。
在图12中，X轴表示所经过的时间，Y轴表示与代表性视频镜头SD的相似度。用于确定视频镜头S是否与代表性视频镜头SD相似的相似度阈值为‘14000’。因此，如果相似度为‘14000’或更小，则视频镜头S与代表视频镜头SD相似。
如果棒球转播的播放起始时间为19:00，并且播放持续时间为110分钟，则估算预定播放结束时间为20:50。根据从19:00到19:10输入的图像帧序列来确定代表性视频镜头SD。在该时间段确定的代表性视频镜头SD是由位于中间的摄像机拍摄的视频镜头(作为棒球转播的主体)，例如图2所示的视频镜头Si。
当确定了代表性视频镜头SD时，在19:10之后，根据代表性视频镜头SD中确定的视频镜头S与预设的预定时间段(例如，10分钟的持续时间)的视频镜头之间的相似度，来确定棒球转播是否继续。在图12所示的曲线图中，相似度小于‘14000’的视频镜头S甚至在20:50之后出现，这表示棒球转播被延长。由于在21:15之后没有出现相似度小于‘14000’的视频镜头S，这表示棒球转播在21:15结束。
接下来说明该实施例的第四操作示例。现将说明根据第四操作示例的记录装置300的记录处理中所涉及的步骤。具体地，说明在一节目(该节目可能被延长为超过预定播放结束时间，并且其视频是以差不多没有变化的摄像角度拍摄的)之后的另一节目的记录处理的步骤。图13是根据第四操作示例的记录装置300的记录处理的流程图。在该示例中将棒球转播作为可能延长的前一节目。
当输入了与要进行记录的节目相关的记录信息(步骤S1301的‘是’)时，确定是否输入了与先前的棒球转播相关的信息(步骤S1302)。如果没有输入与先前的棒球转播相关的信息(步骤S1302的‘否’)，则处理直接进行到步骤S1314。
如果输入了与先前的棒球转播相关的信息(步骤S1302的‘是’)，则在播放起始时间(步骤S1303的‘是’)，接收描绘棒球转播的视频内容的图像帧序列，并进行代表性视频镜头确定处理(步骤S1304)。在图8和图9所示的流程图中说明了该代表性视频镜头确定处理，因此这里不再赘述。
如果在步骤S1304的最后确定了代表性视频镜头SD(步骤S1305的‘是’)，则棒球转播的播放结束时间延长预定时间段T(例如，5分钟)的两倍，即，播放结束时间延长2T(步骤S1306)。当在规定记录结束时间之后经过了该预定时间段(步骤1307的‘是’)时，进行视频内容识别处理(步骤S1308)。图11所示的流程图中说明了视频内容识别处理，因此这里不再赘述。
如果在经延长的时间段内(即，预定时间段T内)输入的连续图像帧序列的视频内容与代表性视频镜头SD的相同(步骤S1309的‘是’)，则使已延长一次的播放结束时间进一步延长预定时间段T(步骤S1310)。然后处理返回到步骤S1307。
如果在步骤S1309，将图像帧序列的视频内容识别为不与代表性视频镜头SD的视频内容相似(步骤S1309的‘否’)，则当在预定播放结束时间之后经过了预定时间段T(步骤S1311的‘是’)时，计算棒球转播延长的时间段(步骤S1312)。可以根据所延长的播放结束时间与预定的播放结束时间之间的差值来计算延长时间段。
将延长时间段加到要进行记录的节目的记录起始时间和播放持续时间上，由此修改要进行记录的节目的记录信息(步骤S1313)。在按照经修改的记录信息的记录起始时间处(步骤S1314的‘是’)，开始记录在记录信息中设定的节目(步骤S1315)。由此，即使延长了前一节目，也可以通过仅计算前一节目的延长时间段来由始至终完整地记录所期望的节目。
如果在步骤S1305，不能确定代表性视频镜头SD(步骤S1305的‘否’)，则其表示由于下雨等原因而使棒球转播发生了中断，并代替该转播而播放以变化的摄像视角度拍摄的另一节目。由此，在按照步骤S1301中输入的记录信息的记录起始时间(步骤S1314)，开始记录在记录信息中设定的节目。
由此，即使要进行记录的节目之前的节目可能超过规定的播放结束时间，也可以由始至终完整地记录所期望的节目，而不考虑前一节目是否被延长或者所延长的时间段。
接下来说明根据该实施例的第五操作示例。现将说明根据第五操作示例的记录装置300的记录处理的步骤。这里所述的记录处理包括延迟记录起始时间，以只记录实际节目。例如，在图12的曲线图所示的棒球转播中，棒球转播的开始两分钟通常拍摄不想记录的镜头，例如棒球场、记分板、现场报道、解说员、以前比赛的简述和精彩场面等镜头。即使播放了投球镜头，该投球镜头中也可能叠加有散布在该投球镜头中的文字，例如节目的标题。因此，对于从播放起始时间19:00到19:02的两分钟，进行代表性视频镜头(投球镜头)确定处理。图14是记录装置300的另一记录处理(稍后说明的步骤S1403)的流程图。
输入了与棒球转播相关的记录信息(步骤S1401的‘是’)。在记录起始时间(步骤S1402的‘是’)，执行代表性视频镜头确定步骤(步骤S1403)。在图8和图9所示的流程图中说明了代表性视频镜头SD的确定步骤，因此这里不再赘述。如果没有确定代表性视频镜头(步骤S1404的‘否’)，则再次执行代表性视频镜头SD的确定处理(步骤S1403)。如果确定了代表性视频镜头(步骤S1404的‘是’)，则开始进行记录(步骤S1405)。
根据本操作示例，直到确定代表性视频镜头之后才开始进行记录。因此，可以避免记录无关紧要的镜头，而只记录实际节目。结果，用户可以直接开始观看记录的节目(棒球转播)，而无需繁琐地快进到节目的开始。
根据视频内容识别装置302和记录装置300，由于可以从要进行识别的视频镜头S本身中提取代表性视频镜头SD，所以不必预先提供用于进行识别的数据。因此，可以回避用于进行视频识别的数据以及由此导致的数据维护。
由于代表性视频镜头SD是从要进行识别的视频镜头S本身提取的，所以即使比赛地点、球队制服或电视台的画面编排发生了变化，也仍然可以进行识别，这提高了检测的准确度。
通过执行准备程序(ready program)，可以将个人计算机或工作站用于实现根据本发明实施例的视频内容识别方法和和记录方法。该计算机可以从诸如硬盘、软盘、CD-ROM、MO、DVD等的计算机可读记录介质加载该程序。该程序也可以通过诸如因特网的网络发布。
本申请通过引用将于2004年1月20日在日本提交的日本优先权文件2004-012404的全部内容并入本文。
虽然为了完全和清楚的公开，根据具体实施例说明了本发明，但是所附权利要求并不限于此，而是应当理解为包含落入在此提出的基本教示之内的本领域的技术人员可以想到的所有改进和另选构造。
权利要求
1.一种装置，该装置用于识别由多个图像帧构成的视频的内容，该装置包括分割单元，其基于多个剪辑点将所述多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从所述多个视频镜头集合中提取与这些视频镜头中的每一个相似的相似视频镜头；最大计数视频镜头提取单元，其对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将所述最大计数视频镜头作为代表所述视频的内容的代表性视频镜头。
2.根据权利要求1所述的视频内容识别装置，还包括评估单元，其根据与所述最大计数视频镜头相似的相似视频镜头的计数以及第一视频镜头集合的计数，来评估由所述最大计数视频镜头提取单元提取的所述最大计数视频镜头是否与由所述代表性视频镜头确定单元确定的所述代表性视频镜头相对应；以及第二代表性视频镜头确定单元，其根据所述评估单元的评估结果，将所述代表性视频镜头作为所述最大计数视频镜头。
3.根据权利要求2所述的视频内容识别装置，其中所述评估单元包括出现比率计算单元，其计算与所述最大计数视频镜头相似的相似视频镜头的镜头计数与所述第一视频镜头集合的镜头计数之间的出现比率；以及出现比率比较单元，其将由所述出现比率计算单元计算的出现比率与预定出现比率进行比较，并且所述评估单元根据所述出现比率比较单元的比较结果，来评估所述最大计数视频镜头是否与所述代表性视频镜头相对应。
4.根据权利要求1所述的视频内容识别装置，还包括视频内容识别单元，其识别第二图像帧序列的视频内容是否与所述代表性视频镜头的视频内容相似，其中所述分割单元将所述第二图像帧序列分割成包括由多个剪辑点限定的多个图像帧的第二视频镜头集合，每一个剪辑点都表示画面的变化，并且所述视频内容识别单元根据所述代表性视频镜头的视频镜头和所述第二视频镜头集合，来识别所述第二图像帧序列的视频内容是否与所述代表性视频镜头的视频内容相似。
5.根据权利要求4所述的视频内容识别装置，其中所述视频内容识别单元包括相似度计算单元，其计算所述代表性视频镜头的视频镜头与所述第二视频镜头集合中的每一个视频镜头的相似度；镜头计数查找单元，其对由所述相似度计算单元计算的各个相似度查找所述第二视频镜头集合的计数；并且所述视频内容识别单元根据所述镜头计数查找单元的结果，识别所述第二视频镜头集合的视频内容是否与所述代表性视频镜头的视频内容相似。
6.根据权利要求5所述的视频内容识别装置，其中所述视频内容识别单元还包括图表创建单元，其创建表示所述镜头计数查找单元的结果的曲线图，并且所述视频内容识别单元根据由所述图表创建单元创建的曲线图的形状，来识别所述第二视频镜头集合的视频内容是否与所述代表性视频镜头的视频内容相似。
7.根据权利要求6所述的视频内容识别装置，其中所述视频内容识别单元还包括镜头计数比较单元，其根据由所述图表创建单元创建的图表，将与低于预定相似度的相似度相对应的镜头计数与预定镜头计数进行比较，并且所述视频内容识别单元根据所述镜头计数比较单元的比较结果，来识别所述第二视频镜头集合的视频内容是否与所述代表性视频镜头的视频内容相似。
8.一种记录装置，其包括视频内容识别装置，用于识别由多个图像帧构成的视频的内容，所述视频内容识别装置包括分割单元，其根据多个剪辑点将所述多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；最大计数视频镜头提取单元，其对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将所述最大计数视频镜头作为代表所述视频的内容的代表性视频镜头；记录信息输入单元，其接收记录信息的输入，所述记录信息包括要进行记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，其记录节目的视频；以及记录控制单元，其对所述记录单元进行控制，并对在由所述记录信息输入单元输入的记录信息中设定的节目的视频进行记录，其中所述视频内容识别装置根据描绘所述节目的内容的所述图像帧序列，来确定代表在所述记录信息中设定的节目的视频内容的代表性视频镜头，并且所述记录控制单元根据由所述视频内容识别装置进行的代表性视频镜头确定的结果，来终止在所述记录信息中设定的记录。
9.一种记录装置，其包括视频内容识别装置，用于识别由多个图像帧组成的视频的内容，所述视频内容识别装置包括分割单元，其根据多个剪辑点将所述多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；最大计数视频镜头提取单元，其对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数值最大的最大计数视频镜头；代表性视频镜头确定单元，其将所述最大计数视频镜头作为表示所述视频的内容的代表性视频镜头；以及视频内容识别单元，其识别第二图像帧序列的视频内容是否与所述代表性视频镜头的视频内容相似，其中所述分割单元将所述第二图像帧序列分割成包括由多个剪辑点限定的多个图像帧的第二视频镜头集合，每一个剪辑点都表示画面的变化，并且所述视频内容识别单元根据所述代表性视频镜头的视频镜头以及所述第二视频镜头集合，来识别所述第二图像帧序列的视频内容是否与所述代表性视频镜头的视频内容相似；记录信息输入单元，其接收记录信息的输入，所述记录信息包括要进行记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，其记录节目的视频；以及记录控制单元，其对所述记录单元进行控制，并对在由所述记录信息输入单元输入的记录信息中设定的节目的视频进行记录，其中所述视频内容识别单元根据描绘所述节目的内容的第一图像帧序列，来确定代表在所述记录信息中设定的节目的视频内容的代表性视频镜头，并且如果所述视频内容识别装置能够确定代表在所述记录信息中设定的节目的代表性视频镜头，则所述记录控制单元记录所述第二图像帧序列，所述第二图像帧序列是在所述记录信息中设定的节目的播放持续时间之后的预定时间段内输入的。
10.根据权利要求9所述的记录装置，其中所述视频内容识别装置根据在经过所述播放持续时间之后的预定时间段内由所述记录控制单元记录的所述第二图像帧序列的视频镜头，以及根据代表在所述记录信息中设定的节目的代表性视频镜头的视频镜头，来识别所述第二图像帧序列的视频内容，并且所述记录控制单元根据描绘所述第二图像帧序列的视频内容的识别结果，将在所述记录信息中设定的节目的记录进一步延长一预定时间段。
11.根据权利要求10所述的记录装置，其中如果描绘所述第二图像帧序列的视频内容与所述代表性视频镜头的视频内容不同，则所述记录控制单元终止记录在所述记录信息中设定的节目。
12.一种记录装置，其包括视频内容识别装置，用于识别由多个图像帧构成的视频的内容，所述视频内容识别装置包括分割单元，其基于多个剪辑点将所述多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；相似视频镜头提取单元，其从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；最大计数视频镜头提取单元，其对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将所述最大计数视频镜头作为代表所述视频的内容的代表性视频镜头；记录信息输入单元，其接收记录信息的输入，所述记录信息包括要进行记录的节目的播放日期、播放起始时间和播放持续时间；记录单元，其记录节目的视频；以及记录控制单元，其对所述记录单元进行控制，并记录在由所述记录信息输入单元输入的记录信息中设定的节目的视频，其中所述记录信息输入单元还接收与要进行记录的节目之前的节目相关的节目信息的输入，所述视频内容识别装置根据描绘由所述记录信息输入单元输入的节目内容的图像帧序列，来确定代表性视频镜头，该代表性视频镜头代表要进行记录的节目之前的节目的视频内容，并且所述记录控制单元根据由所述视频内容识别装置进行的代表性视频镜头确定的结果，来改变所述记录信息。
13.一种识别由多个图像帧构成的视频的内容的方法，包括基于多个剪辑点将多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数最大的最大计数视频镜头；并且使所述最大计数视频镜头作为代表所述视频的内容的代表性视频镜头。
14.一种记录由多个图像帧构成的视频的方法，包括输入记录信息，该记录信息包括要进行记录的节目的播放日期、播放起始时间及播放持续时间；开始记录所述节目的视频；基于多个剪辑点将所述视频的多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从所述多个视频镜头集合中提取与所述视频镜头中的每一个相似的相似视频镜头；对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头数最大的最大计数视频镜头；使所述最大计数视频镜头作为代表性视频镜头；并且根据所述代表性视频镜头终止所述记录。
15.一种计算机可读记录介质，其存储一计算机程序，该计算机程序用于识别由多个图像帧构成的视频的内容，其中所述计算机程序使计算机执行基于多个剪辑点将所述多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头计数最大的最大计数视频镜头；以及使所述最大计数视频镜头作为代表所述视频的内容的代表性视频镜头。
16.一种计算机可读记录介质，其存储一计算机程序，该计算机程序用于识别由多个图像帧构成的视频的内容，其中所述计算机程序使计算机执行输入记录信息，该记录信息包括要进行记录的节目的播放日期、播放起始时间及播放持续时间；开始记录所述节目的视频；基于多个剪辑点将所述视频的多个图像帧分割成多个视频镜头集合，每一个剪辑点都表示画面的变化；从所述多个视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头数最大的最大计数视频镜头；使所述最大计数视频镜头作为代表性视频镜头；以及根据所述代表性视频镜头终止所述记录。
全文摘要
用于识别视频内容和记录视频的装置、方法和计算机产品。一种装置，用于识别由多个图像帧构成的视频的内容，该装置包括分割单元，其基于表示画面的变化的多个剪辑点将多个图像帧分割成多个视频镜头集合；相似视频镜头提取单元，其从这些视频镜头集合中提取与所述多个视频镜头中的每一个相似的相似视频镜头；最大计数视频镜头提取单元，其对所述多个视频镜头中的每一个的相似视频镜头的数量进行计数，并提取相似视频镜头的计数最大的最大计数视频镜头；以及代表性视频镜头确定单元，其将最大计数视频镜头作为代表视频内容的代表性视频镜头。
文档编号G11B27/10GK1645357SQ20051000242
公开日2005年7月27日 申请日期2005年1月20日 优先权日2004年1月20日
发明者堀内直明, 莪山真一 申请人:日本先锋公司