专利名称：索引数据生成装置、索引数据生成方法、内容数据再现装置的制作方法
技术领域：
本发明属于内容数据记录再现装置的技术领域，生成内容数据的索引数据，以此生成的索引数据为基础，生成此内容数据再现。
背景技术：
近年来随着把电视播放的节目等活动图像数据录制和再现的VTR(VideoTape Recorder)等记录装置的普及，实用中已发展不必看全部记录的内容数据，即可提供对此内容数据进行短时间摘要的要点再现。
现在进行这样的要点再现方法有着眼于内容数据中附带声音数据进行要点再现的方法、以及主要着眼于活动图像数据本身进行要点再现的方法。特别是着眼于活动图像本身进行要点再现的方法，识别显示活动图像数据中主图像数据内提示进行时间内容的字幕内文字，以此识别的文字为基础，识别主图像数据中各部分内容，以被识别的部分图像为基础，进行要点再现(例如参照非专利文献1)。
图像电子学会研讨会约稿02-07-33“以字幕为主因的棒球画面的自动检索和摘要的生成”发明内容但是，在用现有的字幕进行要点再现方法中，仅仅以被识别字幕内的信息为基础，识别主图像数据中多个部分图像数据，以所识别的各部分图像数据为基础，确定内容数据中的索引。
因此，在此摘要再现方法中，不能预先表示出利用索引识别的各部分数据在活动图像数据整体中占有的重要程度等表示各部分数据图像之间关系，而且以此生成的索引为基础，用户不能轻易地检索到所需内容数据的任何画面。
本发明鉴于上述各问题，作为此课题的一个示例，提供一种以字幕为基础，把各部分图像数据作成分层次的结构，可以容易地而且准确地进行要点再现或进行用户需要的内容数据的任何画面的检索的索引数据生成装置，以及以此为基础进行再现的数据记录再现装置。
为了解决上述课题，权利要求1所述的发明，其结构上包含获取设备，用于获取至少包括具有预先确定时间长度的活动图像数据的内容数据；抽取设备，从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明所述主图像数据的副图像数据；第1检测设备，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测设备，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定设备，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；以及生成设备，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据。
权利要求7所述的发明，其结构上包含获取设备，用于获取至少包括有活动图像数据的内容数据；抽取设备，从表示所述已获取的活动图像数据的主图像数据中，抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测设备，用于检测表示所述抽取的副图像数据的图像变化部分的部分图像数据；第2检测设备，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定设备，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；生成设备，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据；以及再现设备；以所述生成的索引数据为基础，将所述内容数据进行再现。
权利要求10所述的发明，其结构上包含获取步骤，用于获取至少包括有活动图像数据的内容数据；抽取步骤，从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测步骤，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测步骤，用所述第1检测步骤从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定步骤，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；以及生成步骤，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据。
权利要求11所述的发明，其结构上包含获取步骤，用于获取至少包括有活动图像数据的内容数据；抽取步骤，是从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测步骤，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测步骤，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定步骤，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；生成步骤，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据；以及再现步骤；以所述生成的索引数据为基础，将所述内容数据进行再现。
图1为表示本申请一个实施方式的编辑系统的系统结构的框图。
图2为表示一个实施方式的编辑系统中的索引数据生成部分结构的框图。
图3为在字幕数据抽取部分中具有抽取的多个变化部位的基本字幕数据的一个示例。
图4为在索引生成部分中生成的索引数据的数据结构的一个示例。
图5为在本实施方式的清单数据生成部分中生成的清单数据的一个示例。
图6为在本实施方式的清单数据生成部分中生成的清单数据的一个示例。
图7为在本实施方式的清单数据生成部分中生成的清单数据的一个示例。
图8为表示本实施方式的索引数据生成处理动作的流程图。
具体实施例方式
下面结合附图对本申请的较佳实施方式进行说明。
此外，下面说明的各实施方式是指对于数据记录再现装置适用本申请的内容数据再现装置或索引数据生成装置情况下的实施方式。
具体而言，本实施方式的数据记录再现装置，预先要记录由输入的声音数据和图像数据等构成的内容数据的活动图像数据(下面简称为内容数据)，以表示包括此记录的活动图像数据主图像数据随时间变化的文字、记号等副图像数据(下面称为字幕数据)为基础，生成用于选择记录的内容数据中用户需要的画面(场面)和将其进行再现的索引数据。
特别是本实施方式的数据记录再现装置在生成索引数据时，生成具有规定层次的索引数据，把此生成的索引数据与内容数据建立关联，提供给用户。
此外，所述数据记录再现装置以生成的索引数据为基础，特定一个画面后，检索内容数据中的此特定画面，进行此特定画面的再现(下面称为从头再现(Random Acess))。
下面对在本实施方式中，生成这样的索引数据，以此生成的索引数据为基础，进行内容数据再现的数据记录再现装置进行说明。
首先用图1对本实施方式的数据记录再现装置的结构进行说明。
图1为表示本实施方式的编辑系统的系统结构框图。
如图1所示，本实施方式的数据记录再现装置100是由预约控制部分101、录像控制部分102、数据存储部分103、索引数据生成部分200、再现控制部分104、清单数据生成部分105、显示控制部分106、系统控制部分107构成。预约控制部分101是以通过图中没有表示的操作部分输入的用户指示为基础，对内容数据进行预约；录像控制部分102是以预约控制部分101的控制或图中没有表示的操作部分的指示为基础，进行输入的内容数据的录像控制；数据存储部分103是存储内容数据；索引数据生成部分200是生成存储的内容数据中的索引数据；再现控制部分104是以控制内容数据的再现同时进行画面再现情况下生成的索引数据为基础，控制内容数据的画面再现；清单数据生成部分105是生成对应于索引数据中的内容数据的一览表数据(下面称为清单数据)；显示控制部分106在对内容数据进行在外部显示器10上的显示控制的同时，使得进行从头再现之际所生成的清单数据和存储的内容数据重叠显示；系统控制部分107是对数据记录再现装置100中各部分进行控制，各部分用母线110相连。
例如，本实施方式的再现控制部分104构成了本发明的获取设备，索引数据生成部分200构成本发明的抽取设备、第1检测设备、第2检测设备、设定设备、生成设备、获取图像设备、分类设备和计算设备。
通过图中没有表示的操作部分把用户的指示输入到预约控制部分101中，此预约控制部分101以输入的用户指示为基础，设定电视台、日期时间等信息，以此设定的各种信息为基础，通过系统控制部分107控制录像控制部分102和图中没有表示的接受信号部分。
具体而言，该预约控制部分101以此设定的信息为基础，控制从各电视台发送的播放信号的图中没有表示的接收信号部分，选择在指定的时间、指定的电视台，同时指示录像控制部分102录制此接收的内容数据。
把从图中没有表示的接收信号部分输出的具有规定形式的内容数据输入到录像控制部分102中，同时在数字播放的情况下，利用图中没有表示的接收信号部分把接收的节目排列信息(下面称为SI(Service Information)信息)输入到录像控制部分102中。
此外，录像控制部分102把输入的构成内容数据的活动图象数据变换成MPEG格式，把输入的内容数据的声音数据变换成AC-3格式，同时从变换后的各种格式的数据生成程序流程，把此生成的程序流程输出到数据存储部分103。
该录像控制部分102通过接收数字播放信号，在输入SI信息的情况下，从SI信息中抽取包括此SI信息的EIT信息(Event Information Table)，利用此接收的EIT信息判断是否生成索引数据，在判断应生成该索引数据时，通过系统控制部分107在索引数据生成部分200实施生成此索引数据。
具体而言，录像控制部分102用EIT信息预先判断接收的内容数据是否是棒球或足球等的具有时间进展变化的体育类，在判断是具有时间进展变化的体育类时，把此需要进行预约录像的播放节目的内容数据进行录像后，在索引数据生成部分200执行生成索引数据的指示。
例如，用BS(Broadcasting Satellite)数字播放和CS(communicationSatellite)数字播放，将SI信息与TV节目的内容数据一起从卫星发送给各家庭的电视播放接收机，也就是在本实施方式中没有用图表示的信号接收部分，在此信号接收部分接收到SI信息的情况下，此SI信息被输入到录像控制部分102。
数据存储部分103具有硬盘(下面称为HD)等记录介质，以录像控制部分102的控制为基础，把从此录像控制部分102输出的内容数据以规定的形式存储到HD中。此外，此数据存储部分103把与此内容数据相关联生成的后述的索引数据存储到HD中。
具体地说，用录像控制部分102生成的程序流程和索引生成部分200生成的索引数据被输入到数据存储部分103中，此数据存储部分103把输入的程序流程存储到HD中，同时把索引数据与此内容数据相关联进行存储。
此外，在内容数据的再现或从头再现时，数据存储部分103以再现控制部分104的指示为基础，把预先记录的程序流程或此程序流程和索引数据从HD读出，输出到再现控制部分104。
后面将对存储到本实施方式的数据存储部分103的索引数据的数据结构进行详细说明。
已经存储到数据存储部分103的内容数据，预先输入到索引数据生成部分200中，该索引数据生成部分200抽取显示构成内容数据的活动图像数据中主图像数据一部分的副图像数据的字幕(下面称为字幕数据)，同时设定该字幕数据的识别信息等信息。
所述索引数据生成部分200以抽取的预先设定各字幕数据的条件为基础，分成多个类别，以此分类的各字幕数据为基础，预先生成有层次的索引数据，把生成的索引数据输出到数据存储部分103。
后面将对本实施方式中的索引数据生成部分200和索引数据的生成处理动作进行详细叙述。
利用图中没有表示的操作部分，通过系统控制部分107把再现或从头再现的指示预先输入到再现控制部分104，该再现部分104以输入的操作部分的指示为基础，从数据存储部分103读出已存储的具有规定形式的内容数据或该内容数据和索引数据。
所述再现控制部分104变换该读出的内容数据的形式，输出到显示控制部分106，同时读出索引数据时，把该索引数据输出到清单数据生成部分105。
具体而言，再现控制部分104以输入的操作部分的指示为基础，预先读出有关要再现的内容数据的程序流程，把此读出的程序流程变换成具有MPEG格式的活动图像数据和具有AC-3格式的声音数据，同时把变换后的各种格式的数据输出到显示控制部分106。
本实施方式的再现控制部分104以输入到图中没有表示的操作部分中的操作指示为基础，进行各种再现控制。在本实施方式中，再现控制部分104在内容数据中包括声音数据的情况下，从再现控制部分104直接把声音数据输出到显示器10。
在进行内容数据的从头再现时，预先把作为此从头再现对象的内容数据的索引数据输入到清单数据生成部分105中，此清单数据生成部分105以所输入的索引数据为基础，在连接到外部的显示器10上生成要显示的索引数据的图像数据(下面称为清单数据)，把此生成的清单数据输出到显示控制部分106。
后面将对在本实施方式中的清单数据生成部分105中生成的清单数据进行详细叙述。
预先把具有规定形式的内容数据输入到显示控制部分106中，显示控制部分106以系统控制部分107的指示为基础，在连接到外部的显示器10上生成要显示的显示数据，同时在缓冲存储器临时保存此显示数据，在规定的时间内从缓冲存储器读出显示数据，输出到显示器10。
在进行从头再现的情况下，用清单数据生成部分105生成的清单数据与内容数据一起输入到显示控制部分106，在这种情况下，所述显示控制部分106生成内容数据和清单数据重叠的显示数据，在连接到外部的显示器10上显示输入。
系统控制部分107主要由中央处理装置(CPU)构成，同时通过图中没有表示的操作部分，以输入的用户指示为基础，整体控制包括用于内容数据的录像处理、再现处理或从头再现处理的所有功能。
所述系统控制部分107读出装在图中没有表示的ROM中的控制程序，进行各种处理，把处理中的数据临时保存在图中没有表示的RAM中，控制数据记录再现装置100的全部动作。
其次用图2～图4对本实施方式中的索引数据生成部分的详细结构进行说明。
图2为表示本实施方式的编辑系统中索引数据生成部分结构的框图，图3为具有抽取的多个变化部位的基本字幕数据的一个示例。图4为在索引数据生成部分中生成的索引数据的数据结构的一个示例。
如上所述，本实施方式的索引数据生成部分200预先抽取显示构成内容数据的主图像数据，也就是抽取显示构成活动图像数据中主图像数据的副图像数据的字幕数据，设定此字幕数据识别信息等信息，以预先设定的条件为基础，把抽取的字幕数据分成多个类别，以此分类的各字幕数据为基础，生成有层次的索引数据。
一般来说，在转播以棒球和足球为代表的体育比赛为内容数据的情况下，为了对在座观看的人告诉比赛的经过和得分的经过，在此内容数据的活动图像数据中，除了表示比赛内容的主图像数据以外，还包括用文字、记号等其他图像构成的、称为字幕的部分图像数据的副图像数据。
在此内容数据是棒球比赛的情况下，此字幕数据把局数、两队的得分和出局人数等有关比赛的信息准确地提供给观看的人。因此，此字幕显示产生变化的时刻大多数为得分的时刻和攻防转换的时刻等表示区分比赛内容的时刻。
所以，在本实施方式中索引数据生成部分200注目该字幕，以该字幕的变换次数而生成索引数据为基础。
如图2所示，此索引数据生成部分200是由字幕数据抽取部分201、字幕类别判定部分202、基本字幕处理部分203、确定层次水平部分204、数据生成部分205构成。字幕数据抽取部分201是抽取包含在内容数据中主图像数据中的字幕数据；字幕类别判定部分202是在有多种输入字幕数据的情况下，分成生成索引数据中最基本的字幕(下面称为基本字幕)和基本字幕以外的字幕(下面称为项目字幕)；基本字幕处理部分203是确定在表示基本字幕的字幕数据(下面称为基本字幕数据)内部变化部位；确定层次水平部分204是确定在表示项目字幕的字幕数据(下面称为项目字幕数据)层次水平和基本字幕数据中的各变化部位的层次水平；数据生成部分205是以抽取的各字幕数据和确定的层次水平为基础，生成索引数据。
例如，本实施方式的字幕数据抽取部分201构成本发明的抽取设备和获取图像设备；基本字幕处理部分203构成本发明的第1检测设备和第2检测设备。此外，例如本实施方式的确定层次水平部分204构成本发明的设定设备和计算设备；数据生成部分205构成本发明的生成设备。此外，字幕类别判定部分202构成本发明的分类设备。
通过再现控制部分104把从数据存储部分103输出的内容数据中所分离出的活动图像数据，输入到字幕数据抽取部分201中，此字幕数据抽取部分201用规定的方法把副图像数据的字幕数据从所输入的活动图像数据中的主图像数据中抽取出来。
具体而言，字幕数据抽取部分201通过把输入的主图像数据按每一帧变成二进制，推测包含在此主图像数据的字幕部分内的图像数据，把所推测的字幕部分图像数据的副图像数据、各字幕部分的内容数据中开始的帧和终了的帧(下面称为帧信息)、输入的整个主图像数据中所推测的字幕部分副图像数据的位置信息等作为字幕数据，从内容数据的开头顺序加上识别信息，并输出到字幕类别判定部分202中。
例如，在本实施方式中，此字幕数据抽取部分201把内容数据中的主图像数据按每一帧进行二进制处理，利用检测与字幕部分图像部分和背景图像数据等字幕部分以外的图像部分的边缘，或利用检测图像数据的色分布，推测字幕部分的图像部分。
在检测与字幕部分图像部分和字幕部分以外的图像部分的边缘的情况下，字幕数据抽取部分201利用判断检测的边缘经过几帧后是否稳定出现，检测此边缘。
此外，由于字幕不一定会在内容数据中经常显示，所以在本实施方式中，字幕数据抽取部分201是把抽取此字幕显示开始时刻的帧作为开始帧，把抽取此字幕显示终了时刻的帧作为终了帧，同时把从开始帧到终了帧的字幕部分图像数据在各帧中抽取，同时把位置信息、帧信息和用于识别其他字幕数据的识别信息，从开始帧到终了帧的各图像数据作为一个字幕数据，输出到字幕类别判定部分202中。
把在字幕数据抽取部分201中抽取的各字幕数据输入到字幕类别判定部分202中，此字幕类别判定部分202把输入的各字幕数据分成生成索引数据中最基本的字幕和基本字幕以外的项目字幕，分别把属于基本字幕的字幕数据输出到基本字幕处理部分203，把属于项目字幕数据的字幕数据输出到确定层次水平部分204。
具体而言，字幕类别判定部分202，以表示输入的各字幕数据中各画面的图像数据的整个主图像数据位置的位置信息为基础，把在整个主图像数据中相同位置显示的字幕数据作为同类的字幕数据组进行分类。
此外，在各个分类的字幕数据种类(下面称为字幕数据组)中，字幕类别判定部分202计算出与字幕图像数据有关的整个内容数据的总显示时间，以总显示时间为基础，确定各字幕数据组的种类，也就是把各字幕数据组的种类进行分类，设定表示各种类的信息(下面称为种类信息)。
例如，在本实施方式中，所述字幕数据类别判定部分以显示时间最长的字幕数据组为一个基本字幕，把其他的字幕数据组，也就是把显示时间比基本数据组短的字幕数据组，在每个主图像数据中同一个字幕位置上分成各项目字幕。
例如，内容数据是在转播棒球比赛的情况下，在集中显示了表示攻击或防守转换的局数、两队的得分和出局人数等的与比赛有关的各种信息的字幕图像数据的情况下，由于集中各种信息的字幕数据组的显示时间最长，所以此字幕数据组作为基本字幕，其他的字幕例如显示进攻者的姓名和成绩的字幕数据组作为项目字幕数据。
在字幕类别判定部分202中判定为基本字幕，也就是添加了基本字幕类别信息的各字幕数据被预先输入到基本字幕处理部分203中，此基本字幕处理部分203在输入的各基本字幕数据的图像数据内部，专门确定随时间进行此显示发生变化的部位(下面称为变化部位)，同时以此专门确定的各变化部位的变化次数为基础，确定基本字幕数据组中各变化部位大体的层次水平。
具体而言，基本字幕处理部分203在输入的各字幕数据中把各帧的各字幕数据的图像数据内部进行二进制处理，专门确定此基本字幕数据组中字幕数据内的变化部位。
所述基本字幕处理部分203抽取各变化部位变化时刻的帧中的图像数据(下面称为代表图像数据)，同时在各变化部位设定基本字幕数据组中的特定变化部位变化的特征数据。
所述基本字幕处理部分203以上述设定的特征数据为基础，算出各变化部位的变化次数，把计算出的变化次数少的变化部位设定为层次高的变化部位，按变化次数少的变化部位的顺序，决定各变化部位层次水平的高低。
例如，内容数据是转播棒球比赛的情况，在如图3(a)、(b)所代表的那样抽取基本字幕数据组的情况下，本实施方式的基本字幕处理部分203以二进制处理为基础，确定各变化部位A～G，同时以特定变化部位的特征数据为基础，算出各变化部位A～G的基本字幕数据组的整体变化次数，决定变化次数越少的变化部位，其层次水平越高，由此设定各变化部位的层次水平。
在这种情况下，也就是是棒球比赛的内容数据的情况，在如图3(a)、(b)代表的那样抽取基本字幕数据组的情况下，基本字幕处理部分203把变化部位A和B表示比赛中各队的得分，把此变化部位A和B设定为最高层次水平的变化部位，把表示比赛局数的变化部位C设定为下一个层次水平，表示各局的攻守转换，把表示各局的上下半局的变化部位D设定为在变化部位C的下一个层次水平，把表示出局的变化部位G设定为在变化部位D的下一个层次水平，把表示好球数和坏球数的变化部位设定E和F为最低层次水平。
另一方面，基本字幕处理部分203以字幕类别判定部分202中设定的表示字幕种类的种类信息为基础，设定了在各变化部位变化时刻的各代表图像数据中用来进行识别其他变化部位的时刻的代表图像数据的种类信息，同时把此代表图像数据与各代表图像数据的开始帧的帧信息一起输出到确定层次水平部分204。
具体而言，基本字幕处理部分203在各个变化部位、以及在各代表图像数据，分别设定种类信息，以分辨项目字幕数据，同时分辨其他层次设定的代表图像数据或其他变化部位的代表图像数据。
如上所述，此基本字幕处理部分203把在各代表图像数据中、各变化部位中设定的简要的层次水平信息(下面称为层次水平信息)与各代表图像数据一起输出到确定层次水平部分204中。
所述基本字幕处理部分203用数字的数据，设定各变化部位的层次水平，把表示各变化部位的层次水平的数字数据，输出到确定层次水平部分204中。
基本字幕数据组中的各变化部位变化时刻的各代表图像数据、此代表图像数据的帧信息和它的种类信息被输入到确定层次水平部分204中，同时把基本字幕数据组的各变化部位中的层次水平信息和各种类的各项目字幕数据，也就是和项目字幕数据组输入到确定层次水平部分204中。
所述确定层次水平部分204，以输入的基本字幕数据组中各变化部位的层次水平为基础，确定项目字幕数据组的层次水平，同时以确定的项目字幕数据组的层次水平为基础，最终确定各基本字幕数据组中各变化部位的层次水平。
具体而言，确定层次水平部分204判断基本字幕数据组的任何变化部位在变化一次之际是否出现同一种类中的项目字幕数据。
在本实施方式中，所述确定层次水平部分204以种类信息为基础，预先对各项目字幕数据组中的各项目字幕数据的每个开始帧，将时间上相邻的基本字幕数据组中同一变化部位变化的、输入的各代表图像数据开始帧的信息进行对比，计算出从时间较早的基本字幕数据组任何变化部位中各代表图像数据的开始帧，到时间较晚的同一变化部位中代表图像数据的开始帧中，同一种类的项目字幕数据组中项目字幕数据的出现次数。
如图3(a)、(b)所示，在基本字幕数据组中变化部位G发生一次变化之间，任何种类的项目字幕数据组的项目字幕数据出现一次，同时在此项目字幕数据组的项目字幕数据出现一次时变化部位G的下层次的变化部位E变换多次的情况下，确定层次水平部分204把此项目字幕数据组的层次水平设定为与基本字幕数据组中的变化部位G相同的层次水平。
也就是内容数据是转播棒球比赛的情况，表示击球者姓名和其成绩的图像数据作为同一种类的项目字幕数据组表示的情况下，即使一般基本字幕数据组中变化部位的好球数的图像数据改变，此项目字幕数据组的显示仍不变。另一方面，在这种情况下在同一项目字幕数据显示期间，好球数图像数据的一个上层次的出局变化部位基本上没有变化。因此，在这种情况下，确定层次水平部分204把显示此击球者姓名和其成绩的项目字幕数据组设定为与表示出局的变化部位的层次水平相同的层次水平。
在确定各项目字幕数据组的层次水平时，本实施方式的确定层次水平部分204以种类信息为基础，使用设定在时间上相邻的基本字幕数据组中同一变化部位改变的代表图像数据中的开始帧信息。
此外，如上所述，所述确定层次水平部分204在基本字幕数据组变化部位和各项目字幕数据组中，设定如上所述设定的层次水平信息(下面称为确定水平信息)，把此水平确定信息与各变化部位的代表图像数据和它的开始帧的帧信息、各项目字幕数据组的各项目字幕数据一起输出到数据生成部分205。
把在此确定的各变化部位的代表图像数据中或者在各项目字幕数据组中表示基本字幕数据和项目字幕数据、种类信息、层次水平的确定水平信息和帧信息输入到数据生成部分205中，所述数据生成部分205以这些输入的这些各种数据为基础，生成索引数据，把此生成的索引数据输出到数据存储部分103。
例如，数据生成部分205把在各项目字幕数据组中各项目字幕数据出现时的图像数据确定为代表图像数据，同时在各基本字幕数据组的变化部位和项目字幕数据组中把代表图像数据、种类信息、水平信息和开始画面的画面信息汇总在一起，生成如图4所示的索引数据。
在图4中，种类信息的最初字母表示基本字幕数据组和项目字幕数据组的种类，此后的数字和字母的组合表示基本字幕数据组中各变化部位的种类。
此外，项目字幕数据组的项目字幕数据每次在主图像数据中出现时，例如为了正在显示与表示击球者和打击率不同的图像数据，即使在有同一种类的种类信息的情况下，也能对应于不同的图像数据。此外帧信息显示开始帧的信息。
下面用图5～图7对在清单数据生成部分中生成的清单数据进行说明。
图5～图7为表示本实施方式的清单数据生成部分105中生成的清单数据的一个示例。
在进行内容数据的从头再现时，把上述生成的从头再现对象的索引数据输入到清单数据生成部分105中，此清单数据生成部分105以输入的索引数据为基础，生成表示在与外部连接的显示器10上要显示的索引数据的图像数据的清单数据，把此生成的索引数据输出到显示控制部分106。
例如，在不存在项目字幕的情况下，如图5所示，在本实施方式中清单数据生成部分105以层次水平的高低为基础，使基本字幕数据变化部位的代表图像数据在上下方向表示，同时以进行的时间为基础，在每个相同的层次水平生成使代表图像数据在左右方向表示的清单数据。
在本实施方式中，清单数据生成部分105一般先生成清单数据，以表示任何层次水平中代表图像数据，通过图中没有表示的操作部分的操作，在切换层次水平高低的情况下，例如图6所示，按此操作选择的层次水平中生成相应清单数据，输出到显示器10。
另一方面如图7(a)、(b)所示，在存在项目字幕的情况下，在本实施方式中以层次水平的高低为基础，使基本字幕数据变化部位的代表图像数据或项目字幕数据的代表图像数据在上下方向表示，同时以进行的时间为基础，在每个相同的层次水平生成使代表图像数据在左右方向表示的清单数据。
如上所述，图7(a)为在确定层次水平部分204中项目字幕数据的层次水平被设定为层次水平A的情况的图示，图7(b)为利用图中没有表示的操作部分选择了层次水平A的情况下生成的清单数据。
此外，清单数据生成部分105通过图中没有表示的操作部分预先生成相应清单数据，以便可以进行在显示器10上选择显示输出的清单数据或可以进行切换，通过图中没有显示的操作部分选择清单数据的任何情况时，把此指示输出到再现控制部分104。
下面用图8对本实施方式的索引数据生成部分200中的索引数据生成处理动作进行说明。
图8为表示本实施方式的索引数据生成处理动作的流程图。此外，在本动作中认为索引数据生成对象的内容数据已经存储到数据存储部分103。
首先，以EIT信息为基础，利用录像控制部分102判断是否生成索引数据，进行此索引数据的生成处理的指令或利用图中没有表示的操作部分指示索引数据的生成，将进行索引数据的生成处理的指令输入到系统控制部分107(S11步骤)。然后，此系统控制部分107通过再现控制部分104把此内容数据从数据存储部分103中读出，把读出的内容数据中各帧的各主图像数据输出到字幕数据抽取部分201(S12步骤)。
然后，各画面的主图像数据被输入到字幕数据抽取部分201后，此字幕数据抽取部分201，从此各主图像数据中抽取字幕部分的副图像数据来作为字幕数据(S13步骤)。
具体而言，如上所述，字幕数据抽取部分201利用把输入的各主图像数据进行二进制化处理，推断包括在此主图像数据中的字幕数据，同时抽取推断的各副图像数据中的帧信息、位置信息。此时，此字幕数据抽取部分201在推断的字幕数据上赋予各识别信息，同时添加各副图像数据中的画面信息，作为字幕数据输出到字幕种类判定部分202。
接着，推断的字幕数据被输入到字幕种类判定部分202后，此字幕种类判定部分202，以所输入的各字幕数据中的位置信息为基础，，也就是以主图像数据中副图像数据的显示位置为基础，把字幕数据进行分类，在各字幕数据组中计算出内容数据中的总显示时间(S14步骤)。
然后，字幕种类判定部分202以计算出的总显示时间为基础，设定一个字幕数据组为基本字幕数据、其他的字幕数据组为项目字幕数据，分别把设定的基本字幕数据输出到基本字幕处理部分203，把设定的项目字幕数据输出到确定层次水平部分204(S15步骤)。
所述字幕种类判定部分202在仅输入了一个字幕数据组的情况下，把此字幕输入的数据设定为基本字幕。
然后，基本字幕数据被输入到基本字幕处理部分203后，此基本字幕处理部分203利用把输入的字幕数据进行二进制化处理，确定此基本字幕数据中的变化部位(S16步骤)。
然后，基本字幕处理部分203算出此特定各变化部位的变化次数，确定各变化部位的大体层次水平，把表示各变化部位大体的层次水平的水平信息输出到确定层次水平部分204，同时在各代表图像数据中把各变化部位变化时刻的代表图像数据、各变化部位的种类和此各代表图像数据与其他代表图像数据进行识别的种类信息、以及此各代表图像数据的帧信息，输出到确定层次水平部分204(S17步骤)。
具体而言，如上所述，在确定各变化部位的大体层次水平的情况下，基本字幕处理部分203设定特定变化部位的变化时刻的特征数据，同时以在各变化部位设定的特征数据为基础，算出变化次数，将变化次数少的变化部位设定为高层次水平。
然后，确定层次水平部分204输入项目字幕数据，将代表图像数据与水平信息等其他信息一起输入后，确定项目字幕数据的层次水平，同时确定基本字幕数据的各变化部位的层次水平，把此确定的各层次水平作为水平确定信息输出到数据生成部205，同时把各变化部位或各项目字幕数据中的代表图像等的各种信息输出到数据生成部分205(S18步骤)。
具体而言，如上所述，所述确定层次水平部分204利用检测基本字幕数据的任何变化部位变化一次时同种类项目字幕数据是否出现，确定各项目字幕数据的层次水平，以此确定的项目字幕数据的层次水平为基础，确定基本字幕数据的各变化部位的层次水平。
然后，数据生成部分205以输入的项目数据为基础，设定各项目字幕数据的代表图像，以输入的此设定的代表图像数据等其他数据为基础，生成索引数据(S19步骤)。
其次，数据生成部分205通过再现控制部分104将生成的索引数据输出到数据存储部分，数据存储部分103输入索引数据后进行规定处理，把此索引数据存储到HD(S20步骤)。
最后，利用图中没有表示的操作部分，生成此索引数据的内容数据的画面再现指示被输入到系统控制部分107后，系统控制部分107读出存储在再现控制部分104中的索引数据，同时在清单数据生成部分105生成此读出的索引数据中的清单数据，把此生成的清单数据输出到外部的显示器10(S21步骤)。
此时，再现控制部分104通过图中没有表示的操作部分，以生成的清单数据为基础，指示任何画面中的从头再现后，从此画面的开头进行内容数据的再现。
采用上述本实施方式的话，数据记录再现装置100设置有再现控制部分104、字幕数据抽取部分201、第1基本字幕处理部分203、第2基本字幕处理部分203、确定层次水平部分204、数据生成部分205。其中，再现控制部分104是获取具有活动图像数据的内容数据；字幕数据抽取部分201是从获取的活动图像数据抽取随时间进行而改变的辅助说明此活动图像数据内容的图像数据的字幕数据；第1基本字幕处理部分203是用于检测表示抽取的数据的图像变化部分的变化部位；第2基本字幕处理部分203在用第1基本处理部分203从1个或2个以上的字幕数据中检测出至少2个以上的变化部位的情况下，对被检测的各变化部位的变化次数和此被检测的变化部位中的变化点进行检测；确定层次水平部分204是以检测出的各部位的变化次数为基础，设定各变化部位的层次水平；数据生成部分205以设定的各变化部位的层次水平和检测的各变化部位的变化点为基础，生成表示内容数据中多个画面索引的索引数据。所述数据记录再现装置100还具有基于再现控制部分104生成的索引数据，再现内容数据的结构。
采用此结构，在本实施方式中，数据记录再现装置100检测抽取的字幕数据的变化部位，从1个或2个以上的字幕数据中至少检测出2个以上的变化部位的情况下，检测出被检测的各变化部位的变化次数和此被检测的各变化部位中的变化点。此外，此数据记录再现装置100以被检测的各变化部位的变化次数为基础，设定各变化部位的层次水平，以设定的各变化部位的层次水平和被检测的变化部位的变化点为基础，生成表示内容数据中的多个画面索引的索引数据，同时以此生成的索引数据为基础，再现内容数据。
也就是在本实施方式中，数据记录再现装置100以辅助说明随时间而变的此内容数据的内容的字幕数据的变化点为基础，可以从内容数据生成设定层次水平的索引数据，同时以此生成的索引数据为基础，可以进行内容数据的再现。
因此，本实施方式的数据记录再现装置100可以生成准确显示内容数据的内容索引数据，以生成的索引数据为基础，可以进行内容数据的再现，所以可以容易而且准确地进行用户需要的画面的检索和再现。
此外，在本实施方式中，确定层次水平部分204具有把变化次数少的变化部位比变化次数多的变化部位设定在高的层次水平的结构。
在本实施方式中采用此结构，数据记录再现装置100把变化次数少的变化部位比变化次数多的变化部位设定在高的层次水平。
一般来说，在内容数据中，表示转播棒球等的两队得分的字幕数据等此字幕数据中的变化次数少的变化部位表示重要的内容，同时此变化部位改变的变化点多为内容数据中重要画面。
因此，本实施方式的数据记录再现装置100可以生成准确显示内容数据的内容索引数据，以生成的索引数据为基础，可以进行内容数据的再现，所以可以容易而且准确地进行用户需要的画面的检索和再现。
此外，在本实施方式中，基本字幕处理部分203检测被检测变化部位的变化点时，字幕数据抽取部分201具有获取此变化点中的各字幕数据的同时数据生成部分205对应于取得的变化部位生成索引数据的结构。
采用此结构，在本实施方式中，数据记录再现装置100，在基本字幕处理部分203检测被检测变化部位的变化点时，字幕数据抽取部分201获取此变化点中的各图象数据，同时数据生成部分205对应于取得的变化部位生成索引数据。
因此，本实施方式的数据记录再现装置100基于索引数据来进行内容数据再现时，可以从字幕数据的图像数据中确认用户需要的画面，可以容易而且准确地对内容变化的画面进行检索和再现。
此外，在本实施方式中，数据记录再现装置100具有字幕种类判定部分202，字幕种类判定部分202在用字幕数据抽取部分201抽取2个以上字幕数据的情况下，以相对于各字幕数据中整个内容数据的总显示时间为基础，把字幕数据的种类分成作为要检测变化部位中变化部分的一个字幕数据的基本字幕数据和作为其他字幕数据的项目字幕数据，基本字幕处理部分203具有检测已分类的第1字幕数据中变化部位的结构。
采用此结构，在本实施方式中，数据记录再现装置100以相对于字幕数据中整个内容数据的总显示时间为基础，在作为要检测变化部位中变化部分的一个字幕数据的基本字幕数据和作为其他字幕数据的项目字幕数据中，进行字幕数据种类的分类，检测已分类的基本字幕数据中的变化部位。
一般来说，在内容数据中，字幕数据在表示内容数据的内容以外，在转播棒球的情况下大多要显示选手姓名和此选手的成绩等。
因此，本实施方式的数据记录再现装置100要排除不准确显示内容数据的内容点的字幕数据(项目字幕数据)，以准确显示内容数据的内容的字幕数据为基础，可以生成索引数据，所以可以生成准确显示内容数据内容的索引数据，可以容易且准确地进行用户需要的画面的检索和再现。
在本实施方式中，确定层次水平部分204算出表示用字幕种类判定部分202已分类的第1字幕数据中各变化部位的各个变化间隔的变化间隔，确定层次水平部分204具有以算出的各变化间隔和用字幕种类判定部分202分类的第2字幕数据在此变化间隔中出现次数为基础，设定第1字幕数据各变化部位的层次水平的结构。
采用此结构，在本实施方式中，数据记录再现装置100算出表示用字幕种类判定部分202分类的基本字幕数据中各变化部位各个变化间隔的变化间隔，确定层次水平部分204以算出的各变化间隔和用字幕种类判定部分202分类的项目字幕数据在此变化间隔中出现次数为基础，设定第1字幕数据的各变化部位的层次水平。
因此，本实施方式的数据记录再现装置100即使对于不准确显示内容数据的内容点的字幕数据(项目字幕数据)也可以放入到索引数据中，所以可以进一步生成用户需要画面容易检索的索引数据。
在本实施方式中，确定层次水平部分204具有设定利用字幕种类判定部分202分类的项目字幕数据的层次水平的结构。
采用此结构，本实施方式的数据记录再现装置100即使对于不准确显示内容数据的内容点的字幕数据(项目字幕数据)也可以放入到索引数据中，所以可以进一步生成用户需要画面容易检索的索引数据。
在本实施方式中，在确定层次水平部分204中，在任何基本字幕数据变化部位发生一次变化期间，任何种类的项目字幕数据出现一次且此项目字幕数据出现时此变化部位的下位变化部位进行多次变换时，把此项目字幕数据的层次水平设定为与变化部位相同的层次水平，但是也可以把此项目字幕设定为此变化部位的下位的层次水平。
这种情况下，在将基本字幕数据的变化部位设定为此设定的层次水平的下位的层次水平的情况下，确定层次水平部分204把此变化部位的层次水平重新设定为上位的项目字幕数据的下位层次水平。
在本实施方式中，在基本字幕处理部分203中推断各变化部位，以此变化部位的变化为基础，设定此各变化部位的层次水平，但是也可以预先在各内容数据的种类中准备模板，以此准备的该模板为基础，确定变化部位的层次水平。
例如，内容数据为转播棒球比赛的情况下，在字幕数据的变化部位中一次变化次数期间，设想将内外的变化部位变化2次。在这样的内容数据为转播棒球比赛的情况下，在此字幕数据的变化部位中攻防转换期间，设想发生2个出局的变化。因此，基本字幕处理部分203把这些模板存入内部，在设定层次水平时读出此模板，同时以检测的变化部位的变化次数为基础，可以检测设定的各变化部位的层次水平和此变化部位表示的内涵。其结果，数据记录再现装置100以变化部位的内涵为基础，设定各变化部位的层次水平时，可以生成准确反映层次水平的索引数据，可以容易且准确地进行用户需要的画面的检索和再现。
此外，在本实施方式中，数据记录再现装置100不具有识别文字或记号等其他标记的结构，在设定基本字幕数据中变化部位的层次水平时，只识别“0”也可以。由于一般数字部分大多从“0”开始，能识别“0”时，可以用字幕数据的表示形式准确地特别指定两队的得分或出局等的变化部位。
这种情况下，数据记录再现装置100具有用于识别“0”的识别部分，在识别到“0”的情况下，或利用检测它的次数来设定基本字幕数据中变化部位的层次水平。
在本实施方式中，数据记录再现装置100以基本字幕数据中的变化部位的变化次数为基础，设定各变化部位的层次水平，以设定的层次水平为基础，生成索引数据，但是也可以以基本字幕的字幕数据的显示和非显示为基础，识别此基本字幕数据中的各变化部位的内涵，以此识别的各变化部位为基础，生成索引数据。
一般来说，在内容数据是转播棒球比赛的情况下，有时在一定时间内不显示用于表示攻防的转换等的次数和表示此内外的字幕数据。此外，在内容数据是转播拳击比赛的情况下，有时在一定的时间内不显示用于表示在每个回合的转换中一个回合的剩余时间的字幕数据。也就是可以成为基本字幕数据的字幕数据不显示期间大多为内容数据的内容切换的情况，在此基本字幕数据不显示期间的前后大多进行内容数据的内容的切换。
因此，在这种情况下，在本实施方式的数据记录装置中，也可以检测此基本字幕数据预先设定期间以上的非显示的期间，同时识别经过此非显示期间内容切换的变化部位为预先设定的变化部位，以此识别的各变化部位为基础，生成索引数据。
此外，在本实施方式中，也可以以字幕数据的内容数据中的总显示时间为基础，进行字幕数据的分类，也可以根据变化部位的大小进行此分类。
在本实施方式中，基本上对有关棒球比赛中的内容数据，说明了使用基本字幕数据的各变化部位中的层次水平，当然不限于棒球，可以适用于足球、拳击等随时间进行字幕变化的比赛中的内容数据。
例如，在足球比赛的内容数据的情况下，表示字幕中的得分的变化部位成为最上位的层次水平，表示剩余时间的变化部位为下位的层次水平。
在本实施方式中，用索引数据生成部分200执行索引数据的生成处理动作，具有用于记录规定此索引数据处理动作的程序的记录介质、读取此程序的计算机，可以用此计算机读取的此程序进行与上述相同的索引数据生成处理动作。
权利要求
1.一种索引数据生成装置，其特征在于，包含获取设备，用于获取至少包括具有预先确定时间长度的活动图像数据的内容数据；抽取设备，从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明所述主图像数据的副图像数据；第1检测设备，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测设备，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定设备，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；以及生成设备，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据。
2.如权利要求1所述的索引数据生成装置，其特征在于所述设定设备把所述变化次数少的所述部分图像数据，设定成与所述变化次数多的部分图像数据相比更高的层次水平。
3.如权利要求1或2所述的索引数据生成装置，其特征在于在所述第2检测设备检测所述被检测的各部分图像数据的变化点时，具有获取此变化点中的各副图像数据的图像获取设备；所述生成设备对应于所述获取的各副图像数据，生成所述索引数据。
4.如权利要求1至3中任何一项所述的索引数据生成装置，其特征在于在用所述抽取设备抽取2个以上的所述副图像数据的情况下，所述第1检测设备具有分类设备，以所述各副图像数据中的相对于整个所述内容数据的总显示时间为基础，把所述副图像数据的种类分成作为要检测所述部分图像数据中变化部分的一个副图像数据的第1副图像数据、和作为其他副图像数据的第2副图像数据，能检测出所述分类后的第1副图像数据中的部分图像数据。
5.如权利要求4所述的索引数据生成装置，其特征在于所述设定设备具有计算设备，对表示用所述分类设备分类的所述第1副图像数据中各变化部位各变化间隔的变化间隔进行计算，以所述计算出的各变化间隔和用所述分类设备分类的所述第2副图像数据在此各变化间隔中的出现次数为基础，设定第1副图像数据的各部分图像的层次水平。
6.如权利要求5所述的索引生成装置，其特征在于所述设定设备，设定用所述分类设备分类的所述第2副图像数据的层次水平。
7.一种内容数据再现装置，其特征在于，包含获取设备，用于获取至少包括有活动图像数据的内容数据；抽取设备，从表示所述已获取的活动图像数据的主图像数据中，抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测设备，用于检测表示所述抽取的副图像数据的图像变化部分的部分图像数据；第2检测设备，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定设备，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；生成设备，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据；以及再现设备；以所述生成的索引数据为基础，将所述内容数据进行再现。
8.如权利要求7所述的内容数据再现装置，其特征在于所述设定设备把所述变化次数少的所述部分图像数据，设定成与所述变化次数多的部分图像数据相比更高的层次水平。
9.如权利要求7或8所述的内容数据再现装置，其特征在于在所述第2检测设备检测所述被检测的各部分图像数据的变化点时，具有获取此变化点中的各副图像数据的图像获取设备；所述生成设备对应于所述获取的各部分图像数据，生成所述索引数据。
10.一种索引数据生成方法，其特征在于，包含获取步骤，用于获取至少包括有活动图像数据的内容数据；抽取步骤，从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测步骤，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测步骤，用所述第1检测步骤从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定步骤，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；以及生成步骤，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据。
11.一种内容数据再现方法，其特征在于，包含获取步骤，用于获取至少包括有活动图像数据的内容数据；抽取步骤，是从表示所述已获取的活动图像数据的主图像数据中抽取随时间进行而改变的、辅助说明此主图像数据的副图像数据；第1检测步骤，用于检测表示所述抽取的副图像数据图像变化部分的部分图像数据；第2检测步骤，在用所述第1检测设备从1个或2个副图像数据至少检测了2个以上的所述部分图像数据的情况下，对检测的各部分图像数据的变化次数和所述已检测出的各部分图像数据中的变化点进行检测；设定步骤，以所述检测的各部分图像数据的变化次数为基础，对各部分图像数据的层次水平进行设定；生成步骤，基于所述设定的各部分图像数据的层次水平和所述检测的各部分图像数据的变化点，生成表示所述内容数据中多个画面索引的索引数据；以及再现步骤；以所述生成的索引数据为基础，将所述内容数据进行再现。
全文摘要
数据记录再现装置100检测已抽取的字母数据的变化部位，在从1个或2个以上的字幕数据检测至少2个以上的变化部位的情况下，检测被检测的各变化部位的变化次数和被检测的各变化部位中的变化点。此外，所述数据记录再现装置100以被检测的各变化部位的变化次数为基础，设定各变化部位的层次水平，以设定的各变化部位的层次水平和被检测的各变化部位的变化点为基础，生成表示内容数据中的多个画面索引的索引数据，同时以此生成的索引数据为基础，再现其内容数据。
文档编号G11B27/28GK1606342SQ20041008526
公开日2005年4月13日 申请日期2004年10月8日 优先权日2003年10月7日
发明者堀内直明 申请人:日本先锋公司