数据处理方法和存储媒体及使计算机执行该方法的程序的制作方法

专利名称：数据处理方法和存储媒体及使计算机执行该方法的程序的制作方法
技术领域：
本发明涉及一种媒体内容数据处理方法、一种存储媒体以及一种程序，所有的这些都涉及诸如运动图像、视频节目或音频节目的连续音频可视数据(媒体内容)的观看、播放以及传送，其中，播放和传送媒体内容高亮度场景的提要或仅仅观众所希望的媒体内容的场景。
背景技术：
传统的媒体内容在存储媒体内容的独立文件的基础上被传统地播放、传送或存储。
如在日本未授权专利申请No.Hei-10-111872中所描述的，根据提取一个运动图像特定场景的方法，检测在两个运动图像的场景(此后称之为“场景分割”)之间变化。诸如开始帧的时间码、结束帧的时间码和所述场景关键字的附加数据被加到每个场景分割上。
作为一种替换方法，Carnegie Me11on大学(CMU)试图通过检测一个运动图像的场景分割、检测人的面孔或解释字幕和经过语音识别检测一个索引短语概括一个运动图像[Mochael A.Smith和Takeo KANADE“经过图像和语言增强组合的视频剪辑和特性”CMU-CS-97-111，97年2月3日]。
当以每个文件为基础播放所述运动图像时，回顾所述运动图像的提要是不可能的。此外，即使当提取一个亮度场景或用户所希望的多个场景时，也必须从媒体内容的头开始搜索所述场景或所述多个场景。此外，在传送一个运动图像的情况下，一个文件的所有数据集都必须被传送，从而需要很长的传送时间。
根据在日本未授权专利申请No.Hei-10-111872中描述的方法，通过使用一个关键字能够提取多个场景，从而有助于提取用户所希望的场景。所述附加数据不包括所述场景之间的关系或联系。由于这个原因，所述方法在提取例如一个故事的子情节方面遇到很多困难。此外，当仅仅在一个关键字的基础上提取场景时，用户在获得对于在了解场景上下文非常重要的知觉方面遇到很多困难。因此，一个提要或高亮度场景的准备变得非常困难。
由CMU开发的方法能够概括一个运动图像。但是，这种概括导致了单一、固定模式的摘要。由于这个原因，将一个运动图像概括成需要不同播放时间的摘要，例如假设播放时间为三或五分钟的摘要是困难的。此外，概括用户所希望的例如选择包括一个特定字符的场景的运动图像也是困难的。

发明内容
本发明的一个目的是提供一种能够在媒体内容播放时间内仅仅选择、播放和只传送一个提要、一个高亮度场景或观众希望的场景的方法。
本发明的另一个目的是提供一种能够在用户所希望的时间周期内、在选择一个提要、高亮度场景或所希望的场景的时间处播放一个提要、一个高亮度场景或观众希望的场景的方法。
本发明的再一个目的是提供一种在用户所希望的时间段内，在传送媒体内容期间在用户请求下仅仅传送所述提要、高亮度场景集或用户所希望的场景的方法。
本发明的再一个目的是提供一种根据用户赖以和服务器建立通信的线路的业务量控制要传送的数据量的方法。
为了解决现有技术存在的问题，根据本发明的一个方面，提供了一种数据处理方法，包括步骤输入以分级结构描述的上下文描述数据，其中，所述分级结构包括最高分级层，在该层中，随时间变化的媒体内容和所述媒体内容的上下文形成为表示媒体内容的一个单一元素；最低分级层，在该层中，一个元素表示通过分割所述媒体段形成的一个媒体内容并且该元素作为属性指定给与相应媒体段和得分相关的时间信息，其它的分级层包括直接或间接与至少一个媒体段相关并表示多个场景或一组场景的元素；在指定给所述上下文描述数据的得分的基础上，从所述媒体内容中选择至少一个段。
所述数据处理方法最好还包括一个提取步骤，用于从所述媒体内容中提取仅仅与在所述选择步骤中选择的段对应的数据。
所述数据处理方法最好还包括一个播放步骤，用于从所述媒体内容中仅仅播放与在选择步骤中选择的段对应的数据。
所述得分最好表示媒体内容的上下文重要性。
所述得分最好表示从一个关键字的角度出发感兴趣的场景上下文重要程度，在所述选择步骤中选择一个场景，在该场景中，从至少一个角度出发使用所述得分。
所述媒体内容最好对应于视频数据或音频数据。
所述媒体内容最好对应于包括相互同步的视频数据和音频数据的数据。
所述上下文描述数据最好描述视频数据或音频数据的的结构。
所述上下文描述数据最好描述视频数据集和音频数据集每一个的结构。
在所述选择步骤中，最好参考与视频数据或音频数据相关的上下文描述数据选择一个场景。
所述选择步骤最好包括用于通过参考视频数据的上下文描述数据选择一个视频数据的场景的视频选择步骤或用于通过参考音频数据的上下文描述数据选择一个音频数据的场景的音频选择步骤。
所述选择步骤最好包括一个用于通过参考视频数据的上下文描述数据选择一个视频数据的场景的视频选择步骤，和用于通过参考音频数据的上下文描述数据选择一个音频数据场景的音频选择步骤。
将在提取步骤中被提取的数据最好对应于视频数据或音频数据。
将在提取步骤中被提取的数据最好对应于包括彼此相互同步的视频数据和音频数据的数据。
所述媒体内容最好包括在一个单一时间段内的多个不同媒体数据集。此外，所述数据处理方法最好包括一个用于接收具有在其中描述的媒体内容的数据结构的结构描述数据和在要用于将数据确定为选择目标的条件的基础上确定所述媒体数据集中的哪一个要取作为选择目标的确定步骤。此外，在所述选择步骤中，通过参考所述结构描述数据仅仅从已经被所述确定装置确定为选择目标的数据集中选择数据。
所述数据处理方法最好还包括用于接收具有在其中描述的媒体内容的数据结构的结构描述数据并在要用于将数据确定为选择目标的确定条件的基础上确定是仅仅将视频数据、仅仅将音频数据或者是视频数据和音频数据两者作为选择目标的确定步骤。此外，在所述选择步骤中，通过参考所述结构描述数据仅仅从已经在确定步骤中被确定为选择目标的数据集中选择数据。
所述媒体内容最好包括在一个单一时间段内的多个不同的媒体数据集。最好，在所述确定步骤中，接收具有在其中描述的所述媒体内容的数据结构的结构描述数据并确定视频数据集和/或音频数据集中的哪一个被取作为选择目标。此外，在所述选择步骤中，通过参考所述结构描述数据仅仅从已经在所述确定步骤中被确定为选择目标的数据集中选择数据。
与相应媒体段相关的代表性数据最好作为属性附加到最低分级层中上下文描述数据的各个元素上；在所述选择步骤中，选择与所述媒体段相关的全部数据和/或与相应媒体段相关的代表性数据。
与所述媒体段相关的所述全部数据最好对应于媒体数据，所述媒体内容最好包括在一个单一时间段内的多个不同媒体数据集，所述数据处理方法最好还包括一个确定步骤，用于接收具有在其中描述的媒体内容的数据结构的结构描述数据和确定所述媒体数据集和/或代表性数据集中的哪一个要取用做选择目标。另外，在所述选择步骤中，通过参考所述结构描述数据仅仅从已经在确定步骤中被确定为选择目标的数据集中选择数据。
所述数据处理方法最好包括一个确定步骤，用于接收具有在其中描述的媒体内容的数据结构的结构描述数据并在要用于将数据确定为选择目标的确定条件的基础上确定是仅仅与所述媒体段相关的全部数据、还是仅仅与相应媒体段相关的全部数据、仅仅与相应媒体段相关的代表性数据、或者与相应媒体段相关的全部数据和代表性数据两者被取作为选择目标。此外，在所述选择步骤中，通过参考所述结构描述数据仅仅从已经在确定步骤中被确定为选择目标的数据集中选择数据。
所述确定条件最好包括接收端的能力、传送线的业务量、用户的请求和用户的爱好或它们的相互组合等中的至少一个。
所述数据处理方法最好还包括一个形成步骤，用于根据在提取步骤中提取的数据形成媒体内容的数据流。
所述数据处理方法最好还包括一个传送步骤，用于经过一条线路传送在所述形成步骤中形成的数据流。
所述数据处理方法最好还包括一个记录步骤，用于将在所述形成步骤中形成的数据流记录到一个数据记录媒体上。
所述数据处理方法最好还包括一个数据记录媒体管理步骤，用于根据可以得到的所述数据记录媒体的盘空间重新组织已经被记录的媒体内容和/或要新记录的媒体内容。
所述数据处理方法最好还包括一个存储内容管理步骤，用于根据所述媒体内容的存储周期重新组织存储在所述数据记录媒体中的媒体内容。
根据本发明的再一个方面，提供了一种计算机可读的记录媒体，在该记录媒体上以可由计算机执行的程序的形式记录前述数据处理方法。
根据本发明的再一个方面，提供了一个程序，用于使计算机执行前述数据处理方法。
在本发明的数据处理方法、记录媒体和程序中，选择装置(与选择步骤对应)在作为属性附加到上下文描述数据的最低分级层或其它分级层的得分的基础上通过使用包括利用输入装置(对应于输入步骤)获得的最高分级层、最低分级层和其它分级层的分级层的上下文描述数据从所述媒体内容中选择至少一个段。
所述提取装置(对应于所述提取步骤)最好仅仅提取与在所述选择装置(对应于所述选择步骤)中选择的一个段相关的数据。
所述播放装置(对应于所述播放步骤)最好仅仅播放与在所述选择装置(对应于所述选择步骤)中选择的所述段相关的数据。
因此，可以从所述媒体内容中任意选择更加重要的场景，和如此选择的重要段能够被提取或播放。此外，所述上下文描述数据假设为一个分级层包括所述最高分级层、最低分级层和其它分级层。可以以任意单位，例如，在每章的基础上或在每节的基础上，选择场景。可以使用各种选择格式，诸如某些章节的选择和从所述章节中删除不必要的段落。
在本发明的数据处理方法、记录媒体和程序中，一个得分表示媒体内容上下文的重要程度。只要设置了这个得分去选择重要的场景，就可以例如很容易地制备一个节目的重要场景的集合。
此外，只要设置了所述得分去表示从关键字的角度出发感兴趣的场景的重要性，通过确定一个关键字可以高度灵活地选择多个段。例如，只要从一个特定的观点出发确定了诸如一个角色或一个事件的关键字，那么，只有用户所希望的场景才能够被选择。
在本发明的数据处理方法、记录媒体和程序中，所述媒体内容对应于视频数据和/或音频数据，所述上下文描述数据描述各视频数据集和/或音频数据集的结构。所述视频选择装置(对应于所述视频选择步骤)通过参考与视频数据相关的上下文描述数据选择一个场景。所述音频选择装置(对应于所述音频选择步骤)通过参考与音频数据相关的上下文描述数据选择一个场景。
此外，所述提取装置(对应于所述提取步骤)提取视频数据和/或音频数据。
从视频数据和/或音频数据中可以选择一个重要的段，可以提取与如此选择的段相关的视频数据和/或音频数据。
在本发明的数据处理方法、记录媒体和程序中，在所述媒体内容包括多个在一个单一时间段内的不同数据集的情况下，所述确定装置(对应于所述确定步骤)在要用于将数据确定为选择目标的确定条件的基础上确定哪一个媒体数据集要取作为选择目标。所述选择装置(对应于所述选择步骤)仅仅从已经被所述确定装置(对应于所述确定步骤)确定的数据中选择数据集。
所述确定条件包括接收端能力、传送线的业务量、用户的请求和用户的爱好或它们之间的相互组合等中的至少一个。例如，接收端的能力对应于视频显示能力、音频播放能力或压缩数据被解压缩的速率。传送线的业务量对应于所述线路的阻塞程度。
在媒体内容被分割为例如多个信道和多个层以及不同的媒体数据集被指定给所述信道和所述层的情况下，所述确定装置(对应于所述确定步骤)能够根据所述确定条件确定与一个最佳段相关的媒体数据。因此，所述选择装置(对应于所述选择步骤)能够选择适当数量的媒体数据。在多个信道和层被用做最佳段的情况下，具有标准分辨率的视频数据可以被指定给信道-1/层-1以传输运动图像，具有高分辨率的视频数据可以被指定给信道-1/层-2。另外，立体声数据可以被指定给信道-1以传输声音数据，单声道数据可以被指定给信道-2。
在本发明的数据处理方法、记录媒体和程序中，所述确定装置(对应于所述确定步骤)在所述确定条件的基础上确定仅仅是视频数据、仅仅是音频数据或者是视频和音频数据两者要取作为选择目标。
在所述选择装置(对应于所述选择步骤)选择一个段之前，所述确定装置(对应于所述确定步骤)确定哪一个媒体数据集要取作为一个选择目标或仅仅是视频数据、音频数据或视频数据和音频数据两者要取作为一个选择目标。结果是可以缩短所述选择装置(对应于所述选择步骤)选择一个段所需要的时间。
在本发明的数据处理方法、记录媒体和程序中，代表性数据被作为属性附加到最低分级层中上下文描述数据的各个元素上，所述选择装置选择与一个媒体段相关的全部数据和/或与相应媒体段相关的代表性数据。
在本发明的数据处理方法、记录媒体和程序中，与一个媒体段相关的全部数据对应于媒体数据，所述媒体内容包括在一个单一时间段内的多个不同媒体数据集。所述确定装置(对应于所述确定步骤)在结构描述数据和确定条件的基础上确定所述媒体数据集和/或代表性数据集中的哪一个要取作为选择目标。
所述媒体内容例如被分割为多个信道和多个层，不同的媒体数据集被指定给所述信道和层。所述确定装置能够根据这些确定条件确定与最佳段(信道或层)相关的媒体数据。
在本发明的数据处理方法、记录媒体和程序中，所述确定装置(对应于所述确定步骤)在所述确定条件的基础上确定仅仅是与相应媒体段相关的全部数据、仅仅是与相应媒体段相关的代表性数据或者是与相应媒体段相关的全部数据和代表性数据要取作为选择目标。
在所述选择装置(对应于所述选择步骤)选择一个段之前，所述确定装置(对应于所述确定步骤)确定哪一个媒体数据集要取作为选择目标或仅仅是所述全部数据或仅仅是所述代表性数据、或所述全部数据和所述代表性数据两者要取作为选择目标。结果是，可以缩短所述选择装置(对应于所述选择步骤)选择一个段所需的时间。
在本发明的数据处理方法、记录媒体和程序中，形成装置(对应于所述形成步骤)根据由所述提取装置(对应于所述提取步骤)提取的数据形成一个媒体内容的数据流。因此，可以准备用于描述对应于如此选择的段的一段内容的数据流或文件。
在本发明的数据处理方法、记录媒体和程序中，所述传送装置(对应于所述传送步骤)经过一条路线传送由所述形成装置(对应于所述形成步骤)形成的数据流。因此，可以将仅仅与重要段相关的数据传送给所述用户。
在本发明的数据处理方法、记录媒体和程序中，所述数据记录媒体管理装置(对应于所述数据记录媒体管理步骤)根据所述数据记录媒体可用盘空间重新组织目前为止已经存储的媒体内容和/或要新存储的媒体内容。特别是，在本发明的数据处理方法、记录媒体和程序中，所述存储内容管理装置(对应于所述存储内容管理步骤)根据所述内容的存储时段重现组织存储在所述数据记录媒体中的媒体内容。因此，在所述数据记录媒体中可以存储大量的媒体内容。
本发明的数据处理装置包括输入装置，用于输入上下文描述数据，所述上下文描述数据具有数据结构部分，描述表示由多个场景构成的媒体内容的各场景的多个段；属性部分，包括描述表示所述场景的分割的时间信息，由表示场景内容的至少一个关键字所表示的观点、表示基于观点的各个段的上下文的重要程度的得分、以及表示与至少一个相关段的链接情况的链接信息，这些属性信息是所述媒体内容的属性信息；选择装置，用于基于所述属性部分所描述的所述得分和所述时间信息，从所述数据结构部分选择段。
本发明的数据处理方法包括以下步骤输入步骤，用于输入具有数据结构部分和属性部分双方的上下文描述数据，所述数据结构部分，描述表示由多个场景构成的媒体内容的各场景的多个段；所述属性部分，包括描述表示所述场景的分割的时间信息，由表示场景内容的至少一个关键字所表示的观点、表示基于观点的各个段的上下文的重要程度的得分、以及表示与至少一个相关段的链接情况的链接信息、这些属性信息是所述媒体内容的属性信息；选择步骤，用于基于所述属性部分所描述的所述得分和所述时间信息，从所述数据结构部分选择段。


图1的框图示出了根据本发明第一实施例的数据处理方法；图2示出了根据所述第一实施例的上下文描述数据的结构；图3示出了根据所述第一实施例在计算机中使用XML描述上下文描述数据的文档类型定义(DTD)的例子的一部分，以及根据所述第一实施例使用DTD描述的上下文描述数据的例子的一部分；图4-9示出了图3所示例子的上下文描述数据的接续部分；图10示出了通过向图3-9所示上下文描述数据附加代表性数据形成的XML文件的例子的一部分，以及用于在计算机中描述上下文描述数据的、以可扩充标记语言(XML)描述的DTD的例子的一部分；图11-21示出了图10所示上下文描述数据的接续部分；图22用于描述根据所述第一实施例指定重要程度的方法；图23的流程图示出了根据第一实施例与所述选择步骤相关的处理；图24的框图示出了根据第一实施例的提取步骤的构成；图25的流程示出了根据第一实施例在所述提取步骤中由去多路复用装置执行的处理；图26的流程示出了根据第一实施例在所述提取步骤中由视频剪辑装置执行的处理；图27示出了MPEG-1视频数据流的结构；图28的流程示出了根据第一实施例在所述提取步骤中由音频剪辑装置执行的处理；图29示出了所述MPEG-1音频数据流的AAU的结构；图30的框图示出了根据第一实施例的媒体处理方法的应用；图31示出了根据本发明第二实施例的重要程度的处理；图32的流程示出了根据所述第二实施例与所述选择步骤相关的处理；图33的流程示出了根据本发明第三实施例与所述选择步骤相关的处理；图34用于描述根据本发明第四实施例指定重要程度的方法；图35的流程示出了根据本发明第四实施例与所述选择步骤相关的处理；图36的框图示出了根据本发明第五实施例的媒体处理方法，图37示出了根据本发明第五实施例结构描述数据的结构；
图38示出了根据本发明第五实施例上下文描述数据的结构；图39示出了根据第五实施例在计算机中使用XML描述结构描述数据的文档类型定义(DTD)的例子的一部分，以及根据本发明第五实施例一个XML文件的一个例子；图40示出了根据第五实施例在计算机中使用XML描述所述上下文描述数据的文档类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML文件的例子的前一半；图41-45示出了图40所示上下文描述数据的接续部分；图46示出了根据第五实施例在选择步骤输出的一个例子；图47的框图示出了根据第五实施例的提取步骤；图48的流程示出了根据第五实施例在所述提取步骤中由接口装置执行的处理；图49示出了根据第五实施例在所述选择步骤中当在所述提取步骤中提供的所述接口装置转换所述输出时所产生结果的一个例子；图50的流程示出了根据第五实施例在所述提取步骤中由所述去多路复用装置执行的处理；图51的流程示出了根据第五实施例在所述提取步骤中由所述视频剪辑装置执行的处理；图52的流程示出了根据第五实施例在所述提取步骤中由所述音频剪辑装置执行的处理；图53的另一个流程图示出了根据第五实施例在所述提取步骤中由所述视频剪辑装置执行的处理；图54的框图示出了根据本发明第六实施例的数据处理方法；图55的框图示出了根据第六实施例的形成步骤和传送步骤；图56的框图示出了根据本发明第七实施例的媒体处理方法；图57示出了根据第五实施例上下文描述数据的结构；图58示出了根据第七实施例在计算机中使用XML描述上下文描述数据的文档类型定义(DTD)的例子的一部分，以及根据第七实施例使用XML描述的上下文描述数据的例子的一部分；图59-66示出了图58所示上下文描述数据的接续部分；图67示出了通过将代表性数据附加到图58-66所示上下文描述数据上形成的XML文件的例子的一部分，以及在计算机中以用于描述所述上下文描述数据的XML描述的DTD的例子的一部分；图68-80示出了图67所示上下文描述数据的接续部分；图81的流程示出了根据第七实施例与所述选择步骤相关的处理；图82的框图示出了根据第七实施例的媒体处理方法的应用；图83的流程示出了根据本发明第八实施例与所述选择步骤相关的处理；图84的流程示出了根据本发明第九实施例与所述选择步骤相关的处理；图85的流程示出了根据本发明第十实施例与所述选择步骤相关的处理；图86的框图示出了根据本发明第十二实施例的数据处理方法；图87示出了根据本发明第十二实施例上下文描述数据的结构；图88示出了根据第五实施例在计算机中使用XML描述上下文描述数据的文档类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML文件例子的一部分；图89-96示出了图88所示上下文描述数据的接续部分；图97的框图示出了根据本发明第十三实施例的数据处理方法；图98的框图示出了根据本发明第十四实施例的数据处理方法；图99的框图示出了根据本发明第十五实施例的数据处理方法；图100的框图示出了根据本发明第十六实施例的数据处理方法；图101的框图示出了根据本发明第十七实施例的数据处理方法；图102示出了多个信道和多个层；图103示出了使用XML描述结构描述数据的文档类型定义(DTD)的例子的一部分，以及在DTD中描述的结构描述数据的例子的一部分；图104示出了在图103中所示结构描述数据的接续部分；图105的流程示出了根据本发明第十七实施例与在例1中的确定步骤相关的处理；图106的流程示出了根据第十七实施例在例1的确定步骤中要响应用户请求而执行的确定处理；图107的流程示出了根据第十七实施例在例1的确定步骤中与视频数据相关的确定处理；图108的流程示出了根据第十七实施例在例1的确定步骤中与声音数据相关的处理；图109的流程示出了根据本发明第十七实施例与例2中的确定步骤相关的处理的前一半；图110的流程示出了根据本发明第十七实施例与例2中的确定步骤相关的处理的后一半；图111的流程示出了根据本发明第十七实施例与在例3中的确定步骤相关的处理；图112的流程示出了根据第十七实施例在例3的确定步骤中与视频数据相关的确定处理；图113的流程示出了根据第十七实施例在例3的确定步骤中与声音数据相关的确定处理；图114的流程示出了根据本发明第十七实施例与在例4中的确定步骤相关的处理的前一半；图115的流程示出了根据本发明第十七实施例与在例4中的确定步骤相关的处理的后一半；图116的流程示出了根据第十七实施例在例4的确定步骤中要响应一个用户请求而执行的确定处理；图117的流程示出了根据第十七实施例在例4的确定步骤中与视频数据相关的确定处理；图118的流程示出了根据第十七实施例在例4的确定步骤中与声音数据相关的确定处理；图119的流程示出了根据第十七实施例与在例5中的确定步骤相关的处理的前一半；图120的流程示出了根据第十七实施例与在例5中的确定步骤相关的处理的后一半；图121的流程示出了根据第十七实施例在例5的确定步骤中要响应一个用户请求而执行的确定处理；图122的框图示出了根据本发明第十八实施例的数据处理方法；图123的框图示出了根据本发明第十九实施例的数据处理方法；
图124的框图示出了根据本发明第二十实施例的数据处理方法；图125的框图示出了根据本发明第二十一实施例的数据处理方法；图126的框图示出了根据本发明第二十二实施例的数据处理方法；图127示出了所述上下文数据和所述结构描述数据合并到其中的DTD的例子，以及XML文件的例子；图128-132示出了图127所示XML文件的接续部分；图133示出了根据本发明第十一实施例上下文描述数据的结构；图134示出了在第十一实施例中使用的一个观点(view point)；图135示出了根据第十一实施例的重要程度；图136示出了用于通过使用要用于在计算机中表达上下文描述数据的XML描述第十一实施例的上下文描述数据的DTD的一个例子，以及以XML描述的一部分上下文描述数据的例子；图137-163示出了图136所示上下文描述数据的接续部分；图164示出了用于通过使用要用于在计算机中表达所述上下文数据的XML描述第十一实施例的所述上下文描述数据的DTD的另一个例子，以及以XML描述的一部分上下文描述数据的例子；图165-196示出了图164所示上下文描述数据的接续部分；图197示出了根据本发明第十一实施例的上下文描述数据的另一种结构；图198示出了用于通过使用要用于在计算机中表达所述上下文描述数据的XML描述第十一实施例的所述上下文描述数据(对应于图197)的DTD的一个例子，以及以XML描述的一部分上下文描述数据的例子；图199-222示出了图164所示上下文描述数据的接续部分；图223示出了用于通过使用要用于在计算机中表达所述上下文描述数据的XML描述第十一实施例所述上下文描述数据(对应于图197)的DTD的一个例子，以及以XML描述的一部分上下文描述数据的一个例子；图224-252示出了图164所示上下文描述数据的接续部分；图253示出了在上下文描述数据的程序表达中观点的链接；图254-256示出了在上下文描述数据的程序表达中观点表和观点的链接；图257-260示出了由数据结构部分和属性部分形成的上下文描述数据的数据结构；图261-263示出了由上下文描述数据转换方法的第一实施例形成的第二上下文描述数据的数据结构；图264示出了原始上下文描述数据和一个例子<段>和<关键字，优先级>；图265示出了由上下文描述数据转换方法的第一实施例通过转换图264所示的原始上下文描述数据形成的第二上下文描述数据的数据结构；图266示出了由上下文描述数据转换方法的第二实施例形成的第二上下文描述数据的数据结构；图267示出了由上下文描述数据转换方法的第二实施例通过转换图264所示的原始上下文描述数据形成的第二上下文描述数据的数据结构；图268示出了由上下文描述数据转换方法的第三实施例形成的第二上下文描述数据的数据结构；图269示出了由上下文描述数据转换方法的第三实施例形成的第二上下文描述数据的另一种数据结构；和图270示出了由上下文描述数据转换方法的第三实施例通过转换图264所示的原始上下文描述数据形成的第二上下文描述数据的数据结构。
具体实施例方式
下面将结合附图描述本发明的实施例。
第一实施例下面将描述本发明的第一实施例。在该实施例中，MPEG-1系统数据流的运动图像被用做所述媒体内容。在这种情况下，一个媒体段对应于一个单一场景分割，一个得分表示感兴趣场景上下文重要性的客观程度。
图1的框图示出了根据本发明第一实施例的数据处理方法。在图1中，标号101指出所述选择步骤；标号102指出所述提取步骤。在选择步骤101中，从所述上下文描述数据中选择媒体内容的一个场景，并输出所述场景的开始时间和结束时间。在提取步骤102中，提取与在选择步骤101中输出的开始时间和结束时间规定的一个媒体内容段相关的数据。
图2示出了根据所述第一实施例的所述上下文描述数据的结构。在该实施例中，所述上下文是根据树结构描述的。树结构内的元素是按照年月顺序从左向右排列的。在图2中，被指定为<内容(contents)>的树的根表示单个部分的内容，所述内容的题目被作为属性指定给所述根。
利用<节(section)>指定<程序(program)>的子级。表示感兴趣场景上下文重要程度的优先级被作为属性附加到所述元素<节>上。所述重要程度假设是从1到5的整数值，其中，1表示最小重要程度和5表示最大重要程度。
利用<节>或<段(segment)>指定<节>的子级。这里，元素<节>可以被用做另一个子<节>的子<节>。但是，单一元素<节>不能具有子<节>和子<段>的混合物。
一个元素<段>表示一个单一的场景分割，并且，指定给它的优先级与指定给其母<节>的优先级相同。附加给<段>的属性是表示开始时间的“开始”和表示结束时间的“结束”。使用在市场上可以得到的软件或经过网络可以得到的软件可以对场景进行切割。另外，也可以使用人工对所述场景进行切割。虽然在当前实施例中是按照一个场景分割的开始时间和结束时间表示时间信息的，但是，当按照感兴趣场景的开始时间和该感兴趣场景的持续时间表示时间信息时也能够实现类似的结果。在这种情况下，感兴趣场景的结束时间是通过将所述持续时间加到开始时间上获得的。
在诸如一个电影故事的情况[KIK16]下，通过使用在多层分级层内的元素<节>，在所述上下文描述数据的基础上可以描述所述故事的章、节和段落。在另一个例子中，当描述棒球游戏时，在最高分级中的元素<节>可以被用于描述局，它们的子<节>可以被用于描述半局。另外，所述元素<节>的第二代<节>可以被用于描述各棒球手的挥棒，所述元素<节>的第三代<节>还可以被用于描述每次投掷、两次投掷之间的时间段和击球结果。
具有这种结构的上下文描述数据在计算机中可以使用例如可扩充标记语言(XML)表示。所述XML是一种数据描述语言，它的标准化是万维网联盟(World Wide Web Consortium)所追求的目标。推荐版1.0是在1998年2月10推荐的。XML1.0版的说明可以从http//www.w3.org/TR/1998/REC-xml-19980210中获得。图3到图9示出了根据本发明用于使用XML描述所述上下文描述数据的文档类型定义(DTD)的一个例子，和使用DTD描述的上下文描述数据的一个例子。图10到图19示出了通过将诸如代表性图像(即视频数据)和关键字(音频数据)的媒体段的代表性数据附加到图3到图9所示上下文描述数据上所准备的上下文描述数据的一个例子和用于使用XML描述所述上下文描述数据的DTD的一个例子。
下面将描述与选择步骤101相关的处理。与所述选择步骤101相关的处理特别涉及上下文描述数据的格式和将一个得分指定给每个场景的上下文内容的方法。在当前的实施例中，与所述选择步骤101相关的处理仅仅是针对具有子<段>的元素<节>执行的，如图22所示(图23所示的步骤S1、S4和S5)。选择其优先级超过某个阈值的元素<节>(图23所示的步骤S2)，并输出如此选择的元素<节>的开始时间和结束时间(图23所示的步骤S3)。指定给具有子<段>的所述元素<节>的优先级对应于所述内容内所有元素<节>当中共享的重要程度，所述元素<节>中的每一个都具有子<节>。具体地说，图22中被虚线包围的元素<节>当中共享的重要程度设置为优先级。指定给除了前面元素<节>以外的元素<节>和<段>的优先级可以任意设置。所述重要程度并不是必须设置从而假设一个唯一值，相同的重要程度可以被指定给不同的元素。图23的流程示出了根据第一实施例与所述选择步骤101相关的处理。考虑到如此选择的元素<节>，由所述元素<节>表示的场景的开始时间和结束时间可以根据如此选择的元素<节>的子节的元素<段>来确定。输出如此确定的开始时间和结束时间。
虽然在当前实施例中所述选择是针对其中的每一个都具有子<段>的元素<节>执行的，但是，所述选择也可以针对元素<段>执行。在这种情况下，优先级对应于在所述内容内所有元素<段>当中共享的重要程度。另外，选择也可以针对来自不具有子<段>的较高分级的元素<节>当中相同分级的元素<节>执行。具体地说，所述选择可以针对在从给定母<内容>或给定子<段>开始计数的相同路径号中的元素<节>执行。
现在参考图24描述与所述提取步骤102相关的处理。图24的框图示出了根据所述第一实施例的提取步骤102。如图24所示，根据该第一实施例的提取步骤102是由去多路复用装置601、视频剪辑装置602和音频剪辑装置603实现的。在当前的实施例中，MPEG-1系统数据流被取作为媒体内容。所述MPEG-1数据流是通过将一个视频数据流和一个音频数据流多路复用成一个单一数据流形成的。去多路复用装置601将所述视频数据流和音频数据流从被多路复用的系统数据流中分离出来。视频剪辑装置602接收如此分离的视频数据流和在所述选择步骤101中选择的一个段，并从所接收的视频数据流中仅仅输出与如此选择的段相关的数据。音频剪辑装置603接收分离的音频数据流和在选择步骤101中所选择的所述段，并从所接收的音频数据流中仅仅输出与所选择段相关的数据。
下面参考附图描述由去多路复用装置601执行的处理。图25的流程示出了由去多路复用装置601执行的处理。多路复用所述MPEG-1系统数据流的方法符合国际标准ISO/IEC IS 11172-1标准化。借助于将所述视频和音频数据流分割成称之为包的适当长度的数据流和将诸如标题的附加信息附加到每个包上，将视频数据流和音频数据流多路复用到一个包中。多个视频数据流和多个音频数据流也可以以相同的方式被多路复用到一个单一的信号中。在每个包的标题中，都描述了一个用于将一个包识别为视频数据流或音频数据流的数据流ID和一个用于使视频数据与所述音频数据同步的时间戳。所述数据流ID不局限用于将一个包识别为视频数据流或音频数据流。当多个视频数据流被多路复用时，所述数据流ID可以用于从多个视频数据流中识别具有感兴趣包的视频数据流。类似地，当多个音频数据流被多路复用时，所述数据流ID可以用于从所述多个音频数据流中识别具有感兴趣包的音频数据流。在所述MPEG-1系统中，多个包被处理成一个单一的包，和用作用于执行同步播放的基准时间的多路复用速率和附加信息被作为标题附加到所述包上。此外，与被多路复用的视频和音频数据流的数量相关的附加信息作为系统标题附加到所述头一个包上。去多路复用装置601从所述头一个包的系统标题中读出被多路复用的视频和音频数据流的数量(S1和S2)并保证用于存储各数据流的数据集的数据位置(S3和S4)。然后，去多路复用装置601检查每个包的数据流ID并将包括在所述包中的数据写入到存储由所述数据流ID规定的数据流的数据位置中(S5和S6)。所有的包都被进行上述处理(S8、S9和S10)。在所有的包都被进行了上述处理之后，以每个数据流为基础将视频数据流输出给视频剪辑装置602，音频数据流以相同的方式被输出给音频剪辑装置603(S11)。
下面将描述视频剪辑装置602的操作。图26的流程示出了由视频剪辑装置602执行的处理。所述MPEG-1系统数据流是以国际标准ISO/IEC IS11172-2标准化的。如图27所示，所述视频数据流包括一个顺序层、一个图像组层(GOP)、一个图像层、一个位片层、一个宏数据块层和一个数据块层。在是最小单元的GOP层的基础上进行随机存取，包括在所述图像层中的每个层对应于一个单一帧。视频剪辑装置602以每个GOP为基础处理数据。用于对输出帧的数量进行计数的计数器C被初始化为0(S3)。首先，视频剪辑装置602确定所述视频数据流的标题对应于所述顺序层的标题(S2和S4)并存储包括在所述标题中的数据(S5)。接着，所述视频剪辑装置输出所述数据。所述顺序层的标题可以出现在后续处理期间。除非所述值涉及与一个量化矩阵有关，否则，不允许改变所述标题的值。因此，每当输入所述顺序标题时，输入标题的值与所存储标题的值进行比较(S8和S14)。如果所输入的标题在除了与所述量化矩阵相关的值以外的值方面与所存储的标题不同，所输入的标题要认为是错误的(S15)。接着，所述视频剪辑装置602检测输入数据的GOP层的标题(S9)。在所述GOP层的标题中描述了与一个时间码相关的数据(S10)，该时间码描述从所述顺序的标题开始已经经过的时间段。视频剪辑装置602将所述时间码与选择步骤101输出的段进行比较(S1)(S11)。如果所述时间码被确定为不包括在所述段内，则视频剪辑装置602丢弃在所述顺序层的下一个GOP层之前出现的所有数据集。相反，如果所述时间码包括在所选择的段中，那么，视频剪辑装置602输出在所述顺序层的下一个GOP层之前出现的所有数据集(S13)。为了保证已经输出的数据集和当前正在输出的数据集的连续性，所述GOP层的时间码必须改变(S12)。利用计数器C计算所述GOP层的时间码要改变成的值。计数器C保留已经输出的帧的数量。根据等式1，显示当前正在输出的所述GOP层的标题帧的时间Tv是从计数器C以及从在所述顺序标题中描述并表示每秒要显示的帧数的图像速率“Pr”计算出来的。
Tv=Cpr---(1)]]>“Tv”以1/每秒为单位指定一个值，然后，所述Tv的值根据MPEG-1的时间码格式进行转换。如此转换的值设置在要在这个时间输出的所述GOP层的时间码中。当输出与所述GOP层相关的数据时，输出图像层的数量被加到所述计数器C的值上。重复执行前面描述的处理，直到所述的视频段结束(S7和S16)。在所述去多路复用装置601输出多个视频数据流的情况下，对每一个视频数据流都执行上述处理。
下面将描述音频剪辑装置603的处理。图28的流程涉及由所述音频剪辑装置603执行的处理。所述MPEG-1音频数据流是根据国际标准ISO/IEC IS11172-3标准化的。所述音频数据流是由一系列被称之为音频存取单元(AAU)的帧形成的。图29示出了一个AAU的结构。所述AAU是音频数据能够被单独译码的最小单元，它包括给定数量的取样数据集Sn。单个AAU的播放时间可以根据所述AAU的表示传输速率的位速率“br”、取样频率“Fs”和位数量L来计算。首先，检测包括在所述音频数据流中的AAU的标题(S2和S5)，借此以获得一个单一AAU的所述位数量L。进而，在所述AUU的标题中描述所述位速率“br”和取样频率Fs。根据等式2计算一个单一AAU的取样数量Sn。
Sn=L×Fsbr---(2)]]>根据等式3计算一个单一AAU的播放时间。
Tu=SnFs=Lbr---(3)]]>只要计算了Tu的值，通过对所述AAU计数可以获得从所述数据流的标题开始已经经过的时间。所述音频剪辑装置603对已经出现的AAU的数量计数并计算从所述数据流的标题开始已经经过的时间(S7)。如此计算的时间与在选择步骤中输出的段相比较(S8)。如果所述AAU出现的时间包括在所选择的段内，所述音频剪辑装置603输出与那个AAU相关的所有数据集(S9)。相反，如果所述AAU出现的时间没有包括在所选择的段内，所述音频剪辑装置603将丢弃与所述AAU相关的数据集。重复执行前述处理直到所述音频数据流结束为止(S6和S11)。当去多路复用装置601输出多个音频数据流时，对所述音频数据流中的每一个都执行前述处理。
如图30所示，在提取步骤102中输出的视频数据流被输入给视频播放装置，在提取步骤102中输出的音频数据流被输入给音频播放装置。所述视频数据流和音频数据流被同步播放，借此能够播放媒体内容的提要或高亮度场景。另外，如此产生的视频和音频数据流被多路复用，借此能够准备与所述媒体内容的提要或所述媒体内容高亮度场景集合相关的MPEG-1系统数据流。
第二实施例下面将描述本发明的第二实施例。该第二实施例仅仅在与选择步骤相关的处理方面不同于第一实施例。
下面将参照附图描述根据第二实施例与选择步骤101相关的处理。在根据第二实施例的选择步骤101中，利用了指定给范围从最高分级的<节>到最低<段>的所有元素的优先级值。指定给每个元素<节>和<段>的优先级表示上下文重要性的客观程度。下面参考图31描述与选择步骤101相关的处理。在图31中，标号1301表示包括在所述上下文描述数据中最高分级中的多个元素<节>中的一个；1302表示元素<节>1301的一个子元素<节>；1303表示元素<节>1302的一个子元素<节>；1304表示子元素<节>1303的一个子元素<段>。在根据第二实施例的选择步骤101中，计算出指定给从所述最高分级的叶<段>延伸到它的祖先<节>的路径的所有优先级值的算术平均值。当所述路径的算术平均值超过一个阈值时，选择所述元素<段>。在图28所示的例子中，计算元素<段>1304、<节>1303、<节>1302和<节>1301的属性的算术平均值“pa”、即它们的属性优先级值p4、p3、p2和p1的算术平均值。所述算术平均值“pa”是根据等式4计算的。
pa=p1+p2+p3+p44---(4)]]>如此计算的“pa”与所述阈值相比较(S1和S2)。如果“pa”超过所述阈值，选择<段>1304(S3)，与<段>1304的“开始”和“结束”相关的属性值作为所选择场景的开始时间和结束时间输出(S4)。所有的元素<段>都进行前述处理(S1和S6)。图32的流程示出了根据该第二实施例与选择步骤101相关的处理。
在该第二实施例中，计算从指定给最低分级的所述<段>的优先级值直到指定给最高优先级的祖先<节>的优先级值的算术平均值，并在如此计算的算术平均值的基础上选择所述叶<段>。另外，可以计算指定给具有子<段>的元素<节>的优先级值到指定给最高分级的祖先<节>的优先级值的算术平均值，通过比较如此计算的算术平均值和所述阈值，可以选择具有所述子<段>的元素<节>。类似地，在另一个分级层中，可以计算从指定给元素<节>的优先级值到指定给它的最高分级的祖先<节>的优先级值的算术平均值，如此计算的算术平均值与所述阈值比较，借此，可以选择在所述分级层中的元素<节>。
第三实施例下面描述根据本发明的第三实施例。所述第三实施例仅仅在与选择步骤相关的处理方面与第一实施例不同。
下面将参考附图描述根据第三实施例与选择步骤101相关的处理。与在结合第一实施例所描述处理的情况下相同，在根据第三实施例的选择步骤101中，所述选择仅仅针对其中的每一个都具有一个子<段>的元素<节>执行的。在第三实施例中，设置了一个考虑到与所有要选择的场景的持续时间间隔之和的阈值。具体地说，在截止到目前为止已经选择的元素<节>的持续时间间隔之和为最大但仍保持小于所述阈值之前，按照优先级减小的顺序选择所述元素<节>。图33的流程示出了根据第三实施例与选择步骤101相关的处理。其中的每一个都具有子<段>的多个<节>的集合被取作为一个集Ω(S1)。所述集Ω的元素<节>按照属性优先级的降序排序(S2)。从集Ω中选择具有最高优先级值的元素<节>(S4和S5)，并从所述集Ω中删除如此选择的元素<节>。通过检查所述元素<节>的所有子<段>获得如此选择的元素<节>的开始时间和结束时间，并计算所述元素<节>的持续时间(S6)。计算截止到目前为止已经选择的所述元素<节>的持续时间间隔的和(S7)。如果所述和超过了所述阈值，处理完成(S8)。如果所述和低于所述阈值，输出在这个时间选择的所述元素<节>的开始时间和结束时间(S9)。然后，处理返回到从所述集Ω中选择具有最高优先级值的元素<节>的步骤。重复上述处理，直到所选择的元素<节>的持续时间间隔之和超过所述阈值或所述集Ω变空为止(S4和S8)。
在第三实施例中，针对具有子<段>的元素<节>执行选择。但是，所述选择也可以不针对所述元素<节>而针对元素<段>进行。在这种情况下，优先级值对应于在所述媒体内容内所有元素<节>当中共享的重要程度。此外，选择也可以针对同一分级内没有子<段>的元素<节>进行。具体地说，选择可以针对位于从所述祖先<内容>或叶<段>开始计数的同一路径中的元素<节>进行。
与在第二实施例的情况相同，指定给各元素<节>和元素<节>的优先级值被用做为上下文重要性的客观程度，计算从指定给所述元素<节>到它最高分级的祖先<节>的所有优先级的平均值“pa”。以“pa”的降序选择其中每一个都具有子<段>的元素<节>或元素<段>，直到所述持续时间间隔之和最大但小于所述阈值为止。即使是在这种情况下，也可以获得与第二实施例相同的有益结果。
第四实施例下面将描述本发明的第四实施例。所述第四实施例仅仅在与选择步骤相关的处理方面与第一实施例不同。
下面参考附图描述根据第四实施例与选择步骤101相关的处理。与在第一实施例中在选择步骤101执行的选择的情况相同，在第四实施例中与选择步骤101相关的选择是针对元素<段>以及具有子<段>的元素<节>进行的。与第三实施例的情况相同，考虑到在当前实施例中要选择的所有场景的持续时间间隔之和，设置一个阈值。与在第一实施例的情况相同，指定给具有子<段>的元素<节>的优先级值对应于所述媒体内容内其中的每一个都具有子<段>的所有元素<节>当中共享的重要程度。具体地说，所述优先级值被取作为在图34中被点划线包围的所述元素<节>当中共享的重要程度。此外，指定给所述元素<段>的优先级值对应于在与同一母元素<节>共享的所述元素<节>当中共享的重要程度；即，由图34所示的一个虚线包围的所述元素<段>当中共享的重要程度。
图35的流程示出了根据第四实施例与选择步骤相关的处理。其中每一个都具有子<段>的元素<节>的集合被取作为集Ω(S1)。所述集Ω内的元素<节>按照优先级的降序排序(S2)。然后，从所述集Ω内选择具有最高优先级值的元素<节>(S3、S4和S5)。如果多个元素<节>都具有最高的优先级值，那么选择所有这些元素。如此选择的元素<节>被取作为另一个集Ω′的元素和从所述集Ω中删除。通过检查所述元素<节>的子<段>预先获得和存储如此选择的元素<节>表示的一个场景的开始时间、结束时间和持续时间(S6)。如果选择多个元素<节>，则预先获得和存储由各元素表示的多个场景中的每一个场景的开始时间、结束时间和持续时间。获得所述集Ω′的所述元素<节>的持续时间间隔之和(S7和S8)。所述和与一个阈值相比较(S9)。如果所述持续时间间隔之和等于所述阈值，则输出与所述开始时间和结束时间相关且截止到目前为止已经存储的所有数据集，然后处理结束(S10)。相反，如果所述持续时间间隔之和低于所述阈值，处理再次返回从所述集Ω选择一个元素<节>的步骤(S4和S5)。如果所述集Ω是空的，则输出与所存储的所述开始时间和结束时间相关的所有数据集，然后处理结束(S4)。如果所述持续时间间隔之和超过了所述阈值，则执行下述的处理。具体地说，从所述集Ω′中选择具有最小优先级的元素<节>(S11)。此时，如果多个元素<节>具有所述最小优先级，则选择所有这些元素。在如此选择的元素<节>的子<段>中，删除具有最小优先级的子<段>(S12)。改变与如此删除的子<段>对应的元素<节>的开始时间、结束时间和持续时间(S13)。作为删除所述元素<段>的结果，场景可能被中断了。在这种情况下，对于每个已经中断的场景，存储所述开始时间、结束时间和持续时间。另外，作为删除所述子<段>的结果，如果一个元素<节>的所有子<段>都被删除，那么，从所述集Ω′中删除所述元素<节>。如果选择了多个元素<节>，那么所有的元素都经过上述处理。作为删除所述子<段>的结果，从中被删除所述子<段>的元素<节>的持续时间变得较短，从而减小了所述持续时间间隔之和。重复执行这种删除处理，直到所述集Ω′的元素的持续时间间隔之和变得低于所述阈值为止。当所述集Ω′的元素的持续时间间隔之和变得低于所述阈值时(S14)，输出与已经存储的开始时间和结束时间相关的所有数据集，然后处理结束(S15)。
虽然在第四实施例中所述选择是针对其中每一个都具有子<段>的元素<节>、或子<段>执行的，但是，所述选择也可以针对一个元素<节>和它的子<节>或一个元素<节>和它的子<段>执行。即使是在这种情况下，也可以获得与第四实施例相同的有益结果。
考虑到当所述持续时间间隔之和超过所述阈值时执行的所述元素<段>删除，在当前的实施例中，从最低优先级开始按照升序删除所述元素<节>。但是，可以为元素<节>的优先级设置一个阈值，可以从低于所述阈值的所有元素<节>中删除具有最小优先级的子<段>。另外，也可以为元素<段>的优先级设置另一个阈值，和可以删除其优先级低于所述阈值的元素<段>。
第五实施例下面参考附图描述本发明的第五实施例。在该实施例中，MPEG-1格式的运动图像被取作为媒体内容。在这种情况下，媒体内容对应于单一的场景分割。得分对应于感兴趣场景的上下文重要性的客观程度。
图36的框图示出了根据本发明第五实施例的媒体处理方法。在图36中，标号1801表示一个选择步骤；1802表示一个提取步骤；1803表示一个形成步骤；1804表示一个传送步骤；1805表示一个数据库。在选择步骤1801中，从上下文描述数据中选择一个媒体内容的场景，并输出与如此选择的场景的开始时间和结束时间相关数据以及表示用于存储所述数据的文件的数据。在提取步骤1802中，接收表示所述场景开始时间和结束时间的数据集以及表示在选择步骤1801中输出的文件的数据集。另外，在提取步骤1802中，通过参考结构描述数据，从所述媒体内容的文件中提取与由在选择步骤1801输出的开始时间和结束时间规定的段相关的数据。在形成步骤1803中，在提取步骤1802中输出的数据被多路复用，并由此构成MPEG-1格式的系统数据流。在传送步骤1804中，在形成步骤1803中准备的MPEG-1格式的系统数据流经过一条线路传送。标号1805表示用于存储媒体内容、它的结构描述数据和上下文描述数据的一个数据库。
图37示出了根据第五实施例的结构描述数据的结构。在该实施例中，以树结构描述所述数据的物理内容。考虑到在所述数据库1805中媒体内容的存储特性，不必须以单个文件的形式存储单片媒体内容。在某些情况下，单片的媒体内容可以存储在多个单独的文件中。结构描述数据的树结构的根被描述为<内容>和表示单片的内容。一个相应片内容的题目被作为属性附加到所述根<内容>上。所述<内容>的子<内容>对应于表示存储所述媒体内容的一个文件的<媒体对象>。所述子<媒体对象>被作为属性附加到表示到存储所述媒体内容的所述文件的链接的链接<定位器>和表示到上下文描述数据的链接的识别符ID上。在所述媒体内容由多个文件组成的情况下，“seq”被作为属性附加到所述元素<媒体对象>上，用于表示在所述媒体内容内感兴趣文件的顺序。
图38示出了根据第五实施例上下文描述数据的结构。本实施例的上下文描述数据对应于附加有到所述结构描述数据的元素<媒体对象>的链接的第一实施例的上下文描述数据。具体地说，所述上下文描述数据的根<内容>具有一个子<媒体对象>，元素<媒体对象>具有一个子<节>。元素<节>和<段>与在第一实施例中使用的元素<节>和<段>相同。所述结构描述数据的元素<媒体对象>与所述上下文描述数据的元素<媒体对象>相关。借助于所述上下文描述数据的所述元素<媒体对象>的子<媒体对象>描述的所述媒体内容的场景被存储在由具有相同值属性ID的结构描述数据的元素<媒体对象>指定的一个文件中。另外，指定给一个元素<段>的时间信息“开始”和“结束”建立从每个文件的头开始已经经过的时间。具体地说，在一个单片媒体内容包括多个文件的情况下，在每个文件头处的时间对应于0，每个场景的开始时间由从所述文件头开始到一个感兴趣场景所经过的时间来表示。
在计算机中可以使用例如可扩充的标记语言(XML)表示所述结构描述数据和上下文描述数据。图39示出了用于使用XML描述图37所示结构描述数据的文档类型定义(DTD)的一个例子，以及使用所述DTD描述的结构描述数据的一个例子。图40到45示出了用于使用XML描述图38所示上下文描述数据的DTD的一个例子，以及使用所述DTD描述的所述上下文描述数据的一个例子。
下面描述与所述选择步骤1801相关的处理。在选择步骤1801中，结合第一到第四实施例所描述的任何一种方法都可以被作为选择一个场景的方法。到所述结构描述数据的<目标>的链接最后与所选择场景的开始时间和结束时间的输出同步输出。图46示出了在使用图39所示DTD以XML文件的形式描述的结构描述数据和使用图40和45所示DTD以XML文件的形式描述上下文描述数据的情况下从所述选择步骤1801输出的数据的一个例子。在图46中，“id”后面跟随有一个结构描述数据的元素<媒体对象>的ID；“开始”后面跟随有所述开始时间；“结束”后面跟随有所述结束时间。
下面描述与提取步骤1802相关的处理。图47的框图示出了根据第五实施例的提取步骤1802。在图47中，根据第五实施例的提取步骤1802是由接口装置2401、去多路复用装置2402、视频剪辑装置2403和音频剪辑装置2404具体执行的。接口装置2401接收在选择步骤1801输出的结构描述数据和一个段，从数据库1805中提取一个媒体内容文件，向去多路复用装置2402输出如此提取的文件，并向视频剪辑装置2403和音频剪辑装置2404输出在选择步骤1801中输出的所述段的开始时间和结束时间。本实施例的媒体内容对应于视频数据流和音频数据流被多路复用成MPEG-1格式的系统数据流。因此，去多路复用装置2402将所述MPEG-1格式的系统数据流分割成所述视频数据流和所述音频数据流。如此分割的视频数据流和从接口装置2401输出的所述段被输入给视频剪辑装置2403。在所输入的视频数据流中，所述视频剪辑装置2403只输出与被选择段相关的数据。类似地，音频数据流和在选择步骤2402中输出的所述段输入给所述音频剪辑装置2404。从所输入的音频数据流中，音频剪辑装置2402只输出与被选择段相关的数据。
下面描述与接口装置2401相关的处理。图48的流程示出了由接口装置2401执行的处理。如图46所示与相应内容相关的结构描述数据和在选择步骤1801输出的段输入给接口装置2401。从指定给所述结构描述数据的元素<媒体对象>的属性“id”获得文件的时序，因此，在选择步骤1801输出的段被按照时序和“id”的顺序排序(S1)。此外，所述段被转换为诸如图49所示的数据。相同的文件被集合在一起并按照开始时间的顺序排列。然后，接口装置2401对图49所示的数据集按照从上到下的顺序执行下面的处理。首先，接口装置2401使用“id”参考一个结构描述数据的元素<媒体对象>，并在该元素<媒体对象>的属性“定位器”的基础上读出一个文件名。从所述数据库中读出与对应于所述文件名的文件相关的数据，如此读出的数据被输出给去多路复用器2402(S2和S3)。在“id”后面描述的被选择文件段的开始时间和结束时间输出给视频剪辑装置2403和音频剪辑装置2404(S4)。在所有数据集都进行了上述处理之后，处理结束(S5)。如果仍然剩下某些数据集没有处理，那么，在结束由去多路复用装置2402执行的处理、由视频剪辑装置2403执行的处理和由音频剪辑装置2404执行的处理之后重复前述的处理(S6和S7)。
下面描述与去多路复用装置2402相关的处理。图50的流程示出了由去多路复用装置2402执行的处理。去多路复用装置2402从接口装置2401接收与媒体内容对应的MPEG-1格式的系统数据流，并将如此接收的MPEG-1格式的系统数据流分割成一个视频数据流和一个音频数据流。所述视频数据流输出给视频剪辑装置2403，和所述音频数据流被输出给音频剪辑装置2404(S1到S10)。在完成所述视频数据流和所述音频数据流的输出(S9和S11)之后，向接口装置2401报告由去多路复用装置2402执行的处理结束(S12)。如图50所示的流程指出的，除了传送处理结束确定以外，由去多路复用装置2402执行的处理与由第一实施例的去多路复用装置执行的处理相同。
下面描述由视频剪辑装置2403执行的处理。图53的流程示出了由视频剪辑装置2403执行的处理。如图53所示的流程所指出的，除了在处理结束时向接口装置2401传送处理结束确定(S15和S17)以外，由视频剪辑装置2403执行的处理与根据第一实施例由所述视频剪辑装置执行的处理相同。
下面描述由音频剪辑装置2404执行的处理。图52的流程示出了由音频剪辑装置2404执行的处理。如图52所示的流程所指出的，除了在处理结束时向接口装置2401传送处理结束确定(S11和S12)以外，由音频剪辑装置2404执行的处理与结合第一实施例描述的由所述音频剪辑装置执行的处理相同。
在形成步骤1803中，在提取步骤1802中输出的视频数据和音频数据借助于用于在国际标准ISO/IEC IS 11172-1下标准化MPEG-1的多路复用方法进行时分多路复用。在所述媒体内容存储在多个独立文件中的情况下，在提取步骤1802中多路复用所述文件中的每一个以便输出视频数据流和音频数据流。
在传送步骤1804中，在形成步骤1803中被多路复用的MPEG-1格式的系统数据流经过所述线路传送。当在形成步骤1803中输出多个MPEG-1格式的系统数据流时，所有的系统数据流按照它们的输出顺序传送。
在本实施例中，在所述媒体内容存储到多个独立文件中的情况下，其中的每一个文件都在提取步骤1802中得到处理，在形成步骤1803中，其中所述媒体内容的多个文件的所有相关视频和音频数据流相互联系在一起并且输出如此联系的数据流的，即使是当所述视频和音频数据流被多路复用到MPEG-1格式的单一系统数据流中时，也可以实现与在形成步骤1803中获得的相同有益结果。在这种情况下，必须利用视频剪辑装置2403改变所述时间码，以便使用于对输出帧的数量进行计数的计数器C仅仅增加与视频数据流的数量相应的量。计数器C只有在一个文件开始时被初始化(图51所示的S3和S18)。在图53所示的流程中提供了此时由视频剪辑装置2403执行的处理。虽然在第五实施例中所述上下文描述数据和物理上下文数据彼此是分开描述的，但是，借助于将结构描述数据的属性“seq(顺序)”和“locator(定位器)”附加到所述上下文描述数据的元素<媒体对象>的属性上，这些数据集也可以被合并成为一个单一的数据集。
第六实施例下面参照附图描述本发明的第六实施例。在本实施例中，MPEG-1格式的运动图像被取作为媒本内容。在这种情况下，媒体段对应于单一的场景分割。另外，得分对应于感兴趣场景的上下文重要性的客观程度。
图54的框图示出了根据本发明第六实施例的媒体处理方法。在图54中，标号3101表示选择步骤；3102表示提取步骤；3103表示形成步骤；3104表示传送步骤和3105表示一个数据库。在选择步骤3101中，从上下文描述数据中选择一个媒体内容场景，并输出与如此选择场景的开始时间和结束时间相关的数据，以及表示存储所述数据的一个文件的数据。这样，与选择步骤3101相关的处理与在第五实施例的选择步骤中执行的处理相同。在提取步骤3102中，接收在选择步骤3101中输出的表示所述场景开始时间和结束时间的数据集以及表示所述文件的数据。此外，通过参考结构描述数据，从所述媒体内容文件中提取与由在选择步骤3101输出的开始时间和结束时间规定的所述段相关的数据。与提取步骤3102相关的处理与在第五实施例中所述提取步骤执行的处理相同。在形成步骤3103中，根据在传送步骤3104中确定的业务量，多路复用在提取步骤3102中输出的部分或全部数据流，借此，构成MPEG-1格式的系统数据流。在传送步骤3104中，确定用于传送MPEG-1格式系统数据流的所述线路上的业务量，传送所述确定结果用在形成步骤3103中。此外，在传送步骤3104中，经过所述线传送在形成步骤3103中准备的MPEG-1格式的系统数据流。标号3105表示存储所述媒体内容、它的结构描述数据以及上下文描述数据的一个数据库。
图55的框图示出了根据第六实施例在形成步骤3103和传送步骤3104期间执行的处理。在图55中，形成步骤3103是由数据流选择装置3201和多路复用装置3202具体执行的。传送步骤3104是由业务量确定装置3203和传送装置3204执行的。数据流选择装置3201接收在提取步骤3102中输出的视频和音频数据流和在业务量确定装置3203中输出的业务量。如果所述线的业务量低得足以允许传送所有的数据集，那么，所有的系统数据流都要输出给多路复用装置3202。如果由于所述线路繁忙或具有大业务量而使得传送所有数据集需要很长时间，那么，只选择所述多个视频和音频数据流的一部分输出给所述多路复用装置3202。在这种情况下，可以以多种方式执行所述选择，即只选择视频数据流的基层；只选择音频数据流的单声道声音；只选择音频数据流的左立体声信号；只选择音频数据流的右立体声信号；或它们的相互组合。这里，如果仅仅存在单一的视频数据流和单一的音频数据流，那么可以不考虑所述业务量而输出所述数据流。多路复用装置3202借助于在国际标准ISO/ISE IS 11172-1下标准化MPEG-1格式的多路复用方法使从数据流选择装置3201输出的视频和音频数据流被时分多路复用。业务量确定装置3203检查传送所述数据流的所述线路的当前状态和业务量，并输出检查结果给数据流选择装置3201。传送装置3204经过所述线路传送被多路复用装置3202多路复用的MPEG-1格式的系统数据流。
在本实施例中，在存在单一视频数据流的情况下，数据流选择装置3201不考虑所述业务量而输出所述视频数据流。但是，如果与所述视频数据流相关的所有数据集在经过所述线路传送时需要大量时间，那么可以只选择和传送所述视频数据流的代表性图像。在选择所述代表性图像时，在所述上下文描述数据中描述所述代表性图像的时间码。另外，只有被称之为I图像并能够被单独译码的一个单一帧才能够从多个帧中选择出来。
第七实施例下面参考附图描述本发明的第七实施例。在本实施例中，MPEG-1格式的系统数据流的运动图像被作为媒体内容。在这种情况下，媒体段对应于单一场景分割。另外，在本实施例中，得分对应于从与由所述用户选择的角色或事件相关的关键字的角度出发感兴趣的一个场景的上下文重要性的客观程度。
图56的框图示出了根据本发明第七实施例的处理方法。在图56中，标号3301表示选择步骤，3302表示提取步骤。在选择步骤3301中，借助于附加到所述上下文描述数据上一个关键字和的它的一个得分从上下文描述数据中选择一个媒体内容的场景。输出与如此选择场景的开始时间和结束时间相关的数据。在提取步骤3302中，提取与在选择步骤3301中输出的开始时间和结束时间规定的段相关的数据。
图57示出了根据第七实施例的上下文描述数据的结构。在本实施例中，所述上下文是根据树结构描述的。在所述树结构中的元素从左到右是按时间顺序排列的。在图57中，被指定为<内容>的所述树的根表示一个单一部分的内容，题目被作为属性指定给所述根。
利用<节>指定<内容>的子<内容>。表示一个场景的内容或字符的关键字和表示所述关键字重要程度的优先级以关键字和优先级对的形式作为属性附加到元素<节>上。假设所述优先级是范围从1到5的一个整数。其中，1指出最小重要程度和5指出最大重要程度。设置所述对(关键字和优先级)以便使它能够用做检索用户所希望的一个特定场景或角色的索引。为此，可以有多个对(每对都包括关键字和优先级)被附加到一个单一的元素<节>上。例如，在描述字符的情况下，数量等于在感兴趣场景中出现的字符数量的多个对被附加到一个单一的元素<节>上。设置附加到所述场景上的优先级的值，以便使其值当大量的字符出现在感兴趣场景中时变得较大。
利用<节>或<段>指定<节>的子<节>。这里，元素<节>本身可以被用做另一个子<节>的子<节>。但是，一个单一的元素<节>不能具有子<节>和子<段>的混合物。
一个元素<段>表示一个单一的场景分割。与附加到所述元素<节>上的对类似的对(一个关键字和优先级)和与一个感兴趣场景相关的时间信息，即表示所述开始时间的“开始”和表示所述结束时间的“结束”被作为属性附加到<节>上。可以使用在市场上可得到的软件或通过网络可得到的软件分割所述场景。另外，可以使用手工分割所述场景。表示一个场景开始时间的属性“从”能够规定一个感兴趣场景的开始帧。虽然在本实施例中时间信息是按照一个场景分割的开始时间和结束时间表示的，但是，当按照一个感兴趣场景的开始时间和所述感兴趣场景的持续时间表示所述时间信息时也可以实现类似的结果。在这种情况下，所述感兴趣场景的结束时间是通过将所述持续时间加到所述开始时间上获得的。
在诸如是一个电影的故事、角色的情况下，可以使用元素<节>在所述上下文描述数据的基础上描述章、节和段。在另一个例子中，当描述棒球游戏时，最高分级的元素<节>可以用于描述局，它们的子<节>可以被用于描述半局。此外，元素<节>的第二代子<节>可以用于描述各棒球手的挥棒。元素<节>的第三代子<节>也可以被用于描述每个投掷以及两次投掷之间的时间间隔和击球结果。
具有这样结构的上下文描述数据可在计算机中利用例如可扩充标记语言(XML)来表示。XML是其标准化由万维网联盟从事的数据描述语言。1998年2月10提交了推荐版1.0。有关XML 1.0版的说明可从http/www.w3.org/TR/1998/REC-xml-19980210获得。图58至66表示用来利用XML说明本实施例的上下文描述数据的文档类型定义(DTD)的一个例子，和利用DTD说明的上下文描述数据的一个例子。图67至80表示通过给图58至66所示的上下文描述数据附加上媒体段的代表性数据(支配数据)、例如代表性图像(即视频数据)和关键字(音频数据)得到的上下文描述数据的一个例子，以及用来利用XML说明该上下文描述数据的DTD。
现在描述与选择步骤S3301相关的处理。在本实施例中，针对元素<段>和具有子<段>的元素<节>执行与选择步骤S3301相关的处理。图81是表示与第七实施例的选择步骤3301相关的处理的流程图。在该选择步骤3301中，输入起选择场景的索引作用的关键字及其优先级的阈值，由此从具有上下文描述数据的元素<段>的那些元素<节>中选择其关键字与输入的索引相同和其优先级超过阈值的元素<节>作为子<节>(S2和S3)。然后，从如此选出的元素<节>的子<段>中只选择其关键字与该索引相同和其优先级超过该阈值的子<段>(S5和S6)。根据利用上述处理选定的子<段>的属性“开始”和“结束”确定被选定场景的开始时间和结束时间，并输出该开始时间和结束时间(S7、S8、S9、S10、S11、S1和S4)。
虽然在本实施例中针对元素<段>和具有子<段>的元素<节>进行选择，但也可以针对另外的母-子关系进行选择；例如在某一分级层内的元素<节>及其子<节>。此外，这种母-子关系不只限于两层的分级层。分级层的各级数可以增加到大于2，可对树结构的叶、即子<段>执行相同的处理。还有，可把检索索引设定成包括多个关键字和确定这些关键字之间关系的条件的索引对。确定各关键字之间关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。可确定用于选择的阈值，在多个关键字的情况下，可对每一个关键字执行处理。起检索索引作用的关键字可由用户输入，或由系统根据用户简要表(profile)自动设定。
与提取步骤3302相关的处理与在第一实施例中描述的、提取步骤中执行的处理相同。
如图82所示，本实施例的优点是通过把提取步骤3302输出的视频流输入给视频播放装置和把同一步骤输出的音频流输入给音频播放装置并播放彼此同步的这些音频和视频流，就能够只播放观众感兴趣的媒体内容的场景。此外，通过多路复用这些视频流和音频流，还可准备与观众感兴趣的媒体内容的场景集合相关的MPEG-1格式的系统数据流。
第八实施例现在描述本发明的第八实施例。第八实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。
现在描述与选择步骤S3301相关的处理。在本实施例中，只针对元素<段>执行与选择步骤S3301相关的处理。图83是表示与第七实施例的选择步骤S3301相关的处理的流程图。如图83所示，在选择步骤3301中，输入起用来选择场景的索引作用的关键字及其优先级的阈值。从上下文描述数据的元素<段>中选择其关键字与该索引相同和其优先级超过阈值的子<段>(S1和S6)。
虽然在第八实施例中只针对元素<段>进行选择，但也可只针对具有某种分级的元素<节>进行选择。此外，还可把检索索引设定成包括多个关键字和确定这些关键字之间关系的条件的索引对。确定各关键字之间关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。可确定用于选择的阈值，在多个关键字的情况下，可对每一个关键字执行处理。
第九实施例现在描述本发明的第九实施例。第九实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。
现在参看附图描述与选择步骤S3301相关的处理。如同在对第七实施例描述的处理的情形中那样，在第九实施例的选择步骤3301中，只针对元素<段>和具有子<段>的元素<节>进行选择。在本实施例中，考虑到所有待选择场景的持续时间间隔之和来设定阈值；具体来说，这样进行选择，使到目前为止已选定的场景的持续时间间隔之和为最大但仍小于该阈值。图84是表示与第九实施例的选择步骤相关的处理的流程图。在选择步骤3301中，接收起检索索引作用的单个关键字。然后从具有子<段>的元素<节>中提取具有与该检索索引相同的关键字的所有元素<节>。把如此选定的元素<节>的集合作为集合Ω(S1和S2)。集合Ω的元素<节>按优先级的降序进行排序(S3)。然后从如此排序的集合Ω的元素中选择其关键字或检索索引具有最大优先级值的元素<节>(S5)。从集合Ω中删除如此选定的元素<节>(S6)。在这种情况下，如果多个元素<节>都具有最大优先级值，就提取所有这些元素<节>。在如此选定的元素<节>的子<段>中，只选择具有检索索引的子<段>，把如此选定的子<段>附加到另一个集合Ω′中去(S7)。集合Ω′的初始值是“空”的(S2)。获得与集合Ω′相关的场景的持续时间间隔之和(S8)，把该和值与阈值作比较(S9)。如果该持续时间间隔之和等于该阈值，就输出与集合Ω′所包含的元素<段>的所有段相关的数据，结束处理(S14)。相反地，如果持续时间间隔之和小于阈值，处理就再次返回从集合Ω中选择其检索索引或关键字具有最高优先级的元素<节>(S5)。重复上述选择处理。如果集合Ω是空的，就输出与集合Ω′的元素<段>的所有段相关的数据，结束处理(S4)。如果与集合Ω′相关的场景的持续时间间隔之和大于阈值，就执行以下处理。从集合Ω′中删除其检索索引或关键字具有最小优先级的元素<段>(S11)。此时，如果多个元素<段>都具有最小优先级，就删除所有这些元素<段>。获得集合Ω′的元素<段>的持续时间间隔之和(S12)，把该和值与阈值作比较(S13)。如果该持续时间间隔之和大于该阈值，处理就返回从集合Ω′中删除元素<段>。重复执行这样的删除处理。在此，如果集合Ω′是空的，就结束处理(S10)。相反地，如果持续时间间隔之和小于阈值，就输出与集合Ω′的元素<段>的所有段相关的数据，结束处理(S14)。
虽然在本实施例中针对元素<段>和具有子<段>的元素<节>执行选择，但也可以对其它母-子关系、例如元素<节>和其在另一分级内的子<段>执行选择。还有，母-子关系不只限于两级的分级层；分级层的分级数可以增大。例如，在对处于从最高分级的元素<节>到其子<段>范围内的分级层的元素进行处理的情况下，选择最高分级的元素<节>。还选择如此选定的元素<节>的后续<节>，以及进一步选择如此选定元素<节>的第二代子<节>。重复这一轮选择操作直到子<段>被选定为止。如此选择的元素<段>组成集合Ω′。
在本实施例中，元素按照检索索引或关键字优先级的降序进行排序，可考虑优先级值来设定阈值，可按照优先级的降序选择元素。可考虑元素<节>、以及可考虑元素<段>来分别设定阈值。
在本实施例中，检索索引被规定为单个关键字。但是，可把检索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。在这种情况下，需要确定在选择或删除元素<节>和元素<段>时使用的各关键字的优先级的规则。这种规则的一个例子如下如果条件是“两者中任一个”，则相应各关键字的优先级值的最大优先级值被设定为“优先”。此外，如果条件是“两者”，则相应各关键字的优先级值的最小优先级值被设定为“优先”。即使在条件是“两者中任一个或两者”时，也可按该规则确定优先级值。还有，在检索索引或关键字为多个的情况下，可考虑作为检索索引的关键字的优先级设定阈值，可对其优先级值超过该阈值的那些元素进行处理。
第十实施例现在描述本发明的第十实施例。第十实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。
现在参看附图描述与选择步骤S3301相关的处理。如同在对第八实施例描述的处理的情形中那样，在第十实施例的选择步骤3301中，只针对元素<段>进行选择。此外，如第九实施例那样，在本实施例中，考虑到所有待选择场景的持续时间间隔之和设定阈值；具体来说，这样选择元素，使到目前为止已选定的场景的持续时间间隔之和为最大但仍小于阈值。图85是表示与第十实施例的选择步骤相关的处理的流程图。
在选择步骤3301中，接收起检索索引作用的单个关键字。把集合Ω′初始化为“空”(S2)。然后从元素<段>中提取具有与该检索索引相同关键字的所有元素<段>(S1)。把如此选定的元素<段>的集合作为集合Ω。然后按照优先级的降序排序作为检索索引的关键字相同的元素<段>(S3)。然后从集合Ω如此排序的元素中提取作为检索索引的关键字具有最大优先级值的元素<段>(S5)，并从该集合Ω中删除如此提取的元素<段>。在这种情况下，如果多个元素<段>都具有最大优先级值，就选择所有这些元素<段>。如果集合Ω是空的，就输出与集合Ω′的元素<段>的所有元素有关的数据，结束处理(S4)。计算如此提取的元素<段>的持续时间间隔之和T1(S6)，和计算集合Ω′的各场景的持续时间间隔之和T2(S7)。把T1和T2之和与阈值作比较(S8)。如果T1和T2之和超过阈值，就输出与集合Ω′所包含的元素<段>的所有段相关的数据，结束处理(S11)。如果T1和T2之和等于阈值，就给集合Ω′的元素附加所有提取的元素<段>(S9和S10)，输出与集合Ω′所包含的元素<段>的所有段相关的数据，并结束处理(S11)。相反地，如果T1和T2之和小于阈值，就给集合Ω′的元素附加所有提取的元素<段>，处理然后返回从集合Ω中选择元素<段>(S10)。
虽然在本实施例中针对元素<段>进行选择，但也可针对另一分级中的元素<节>执行选择。在本实施例中，元素按照作为检索索引的关键字的优先级的降序进行排序的。可考虑优先级值来设定阈值，只要元素的优先级值大于阈值，就可按照优先级的降序选择这些元素。
此外，在本实施例中，检索索引被规定为单个关键字。但是，可把检索索引设定成包括多个关键字和确定这些关键字之间关系的条件的索引对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。在这种情况下，需要确定在选择或删除元素<节>和元素<段>时使用的各关键字的优先级的规则。这种规则的一个例子如下如果条件是“两者中任一个”，则相应各关键字的优先级值的最大优先级值被设定为“优先”。此外，如果条件是“两者”，则相应各关键字的优先级值的最小优先级值被设定为“优先”。即使在条件是“两者中任一个或两者”时，也可按该规则确定优先级值。还有，在检索索引或关键字为多个的情况下，可考虑到检索索引或关键字的优先级来设定阈值，可对其优先级值超过该阈值的那些元素进行处理。
第十一实施例现在描述本发明第十一实施例。本实施例的上下文描述数据与第七至第十实施例的上下文描述数据的不同之处在于观点-起用来选择场景的关键字作用-和该观点重要程度的说明方面。如图57所示，在第七至第十实施例中，观点和该观点的重要程度通过给元素<段>或<段>分配关键字和重要程度的组合(即关键字，优先级)来进行说明。与此相反，如图133所示，在第十一实施例中，观点及该观点的重要程度通过给根<内容>分配属性“povlist”和给元素<节>或<段>分配属性“povvalue”来描述。
如图134所示，属性“povlist”相应于用矢量形式表示的观点。如图135所示，属性“povvalue”相应于用矢量形式表示的重要程度。每一个集合包括观点和该观点一对一关系的重要程度的组合集合按给定序列排列，由此形成属性“povlist”和“povvalue”。例如，如图134和135所示，观点1的重要程度取值5，观点2的重要程度取值0；观点3的重要程度取值2；观点“n”(“n”为正整数)的重要程度取值0。在第七实施例的情形中，观点2的重要程度取值2，表明观点2没有被分配关键字；即组合(关键字，优先级)。
图136至163和图164至196表示用来利用在计算机中用于说明上下文描述数据的“可扩充标记语言”(XML)描述本实施例的上下文描述数据的“文档类型定义”(DTD)的一些例子，以及以DTD描述的上下文描述数据的一个例子。即使在本实施例中也利用上下文描述数据实现与在第七至第十实施例中描述的处理操作相同的那些处理操作。
在本实施例中，属性“povlist”被分配给根<内容>，而属性“povvalue”被附加给元素<节>或<段>。如图197所示，属性“povlist”也可被附加给元素<节>或<段>。对于被分配了属性“povlist”的元素<节>或<段>，属性“povvalue”相应于被分配给元素<节>或<段>的属性“povlist”。而对于没有被分配属性“povlist”的元素<节>或<段>，属性“povvalue”相应于被分配给根<内容>的属性“povlist”或在没有被分配属性“povlist”的元素<节>或<段>的祖先中的被分配了属性“povlist”的最接近元素<节>的属性“povlist”。
图198至252表示相应于图197所示的DTD的、被用来利用在计算机中用于说明上下文描述数据的XML说明本实施例的上下文描述数据的DTD的一个例子，以及以DTD描述的上下文描述数据的一个例子。在所举的这些例子中，被分配给元素<节>或<段>的属性“povvalue”相应于被分配给根<内容>的属性“povlist”。
第十二实施例现在参看附图描述本发明第十二实施例。在本实施例中，MPEG-1格式的系统数据流的运动图像被作为媒体内容。在这种情况下，媒体段相当于单个场景分割。
图86是表示本发明第十二实施例的媒体处理方法的方框图。在图86中，标号4101表示选择步骤；4102表示提取步骤；4103表示形成步骤；4104表示传送步骤；4105代表性数据库。在选择步骤4101中，根据上下文描述数据选择媒体内容的一个场景，并输出与如此选择的场景的开始时间和结束时间有关的数据以及表示存储了这些数据的文件的数据。在提取步骤4102中，接收表示该场景的开始时间和结束时间的数据集和表示在选择步骤4101输出的文件的数据集。参看结构描述数据，从媒体内容的文件中提取与在选择步骤4101中接收的开始时间和结束时间确定的段相关的数据。在形成步骤4103中，对提取步骤4102输出的数据进行多路复用，由此形成MPEG-1格式的系统数据流。在传送步骤4104中，通过线路传送在形成步骤4103中形成的MPEG-1格式的系统数据流。标号4105表示存储了媒体内容及其结构描述数据和上下文描述数据的数据库。
第十二实施例采用的结构描述数据的结构与第五实施例的相同。具体来说，使用具有图37所示结构的结构描述数据。
图87表示第十二实施例的上下文描述数据的结构。本实施例的上下文描述数据相应于第七实施例的给结构描述数据的元素<媒体对象>附加了链接的上下文描述数据。具体来说，上下文描述数据的根<内容>具有子<媒体对象>，而元素<媒体对象>具有子<节>。元素<节>和<段>与第七实施例所用的相同。给上下文描述数据的元素<媒体对象>附加属性“id”。利用该属性“id”使结构描述数据的元素<媒体对象>与上下文描述数据的元素<媒体对象>相关联。利用上下文描述数据的元素<媒体对象>的后代描述的媒体内容的场景存储在由具有同一值的属性id的结构描述数据的元素<媒体对象>指定的文件内。此外，分配给元素“段”的时间信息“开始”和“结束”确定从每一个文件的开头起已经过的时间。具体来说，在单段媒体内容包括多个文件的情况下，每个文件的开头上的时间相应于0，而每一场景的开始时间用从该文件的开头起到感兴趣的场景为止所经过的时间来表示。
结构描述数据和上下文描述数据可在计算机中利用例如“可扩充标记语言”(XML)来表示。与第五实施例相关地使用的图39表示结构描述数据的一个例子。此外，图88至96表示用来利用XML描述图87所示的上下文描述数据的“文档类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。
现在描述与选择步骤4101相关的处理。在选择步骤4101中，采用在第七至第十实施例中描述的任一种方法作为选择场景的方法。相应结构描述数据的元素<媒体对象>的“id”最终与被选择场景的开始时间和结束时间的输出同时输出。在利用图39所示的DTD以XML文件的形式描述结构描述数据和利用图88和96所示的DTD以XML文件的形式描述上下文描述数据的情况下，从选择步骤4101输出的数据的一个例子与第五实施例中图46所示的相同。
与提取步骤4102相关的处理与在第五实施例中描述的提取步骤相同。与形成步骤4103相关的处理也与在第五实施例中描述的形成步骤相同。此外，与传送步骤4104相关的处理也与在第五实施例中描述的传送步骤相同。
第十三实施例现在参看附图描述本发明第十三实施例。在本实施例中，MPEG-1格式的系统数据流的运动图像被作为媒体内容。在这种情况下，媒体段相当于单个场景分割。
图97是表示本发明第十三实施例的媒体处理方法的方框图。在图97中，标号4401表示选择步骤；4402表示提取步骤；4403表示形成步骤；4404表示传送步骤；4405代表性数据库。在选择步骤4401中，根据上下文描述数据选择媒体内容的一个场景，并输出与如此选择的场景的开始时间和结束时间有关的数据以及表示存储了这些数据的文件的数据。与选择步骤4401相关的处理与与在第十二实施例中描述的选择步骤相关的处理相同。在提取步骤4402中，接收表示该场景的开始时间和结束时间的数据集和表示在选择步骤4401输出的文件的数据集。参看结构描述数据，从媒体内容的文件中提取与在选择步骤4401中接收的开始时间和结束时间确定的段相关的数据。与提取步骤4402相关的处理与与在第十二实施例中描述的提取步骤相关的处理相同。在形成步骤4403中，根据在传送步骤4404确定的线路的业务量对提取步骤4402输出的系统数据流的一部分或全部进行多路复用，由此形成MPEG-1格式的系统数据流。与形成步骤4403相关的处理与与在第六实施例中描述的提取步骤相关的处理相同。在传送步骤4404中，确定线路的业务量，并把确定的结果传送给形成步骤4403。此外，通过线路传送在形成步骤4403中形成的MPEG-1格式的系统数据流。与形成步骤4404相关的处理与与在第六实施例中描述的形成步骤相关的处理相同。标号4405表示存储了媒体内容及其结构描述数据和上下文描述数据的数据库。
虽然在第十三实施例中把MPEG-1的系统数据流作为媒体内容，但只要其它格式也能够获得每一屏幕的时间代码，则使用这种格式也能够获得与MPEG-1系统数据流相同的有益结果。
以下的实施例将描述对应于权利要求书要求保护的发明的模式的概要。以下将用“声音数据”表示与声音有关的数据，声音包括可闻音调、无声、话音、音乐、安静、外部噪声等。用“视频数据”表示可闻和可视的数据，例如运动图像、静止图像或自动反射幻灯机(telop)之类的字符。用“得分”表示根据声音数据的内容、例如可闻音调、无声、话音、音乐、安静或外部噪声计算的分数；根据视频数据中有无字符指定的分数；或这两种分数的组合。此外，还可使用除上述以外的得分。
第十四实施例现在描述本发明的第十四实施例，该实施例与权利要求2描述的发明相关。图98是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；标号503表示提取步骤。在选择步骤501中，根据上下文描述数据的得分选择媒体内容的至少一段或一个场景，并输出如此选择的段或场景。选择的段相应于例如一选择段的开始时间和结束时间。在提取步骤503中，只提取与在选择步骤S501选择的段划分的媒体内容的段(以下称为“媒体段”)相关的数据，即与选择的段相关的数据。
特别是，在权利要求5所述的发明中，得分对应于从与用户选择的角色或事件有关的关键字的观点来看感兴趣的场景的上下文重要性的客观程度。
第十五实施例现在描述本发明的第十五实施例，该实施例与权利要求3描述的发明相关。图99是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；标号505表示播放步骤。在播放步骤505中，只播放与被在选择步骤S501输出的选择段划分的段相关的数据。与选择步骤501相关的处理与在第一至第十三实施例中描述的处理相同，为简明起见，此处不再进行说明。
第十六实施例现在描述本发明的第十六实施例，该实施例与权利要求12描述的发明相关。图100是表示与十六实施例的数据处理方法相关的处理的方框图。在该图中，标号507表示视频选择步骤；标号509表示音频选择步骤。视频选择步骤507和音频选择步骤509都包括在第十四和十五实施例所描述的选择步骤501之中。
在视频选择步骤507中，参看与视频数据相关的上下文描述数据选择视频数据的段或场景，并输出如此选择的段。在音频选择步骤509中，参看与声音数据相关的上下文描述数据选择声音的段，并输出如此选择的段。在此，选择的段相应于例如该被选择段的开始时间和结束时间。在第十四实施例所述的提取步骤503中，只播放来自在视频选择步骤507选择的视频数据段的数据。在播放步骤505中，只播放来自在音频选择步骤509选择的声音数据段的数据。
第十七实施例现在描述本发明的第十七实施例，该实施例与权利要求15、16、17、18、19和20描述的发明相关。图101是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号511表示确定步骤；513表示选择步骤；503表示提取步骤；505表示播放步骤。
(例子1)在权利要求15所述的发明中，媒体内容在单个时间段内包括多个不同的媒体数据集。在确定步骤511中，接收描述媒体内容数据结构的结构描述数据。在这一步骤中，根据确定条件、例如接收端的能力、传送线的业务量和用户请求确定作为选择对象的数据。在选择步骤513中，接收在确定步骤511中确定为选择对象的数据、结构描述数据和上下文描述数据。此外，只从在确定步骤511中被确定为选择对象的数据中选择媒体数据集。由于提取步骤503与第十四实施例的提取步骤相同，而播放步骤505与第十五实施例的播放步骤相同，所以在此省略对它们的描述。媒体数据包括几个数据集，例如视频数据、声音数据和文本数据。在以下各例子的说明中，媒体数据特别包括视频数据和声音数据的至少一个。
在本例子中，如图102所示，在媒体内容的单个时间段内，把不同的视频数据或声音数据分配给信道，进一步把这些视频数据或声音数据分配给层的分级集。例如，把传送运动图像的信道-1/层-1分配给具有标准分辨率的视频数据，把信道-1/层-2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声声音数据，把信道2分配给单声道声音数据。图103和104表示用来利用XML描述结构描述数据的“文档类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。
在媒体内容由这样的信道和层构成的情况下，参看图105至108描述与本实例的确定步骤511相关的处理。如图105所示，在步骤101中确定是否有用户请求存在。如果在步骤101确定有用户请求存在，就对该用户请求执行图106所示的确定处理SR-A。
在步骤101中，如果确定无用户请求，处理就到达步骤S103，进一步确定可接收的数据是否只是视频数据、只是声音数据或是视频和声音数据两者。如果在步骤S103确定可接收数据只是视频数据，就执行图107所示的与视频数据相关的确定处理SR-C。如果可接收数据被确定只是声音数据，就执行图108所示的与声音数据相关的确定处理SR-C。如果视频和音频数据都是可接收的，处理就到达步骤S105。在步骤S105，确定接收端是否具有接收视频和音频数据的能力；例如，视频显示能力，播放能力和解压压缩数据的速率。如果确定接收端的能力较强，处理就到达步骤S107。相反地，如果确定接收端的能力较弱，处理就到达步骤S109。在步骤S107，确定要传送视频数据和音频数据的线路的业务量。如果确定该线路的业务量较大，处理就到达步骤S109。如果确定该线路的业务量较小，处理就到达步骤S111。
在接收端能力较弱或线路的业务量较大时，执行步骤S109的处理。在该处理期间，接收端通过信道-1/层-1接收具有标准分辨率的视频数据，通过信道2接收声音数据。在接收端能力较强或业务量较小时，执行步骤S111的处理。在该处理期间，接收端通过信道-1/层-2接收具有高分辨率的视频数据，通过信道1接收立体声声音。
现在描述图106所示与用户请求相关的确定处理SR-A。在本实例中，假设用户请求为选择视频层和声音信道。在步骤S151中，确定用户是否请求视频数据。如果在步骤S151中确定用户请求视频数据，处理就到达步骤S153。如果确定用户没有请求视频数据，处理就到达步骤S159。在步骤S153，确定用户对视频数据的请求是否对应于层2的选择。如果在步骤S153选择了“是”，处理就到达步骤S155，选择层2作为视频数据。如果在步骤S153选择了“否”，处理就到达步骤S157，选择层1作为视频数据。在步骤S159，确定用户是否请求音频数据。如果在步骤S159确定用户请求音频数据，处理就到达步骤S161。如果确定用户没有请求音频数据，就结束处理。在步骤S161，确定用户对音频数据的请求是否对应于信道1的选择。如果在步骤S161选择了“是”，处理就到达步骤S162，选择信道1作为音频数据。如果在步骤S161选择了“否”，处理就到达步骤S615，选择信道2作为音频数据。
现在描述图107所示与视频数据相关的确定处理SR-B。在步骤S171，确定接收端接收视频数据的能力。如果接收端被确定为具有较强的能力，处理就到达步骤S173。如果接收端被确定为具有较弱的能力，处理就到达步骤S175。在步骤S173，确定线路的业务量。如果线路的业务量被确定为较大，处理就到达步骤S175。相反地，如果线路的业务量被确定为较小，处理就到达步骤S177。
在接收端能力较弱或线路的业务量较大时，执行步骤S175的处理。在该处理期间，接收端通过信道1-/层-1只接收具有标准分辨率的视频数据。在接收端能力较弱或线路的业务量较小时，执行步骤S177的处理。在该处理期间，接收端通过信道1-/层-2只接收具有高分辨率的视频数据。
现在描述图108所示与声音数据相关的确定处理SR-C。在步骤S181，确定接收端接收音频数据的能力。如果接收端被确定为具有较强的能力，处理就到达步骤S183。如果接收端被确定为具有较弱的能力，处理就到达步骤S185。在步骤S183，确定线路的业务量。如果线路的业务量被确定为较大，处理就到达步骤S185。相反地，如果线路的业务量被确定为较小，处理就到达步骤S187。
在接收端能力较弱或线路的业务量较大时，执行步骤S185的处理。在该处理期间，接收端通过信道2只接收单声道音频数据。在接收端能力较弱或线路的业务量较小时，执行步骤S187的处理。在该处理期间，接收端通过信道1只接收立体声音频数据。
(例子2)权利要求16描述的发明与例子1所述的发明(权利要求15描述的发明)的不同之处仅在与于确定步骤S511相关的处理方面。在确定步骤511中，接收描述媒体内容数据结构的结构描述数据。在这一步骤中，根据确定条件、例如接收端的能力、传输线的业务量和用户请求，确定要选择的只是视频数据、只是选择音频数据还是视频数据和音频数据两者。由于选择步骤513、提取步骤503和播放步骤505都与以上所述的相同，所以在此省略对它们的描述。
现在参看图109至110描述与本实例的确定步骤511相关的处理。如图109所示，在步骤S201中确定是否有用户请求存在。如果在步骤S201确定有用户请求存在，处理就到达步骤S203，如果确定无用户请求，处理就到达步骤S205。在步骤S203，确定用户是否只请求视频数据。如果在步骤S203选择了“是”，处理就到达步骤S253，仅视频数据被确定为选择对象。如果在步骤S203选择了“否”，处理就到达步骤S207。在步骤S207，确定用户是否只请求声音数据。如果在步骤S207选择了“是”，处理就到达步骤S255，仅声音数据被确定为选择对象。如果在步骤S207选择了“否”，处理就到达步骤S251，视频和音频数据都被确定为选择的对象。
在无用户请求存在时处理到达的步骤S205中，确定是仅视频数据、仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤S205确定仅视频数据是可接收的，处理就到达步骤S253，只把视频数据确定为选择对象。如果在步骤S205确定仅声音数据是可接收的，处理就到达步骤S255，只把声音数据确定为选择对象。如果在步骤S205确定视频和声音数据都是可接收的，处理就到达步骤S209。
在步骤S209，确定线路的业务量。如果该线路的业务量较小，处理就到达步骤S251，把视频和声音数据都确定为选择对象。如果该线路的业务量较大，处理就到达步骤S211。在步骤S211中，确定要通过该线路传送的数据是否包括声音数据。如果在步骤S211选择了“是”，处理就到达步骤S255，把声音数据确定为选择对象。如果在步骤S211选择了“否”，处理就到达步骤S253，把视频数据确定为选择对象。
(例子3)在根据权利要求17的发明中，媒体内容在单个时间段内包括多个不同的视频和/或音频数据集。除确定要选择的只是视频数据、是只选择声音数据还是视频和声音数据两者外，这种选择在(根据权利要求16所述的发明)第二个例子的确定步骤511中进行，还在第三个例子的确定步骤S511中，根据确定条件、例如接收端的能力、传输线路的业务量和用户请求，确定要选择这些视频数据集/音频数据集的哪一个作为选择对象。由于选择步骤513、提取步骤503和播放步骤505与上述的相同，所以在此不再赘述。
如例子1那样，在媒体内容的单个时间段内，把不同的视频数据或声音数据分配给信道或层。例如，把传送运动图像的信道1-/层-1分配给具有标准分辨率的视频数据，把信道-1/层-2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声声音数据，把信道2分配给单声道声音数据。图103和104表示用来利用XML描述结构描述数据的“文档类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。
现在参看图111至113描述与第三个例子的确定步骤511相关的处理。如图111所示，在本例子中，如例子2所作的确定那样，确定作为选择对象的数据(选择对象确定SR-D)。在步骤S301中，确定利用选择对象确定处理SR-D确定的数据。在步骤S301中，当只有视频数据被确定为选择对象时，就执行图112所示的与视频数据相关的确定处理SR-E。在步骤S301中，当只有音频数据被确定为选择对象时，就执行图113所示的与音频数据相关的确定处理SR-F。在步骤S301中，当视频数据和音频数据都被确定为选择对象时，处理就到达步骤S303，确定接收端接收视频和音频数据的接收能力。如果确定接收端的能力较强，处理就到达步骤S305。如果确定接收端的能力较弱，处理就到达步骤S307，确定线路的能力，如传输速率。如果确定该线路的能力较强，处理就到达步骤S309。相反地，如果确定该线路的能力较弱，处理就到达步骤S307。如果确定该线路的业务量较大，处理就到达步骤S307。如果确定该线路的业务量较小，处理就到达步骤S311。
在接收端能力较弱、线路能力较弱或线路的业务量较大时，执行步骤S307的处理。在该处理期间，接收端通过信道-1/层-1接收具有标准分辨率的视频数据，通过信道2接收单声道声音数据。相反地，在接收端能力较强、线路能力较强或线路的业务量较小时，执行步骤S311的处理。在该处理期间，接收端通过信道-1/层-2接收具有高分辨率的视频数据，通过信道1接收立体声声音数据。
现在描述图112所示与视频数据相关的确定处理SR-F。在步骤S351中，确定接收端接收视频数据的能力。如果确定接收端的能力较强，处理就到达步骤S353。如果确定接收端的能力较弱，处理就到达步骤S355。在步骤S353，确定线路的能力。如果确定该线路的能力较强，处理就到达步骤S357。相反地，如果确定该线路的能力较弱，处理就到达步骤S355。在步骤S357，确定该线路的业务量。如果确定该线路的业务量较大，处理就到达步骤S355。相反地，如果确定该线路的业务量较小，处理就到达步骤S359。
在接收端能力较弱、线路能力较弱或线路的业务量较大时，执行步骤S355的处理。在该处理期间，接收端通过信道-1/层-1只接收具有标准分辨率的视频数据。相反地，在接收端能力较强、线路能力较强或线路的业务量较小时，执行步骤S359的处理。在该处理期间，接收端通过信道1/层2只接收具有高分辨率的视频数据。
现在描述图113所示与音频数据相关的确定处理SR-F。在步骤S371中，确定接收端接收音频数据的能力。如果确定接收端的能力较强，处理就到达步骤S373。如果确定接收端的能力较弱，处理就到达步骤S375。在步骤S373，确定线路的能力。如果确定该线路的能力较强，处理就到达步骤S377。相反地，如果确定该线路的能力较弱，处理就到达步骤S375。在步骤S377，确定该线路的业务量。如果确定该线路的业务量较大，处理就到达步骤S735。相反地，如果确定该线路的业务量较小，处理就到达步骤S379。
在接收端能力较弱、线路能力较弱或线路的业务量较大时，执行步骤S375的处理。在该处理期间，接收端通过信道2只接收单声道声音数据。相反地，在接收端能力较强、线路能力较强或线路的业务量较小时，执行步骤S379的处理。在该处理期间，接收端通过信道1只接收立体声数据。
(例子4)在权利要求18和19所述的发明中，将与对应媒体段相关的代表性数据作为属性附加到最低分级层中的上下文描述数据的各个元素中。媒体内容在单个时间段内包括多个不同的媒体数据集。在确定步骤S511中，接收描述媒体内容的数据结构的结构描述数据。在这一步骤中，根据确定条件、例如接收端的能力、传输线路的业务量、该线路的能力和用户请求，确定把媒体数据集和/或代表性数据集的哪一个作为选择对象。
由于选择步骤513、提取步骤503和播放步骤505与以上描述的相同，所以在此不再赘述。媒体数据包括视频数据、声音数据或文本数据。在本例子中，媒体数据包括视频数据和声音数据中的至少一个。在代表性数据对应于视频数据的情况下，该代表性数据包括例如有关每一媒体段的代表性图像数据或低分辨率视频数据。在代表性数据对应于音频数据的情况下，该代表性数据包括例如有关每一媒体段的索引短语(key-phrase)数据。
如例子3那样，在媒体内容的单个时间段内，把不同的视频数据或声音数据分配给信道或层。例如，把传送运动图像的信道-1/层-1分配给具有标准分辨率的视频数据，把信道-1/层-2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声声音数据，把信道2分配给单声道声音数据。
现在参看图114至118描述与本实例的确定步骤511相关的处理。如图114所示，在步骤S401中确定是否有用户请求存在。如果在步骤S401确定有用户请求存在，就执行图116所示与用户请求相关的确定处理SR-G。
如果在步骤S401确定无用户请求，处理就到达步骤S403，确定是仅视频数据、仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤S403确定仅视频数据是可接收的，就执行图117所示与视频数据相关的确定处理SR-H。相反地，如果确定仅声音数据是可接收的，就执行图118所示与音频数据相关的确定处理SR-I。如果确定视频和声音数据两者都是可接收的，处理就到达如图115所示的步骤S405。
在步骤S405，确定接收端的能力。在执行步骤S405的处理之后，按给定顺序执行确定线路能力的步骤S407的处理和确定该线路的业务量的步骤S409的处理。在步骤S405、S407和S409所执行的处理操作的结果的基础上，在本实例的确定步骤S511中，确定是要接收的视频数据或音频数据的信道或层，还是要接收的代表性数据。
表1


现在描述图116所示与用户请求相关的确定处理SR-G。在步骤S451，确定用户是否只请求视频数据。如果在步骤S451选择“是”，就执行与视频数据相关的处理确定SR-H。如果在步骤S451选择“否”，处理就到达步骤S453。在步骤S453，确定用户是否只请求音频数据。如果在步骤S453选择“是”，就执行与音频数据相关的确定处理SR-I。如果在步骤S453选择“否”，处理就到达步骤S405。
现在描述图117所示与视频数据相关的确定处理SR-H。在步骤S461，确定接收端的能力。在执行完步骤S461的处理之后，按给定顺序执行确定线路能力的步骤S463的处理和确定线路业务量的步骤S465的处理。在与这些步骤S461、S463和S465相关的处理操作结束后，只要接收端能力强、线路能力强以及线路的业务量小，则在与本例子的视频数据相关的确定处理SR-H期间，通过信道-1/层-2只接收视频数据(步骤S471)。相反地，如果接收端能力弱、线路能力弱以及线路的业务量大，则只接收代表性视频数据(步骤S473)。如果上述任一条件都得不到满足，则通过信道-1/层-1只接收视频数据(步骤S475)。
现在描述图118所示与音频数据相关的确定处理SR-I。在步骤S471，确定接收端的能力。在执行完步骤S471的处理之后，按给定顺序执行确定线路能力的步骤S473的处理和确定线路业务量的步骤S475的处理。在与这些步骤S471、S473和S475相关的处理操作结束后，只要接收端能力强、线路能力强以及线路的业务量小，则在与本例子的音频数据相关的确定处理SR-I期间，通过信道1只接收音频数据(步骤S491)。相反地，如果接收端能力弱、线路能力弱以及线路的业务量大，则只接收代表性音频数据(步骤S493)。如果上述任一条件都得不到满足，则通过信道2只接收视频数据(步骤S495)。
(例子5)在权利要求20所述的发明中，根据确定条件、例如接收端能力、传输线路能力、该线路的业务量和用户请求，确定把与媒体段相关的全部数据、与对应媒体段相关的仅代表性数据、或与对应媒体段相关的全部数据或代表性数据两者之一的哪一个作为选择对象。
如例子4那样，将与对应媒体段相关的代表性数据作为属性附加到最低分级层中的上下文描述数据的各个元素中。在代表性数据对应于视频数据的情况下，该代表性数据包括例如有关每一媒体段的代表性图像数据或低分辨率视频数据。在代表性数据对应于音频数据的情况下，该代表性数据包括例如有关每一媒体段的索引短语(key-phrase)数据。
现在参看图119至121描述与本实例的确定步骤511相关的处理。如图119所示，在步骤S501中确定是否有用户请求存在。如果在步骤S501确定有用户请求存在，就执行图121所示与用户请求相关的确定处理SR-J。
如果在步骤S501确定无用户请求，处理就到达步骤S503，确定是仅与媒体段相关的代表性数据、仅与该媒体段相关的全部数据还是与该媒体段相关的代表性数据和全部数据两者都是可接收的。如果在步骤S503确定仅代表性数据是可接收的，处理就到达如图120所示的步骤S553，只把代表性数据确定为选择对象。如果仅全部数据是可接收的，处理就到达步骤S555，只把该全部数据确定为选择对象。如果代表性数据和全部数据都是可接收的，处理就到达步骤S505。
在步骤S505，确定线路能力。如果确定线路能力较强，处理就到达步骤S507。相反地，如果线路能力较弱，处理就到达步骤S509。在步骤S507和S509的每一个中，确定线路的业务量。在步骤S507中，如果确定线路的业务量较小，处理就到达步骤S551，把全部数据和代表性数据都确定为选择对象。在步骤S509，如果确定线路的业务量较大，处理就到达步骤S553，把代表性数据作为选择对象。如果在步骤S507确定线路的业务量较大和在步骤S509确定线路的业务量较大，处理就到达步骤S555，把全部数据作为选择对象。
在与用户请求相关的确定处理SR-J期间，在步骤S601确定用户请求是否只对应于代表性数据。如果在步骤S601选择“是”，处理就到达步骤S553，只把代表性数据作为选择对象。如果在步骤S601选择“否”，处理就到达步骤S603，确定该用户请求是否只对应于全部数据。如果在步骤S603选择“是”，处理就到达步骤S555，只把全部数据作为选择对象。如果在步骤S603选择“否”，处理就到达步骤S551，把与媒体段对应的全部数据和代表性数据都作为选择对象。
第十八实施例现在描述本发明第十八实施例。本实施例涉及权利要求22所述的发明。图122是表示与本实施例的数据处理方法相关的处理的方框图。特别是，该处理涉及权利要求2所述的发明。在附图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；由于选择步骤501和提取步骤503与第十四实施例的相同，所以在此不再赘述。
在形成步骤515中，根据与在提取步骤503提取的选择段相关的数据形成媒体内容数据流。特别是，在形成步骤中，通过对在提取步骤503输出的数据进行多路复用来形成数据流。
第十九实施例现在描述本发明第十九实施例。本实施例涉及权利要求23所述的发明。图123是表示与本实施例的数据处理方法的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；517表示传送步骤。由于选择步骤501和提取步骤503与第十四实施例所描述的相同，所以在此不再赘述。此外，形成步骤515与十八实施例所描述的形成步骤相同，所以也省略对其的描述。
在传送步骤517中，通过线路传送在形成步骤中形成的数据流。该传送步骤517可以包括确定线路的业务量的步骤，而形成步骤515可以包括根据在传送步骤517中确定的线路的业务量调整组成文件的数据量的步骤。
第二十实施例现在描述本发明的第二十实施例。本实施例涉及权利要求24所述的发明。图124是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521代表性数据记录媒体。在记录步骤519中，把在形成步骤515中形成的数据流记录在数据记录媒体521上。用数据记录媒体521记录媒体内容、与该媒体内容相关的上下文描述数据以及与该媒体内容相关的结构描述数据。数据记录媒体521可以是例如硬盘、存储器或DVD-ROM等。由于选择步骤501和提取步骤503与第十四实施例所描述的相同，所以在此不再赘述。此外，形成步骤515与十八实施例所描述的形成步骤相同，所以也省略对其的描述。
第二十一实施例现在描述本发明的第二十一实施例。本实施例涉及权利要求25所述的发明。图125是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521代表性数据记录媒体；523代表性数据记录媒体管理步骤。在数据记录媒体管理步骤523中，按照数据记录媒体521的可用盘空间重新组织已存储的媒体内容和要新存储的媒体内容。具体来说，在数据记录管理步骤/或523中，至少执行以下操作之一。当数据记录媒体521的可用盘空间较小时，在对要新存储的媒体内容进行编辑之后再对其进行存储。向选择步骤501传送都与已存储的媒体内容相关的上下文描述数据和结构描述数据。向提取步骤503传送媒体内容和结构描述数据。重新组织媒体内容，并将如此重新组织的内容记录在数据记录媒体521上。此外，删除没有被重新组织的媒体内容。
由于选择步骤501和提取步骤503与第十四实施例的相同，在此不再赘述。此外，形成步骤515与第十八实施例所描述的形成步骤相同，在此省略对其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例所描述的相同，所以在此也省略对它们的描述。
第二十二实施例现在描述本发明的第二十二实施例。本实施例涉及权利要求26所述的发明。图126是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521代表性数据记录媒体；525表示存储内容管理步骤。在存储内容管理步骤525中，按照媒体内容存储周期重新组织已存储在数据记录媒体521上的媒体内容。具体来说，存储内容管理步骤525包括以下步骤管理存储在数据记录媒体521上的媒体内容；向选择步骤501传送上下文描述数据和物理内容数据，它们都与在预定时间段内已被存储的媒体内容相关；向提取步骤503传送媒体内容和结构描述数据；重新组织媒体内容；把如此重新组织的媒体内容记录在数据记录媒体521上；以及删除没有被重新组织的媒体内容。
由于选择步骤501和提取步骤503与第十四实施例所描述的相同，在此不再赘述。此外，形成步骤515与第十八实施例所描述的形成步骤相同，在此省略对其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例的相同，所以在此也省略对它们的描述。
在上述第十四至第二十二实施例中，选择步骤501和513可具体化为选择装置；视频选择步骤507可具体化为视频选择装置；音频选择步骤509可具体化为音频选择装置；确定步骤511可具体化为确定装置；形成步骤515可具体化为形成装置；传送步骤517可具体化为传送装置；记录步骤519可具体化为记录装置；数据记录媒体管理步骤523可具体化为数据记录媒体管理装置；存储内容管理步骤525可具体化为存储内容管理装置。因此可具体化为包括这些装置的一部分或全部的数据处理设备。
在上述各实施例中，媒体内容可包括数据流，例如除视频和音频数据外的文本数据。此外，上述各实施例的各个步骤可利用存储在程序存储媒体内的以软件形式使计算机执行与所有或一部分这些步骤相关的处理的程序来实现，或利用专门设计以便体现这些步骤的特征的硬件电路来实现。
在能够利用计算机得到软件处理的上下文描述数据的程序表示中，当附加到<节>或<段>的观点与另一个<节>或<段>的观点相重叠时，如图253所示，可以将观点附加到<节>或<段>之一中，而另一个<节>或<段>可以表示成与如此附加的观点相链接。
并且，如图254所示，可以将通过集中在上下文描述数据中表示的所有观点形成的观点表配置成作为上下文描述数据的数据结构中的根的<内容>的子元素，并以利用一组链接将<节>或<段>的每一个附加到观点表中的相应观点和用于如此链接的观点的得分中的方式排列。根据这种配置，由于事先给用户显示已经登记的观点的列表(list)(下文称为观点列表)变得容易，因此，用户在请求优选观点之前，可以事先知道已经登记的观点。这样，当在观点列表中存在用户所希望的观点时，用户可以通过选择进程从观点列表请求观点。在这方面，可以将观点表配置成不仅是<内容>的子元素，而且是<节>或<段>的子元素，或者将其配置成可分开描述的。
此外，如图255所示，可以将观点表排列成混合型的观点表，其中不是所有的观点表示成与观点表的链接，而是只有一部分的观点与观点表相链接。在这种情况下，在观点表中没有必要描述在上下文描述数据中表示的所有观点，而只有由链接所指的观点登记在观点表中。
此外，当将表示存在于上下文描述数据中的观点的列表的观点表配置成如图256所示那样分开描述时，在用户请求优选观点之前，可以向用户显示基于观点表的观点列表。在这种情况下，用户在请求优选观点之前可以知道存在于上下文描述数据中的观点，并且可以通过选择进程从观点列表请求观点。
此外，如图257所示，可以在划分成描述数据结构的数据结构部分和描述作为属性的观点的属性部分的配置中表示上下文描述数据，并将其与数据结构部分及其得分相链接。在图257中，上部(a)表示数据结构部分，下部(b)表示属性部分。在此图中，尽管将数据结构部分描述成最简单的配置，但数据结构部分可以以与上述实施例相同的配置排列。此外，属性部分以在每个观点上都与对象<节>或<段>相链接的方式排列，和与观点的链接相关的得分统一成一个集合。
数据结构部分和属性部分可以不在同一文件中描述，而是可以在分开的文件中描述。此外，在分成数据结构部分和属性部分排列的上下文描述数据中，选择步骤(选择装置)选择基于在属性部分的每个相关观点上的得分的<段>或<节>。此外，如图258所示，属性部分的各个观点和数据结构部分的<节>或<段>可以通过双向链接耦合。在这种情况下，由选择步骤(选择装置)指定观点的选择处理可以通过在前述实施例中所描述的方法来进行。
此外，如图259所示，可以以划分成描述数据结构的数据结构部分和其中在每个观点上到数据结构部分的链接以较高得分的顺序进行描述的属性部分的配置来表示上下文描述数据。但是，根据这样的表示，由于存在着在将多个观点中的得分进行比较的情况下难以作精细比较的可能性，因此，使用了“高”“中”或“低”的粗顺序。
此外，如图260所示，可以用以下配置表示上下文描述数据，它在划分成描述数据结构的数据结构部分和属性部分，其中在每个观点上到数据结构部分的链接以较高得分的顺序进行描述以及描述同一得分的链接使其排列成两行。在这种情况下，由选择步骤(选择装置)指定观点的选择处理可以以与如图258所示对上下文描述数据所进行的处理相同的方式进行。
接着，说明上下文数据转换方法，这种上下文数据转换方法用于将树结构的上下文描述数据转换成在数据结构上不同于树结构的上下文描述数据的上下文描述数据(下文称为第二上下文描述数据)。在这方面，树结构的上下文描述数据以如图57所示的方式排列，在这种方式中，将<内容>配置成根，将<节>配置成节点，和将<段>配置成叶(leaf)，将至少一组(关键字，优先级)附加到<段>和<节>的每一个中作为属性，该“关键字”表示内容或人等的关键字，“优先级”表示重要程度，并且，进一步将表示开始时间的“开始”和表示结束时间的“结束”或表示持续时间的“持续时间”附加到<段>的每一个中作为场景的时间信息。
在本说明书中，将描述三种类型的上下文数据转换方法。下面先说明通过各种上下文数据转换方法准备的第二上下文描述数据的数据结构，然后再说明相应的上下文数据转换方法的实例。
(上下文数据转换方法的第一实施例)首先，以如图261和262所示的树结构配置上下文数据转换方法的第一实施例所准备的第二上下文描述数据，在这种树结构中将<内容>作为根，<关键字>作为<内容>的子元素，将<级>作为每个<关键字>的子元素，和将<段>作为<级>的子元素。在这方面，存在于图57所示的原始上下文描述数据中的<节>的元素(节点)不在第二上下文描述数据中描述。在第二上下文描述数据中，树结构的兄弟关系也从左边开始按时间顺序排列。此外，将原来附加在其中的时间信息(开始，结束)附加到每个<段>中。
第二上下文描述数据的<级>是根据在图57所示的上下文描述数据中使用的“优先级”确定的，并表示重要程度。当“优先级”用整数表示时，分配给“优先级”的整数原样地用于<级>。相反地，当“优先级”用小数表示时，根据分配给“优先级”的值的级别重新设置<级>，以便重要程度易于比较。例如，当三个“优先级”0.2、0.5和1.0存在于原始上下文描述数据中时，将重要程度最低的<级1>分配给“优先级”0.2，将重要程度中等的<级2>分配给“优先级”0.5，和将重要程度最高的<级3>分配给“优先级”1.0。
按照这种方式，设置重要程度的级，并且第二上下文描述数据的数据结构可以以图261所示的嵌套方式排列，或者以图262所示的并行方式排列，在嵌套方式中将<级>的高低关系按图261所示的那样按原样表示成集合关系，在并行方式中将<级>的高低关系按图262所示的那样表示成同一层。此外，第二上下文描述数据的数据结构可以以图263所示的方式排列，在这种方式中<关键字>除了<级>信息之外的<关键字>的子元素都可以设置成<段>和重要程度可以按照<关键字>的耦合顺序确定。在这方面，由于存在着在多个关键字中比较时不能进行精细比较的可能性，因此，比较结果可以由例如“高”、“中”、和“低”粗略表示。
当在连续连接的多个<段>存在于属于同一<关键字>和同一<级>的<段>中时，这些多个<段>可以集中成一个集合。例如，当存在连续连接的<段1>和<段2>时，这些<段>可以集中成<段A>，在这种情况下，有必要根据附加到各个<段>中的时间信息(开始，结束)准备要附加到如此集中的<段A>中的时间信息。
下面利用原始上下文描述数据的例子说明上下文数据转换方法的第一实施例。如图264所示，作为下面说明所使用的例子的原始上下文描述数据包括作为叶的附加了作为属性的(关键字a，优先级2)和(优先级1)的<段1>、附加了(优先级2)和(优先级2)的<段2>、和附加了(关键字b，优先级4)和(优先级3)的<段3>。
首先，获得附加到原始上下文描述数据的<段>的“关键字”的集合。从原始上下文描述数据的例子(下文只称为例子)中获取{关键字a，关键字b，关键字c，关键字d}。然后，在每个关键字上获取附加了同一关键字的<段>的集合。在本例中，对于关键字a，获取了由<段1>/(优先级2)和<段2>/(优先级2)形成的集合，对于关键字b，获取了由<段1>/(优先级1)和<段3>/(优先级4)形成的集合，对于关键字c，获取了由<段2>/(优先级2)形成的集合，对于关键字d，获取了由<段3>/(优先级3)形成的集合。
接着，将段的集合按每个优先级划分成组。例如，在关键字a的各段的集合中，由于每个段都附加了优先级2，因此这两个段集中成为优先级为2的组。对于关键字b的段的集合，由于<段1>附加了优先级1和<段3>附加了优先级4，因此这两个段划分成为优先级为1的组(只有<段1>)和优先级为4的组(只有<段3>)。关键字c和关键字d的每一个的段按相同方式划分成组。
接着，将各个优先级转换成表示重要程度的“级”。如上所述，当“优先级”用整数表示时，分配给“优先级”的整数同样地用作“级”。因此，在上述的例子中，附加了优先级N(N＝1、2、3、4、5)的<段>是级N的段。
此外，当嵌套形式应用于第二上下文描述数据时，按照各个段的级将分组的各个段设置成集合关系。相反地，当应用并行形式时，将分组的各个段设置成兄弟关系，并以从较高级到较低级的顺序排列。
如此准备的第二上下文描述数据的数据结构显示在图265中。在此图中，由于存在<段1>和<段2>作为<关键字a>和<级2>的段，因此，例如，当这些段没有时间间隙地连续连接时，将这些段集中成<段A>。
(上下文数据转换方法的第二实施例)以如图266所示的树结构配置上下文数据转换方法的第二实施例所准备的第二上下文描述数据，在这种树结构中将<内容>作为根，将<关键字>作为<内容>的子元素，和将<段>作为每个<关键字>的子元素。在这方面，每个<段>附加了作为属性的“优先级”。
在这个第二上下文描述数据中，与由上下文数据转换方法的第一实施例所准备的第二上下文描述数据一样，并不描述<节>，每个<段>除了附加了“优先级”之外，还附加了时间信息(开始，结束)。由于上下文数据转换方法的第二实施例不将优先级转换成级，因此，这个实施例的上下文数据转换方法不描述在由上下文数据转换方法的第一实施例准备的第二上下文描述数据中描述的<级>。
下面利用原始上下文描述数据的例子说明上下文数据转换方法的第二实施例。首先，与上下文数据转换方法的第一实施例一样，获得附加到原始上下文描述数据的<段>的关键字的集合。然后，在每个关键字上获取附加了同一关键字的<段>的集合。接着，将原来附加的优先级附加到每个<段>中。
如此准备的第二上下文描述数据的数据结构显示在图267中。在此图中，由于存在<段1>和<段2>作为<关键字a>的段，因此，例如，当这些段没有时间间隙地连续连接和附加到这些段的优先级相同时，将这些段集中成<段A>。
(上下文数据转换方法的第三实施例)以如图268和269所示的树结构配置上下文数据转换方法的第三实施例所准备的第二上下文描述数据，在这种树结构中将<内容>作为根，将<级>作为<内容>的子元素，和将<段>配置成每个<级>的子元素。在这方面，每个<段>附加了作为属性的“关键字”。
在这个第三上下文描述数据中，与由上下文数据转换方法的第一实施例所准备的第二上下文描述数据一样，并不描述<节>，每个<段>除了附加了“优先级”之外，还附加了时间信息(开始，结束)。
下面利用上面使用的原始上下文描述数据的例子说明上下文数据转换方法的第三实施例。首先，根据附加到原始上下文描述数据的<段>的“优先级”，在每个优先级上获取附加了相同优先级的<段>的集合。在图264所示的原始上下文描述数据的例子中，对于优先级1，获取了由<段1>，(关键字b)形成的集合，对于优先级2，获取了由<段1>，(关键字a)形成的集合和由<段2>，(关键字a，关键字c)形成的集合，对于优先级3，获取了由<段3>，(关键字d)形成的集合，对于优先级4，获取了由<段3>，(关键字b)形成的集合。
接着，将各个优先级转换成表示重要程度的“级”。如上所述，当“优先级”用整数表示时，分配给“优先级”的整数同样地用作“级”。因此，在本例子中，附加了优先级N(N＝1、2、3、4、5)的<段>是级N的段。
接着，将原来附加到相应优先级的“关键字”附加到每个段。例如，级1的段的集合含有<段1>，和<段1>原来附加了关键字b，使得这个段附加了关键字b。级2的段的集合含有<段1>和<段2>。尤其是，由于附加了级2的<段2>包括原来附加了关键字a的<段2>和原来附加了关键字c的<段2>，因此，新准备了另一个<段2>，两个<段2>之一附加了关键字a，而另一个则附加了关键字c。对于级2的每个<段1>、级3的每个<段3>和级4的每个<段3>进行相似的处理。
如此准备的第二上下文描述数据的数据结构显示在图270中。在<段>附加了数个不同的关键字的情况下，数据结构可以按照如图269所示，将多个不同关键字附加到<段>中的方式排列。因此，在图270所示的第二上下文描述数据中，可以将优先级a和优先级c附加到级2的<段2>上。尽管级2的段包括附加了优先级a的<段1>和附加了优先级a的<段2>，但是，例如，当这些段没有时间间隙地连续连接时，可以将这些段集中成为<段A>。
上述上下文数据转换方法的第一到第三实施例所准备的第二上下文描述数据用在第七实施例所说明的选择步骤的流程图中S5到S9的处理过程中。尽管利用图57所示的原始上下文描述数据的选择步骤具有能够处理任何请求的灵活性，但第二上下文描述数据的长处在于，可以响应来自用户的请求，迅速获得相应的<段>。
尽管在前述实施例中，通过使用重要程度的阈值选择其值等于或大于阈值的<节>或<段>，但也可以选择具有特定重要程度的值的<节>或<段>。
虽然在上述实施例中单独描述上下文描述数据和结构描述数据，但它们可合并成如图127至132所示的一个数据集。
如上所述，在本发明的数据处理方法、记录媒体和程序中，通过使用分级层的上下文描述数据，根据由选择装置(相应于选择步骤)附加给上下文描述数据的得分从媒体内容中至少选择其中一段。尤其是，利用提取装置(相应于提取步骤)仅提取与选择装置(相应于选择步骤)选择的段相关的数据。或者，利用播放装置(相应于播放步骤)只播放与选择装置(相应于选择步骤)选择的段相关的数据。
利用上述结构，可从媒体内容中自由地选择更重要的场景，可提取或播放如此选择的重要段。此外，上下文描述数据采取分级层，包括最高分级层、最低分级层和其它分级层。可按照任意单位、例如以一章或一节为基础选择场景。可采用各种选择格式，例如选择某一章和从该章中删除不必要的段。
在本发明的数据处理方法、记录媒体和程序中，得分表示媒体内容的上下文重要程度。只要设定了得分以选择重要场景，就可容易地准备例如节目的一些重要场景的集合。此外，只要设定了得分以表示从关键字的观点来看感兴趣的场景的重要性，就可以通过确定关键字在很大自由度内选择段。例如，只要从特定观点、例如角色或事件确定了关键字，就可只选择用户所需的场景。
在本发明的数据处理方法、记录媒体和程序中，在媒体内容在单个时间段内包括多个不同的媒体数据集的情况下，确定装置(相应于确定步骤)根据确定条件，确定把这些媒体数据集的哪一个选作为选择对象。选择装置(相应于选择步骤)只从确定装置(相应于确定步骤)所确定的数据中选择媒体数据集。由于确定装置(相应于确定步骤)能够根据确定条件确定与最佳段相关的媒体数据，所以选择装置(相应于选择步骤)能够选择合适数量的媒体数据。
在本发明的数据处理方法、记录媒体和程序中，确定装置(相应于确定步骤)根据确定条件，确定是仅把视频数据、仅把音频数据还是把视频和音频数据两者都选作为选作对象。于是，能够缩短选择装置(相应于选择步骤)选择段所需的时间。
在本发明的数据处理方法、记录媒体和程序中，给上下文描述数据附加了代表性数据作为属性，并且确定装置能够根据确定条件确定最佳段的媒体数据或代表性数据。
在本发明的数据处理方法、记录媒体和程序中，确定装置(相应于确定步骤)根据确定条件，确定是仅把与相应媒体段相关的全部数据、仅把代表性数据还是把该全部数据和代表性数据两者都选作为选择对象。于是，确定装置能够缩短选择装置(相应于选择步骤)选择段所需的时间。
权利要求
1.数据处理装置，包括输入装置，用于输入上下文描述数据，所述上下文描述数据具有数据结构部分，描述表示由多个场景构成的媒体内容的各场景的多个段；属性部分，包括描述表示所述场景的分割的时间信息，由表示场景内容的至少一个关键字所表示的观点、表示基于观点的各个段的上下文的重要程度的得分、以及表示与至少一个相关段的链接情况的链接信息，这些属性信息是所述媒体内容的属性信息；选择装置，用于基于所述属性部分所描述的所述得分和所述时间信息，从所述数据结构部分选择段。
2.如权利要求1所述的数据处理装置，所述时间信息是各场景的开始时间和结束时间。
3.如权利要求1所述的数据处理装置，所述时间信息是各场景的开始时间和持续时间。
4.如权利要求2或3所述的数据处理装置，在基于所述属性部分所描述的所述得分以及所述时间信息进行选择时，所述选择装置将被选择的段的持续时间的和选择为设定时间或比设定时间短。
5.如权利要求2或3所述的数据处理装置，在基于所述属性部分所描述的所述观点以及所述时间进行选择时，所述选择装置将被选择的段的持续时间的和选择为设定时间或比设定时间短。
6.如权利要求1至5中任何一个权利要求所述的数据处理装置，所述多个段被描述在所述数据中。
7.如权利要求1至5中任何一个权利要求所述的数据处理装置，在所述段中描述有关上下文内容的附加信息。
8.如权利要求1至5中任何一个权利要求所述的数据处理装置，所述观点和所述得分的多个组由链接信息被相互关联在一个段中。
9.如权利要求1至5中任何一个权利要求所述的数据处理装置，所述链接信息和所述得分的组是按各观点进行集中的。
10.数据处理方法，包括以下步骤输入步骤，用于输入具有数据结构部分和属性部分双方的上下文描述数据，所述数据结构部分，描述表示由多个场景构成的媒体内容的各场景的多个段；所述属性部分，包括描述表示所述场景的分割的时间信息，由表示场景内容的至少一个关键字所表示的观点、表示基于观点的各个段的上下文的重要程度的得分、以及表示与至少一个相关段的链接情况的链接信息、这些属性信息是所述媒体内容的属性信息；选择步骤，用于基于所述属性部分所描述的所述得分和所述时间信息，从所述数据结构部分选择段。
11.如权利要求10所述的数据处理方法，所述时间信息是各场景的开始时间和结束时间。
12.如权利要求10所述的数据处理方法，所述时间信息是各场景的开始时间和持续时间。
13.如权利要求11或12所述的数据处理方法，在基于所述属性部分所描述的所述得分以及所述时间信息进行选择时，所述选择部分将被选择的段的持续时间的和选择为设定时间或比设定时间短。
14.如权利要求11或12所述的数据处理方法，在基于所述属性部分所描述的所述观点以及所述得分进行选择时，所述选择部分将被选择的段的持续时间的和选择为设定时间或比设定时间短。
全文摘要
媒体内容的上下文用具有最高分级层、最低分级层和其它分级层的上下文描述数据来表示。最高分级层由表示内容的单个元素组成。最低分级层由表示一段媒体内容的元素组成，该段媒体内容对应于视频数据的场景之间的改变或可闻音调的改变。在数据处理方法的选择步骤中，表示媒体容的上下文，根据上下文描述数据的得分选择媒体内容的一个或多个场景。此外，在数据处理方法的提取步骤中，只提取与在选择步骤中选择的场景相关的数据。
文档编号G11B27/28GK1936902SQ20061014161
公开日2007年3月28日 申请日期2001年3月16日 优先权日2000年3月16日
发明者宗续敏彦, 荣藤稔, 荒木昭一, 江村恒一 申请人:松下电器产业株式会社