数据处理装置及数据处理方法

专利名称：数据处理装置及数据处理方法
技术领域：
本发明涉及数据处理装置及数据处理方法，在作为活动图象和电影、声音等连续视听觉信息的媒体内容的视听、重放、发送中，为了进行配合视听者的嗜好和终端能力的重放、发送，进行从媒体内容的构成的记述向进行重放的表现的记述的变换。
背景技术：
在现有技术中，媒体内容的保存以文件单位来进行，媒体内容的重放、发送以存储媒体内容的文件单位来进行。
而且，当以多种不同的方式对媒体内容进行数字化来保存为多个文件时，在重放媒体内容时，解码处理产生。这样，解码处理的处理量随数字化的方式而变化。因此，当选择媒体内容时，就需要选择用与重放媒体内容的终端的处理能力相配合的数字化方式所数字化的媒体内容。在此情况下，由终端机器的能力所产生的显示媒体内容的选择这样进行收取的用户以文件单位来选择符合所使用的终端的能力的媒体内容。
而且，在使用World Wide Web的活动图象发送中，作为仅对特定场景进行重放的方法，在日本专利公开公报特开平10-111872号公报中所记载的内容是公知的。在图50中表示了特开平10-111872号公报中所记载的活动图象发送装置的构成图，以下进行说明。
在该活动图象发送装置中，预先从场景信息输入部3903向场景信息存储部3904输入场景编号、开始/结束帧的时间码、与场景相关的关键词、活动画面文件名。接着，场景检索部3905使用从场景信息输入部3903所输入的检索条件，来检索在场景信息存储部3904中所存储的场景信息。接着，场景检索部3905抽出检索的所希望的场景的场景编号作为脚本，存储到脚本存储部3907中。
接着，脚本编辑部3908根据需要来进行所抽出的场景的顺序变更和不需要的场景的删除。而且，活动图象传输部3909按在脚本编辑部3908编辑的脚本中所存储的场景编号的顺序向活动图象重放部3910传输在活动图象文件存储部3902中所存储的活动图象数据，而进行重放。而且，从活动图象文件输入部3901向活动图象文件存储部3902输入活动图象。
但是，在现有的用文件单位进行内容的重放的方法中，必须全部重放文件中所容纳的内容。这样，不能见到作为内容的摘要的梗概。而且，当检索仅抽出内容的一部分的精彩场景和视听者想看到的场面时，存在必须从内容的开头进行参照的问题。
而且，根据特开平10-111872号公报的方法，由于能够指定场景剪辑的重放顺序，就不需要从内容的开头进行参照。但是，该方法作为脚本仅具有场景的重放顺序。因此，不能实现除重新排列场景的重放顺序之外的功能。这样，存在不能够实现与多个媒体相对应而进行重放等的复杂的重放的问题。

发明内容
本发明的目的是，从表现媒体内容的构成的构造记述数据，生成用于对在该构成记述数据中所记述的媒体段施加各种各样的制约来进行重放的表现记述数据。
为了解决上述课题，本发明是从记述媒体内容的构成的构造记述数据，生成表现在构造记述数据中所记述的媒体段的重放顺序、重放的定时以及同步信息的表现记述数据。
这样，从构造记述数据选择几个媒体段，而变换为表现媒体段的重放顺序、重放的定时以及同步信息的表现记述数据，由此，能够得到梗概、精彩场景、符合视听者的嗜好的场景集的表示形态。而且，通过表现记述数据具有重放顺序、重放的定时以及同步信息，就能对应于多个媒体来进行重放。
而且，本发明是在构造记述数据中存储媒体段的代替数据的集合，变换为媒体段和代替数据至少一方的表现重放顺序、重放的定时以及同步信息的表现记述数据。
由此，配合发送媒体内容的网络的容量和通信量、重放媒体内容的终端的能力等，来切换重放媒体段或者重放代替数据。即，使用符合进行重放的终端的能力等的媒体，来进行内容的传输和重放。
而且，本发明是设置媒体选择部，在重放在构造记述数据中所表现的媒体段时，选择重放媒体段还是代替数据。
由此，即使视听者没有配合终端的能力来选择媒体段或者代替数据，也能由媒体选择部自动地配合终端的能力来选择媒体段或者代替数据。
而且，本发明是在构造记述数据中进一步记述根据各个媒体段的文理内容的点值。
由此，例如，能够生成各种各样的重放时间的精彩场景集等，能够容易地进行其重放和传输。而且，根据由关键词所表示的观点来形成点值，由此，通过指定关键词，就能仅重放、传输符合用户的爱好的场景。
本发明的这些和其他的目的、优点及特征将通过结合举出一例的描述而得到进一步说明。在这些附图中


图1是本发明的实施例1所涉及的数据处理系统的概念图；图2A是表示实施例1中的构造记述数据的DTD的图；图2B是表示实施例1中的构造记述数据的一例的图；图3表示实施例1中的构造记述数据的又一个例子的图；图4表示实施例1中的从构造记述数据向表现记述数据的变换的流程图；图5是实施例1所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图；图6是表示SMIL文件的构成的图；图7是表示实施例1中的表现记述数据的一例的图；图8是表示实施例1中的表现记述数据的一例的图；图9是实施例1所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图；图10是表示实施例1中的表现记述数据的一例的图；图11是表示实施例1中的表现记述数据的一例的图；图12是表示实施例1中的表现记述数据的一例的图；
图13是表示实施例2中的构造记述数据的DTD的图；图14是表示实施例2中的表现记述数据的一例的图；图15是表示实施例2中的构造记述数据的又一个例子的图；图16是实施例2所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图；图17是表示实施例2中的表现记述数据的一例的图；图18是实施例2所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图；图19是实施例3中的从构造记述数据向表现记述数据的变换的流程图；图20是表示实施例3中的表现记述数据的一例的图；图21A是表示实施例3中的构造记述数据的扩展的DTD的图；图21B是表示实施例3中的构造记述数据的扩展的一例的图；图22是本发明的实施例4中的数据处理装置的方框图；图23是表示实施例4中的构造记述数据的DTD的图；图24是表示实施例4中的表现记述数据的一例的图；图25是实施例4中的选择部的处理中的流程图；图26是表示实施例4中的中间的构造记述数据的一例的图；图27是表示本发明的实施例5中的构造记述数据的一例的图；图28是实施例5中的选择部的处理中的流程图；图29是表示实施例5中的中间的构造记述数据的一例的图；图30是表示本发明的实施例6中的构造记述数据的DTD的一例的图；图31是实施例6中的构造记述数据的一例的图；图32是表示实施例6中的中间的构造记述数据的一例的图；图33是实施例7中的构造记述数据的一例的图；图34是表示实施例7中的中间的构造记述数据的一例的图；图35是本发明的实施例8中的数据处理装置的方框图；图36是表示本发明的实施例10中的构造记述数据的DTD的一例的图；图37是实施例10中的构造记述数据的一例的图；图38是实施例10中的选择部的处理中的流程图；图39是本发明的实施例11中的构造记述数据的一例的图；
图40是本发明的实施例11中的选择部的处理中的流程图；图41是表示本发明的实施例12中的构造记述数据的DTD的一例的图；图42是本发明的实施例12中的构造记述数据的一例的图；图43是本发明的实施例13中的构造记述数据的一例的第一图；图44是本发明的实施例13中的构造记述数据的一例的第二图；图45是本发明的实施例16中的数据处理装置的方框图；图46是本发明的实施例17的服务器客户系统的方框图；图47是本发明的实施例17的服务器客户系统的另一个例子的方框图；图48是本发明的实施例18的服务器客户系统的方框图；图49是本发明的实施例18的服务器客户系统的另一个例子的方框图；图50是现有的活动图象传输装置的方框图。
具体实施例方式
实施例1下面参照附图来对本发明的实施例1进行说明。首先，使用图1来对本发明的实施例1所涉及的数据处理系统的构成进行说明。图1是实施例1所涉及的数据处理系统的概念图。
实施例1所涉及的数据处理系统由元数据的数据库1001、摘要引擎1002、记述变换器1003、重放机1004、媒体内容的数据库1005所构成。而且，在图中，由1006所标记的部分是作为元数据的内容记述，由1007所标记的部分是选择条件，由1008所标记的部分是作为摘要结果的摘要内容记述，由1009所标记的部分是给重放机1004提供指示的重放方法记述，由1010所标记的部分是媒体内容数据。
而且，所谓元数据是指媒体内容的标题和制作日期等的书志事项和内容以及场景构成等的表示媒体内容的附加的信息的数据。数据库1001表示这样的元数据的数据库。
摘要引擎1002从在数据库1001中所存储的元数据中输入作为表示媒体内容的内容和构成的构造记述数据的内容记述1006。接着，摘要引擎1002从输入的内容记述1006中仅选择符合用户输入的选择条件1007的场景。而且，摘要引擎1002仅剩余与从内容记述1006所选择的场景相关的部分，生成删除了除此之外的摘要内容记述1008并输出。
而且，内容记述1006和摘要内容记述1008是表示媒体内容的内容和构成的构造记述数据，虽然所记述的场景数不同，但是，记述格式是相同的。
记述变换器1003输入摘要内容记述1008，生成当重放摘要内容记述1008中所记述的场景时的作为记述重放顺序、重放开始的定时、同步信息等的媒体重放形态的表现记述数据的重放方法记述1009，并输出。
重放机1004从数据库1005输入重放方法记述1009和作为根据重放方法记述1009进行重放的数据的媒体内容数据1010。接着，重放机1004按照在重放方法记述1009中所记述的重放顺序、重放开始的定时、同步信息等来进行媒体内容数据1010的重放。
而且，由于摘要内容记述1008和内容记述1006是相同的格式，则记述变换器1003可以与内容记述1006相对应的重放方法记述(表现记述数据)同样地生成。
下面，使用图2A，图2B以及图3来对用于内容记述1006和摘要内容记述1008的构造记述数据进行说明。
图2A是作为用于用XML记述构造记述数据的定义的Document Type Definition(DTD)。而且，图2B是以MPEG1为例与活动图象和声音同步的媒体内容相对应的构造记述数据的例子。而且，图3是活动图象和声音分别为不同的媒体的媒体内容的构造记述数据的例子。
在本实施例中，作为在计算机上表现构造记述数据的形态的一例，使用Extensible Markup Language(XML)。
XML是由World Wide Web Consortium(W3C)所标准化的数据记述语言，在1998年2月10日推荐Ver.1.0。XML ver.1.0的规格书可以由http//www.w3.org/TR/REC-xml得到。
首先，使用图2A来说明作为用于用XML记述构造记述数据的定义的Document Type Definition(DTD)。
如图中201所示的那样，contents要素由par要素和mediaObject要素所构成。而且，如图中202所示的那样，contents要素具有用字符数据所表示的title属性。
mediaObject要素表示媒体。而且，如图中203所示的那样，par要素由作为多个子要素的mediaObject要素所构成。par要素在contents要素由audio和video等多个mediaObject要素所构成的情况下表示把多个mediaObject要素作为子要素来同步并重放。
而且，如图中204所示的那样，mediaObject要素由表示媒体段的segment要素所构成。而且，如图中205所示的那样，mediaObject要素由其type属性指定媒体的类型。在该例中，作为媒体的类型，指定了作为声音信息的audio、作为活动图象信息的video、作为静止图象信息的image、作为声音和活动图象进行同步的信息的audiovideo、作为声音和静止图象的信息的audioimage这样的媒体的类型。而且，当没有进行type属性的指定时，type属性通过缺省设定为audiovideo。
而且，如图中206所示的那样，mediaObject要素用format属性来指定成为MPEG1，MPEG2的媒体的格式。而且，如图中207所示的那样，mediaObject要素用src属性指定数据所保存的场所。通过用src属性来指定Uniform Resource Locator(URL)，能够指定数据所保存的场所。
而且，如图中208所示的那样，segment要素具有start属性和end属性。start属性和end属性表示segment要素的开始时间和segment要素的结束时间。而且，start属性和end属性表示在由mediaObject要素所指定的媒体内部的时间。即，segment要素通过start属性和end属性来指定相当于由mediaObject要素所指定的媒体内的哪个部分。
而且，在本实施例中，由开始时间和结束时间的组来指定媒体段的时间信息，但是，也可以用开始时间和持续时间的组来表示。
下面使用图2B来对以MPEG1为例与活动图象和声音同步的媒体内容相对应的构造记述数据的例子进行说明。
在图2B所示的构造记述数据中，在contents要素中指定Movie etc这样的标题。接着，在mediaObject要素的类型中，audiovideo指定MPEG1作为格式，指定http//mserv.com/MPEG/movie0.mpg作为保存场所。而且，mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
下面使用图3来对活动图象和声音分别为不同的媒体的媒体内容的构造记述数据的例子进行说明。
在图3所示的构造记述数据中，在contents要素中指定Movie etc这样的标题。而且，在图3的例子中，contents要素由video的类型的mediaObject要素和audio的类型的mediaObject要素所构成。这样，通过par要素来取得类型为video的mediaObject要素和类型为audio的mediaObject要素的同步。
类型为video的mediaObject要素指定MPEG1作为格式，指定http//mserv.com/MPEG/movie0.mpv作为保存场所。
而且，类型为video的mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，类型为video的mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。而且，类型为video的mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，类型为video的mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
而且，类型为audio的mediaObject要素指定MPEG1为格式，指定http//mserv.com/MPEG/movie0a.mp2作为保存场所。类型为audio的mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，类型为audio的mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
因此，当内容由多个媒体所构成时，必须控制媒体段间的重放定时和同步。因此，在本实施例中，记述变换器1003把由构造记述数据所记述的摘要内容记述1008变换为由能够表现媒体段的重放顺序、重放的定时、同步信息的表现记述数据所记述的重放方法记述1009。
在本实施例中，作为表现记述数据，使用Synchronized Multimedia Integration Language(SMIL)。SMIL是对于多个媒体以记述为目的通过W3C来把这些表现的时间举动和显示屏上的布局等进行标准化的记述语言。在1998年6月15日推荐SMIL的Ver 1.0。SMIL ver.1.0的规格书可以由http//www.w3.org/TR/REC-smil得到。
这样，通过在表现记述数据中使用标准化的SMIL，能够利用现有的或者从其所开发的SMIL处理程序，因此，具有通用性。
下面，使用图4来对把用XML所记述的构造记述数据变换为表现媒体段的重放顺序、重放的定时、同步信息等的重放形态的表现记述数据的处理进行说明。图4是表示实施例1所涉及的记述变换器把构造记述数据变换为SMIL的程序的流程图。
首先，当开始处理时(步骤S401)，在步骤S402中，分析在记述变换器1003由构造记述数据所记述的摘要内容记述1008中是否存在par要素。而且，当在步骤S402中判断为存在par要素时，记述变换器1003移到步骤S406的处理，当判断为没有par要素时，移到步骤S403的处理。
记述变换器1003，在步骤S403中，分别从由构造记述数据所记述的摘要内容记述1008的mediaObject要素的type属性取得媒体的类型，从由构造记述数据所记述的摘要内容记述1008的mediaObject要素的format属性取得媒体的格式，从由构造记述数据所记述的摘要内容记述1008的mediaObject要素的src属性取得媒体数据的URL。接着，记述变换器1003，在步骤S404中，从各segment要素的start属性和stop属性取得媒体段的时间信息，并存储其。接着，记述变换器1003，在步骤S405中，从在步骤S403和步骤S405中取得的媒体的格式、媒体数据的URL、媒体段的时间信息来生成用SMIL文件所记述的重放方法记述1009，并输出。
另一方面，记述变换器1003，在步骤S406中，取得par要素中的开头的mediaObject要素。接着，记述变换器1003，在步骤S407中，分别从取得的mediaObject要素的type属性取得媒体的类型，从取得的mediaObject要素的format属性取得媒体的格式，从取得的mediaObject要素的src属性取得媒体数据的URL。接着，记述变换器1003，在步骤S408中，从各segment要素的start属性和stop属性取得媒体段的时间信息，并存储其。
接着，记述变换器1003，在步骤S409中，分析在par要素中是否存在尚未分析的mediaObject要素。接着，如果存在尚未分析的mediaObject要素，记述变换器1003，在步骤S410中，取得其开头，移到步骤S407的处理。另一方面，如果不存在尚未分析的mediaObject要素，记述变换器1003移到步骤S411。
接着，记述变换器1003，在步骤S411中，使用存储的segment要素的时间信息，对于属于不同mediaObject要素并且在时间上重叠的某个segment要素进行分组。接着，记述变换器1003，在步骤S412中，从在步骤S407和步骤S408中取得的媒体的格式、媒体数据的URL、媒体段的时间信息来生成由SMIL文件所记述的重放方法记述1009，并输出。
下面，使用图5来对当在作为构造记述数据的摘要内容记述1008中没有par要素时记述变换器1003从摘要内容记述1008输出作为SMIL文件的重放方法记述1009的步骤S405中的处理进行说明。图5是实施例1所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图。
首先，记述变换器1003输出SMIL的首部(步骤S501)。
SMIL文件，如图6所示的那样，由首部601和本体602所构成。首部601由head要素所记述，本体602由body要素所记述。即，首部601为由<head>和</head>围住的部分，本体602为由<body>和</body>围住的部分。
可以在首部中记述制作者、制作日等信息以及在画面上的什么地方显示图象和在什么地方显示文本的布局等。而且，首部可以省略。
接着，记述变换器1003由<seq>和</seq>围住媒体段全体(步骤S502)。它们是seq要素，代表按照记述的顺序处理即重放或者显示由<seq>和</seq>围住的媒体段。
接着，记述变换器1003对每个由<seq>和</seq>围住的媒体段进行以下处理。
首先，与媒体类型相配合，从SMIL的audio要素、video要素、ref要素、img要素中选择对应的要素(步骤S503)。而且，所谓ref要素是作为没有指定源的媒体的写入方所定义的。由ref要素所指定的内容可以是声音、图象、静止图象、图象和声音进行同步的内容。
接着，记述变换器1003按以下这样来设定在步骤S503中选择的要素的clip-begin属性和clip-end属性的值。即，把对应的摘要内容记述1008的segment要素的start属性的值设定为SMIL的clip-begin属性的值，把对应的摘要内容记述1008的segment要素的end属性的值设定为clip-end属性的值(步骤S504)。而且，所谓clip是指时间的区间。
接着，记述变换器1003把在步骤S503中选择的要素的src属性的值设定为作为对应的摘要内容记述1008的segment要素的母要素的mediaObject要素的src属性的值。然后，输出在步骤S503中选择的要素的记述。这样，记述变换器1003从作为构造记述数据的摘要内容记述1008而生成作为由SMIL所记述的表现记述数据的重放方法记述1009。
在图7中表示了记述变换器1003从图2B所示的构造记述数据输出的SMIL文件。图7是表示实施例1所涉及的记述变换器输出的SMIL文件的例子的图。
在图7所示的文件的例子中，按照http//mserv.com/MPEG/movie0.mpg的从时刻00:00:00到00:01:00的信息、http//mserv.com/MPEG/movie0.mpg的从时刻00:01:00到00:02:00的信息、具有http//mserv.com/MPEG/movie0.mpg的从时刻00:03:00到00:04:00的信息的信息、http//mserv.com/MPEG/movie0.mpg的从时刻00:04:00到00:05:00的信息的顺序来进行处理。而且，在图7所示的例子中，首部被省略了。
而且，可以追加把时间上连续的剪辑进行集中的处理，而输出图8所示的SMIL文件。
在图8所示的文件的例子中，按照具有http//mserv.com/MPEG/movie0.mpg的从时刻00:00:00到00:02:00的信息的信息、http//mserv.com/MPEG/movie0.mpg的从时刻00:03:00到00:05:00的信息的顺序来进行处理。即，图8所示的文件进行与图7所示的文件的例子相同的处理。
下面使用图9来对当在作为构造记述数据的摘要内容记述1008中存在par要素时，记述变换器1003从摘要内容记述1008输出作为SMIL文件的重放方法记述1009的步骤S412中的处理进行说明。图9是实施例1所涉及的记述变换器从作为构造记述数据的摘要内容记述输出作为SMIL文件的重放方法记述的流程图。
首先，记述变换器1003输出SMIL的首部(步骤S901)。接着，记述变换器1003用<seq>和</seq>围住媒体段全体(步骤S902)。然后，记述变换器1003按照时间早的组的顺序来用SMIL的<par>和</par>围住媒体段的组(步骤S903)。
接着，记述变换器1003判断属于相同的mediaObject要素的媒体段是否处于其他地方(步骤S904)，当媒体段处于其他地方时，用<seq>和</seq>围住它们(步骤S905)。接着，记述变换器1003对每个用<seq>和</seq>围住的媒体段进行以下的处理。
首先，与媒体类型相配合，从SMIL的audio要素、video要素、ref要素、img要素等中选择对应的要素。接着，设定选择的要素的clip-begin属性和clip-end属性(步骤S906)。其是把摘要内容记述1008的对应的segment要素的start属性的值设定为SMIL的clip-begin属性的值，把摘要内容记述1008的对应的segment要素的end属性的值设定为clip-end属性的值(步骤S907)。接着，把选择的要素的src属性的值设定为作为对应的摘要内容记述1008的segment要素的母要素的mediaObject要素的src属性的值(步骤S908)。然后，输出选择的要素的记述。
另一方面，记述变换器1003在属于相同的mediaObject要素的媒体段不存在时，不用<sep>和</seq>进行围绕，而进行与在上述每个媒体段中进行的处理相同的处理。
这样，记述变换器1003，即使在作为构造记述数据的摘要内容记述1008由多个媒体所构成的情况下，也能生成作为与多个媒体同步进行处理的表现记述数据的重放方法记述1009。
在图10中表示从图3所示的构造记述数据所输出的SMIL文件。图10是表示实施例1所涉及的记述变换器输出SMIL文件的例子的图。
在图10所示的文件的例子中，把作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:00:00到00:01:00的信息和作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:00:00到00:01:00的信息进行同步，把作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:01:00到00:02:00的信息和作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:01:00到00:02:00的信息进行同步，把作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:03:00到00:04:00的信息和作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:03:00到00:04:00的信息进行同步，把作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:04:00到00:05:00的信息和作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:04:00到00:05:00的信息进行同步，并且，按照记述同步的信息的顺序进行处理。
而且，如图11所示的那样，可以输出追加了把时间上连续的剪辑进行集中的处理的SMIL文件。
而且，由于使SMIL文件的par要素中的多个剪辑相同步，存在必须使某个剪辑的重放开始时间与其他剪辑的重放开始时间不同的情况。例如，audio和video为不同的媒体对象，video的剪辑处于人类所看到范围，audio的剪辑处于人类说话的声音中。在此情况下，就必须配合在video中包含的人类的嘴的活动的图象，audio从人开始说话来进行重放。
即，必须计算各个剪辑的重放开始时间，当该时间到来时，开始进行重放。为了该目的，在SMIL中，在audio要素、video要素、img要素、ref要素中准备表示延迟信息的begin这样的属性。而且，通过使用begin属性，就能使每个剪辑具有不同的重放开始时间。
图12是表示使每个剪辑具有不同的重放开始时间的SMIL文件的例子的图。在图12所示的文件中，通过使用begin属性，对于作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:00:00到00:01:00的信息的重放时间，使作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:00:10到00:000:40的信息经过10秒后进行重放。而且，对于作为video的http//mserv.com/MPEG/movie0v.mpv的从时刻00:04:00到00:05:00的信息，使作为audio的http//mserv.com/MPEG/movie0a.mp2的从时刻00:04:15到00:05:00的信息经过15秒后进行重放。
这样，通过使用begin属性，来错开在构造记述数据中包含的多个媒体间的重放时间，由此，能够取得多个媒体的同步。
如上述那样，根据实施例1，进行从表现媒体内容的构成的构造记述数据向表现该媒体内容的重放形态的表现记述数据的变换。由此，通过在媒体内容的传输中适当处理或者选择构造记述数据，就能制成适合用户和终端的发送数据。
而且，根据实施例1，即使构造记述数据由多个媒体所构成，也能在媒体间取得同步。而且，通过在多个媒体间错开重放定时，就能取得媒体间的同步。
而且，在实施例1中，以记述变换器1003进行从表现媒体内容的构成的构造记述数据向表现该媒体内容的重放形态的表现记述数据的变换的形态进行了说明，但是，也可以用程序来实现记述变换器1003进行的处理，而成为读取到计算机中来执行的形态。
而且，可以把在计算机中执行记述变换器1003进行的处理的程序存储到存储媒体中。
实施例2
实施例2是为了进行适合于终端的媒体内容的重放、发送，在构造记述数据中记述媒体段及其代替数据，把构造记述数据变换为表现媒体段或者代替数据的重放形态的表现记述数据。由此，进行从由作为活动图象的媒体段的代表图象这样的代替数据的集合所记述构造记述数据向代替数据的表现记述数据的变换。以下，对实施例2进行说明。
图13、图14、图15是表示本实施例中的构造记述数据的例子的图。在实施例2中，作为在计算机上表现构造记述数据的一例，使用Extensible Markup Language(XML)。图13是用于由XML记述构造记述数据的DTD。而且，图14是以MPEG1为例与活动图象和声音同步的媒体内容相对应的构造记述数据的例子。而且，图15是活动图象和声音分别为不同的媒体的媒体内容的构造记述数据的例子。
首先，使用图13，来说明作为用于用XML记述构造记述数据的定义的Document Type Definition(DTD)。
如图中1301所示的那样，contents要素由par要素和mediaObject要素所构成。而且，如图中1302所示的那样，contents要素具有用字符数据所表示的title属性。而且，如图中1303所示的那样，par要素由作为多个子要素的mediaObject要素所构成。
而且，如图中1304所示的那样，mediaObject要素由segment要素所构成。而且，如图中1305所示的那样，mediaObject要素由其type属性指定媒体的类型。在该例中，作为媒体的类型，指定了作为声音信息的audio、作为活动图象信息的video、作为静止图象信息的image、作为声音和活动图象进行同步的信息的audiovideo、作为声音和静止图象的信息的audioimage这样的媒体的类型。而且，当没有进行type属性的指定时，type属性通过缺省设定为audiovideo。
而且，如图中1306所示的那样，mediaObject要素用format属性来对活动图象指定MPEG1，MPEG2的媒体的格式，对静止图象指定gif和jpeg这样的格式。而且，如图中1307所示的那样，mediaObject要素用src属性指定数据所保存的场所。通过用src属性来指定Uniform Resource Locator(URL)，能够指定数据所保存的场所。
而且，如图中1308所示的那样，通过start属性来指定与segment要素的开始时间相对应的由mediaObject要素所指定的媒体内部中的时间。而且，通过end属性来指定与segment要素的结束时间相对应的由mediaObject要素所指定的媒体内部的时间。
而且，在本实施例中，由开始时间和结束时间的组来指定媒体段的时间信息，但是，也可以用开始时间和持续时间的组来表示。
而且，如图中1309所示的那样，segment要素具有alt要素。alt要素代表该媒体段的代替数据。而且，如图中1310所示的那样，alt要素通过type属性来指定image和audio这样的媒体的类型。而且，如果是静止图象，alt要素通过format属性来指定gif和jpeg这样的媒体的格式。而且，alt要素通过src属性来指定所保存的场所。
而且，alt要素能够对各个媒体段进行多个指定，在相同媒体的情况下，按登场顺序进行重放。
而且，alt要素具有作为子要素的pos要素。而且，alt要素通过作为子要素的pos要素能够在由src属性所指定的数据中指定是哪个区间。pos要素的start属性和end属性分别表示在由src属性所示的媒体内部的开始时间、结束时间。
而且，在本实施例中，是通过开始时间和结束时间的组来指定时间信息，但是，也可以通过开始时间和持续时间的组来表示。
下面使用图14来对以MPEG1为例与活动图象和声音同步的媒体内容相对应的构造记述数据的例子进行说明。
在图14所示的构造记述数据中，在contents要素中指定Movie etc这样的标题。接着，在mediaObject要素的类型中，audiovideo指定MPEG1作为格式，指定http//mserv.com/MPEG/movie0.mpg作为保存场所。而且，mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
而且，具有从时刻00:00:00到00:01:00的时间信息的segment要素由作为audiovideo的代替数据的alt要素进行指示。具有从时刻00:00:00到00:01:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s0.jpg的alt要素和类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:00:00到00:01:00的时间信息的alt要素所构成具有从时刻00:01:00到00:02:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s1.jpg的alt要素和类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:01:00到00:01:30的时间信息的alt要素所构成。
具有从时刻00:03:00到00:04:00的时间信息的segment要素由类型为image、格式为jpeg、保存场听为http//mserv.com/IMAGE/s3.jpg的alt要素和类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:03:00到00:03:30的时间信息的alt要素所构成。
具有从时刻00:04:00到00:05:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s4.jpg的alt要素和类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:04:00到00:05:00的时间信息的alt要素所构成。
下面使用图15来对活动图象和声音分别为不同的媒体的媒体内容的构造记述数据的例子进行说明。
在图15所示的构造记述数据中，在contents要素中指定Movie etc这样的标题。而且，在图15的例子中，contents要素由video的类型的nediaObject要素和audio的类型的mediaObject要素所构成。这样，通过par要素来取得类型为video的mediaObject要素和类型为audio的mediaObject要素的同步。
类型为video的mediaObject要素指定MPEG1作为格式，指定http//mserv.com/MPEG/movie0.mpv作为保存场所。而且，类型为video的mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，类型为video的mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
而且，具有从时刻00:00:00到00:01:00的时间信息的segment要素由作为video的代替数据的alt要素进行指示。具有从时刻00:00:00到00:01:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s0.jpg的alt要素所指示。并且，具有从时刻00:01:00到00:02:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s1.jpg的alt要素所指示。并且，具有从时刻00:03:00到00:04:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s3.jpg的alt要素所指示。并且，具有从时刻00:04:00到00:05:00的时间信息的segment要素由类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s4.jpg的alt要素所指示。
而且，类型为audio的mediaObject要素指定mpeg1作为格式、指定http//mserv.com/MPEG/movie0a.mp2作为保存场所。而且，类型为audio的mediaObject要素包括具有从时刻00:00:00到00:01:00的时间信息的segment要素、具有从时刻00:01:00到00:02:00的时间信息的segment要素、具有从时刻00:03:00到00:04:00的时间信息的segment要素、具有从时刻00:04:00到00:05:00的时间信息的segment要素。即，类型为audio的mediaObject要素为除了从时刻00:02:00到00:03:00之外的记述。
而且，具有从时刻00:00:00到00:01:00的时间信息的segment要素由作为audio的代替数据的alt要素进行指示。具有从时刻00:00:00到00:01:00的时间信息的segment要素由类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:00:00到00:01:00的时间信息的alt要素所指示。并且，具有从时刻00:01:00到00:02:00的时间信息的segment要素由类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:01:00到00:01:30的时间信息的alt要素所指示。并且，具有从时刻00:03:00到00:04:00的时间信息的segment要素由类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:03:00到00:03:30的时间信息的alt要素所指示。并且，具有从时刻00:04:00到00:05:00的时间信息的segment要素由类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:04:00到00:05:00的时间信息的alt要素所指示。
在本实施例中，与实施例1相同，使用SMIL作为表现记述数据。重放各个媒体段自身的SMIL文件的输出与实施例1相同。
以下，对记述变换器1003输出重放代替数据的SMIL文件的处理进行描述。在实施例1中的图4的流程图中，只是输出SMIL文件的步骤S405和步骤S412的处理不同。这样，对于与实施例1不同的处理进行说明。首先，使用图16来对步骤S405的处理进行说明。
首先，记述变换器1003输出SMIL的首部(步骤S1601)。接着，记述变换器1003用<seq>和</seq>围住媒体段全体(步骤S1602)。然后，记述变换器1003对于每个围住的媒体段判断是否存在媒体类型不同的代替数据(步骤S1603)。
接着，当记述变换器1003在S1603中进行了没有媒体类型不同的代替数据时，就判断代替数据是否有多个(步骤S1604)。当代替数据有多个时，记述变换器1003用<seq>和</seq>围住多个代替数据(步骤S1605)。另一方面，当代替数据只有一个时，记述变换器1003不用<seq>和</seq>进行围绕，而对每个代替数据进行以下的处理。
接着，记述变换器1003与代替数据的类型相配合，从SMIL的audio要素、video要素、img要素等中选择对应的要素(步骤S1606)。接着，当alt要素的子要素pos的start属性和end属性被指定时，记述变换器1003在SMIL的clip-begin属性中设定start属性的值在clip-end属性中设定end属性的值(步骤S1607)。接着，记述变换器1003对于每个代替数据设定表示保存场所的src属性(步骤S1608)。
另一方面，当记述变换器1003在S1603中判断为存在媒体类型不同的代替数据时，用同种类的媒体类型对代替数据进行分组(步骤S1609)。
接着，记述变换器1003为了取得各组的重放结束的同步，必须分析持续时间最长的代替数据。这样，记述变换器1003对于每组从代替数据的start属性，end属性的值来计算持续时间(步骤S1610)。但是，当媒体类型为静止图象(image)时或者start属性，end属性未被指定时，该代替数据的持续时间为0。
接着，记述变换器1003给持续时间最长的组设定SMIL的par要素的endsync属性以便于配合重放结束的同步(步骤S1611)，用<par>和</par>围住组全体，对每个媒体类型的组进行S1604的处理。
所谓endsync属性是指当并行(parallel)重放·显示用<par>和</par>围住的多个媒体时，由媒体在持续时间不同的情况下使用的属性。即，所谓endsync属性是指在这样的情况下，指定哪个媒体配合全部的媒体的重放·显示的结束。endsync属性中的媒体的指定方法有几种，在本实施例中，使用用媒体的id来进行指定的方法。具体地说，给某种类型的媒体的属性赋予作为识别符的id。通过使endsync属性＝id，来与赋予了id的媒体的结束时间相配合，赋予了该id的媒体与同一组内的媒体保持同步而结束。
由此，作为静止图象这样的没有持续时间的媒体，不是通过dur等属性来指定显示时间，与此相对，能够使该媒体的重放结束时间与赋予了id的媒体的重放时间相同。例如，可以在声音的媒体被重放期间，一直连续不断地显示静止图象。
在图17中表示了从图14所示的构造记述数据通过上述处理所输出的SMIL文件。
在图17的SMIL文件中，记述了多个组1701～1704。在由1701所记述的组中，由以下部分所构成类型为image、格式为jpeg、保存场所为http//mserv.com/IMAGE/s0.jpg的代替数据和类型为audio、格式为mpeg1、保存场所为http//mserv.com/MPEG/movie0.mp2、具有从时刻00:00:00到00:01:00的时间信息的代替数据。而且，给类型为audio的代替数据赋予a0作为id属性。而且，对于组1701，给endsync属性设定id(a0)。由此，在组1701中包含的代替数据的重放结束时间与类型为audio的代替数据相配合。即，类型为image的代替数据在类型为audio的代替数据的重放时间中持续进行重放。
而且，组1702～组1704的说明省略了。
下面使用图18来对步骤S412的处理进行说明。首先，记述变换器1003输出SMIL的首部(步骤S1801)。接着，记述变换器1003用<seq>和</seq>围住媒体段全体(步骤S1802)。
然后，记述变换器1003按照媒体段的组的时间早晚顺序来对属于相同mediaObject要素的代替数据进行分组(步骤S1803)，对于每组从start属性，end属性的值来计算持续时间(步骤S1804)。但是，当媒体类型为静止图象(image)时或者start属性，end属性未被指定时，该代替数据的持续时间为0。
接着，记述变换器1003给持续时间最长的组设定SMIL的par要素的endsync属性以便于配合重放结束的同步，用其<par>和</par>围住组全体(步骤S1805)。
接着，记述变换器1003判断代替数据是否为多个(步骤S1806)。接着，当代替数据有多个时，记述变换器1003用<seq>和</seq>围住多个代替数据(步骤S1807)。另一方面，当代替数据为一个时，记述变换器1003不用<seq>和</seq>进行围绕，对于每个代替数据进行以下的处理。
接着，记述变换器1003与代替数据的类型相配合，从SMIL的audio要素、video要素、img要素等中选择对应的要素(步骤S1808)。接着，当alt要素的子要素pos的start属性和end属性被指定时，记述变换器1003在SMIL的clip-begin属性中设定start属性的值，在clip-end属性中设定end属性的值(步骤S1809)。接着，记述变换器1003对于每个代替数据设定表示保存场所的src属性(步骤S1810)。
而且，从图14所示的构造记述数据通过图18所示的处理所输出的SMIL文件与图17相同。
而且，在SMIL文件中，为了使par要素中的各剪辑同步，必须使重放开始时间不同。在此情况下，必须计算各剪辑的重放开始时间，当该时间到达时，开始进行重放。
为了这样的目的，在SMIL中，在audio要素、video要素、img要素、ref要素中准备begin这样的属性，通过使用它们就能实现。
如以上那样，根据实施例2，对于媒体内容的全体或者部分的构成，进行从由媒体段的时间信息和如果该媒体段为活动图象时的其代表图象这样的代替数据的集合进行记述的构造记述数据向表现在构造记述数据中所记述的媒体段或者其代替数据的重放顺序、重放的定时、同步信息的表现记述数据的变换。
由此，能够从与媒体内容的构成相关的信息，生成与配合终端的显示媒体的重放相关的信息。其结果，在媒体内容的发送中，能够制作配合终端的发送数据。
实施例3实施例3是为了进行配合终端的媒体内容的重放、发送，来在构造记述数据中记述媒体段和其代替数据以及配合终端而切换媒体段和代替数据的数据。而且，把该构造记述数据变换为配合终端而切换媒体段和代替数据来进行表现的表现记述数据。
以下，对本发明的实施例3进行说明。在实施例3的表现记述数据中，在一个SMIL文件中记述重放媒体段时和重放代替数据时两种情况并输出。作为构造记述数据，使用图14和图15所示的。
在由本实施例所输出的表现记述数据中，共同记述了重放媒体段的情况和重放代替数据的情况。当根据其而重放媒体内容时，必须选择重放媒体段还是重放代替数据。因此，在表现记述数据中记述用于进行选择的条件。
由于进行选择的条件能够由SMIL中的switch要素进行记述，因此，在本实施例中，使用SMIL文件作为表现记述数据。所谓switch要素是指从多个媒体中选择符合条件的一个。选择是按在switch要素的内容中所写的媒体顺序来进行评价，选择最初符合条件的媒体。条件被附加给在switch要素的内容中所写的媒体的属性中，具有system-bitrate属性、system-caption属性等。
在本实施例中，以发送媒体内容的网络的连接比特率作为条件。具体地说，当连接比特率为56kbps以上时，重放媒体段，当不足56kbps时，重放代替数据。
以下，对记述变换器1003输出重放媒体段或者代替数据的SMIL文件的处理进行描述。其中，在实施例1中的图4的流程图中，仅输出SMIL文件的步骤S405和步骤S412的一部分的处理不同。这样，使用图19来对与步骤S405或者步骤S412相对应的处理进行说明。
首先，记述变换器1003输出SMIL的首部(步骤S1901)。接着，记述变换器1003用<switch>和</switch>围住媒体全体(步骤S1902)。接着，记述变换器1003用<seq>和</seq>围住媒体段(步骤S1903)，把seq要素的system-bitrate属性设定为system-bitrate属性＝“56000”(步骤S1904)。
system-bitrate属性用于switch要素内的条件评价，由此，由每一秒的比特数来指定系统能够使用的频带。如果为其中所记述的值以上，则判定为switch要素符合条件。在上述例子中，通过比特率为56000bps以上，判断为符合条件。而且，如果该条件一致在switch要素中是最初的条件一致，则选择一致的条件的媒体。
接着，记述变换器1003进行图5所示的S503～S505或者图9所示的S903～S908的处理(步骤S1905)。由此，输出重放媒体段的SMIL文件。
在此情况下，通过忽略表示代替数据的alt要素，就能使用实施例1中的步骤S405或者步骤S412的处理程序。接着，记述变换器1003不设定seq要素的system-bitrate属性，用<seq>和</seq>围住该代替数据(步骤S1906)，而进行实施例2中所示的图16的S1603～S1612或者图18的S1803～1810的处理程序(步骤S1907)。由此，记述变换器1003输出重放代替数据的SMIL文件。
这样，能够制成可以选择重放媒体段或者重放代替数据的SMIL文件。
在图20中，通过实施例3表示了所输出的SMIL文件。在图20所示的SMIL文件中记述了switch要素2000，switch要素具有两个seq要素2001、2002作为内容。一个seq要素2001是从<seq system-bitrate＝“56000”>到最初的</seq>的部分，另一个seq要素2002是从其后的<seq>到</seq>的部分。该switch要素评价<seq system-bitrate＝“56000”>。如果所使用的系统能够使用的比特率为56000bps以上，则满足该条件，因此，选择seq要素2001。如果所使用的系统能够使用的比特率为56000bps以下，就不选择seq要素2001，而评价seq要素2002。
seq要素2001是表示重放媒体段的部分，seq要素2002是表示重放代替数据的部分。这样，通过系统能够使用的比特率为56000bps以上，就重放媒体段，如果不足56000bps，则重放代替数据。
而且，在本实施例中，作为重放媒体段或者代替数据的选择的条件，使用网络的连接比特率，但是，也可以是其他的条件。但是，在此情况下，由于存在不能使用SMIL的switch要素的条件，就必须定义扩展SMIL的switch要素的表现记述数据。
而且，如图21A所示的那样，扩展构造记述数据的alt，以便于具有记述使用其中所指定的代替数据的条件的condition这样的子要素，通过用condition所指定的条件，可以进行情况分离。
在图21B中表示了使用condition这样的子要素的构造记述数据。在图21B中所记载的构造记述数据代表构成表现记述数据，以便于当narrow band时，使用一行的数据。
而且，在SMIL文件中，为了使par要素中的各剪辑保持同步，必须使重放开始时间不同。在此情况下，就需要计算各剪辑的重放开始时间，当该时间到达时，开始进行重放。
在SMIL中，为了这样的目的，在audio要素、video要素、img要素、ref要素中准备begin这样的属性，通过使用它们就能实现。
如上述那样，根据实施例3，对于媒体内容的全体或者部分的构成，进行从由媒体段的时间信息和如果该媒体段为活动图象时的其代表图象这样的代替数据的集合进行记述的构造记述数据向表现在构造记述数据中所记述的媒体段和其代替数据的重放顺序、重放的定时、同步信息以及表示选择媒体段或者代替数据进行重放的信息的表现记述数据的变换。由此，能够从与媒体内容的构成相关的信息，配合终端，生成包含媒体段或者代替数据的选择的与重放相关的信息。
实施例4实施例4是为了与图象信息和声音信息同步的连续视听觉信息(媒体内容)相关而进行梗概和精彩场景这样的媒体内容的代表性部分的重放、发送，对于媒体内容，通过区分媒体内容的各个区段(媒体段)的集合，来表现该媒体内容的构成，并且，输入记述了根据各个媒体内容的时间信息和该媒体段的文理内容的重要度的构造记述数据和根据文理内容的重要度的阈值，从构造记述数据中选择阈值以上的媒体段。而且，把从构造记述数据中选择的媒体段作为重放形态，而变换为表现媒体段的重放顺序、重放的定时的表现记述数据，并进行输出。
由此，通过从与媒体内容的构成相关的信息中仅选择出重要度高的媒体段，而仅选择出构成梗概和精彩场景的媒体段，仅对选出的媒体段，来进行向与重放相关的表现记述数据的变换。
以下对本发明的实施例4进行说明。实施例4涉及没有指定媒体段的代替数据的构成。在图22中表示了实施例4中的数据处理装置的方框图。在图22中，用1501所表示的部分是作为选择装置的摘要引擎。用1502所表示的部分是作为变换装置的记述变换器。用1503所表示的部分是输入数据，是作为构造记述数据的内容记述，用1504所表示的部分是选择条件，用1505所表示的部分是输出，是作为表现记述数据的重放方法记述。
在图23中表示了在实施例4中使用的构造记述数据的DTD。图23所示的DTD是在图2A所示的DTD的segment要素上增加了根据媒体段的文理内容而表示重要度的score 2301这样的属性。该重要度用正整数值表示，1是重要度最低的情况。
下面，在图24中表示了实施例4的作为构造记述数据的内容记述1503。
如图中的2401所示的那样，给各段赋予表示重要度的score属性。
在实施例4中，使用媒体段的重要度作为选择条件1504。而且，摘要引擎1501把媒体段的重要度为阈值以上作为条件，来进行媒体段的选择。以下，使用图25的流程图对作为选择装置的摘要引擎1501的处理进行说明。
首先，摘要引擎1501在步骤S2501中取出在内容记述1503中所记述的最初的媒体段即segment要素的开头。接着，摘要引擎1501在步骤S2502中取出作为取出的媒体段的点值的segment要素的score属性，分析其是否在阈值以上。接着，摘要引擎1501，在最初的媒体段的score属性为阈值以上的情况下，进到步骤S2503的处理以后，当最初的媒体段的score属性为阈值以下时，移到步骤S2504的处理。
摘要引擎1501在步骤S2503中向作为变换装置的记述变换器1502输出作为该媒体段的开始时间和结束时间的segment要素的start属性和end属性的值。
而且，摘要引擎1501在步骤S2504中分析是否存在未处理的媒体段。接着，摘要引擎1501，在存在未处理的媒体段时，进到步骤S2505的处理以后，当没有未处理的媒体段时，结束处理。
摘要引擎1501在步骤S2505中从未处理的媒体段中取出开头的segment要素，移到步骤S2502。
作为变换装置的记述变换器1502的处理与从实施例1所示的图4的构造记述数据向SMIL的变换的程序相同，因此，省略其详细的说明。
而且，在实施例4中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
在图26中表示了阈值为4时的从图23的作为构造记述数据的内容记述1503所生成的中间的构造记述数据的例子。
如从图中2601所看到的那样，在中间的构造记述数据中仅选择阈值为4以上的媒体段进行记述。
而且，把媒体段的重要度为阈值以上的情况作为选择条件，但是，也可以把选择的媒体段的重放时间的总和为阈值以下的情况作为选择条件。在此情况下，在摘要引擎1501中，把所有的媒体段按照其重要度的高低顺序进行分类，在重放时间的总和为阈值以下并且在成为最大以前，从分类的开头选择媒体段来进行处理。而且，可以是媒体段的重要度的条件和重放时间的条件的组合形态。
如上述那样，根据实施例4，从根据媒体段的文理内容的重要度来进行媒体段的选择，由此，构成梗概和精彩场景集等，进行这些表现记述数据的生成。由此，仅对用户希望的部分进行媒体内容的重放、发送。
而且，可以配合段的重要度来制作时段的重放时间变化的摘要内容记述。
实施例5相对于实施例4限定为图象信息和声音信息为一个媒体对象的情况，实施例5包含由多个媒体对象所产生的同步所构成的情况。
下面对本发明的实施例5进行说明。实施例5涉及没有指定媒体段的代替数据的构成。实施例5中的数据处理装置的方框图与图22所示的相同。
在实施例5中，作为用于构造记述数据1503的DTD，使用图23所示的。在图27中表示了作为实施例5中的构造记述数据的内容记述1503的例子。
在图27所示的内容记述1503中，记述了类型为video的mediaObject要素2701和类型为audio的mediaObject要素2702。如图中的2703所示的那样，在类型为video的mediaObject要素2701的段中记述了作为重要度的score属性。而且，如图中的2704所示的那样，在类型为audio的mediaObject要素2702的段中，记述了作为重要度的score属性。
在实施例5中，选择条件1504为媒体段的重要度为预定值以上。作为在此情况下的选择装置的摘要引擎1501的处理是对每个mediaObject要素进行实施例4中的摘要引擎1501的处理。
在图28中表示了实施例5中的摘要引擎1501的处理的流程图。
首先，摘要引擎1501在步骤S2801中取出最初的mediaObject要素。接着，摘要引擎1501在步骤S2802中从作为取出的mediaObject要素的内容的媒体段中取出作为开头的segment要素。接着，摘要引擎1501在步骤S2803中取出表示取出的媒体段的点值的segment要素的score属性的值，分析其是否在阈值以上。
摘要引擎1501在取出的媒体段在阈值以上的情况下，移到步骤S2804的处理，当取出的媒体段在阈值以下时，移到步骤S2805的处理。接着，摘要引擎1501在步骤S2804中把作为该媒体段的开始时间和结束时间的segment要素的start属性和end属性输出给记述变换器1502。
接着，摘要引擎1501在步骤S2805中分析是否存在未处理的媒体段。而且，摘要引擎1501在存在未处理的媒体段的情况下，移到步骤S2806的处理，当不存在未处理的媒体段时，移到步骤S2805的处理。
接着，摘要引擎1501在步骤S2806中从未处理的媒体段中取出开头的segment要素，移到步骤S2803的处理。
另一方面，摘要引擎1501在步骤S2807中分析未处理的mediaObject要素是否还有剩余，当还有剩余时，移到步骤S2808的处理，当没有剩余时，结束处理。而且，摘要引擎1501在步骤S2808中从未处理的mediaObject要素中取出开头的mediaObject要素，移到步骤S2802的处理。
作为实施例5的变换装置的记述变换器1502为对每个mediaObject要素的处理，进行与实施例1所示的从图4的构造记述数据向SMIL的变换的程序的处理相同的处理。
而且，在实施例5中，摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
在图29中表示了阈值为4时的从图27的内容记述1503所生成的中间的构造记述数据的例子。
如从图中2901所看到的那样，在类型为video的mediaObject要素中仅选择阈值为4以上的媒体段来进行记述。而且，如从图中的2902所看到的那样，在类型为audio的mediaObject要素中仅选择阈值为4以上的媒体段来进行记述。
而且，在SMIL文件中，与par要素中的各个剪辑相关，为了进行同步而必须使重放开始时间不同。在此情况下，必须计算各个剪辑的重放开始时间，当该时间到来时，开始进行重放。
为了该目的，在SMIL中，在audio要素、video要素、img要素、ref要素中准备begin这样的属性。而且，通过使用它们，就能实现。
如上述那样，根据实施例5，从根据媒体段的文理内容的重要度，通过进行媒体段的选择，来构成梗概和精彩场景集等，来进行这些表现记述数据的生成。由此，仅对用户希望的部分进行媒体内容的重放、发送。
实施例6下面对发明的实施例6进行说明。与实施例4不指定媒体段的代替数据相对应，实施例6指定媒体段的代替数据。而且，实施例6涉及这样的构成在摘要引擎中进行重放媒体段还是重放代替数据的选择。
实施例6中的数据处理装置的方框图与图22所示的相同。
在图30中表示了实施例6中使用的构造记述数据的DTD的例子。如图中的3001所示的那样，图30所示的DTD是在图13所示的DTD的segment要素上增加了根据媒体段的文理内容而表示重要度的score这样的属性。该重要度用正整数值表示，1是重要度最低的情况。
在图31中表示了作为构造记述数据的内容记述1503的例子。如图31所看到的那样，在由代替数据所构成的段中记述了分别表示重要度的score属性。
实施例6中的作为选择装置的摘要引擎1501的处理与实施例4中的摘要引擎的处理相同，但是，实施例6中的作为选择装置的摘要引擎1501在输出选择的媒体段时在segment要素的start属性和end属性的基础上还输出作为子要素的alt要素。
而且，实施例6中的作为变换装置的记述变换器1502的处理与实施例1、实施例2、实施例3所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中，摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
在图32中表示了阈值为4时的从图31的作为构造记述数据的内容记述1503所生成的中间的构造记述数据的例子。
在图32所示的构造记述数据中仅选择作为重要度的score属性的值为4以上的段和该段的代替数据来进行记述。
实施例7下面对本发明的实施例7进行说明。与实施例5不指定媒体段的代替数据相对，实施例7指定媒体段的代替数据。而且，实施例7涉及这样的构成指定媒体段的代替数据，并且，在摘要引擎中不进行重放媒体段还是重放代替数据的选择。
实施例7中的数据处理装置的方框图与图22所示的相同。
在实施例7中，作为用于作为构造记述数据的内容记述1503的DTD，使用图30所示的。在图33中表示了实施例7中的作为构造记述数据的内容记述1503的例子。
实施例7中的作为选择装置的摘要引擎1501的处理与实施例5中的摘要引擎1501的处理相同。但是实施例7所涉及的摘要引擎1501在输出选择的媒体段时，在segment要素的start属性和end属性的基础上还输出作为子要素的alt要素。
而且，实施例7中的记述变换器1502的处理与实施例、实施例2或者实施例3所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
在图34中表示了阈值为4时的从图33的作为构造记述数据的内容记述1503所生成的中间的构造记述数据的例子。
在图34所示的构造记述数据中给媒体的每种类型分配记述了作为重要度的score属性的值为4以上的段和该段的代替数据。
实施例8实施例8是仅对图象信息和声音信息同步的连续视听觉信息(媒体内容)的梗概和精彩场景这样的媒体内容的代表性部分通过作为终端的显示媒体进行重放、发送。即，对于媒体内容，通过区分媒体内容的各个区段(媒体段)的集合，来表现该媒体内容的构成，并且，把各个媒体内容的时间信息和记述了根据该媒体段的文理内容的重要度的构造记述数据和根据文理内容的重要度的阈值作为输入，仅选择阈值以上的媒体段。而且，选择媒体段或者该媒体段的代替数据中的哪个作为选择的媒体段的重放形态，而变换为表现其重放顺序、重放的定时的表现记述数据，并进行输出。
由此，通过从与媒体内容的构成相关的信息中仅选择出重要度高的媒体段，而仅选择出构成梗概和精彩场景的媒体段，仅对选出的媒体段，来进行向与重放相关的表现记述数据的变换。这样，能够实现符合重放媒体内容的终端的能力和发送的网络的状况的媒体的选择。
在本发明中对实施例8进行说明。与实施例6指定媒体段的代替数据而不进行重放媒体段还是重放代替数据的选择相对，实施例8指定媒体段的代替数据并且进行重放媒体段还是重放代替数据的选择。在实施例8中，选择装置分成媒体段选择装置和重放媒体选择装置。而且，选择条件分成段选择条件和重放媒体选择条件。
在图35中表示了实施例8中的数据处理装置的方框图。在图35中，由2801所表示的是作为媒体段选择装置的摘要引擎。用2800表示的是记述变换器。而且，记述变换器2800由作为重放媒体选择装置的重放媒体选择部2802和作为变换装置的变换部2803所构成。
由2804所表示的是输入数据，代表作为构造记述数据的内容记述，由2805所表示的是段选择条件，由2806所表示的是重放媒体选择条件，由2807所表示的是输出，代表表现记述数据的重放方法记述。
在实施例8中，作为构造记述数据的内容记述2804使用与实施例6中的内容记述1503相同的。即，内容记述2804使用图30所示的DTD，一个例子是图31所示的。而且，段选择条件2805使用与实施例4或者实施例6中的选择条件1504相同的。在此情况下，作为媒体段选择装置的摘要引擎2801的处理与实施例6中的摘要引擎1501的处理相同。
下面对重放媒体选择部2802的处理进行说明。重放媒体选择部2802，作为重放媒体选择条件2806，以发送媒体内容的网络的连接比特率为条件。即，重放媒体选择部2802在连接比特率为56kbps以上时，重放媒体段，当不足56kbps时，重放代替数据。重放媒体选择部2802分析连接比特率，来判定重放哪个，通知给变换部2803。
变换部2803输入作为媒体段选择装置的摘要引擎2801选择的媒体段的要素和重放媒体选择部2802选择的结果，根据重放媒体选择部2802的结果，输出作为由SMIL所产生的表现记述数据的重放方法记述2807。
变换部2803把内容记述2804变换为SMIL的处理与实施例1或者实施例所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中，摘要引擎2801向变换部2803输出选择的媒体段的要素的内容，变换部2803使用其进行处理，但是，也可以是摘要引擎2801制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器2803输入该中间的构造记述数据来进行处理。
而且，作为重放媒体选择条件2806，使用网络的比特率，但是，除此之外，也可以是重放终端的能力和来自用户的要求等。
实施例9下面对本发明的实施例9进行说明。与实施例7指定媒体段的代替数据并且不进行重放媒体段还是重放代替数据的选择相对，实施例9是指定媒体段的代替数据并且进行重放媒体段还是重放代替数据的选择的方案。而且，实施例9涉及在选择装置中进行重放媒体段还是重放代替数据的选择的构成。
在实施例9中，与实施例8相同，选择装置分成媒体段选择装置和重放媒体选择装置。而且，选择条件分成媒体段选择条件和重放媒体选择条件。因此，本实施例中的数据处理装置的方框图与图35所示的相同。
在实施例9中，作为构造记述数据的内容记述2804使用与实施例7中的内容记述1503相同的。即，内容记述2804使用图30所示的DTD，在图34中表示了内容记述2804的一个例子。而且，段选择条件2805使用与实施例8相同的。因此，摘要引擎2801的处理与实施例7中的摘要引擎1501的处理相同。
实施例9所涉及的重放媒体选择部2802的处理使用与实施例8中所述的相同的处理。
变换部2803输入摘要引擎2801选择的媒体段的要素和重放媒体选择部2802选择的结果，根据重放媒体选择部2802的结果，输出作为由SMIL所产生的表现记述数据的重放方法记述2807。变换部2803进行的从构造记述数据向SMIL的变换处理与实施例1或者实施例2所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中，摘要引擎2801向变换部2803输出选择的媒体段的要素的内容，变换部2803使用其进行处理，但是，也可以是摘要引擎2801制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器2803输入该中间的构造记述数据来进行处理。
而且，作为重放媒体选择条件2806，使用网络的比特率但是，除此之外，也可以是重放终端的能力和来自用户的要求等。
实施例10实施例10是与图象信息和声音信息同步的连续视听觉信息(媒体内容)相关，仅对符合用户嗜好的媒体内容的代表性的部分进行重放、发送。即，实施例10是对于媒体内容，通过区分媒体内容的各个区段(媒体段)的集合，来表现该媒体内容的构成，并且，把各个媒体内容的时间信息和记述了根据由关键词所表现的观点的该媒体段的重要度的构造记述数据以及符合用户嗜好的观点及其重要度的阈值作为输入，仅选择阈值以上的媒体段。而且，作为选择的媒体段的重放形态，变换为表现其重放顺序、重放的定时的表现记述数据，并进行输出。由此，通过从与媒体内容的构成相关的信息中根据对应观点仅选择出重要度为阈值以上的媒体段，仅对选出的媒体段，来进行向与重放相关的表现记述数据的变换。其结果，根据观点，通过重要度能够构成符合用户的嗜好的精彩场景集等，而具有能够仅对该部分进行重放、发送的作用。
下面对发明的实施例10进行说明。实施例10涉及不指定媒体段的代替数据的构成。实施例10中的数据处理装置的方框图与图22所示的相同。
在图36中表示了在实施例10中使用的构造记述数据的DTD。如图中3601所示的那样，图36所示的DTD，为了根据由关键词所表现的观点来表示代表重要度的点值，在图2A所示的DTD的segment要素上增加了pointOfView这样的要素作为子要素。
而且，如图中3602所示的那样，pointOfView要素用viewPoint属性来表示观点，通过score属性，根据由viewPoint属性所示的观点来表示重要度。该重要度用正整数值表示，1是重要度最低的情况。而且，可以在一个segment要素中附加多个pointOfView要素。在图37中表示了作为实施例10中使用的构造记述数据的内容记述1503的例子。
如从图37所看到的那样，在每个segment要素中记述了pointOfView要素、作为其属性的viewPoint和作为属性的score。
在实施例10中，选择条件1504是与某个观点相关，根据媒体段的观点，重要度为阈值以上。而且，成为选择条件1504的观点当然可以为多个。在图38中表示了作为此时的选择装置的摘要引擎1501中的处理的流程图。
首先，摘要引擎1501在步骤S3801中取出作为开头的媒体段的segment要素。接着，摘要引擎1501在步骤S3802中全部分析作为取出的媒体段的segment要素的内容的pointOfView要素。接着，摘要引擎1501分析在所分析的pointOfView要素的viewPoint属性中是否存在指定了由选择条件1504所指定的观点的情况。
接着，摘要引擎1501，当存在指定了由选择条件1504所指定的观点时，为了根据由选择条件1504所指定的观点来比较重要度和阈值，而移到步骤S3803的处理。另一方面，摘要引擎1501，当不存在指定了由选择条件1504所指定的观点时，不需要根据由选择条件1504所指定的观点来附加重要度，因此，移到步骤S3805的处理。
接着，摘要引擎1501在步骤S3803中根据由选择条件1504所指定的观点来分析重要度是否为阈值以上。接着，选择条件1504，在根据所指定的观点，重要度为阈值以上的情况下，移到步骤S3804的处理，当该重要度不足阈值时，移到步骤S3805的处理。
摘要引擎1501在步骤S3804中向记述变换器1502输出代表该媒体段的开始时间和结束时间的segment要素的start属性和end属性的值。而且，摘要引擎1501在步骤S3805中分析是否存在未处理的媒体段，在存在未处理的媒体段时，进到步骤S3806的处理。另一方面，摘要引擎1501在没有未处理的媒体段时，结束处理。
摘要引擎1501在步骤S3806中从未处理的媒体段中取出开头的segment要素，移到步骤S3802的处理。
记述变换器1502的处理与实施例1所示的从图4的构造记述数据向SMIL的变换的程序相同。
而且，在实施例10中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
而且，选择条件是媒体段的与某个观点相关的重要度为阈值以上，但是，也可以是选择的媒体段的重放时间的总和为阀值以下。在此情况下，摘要引擎1501把所有的媒体段按照与所指定的观点相关的重要度的高低顺序进行分类，在重放时间的总和为阈值以下并且在成为最大以前，从分类的开头选择媒体段来进行处理。
而且，当所指定的观点具有多个时，摘要引擎1501与各媒体段相关从与所指定的观点相关的重要度中取出最大的，用该值进行分类，也可以取它们的总和以及相加平均，用该值进行分类。
而且，可以是媒体段的与某个观点相关的重要度的条件和重放时间的条件的组合形态。
如上述那样，根据实施例10，从附加在媒体段上的根据由关键词所表现的观点的重要度来进行用户的兴趣的某个媒体段的选择，由此，构成符合用户的嗜好的梗概和精彩场景集等，进行这些表现记述数据的生成。由此，仅对用户希望的部分进行媒体内容的重放、发送。
实施例11下面对本发明的实施例11进行说明。与实施例10不是多个类型的媒体相对，实施例11涉及具有多个类型的媒体并且不指定媒体段的代替数据的构成。实施例11中的数据处理装置的方框图与图22所示的相同。
在实施例11中，作为用于内容记述1503的DTD，使用图36所示的。而且，在图39中表示了实施例11中的作为构造记述数据的内容记述1503的例子。
如从图39所看到的那样，图39所示的构造记述数据具有类型不同的mediaObject要素，在每个segment要素中记述pointOfView要素、作为其属性的viewPoint和作为属性的score。
在实施例中，选择条件1504与实施例10相同，与某个观点相关，根据媒体段的观点，重要度为阈值以上。而且，成为选择条件1504的观点自然可以有多个。此时的摘要引擎1501的处理是对每个mediaObject要素进行实施例10中的摘要引擎1501的处理。在图40中表示了实施例11中的摘要引擎1501的处理的流程图。
首先，摘要引擎1501在步骤S4001中取出最初的mediaObject要素。接着，摘要引擎1501在步骤S4002中从取出的mediaObject要素的内容中取出作为开头的媒体段的segment要素。接着，摘要引擎1501在步骤S4003中全部分析作为取出的媒体段的segment要素的内容的pointOfView要素，分析在所分析的pointOfView要素的viewPoint属性中是否存在由选择条件1504所指定的观点所指定的部分。
接着，摘要引擎1501在所分析的pointOfView要素的viewPoint属性中存在由选择条件1504所指定的观点所指定的部分的情况下，为了根据由选择条件1504所指定的观点来比较重要度和阈值，而移到步骤S4004的处理中。另一方面，摘要引擎1501在所分析的pointOfView要素的viewPoint属性中不存在由选择条件1504所指定的观点所指定的部分的情况下，由不需要根据由选择条件1504所指定的观点来附加重要度，而移到步骤S4006的处理中。
摘要引擎1501在步骤S4004中根据由选择条件1504所指定的观点来分析重要度是否为阈值以上。而且，摘要引擎1501在根据由选择条件1504所指定的观点而得到重要度为阈值以上的结果的情况下，移到步骤S4005的处理，当根据由选择条件1504所指定的观点而得到重要度为阈值以下的结果的情况下，移到步骤S4006的处理。
摘要引擎1501在步骤S4005中向记述变换器1502输出表示对应的媒体段的开始时间和结束时间的segment要素的start属性end属性的值。而且，摘要引擎1501在步骤S4006中分析是否存在未处理的媒体段，在存在未处理的媒体段时，进到步骤S4007的处理。而且，摘要引擎1501，在没有未处理的媒体段时，进行到步骤S4008的处理。
摘要引擎1501在步骤S4008中分析是否仍剩余了未处理的mediaObject要素，当存在剩余的情况下，移到步骤S4009的处理。摘要引擎1501在没有剩余未处理的mediaObject要素的情况下结束处理。
而且，摘要引擎1501在步骤S4009中从未处理的mediaObject要素中取出开头的mediaObject要素，移到步骤S4002的处理。
实施例11的记述变换器1502进行对每个mediaObject要素的处理，除此之外，进行与实施例1所示的从图4的构造记述数据向SMIL的变换的程序的处理相同的处理。
而且，在实施例11中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
而且，在SMIL文件中，与par要素中的各个剪辑相关，为了进行同步而必须使重放开始时间不同。在此情况下，必须计算各个剪辑的重放开始时间，当该时间到来时，开始进行重放。
为了该目的，在SMIL中，在audio要素、video要素、img要素、ref要素中准备begin这样的属性。而且，通过使用它们，就能实现。
实施例12下面对发明的实施例12进行说明。与实施例10不指定媒体段的代替数据相对应，实施例12指定媒体段的代替数据。而且，实施例12涉及这样的构成在选择装置中不进行重放媒体段还是重放代替数据的选择。实施例12中的数据处理装置的方框图与图22所示的相同。
在图41中表示了实施例12中使用的构造记述数据的DTD的例子。图41所示的DTD是为了根据由关键词所表现的观点来表示代表重要度的点值，在图13所示的DTD的segment要素中增加了pointOfView这样的要素作为子要素。pointOfView要素用viewPoint属性来表示观点，通过score属性，根据由viewPoint属性所示的观点来表示重要度。该重要度用正整数值表示，1是重要度最低的情况。而且，可以在一个segment要素中附加多个pointOfView要素。在图42中表示了构造记述数据的内容记述1503的例子。
如从图中所看到的那样，在图42所示的内容记述数据中，在DTD的segment要素中增加了pointOfView这样的要素作为子要素。而且，pointOfView要素记述了viewPoint属性和score属性。
实施例12中的摘要引擎1501的处理与实施例10中的摘要引擎1501的处理相同。但是，实施例12中的摘要引擎1501的处理在输出选择的媒体段时，在segment要素的start属性end属性的基础上，输出作为子要素的alt要素。
而且，实施例12中的记述变换器1502的处理与实施例1、实施例2或者实施例3所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在实施例中，在实施例10中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
实施例13下面对发明的实施例13进行说明。与实施例11不指定媒体段的代替数据相对应，实施例13指定媒体段的代替数据。而且，实施例13涉及这样的构成在选择装置中不进行重放媒体段还是重放代替数据的选择。实施例13中的数据处理装置的方框图与图15所示的相同。
在实施例13中，作为用于内容记述1503的DTD，使用图41所示的。在图43、图44中表示了实施例12中的构造记述数据1503的例子。
如从图中所看到的那样，在实施例13的构造记述数据中具有不同类型的mediaObject要素，在每个mediaObject要素中具有有segment要素。而且，在每个segment要素中记述了pointOfView要素和作为其属性的viewPoint以及作为属性的score。
实施例12中的摘要引擎1501的处理与实施例11中的摘要引擎1501的处理相同。但是，实施例12中的摘要引擎1501的处理在输出选择的媒体段时，在segment要素的start属性end属性的基础上，输出作为子要素的alt要素。
而且，实施例12中的记述变换器1502的处理与实施例1、实施例2或者实施例3所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在实施例11中为这样的构成摘要引擎1501向记述变换器1502输出选择的媒体段的要素的内容，记述变换器1502使用其进行处理，但是，也可以是摘要引擎1501制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器1502输入该中间的构造记述数据来进行处理。
实施例14下面对发明的实施例14进行说明。与实施例12在选择装置中不进行重放媒体段还是重放代替数据的选择相对，实施例14涉及在选择装置中进行重放媒体段还是重放代替数据的选择的构成。在实施例14中，选择装置分成媒体段选择装置和重放媒体选择装置。而且，选择条件分成段选择条件和重放媒体选择条件。因此，实施例14中的数据处理装置的方框图与图35所示的相同。
在实施例14中，内容记述数据2804使用与实施例12中的内容记述1503相同的。即，实施例14的内容记述数据2804使用图41所示的DTD，由此，实施例14的内容记述数据2804的一个例子表示在图42中。
而且，段选择条件2805使用与实施例10或者实施例12中的选择条件1504相同的。在此情况下，摘要引擎2801与实施例12中的摘要引擎1501的处理相同。
下面对重放媒体选择部2802的处理进行说明。重放媒体选择部2802，作为重放媒体选择条件2806，以发送媒体内容的网络的连接比特率为条件。即，重放媒体选择部2802在连接比特率为56kbps以上时，重放媒体段，当不足56kbps时，重放代替数据。重放媒体选择部2802分析连接比特率，来判定重放哪个，通知给变换部2803。
变换部2803输入作为媒体段选择装置的摘要引擎2801选择的媒体段的要素和重放媒体选择部2802选择的结果，根据重放媒体选择部2802的结果，输出作为由SMIL所产生的表现记述数据的重放方法记述2807。
变换部2803把内容记述2804变换为SMIL的处理与实施例1或者实施例2所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中，摘要引擎2801向变换部2803输出选择的媒体段的要素的内容，变换部2803使用其进行处理，但是，也可以是摘要引擎2801制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器2803输入该中间的构造记述数据来进行处理。
而且，作为重放媒体选择条件2806，使用网络的比特率，但是，除此之外，也可以是重放终端的能力和来自用户的要求等。
实施例15下面对本发明的实施例15进行说明。与实施例13在选择装置中进行重放媒体段还是重放代替数据的选择相对，实施例15涉及在选择装置中进行重放媒体段还是重放代替数据的选择的构成。在实施例15中，与实施例8相同，选择装置分成媒体段选择装置和重放媒体选择装置。而且，选择条件分成段选择条件和重放媒体选择条件。因此，本实施例中的数据处理装置的方框图与图35所示的相同。
实施例15的内容记述数据2804使用与实施例13中的内容记述1503相同的。即，实施例15的内容记述数据2804使用图41所示的DTD，由此，在图43、图44中表示了一个例子。
而且，实施例15的段选择条件2805使用与实施例14中的选择条件2805相同的。因此，摘要引擎2801与实施例13中的摘要引擎1501的处理相同。
实施例15所涉及的重放媒体选择部2802的处理与实施例14所记述的重放媒体选择部2802相同。
实施例15的变换部2803输入摘要引擎2801选择的媒体段的要素和重放媒体选择部2802选择的结果，根据重放媒体选择部2802的结果，输出作为由SMIL所产生的表现记述数据的重放方法记述2807。
实施例15的变换部2803进行的向SMIL的变换处理与实施例1或者实施例2所示的从图4的构造记述数据向SMIL的变换的程序的处理相同。
而且，在本实施例中，摘要引擎2801向变换部2803输出选择的媒体段的要素的内容，变换部2803使用其进行处理，但是，也可以是摘要引擎2801制作仅留下所选择的媒体段的中间的构造记述数据，记述变换器2803输入该中间的构造记述数据来进行处理。
而且，作为重放媒体选择条件2806，使用网络的比特率，但是，除此之外，也可以是重放终端的能力和来自用户的要求等。
实施例16下面对本发明的实施例16进行说明。在图45中表示了实施例16中的数据处理装置的方框图。在图45中，用3801所表示的是构造记述数据的数据库，用3802所表示的是选择部，用3803所表示的是变换部，用3804所表示的是重放部，用3805所表示的是媒体内容数据库。而且，用3806所表示的是构造记述数据，用3808所表示的是摘要内容记述数据，用3809所表示的是表现记述数据，用3810所表示的是媒体内容数据。
而且，选择部3802、变换部3803、构造记述数据3806以及表现记述数据3809与实施例4至实施例15中任一个所示的相同。而且，摘要内容记述数据3808是实施例4至实施例15中任一个所示的仅留下了所选择的媒体段的中间的构造记述数据。选择部3802、变换部3803能够通过在计算机上执行程序来实现。
由于表现记述数据3809由SMIL所表现，因此可以使用SMIL播放器作为重放部3804。SMIL播放器可以通过在计算机上执行程序来实现，作为SMIL播放器软件，例如Real Networks的Real Player等免费的软件正在流行。
而且，在实施例16中，选择部3802输出摘要内容记述数据3808，但是，也可以如实施例4至实施例15中任一个所示的那样，不输出摘要内容记述数据3808，而输出选择的媒体段。
实施例17下面使用图46来对本发明的实施例17所涉及的服务器客户系统进行说明。实施例17是在服务器4601侧包括选择部3802和变换部3803，在客户4602侧包括重放部3804。而且，实施例17是在网络4603上进行变换部3803与重放部3804的连接。由此，实施例17成为通过网络来对表现记述数据3809进行通信的服务器客户系统。
而且，各处理部进行的处理内容作为能够由计算机执行的程序来写，并存储在服务器4601侧和客户4602侧内的存储媒体中，而分别被执行。
而且，可以使用元数据的数据库1001来代替构造记述数据的数据库3801；使用摘要引擎1002、1501、2801来代替选择部3802；使用记述变换器1003、1502、2800来代替变换部3803；使用重放机1004来代替重放部3804；使用媒体内容数据库1005来代替媒体内容数据库3805。
而且，如图47所示的那样，实施例17可以是这样的形态在服务器4601a中包括媒体内容数据库3805，通过网络4603来向客户4602a发送媒体内容数据3810。
实施例18说明本发明实施例18的服务器客户系统。
下面使用图48来对实施例18进行说明。实施例18是在服务器4701侧包括选择部3802，在客户4702侧包括变换部3803和重放部3804。而且，实施例18是在网络4603上进行选择部3802与变换部3803的连接。由此，实施例18成为通过网络来对表现记述数据3809进行通信的服务器客户系统。
而且，各处理部进行的处理内容作为能够由计算机执行的程序来写，并存储在服务器4701侧和客户4702侧内的存储媒体中，而分别被执行。
而且，可以使用元数据的数据库1001来代替构造记述数据的数据库3801；使用摘要引擎1002、1501、2801来代替选择部3802；使用记述变换器1003、1502、2800来代替变换部3803；使用重放机1004来代替重放部3804；使用媒体内容数据库1005来代替媒体内容数据库3805。
而且，如图49所示的那样，实施例18可以是这样的形态在服务器4701a中包括媒体内容数据库3805，通过网络4603来向客户4702a发送媒体内容数据3810。
如上述那样，根据本发明，进行从记述由媒体段所产生的媒体内容的构成的构造记述数据向表现重放媒体内容的形态的表现记述数据的变换。因此，在媒体内容的重放中，能够对每个媒体段附加重放的定时、同步信息等的制约，而能够实现各种各样的重放。
而且，根据本发明，通过在构造记述数据中记述媒体段的代替数据，来进行是重放媒体段自己还是重放代替数据的选择。由此，能够用适合于发送媒体内容的网络的容量和通信量、重放媒体内容的终端的能力等的媒体来进行内容的发送和重放。
而且，根据本发明，通过进一步在构造记述数据中记述根据媒体段的文理内容的点值，能够容易地进行例如各种各样的重放时间的精彩场景集等的重放和发送，而且，通过以由关键词所表示的观点而产生的点值，就能通过指定关键词来重放、发送符合用户的爱好的场景。
本发明并不仅限于上述实施例，可以在不背离本发明的范围的条件下进行各种变化和变型。
本申请以2000年6月14日提交的日本专利申请No.2000-177955和2001年5月28日提交的日本专利申请No.2001-159409为基础，其内容在这里引入为参考。
权利要求
1.一种数据处理方法，其特征在于，包括下述步骤输入记述连续视听觉信息的媒体内容的内容的结构记述数据，所述结构记述数据至少具有所述媒体内容中所包含的多个媒体的类型、获得所述多个媒体的地址、由时间信息表现的所述多个媒体的多个区段、以及所述区段的文理内容的点值；输入用于从所述结构记述数据中选择预定的所述区段的选择条件；从输入的所述结构记述数据中选择具有符合所述选择条件的点值的所述区段；抽取所选择的所述区段的所述时间信息；以及对每一个所抽取出的所述时间信息，将与所抽取出的时间信息相对应的所述多个媒体的类型和获得所述多个媒体的地址分组到一起，并按重放顺序排列，借此将结构记述数据转换为表现所述区段的重放顺序和同步信息的表现记述数据并输出。
2.根据权利要求1所述的数据处理方法，其特征在于，所述多个媒体包括所述媒体和所述媒体的替代数据。
3.根据权利要求2所述的数据处理方法，其特征在于，记述用于选择所述媒体或所述替代数据的媒体选择条件，并根据所述媒体选择条件选择所述媒体或所述替代数据的任一方并进行重放。
4.根据权利要求2所述的数据处理方法，其特征在于，所述替代数据至少为所述媒体的代表图形和语言信息之一。
5.根据权利要求1所述的数据处理方法，其特征在于，所述表现记述数据为SMIL文件。
6.根据权利要求1所述的数据处理方法，其特征在于，所述点值是根据所述区段的文理内容的重要度。
7.根据权利要求1所述的数据处理装置，其特征在于，给所述区段赋予用关键词所表现的观点，并且所述点值是根据所述观点的所述区段的重要度。
8.根据权利要求7所述的数据处理装置，其特征在于，从输入的所述结构记述数据中选择具有符合所述选择条件的观点和点值的所述区段。
全文摘要
本发明的数据处理装置及数据处理方法通过从记述媒体内容的构成的构造记述数据来生成表现在构造记述数据中所记述的媒体段的重放顺序、重放的定时、同步信息的表现记述数据，能够给媒体段附加各种各样的制约来进行重放。
文档编号G06F17/30GK1584882SQ20041003040
公开日2005年2月23日 申请日期2001年6月12日 优先权日2000年6月14日
发明者宗续敏彦, 江村恒一 申请人:松下电器产业株式会社