专利名称：元数据再生、分发、检索装置、元数据再生成条件设定装置的制作方法
技术领域：
本发明涉及将包含运动图像和音频的多媒体"内容"分割成多个 场景，对每个分割的场景生成元数据的元数据编辑装置、元数据再生 装置、元数据分发装置、元数据检索装置、元数据再生成条件设定装 置、"内容"分发装置和元数据分发方法。
背景技术：
在已有的运动图像管理装置中，在将图像分割成多个场景后，对 各场景再生所需的区间信息、场景号码和作为代表场景的图像的集合的索引进行编辑，由生成大于等于一个的索引的部件；将表示检索目 的的标题赋予各索引的部件；当检索时，用标题检索索引，按照场景 号码的顺序一个接一个地再生索引的场景的部件构成，以排列必要场 景的方式编辑索引，能够只再生必要的场景(例如，请参照日本特开 2001-028722号专利公报(第1页，图1))。但是，在上述已有的运动图像管理装置中，因为只不过是由进行 各场景的再生所需的区间信息、场景号码和代表场景的图像生成索 引，所以存在着不能够管理到视频数据具有的分层性等的视频数据的 结构那样的问题。又，当检索登记的图像时，因为用赋予索引的标题进行，所以存 在着为了得到适当的检索结果，必须输入适当的标题那样的问题。
本发明就是为了解决上述问题提出的，本发明的目的是除了得到 场景的区间信息和标题外，还能够生成作为视频数据等的"内容"具 有的结构等的索引信息的元数据的元数据编辑装置。又，本发明的目的是得到能够用由元数据编辑装置生成的元数 据，只汇集并再生用户想看的场景，并用在元数据中描述的特征量等， 检索想看的场景的元数据再生装置、元数据分发装置、元数据检索装 置、元数据再生成条件设定装置、元数据分发装置和元数据分发方法。发明内容与本发明有关的元数据编辑装置设置了将包含运动图像、音频中 的至少一个的多媒体"内容"分割成多个场景，对每个分割的场景生成 表示场景的开始位置和结束位置的场景的区间信息元数据的场景分割单元；根据来自上述场景分割单元的场景的区间信息元数据，进行 上述多媒体"内容"的各场景的分层编辑，生成描述上述多媒体"内容" 的分层结构的场景结构信息元数据的场景描述编辑单元；和统合上述 场景的区间信息元数据和上述场景结构信息元数据，生成按照预定格 式描述上述多媒体"内容"的内容和结构的元数据的元数据描述单元。 又，与本发明有关的元数据分发装置设置了解析描述元数据中包 含的描述符的种类和内容的元数据最佳化提示信息的提示信息解析 单元；通过根据上述被分析后的元数据最佳化提示信息和关于元数据 再生成的条件，解析描述包含运动图像、音频中的至少一个的多媒体 "内容"的内容和结构的元数据，再生成第2元数据的元数据解析/再生 成单元；和将由上述元数据解析/再生成单元再生成的第2元数据分发给客户终端的元数据分发单元。进一步，与本发明有关的元数据分发方法包含着解析描述元数据中包含的描述符的种类的元数据最佳化提示信息的步骤；通过根据上 述被分析后的元数据最佳化提示信息和关于元数据再生成的条件，解 析描述包含运动图像、音频中的至少一个的多媒体"内容"的内容和结 构的元数据，再生成第2元数据的步骤；和将由上述再生成的第2元 数据分发给客户终端的步骤。
图l是表示与本发明的实施例l有关的元数据编辑装置的构成的 方框图。图2是表示作为与本发明的实施例l有关的元数据编辑装置的编 辑对象的一个例子的新闻视频的图。图3是表示与本发明的实施例1有关的元数据编辑装置的场景分 割单元的场景的区间信息元数据的一个例子的图。图4是表示与本发明的实施例1有关的元数据编辑装置的场景描 述编辑单元的场景结构信息元数据的一个例子的图。图5是表示与本发明的实施例1有关的元数据编辑装置的"内 容，，再生/显示单元、用户输入单元的画面图像例的图。图6是表示与本发明的实施例2有关的元数据编辑装置的构成的 方框图。图7是用于说明与本发明的实施例2有关的元数据编辑装置的工 作的图。图8是表示与本发明的实施例3有关的元数据再生装置的构成的 方框图。图9是用于说明与本发明的实施例3有关的元数据再生装置的工 作的图。图10是表示与本发明的实施例4有关的"内容"分发系统的构成 的方框图。图ll是表示从与本发明的实施例4有关的元数据分发服务器的 元数据解析单元输出的"内容"(新闻视频例)的结构信息的图。图12是表示由与本发明的实施例4有关的元数据分发系统的元 数据再生单元再构成后的"内容"的结构例的图。图13是表示与本发明的实施例5有关的元数据分发服务器的构
成的方框图。图14是表示用于说明由与本发明的实施例5有关的元数据分发 服务器产生的元数据最佳化提示信息的视频"内容"的 一个例子的 图。图15是表示当用由与本发明的实施例5有关的元数据分发服务 器产生的MPEG-7时的元数据的描述例的图。图16是表示与本发明的实施例5有关的元数据分发服务器用的 元数据最佳化提示信息的格式例的图。图17是表示与本发明的实施例5有关的元数据分发服务器用的元数据最佳化提示信息的图。图18是表示与本发明的实施例5有关的元数据分发服务器的元 数据解析/再生成单元的工作的操作程序图。图19是表示与本发明的实施例5有关的元数据分发服务器的元 数据解析/再生成单元的工作的操作程序图。图20是表示与本发明的实施例6有关的元数据检索服务器的构 成的方框图。图21是表示与本发明的实施例6有关的元数据检索服务器的元 数据解析单元的工作的操作程序图。图22是表示与本发明的实施例7有关的客户终端的构成的方框图。图23是表示与本发明的实施例8有关的"内容，，分发服务器的构 成的方框图。
具体实施方式
下面，我们根据
与本发明的实施例l和2有关的元数据编辑装置、 与实施例3有关的元数据再生装置、 与实施例4有关的"内容"分发系统、 与实施例5有关的元数据分发服务器、 与实施例6有关的元数据检索服务器、 与实施例7有关的客户终端、和 与实施例8有关的"内容，，分发服务器。实施例1在实施例1中，我们说明将包含运动图像和音频的多媒体"内容" 分割成多个场景，生成场景的分层结构描述和包含各场景的特征量的 元数据(索引信息)的元数据编辑装置。我们一面参照附图一面说明与本发明的实施例1有关的元数据编辑装置。图1是表示与本发明的实施例1有关的元数据编辑装置的 构成的方框图。此外，在各图中，相同的标号表示相同或相当的部分。在图1中，元数据编辑装置100备有"内容"再生/显示单元2、 场景分割单元3、缩略像生成单元4、场景描述编辑单元5、文本 信息赋予单元6、特征提取单元7、用户输入单元8和元数据描述单 元9。"内容，，再生/显示单元2再生/显示由视频数据和音频数据等构成 的编辑对象的多媒体"内容"IO。场景分割单元3将"内容"分割成多 个场景。缩略像生成单元4提取场景的代表帧作为缩略像。 场景描述编辑单元5通过由场景分割单元3分割的场景的分组化、场 景的结合、场景的删除、场景的关系信息的生成等分层地编辑场景。 文本信息赋予单元6将各种文本信息附加在各场景上。特征提取单元 7提取场景的特征。又，用户输入单元8将来自用户的指示信息作为用户输入信息 ll输出到"内容"再生/显示单元2、场景分割单元3、缩略像生 成单元4、场景描述编辑单元5和文本信息赋予单元6。进一步，元数据描述单元9将由场景分割单元3、缩略像生 成单元4、场景描述编辑单元5、文本信息赋予单元6和特征提取单 元7输出的场景的区间信息元数据12、场景的缩略像信息元数据 13、场景结构信息元数据14、文本信息元数据15和特征描述元数据 16统合起来，生成按照规定的格式描述多媒体"内容"的内容和结构的 元数据17。下面，我们一面参照附图一面说明与本实施例l有关的元数据编 辑装置的工作。图2是表示作为与本实施例l有关的元数据编辑装置 的编辑对象的一个例子的新闻视频的构成的图。我们将编辑图2所示的构成的新闻视频的情形作为例子进行说明。首先，元数据编辑装置100的"内容"再生/显示单元2，当通过 网络等输入存储在"内容，，存储单元(图中未画出)中的视频"内容" 等的多媒体"内容"IO时，为了用于编辑地再生/显示它们。当元数据编辑装置100的用户一面观看该再生图像， 一面通过用 户输入单元8输入作为场景的切出位置，即场景开始位置和结束位置 时，场景分割单元3生成显示从用户输入的场景开始位置和结束位置 的场景的区间信息元数据12。图3是表示与本实施例l有关的元数据编辑装置的场景分割单元 的场景的区间信息元数据的一个例子的图。该图3所示的区间信息元数据12表示从图2所示的新闻视频生 成的例子。如图3所示，由场景分割单元3，对于从新闻视频"内容，， 切出的"新闻摘要"、"国内新闻"和"国际新闻"等的各场景，生成表示 场景开始位置和结束位置的区间信息的场景的区间信息元数据12。在场景描述编辑单元5中，当具有通过用户输入单元8来自用户 的场景编辑的指示时，根据来自场景分割单元3的场景的区间信息元 数据12，进行由场景分割单元3连续地切出的场景的分层编辑，输出 场景结构信息元数据14。所谓的场景的分层编辑指的是例如场景的分 组化、场景的再分割、场景的结合、场景的删除。所谓场景的分组化 指的是，例如，从图2所示的新闻视频，例如图4所示地将以"国内 新闻"、"国际新闻、"经济新闻"等的某种特定特征关联的场景汇集成 一个"新闻"组。又，所谓场景的再分割指的是将一个场景分割成多个 场景。所谓的场景的结合指的是汇集多个场景成为一个场景。
图4是表示与本实施例l有关的元数据编辑装置的场景描述编辑 单元的场景结构信息元数据的一个例子的图。该图4所示的场景结构信息元数据14描述作为在场景描述编辑 单元5中的编辑结果，生成的视频"内容"的分层结构。在图4中， 在场景描述编辑单元5中，通过场景的分组化、场景的再分割、场景 的结合等的场景的编辑，将称为"新闻"的场景编辑成"新闻摘要"、"新 闻"、"特辑"、"体育"等，进一步将该"新闻"分层地编辑成"国内新闻"、 "国际新闻、"经济新闻，，显示出来。而且，将在场景描述编辑单元5中生成的例如图4所示的元数据 14输出到元数据描述单元9。另一方面，在缩略像生成单元4中，根据来自场景分割单元 3的场景的区间信息元数据12，从在场景分割单元3中切出的各场景 中生成代表帧作为缩略像，将生成的缩略图信息作为缩略像 信息元数据13输出到元数据描述单元9，登记在元数据描述单元9中。 这里，用户也能够通过用户输入单元8，进行缩略图选择，但是也能 够自动地将起始帧和固定时间间隔的多个帧作为代表帧，或自动检测 场景变换点，将这些帧作为代表帧。缩略像信息元数据13成为 视频"内容"中的缩略图的位置信息(帧号码或时间)、或者，缩略 像的URL等的所处位置信息。又，在特征提取单元7中，根据来自场景分割单元3的场景的区 间信息元数据12，从各场景中，提取运动、颜色、或包含在场景内的 物体的形状等场景具有的视觉特征量。将提取的特征量作为特征描述 元数据16，输出到元数据描述单元9,并登记在元数据描述单元9中。又，在文本信息赋予单元6中，根据来自场景分割单元3的场景 的区间信息元数据12,用户将标题、简介、关键字、评述、场景的重 要度等的各种文本信息赋予各场景。文本信息的赋予是当用户通过用 户输入单元8输入时，通过解析"内容"中包含的音频信息和字幕， 自动地赋予的情形。将文本信息，作为文本信息元数据15，输出到元 数据描述单元9,并登记在元数据描述单元9中。 图5表示与本实施例1有关的元数据编辑装置的"内容"再生/ 显示单元和用户输入单元8的画面图像例。在图5中，视频再生画面 Gl，与在"内容，，再生/显示单元2中的画面图像例相当，在该视频再 生画面Gl中，再生/显示编辑用的"内容"。在图5中，虽然没有明 示，但是备有"再生"、"停止"、"回巻"，"快进"、"发送帧"再生用的 指示按钮等通常的视频再生装置中备有的用户接口。而且，在该视频 再生画面Gl的下方显示出场景分割指示画面G2。该场景分割指示画 面G2，例如，具有幻灯片形式， 一面观看在视频再生画面Gl中显示 的图像， 一面用户能够指示在视频再生画面Gl中显示的图像场景的 开始位置和结束位置。又，场景分割指示画面G2能够同时在场景的 开始位置和结束位置之间，指示缩略图的位置。这里，当由场景分割 指示画面G2指定缩略图的位置时，缩略像生成单元4从视频"内 容"的指定位置的帧生成缩略像。又，由场景分割指示画面G2指定位置的缩略像，作为场景 的分割信息，在场景分割信息显示画面G3中显示出来。在该场景分 割信息显示画面G3中，除了缩略像外，如图3所示，也能够对 每个场景显示表示场景的开始位置和结束位置的信息。接着，在树形结构生成指示/显示画面G4中，向用户指示场景编 辑。 一面用户观看在场景分割信息显示画面G3中显示出来的缩略图 图像等的场景分割信息， 一面生成表示视频"内容"具有的分层结构 的树形。作为操作方法，例如，当进行场景的分组化时，在树形上追加新 的节点，将想要分组化的场景追加在该节点上。场景的追加操作，可 以考虑在场景分割信息显示画面G3上选择想要追加的场景，通过拖 拽，在节点上追加场景等的方法。通过在场景分割信息显示画面G3、 树形结构生成指示/显示画面G4中提供用户输入单元8作为用于选择 场景、经过文本信息赋予单元6将文本信息赋予该场景的用户接口 ， 能够输入对于场景的文本信息。元数据描述单元9将由场景分割单元3、缩略像生成单元4、
场景描述编辑单元5、文本信息赋予单元6和特征提取单元7输出的 各种元数据统合起来，生成按照规定的描述格式描述的元数据文件。 元数据的规定的描述格式也能够用独自规定的格式进行描述，但是在 本实施例1中，使用由ISO标准化的MPEG-7。该MPEG-7规定描 述"内容"的结构和特征的格式，具有XML文件格式和二进制格式。从而，如果根据本实施例1的元数据编辑装置100,则因为设置 了分层编辑场景的场景描述编辑单元5和从场景提取特征的特征提取 单元7,所以能够生成描述视频数据等的"内容，，具有的分层结构和各 场景的特征量的元数据。此外，假定输入到"内容"再生/显示单元2的多媒体"内容"IO， 有从在网络上的"内容，，服务器(图中未画出)取得的情形、从在元 数据编辑装置100内的"内容"存储单元(图中未画出)取得的情形 和从CD和DVD等的存储媒体(图中未画出)取得的情形等的各种 情形。同样，假定将从元数据描述单元9输出的元数据，有存储在网 络上的"内容"服务器(图中未画出)中的情形、存储在元数据编辑 装置内的元数据存储单元(图中未画出)中的情形和与"内容，，一起 存储在CD和DVD等的存储媒体(图中未画出)中的情形等。又，在本实施例1中，设置了场景描述编辑单元5和特征提取单 元7两者并进行了说明，但是不限于此，当然既可以只设置场景描述 编辑单元5，也可以只设置特征提取单元7。实施例2在上述实施例1中，我们说明全部通过手动进行场景分割的情 形，但是在本实施例2中，我们说明以备有自动检测场景变换点的场 景变换检测单元为特征的数据编辑装置。我们一面参照附图一面说明与本发明的实施例2有关的元数据 编辑装置。图6是表示与本发明的实施例2有关的元数据编辑装置的 构成的方框图。在图6中，元数据编辑装置100A备有"内容"再生/显示单元2、场景分割单元3、缩略像生成单元4、场景描述编辑单元5、文本 信息赋予单元6、特征提取单元7、用户输入单元8、元数据描述单元 9和场景变换检测单元39。此外，标号40是自动检测的场景开始位 置信息。下面，我们一面参照附图一面说明与本实施例2有关的元数据编 辑装置的工作。图7是用于说明与本发明的实施例2有关的元数据编辑装置的工 作的图。除了场景变换检测单元39和场景分割单元3以外的工作都与上 述实施例l相同。这里我们说明实施例2特有的工作。场景变换检测单元39自动地进行场景变换、切去点检测。场景 变换检测是，例如，根据帧间象素差分、帧间颜色和亮度的直方图差 分等进行的。场景分割单元3根据在场景变换检测单元39中检测出 的场景变换点，决定场景开始位置和结束位置。这里，我们将编辑对象的"内容"是新闻视频的情形作为例子详 细述说场景变换检测单元39和场景分割单元3的处理。我们以用颜色直方图作为用于场景变换检测的特征量的情形为 例进行说明。在场景变换检测检测单元39中，对每一个帧算出颜色直方图。 作为表色系，具有HSV、 RGB、 YCbCr等，但是这里，用HSV色空 间。该HSV色空间由色调(H)、色饱和度(S)、亮度(V)这样3 个要素构成。算出各要素的直方图。接着，从求得的直方图，例如根 据下列的(公式l),算出帧间的直方图差分。我们假定从场景的开 始帧算起的N个帧(例如N-3)属于同一场景，即，没有场景变换点。 此外，作为场景的初期特征量，根据下列的(公式2),求得最初的 N个帧间的直方图差分的平均(mean)和标准偏差(sd )。<formula>formula see original document page 18</formula>(公式i) 其中，sumi:帧i和帧i-l的直方图间差分和 Hj(h):色调的直方图，bin_H:直方图的要素数 Si(h):色饱和度的直方图，bin—S:直方图的要素数 Vi(h):亮度的直方图，bin—V:直方图的要素数lU-i台 '(公式2 )其中，mean:帧间的直方图差分的平均 sd:帧间的直方图差分的标准偏差而且，N+l帧及其以后，将直方图的帧间差分比mean+lsd大 的帧作为场景变换点，作为新场景的开始位置候补。现在考虑如果得到多个场景的开始位置候补，则接着，如新闻视 频那样，插入由新闻的切换等决定的模式的图像的情形。新闻视频，在新闻的切换中，例如，插入由播音员和背景的演播 室设置、说明的文字(字幕)构成的图像等、决定的模式的图像的情 形是很多的。从而，预先登记这些决定的模式的图像(称为样板图像)、 或描述样板图像的特征量的元数据。所谓样板图像的特征量可以举出 样板图像的颜色直方图、或者，运动图案(在新闻切换中播音员写的 部分具有少量的运动等)等。在预先登记样板图像的情形中，例如图7所示，当与场景变换点 对应的图像与样板图像匹配，类似度高时，将该场景变换点作为场景 的开始位置进行登记。作为类似度的匹配，具有帧间差分和帧间的颜 色直方图差分等。又，在预先登记样板图像的特征量的情形中，当从与场景变换点 对应的图像提取特征量，与样板图像的特征量匹配，类似度高时，将 该场景变换点作为场景的开始位置进行登记。将场景的开始位置的信息输出到场景分割单元3。在场景分割单元3中，根据由场景变换检测单元39自动检测出 的场景开始位置信息，决定场景开始位置和结束位置。此外，在本实 施例2的场景分割单元3中，与上述实施例l同样，也能够根据来自 用户的指示，决定场景开始位置和结束位置。在场景分割单元3中，也能够将描述场景的开始位置和结束位置 的场景的区间信息元数据12输出到场景变换检测单元39，用该场景 变换检测单元39，检测在该场景中包含的场景变换点。在场景描述编辑单元5中，能够根据来自场景分割单元3的场景 的区间信息元数据12,再分割和统合由场景变换检测单元39自动检 测出的场景。此外，场景描述编辑单元5的详细情况与上述实施例1 相同。从而，如果根据与本实施例2有关的元数据编辑装置100，则与 上述实施例l相同，能够生成描述视频数据等的"内容"具有的分层 结构和各场景的特征量的元数据，并且通过设置场景变换检测单元39,可以自动检测"内容"的场景变换点。 实施例3在本实施例中，我们说明利用由上述实施例1和2的元数据编辑 装置生成的元数据，进行图像的概要再生和检索等的元数据再生装 置。我们一面参照附图一面说明与本发明的实施例3有关的元数据 再生装置。图8是表示与本发明的实施例3有关的元数据再生装置的 构成的方框图。在图8中，元数据编辑装置200备有元数据解析单元19、结构 显示单元20、缩略像显示单元21、用户输入单元22、检索单元 23、检索结果显示单元24、概要生成单元25、概要结构显示单元26 和"内容，，再生单元27。
元数据解析单元19对描述了关于"内容"具有的分层的场景结 构和各场景的缩略图的信息、各场景的特征量等的元数据28的解析。结构显示单元20显示从元数据解析结果取得的场景结构29,即"内 容"的分层结构。缩略像显示单元21显示从元数据解析结果取得 的缩略像信息30。用户输入单元22进行检索和再生等的指示。检索单元23根据来 自用户的检索指示(检索条件31)和从元数据取得的场景的特征量与 文本信息32进行检索。检索结果显示单元24显示检索结果33。概要 生成单元25根据来自用户的概要生成指示(概要生成条件34 )生成 概要。概要结构显示单元26显示生成概要的"内容"结构38。"内容" 再生单元27根据概要信息35、"内容"再生指示36、再生的"内容"37 再生/显示"内容"。下面，我们一面参照附图一面说明与本实施例3有关的元数据再 生装置的工作。首先，元数据解析单元19将描述关于"内容"具有的分层的场景 结构和各场景的缩略图的信息、各场景的特征量等的元数据28作为 输入，进行元数据的解析。在本实施例3中，因为用上述实施例1、 2的元数据描述单元9 生成的由MPEG-7规定的格式描述该元数据28，所以元数据既可以 是用XML描述的文本文件，也可以是用二进制格式进行编码的二进 制文件。因此，元数据解析单元19，如果用XML描述元数据28，则具 有进行XML文件解析的XML服务器的功能。又，如果用二进制格 式对元数据28进行编码，则具有进行元数据28解码的解码器功能。结构显示单元20,输入元数据解析单元19的解析结果，显示"内 容"的分层的场景结构29。例如，如图4所示，与各场景的标题一起 树形显示"内容"的场景结构。缩略像显示单元21输入元数据解析单元19的解析结果(缩 略像信息30)，显示"内容"的缩略像一览表。
检索单元23，根据通过用户输入单元22的来自用户的检索指示， 检索"内容"中包含的场景。这时，由用户输入单元22,根据关键字 和取样图像的提示等，输入检索条件。由检索单元23，根据元数据中 描述的场景的特征量和场景标题等的文本信息32，检索与由用户提示 的检索条件(关键字和取样图像的特征)31 —致的场景。当由检索单元23进行的检索结束时，检索结果显示单元24输入 检索单元23的检索结果33,显示出检索结果。作为检索结果的显示 方法，例如，显示与检索条件一致的场景的缩略像。又，概要生成单元25根据通过用户输入单元22输入的来自用户 的概要生成指示，生成"内容，，的概要。这时，由用户输入单元22, 输入生成概要的"内容"的再生时间和用户嗜好等的信息。例如，当 "内容"是新闻视频时，输入将新闻中的体育作为主要的用户想看的信 息、或者，将1小时新闻概括成20分钟的用户想看的信息等的用户 嗜好信息。又，由概要生成单元25，根据元数据中描述的场景的再生 时间和场景的标题等的文本信息32，生成与概要条件一致的概要信息 35。该概要信息35是，例如，在生成概要的"内容，，中包含的场景的 再生清单，是记述了描述"内容，，的URL等的位置信息以及该"内容，， 中的想要再生的场景的开始位置和结束位置的清单。又，由"内容"再生/显示单元27,根据概要信息35中包含的"内 容"的位置信息，特定对象"内容"，根据概要信息35中包含的场景 清单，进行再生场景的取得/再生/显示。又，作为别的例子，也可以 考虑分层地描述概括概要信息的场景结构的情形。图9是表示分层地描述生成概要的场景结构的一个例子的图。图 9(a)表示原始"内容"的场景结构的例子。对于各场景，附加在0.0-1.0 范围内的重要度。l.O意味着重要度最高，O.O意味着重要度最低。重 要度是，例如，根据用户嗜好计算的。例如，当预先登记关于球队A 的足球赛的场景，特别是必然要看的比赛结果和得分场景那样的用户 嗜好时，在各场景上附加反应用户嗜好的重要度。而且，在图9(a)中，只用重要度最高的场景生成概要，生成
概要的场景结构如图9(b)所示。此外，各场景具有包含该场景的"内 容"的URL等的位置信息和该场景的"内容"内的位置信息(开始位 置和结束位置)等的元数据。将关于生成概要的场景结构38的信息 传送给概要结构显示单元26,该概要结构显示单元26例如以图9( b ) 所示的树形形式显示生成概要的场景结构。又，当用户通过用户输入单元22从在结构显示单元20或概要结 构显示单元26中显示的场景结构、以及缩略像显示单元21和检 索结果显示单元24中显示的各场景的缩略图中选择想要再生的大于 等于一个的场景时，能够在"内容"再生/显示单元27中再生/显示"内 容"中包含的场景。从而，如果根据与本实施例3有关的元数据编辑装置200，则能 够用由上述实施例1、 2中说明的元数据编辑装置生成的元数据，只 汇集并再生用户想看的场景，或者用在元数据中描述特征量，检索想 看的场景。又，在本实施例3中，"内容，，再生/显示单元27是在元数据编 辑装置200内，但是"内容"再生/显示单元也可以在别的装置内。这 可以考虑为，例如，关于场景结构与缩略像的显示等、元数据再 生的操作和显示是在便携式电话和便携式信息终端等中进行的，关于 多媒体"内容"的再生的处理和显示是在通过网络与便携式电话和便 携式信息终端等连接的终端(例如PC等)中进行的情形。实施例4在本实施例4中，我们说明向客户终端分发"内容，，的元数据的 元数据分发服务器(元数据分发装置)和与客户终端的终端能力相应 地可伸缩地构成并分发该"内容"的"内容"分发服务器。我们一面参照附图一面说明与本发明的实施例4有关的"内容，， 分发系统。图IO是表示与本发明的实施例4有关的"内容"分发系统 的构成的方框图。在图10中，"内容"分发系统300备有元数据分发服务器400、
各种客户终端481 48n和"内容"分发服务器500。元数据分发服务器400由元数据存储单元41、元数据解析单元 42、终端能力判定单元43、元数据再生单元44和元数据分发单元45 构成。在元数据存储单元41中，存储着例如上述实施例1、 2的元数据 编辑装置生成的元数据。元数据解析单元42对描述"内容"的结构和 特征的元数据49进行解析。终端能力判定单元43根据关于客户终端 的性能的信息51,判定客户终端的终端能力。元数据再生单元44根 据元数据解析结果50,与客户终端的终端能力相应地再构成"内容"， 再生成描述该"内容，，的元数据52。元数据分发单元45将在元数据再 生单元44中再生成的元数据53分发给各种客户终端481~48n。此外，也可以将元数据存储单元41设置在本实施例4的元数据 分发服务器400的外面。这时，元数据分发服务器400通过网络(图 中未画出)等从元数据存储单元41输入元数据49。又，"内容，，分发服务器500由"内容"存储单元46和"内容" 分发单元47构成。"内容"存储单元46存储"内容"55。"内容，，分发单元47与来自 客户终端481 48n的"内容"分发要求54相应地分发"内容"56。与上述元数据分发服务器400的情形相同，也可以将"内容"存 储单元46设置在"内容"分发服务器500的外面。这时，"内容"分 发服务器500通过网络(图中未画出)输入"内容"数据55。下面，我们一面参照附图一面说明与本实施例4有关的"内容" 分发系统的工作。首先，在元数据分发服务器400 —侧，元数据解析单元42对存 储在由元数据存储单元41中的元数据进行解析。元数据解析单元42 的工作与上述实施例3的"内容"再生装置200的元数据解析单元19 相同。元数据解析单元42通过对元数据进行解析，取得关于各"内 容"的结构和特征的信息。图11是表示从与本实施例4有关的元数据分发服务器的元数据 解析单元输出的"内容"(例如新闻视频)的结构信息的图。在图11 中，用树形表示"内容"的分层的场景结构。树形的各节点，与各个 场景对应，将各个场景信息对应地赋予各节点。所谓的场景信息指的 是作为场景的标题、摘要、场景开始位置和结束位置的时间信息、场 景的缩略图、代表帧、缩略图镜头、代表镜头、颜色和运动等视觉上 的特征量等的场景特征。此外，在图11中，在各种场景信息中，只 图示场景的标题。这里，假定客户终端为终端能力不同的各种信息家电设备。所谓 的终端能力指的是通信速度、处理速度和可以再生/显示的图像格式、图像分辨率、用户输入功能等。例如，假定客户终端481是在通信速 度、处理速度、显示性能、用户输入功能上具有充分性能的PC(个 人计算机)。又，假定客户终端482是便携式电话，假定其它的客户 终端是PDA等。从各客户终端481~48n发送与各个终端性能有关的 信息。终端能力判定单元43解析与从各客户终端481~48n发送的终端 性能有关的信息51，决定可以分发的图像格式、最大图像分辨率、"内 容"的长度等，输出到"内容"再生成单元44。例如，在原始"内容，， 是用MPEG-2进行编码的图像分辨率大的视频"内容"的情形中，在 具有充分性能的客户终端481中，能够再生原始"内容"。又，该客 户终端481具有上述实施例3中说明的可以进行图像的概要再生和检 索的功能。另一方面，在客户终端482中，只可以再生用MPEG-4 进行编码的短的视频镜头，并且可以显示的最大图像分辨率也很小。在"内容"再生成单元44中，与来自终端能力判定单元43的各 客户终端481 48n的终端性能相应地再构成"内容"，再生成描述其 结构和内容的元数据52，输出到元数据分发单元45。例如，因为将 原始的元数据原封不动地分发给客户终端481，所以不进行"内容，， 的再构成。另一方面，因为对于客户终端482，只具有短的视频镜头 的再生功能，所以不能够再生全部场景。从而，用重要场景的短的视 频镜头再构成"内容"。
图12是表示由与本实施例4有关的元数据分发系统的元数据再 生单元再构成后的"内容"的结构例的图。如图12所示，从各新闻场 景中，提取重要的场景，只用该场景的代表镜头或代表帧进行构成。 又，因为客户终端482不具有上述实施例3中说明的检索功能，所以 在场景的各种信息中，不需要将用于检索的场景的特征量描述在元数 据中。因此，元数据再生单元44再生成只描述再构成的场景结构和 该场景的代表镜头或代表帧的位置信息的元数据，并输出到元数据分 发单元45。该元数据分发单元45将由元数据再生单元44生成的元数据53 分发给客户终端481~48n。各客户终端481~48n对由元数据分发单元45分发的元数据53 进行解析，取得"内容"的树形结构信息。各客户终端481~48n的用 户，当选择想要再生的场景时，从各客户终端481 48n将选出的场景 的位置信息发送给"内容"分发服务器500的"内容"分发单元47。由"内容"分发服务器500的"内容，，分发单元47，取得从各客 户终端481 48n发送的场景的位置信息，从"内容"存储单元46取得 对应的"内容"55，分发给客户终端481 48n。在客户终端481的情形 中，发送场景的开始位置和结束位置，分发与原始"内容"的对应的 场景。又，在客户终端482的情形中，发送场景的代表镜头的所在位 置信息(URI等)。此外，在客户终端482中不可能再生/显示代表镜 头的图像格式、图像分辨率和图像文件大小等的情形中，由"内容" 分发单元47，进行格式变换和图像分辨率变换、减小文件大小的"内 容，，概要等，并进行发送。从而，如果根据本实施例的元数据分发服务器400，则可以与各 客户终端481~48n的能力相应地再生成元数据，分发给各客户终端。此外，在图10中，表示分别构成的元数据分发服务器400和"内 容，，分发服务器500，但是本发明不限于此，也可以将"内容"分发服 务器设置在元数据分发服务器中，或者将元数据分发服务器设置在 "内容，，分发服务器中。又，当然也可以将元数据分发服务器和"内容"
分发服务器设置在同一服务器内。如果这样做，则因为"内容"分发单元47能够从顾客判定单元43简单地知道各客户终端481~48n的能 力，所以可以与各客户终端481 48n的能力相应地再构成格式变换等 的"内容"，分发给各客户终端481~48n。又，在该实施例4中，我们说明了存储在元数据存储单元41中 的元数据是例如上述实施例1、 2的元数据编辑装置生成的元数据的 情形，但是不限于此，当然也可以存储上述实施例1、 2的元数据编 辑装置以外的装置生成的元数据。实施例5在本实施例5中，我们说明上述实施例4中说明的元数据分发服 务器的别的例子。由上述实施例4的元数据分发服务器，根据从客户 终端发送的终端信息，进行元数据的再生。在本实施例5中，我们说 明以备有为了进行更适当的元数据的再生成，用作为用于元数据的再生成的提示信息的元数据最佳化提示信息，进行元数据的再生成的元 数据解析/再生成单元为特征的元数据分发服务器(元数据分发装置)。我们一面参照附图一面说明与本发明的实施例5有关的元数据 分发服务器。图13是表示与本发明的实施例5有关的元数据分发服 务器的构成的方框图。在图13中，元数据分发服务器400A备有提示信息解析单元61、 元数据解析/再生成单元63和元数据分发单元45。提示信息解析单元61解析元数据最佳化提示信息60并输出它的 结果。元数据解析/再生成单元63，根据被解析出的元数据最佳化提 示信息62、关于客户终端的性能的信息、或者，关于用户嗜好等的元 数据再生成的条件65，解析描述"内容"的结构和特征的元数据49, 输出再构成的元数据64。元数据分发单元45将元数据53分发给客户 终端。在元数据存储单元41 (请参照图10)中，存储着描述"内容"的 结构和特征的元数据49和用于再生成该元数据49的提示信息的元数
据最佳化提示信息60。所谓用于再生成元数据49的元数据最佳化提 示信息60指的是在该元数据49中，描述包含多少什么种类的信息， 或元数据49的概要和复杂度的信息。下面，我们一面参照附图一面说明与本实施例5有关的元数据分 发服务器的工作。我们将具有图14所示的结构的视频"内容"作为例子，详细述说 元数据最佳化提示信息60。视频"内容，，(Root) ( Soccer game program (足球赛节目)) 大致由2个场景(Scenel、 Scene2)的前半场和后半场构成，前半场的场景进一步由多个场景(Scenel-1、 Scenel-2......Scenel-n )(球门场景、角球场景等)构成。在图14中，用树形结构表示场景间的 时间上的分层结构。在对应的元数据49中描述着这种"内容"的时间上的分层结构， 即场景间的时间关系和各场景的开始时间与长度。又，对于各场景， 除了与分层的层次对应地该场景具有的特征(例如，颜色直方图和运 动的复杂性)夕卜，还描述着标题、简介、类型、注释等的文本信息、 重要度等等。此外，在本实施例5中，作为元数据的描述格式，用由 ISO标准化的MPEG-7。图15表示用MPEG-7时的元数据的描述例。在MPEG-7中，将 各场景描述在称为"视频段"的单元中。在各视频段中，描述着时间信 息(场景的开始点和长度)、标题、概要、类型等。此外，存在着与 视频段的分层相应地描述在视频段内的信息不同的情形。在图15的 例子中，在层次2和层次3的视频段中描述着重要度，但是在层次4 中不描述重要度。又，只在层次4的视频段内描述着颜色和运动的特 征量。通过递归地描述视频段能够表现场景间的时间上的分层关系。在 图15的描述例中，通过称为"时间分割"的描述，描述着由时间上分 割一个视频段的多个视频段构成的情形。在MPEG-7中，也能够同样 地描述"内容"具有的空间上的分层结构。这时，代替称为"时间分割"
的描述，用表示由空间上分割 一个视频段的多个视频段构成的"空间 分割"的描述。
用于再生成元数据49的元数据最佳化提示信息60是描述该元数 据49中包含的信息(描述符)的种类和内容的信息。从而，在元数 据最佳化提示信息60中，对于图15的元数据，包含着表现"内容" 具有的时间上的分层结构的描述符("时间分割，，)、表现颜色直方图 和运动的复杂性的描述符、表现标题、简介、类型、重要度的描述符。 又，作为表示描述"内容"和复杂性的指标，视频段的分层结构的深度 最大为4(层次1 层次4)。重要度取5个离散的值({0.0， 0.25, 0.5， 0.75, 1.0})。作为该重要度的观点，描述着以"TeamA (球队A)，， 的观点观看时的重要度和以"TeamB (球队B )"的观点观看时的重要 度。又，也包含着描述重要度的分层位置(描述在视频段的哪个层次 上)。
图16表示元数据最佳化提示信息60的格式例。在图16表示的 元数据最佳化提示信息60中，包含着元数据文件信息和元数据构成 要素信息。
元数据文件信息描述元数据文件的所在位置、元数据文件大小、 元数据文件格式(表示XML格式、二进制格式等的文件格式)、语 法文件信息(规定元数据语法的语法文件的所在位置)、表示包含(出 现)在元数据中的要素数的出现要素数等、用于预测处理元数据所需 的资源(进行元数据的存储/解析所需的存储器大小和解析元数据所需 的处理系统(S/W)等)的信息。此外，例如，当用XML描述元数 据时，规定该描述格式(语法)的DTD文件和schema文件等与规定 元数据文件的格式的语法文件相当，而语法文件信息描述DTD文件 和schema文件等的语法文件的所在位置。
所谓的元数据构成要素信息是描述构成元数据的描述符的种类 及其内容的信息。在该元数据构成要素信息中，包含着在元数据中包 含的描述符的名称、该描述符在元数据内出现的频度(次数)、该描 述符是否包含在语法上可以包含的全部描述符的描述(完全描述性)、
或当递归地描述该描述符时，在该描述符持有的时间或空间中的分层
性(深度最大值)。例如，在图15所示的元数据描述例中，因为"视 频段"是递归地描述的描述符，最大具有4分层的结构，所以"视频段" 描述符具有的分层深度最大为4。
进一步，关于在递归地描述的描述符内包含的描述符，该描述符 出现的出现位置(分层层次)也是提示信息。例如，"重要度"是包含 在"视频段"内的描述符，但是当包含在小于等于层次3的"视频段"内， 即，不包含在层次4的视频段内时，"重要度"出现的位置最大达到3。 此外，这样，也能够用分层层次指定出现位置，但是当将ID分发给 包含"重要度，，的"视频段，，或"视频段，，自身时，也可以描述出现位置作 为ID的清单。又，在具有值的描述符的情形中，描述符的类型和描 述符可以取得的值的范围也是一个提示信息。例如，当分别从 "TeamA"、 "TeamB"的观点出发，用5个离散的值({0.0， 0.25， 0.5， 0.75， 1.0})表现重要度时，重要度可以取得的值是具有浮动小数点 的类型的清单{0.0， 0.25, 0.5， 0.75, 1.0}。对于每个作为元数据的构 成要素的描述符重复进行以上的描述。
图17表示按照图16的格式描述的元数据最佳化提示信息的一个 例子。我们看到在图17所示的元数据最佳化提示信息60的一个例子 中，包含着元数据文件信息、和称为"视频段"与"标题"的元数据构成 要素信息。
下面，我们用图13说明使用元数据最佳化提示信息60进行元数 据的再生成的方法。
由提示信息解析单元61，解析用规定格式描述的元数据最佳化 提示信息60。由元数据解析/再生成单元63中，使用从提示信息解析 单元61输出的被分析后的元数据最佳化提示信息62，进行元数据49 的解析，根据关于元数据再生成的条件65输出再生成的元数据64。
图18表示由使用被解析的元数据最佳化提示信息62的元数据解 析/再生成单元63实施的元数据的解析方法的一个例子。在该例子中， 只从原始的元数据49提取具有重要度大于等于0.5的特征的视频段，
再生成只用关于提取的视频段的描述构成的元数据。
首先，元数据解析/再生成单元63根据用于元数据再生成的条件 65，特定再生成所需的元数据(步骤S1)。这里，因为只提取具有重 要度大于等于0.5的特征的视频段，所以"重要度"和"视频段"是再生 成所需的描述符。
其次，根据被分析后的元数据最佳化提示信息62,判定在元数 据49中是否包含在步骤S1特定的描述符(以下，将描述符"重要度" 作为例子进行说明)(步骤S2)。
当在元数据中包含"重要度"描述符时，进行元数据的解析(步骤 S3 ),当不包含"重要度"描述符时，结束元数据的解析处理(步骤S4 )。
又，当在被分析后的元数据最佳化提示信息62中指定"重要度" 的出现位置为直到分层结构的层次3时，在结束直到层次3的视频段 的解析的时刻(步骤S5)，不进行大于等于层次4的分层的解析，结 束解析处理(步骤S6 )。
此外，需要时为了进行别的元数据49的解析，重复步骤S1以后 的处理。又，当在元数据最佳化提示信息62中指定"重要度"描述符 的出现次数为20时，在结束20个"重要度"描述符的解析的时刻(步 骤S5),结束元数据的解析(步骤S6)。进一步，在步骤S4或步骤 S6结束元数据的解析处理后，需要时为了进行别的元数据的解析，重 复步骤Sl以后的处理。
图19表示使用被分析后的元数据最佳化提示信息62的元数据的 解析方法的别的例子。在该例子中，只提取包含"标题"描述符的视频 段，再生成元数据。在元数据中是否包含"标题"描述符的判定与图18 的例子相同。
元数据解析/再生成单元63，当在元数据中包含"标题"描述符时， 判定是否是与在元数据最佳化提示信息中描述的出现位置的ID —致 的视频段(步骤S13)。
当不与ID—致时，因为是不包含"标题"描述符的视频段，所以 跳过该视频段的描述的解析(步骤S16)。
当与ID—致时，为了取得"标题"描述符，进行该视频段的描述 的解析(步骤S15)。
接着，当结束对与出现位置的ID—致的全部视频段的解析时(步 骤S17)，因为在此以上，在元数据内不存在包含"标题，，描述符的视 频段，所以结束解析处理(步骤S18)。
此外，为了需要时进行别的元数据的解析，重复步骤S11以后的 处理。输出用通过以上的解析处理提取的描述符再构成的元数据64。
由元数据分发单元45，将再构成的元数据64分发给各种客户终。
此外，虽然没有图示出来，但是因为在元数据再生后，元数据文 件的所在位置和元数据文件大小、出现在元数据中的要素数、关于元 数据构成要素的信息也发生变化，所以也可以再生成与再生成后的元 数据对应的元数据最佳化提示信息。
如上所述，至今为了再生成元数据，必需解析元数据中包含的全 部描述符，但是在本实施例5中，因为使用描述在元数据49中包含 的描述符的清单和描述符的出现位置、出现次数等的元数据最佳化提 示信息60,解析元数据49的描述符，所以能够省去用于再生成元数 据的元数据49自身的解析，又，因为根据出现位置和出现次数，能 够省去与再生成条件不一致的描述符的解析，所以能够减少伴随着元 数据的解析和再生成的处理费用(处理量和存储器使用量等)。
实施例6
在上述实施例5中，我们说明了用为了元数据再生成的元数据最 佳化提示信息60，减少伴随着元数据的解析和再生成的处理费用的元 数据分发服务器，但是在本实施例6中，我们说明用元数据最佳化提 示信息，减少伴随着元数据的检索的处理的元数据检索服务器(元数 据检索装置)。
我们一面参照附图一面说明与本发明的实施例6有关的元数据 检索服务器。图20是表示与本发明的实施例6有关的元数据检索服
务器的构成的方框图。
在图20中，元数据检索服务器600备有提示信息解析单元61、 元数据解析单元71和检索单元73。
因为提示信息解析单元61与上述实施例5相同，所以省略对它 的说明。元数据解析单元71,用被分析后的元数据最佳化提示信息 62和检索条件70，能够用很少的处理费用高效率地解析描述"内容" 的结构和特征的膨大的元数据49。检索单元73利用元数据的解析结 果72,检索适合于检索条件的"内容"。
下面，我们 一 面参照附图 一 面说明与本实施例6有关的元数据检 索服务器的工作。
图21是表示与本实施例6有关的元数据检索服务器的元数据解 析单元的工作的操作程序图。
元数据解析单元71，用与各元数据对应的元数据最佳化提示信 息62进行大于等于一个的元数据的解析。所谓元数据的解析，这里 指的是从元数据提取检索所需的特征描述。例如，当给出视频段的颜 色特征量作为检索条件，检索具有接近该视频段的特征的视频段时， 需要提取具有与颜色有关的特征描述的视频段。在图15所示的元数 据例子中，因为在层次4的视频段上附加颜色的特征描述("颜色直 方图，，)，所以提取与层次4的视频段有关的描述。
元数据解析单元71，解析检索条件70，特定对检索有效的描述 符(步骤S21)。存在着作为检索条件给出按照在MPEG-7中规定的 描述的特征量的情形和给出图像与关键字的情形等。当作为按照 MPEG-7的描述的特征量(例如颜色配置信息)给出检索条件时，该 描述符(颜色配置信息)成为对检索有效的描述符。又，作为关键字 给出检索条件时，文本形式的描述符(标题、简述、注释等)成为对 检索有效的描述符。
下面，参照元数据最佳化提示信息62,判定选出的描述符是否 包含在元数据49中(步骤S22 )。当用于检索的描述符不包含在元数 据49中时，结束该元数据49的解析处理(步骤S24),需要时进行
别的元数据49的解析。
当选出的描述符包含在元数据49中时，进行该元数据的解析(步 骤S23)。关于元数据的解析方法，与上述实施例5的情形相同，用 元数据最佳化提示信息62高效率地进行图18和图19所示的元数据 解析处理(步骤S25 S26)。通过以上的处理，由元数据解析单元71 提取检索所需的特征描述。
由检索单元73，利用由元数据解析单元71输出的元数据的解析 结果(检索所需的特征描述)，检索适合于检索条件的"内容"。在 上述例子中，因为由元数据解析单元71输出与具有颜色的特征描述 ("颜色直方图")的视频段有关的描述，所以判定与作为检索条件给 出的颜色特征量(直方图)的适合性，作为检索结果74输出适合的 视频段的信息(例如"时间信息")。
如以上那样，在本实施例6中，因为使用元数据最佳化提示信息 60，解析元数据49，所以能够省去用于元数据再生成的元数据49自 身的解析。又，因为根据出现位置和出现次数，能够省去检索不需要 的描述符的解析，所以能够减少伴随着元数据的检索的处理费用(处 理量和存储器使用量等)。
实施例7
在上述实施例5或实施例6中，我们说明了利用元数据最佳化提 示信息的服务器一侧，但是在本实施例7中，我们说明利用元数据最 佳化提示信息的客户终端(元数据再生成条件设定装置)。
我们一面参照附图一面说明与本发明的实施例7有关的客户终 端。图22是表示与本发明的实施例7有关的客户终端的构成的方框 图。
在图22中，客户终端48A备有提示信息解析单元80、元数据再 生成条件设定单元82。
此外，在图22中，在客户终端48A中备有的功能中，只表示与 利用元数据最佳化提示信息60设定用于元数据再生成的条件的部件
有关的部分。下面，我们 一 面参照附图 一 面说明与本实施例7有关的客户终端 的工作。提示信息解析单元80进行以规定的格式描述的元数据最佳化提 示信息60的解析。因为该提示信息解析单元80与上迷实施例5相同， 所以省略对它的详细i兌明。元数据再生成条件设定单元82，根据由提示信息解析单元80输 出的解析结果81，进行元数据再生成的条件设定83。所谓的条件设 定指的是，例如，从元数据最佳化提示信息60中包含的描述符的种 类中选择客户终端48A不需要的描述符。当客户终端48A不备有用 特征量的检索功能时，不需要表现颜色直方图和运动的复杂性等的特 征量的描述符。作为条件设定的别的例子，当描述"内容"的场景关系的分层结构 越深，元数据的复杂性越增加时，根据在元数据最佳化提示信息60 中的描迷的分层结构的深度的最大值，在客户终端设定可以处理的分 层结构的深度。又，在别的例子中，根据元数据最佳化提示信息60 中描述的重要度可以取得的值的信息，设定用户着眼的观点和选择的 场景的重要度的阈值。如上所述，当分别从"TeamA"、 "TeamB"的观点出发，重要度 取5个离散的值({0.0， 0.25, 0.5， 0.75, 1.0})时，能够进行只选择 从"TeamA，，的观点具有大于等于0.5的重要度的场景等的设定。将由元数据再生成条件设定单元82设定的用于元数据再生成的 条件83发送给元数据分发服务器。在元数据分发服务器一侧，根据 用于元数据再生成的条件和客户终端的终端性能，再构成元数据。例 如，当原始的元数据的分层结构的深度的最大值为4，在元数据再生 成条件中，设定在客户终端可以处理的分层结构的深度为2时，以使 分层结构的深度的最大值为2的方式，再构成元数据的结构。又，当在元数据再生成条件中，只选择并i殳定从"TeamA"的观 点，重要度大于等于0.5的场景时，再生只由与同一条件一致的场景
构成的元数据。与上述实施例5相同能够用元数据最佳化提示信息高 效率地进行元数据再生成。如以上那样，在本实施例7中，因为能够使用元数据最佳化提示 信息60设定用于元数据再生成的条件，所以能够与客户终端和应用 相应地生成适合的元数据。实施例8在上述实施例5或实施例6中，我们说明了用元数据最佳化提示 信息再生成元数据，分发再生成的元数据的服务器，但是在本实施例 8中，我们说明用元数据最佳化提示信息解析元数据，利用解析结果 再生成适合于客户终端和用户嗜好的元数据并进行分发的"内容"分 发服务器("内容"分发装置)。我们一面参照附图一面说明与本发明的实施例8有关的"内容，， 分发服务器。图23是表示与本发明的实施例8有关的"内容"分发服 务器的构成的方框图。在图23中，"内容"分发服务器500A备有提示信息解析单元61、 元数据解析单元86和"内容"再构成/分发单元88。下面，我们一面参照附图一面说明与本实施例8有关的"内容" 分发服务器的工作。因为提示信息解析单元61的工作与上述实施例5相同，所以省 略对它的说明。元数据解析单元86，使用从提示信息解析单元61输出的被分析 后的元数据最佳化提示信息62，进行元数据49的解析，提取与客户 终端有关的信息、或者，与用户嗜好等的"内容"再构成有关的条件 85 —致的描述。使用提示信息的解析方法具有与上述实施例5相同之 处，但是与实施例5不同之处不是使用提取的描述再生成元数据，而 是再构成"内容"这一点。将由该元数据解析单元86提取的描述，即 被分析后的元数据87输出到"内容"再构成/分发单元88。"内容"再构成/分发单元88,根据由元数据解析单元86提取的描 述，再构成"内容"89。这里，我们用上述实施例5中述说的例子进 行说明。在实施例5的例子中，只从元数据49提取具有重要度大于 等于0.5的特征的视频段，再生成只由与提取的视频段有关的描述构 成的元数据。在本实施例8中，只从元数据49提取具有重要度大于等于0.5 的特征的视频段，再生成并分发只由与提取的视频段对应的场景构成 的"内容"90。因为在与提取的视频段有关的描述中，描述了对应的 "内容"的所在位置和在该视频段的"内容"内的位置(时间信息)， 所以也能够从"内容"切出对应的场景，再构成一个"内容"90，并分 发再构成的"内容"卯，但是也能够从"内容，，切出对应的场景，顺次 地分发切出的场景。如以上那样，在与本实施例8有关的"内容"分发服务器500A 中，因为使用描述元数据49中包含的描述符的清单和描述符的出现 位置、出现次数等的元数据最佳化提示信息60,解析元数据49，所 以能够省去用于元数据再生成的元数据49自身的解析，又，因为根 据出现位置和出现次数，能够省去与再生成条件不一致的描述符的解 析，所以能够减少伴随着当再生成并分发适合于客户终端和用户嗜好 的"内容"时的元数据的解析和"内容"的再构成的处理费用(处理量 和存储器使用量等)。本发明，如以上说明的那样，因为将包含运动图像和音频的多媒 体"内容"分割成多个场景，编辑分割成多个的场景，生成描述多媒体 "内容"的分层结构的场景结构信息元数据，所以能够生成描述包含视 频数据等的多媒体"内容"具有的分层结构的元数据。
权利要求
1.一种元数据再生装置，其特征在于它备有，对描述包含运动图像、音频中的至少一个的多媒体“内容”的内容和结构的元数据进行解析的元数据解析单元；根据从上述元数据解析单元的解析结果取得的上述元数据中描述的场景的视觉特征量，从上述元数据检索与预定的检索条件一致的场景的检索单元；和根据从上述元数据解析单元的解析结果取得的上述元数据中描述的预定信息，生成与预定的概要生成条件一致的上述多媒体“内容”的概要信息的概要生成单元。
2. —种元数据分发装置，其特征在于它备有， 对描述包含运动图像、音频中的至少一个的多媒体"内容"的内容和结构的元数据进行解析的元数据解析单元；根据关于客户终端的性能的信息，判定上述客户终端的能力的终 端能力判定单元；根据上述元数据解析单元的元数据解析结果，与上述判定的客户 终端的能力相应地再构成上述多媒体"内容"，再生成描述其内容的第 2元数据的元数据再生成单元；和将由上述元数据再生成单元再生成的第2元数据分发给上述客 户终端的元数据分发单元。
3. —种元数据分发装置，其特征在于它备有， 对描述包含在元数据中的描述符的种类的提示信息进行解析的提示信息解析单元；根据上述被分析后的提示信息和关于元数据再生成的条件，解析 描述包含运动图像、音频中的至少一个的多媒体"内容"的内容和结构 的元数据，再生成第2元数据的元数据解析/再生成单元；和将由上述元数据解析/再生成单元再生成的第2元数据分发给客 户终端的元数据分发单元。
4. 一种元数据检索装置，其特征在于它备有， 对描述了元数据中包含的描述符的种类和内容的提示信息进行解析的提示信息解析单元；根据上述被分析后的提示信息和检索条件，对描述包含运动图 像、音频中的至少一个的多媒体"内容"的内容和结构的元数据进行解 析的元数据解析单元；和利用上述元数据的解析结果，检索适合于上述检索条件的"内 容"的检索单元。
5. —种元数据再生成条件设定装置，其特征在于它备有， 对描述了元数据中包含的描述符的种类和内容的提示信息进行解析的提示信息解析单元；和根据上述被分析后的提示信息，设定用于对描述包含运动图像、 音频中的至少一个的多媒体"内容"的内容和结构的元数据进行再生 成的条件的元数据再生成条件设定单元。
6. —种"内容"分发装置，其特征在于它备有， 对描述了元数据中包含的描述符的种类和内容的提示信息进行解析的提示信息解析单元；根据上述被分析后的提示信息和关于"内容"再构成的条件，从描 述了包含运动图像、音频中的至少一个的多媒体"内容"的内容和结构 的元数据，提取与上述"内容"再构成有关的条件一致的描述的元数据 解析单元；和根据上述提取的描述，再构成"内容"并分发给客户终端的"内容" 再构成/分发单元。
7. —种元数据分发方法，其特征在于它包含， 对描述了元数据中包含的描述符的种类的提示信息进行解析的步骤；根据上述被分析后的提示信息和关于元数据再生成的条件，解析 描述包含运动图像、音频中的至少一个的多媒体"内容"的内容和结构 的元数据，再生成第2元数据的步骤；和 将由上述再生成的第2元数据分发给客户终端的步骤。
8. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据文件的所在位置和表示元数据中包含的要素数的出现要素数。
9. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据文件的大小、元数据文件的格式和语法文件信息。
10. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符的名称。
11. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符出现的频度。
12. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符的完全描述性。
13. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符具有的时间分层性。
14. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符具有的空间分层性。
15. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符出现的出现位置。
16. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符的类型。
17. 根据权利要求7所述的元数据分发方法，其特征在于 上述提示信息描述元数据中包含的描述符的可以取得的范围。
18. —种元数据再生成装置，该元数据再生成装置从由描述"内 容"的有意义内容、结构、特征的一个或多个描述符构成的元数据， 只提取适合于元数据接收装置的能力和通信环境、用户要求中的某一 个的描述进行再构成，其特征在于它备有，对描述了元数据中包含的描述符的名称或识别符的提示信息进 行解析的提示信息解析部件；和用被分析后的上述提示信息，判断在元数据中是否包含再生成后 的元数据所需的每一个描述的元数据解析部件。
19. 根据权利要求18所述的元数据再生成装置，其特征在于它备有，对描述了元数据中包含的描述符的出现位置和出现频度的提示 信息进行解析的部件；和用被分析后的上述提示信息，判断是否全部解析了与出现位置对 应的描述符或者是否结束了与出现频度相当的解析的元数据解析部 件。
20. 根据权利要求18所述的元数据再生成装置，其特征在于它备有，在再生成元数据后，再生成与已经再生成的元数据对应的提示信 息的部件。
21. —种元数据分发装置，该元数据分发装置分发从元数据只提 取适合于元数据接收装置的能力和通信环境、用户要求中的某一个的 描述的元数据进行再构成，其特征在于它备有，对描述了元数据中包含的描述符的名称或识别符的提示信息进 行解析的提示信息解析部件；和用被分析后的上述提示信息，判断在元数据中是否包含再生成后 的元数据所需的描述的元数据解析部件。
22. 根据权利要求21所述的元数据分发装置，其特征在于它备有，对描述了元数据中包含的描述符的出现位置和出现频度的提示 信息进行解析的部件；和用被分析后的上述提示信息，判断是否全部解析了与出现位置对 应的描述符或者是否结束了与出现频度相当的解析的元数据解析部 件。
23. —种"内容"检索装置，该"内容"检索装置用元数据检索"内 容"，其特征在于它备有， 对描述了元数据中包含的描述符的名称或识别符的提示信息进行解析的提示信息解析部件；和用被分析后的上述提示信息，判断是否包含用于检索的描述符的 元数据解析部件。
24.根据权利要求23所述的"内容"检索装置，其特征在于它备有，对描述了元数据中包含的描述符的出现位置和出现频度的提示 信息进行解析的部件；和用被分析后的上述提示信息，判断是否全部解析了与出现位置对 应的描述符或者是否结束了与出现个数相当的解析的元数据解析部 件。
25，一种再生成条件设定装置，其特征在于它备有，取得根据以下8中提示信息描述方法中的任意一项提示信息描 述方法生成的提示信息和与元数据再生成有关的外部条件，解析取得 的提示信息的部件；和用被分析后的上述提示信息和与上述元数据再生成有关的外部 条件，设定与元数据再生成有关的条件的部件，其中所述提示信息描述方法包括第1提示信息描述方法，描述元数据中包含的描述符的名称或识 别符，作为对由描述"内容"的有意义内容、结构、特征的一个或多个 描述符构成的元数据进行操作时的提示信息；第2提示信息描迷方法，描述元数据中包含的各描述符可以取得 的值的范围，作为对由描述"内容"的有意义内容、结构、特征的一个 或多个描述符构成的元数据进行操作时的提示信息；第3提示信息描述方法，描述元数据中包含的描述符的出现个数 和出现位置，作为对由描述"内容，，的有意义内容、结构、特征的一个 或多个描述符构成的元数据进行操作时的提示信息；第4提示信息描述方法，用描述符固有的识别符或描述符出现的 分层结构的深度的最大值描述元数据中包含的各描述符的出现位置； 第5提示信息描述方法，当分层地构成元数据中包含的描述符 时，描述分层结构的描述符的深度的最大值，作为对由描述"内容"的 有意义内容、结构、特征的一个或多个描述符构成的元数据进行操作 时的提示信息；第6提示信息描述方法，描述元数据中包含的描述符的出现个数 的总和，作为对由描述"内容"的有意义内容、结构、特征的一个或多 个描述符构成的元数据进行操作时的提示信息；第7提示信息描述方法，描述规定元数据的语法的语法文件的所 在位置，作为对由描述"内容"的有意义内容、结构、特征的一个或多 个描述符构成的元数据进行操作时的提示信息；第8提示信息描述方法，描述指示对照规定元数据的语法的语法 文件被判断为持有子要素的描述符实际上是否包含元数据内的每个 子要素的信息，作为对由描述"内容"的有意义内容、结构、特征的一 个或多个描述符构成的元数据进行操作时的提示信息。
26. —种"内容"再生成装置，该"内容"再生成装置再生成大于等 于一个的内容以成为适合于内容接收装置的能力和通信环境、用户要 求中的某一个的内容，其特征在于它备有，对描述了由描述"内容"的有意义内容、结构、特征的一个或多个 描述符构成的元数据中包含的描述符的名称或识别符的提示信息进 行解析的提示信息解析部件；和用被分析后的上述提示信息，判断是否包含了再生"内容"所需的 描述的元数据解析部件。
27. —种元数据再生成方法，该元数据再生成方法从元数据，只 提取适合于内容接收装置的能力和通信环境、用户要求中的某一个的 描述进行再构成，其特征在于它包含，对描述了元数据中包含的描述符的名称或识别符的提示信息进 行解析，用被分析后的上述提示信息，判断在元数据中是否包含再生 成后的元数据所需的描述。
28. —种"内容"再生成方法，该"内容"再生成方法将大于等于 一个的"内容"再生成为适合于内容接收装置的能力和通信环境、用户要求中的某一个的"内容"，其特征在于它包含，对元数据中包含的描述符的名称或识别符的提示信息进行解析， 用被分析后的上述提示信息，判断是否包含了再生"内容"所需的描 述。
29.根据权利要求19所述的元数据再生成装置，其特征在于还包括在再生成元数据之后，再生成对应于再生成的元数据的提示信息 的部件。
全文摘要
将包含运动图像和音频的多媒体“内容”分割成多个场景，对每个分割的场景生成元数据。除了场景的区间信息和标题外，还能够生成包含描述上述“内容”的分层结构的场景结构信息元数据的元数据。又，为了再生成更适当的元数据，用描述包含在上述元数据中的描述符的种类的元数据最佳化提示信息，进行元数据的再生成。
文档编号G06F17/30GK101132528SQ20071016221
公开日2008年2月27日 申请日期2003年3月20日 优先权日2002年4月12日
发明者乙井研二, 关口俊一, 守屋芳美, 小川文伸, 山田悦久, 浅井光太郎, 西川博文, 黑田慎一 申请人:三菱电机株式会社