生成设备、生成方法以及程序的制作方法

专利名称：生成设备、生成方法以及程序的制作方法
技术领域：
本发明涉及生成设备、生成方法以及程序，具体地，涉及允许 从具有符合例如MP4文件格式或ISO基本媒体文件格式等的格式 的、存储有关于字幕的字幕数据的文件中再生字幕以对于其字幕的 显示及时的生成i殳备、生成再生以及程序。
背景技术：
对于文件的格式，例如，ISO基本^某体文件格式(ISO/IEC (国 际标准化组织/国际工程协会))144996-12:第12部分)是可用的 (例如，参见ISO/IEC 14496-12: 2005 (E)第12部分ISO基本媒体文件格式)。此夕卜，对于源于ISO/IEC 14496-12:第12部分的格式，MP4 文件格式(ISO/IEC 14496-14:第14部分)是可用的(例如，参见 ISO/IEC 14496-14: 2003 (E)第14部分MP4文件才各式)。通过ISO基本媒体文件格式和MP4文件格式的管理方法，显 示单位(访问单^f立)中的显示时间与/人显示单位中的显示开始时间 到下一显示单4立中的显示开始时间的时间是相同的，例:^，对于移 动画面数据的兼容性较高。例如，关于移动画面数据，将一帧或一 个GOP(画面组)作为显示单位，并且可以将其显示边缘存储在ISO(与一个样本相关)。现在，在ISO基本媒体文件4各式和MP4文件格式中，例如， 下文描述ISO基本媒体文件格式。然而，以下描述对MP4文件才各 式也是正确的。发明内容顺便提及，近年来，通过用于分配数据的配置(例如，互联网 和LAN(局域网))，存在趋向于移动画面内容和音频内容的分配的 凄t据分S己趋势。还存在关于这种分配的要求以在移动画面上叠加并 显示字幕。关于移动画面内容，已经存在对通过叠加在移动画面上来显示 的字幕的需求。然而，在字幕数据存储在符合ISO基本媒体文件格 式的文件(其中存储有诸如移动画面数据、音频数据等的所谓的媒 体数据)中的情况下，字幕的再生在很多情况下可能对于其字幕的 显示不及时。具体地，通过ISO基本々某体文件格式，开始显示(输出)数据 的显示(输出)开始时间可通过元数据来管理，而不是通过用于数 据再生的解码时间也不是开始再生凄欠据的解码开始时间来管理。因此，在字幕数据存储在符合ISO基本媒体文件格式的文件中的情况 下，字幕的再生在;f艮多情况下可能对于其字幕的显示不及时。已经意识到，在字幕数据存储在符合ISO基本媒体文件格式等 的文件中的情况下，期望从其文件中再生字幕以对于其字幕的显示 是及时的。根据本发明的实施例，生成设备或使计算机用作生成设备的程 序，包括字幕编码单元，故配置为通过对字幕的图傳Jt据进4亍编 石马来生成包4舌关于移动画面的移动画面^U居以及关于在移动画面 的整个显示区间上显示的字幕的字幕数据的数据流中的字幕数据； 以及确定单元，被配置为基于通过对字幕的图像数椐进行编码获得 的编码数据的大小来确定字幕的再生对于字幕的显示是否及时，其 中，将字幕的显示恒定的区间作为字幕的显示单位，将字幕凄t据分 为显示组，显示组是显示单位中的字幕凄t据，以及其中，在当显示 紧接在作为纟皮注意的显示组的感兴趣的显示组的字幕之前^皮显示 的字幕时的显示开始时间与感兴趣的显示纟且的字幕的显示开始时 间之间的时间净皮当作可用于再生感兴趣的显示组的可用时间，并且 此外用于再生感兴趣的显示组的时间净皮当作处理时间的情况下，确 定单元根据大小-时间关系从感兴趣的显示组的编码数据的大小中 获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在编 码数据的大小与处理时间之间预先获得的关系，当关于感兴趣的显 示组的可用时间^f氐于关于感兴趣的显示组的处理时间时，确定感兴 趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出 表示错误的错误信息。配置为生成包括关于移动画面的移动画面凄t据以及关于在移动画 面的整个显示区间上显示的字幕的字幕凄t据的凄t据流的生成装置通过对字幕的图像数据进行编码来生成字幕数据；以及基于通过对 字幕的图像数据进行编码获得的编码数据的大小来确定字幕的再 生对于字幕的显示是否及时，其中，将字幕的显示恒定的区间作为 字幕的显示单位，将字幕ft据分为显示组，显示组是显示单位中的 字幕凄丈据，以及在当显示紧*接在作为#1注意的显示组的感兴趣的显 示组的字幕之前纟皮显示的字幕时的显示开始时间与感兴趣的显示 组的字幕的显示开始时间之间的时间净皮当作可用于再生感兴趣的显示ia的可用时间，并且》匕外用于再生感兴趣的显示ia的时间:故当 作处理时间的情况下，根据大小-时间关系从感兴趣的显示组的编码 凄史据的尺寸中获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在编码数据的大小与处理时间之间预先获得的关系，当 关于感兴趣的显示《且的可用时间〗氐于关于感兴趣的显示ia的处理 时间时，确定感兴趣的显示组的字幕的再生对于其字幕的显示是不 及时的，从而输出表示《普误的確晉误信息。才艮据上述设置，将字幕的显示恒定的区间作为字幕的显示单 位，将字幕lt据分为显示组，显示组是显示单位中的字幕^t据。此 外，在当显示紧4妄在作为纟皮注意的显示组的感兴趣的显示组的字幕 之前纟皮显示的字幕时的显示开始时间与感兴趣的显示组的字幕的 显示开始时间之间的时间净皮当作可用于再生感兴趣的显示《且的可用时间，并且此外用于再生感兴趣的显示^L的时间浮皮当作处理时间的情况下，根据大小-时间关系从感兴趣的显示组的编码数据的尺寸 中获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在 编码凄t据的大小与处理时间之间预先获得的关系。随后，当关于感 兴趣的显示组的可用时间j氐于关于感兴趣的显示组的处理时间时， 确定感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的， 从而输出表示错误的错误信息。生成设备可以是独立设备，或者可以是组成一个设备的内部 块。此外，可以通过传输介质传输或者在记录介质中记录来4是供程序。根据上述结构，可以执行字幕的再生以对于其字幕的显示是及 时的。


数据的实例的示图；图2A ~图2D是示出ISO基本J 某体文件格式的原子(stom )的 相克括的示图；图3A和图3B是描述字幕显示的示图；图4是描述新才各式的示图；图5是示出存储在新格式文件中的数据流的实例的示图；图6是示出存储在新格式文件中的字幕数据的数据结构的实例 的示图；图7是示出激活显示组的定时的示图； 图8A和图8B是示出显示组的教:才居结构的实例的示图； 图9是示出PCS (页面组成,殳)的"^吾法的实例的示图； 图IO是描述PCS中的page—state (页面状态)值的示图；图11是示出RDS (区域定义段)的语法的实例的示图； 图12是示出字幕、区域和字幕平面的关系的示图； 图13是示出CDS (CLUT定义段)的语法的实例的示图； 图14是示出ODS (对象数据定义段)的语法的实例的示图； 图15是示出END (显示组结束,殳)的语法的实例的示图； 图16是示出根据实施例的再生设备的结构实例的框图； 图17是描述字幕再生处理的流程图； 图18是示出显示组的再生和显示顺序的示图； 图19A和图19B是用于描述规则Rl ~R3的示图； 图20是示出大小-时间关系的示图； 图21是示出根据实施例的生成设备的结构实例的框图； 图22是描述字幕生成处理的流禾呈图；以及 图23是示出根据实施例的计算机的结构实例的框图。
具体实施方式
在ISO基本媒体文件格式的简要预备描述之后，紧接着描述本 发明的实施例。图1示出了存储在符合ISO基本媒体文件格式的文件中的媒体数据的实例。在图1中，将媒体数据分为样本#1 ~样本#9的九个才羊本。这里， 一个样本是用于显示(输出)媒体数据的显示(输出) 单位。例如，在媒体数据为移动画面数据的情况下，作为MPEG(运 动图像专家组)-2 一见频标准等的一帧或一个GOP (画面组)对应于 一个样本。此外，例如，在媒体数据为音频数据的情况下，通过其 音频凄t据标准确定的一个音频帧等对应于一个冲羊本。将样本没有间隙地密集配置在时间轴上，即，以再生时间顺序 密集;也配置，并且在再生时顺序进4于再生。对于ISO基本纟某体文件 格式，由一个或多个样本构成组块(chunk )。组块是具有相同特性 的一个或多个连续才羊本的组。对于移动画面凄t据，例如，将具有相 同帧率等的连续样本当作一个组块。此外，对于音频凝:据，将具有 相同取样频率或量化步长等的连续样本当作 一个组块。在图1中，作为从从开始的三个样本的样本Sample #1-Sample #3才勾成一个纟且i夹Chunk #1,随后的三个才羊本Sample #4 ~ Sample #6 构成一个组块Chunk #2，随后的一个样本Sample #7构成一个组块 Chunk #3 ，随后的 一个冲羊本Sample #8构成一个组块Chunk #4,以 及最后一个才羊本Sample #9构成一个纟且块Chunk #5。对于ISO基本媒体文件格式，在称为样本表格原子(下文适当 ;也称作原子)的一些类型的凄t据库中记录用于开始每个样本的显示 (输出)的显示(输出)开始时间。术语"原子"表示用于存储关 于々某体数据的元数据(信息、属性)的数据库结构。例如，在ISO/IEC 14496-12: 2005 (E)第12部分ISO基本力某体文件格式中描述了 关于原子的细节。图2A 图2D示出了图1中的媒体数据的原子的概括。原子的 实侈']包4舌时间-才羊本原子(time-to-sample atom )、才羊本大小原、子、才羊 本-组块原子(sample-to-chunk atom )以及组块偏移原子。图2A示 出了作为图1中的媒体数据的时间-样本原子的概括。样本具有称为 持续时间的再生时间(区间)，以及时间-样本原子表示持续时间(样 本持续时间)和具有其持续时间的样本数量(样本数)之间的对应 性。图2A中的时间-样本原子分别表示存在持续时间=3的四个样 本、持续时间=1的两个样本以及持续时间=2的三个样本。图2B示出了作为图1中的媒体数据的样本大小原子的概括。 样本大小原子表示样本和通过字节数(大小)表示的样本大小之间 的对应性。图2C示出了作为图1中的媒体数据的样本-组块原子的概括。 样本-组块原子表示样本和组块之间的关系，并且关于具有相同才羊本 数(每个组块的样本)和相同属性(样本描述ID)的组块的样本-组块原子被概括为 一个条目(记录)。即，在样本-组块原子中描述了 (表示)具有相同样本数和相同 属性的一个或多个连续组块的顶部的组块(第一组块)和其一个或 多个组块的样本数和属性(样本描述ID )(的信息)。在图1中的々某体数据中，对于顶部组块Chunk #1和第二 (乂人 顶部开始的第二个)组块Chunk弁2的每一个，样本数为3，并且样 本描述ID为23。因此，从图2C中的样本-组块原子的顶部开始的 第一行条目描述了样本lt为3且样本描述ID为23的连续两个组块 Chunk #1禾口 Chunk #2的丁贞部纟且块是纟且块Chunk #1,冲勾成其纟且块的 样本数为3,并且其样本描述ID为23。此外，在图1中的媒体数据中，对于第三组块Chunk #3和第 四组块Chunk#4的每一个，样本数为1 ，并且样本描述ID为23。 因此，从图2C中的样本-组块原子的顶部开始的第二行条目描述样 本数为1且样本描述ID为23的连续两个组块Chunk #3和Chunk #4 的顶部组块是Chunk弁3，构成其组块的样本数为l，以及其样本描 述ID为23 。此外，在图1中的媒体数据中，对于最后(第五)组块Chunk #5,样本数为1，并且样本描述ID为24。因此，从图2C中的样本 -组块原子的顶部开始的第三行条目描述了样本数为1且样本描述 ID为24的一个组块Chunk #5的顶部组块是Chunk #5，构成其组块 的样本数为1,以及其样本描述ID为24。图2D示出了作为图1中的i某体数据的组块偏移原子的和;U舌。 组块偏移原子表示组块和通过字节凌t (大小)表示的乂人其组块文件 顶部开始的相对位置(偏移)之间的对应性。注意，对于ISO基本 媒体文件格式，在原子中描述(记录)了每个样本的显示开始时间。对于移动画面和音频，完成特定样本的显示(输出)的显示结 束时间(之后紧随的时间)变成下一才羊本的显示(车lr出)开始时间， 所以当才羊本的显示(输出)开始时间到达时，开始每个样本的显示Ulr出)，从而显示(i命出)连续的移动画面和音频。另一方面， 为了通过叠加在移动画面上来显示字幕，不得不将关于其字幕的字幕数据作为媒体数据存储在符合ISO媒体文件格式的文件中。这里，字幕是诸如单独在特定时间^殳内(移动画面再生区间) 叠加并显示在移动画面的特定区域上的字符的图 <象。图3A和图3B是描述字幕显示的示图。对于字幕，通过叠加在 移动画面上开始显示，并且一旦过去特定时间,殳，就消除显示，才艮 据需要进行重复。即，以间歇方式来显示字幕。对没有间距连续显示(输出)的样本预设符合ISO基本々某体文 件格式的样本的管理。因此，通过ISO基本媒体文件格式，没有建 立用于管理诸如字幕的以间断方式显示的々某体凄t据的方法，即，用 于将字幕数据存4诸在文件中的方法作为标准。因此，例如，如果我们Wi定将关于一个字幕的字幕数据处理为 一个样本，则ISO基本媒体文件格式引起不方便没有定义(规定) 特定字幕和4妄下来显示的字幕之间、不显示字幕的区间或者乂人移动 画面的顶部直到显示第一个字幕的、没有显示字幕的区间。即，图3A示出了在将关于一个字幕的字幕数据处理为一个样 本的情况下的字幕的显示。在将关于一个字幕的字幕^t据处理为一 个样本的情况下，没有定义如图3A中Ll所示的、特定字幕和接下 来显示的字幕之间、没有显示字幕的区间以及3o图3A中L2所示的、 /人移动画面的顶部直到显示第 一 字幕的区间。为此，图3B示出了将在开始字幕显示之后消除其字幕直到(在 其之前)开始下一字幕的显示(或直到移动画面的结束)处理为一 个样本的情况下的字幕的显示。在将开始字幕显示之后直到开始下 一字幕显示处理为一个样本的情况下，以再生时间顺序密集地配置 字幕的样本以及移动画面或音频的样本。然而，即4吏在这种情况下，也没有消除未^见定乂人移动画面的顶 部开始直到显示第一字幕的、没有显示字幕的区间的不《更。此外， 一旦将显示字幕的区间以及在消除其字幕之后、没有显示其字幕的区间净皮处理为一个才羊本，毫不例外地，字幕的一个才羊本的区间与显 示字幕的区间相同。因此，符合ISO基本媒体文件格式的原子引起不便，其中，可以识别才羊本区间，^f旦是没有识别实际上显示字幕的区间(实际显示 区间)。因此，定义了适用于ISO基本媒体文件格式的字幕数据的数据 结构(格式)，此外，定义了符合存储其数据结构的字幕数据的ISO基本媒体文件格式的文件格式(下文称作"新格式")。将参照图4描述新格式。通过新格式，存储在文件中的数据流 至少包"l舌关于移动画面的移动画面凄t悟以及关于显示在其移动画 面的整个显示区间上的字幕的字幕数据。此外，将字幕显示恒定的 区间作为字幕的显示单位，将字幕数据分为显示组，该显示组为其 显示单位中的字幕凄t据。即，通过新才各式，字幕^皮i人为显示在移动画面的整个显示区间 上。然而，对于没有显示字幕的区间(非显示区间)，认为显示"没 有"(不存在或不可见)的字幕。此外，字幕的显示(包括"没有，， 字幕)恒定以4吏没有改变字幕颜色等的区间#皮作为字幕的显示单 位，并在显示单4立中独立地定义字幕凄t据。现在，如果我们々i定将用作显示单位的字幕tt据称作显示组， 则通过新才各式，将关于显示在移动画面的整个显示区间上的字幕的 字幕凄t据分为多个显示组。通过新4各式，关于显示(可见)字幕的区间(显示区间)，存 在其字幕的显示组，并且对于字幕的非显示区间，存在"没有"字 幕显示组。此外，例如，在显示特定字幕之后改变其字幕的颜色、字符、 显示位置等的情况下，应该存在用于其改变的字幕数据，所以通过 不同显示纟且来定义改变以前的字幕和改变以后的字幕。通过新才各式，可以通过一个或多个显示组的集合来定义叠加并 显示在用作内容的移动画面上的一系列字幕。此外，通过新格式，一个显示组对应于符合ISO基本々某体文件才各式的一个4羊本。图4示出了显示组和才羊本之间的只寸应关系。在图4中，以时间 顺序配置隐藏字幕的非显示区间的显示组("没有，，字幕的显示组) #1、字幕A的显示组(用于显示字幕A的显示组)#2、非显示区 间的显示组#3、字幕B的显示组弁4、字幕C的显示组弁5、非显示区 间的显示组#6、字幕D的显示组#7以及非显示区间的显示组#8。 显示组#1 ~#8的每一个都对应于一个样本。如上所述，将字幕显示恒定包括"没有"字幕的区间作为字幕 的显示单位，并定义作为其显示单位中的字幕凄t据的显示组，乂人而 可以消除未定义(^L定)没有显示字幕的区间(非显示区间)的不 1更以及由于字幕的一个样本的区间与显示字幕的区间(显示区间) 不同所以不能识别字幕显示区间的不^f更。随后，作为其结果，可以将字幕数据存储在符合ISO基本媒体 文件才各式的文件中(可以存储字幕lt据以适当地显示字幕)。此外，将字幕显示恒定的区间(显示单位)的字幕数据作为显 示组，/人而可以适当地显示字幕。具体地，例如，在图4中，暂时地，在连续两个显示组#4和#5 耳关合以形成一个显示组的情况下，#4居由显示纟且#4和#5联合的显 示组(下文称为"联合显示组")，首先，显示字幕B，随后代替字 幕B来显示字幕C。因此，例如，在应该显示字幕C的显示组#5的区间中执4亍随 才几访问的情况下，根据联合显示组，4戈替在显示组#5的区间中显示 的字幕C而显示字幕B。另一方面，在存在字幕显示恒定的区间中划分的显示组#4和#5 的情况下，当在应该显示字幕C的显示《且#5的区间中^U亍随才几i方 问时，显示字幕C。如上所述，可以显示在其区间中显示的字幕。图5示出了存储在新格式文件中的数据流的实例。存储在新格 式文件中的数据流为符合ISO基本媒体文件格式的数据流，并且在 图5中，将包括原子的元数据设置在其数据流的顶部。在元数据之后，顺次设置移动画面数据、音频数据和字幕数据。 移动画面凄t悟、音频凄t据和字幕数据中的每一个均为以样本为单位 的数据。注意，存储在新格式文件中的数据流可以为不符合ISO媒 体文件格式而符合MP4文件格式的数据流。如上所述，新格式的字幕ft据的样本为显示组。显示组包括 字幕的图4象数据以及表示屏幕(移动画面)上字幕的显示区域的诸 如坐标、颜色(调色板)等的数据。此外，显示组还包括稍后描述的用作表示显示在一个屏幕上 的字幕凄t量的字幕凄i:^[言息的numer—of—region—composition—objects 、 稍后描述的用作表示字幕透明度的透明度信息的T-value等。现在，numer—of—region—composition—objects由显示在~"^个屏幕 (帧或场)上的字幕(对象)的id (标识)、表示字幕的显示区域 的id和字幕的显示位置(的信息)构成。此夕卜，T-value取0以上 的值，并且在该值为0的情况下，这表示字幕完全透明(无色和透 明)。通过非显示区间期间的显示组，将用作表示显示在一个屏幕上 的字幕凄史量的字幕凄史"f言息的 numer—of—region—composition—objects 设置为0,或者将用作表示字幕的透明度的透明度信息的T-value 设置为0。在numer—of—region—composition—objects为0的情况下，不存在 要#皮显示的字幕。因jt匕,才艮才居numer_of_region_composition—objects 为0的显示组，显示不存在的字幕，由此实现字幕的隐藏。此外，在T-value为0的情况下，显示完全透明的字幕。因此， 根据T-value为0的显示组，显示完全透明的字幕，即，不可见的 字幕，由此实现字幕的隐藏。具体地，当显示(字幕的)显示组时，用于再生新才各式文件的 稍后描述的再生设备清除(消除)在作为显示字幕的显示区域的区 域内的字幕。因此，如果在该区i或中存在以显示顺序通过最后的显 示组显示的字幕，则清除其字幕。在清除在该区域中的字幕之后，再生设备开始绘制新字幕。这时，如果要被显示的字幕(对象)的数量为0,则在该区域中不进行绘制。此外，如果要被显示的字幕完全透明，则在该区域中绘制 完全透明的字幕。在任意一种情况下，均等^r地不显示字幕。图6示意性地示出了存储在新格式文件中的字幕数据(字幕图形流)的数据结构。注意，图6中的字幕数据的数据结构具有与 BD-ROM (蓝光光盘只读存储器)的高兼容性，并通过AVCHD标 准规定字幕的数据。因此，可以通过改进用于再生BD-ROM或符 合AVCHD标准的记录介质的i殳备来容易地制造用于再生新才各式文 件的再生设备。即，当再生新格式文件时，并不需要从开始制造仅 用于其文件的再生设备。在图6中，字幕凄t据由一个或多个时期(epoch)的阵列构成。 一个时期由一个或多个显示组的阵列构成。对于显示组的类型，存 在两种类型显示周期开始显示组和显示改变点显示组。时期由一个显示周期开始显示组以及O以上的显示改变点显示 组构成。具体地，显示周期开始显示组4皮，没置在时期的顶部，此后， 设置0以上的显示改变点显示组。以字幕的显示顺序一次一个地激 活时期，并且用于新格式文件的再生设备保持关于有效时期的存储 管理。具体地，在激活时期的同时，再生设备保持关于其时期的数 据存储(包括处理时期的再生设备的状态)。此外，在激活特定时 期之后的情况下，(不激活其时期)，激活下一个时期，再生设备不 保持关于最后激活的时期的数据。时期是保持用于显示字幕的字幕平面(绘制字幕(的图像数据) 的、用于显示字幕的存储器的存储区域)的存储内容并且当切换有 效时期时(即，在显示周期开始显示组i殳置在有效时期顶部的定时)22清除字幕平面的单位。注意，如上所述，在显示改变点显示组的定 时处清除字幕平面的区i^。在激活时期的同时，对于其激活的时期可以激活 一 个调色板表(CLUT (颜色查找表)和多至两个字幕(对象)。因此，通过本发明，可以同时在一个屏幕上显示多至两个字幕(对象)。注意，同 时显示的字幕凄t量不〗又限于两个，可以只显示一个，或者同时显示 三个以上的字幕。显示组是字幕数据的基本组成，并且是片段的集合。具体地，显示组由两个以上的片賴:组成，并且乂人页面组成,殳(下文称作为 PCS )开始，在END片段结束。在PCS和END片段之间插入(设 置)0以上的定义4殳。对于显示组顶部的PCS,添加表示用于开始其显示组(的字幕) 的显示的显示开始时间的PTS (呈现开始时间)。因此，显示组包 括PTS，并变成可以指定显示开始时间的最小单位。当通过其显示 组(所包括的PCS )的PTS所表示的时间到达时，激活每一个显示组。注意，要,皮激活的显示组是包括在激活时期中的显示组。此外， 不同时激活两个以上的显示组，因此，当激活特定显示组时，此时 已经激活的显示组结束(不激活)。图7示出了激活显示组时的定时。我们假定特定显示组#0包括 PCS#0，并且4妾下来显示的(显示字幕)显示组#1包^"PCS弁1。当通过添加至PCS #0的PTS所表示的显示开始时间到达时， 激活包括PCS弁0的显示组#0,并显示其显示组#0(的字幕)。此后，PTS所表示的显示开始时间到达时，不激 活显示组#0，取而代之，激活包括PCS #1的显示组#1。随后，显 示激活的显示iflJl。图8A和图8B示出了显示组的凄t据结构。如上所述，对于显示 组的类型，存在显示周期开始显示组和显示改变点显示组两种类型。图8A示出了显示周期开始显示组的凄t据结构，图8B示出了显 示改变点显示组的lt据结构。显示周期开始显示组和显示改变点显 示组具有相同的数据结构。具体地，如图6所示，显示组包括i殳置 在其顶部的PCS和设置在末尾的END片段(下文还称作END)。 即，显示组^又乂人一个PCS开始，并JU又以一个END结束。PCS <又 指在包括其PCS的显示组内定义的对象。将定义段设置在PCS和END之间。对于定义段的类型，存在 用于定义区域的区域定义段(下文还称作RDS)、用于定义调色寺反 颜色的CLUT定义段(下文还称作CDS )和用于存储字幕的图像数 据的对象定义l殳(下文还称作ODS)的三种类型。显示组^义包4舌一个RDS。 RDS定义了包4舌其RDS的时期内的 所有可用区域(显示字幕的显示区域)。区域的大小和位置在时期 内没有改变。通过RDS,例如，可以定义多至两个区i成。此夕卜，显示组^f又包括一个CDS。 CDS定义了在包括其CDS的 显示组内的可用颜色的4言息(CLUT)。通过CDS，定义了除缺省^直 的颜色数据(稍后描述的CLUT_entry ())之外的所有颜色数据。此 外，显示组可以包括多至两个ODS。通过ODS,定义了从PCS参考的所有对象。图8B)之间的差异4又在于是否表示时 期的顶部。具体地，显示周期开始显示组表示时期的顶部(开始)。 此外，将用于首先在时期内显示字幕的信息存储在显示周期开始显 示组中。另一方面，在字幕的显示在时期内发生改变的情况下，将 用于其改变的信息存储在显示改变点显示组中。显示周期开始显示组和显示改变点显示组都包括用于显示字 幕的信息，并且还是能够在时期内开始包括解码等的再生的位置。因此，通过再生设备，即使当在时期中间读取字幕数据时，如 果可以读入理想条件下的显示改变点显示组，就可以开始其显示改 变点显示组的显示(的字幕)。图9示出了 PCS的语法的实例。PCS主要存储诸如其上叠加有 字幕的移动画面的分辨率、帧率等的移动画面的属性^f言息、显示组 的类型(包4舌其PCS的显示组为显示周期开始显示组还是显示改变 点显示组)、组成字幕的对象(字幕的图像数据)的id、显示字幕 的区域的id以及用于在字幕平面上i殳置对象的坐标信息。具体地，在图9中，segment—type表示片段的类型。对于片段， 存在图6和图8所述的PCS、 END、 RDS、 CDS和ODS的五种类 型。将表示片段为PCS的值设置为PCS的segment—type。segment—length表示乂人紧4妻在i亥segment—length的字,殳之后到 片段(PCS)末尾的长度。video—horizontal—size表示其上叠加有包4舌该PCS的显示组的 字幕的移动画面的平方向上的大小。具体地，将表示用于显示移动画面的、作为绘制移动画面(的图像数据)的存储器的存储区域的
一见步贞平面？K平方向上的^f象素凄t量的^f直i殳置为video—horizontal—size。
video—vertical—size表示其上叠加有包4舌该PCS的显示组的字 幕的移动画面的垂直方向上的大小。具体地，将表示视频平面的垂 直方向上的《戋的lt量的佳j殳置为video—vertical_size 。
video—frame_rate表示其上叠加有包括该PCS的显示l且的字幕 的移动画面的帧率。
page—version—number表示PCS的片反本凄t。 具体;也，伊H口， 4寻 通过^f吏紧接在包4舌该PCS的显示组之前显示的显示组中所包4舌的 PCS 的page—version_number的^f直i曾力口 1戶斤获;f寻的 <直i殳置为 page—version—number 。
然而，在包括该PCS的显示组的字幕的对象与紧接在之前显示 的显示组(下文还称作"最后显示组，，)的字幕的对象相同(在通 过采用对字幕显示所应用的ODS (的对象数据)才丸行字幕显示的情 况下)，将与在最后显示组中包括的PCS的page_version—number的 ^f直才目同的Y直i殳置为page—version—number 。
具体地，例如，除颜色之外，在包括该PCS的显示组的字幕的 字符与最后显示组的字幕的字符相同的情况下，将与在最后显示组 中包括的与PCS的page_version—number的值相同的值i殳置为 page—version—number 。
因此，基本上，将通过使在最后显示组中包括的PCS的 page—version—number的值增加1所获得的值设置为显示周期开始显 示纟且的page—version—number。此外，才艮据显示改变点显示组的字幕的对象是否与最后显示组
的字幕的对象相同，将通过递增最后显示组中包括的PCS的 page_version_number的4直所获4寻的^f直或才目同^f直i殳置为显示？文变点 显示组的page一version—number。
page_state表示显示组的类型。具体地，将表示包4舌该PCS的 显示组为显示周期开始显示组还是显示改变点显示组的信息i殳置 为page—state 。
ref—to—CLUT—id表示作为用于确定对包括该PCS的显示组的 (字幕的)显示所应用的CLUT的id的CLUT—id。 CLUT—id是在 CDS中定义的。
number—of—region—composition—objects表示在该PCS中定义的 region—composition—object ()的凄史量。通过本实施侈寸，可以0~2范围 内的整凄^f直i殳置为number—of—region—composition—objects。
region—composition—object 0包括ref—to—object_id 、 ref—to—region—id 、 object—horizontal_position和object—vertical_position。 当用于再生新 格式文件的再生设备绘制字幕平面上的区域内的像素时，采用 region—composition—object0。即，侈'H口，才艮才居region—composition—object (), 才丸行将纟皮显示字幕的对象(ODS)(的对象凄t据)的确定、显示字 幕的区域的确定等。
注意， 一个region—composition—object ()与通过包括该PCS的显 示组内的RDS所定义的稍后描述的region ()相关。例如， 一个region ()可以与多至两个region—composition—object ()才目关。ref—to—object—id表示作为确定包括该PCS的显示组的字幕的对 象的id的object—id。通过ODS定义object—id。
ref—to_region—id表示作为用于确定指定(定义)对包括该PCS 的显示组的(字幕的)显示所采用的区域的region ()的id的region 一id。通过RDS来定义region id。
注意，通过上述ref—to—objectjd确定的所有字幕的对象(的傳_ 素)必须包4舌在通过由ref—to—region—id确定的region ()所指定的区 i或的范围内。
object—horizontal_position表示通过ref—to—object—id石角定的字幕 对象的左上角像素的显示位置在水平方向上的坐标。坐标原点是字 幕平面(图开j平面)左上角的<象素点。object—horizontal_position的 ^直必须包4舌在通过由ref—to—region—id确定的region ()所指定的区i或 的范围内。
object—vertical_position表示通过ref—to—object—id确定的字幕对 象的左上角 <象素的显示位置在垂直方向上的坐标。以与 object—horizontal_position十青;兄冲目同的方式，坐冲示原点是字幕平面(图 形平面)左上角的4象素点。以与object—horizontal_position十青况才目同 的方式，object—vertical_position 的 <直'义、-贞包4舌在通过由 ref_to—region—id确定的region ()所指定的区i或的范围内。
这里,冲是供的region—composition—object ()的凄t量与显示在包4舌 该PCS的显示组上的字幕的凄t量相同。因此，可以"i兌表示 region_cornposition—object O的凄史量的 number—of^region—composition—objects
是表示显示在一 个屏幕上的字幕数量的字幕数信息。
28对于非显示区间期间的显示组，例如，将用作字幕数信息的
number—of—region—composition—objects i殳置为0,并显示不存在的字 幕，乂人而隐藏字幕。
图10是描述通过图9的PCS中的page—state所获得的值的示 图。page—state取两字节的值。然而，在两字节的值中，为了进一 步扩展，保留00b (b表示其先前值为二进位)和llb。
在page—state为01b的'l"青;兄下，这表示包4舌具有其page—state 的PCS的显示组为显示改变点显示组。
在page—state为10b的十青况下，这表示包4舌具有其page—state 的PCS的显示组是作为时期的开始(顶部)显示组的显示周期开始 显示组。
图11示出了 RDS的语法的实例。在显示字幕的显示屏幕上的 矩形显示区域的区域中，例如，RDS定义了左上角的坐标、水平方 向上的像素大小和垂直方向上的像素大小。仅在通过RDS定义的 区域内显示字幕。
segment_type表示诸如在图9中描述的片革殳类型。将表示片賴: 为RDS的偵/没置为RDS中的segment—type。
segment—length表示乂人紧4妄在segment—length的字4史前到片革殳 (RDS )末尾的长度。
number—of—regions 表示通过该RDS定义的 region 0的数量。通 过本实施例，可以将0 ~ 2 范围内的整凄K直i殳置为 number—of—regions 。region 0 包括 region_id 、region—horizontal_position 、 region—vertical_position、 region—width和region_height。 region O定 义了用于显示通过PCS中的ref—to—object—id确定的字幕的对象的区 域(图9)(绘制对象的字幕平面的区域)。
注意，通过一个RDS，可通过两个region ()定义多至两个区i或。 然而，通过一个RDS定义的两个区域没有必要包括叠加。
region—id是确定区》或的口舉——凄史。例:^， region—id的1直'义、乡贞为 00h (h表示先前值为16进制数)或01h。
此夕卜，如上所述，通过一个RDS,可定义多至两个region 0, ^f旦是在一个RDS的情况下，定义了两个region ()，两个region ()的 region—id的每个^直必须为《^—值(不同^f直)。
region—horizontal_position表示在通过region—id石角定的区i或(通 过region ()定义的区域)的左上角^象素的位置在字幕平面上的水平 方向的坐标。坐标原点是字幕平面上左上角的像素点。 region—horizontal_position的^f直'义、》页包4舌在0 ~ video—horizontal—size (图9) - 1的范围内。
region—vertical_position表示通过region—id确定的区域左上角 的像素位置在字幕平面上垂直方向的坐标。与 region— —horizontal_position的情况类似，坐标原点是字幕平面上左上 角的 <象素，泉。region—vertical_position 的 <直'必多贞包4舌在 0 ~ video vertical size (图9 ) — 1的'范围内。region—width表示通过region—id确定的区i或的宽度(7jc平方向 上的长度)。region—width的^直'义、^贞包4舌在1 ~ video—horizontal—size (图9 ) - region_ horizontal_position (图11)的范围内。
region—height表示通过region—id确定的高度(垂直方向上的长 度)。region—height的^直'义、须包4舌在/人1 ~ video—vertical—size (图9 ) -region_vertical_position (图11)的范围内。
图12示出了字幕(的对象)、区域和字幕平面之间的关系。才艮 才居PCS中的region—composition—object ()(图9 )，确定一夺寻皮显示的 字幕(的对象)、显示其字幕的区域等。具体地，通过包括在 region—composition—object ()中的ref_to—object—id (图9)来确定字 幕的对象。
jt匕夕卜，才艮才居包4舌在 region—composition—object ()中的 object—horizontal_position和object_vertical_position (图9 ),确定字
幕的对象的左上角像素的显示位置(目的位置)的水平方向和垂直 方向的坐纟示的每一个。
jt匕夕卜，才艮氺居包4舌在通过包4舌在region—composition—object ()(图 9 ) 中的 ref_to_region—id 确定的 region ()(具有与通过 ref—to—region—id 表示的相同 ^f直的 region ()) 中的 region—horizontal_position和region—vertical_position (图11 ), 确定
显示字幕的区域的左上角^f象素的位置在字幕平面上的水平方向和 垂直方向的坐标的每一个。
jt匕夕卜,才艮才居包4舌在region ()中的region—width和region—height,
分别确定显示字幕的区域的宽度和高度。图13示出了 CDS的语法的实例。将CLUT (彩色调色板数据) 存储在CDS中。CLUT包括时期内的可用颜色值的数量的、字幕平 面上的颜色和透明度的信息。
具体地，CDS定义了作为用于唯一确定颜色数据集合的CLUT (颜色查找表)的id的一组CLUT—id、作为CLUT版本数的 CLUT—version—number、包4舌亮度Y、色差Cr和Cb以及透明度T 作为分量的颜色数据、以及确定其颜色凄t据的id(指标) (CLUT—entry_id )。
如图9所述，segment—type表示片段的类型。将表示片段为CDS 的值i殳置为给CDS中的segment_type。
segment—length表示乂人紧4姿在segment—length的字革殳之前到片 段(CDS)末尾的长度。
CLUT_id表示确定该CDS (其中存储CLUT )的唯一数。通过 本实施例，例如，将CLUT固定为OOh。
CLUT—version—number表示时期内的该CDS(其中存储CLUT )
的版本数。
一旦将新CLUT定义^殳装入时期，将CLUT—version—number 的^直"i殳置(复位)为0。 一旦引入与最后CDS不同的CDS,例如， 将CLUT_version_number的值i殳置为通过4吏最后CDS中的 CLUT—version_number的^f直增力口 1声斤获4寻的^f直。
具体;也，将在时期内第一 CDS中的CLUT_version—number i殳 置为0。通过随后CDS中的CLUT—version—number,在其CDS中 的CLUT ( CLUT_entry ())与时期内的最后CDS中的CLUT不同的情况下，将通过使最后CDS中的CLUT—version—number增力口 1 所获得的值设置《会其，并且在其CDS中的CLUT与最后CDS中的 CLUT相同的情况下，将与最后CDS中的CLUT—version—number
相同的值设置给其。
CLUT—entry ()是CLUT的条目(记录)，并包括CLUT—entry—id、 Y-value、 Gr-value、 Cb-value和T-value 。
CLUT_entry—id表示CLUT的条目的数量(指标)。根据 CLUT—entry—id,确定特定的颜色。
注意，例如，CLUT—entry—id为8位，并采用00h FFh范围内 的值。然后，CLUT—entry—id为FFh的条目CLUT—entry ()没有^皮(可 以不)存^f渚在CDS中。因此，CLUT_entry—id为FFh的条目 CLUT_entry ()不(可以不)存在。
例如，S夸CLUT_entry—id为FFh的条目CLUT_entry ()的颜色凄吏 据处理为用作缺省值的完全透明的颜色。
因此，可以将CLUT—entryjd为00h ~ FEh的多至255个 CLUT—entry ()存4诸在CDS中，并且只于于字幕的颜色，可同时采用 包4舌透明颜色(CLUT_entry—id为FFh的情况)的多至256种颜色。
Y-value表示CLUT一entryjd所表示的条目CLUT—entry ()的颜 色凄t才居的亮度Y。例4口， Y-value取16~235的<直。
Cr-value表示CLUT—entry—id所表示的条目CLUT—entry ()的颜 色ft才居的色差Cr 。例:fe口 ， Cr画value取16 ~ 240的4直。Cb画value表示CLUT—entry—id所表示的条目CLUT_entry ()的颜 色凄t才居的色差Cb。例如，Cb-value取16 ~ 240的l直。
注意，亮度Y以及颜色偏差Cr和Cb符合Rec. ITU-R BT.601-5 和Rec. ITU-R BT.709-5标准。
T-value表示CLUT—entry—id所表示的条目CLUT—entry ()的颜 色数据的透明度T。 T-value取0 ~ 255的值。值为255的T值表示 颜色完全不透明，T-value的值越小，透明度越大。值为0的T-value
表示颜色完全透明。
这里，例^口， 一夺T-value的击夹省M直定义为0。 ot匕夕卜，只十于Y國value、 Cr-value和Cb-value,不定义击夹省 <直。
注意，没有将CLUT_entry—id为00h ~ FFh的所有256个条目 CLUT—entry ()都存储在CDS中。
然而，如上所述，将CLUT—entry—id为FFh的条目CLUT—entry ()的颜色数据处理为完全透明的颜色，并且其条目CLUT—entry ()没 有被(可以不)存储在CDS中。在这种情况下，将没有存储在CDS 中的条目CLUT—entry ()的颜色数据处理为完全透明的颜色。
这里，可以将T-value称作表示字幕的透明度的透明度信息。 通过非显示区间期间的显示组，例如，将用作该透明度信息的 T-value取表示颜色完全透明的值，即，取用作缺省值的0,并显示 不可见的字幕，由此隐藏字幕。
注意，为了隐藏字幕，通过存卡者在CDS中的CLUT的所有条 目CLUT_entry (), T-value必须*没置为0, ^f旦是通过本实施例，这可 以通过在CDS中不存储CLUT的条目CLUT—entry ()来等效地^丸行。
34图14示出了 ODS的语法的实例。将字幕的对象(图像数据)、 作为用于唯一地确定其对象的id的object—id以及对象的版本数 (object—version—number )等存储在ODS中。
如图9所述，segment—type表示片段的类型。将表示片段为ODS 的倡二没置纟会ODS中的segment—type。
segment—length表示乂人紧才妄在segment—length的字4史之前到片 段(ODS)末尾的长度。
object_id是确定通过该ODS定义的字幕对象的唯一^:。通过 本实施例，如上所述，可通过一个时期同时显示多至两个字幕，将 object—id设置为OOOh或OOOlh以确定多至两个字幕的对象。
object—version—number表示通过该ODS定义的对象的版本数。
将一个字幕的图像数据和其他数据存储在object—data ()中。
具体地,object—data ()包括object—length、 object—horizontal_size、 object—vertical—size和encoded—data—string 0°
object—length表示乂人紧4妄在object—length的字,殳之后到 object—data ()末尾的字节数。
object—horizontal—size表示在^f象宽度(水平方向)上的4象素凄t。 例如，对象宽度必须为大于等于8个像素。因此， object—horizontal_size的值必须为8 ~ video—horizontal—size的值(图9)。video—vertical—size表示3于象高度(垂直方向)上的寸象素凄t。例 如，只于象高度必须为大于等于8个4象素。因此，object—horizontal—size 的^直'义、须为8 ~ video_horizontal —size的4直(图9 )。
例如，将通过使字幕的图像数据(对象)经受行程长度压缩(run length compression )戶斤获4寻的-扁石马凄史才居存4诸在encoded—data—string ()中。
注意，例如，可以通过设置包括ODS的多个显示组来更新(改 变)显示在时期内的字幕的对象，其中，将不同的encoded—data—string
()存4诸在该时期内。
此夕卜，例如，字幕的图像凄t据包括CLUT—entry—id (图13 )作
为像素值。
图15示出了 END的语法的实例。END表示作为片段集合的显 示组的结束。
如图9所述，segment—type表示片段的类型。将表示片段为END 的^f直"i殳置纟会END中的segment—type 。
segment—length表示紧4妄在i亥segment—length的字革殳之后到片 段(END)末尾的长度。
图16是示出用于再生新格式文件的才艮据本发明实施例的再生 i殳备的结构实例的框图。在图16中，再生i殳备由记录介质11、文 件读入单元12、凝:据分配单元13、 4见频解码系统14、 4见频帧乡爰冲 器15、合成单元16、显示帧^￡冲器17、图<象显示装置18、音频解 码系统19、音频l命出装置20和字幕解码系统30构成。
36将存储新格式数据流的文件(新格式文件)记录在记录介质11 中。注意，记录介质11可以是再生设备内置的纪录介质(包4舌可 与再生设备拆离的记录介质)，或者可以是外部记录介质(包括诸 如互联网等的网络上的记录介质)。
例如，文寸牛读入单元12才艮才居用户的才喿作等读入"妄4欠)记录
在记录介质11中的新才各式文件，并将该新才各式文件才是供症合凄史据分
配单元13。
数据分配单元13从文件读入单元12纟是取移动画面^t据以及用 于从存储在新格式文件中的数据流(图5)再生其移动画面数据的 元数据，并将这些数据提供给(分配给)视频解码系统14。
此夕卜，数据分配单元13从文件读入单元12提取音频数据以及 用于从存储在新格式文件中的数据流再生其音频数据的元数据，并 将这些凄t据才是供乡会音频解码系统19。
此夕卜，数据分配单元13从文件读入单元12提取字幕数据以及 用于从存储在新格式文件中的数据流再生其字幕数据的元数据，并 且将这些数据提供给字幕解码系统30。
视频解码系统14根据来自数据分配单元13的数据以执行其数 据的解码，从而再生移动画面的图像数据(基带的图像数据)以将 该数据提供给视频帧緩冲器15。
视频帧緩冲器15临时存储来自视频解码系统14的移动画面的 图像数据，并将该数据提供给合成单元16。合成单元16将从字幕解码系统30提供的字幕的图像数据合成 (叠力n)至来自视频帧緩沖器15的移动画面的图像数据，并将作 为合成结果获得的合成图像数据提供给显示帧緩沖器17。
显示帧纟爰沖器17临时存储来自合成单元16的合成图傳Jt据。
图像显示装置18由诸如LCD (液晶显示器)、有机EL (电致 发光)面板等的显示器构成，并显示与存储在显示帧緩冲器17中 的合成图像数据相对应的图像。
视频解码系统19根据来自数据分配单元13的数据以执行其数 据的解码，从而再生音频数据以将该音频数据提供给音频输出装置 20。
音频输出装置20由未示出的放大器、扬声器等构成，使来自 音频解码系统19的音频数据经受特定处理，并输出与作为其结果 而获得的音频相对应的音频。
字幕解码系统30是再生单元的实例，其根据字幕数据以再生 字幕，并根据来自数据分配单元13的数据以使其数据经受解码等， 从而再生字幕的图像数据以将其提供给合成单元16。
具体地，字幕解码系统30由解码緩冲器31、字幕解码器32和 字幕緩冲器33构成。
解码緩冲器31临时存储从数据分配单元13 4是供给字幕解码系 统30的凄史据。
具体地，将用作字幕数据的显示组以及用作元数据的字幕的显 示开始时间的数据(例如，关于字幕的ISO基本媒体文件格式的时间-取样原子(图2A)等)从数据分配单元13提供给解码緩冲器 31。
解码緩沖器31临时存储来自数据分配单元13的显示组、字幕 (显示组)的显示开始时间的数据。
字幕解码器32读耳又存储在解码緩冲器31中的显示组，#4居其 显示组以再生字幕的图像lt据(对象)，从而在后级的字幕緩沖器 33上绘制该图像数据。
具体地，例如，字幕解码器32将存储在从解码緩冲器31读出 的显示纟且的ODS (图14)所包4舌的encoded—data—string ()中的编石马 数据解码为字幕的图像数据(对象)。
此外，字幕解码器32在字幕緩冲器33的存储区域的位置中绘 制字幕的图像数据，该位置通过对应于包括在从解码緩冲器31读 出的显示组的CDS (图13 )中的CLUT—entry ()的颜色和透明度、 包4舌在其显示组的PCS (图9)中的object—horizontal_position和 object—vertical _position等来确定。
字幕緩冲器33具有所谓的双緩沖器结构，并临时存储来自字 幕解码器32的字幕的图像数据，以将其提供给合成单元16。
具体地，字幕緩冲器33由两个开关34和35以及两个帧緩冲 器36和37构成。
开关34选^^奪帧緩冲器36和37中的一个，并将从字幕解码器 32提供给字幕緩沖器33的字幕的图像数据提供给所选帧緩沖器。开关35选择帧緩冲器36和37中的一个，并从所选帧緩沖器 读出字幕的图像数据，以将该数据提供给合成单元16。
帧緩沖器36和37与上述字幕平面等效，并临时存储从开关34 才是供的字幕的图像数据。
这里，开关34和35以联锁方式进行操作。具体地，当开关35 选择帧緩沖器36和37中的一个时，开关34选择另一个。
开关35选择帧緩沖器36和37中的一个，从而从所选帧緩冲 器读出字幕的图像数据，并通过开关35、合成单元16和显示帧緩 冲器17将该数据提供给图像显示装置18，从而在图像显示装置18 上显示与存储在帧緩沖器36和37中的 一个中的字幕的图像数据相 对应的图像(字幕)。
同时，开关34选择帧緩冲器36和37的另一个，从而将接下 来要显示在图像显示装置18上的字幕的图像数据存储(绘制)在 所选的另一个帧緩冲器中。
具体地，在图像显示装置18上显示存储在帧緩冲器36和37 中的一个中的字幕的图像数据(用作与其相对应的图像的字幕)的 同时，执行帧緩冲器36和37的另一个的存储内容的更新，即，执 行接下来要显示的字幕的图像数据的绘制。
注意，开关35参考存储在解码緩沖器31中的字幕的显示开始 时间的数据，并且一旦存储在帧緩冲器36和37中的一个中的字幕 的图像数据的显示开始时间到达，开关35选择帧緩冲器36和37 中的一个，并读出来自所选帧緩冲器的字幕的图像数据，以将该数 据提供给合成单元16。如上所述， 一旦开关35选择帧緩冲器36和37中的一个，开 关34选择帧緩沖器36和37中的另 一个。
此外， 一旦存储在帧緩冲器36和37中的一个中的字幕的图像 数据的显示开始时间到达，字幕解码器32从解码緩冲器31读出接 着存^f诸在其一个中的字幕显示的字幕的显示组。此外，字幕解码器 32才艮据接下来要显示的字幕的显示组，从解码緩沖器31读出以开 始诸如字幕的图像数据的解码等的再生，并执行关于通过开关34 选择的帧緩沖器36和37中的一个的字幕图^f象的症会制。
重复上述处理，乂人而在图^f象显示装置18上以叠加在移动画面 上的方式显示字幕。
通过如上所述配置的再生i殳备，扭J于移动画面处理(移动画面 再生处理)、音频处理(音频再生处理)和字幕处理(字幕再生处 理)。
具体地，通过移动画面再生处理，文4牛读入单元12读出移动 画面数据以及用于从存储在记录介质11中的新格式文件再生其移 动画面数据的元数据，以通过数据分配单元13将这些数据提供给 视频解码系统14。
—见频解码系统14冲丸4亍通过凄t据分配单元13提供的凄t据的解码 等，乂人而再生移动画面的图像数据，以通过^L频帧緩冲器15将该 数据纟是供给合成单元16。
合成单元16通过所执行的稍后将进行描述的字幕再生处理在 通过视频帧緩冲器15提供的移动画面的图像数据上合成(叠力口)
41从字幕解码系统30提供的字幕的图像数据，并通过显示帧緩冲器 17将作为合成结果获得的合成图像数据提供给图像显示装置18。
通过图像显示装置18,根据通过显示帧緩沖器17提供的合成 图像数据，显示与合成图像数据相对应的图像。
另一方面，通过音频再生处理，文4牛读入单元12读出音频教: 据以及用于从记录在记录介质11中的新格式文件再生其音频数据 的元数据，以通过数据分配单元13将这些凄t据提供给音频解码系 统19。
音频解码系统19执行通过数据分配单元13提供的数据的解码 等，从而再生音频数据以将该数据提供给音频输出装置20。
通过音频输出装置20,输出(发出)与来自音频解码系统19 的音频 居相7十应的音频。
j):匕外，通过字幕再生处理，文4牛读入单元12读出字幕凄t才居以 及用于乂人记录在记录介质11中的新才各式文件再生其字幕凄史据的元 数据，以通过数据分配单元13将这些凄t据^是供《合字幕解码系统30。
字幕解码系统30 4丸行通过数据分配单元13 4是供的凄t据的解码 等，从而再生字幕的图像数据以将这些数据提供给合成单元16。
如上所述，通过合成单元16，在来自视频帧緩冲器15的移动 画面的图像数据上合成从字幕解码系统30提供的字幕的图像数据， 并通过显示帧緩沖器17将合成图像数据提供给图像显示装置18。
通过图像显示装置18，显示与合成图像数据相对应的图像，因 此，以叠加在移动画面上的方式显示字幕。图17是通过图16中的再生设备描述字幕再生处理的流程图。
在步骤Sll中，文件读入单元12从记录在记录介质11中的新 格式文件中读出用作用于再生字幕数据的元数据的字幕的显示开 始时间的数据，以通过tt据分配单元13将该^:据4是供给字幕解码 系统30的解码》爰冲器31。
解码緩沖器31存储通过数据分配单元13提供的字幕的显示开 始时间的教:才居，并且处理/人步-骤Sll前进至步-骤S12。
在步4聚S12中，文件读入单元12 乂人记录在i己录介质11中的新 文件才各式读出一个显示组，以通过数据分配单元13将该数据才是供 给字幕解码系统30的解码緩冲器31。
具体地，例如，在记录在新格式文件中的还没有读出的显示组 中，文4牛读入单元12读出i己录至文4牛的顺序是最早的一个显示纟且， 并通过凄t据分配单元13将该^t据组4是供给字幕解码系统30的解码 緩冲器31。
解码緩冲器31临时存储通过数据分配单元13提供的显示组， 并且处理/人步艰《S12前进至步骤S13。
在步骤S13中，字幕解码器32读出存^f诸在解码緩冲器31中的 显示组，并再生字幕的图像数据，以根据其显示组在字幕緩冲器33 上绘制该图像数据。
具体地，字幕解码器32将从解码緩冲器31读出的显示组解码 为字幕的图像数据。此外，字幕解码器32在通过开关34选#^的字幕緩沖器33的 帧緩沖器36和37的一个(不被用于显示)上绘制(粘贴)字幕的
图傳4t据。
随后，处理从步骤S13前进至步骤S14，其中，字幕解码器系 统30确定在最后的步骤S13中绘制的字幕的图像数据的显示开始 时间是否已经到达。
在步骤S14中确定在最后的步骤S13中绘制的字幕(下文还称 作"最近的字幕")的显示开始时间还没有到达的情况下，处理返 回至步艰A S14。
此外，在步骤S14中确定最近的字幕的显示开始时间已经到达 的情况下，处理前进至步骤S15,在步骤S15中，开关35选择字幕 緩沖器33的帧緩沖器36和37中存储(绘制)最近的字幕的图像 凄t据的一个。
注意，这时，开关34选l奪没有^皮开关35选择的帧緩冲器36 和37中的一个。
在帧緩冲器36和37中，从通过开关35选择的一个帧緩冲器 读出最近字幕的图像数据，并提供给合成单元16。
通过合成单元16，在来自纟见频帧纟爰冲器15的移动画面的图傳_ 数据上合成从字幕解码系统30的开关35提供最近字幕的图像数 据，并在图像显示装置18上显示与作为其结果获得的合成图像数 据相对应的图像。即，以叠加在移动画面上的方式显示最近的字幕。随后，处理/人步骤S15前进至步艰《S16,其中，在文件读入单 元12确定是否已经从记录在记录介质11中的新格式文件读出了所 有的显示组。
在步艰《S16中确定还没有,人新格式文件读出所有显示组的情况 下，即，在存在还没有^皮读出的显示组的情况下，处理返回至步-骤 S12，如上所述，在步驶《S12中，文件读入单元12读出还没有读出 的显示组中的一个显示组，即，读出3艮随最近字幕的显示组的显示 组，并通过l史据分配单元13将该显示组纟是供纟合解码纟爰沖器31。
解码緩冲器31临时存储通过数据分配单元13提供的显示组， 并且处理/人步4聚S12前进至步艰《S13。
在步骤S13中，字幕解码器32读出存储在解码緩冲器31中的 显示组(跟随最近字幕显示组的显示组)，并4艮据其显示组，再生 字幕的图像数据以在通过开关34选择的帧緩沖器36和37中的一 个上绘制该字幕的图像数据。此后，重复相同的处理。
另一方面，在步艰《S16中确定已经从新4各式文件读出了所有显 示组的情况下，字幕再生处理结束。
如上所述，通过字幕解码系统30，当最近字幕的显示开始时间 到达时，在帧緩沖器36和37中，在开关35处选4奪存储最近字幕 的图1象凄史据的一个，因此，通过图^f象显示装置18以叠加在移动画 面上的方式显示最近的字幕。
此外，当最近字幕的显示开始时间到达时，通过字幕解码器32, 开始再生跟随最近字幕的显示组的显示组，并在通过开关34选择的帧緩沖器36和37的一个上绘制通过其再生获得的字幕的图{象凄史据。
如上所述，开关34和35以联锁方式进行操作，其中，当开关 35选择帧緩沖器36和37中的一个时，开关34选择另一个。
因此，在帧緩沖器36和37中，当开关35选择存储最近字幕 的图像数据的一个，并由此在图像显示装置18上显示最近的字幕 时，通过开关34在帧緩冲器36和37中选择没有存储最近字幕的 图像数据的一个，并在通过开关34选择的一个緩沖器上绘制通过 字幕32再生的下一字幕的图像数据(跟随最近的字幕的显示组的 显示组的字幕的图像数据)。
如上所述，通过字幕解码系统30,特定显示组(的字幕)的显 示开始时间#皮—见为用于开始诸如4妄下来要^皮显示的显示组的解石马 等的再生的解码开始时间(再生开始时间)，因此，顺次再生显示 纟且。具体;也，当净争定显示组的显示开始时间到达时，开始其显示^L 的字幕的显示，与此同时，/人文件中读入4妄下来要4皮显示的显示组 (的字幕)，并开始其再生。
注意，对于第一显示组(首先要显示的显示组)，不存在其最 后显示组，因此， 一旦从文件读出第一显示组并存储在解码緩沖器 31中，字幕解码器32立即开始其再生。
此夕卜，对于非显示区间期间的显示组，即，PCS中的number—of— region_composition_objects (图9)为0的显示纟且或者CDS中的 T—value (图13 )为0的显示组，在步骤S13中，字幕解码器32根 据其显示组来再生没有字幕的图像数据或者完全透明的字幕的图 <象#:据。因此，隐藏字幕。如上所述，通过字幕的显示恒为字幕的显示单位的区间，将字 幕凄t据分为每一个均为显示单位中的字幕lt据的显示组，此外，在 显示组中包括用作表示要被显示在一个屏幕上的字幕数的字幕凄史
4言息的number_of—region—composition—objects和用4乍表示字幕的透 明度的透明度信息的T一value，并且对于隐藏字幕的非显示区间期 间的显示纟且，"i夸number—of—region—composition—objects i殳置为0， 或者将T_value设置为0以隐藏字幕，并且将字幕数据存储在符合 ISO基本々某体文件才各式或MP4文件才各式的文件中(以适当地显示字 幕)，从而，可以根据存储其字幕数据的文件适当地执行字幕的显 示(文件(内容)创建者想要的字幕的显示)。
注意，新4各式中的字幕lt据的凄t据结构考虑DVB (数字^L频广 播)的字幕数据流。
具体地，如图6所示，通过采用由乂人等层开始的时期、显示组、 和片段的三个等级所组成的等级结构将字幕数据存储在新格式文 件中，这对于DVB的字幕凄t据流是共同的。
此外，如图6所述，字幕数据由一个或多个时期的阵列组成， 一个时期由一个或多个显示组的阵列组成，并且显示组由片,殳纟且 成，通常，这对于DVB的时期、显示组和片革殳是共同的。
然而，在不修改的情况下，不将DVB的字幕lt据流存储在符 合ISO基本媒体文件格式(对于MP4文件格式也是一样的)的文件中。
另一方面，新格式中的字幕数据的数据结构与关于图9、图11、 图13中描述的每个片段的内容(语法)等、图10中描述的显示组的类型等的DVB的字幕数据流不同，以存储在符合ISO基本媒体 文件才各式的文件中。
此外，新格式中的字幕数据的数据结构与DVB的字幕数据流 的不同之处在于一个显示组对应于ISO基本媒体文件格式的 一个取 样。这还用于将字幕数据存储在符合ISO基本媒体文件格式的文件中。
注意，例如，在ETSIEN300 743,数字一见频广播(DVB);字 幕系统中描述了 DVB的字幕凄史据流。
接下来，如上所述，在符合ISO基本^ 某体文件格式等的文件中 存储字幕数据作为显示组的情况下，如果可以将用于开始诸如其显 示组(的字幕)的解码等的再生的解码开始时间和用于开始显示的 显示开始时间与元数据一起存储在文件中，则通过字幕解码系统30 (图16),期望在解码开始时间处开始诸如显示组的解码等的再生， 并在显示开始时间处开始字幕的显示。
然而，通过ISO基本媒体文件格式(对于MP4文件格式也一 样)，可作为元数据来管理显示开始时间，但是没有定义用于管理 解码开始时间的方法还有用于诸如解码等的再生时间(解码时间)。
注意，例如，MPEG2视频的DTS (解石马时戳)是解石马开始时 间，4旦是通过MPEG2 #见频，存在DTS和PTS (当前时戳)匹配的 画面，所以用于画面解码的解码时间本身在解码器才莫型上被认为为 0。这里，DTS和PTS之间的差异是用于B画面(双向预测画面) 的重新排序的时间，并且不考虑解码时间本身。
48在以ISO基本媒体文件格式存储显示组作为字幕数据的情况
下，如上所述，可以管理显示组的(字幕的)显示开始时间，4旦是 用于开始诸如显示组的解码等的再生的解码开始时间和用于l者如 解码等的再生时间是不被管理的。
因此， 一旦以ISO基本媒体文件格式存储显示组而不考虑处理 时间，引起以下不〗更显示组的再生对于其显示组的显示开始时间 不及时，因此，不适当地显示字幕(字幕显示失败)。
即，通过图16中的再生设备，可以从存^f诸在新才各式文件中的 元凝3居中识别出显示组的显示开始时间。然而，再生i殳备不能识别 4可时应该开始再生，以4吏显示症且的再生^"于其显示开始时间及时。
因此，通过图16中的再生i殳备，例如，如上所述，作为显示 组的显示开始时间，采用紧*接在其显示组之前的显示组的显示开始 时间，当特定显示组的显示开始时间到达时，开始i者如下一显示iE (接下来要显示的字幕的显示组)的解码等的再生。
然而，在没有考虑用于诸如显示组的解码等的再生的时间而将 显示组存储在新4各式文件中的情况下，/人特定显示组的显示开始时 间至下一显示组的显示开始时间例外:t也完成"i者:^下一显示^L的解 码等的再生，并且存在字幕再生对于其字幕的显示不及时的可能性。
因此，下文将乡会出关于以下方法的描述对于用于通过以ISO
特定约束加在其文件生成上(下文还称作"文件生成约束")，执行 根据其文件的字幕的再生，从而及时显示其字幕。注意，对于用于再生新格式文件的再生设备，假定釆用了图16 中的再生i殳备，即，1又包4舌一个用于扭J亍显示组的解码的字幕解码 器32的再生设备(可以单独扭^于一个显示组的解码，^f旦是不能同 时执行多个显示组的解码的再生设备)。
图16中的再生设备包括单独的一个字幕解码器32,所以为了 使字幕的再生对于其显示是及时的，存在两种条件，其中，对于第 一条件，用于特定显示组的解码的必要解码时间与另 一显示组的解 码时间不重叠，对于第二条件，完成字幕解码器32进行的解码显 示组的解石马完成时间是其显示《且的显示开始时间之前的时间。
试-验性地，通过新4各式文件，如果可以管理(存〗诸)显示组的 显示开始时间和解码开始时间，则在生成设备中生成存储显示组的 文件以满足第一条件和第二条件，从而在再生设备中字幕的再生对 于其显示可以是及时的。
具体地，在这种情况下，通过再生设备，利用新格式文件在解 码开始时间处开始诸如显示组的解码等的再生，并在显示开始时间 处开始显示，乂人而字幕的再生对于其显示可以是及时的。
图18示出了通过生成的文件而执行以满足第一条件和第二条 件的显示组的再生和显示时序。通过再生i殳备，当解码开始时间到 达时，开始诸如显示组的解码等的再生。随后，当显示开始时间到 达时，开始显示组的(字幕)显示。
解码开始时间和显示开始时间满足第 一条件和第二条件，所以 通过再生i殳备，如上所述，分别才艮据解码开始时间和显示开始时间 来才丸4于显示组的再生和显示，乂人而，字幕的再生》t于其显示可以是 及时的。顺侵j是及，用于显示组再生的时间基本等于用于解码的时间。 用于解码的时间，由此所4吏用的时间取决于多种因素，T者如字幕编
码数据(encoded_data_string ()(图14))的编码方法、字幕的大小 (像素数)、字幕颜色的数量、字幕(的图像)的复杂性、叠加字 幕的移动画面的帧率、分辨率等，所以对于每个显示组(样本)来 i兌都是不同的。
通过生成设备，如果根据取决于各种因素并且对于每个显示组 来说都不同所使用的这种时间，则执行用于确定满足第 一条件和第 二条件的解码开始时间和显示开始时间的处理，其处理负荷大大增加。
注意，通常在内容创作时确定显示开始时间，所以基本上，通 过生成设备，确定满足第 一条件和第二条件的解码开始时间。
此外，对于用于再生新格式文件的再生设备，其中，将字幕数 据存储在符合诸如上述ISO基本媒体文件格式的文件中，必须具有 样本的解码开始时间的解码器模型不适用于其。
具体地，通过ISO基本^某体文件格式，可以通过用作元数据的 时间-样本原子(图2A)的持续时间(样本持续时间)而获得的样 本的显示组的显示开始时间，但是不存在用于表示样本的解码开始 时间的方法。
因此，即使在生成设备中确定了满足第 一条件和第二条件的解 石马开始时间和显示开始时间，用于再生新格式文4牛的再生i殳备不识 别在生成i殳备中确定的解石马开始时间。因此，不期望强加确定满足第 一条件和第二条件的解码开始时 间和显示开始时间作为文件生成约束。
因此，为了防止生成设备的处理负荷大大增加，并利于用于再 生新格式文件的再生设备使字幕的再生对于其显示是及时的，将采
用以下-见则Rl ~ R6作为文件生成约束。
相同地，规则Rl是设置用于开始诸如显示组的解码等的再生 的解码(再生)开始时间以及用于开始紧接在之前显示的字幕的显 示组的显示的显示开始时间。
当注意特定显示组时，规则R2把从紧接在其感兴趣的显示组 (感兴趣的显示组)之前要纟皮显示的显示组(最后显示组)的显示 开始时间直到感兴趣的显示组的显示开始时间的时间(在最后显示 组的显示开始时间和感兴趣的显示《且的显示开始时间之间的时间) 作为可用于再生感兴趣的显示组的可用时间T。
代替^L则R2,在最后显示组为非显示区间中的显示组的情况 下，采用规则R3,并将从进一步紧接在紧接感兴趣的显示组之前 的要显示的显示组之前的显示开始时间直到感兴趣的显示组的显 示开始时间的时间作为感兴趣的显示iEL的可用时间T。
将用于诸如感兴趣的显示组的解码等的再生的时间Tmin作为感
兴趣的显示组的可用时间T的最小4直，^L则R4防止可用时间T小 于时间Tmin。
才艮据MJ!'J R4,感兴趣的显示组的可用时间T大于等于时间Tmin， 从而保证在可用时间T期间完成诸如感兴趣的显示组的解码等的再 生，即，直到其显示开始时间完成感兴趣的显示组的再生。因此，可以#(^于感兴趣的显示组的再生，以对于其显示是及时 的。此外，在完成诸如感兴趣的显示组的解码等的再生之前，感兴 趣的显示组的显示开始时间，即，^艮随感兴趣的显示纟且的显示组的 解码开始时间到达，从而可以防止诸如显示组的解码等的再生处理失败。
注意，如果我们<艮定爿夺连续的两个显示组之间的显示开始时间
间隔作为显示组间隔，则可用时间T由于通用失见则而变成显示组间
隔。此外，时间Tmin是显示组间隔的最小值以保证执行显示组的再 生以对于其显示是及时的。
根据规则R4,没有通过关于其显示组自身的参数，而是通过
最后显示组(在应用失见则R3的情况下，进一步在最后显示组之前
要显示的显示组)的显示时间(显示组间隔)来约束在显示时间轴 上的4可处i更置特定显示组。
规则R5假设感兴趣的显示组的时间Tmin仅取决于感兴趣的显
示组的编码翁:据(encoded_data_string ()(图14))。
具体地，实际上，显示组的时间Tmin接收多种因素的影响，诸 如用于将副标题(的图傳4t据)编码成为编码ft据的编码方法、字 幕的图像数据的大小、字幕的(图像的)大小(水平像素数x垂直 像素数)、字幕颜色的数量、字幕的(图像的)复杂性、字幕的形 状(字幕为纵向还是纟黄向等)、显示字幕的显示位置、以及进一步 地叠加字幕的移动画面的帧率、扫描类型(隔行或逐行)、位速率 (峰值速率和平均速率)等。在考虑这些所有各种因素的同时获得时间T^的情况下，可以
获取精确值作为时间Tmin，但是另一方面，用于获取时间T^的处 理的负荷会增加。
此外，为了在考虑这些所有各种因素的同时获得时间Tmin，例
如，必须通过作为自变量(argument)的这些各种因素来获4寻用于
输出具有精确值的时间Tmin的函数(模型)，但是难以获得这种函数。
为此，采用假设感兴趣的显示组的时间TmiJ义取决于感兴趣的
显示组的编码数据的规则R5，从而，可以容易地获得时间Tmin。
在感兴趣的显示组是数据流中首先要显示的数据组的情况下，
头见贝'J R6是不应用夫见则Rl ~R5。
具体地，将要显示在移动画面的整个显示区间上的字幕的显示 组存々者在新才各式文件中，所以首先显示的显示组的显示开始时间与 开始移动画面的显示的时间一致(必须一f丈)。
因此最初地，显示组的再生对于其显示是及时的，因此，不必强加 文件生成约束。
例如，将规则R6应用于图4中首先要显示的显示组#1。图4 中的显示组#1是非显示区间期间的显示组，^f旦是还是将MJI'J R6应 用于除非显示区间之外的区间(显示区间)期间的显示组。
下面;)夸参照图19A和图19B进4亍关于-见则Rl ~R3的进一步的 描述。注意，下文中，感兴趣的显示组还称作当前显示组，以及最 后显示组还称作在前显示组。在前显示组不是非显示区间期间的显示组的情况下，图19A示 出了前显示组和当前显示组的阵列。
乂人当前显示组的显示开始时间直到4妾下来要显示的显示组(后 面的显示组)的显示开始时间，显示当前显示组(的字幕)。将从
当前显示《且的显示开始时间直到后面的显示ia的显示开始时间的 时间称作激活当前显示组的时间(周期)。
在/人在前显示组的显示开始时间直到当前显示组的显示开始 时间的时间内显示在前显示ia，所以该时间为^敫活在前显示症且的时间。
当假定执行显示组的再生对于其显示是及时的时，规则Rl,
即，将显示组的解码开始时间与最后显示组的显示开始时间:没置为 相同的失见则等效于导丸4亍々Ii殳用于诸如当前显示组的解码等的再生 时间小于等于激活在前显示组的时间的建^t。
具体地，如果已经执行显示组的再生以对于其显示是及时的， 在在前显示组的显示开始时间处，必须完成其在前显示组的再生。
因此，在前显示组的显示开始时间处，字幕解码器32(图16) 可以开始^H乍为下一显示组的当前显示《且的解石马。随后，直到当前 显示组的显示开始时间，即，在;敫活在前显示《且的同时，必须完成 诸如当前显示组的解码等的再生。
注意，在其显示开始时间之前已经完成当前显示组的再生的情 况下，在完成当前显示组的再生之后直到其显示开始时间，字幕解 码器32为待机状态(等待数据)(等待后面的显示组的解码的开始 的状态)。规则R2是从规则Rl得出的规则。具体地，根据规则Rl,在 激活在前显示组的同时，/人在前显示组的显示开始时间必须完成当 前显示组的再生。
因此，可用于当前显示《且的再生的可用时间T到达^敫活在前显 示组的时间(在前显示组的显示开始时间和当前显示组的显示开始 时间之间的时间)，因it匕，4,出失见则R2 。
图19B是描述规则R3的示图。现在，我们假定，在连续显示 的三个显示组中，最后显示的显示组为当前显示组。
在这种情况下，在连续显示的三个显示组中，第二要显示的显 示组为在前显示组。
现在，在连续显示的三个显示组中，将首先要显示的显示组， 即，将紧接在前显示组之前的显示组称作第二在前显示组。
现在，我们4叚定在前显示组是非显示区间期间的显示组，即， ^又用于消除第二在前显示组(的字幕)的显示组。
在前显示组是非显示区间期间的显示组，所以不存在在字幕解 码器32中进行解码的编码数据(encoded_data—string ()(图14 ))(解
码凄t据不必进4于解码)。
因此，在激活第二在前显示组时字幕解码器32不必对在前显 示组进行解码。因此，字幕解码器32不是在在前显示组的显示开 始时间而是在第二在前显示组的显示开始时间处可以开始当前显 示纟且的解码。因此，可用于当前显示组的再生的可用时间T变成第二在前显
示纟且的显示开始时间禾口当前显示ia的显示开始时间之间的时间。 具体地，在最后显示组是非显示区间期间的显示组的情况下，
推出规则R3,其将从进一步紧接在紧接感兴趣的显示组之前的要 显示的显示组(显示区间期间的显示组)之前的要显示的显示开始 时间开始的时间作为感兴趣的显示组的可用时间T 。
现在，我们々支定，在在前显示组是非显示区间期间的显示组的 情况下，第二在前显示组不是非显示区间期间的显示组。
情况下，可以^吏两个显示组集成为非显示区间期间的一个显示组。 因此，〗吏这种显示组集成，从而在在前显示组是非显示区间期间的 显示组的情况下，第二在前显示组是不是非显示区间期间的显示组 的显示组。
接下来，将参照图20对关于怎样根据规则R5获得时间T, 进行描述。
用于显示组的再生的时间Tmin被视为用于对编码数据进行解码 的时间。然而，如上所述，用于对编码凄t据进4亍解码的时间取决于 多种因素，所以难以精确地4丸行建才莫。
通过失见则R5,感兴趣的显示l且的时间Tmin被^见为仅耳又决于感
兴趣的显示组的编码数据(encoded_data—string ()(图14))的大小， 因此，可以容易地执行时间Tmin的建模。才艮据夫见则R5,通过才艮据将其显示组的编码凄史据的大小s作为自
变量的函数F (S)的表达式Tmin-F (s)来表示显示组的时间Tmin,
并且通过建模，获得函数F(s)。
函数F (s)取决于字幕解码系统30 (图16)的标准，具体地， 耳又决于字幕解码器32的性能。
图20示出了通过关于具有特定性能的字幕解码器32的仿真所 获得的函数F (s)。函数F (s)输出具有作为自变量的编码数据的 大小s的时间Tmin，所以可以i兌函凄tF (s)表示作为编石马ft纟居的大 小s和时间Tmin之间的关系的大小-时间关系。在图20中，横轴表 示以^立为单^f立的编石马^U居的大小s，纟从轴表示以移动画面的帧(视
频帧)的数量为单位的时间Tmin。
注意，开始显示组(的字幕)的显示的定时与显示叠加有字幕
的移动画面的帧的定时相匹配(必须匹配)，因》匕，在图20中，3寻
帧凄t作为垂直轴上时间Tmin的单位。
此外，水平轴上编码数据的大小s是存储在ODS (图14)中的 encoded_data—string ()的字节大小。
根据仿真，已经确认，编码数据的大小S越大，时间Tmin就越
大，图20示出了基于其仿真结果所创建的大小-时间关系。
注意，通过图20中的大小-时间关系，以确定的方式，时间Tmin 的值变成通过将所谓的余量(margin )与仿真时获得的值相加的值， -使得显示组的再生对于其显示是及时的。在考虑显示组的再生对于 其显示是及时的确定性的同时，可以确定余量。
58图21是示出了根据实施例的、用于根据上述规则Rl ~R6生成 新格式文件的生成设备的结构实例的框图。
生成设备由字幕显示时间数据库40、字幕处理单元50、元数 据处理单元61、图像处理单元62、音频处理单元63和数据合成单 元64构成。
字幕显示时间凄t据库40存储字幕的显示开始时间。这里，例 如，通过创建者等预先确定字幕的显示开始时间，其中，创建者通 过利用图21中的生成设备来创建文件(内容)。
将字幕的图^f象凄t据提供给字幕处理单元50。字幕处理单元50 处理|是供给其的字幕的图傳_数据，以生成字幕才羊本，即，显示组， 并将其l是供给数据合成单元64。
具体地，字幕处理单元50由字幕编码器51、确定单元52、大 小-时间关系数据库53和確晉误处理单元54构成。例如，将用作字幕 的图像数据的位图数据的一张图表(屏幕值)适当地提供给字幕解 码器51。
字幕编码器51对提供给其的字幕的图像数据进行编码以生成 要存储在新格式文件中的字幕数据，并将字幕数据提供给确定单元 52。具体地，字幕编码器51对提供给其的字幕的图像数据进行编 码，乂人而生成编码翁:据(encoded_data_string ()(图14))。随后， 字幕编码器51采用其编码^:据以生成作为字幕样本的显示组，并 将其纟是供给确定单元52作为感兴趣的显示组。此外，字幕编码器51通过参照存储在字幕显示时间数据库40 中的字幕(显示组)的显示开始时间来获得感兴趣的显示组的可用 时间T,并将其4是供给确定单元52。
注意，在字幕编码器51处生成的显示组是非显示区间期间的 显示组的情况下，可以消除编码凄t悟的必要性。
确定单元52 4企测包4舌在来自字幕编码器51的感兴趣的显示组 中的编码数据的大小s。此外，确定单元52基于包括在感兴趣的显 示组中的编码凄t据的大小s来确定由图16中的再生i殳备再生感兴趣 的显示组对于其显示是否及时。
具体地，确定单元52^^艮据用作存储在大小-时间关系数据库53 中的大小-时间关系的函凄tF(s)(图20)， /人包4舌在感兴趣的显示釭L 中的编码数据的大小s中获得关于感兴趣的显示组的时间Tmin。
此外，确定单元52获4寻感兴趣的显示组的可用时间T和/人包 括在感兴趣的显示组中的编码数据的大小s中所获得的时间Tmin之 间的幅值相关性，并基于其幅值相关性来确定感兴趣的显示组的再 生对于其显示是否及时。
具体地，在感兴趣的显示组的可用时间T大于等于Tmin的情况 下，确定单元52确定感兴趣的显示组的再生对于其显示是及时的。
此外，在感兴趣的显示组的可用时间T小于时间Tmin的情况下，确
定单元52确定感兴趣的显示组的再生对于其显示是不及时的。
在确定感兴趣的显示组的再生对于其显示是及时的情况下，确 定单元52将感兴趣的显示组提供给数据合成单元64。此外，在确定感兴趣的显示组的再生对于其显示是不及时的情
况下，确定单元52输出表示错误的错误信息。
如图20所述，大小-时间关系数据库53存储用作预先获得的大 小-时间关系的函凄tF (s)。
错误处理单元54根据确定单元52的错误信息的输出来执行用 于实现感兴趣的显示组的再生对于其显示是及时的错误处理。
具体地，例如， 一旦确定单元52输出4晉误信息，例如，错误 处理单元54扭^f于用于增加感兴趣的显示组的可用时间T的处理作 为4晉误处理。
这里，例如，错误处理单元54通过延迟感兴趣的显示组的显 示开始时间或者通过加速紧*接在感兴趣的显示组之前的显示《且的 显示开始时间，来增力a感兴趣的显示《且的可用时间T。
具体地，错误处理单元54将用于命令延迟感兴趣的显示组的 显示开始时间或者命令提前紧4妄在感兴趣的显示组之前的显示组 的显示开始时间的控制信号提供给字幕解码器51。
在从错误处理单元54提供控制信号的情况下，字幕编码器51 才艮据其控制信号纟丸行用于延迟感兴趣的显示组的显示开始时间或 加速紧*接在感兴趣的显示组之前的显示组的显示开始时间的时间 调节。ot匕外，字幕编石马器51采用时间调节之后的显示开始时间以 再次获得感兴趣的显示组的可用时间T，并将其才是供给确定单元52。
这里，如上所述，寺丸4亍用于延迟感兴趣的显示组的显示开始时
间或加速紧4妄在感兴趣的显示组之前的显示组的显示开始时间的 时间调节，/人而可以增加感兴趣的显示组的可用时间T。然而，在延迟感兴趣的显示组的显示开始时间的情况下，^艮随
感兴趣的显示组的显示组的可用时间T变短。此夕卜，在执行加速紧 4妄在感兴趣的显示组之前的显示组的显示开始时间的情况下，紧4妄
在感兴趣的显示ia之前的显示组的可用时间T变短。
在跟随感兴趣的显示组的显示组的可用时间T变短由此其可用
时间T变得短于^艮随感兴趣的显示组的显示组的时间Tmin的情况
下，3艮随感兴趣的显示组的显示组的再生对于其显示是不及时的。
此外，在紧4妄在感兴趣的显示组之前的显示组的可用时间T变 短由此其可用时间T变得短于紧4妄在感兴趣的显示组之前的显示组
的时间Tmin的情况下，紧接在感兴趣的显示组之前的显示组的再生 对于其显示是不及时的。
因此，在延迟感兴趣的显示组的显示开始时间由此^艮随感兴趣 的显示组的显示组的可用时间T变纟寻短于其时间Tmin的情况下，以 及在4是前紧4矣在感兴趣的显示组之前的显示组的显示开始时间由 此紧接在感兴趣的显示组之前的显示组的可用时间T变得短于其时
间Tmin的情况下，错误处理单元54执行另 一错误处理。
具体地，4晉i吴处理单元54 #丸4亍用于<吏感兴趣的显示组的时间 Tmin更短的处理作为错误处理。
这里，例如，4晉误处理单元54 4吏字幕编码器51改变编码参凄t， 以使在字幕编码器51中获得的感兴趣的显示组的编码数据的大小
更短，从而使感兴趣的显示组的时间Tmin更短。
具体地，错H吴处理单元54将用于命令减少用作编码目标的字 幕的图像数据的颜色数或减少(间隔剔除)其图像数据的大小(像 素数)等的控制信号提供给字幕编码器51。在从错误处理单元54提供控制信号的情况下，字幕编码器51 根据其控制信号执行用于减少用作编码目标的字幕的图像数据的 颜色数或减少其图像数据的大小的处理，并执行用于将其处理之后 的字幕的图像数据变换成为编码数据的重新编码。随后，字幕解码 器51采用作为重新编码的结果获得的编码H据以重新生成感兴趣 的显示组，并将其4是供给确定单元52。
如上所述，确定单元52根据用作存储在大小-时间关系数据库 53中的大小-时间关系的函凄史F(s)(图20) /人包4舌在感兴趣的显示 组中的编码凌t据的大小s获得感兴趣的显示组的时间Tmin。
在这种情况下，包括在感兴趣的显示组中的编码凄t才居是通过只于 颜色数和大小较小的字幕的图像凄t据进行编码所获得的凄t据，所以 其大小s变小，因此，根据大小-时间关系从其大小s获得的时间
Tmi。也变短。
将元lt据(附加4言息)纟是供给元ft据处理单元61。元^t据处理 单元61使提供给其的元数据经受预定处理，并将其提供给数据合 成单元64。
将移动画面数据提供给图像处理单元62。图像处理单元62使 提供给其的移动画面数据经受预定处理，并将其提供给数据合成单 元64。
将音频数据(例如，伴随移动画面数据的音频数据)提供给音 频处理单元63。音频处理单元63 4吏才是供乡会其的音频凄t悟经受预定 处理，并将其^是供纟会ft据合成单元64。
凄t据合成单元64合成(多^各复用)来自元凝:据处理单元61的 元凄t据、来自图4象处理单元62的移动画面数据、来自音频处理单 元63的音频凄t据以及来自字幕处理单元50 (的确定单元52 )的用
63作字幕数据的显示组，生成存储作为其合成结果获得的数据流的新
才各式文4牛，并iir出该新4各式文fK
注意，在元数据中包括存^f诸在字幕显示时间凄史据库40中的显 示组的显示开始时间，^f旦是通过凄t据合成单元64将该显示开始时 间以诸如ISO基本媒体文件格式的时间-样本原子(图2A)等的形 式存^f诸在新4各式文件中。
此外，在通过在错误处理单元54中执行的错误处理来执行显 示组的显示开始时间的时间调节的情况下，将其时间调节之后的显 示开始时间存储在新格式文件中。
接下来，将参照图22对关于在图21的生成i殳备的字幕处理单 元50中扭J亍的处理(字幕生成处理)进4亍描述。
通过字幕处理单元50,例如，字幕编码器51等4寺用作所提供 的字幕的图像数据的位图数据的一张图表(屏幕值)，并且在步骤
s51中，获得(接收)其字幕的图像数据，并且处理前进至步骤s52。
在步骤s52中，字幕编码器51通过参照存储在字幕显示时间 数据库40中的字幕(显示组)的显示开始时间来获得感兴趣的显 示组的可用时间t。随后，字幕编码器51将感兴趣的显示组的可用 时间t与其显示开始时间一起才是供给确定单元52,并且处理从步骤 s52前进至步骤s53。
在步骤s53中，字幕编码器51对在最近的步骤s51中获得的 字幕的图像数据进行编码，从而生成编码数据(encoded_data_string ()(图14))。此外，字幕编码器51采用其编码数据以生成用作字 幕样本的显示组，将其作为感兴趣的显示组提供给确定单元52,并 且处理/人步艰《s53前进至步骤s54。在步骤S54中，确定单元52冲企测包4舌在来自字幕编码器51的 感兴趣的显示组中的编码数据的大小s。此外，确定单元52才艮据存 储在大小-时间关系数据库53中的大小-时间关系(图20)从包括 在感兴趣的显示组中的编码数据的大小s中获得感兴趣的显示组的 时间Tmin。
随后，处理乂人步-骤S54前进至步骤S55,确定单元52确定感兴 趣的显示组的可用时间T是否大于等于感兴趣的显示组的时间 t
i min o
在步骤S55中判定感兴趣的显示组的可用时间T小于感兴趣的
显示组的时间Tmin的情况下，即，在感兴趣的显示组的再生对于其
显示是不及时的情况下，处理前进至步骤S56,在步骤S56中，确 定单元52输出4晉误信息，并且处理前进至步-骤S57。
在步骤S57中，错误处理单元54执行用于延迟感兴趣的显示 组的显示开始时间或者加速紧，接在感兴趣的显示组之前的显示组 的显示开始时间的时间调节，乂人而确定是否改变(增力。)感兴趣的 显示纟且的可用时间。
在4丸4亍时间调节/人而增加感兴趣的显示ia的可用时间T的'lt况
下，如图20所述，3艮随感兴趣的显示组的显示《且的可用时间T变 短，因此，其可用时间T变4寻短于3艮随感兴趣的显示组的显示组的 时间Tmin，并且跟随感兴趣的显示组的显示组的再生对于其显示不 及时，或者紧接在感兴趣的显示组之前的显示组的可用时间T变短， 因此，其可用时间t变得短于紧接在感兴趣的显示组之前的显示组 的时间Tmin，并且紧4妄在感兴趣的显示组之前的显示组的再生对于 其显示不及时。在步骤S57中，如上所述，在引起显示组的再生对于其显示不 及时的情况下，才丸4亍时间调节，因此，进4亍难以增加感兴趣的显示 纟且的可用时间T的确定。另一方面，如上所述，在没有导致显示纽— 的再生对于其显示不及时的情况下，在步艰《S57中，执4亍时间调节， 因》匕，估支出可以增加感兴趣的显示《且的可用时间T的确定。
在步骤S57中确定可以增加感兴趣的显示组的可用时间T的情 况下,处理前进至步骤S58,其中，错误处理单元54将用于命令延 迟感兴趣的显示组的显示开始时间或提前紧4妄在感兴趣的显示组 之前的显示组的显示开始时间的时间调节控制信号#是供给字幕编 码器51。
在从错误处理单元54提供时间调节控制信号的情况下，根据 其控制信号，字幕编码器51扭^于时间调节，以延迟感兴趣的显示 组的显示开始时间或者纟是前紧*接在感兴趣的显示组之前的显示组 的显示开始时间。此外，字幕编码器51采用时间调节之后的显示 开始时间以再次获得感兴趣的显示组的可用时间T，并将其提供给 确定单元52。注意，在时间调节目标为感兴趣的显示纟且的显示开始 时间的情况下，字幕编石马器51还爿夸感兴趣的显示组的时间调节之 后的显示开始时间4是供多合确定单元52。
随后，处理从步骤S58返回至步骤S55,此后，重复相同处理。
此外，在步-骤S57中确定扭J亍时间调节/人而确定^k以增力口感兴 趣的显示组的可用时间T的情况下，处理前进至步骤S59,其中， 4晉误处理单元54将用于改变编码参lt的控制信号提供纟合字幕编码 器51,其中，该控制信号命令减少进行编码的字幕的图像数据的颜 色数或减少其图像数据的大小等。
66在从错误处理单元54提供用于改变编码参数的控制信号的情 况下，字幕编码器51 4艮据其控制信号扭J于用于减少上次进4于编码 的字幕的图像数据的颜色数的处理或者用于减少其图像数据的大 小的处理(减少大小的处理)。随后，处理/人步骤S59返回至步骤 S53,其中，字幕编码器51在减少大小处理以后对字幕的图^象数据 进4亍编石马，此后，重复相同处理。
另一方面，在步骤S55中判定感兴趣的显示组的可用时间T大 于等于感兴趣的显示组的时间Tmin的情况下，即，在感兴趣的显示 组的再生对于其显示及时的情况下，处理前进至步骤S60，在步骤 S60中，确定单元52将感兴趣的显示组和感兴趣的显示组的显示开 始时间(在才丸行时间调节的情况下，时间调节之后的显示开始时间) 4是供纟会ft据合成单元64,并且处理前进至步骤S61。
通过合成单元64,如上所述，例如，以诸如ISO基本々某体文件 格式的时间-样本原子(图2A )等的形式将从确定单元52才是供的感 兴趣的显示组的显示开始时间存 <诸在新格式文件中。
在步骤S61中，字幕处理单元50确定是否已经处理存储在新 格式文件中的字幕的所有的图像数据。
在步骤S61中确定存在存储在新格式文件中的字幕的图像数据 的未处理字幕的图像ft据的情况下，处理返回至步骤S51,此后，
重复相同处理。
此外，在步骤S61中确定已经处理了存储在新格式文件中的字 幕的所有图像数据的情况下，字幕生成处理结束。
如上所述，当感兴趣的显示组的可用时间T^豆于感兴趣的显示 组的时间Tmin时，确定单元52确定感兴趣的显示组的再生对于感 兴趣的显示组的显示不及时，并输出错误信息，从而可以防止生成显示组的再生对于显示组的显示不及时的文件，因此，再生i殳备可 根据执行再生以对于其字幕的显示来说是及时的。
具体地，通过图16中的再生设备，如上所述，为了在字幕解 码系统30中作支定特定显示组(的字幕)的显示开始时间作为4妄下 来要显示的显示组的解码开始时间，再生显示组。
另一方面，图21中的生成i殳备^f呆i正乂人特定显示组的显示开始 时间直到4妄下来要显示的显示组的显示开始时间的时间(4妄下来要 显示的显示组的可用时间T)大于等于其显示组的时间Tmin。
因此，通过图16中的再生i殳备，可以执4亍显示组的再生以对 于其显示是及时的。
通过本实施例，在显示组的可用时间T小于时间Tmin的情况下， 减少字幕的图像数据的颜色数和大小、编码凄t据的大小s，因此， 减少时间Tmin。然而，减小字幕的图像数据的颜色数和大小导致文 件内容(内容)的修改，在进行用户(文件创建者)的确认之后， 可以执行用于减少字幕的图像数据的颜色数和大小的处理以减少 时间Tmin。可选地，通过生成设备，不执行诸如减少字幕的图像数 据的颜色数和大小以减少时间Tmin的错误处理，错误信息，即，字 幕的再生对于其显示不及时的影响^皮通知纟会用户，并且可以通过等 待来自用户的命令来寺丸行随后的对策。
用于批J亍显示开始时间的时间调节以增加可用时间T的镅H吴处 理与上述相同。
注意，在没有，丸4于4晉误处理的情况下，可以不i殳置4晉i吴处理单 元54 ;也配置字幕处理单元50 (图21 )。 jt匕夕卜，为了减少编石马凄史才居 的大小s由此减小时间Tmin,存在除减少字幕的图像数据的颜色数和大小之外的方法，其中，合成多个字幕的图像数据(图像数据的 多个图表)以获得图像数据(一个字幕的图像数据)的图表。
*接下来，可通过石更件或软件来^u亍上述一系列处理。在通过软 件执行一系列处理的情况下，在通用计算机等中安装组成软件的程序。
图23示出了根据实施例的计算机的结构实例，其中安装执行 上述一 系列处理的禾呈序。
可以在用作子贞先包4舌在计算才几内的i己录介质的石更盘105或 ROM 103中记录该禾呈序。可选》也，可以^寻禾呈序临时或7Jc久;也存卡者(i己 录)在诸如软磁盘、CD-ROM (光盘只读存储器)、MO (磁光)盘、 DVD(数字通用盘)、磁盘、半导体存储器等的可移动记录介质111 中。可以将这种可移动记录介质lll设置为所谓的数据包软件。
注意，除将禾呈序乂人可移动介质111安装在计算4几中的上述配置 之外，通过无线人造卫星将程序从下载网站无线传输至计算才几或者 由电缆通过诸如互4关网的网络将程序传输至计算才几的配置是可用 的，并且计算机在通信单元108中接收如此传输的程序，并将该程 序安装到内置硬盘105中。
计算机内包括CPU (中央处理单元)102。通过总线101将输 入/输出4妻口 110连接至CPU 102，并且一旦通过用户操作由4定盘、 鼠标、麦克风等组成的输入单元107输入命令，CPU 102经由输入 /输出4妄口 110才艮据其命令冲丸行存储在ROM (只读存储器)103中 的程序。可选地，CPU102将存储在硬盘105中的程序(从卫星或 互联网传llT并在通信单元108中4妄收且安装在石更盘105中的禾呈序， 或者从安装在驱动器109上的可移动记录介质111读取并安装在硬 盘105中的程序)下载至RAM (随才几存l诸器)104并4丸4亍程序。因此，CPU 102才艮据上述流程图才丸4亍处理或通过上述框图结构执4亍的 处理。随后，CPU 102通过输入/输出接口 110从由LCD (液晶显 示器)、扬声器等组成的输出单元106输出其处理结果，或者从通 信单元108传输它们，进一步将它们记录在硬盘105中。
现在，通过本说明书，描述使计算^L执行各种类型处理的程序 的处理步骤不是必须根据如流程图所述的顺序时序地被执行，而是 可以包纟舌并4于或单独#丸4于的处理(例30,并^f于处理或^t象定向处 理)。
此外，可以通过单个计算才几来处理该禾呈序或者可以通过以分布 式的方式的多台计算才几来处理该程序。此外，可以将该禾呈序传ilr至 远程计算机并在远程计算机中冲丸行该程序。
注意，本发明的实施例不4又限于上述实施例，在不背离本发明
本质的范围内，可以才丸4亍各^H务改。
本领域的才支术人员应该理解，才艮据i殳计要求和其他因素，可以 有多种修改、组合、再组合和改进，均应包含在本发明的权利要求 或等同物的范围之内。
权利要求
1.一种生成设备，包括字幕编码装置，被配置为通过对字幕的图像数据进行编码来生成包括关于移动画面的移动画面数据以及关于在所述移动画面的整个显示区间上显示的所述字幕的字幕数据的数据流中的所述字幕数据；以及确定装置，被配置为基于通过对所述字幕的图像数据进行编码获得的编码数据的大小来确定所述字幕的再生对于所述字幕的显示是否及时；其中，用所述字幕的显示恒定的区间作为所述字幕的显示单位，将所述字幕数据分为显示组，所述显示组是所述单位中的所述字幕数据；其中，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与所述感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生所述感兴趣的显示组的可用时间，并且此外用于再生所述感兴趣的显示组的时间被当作处理时间的情况下，所述确定装置根据大小-时间关系从所述感兴趣的显示组的编码数据的大小中获得关于所述感兴趣的显示组的处理时间，其中，所述大小-时间关系是在所述编码数据的大小与所述处理时间之间预先获得的关系，并且当关于所述感兴趣的显示组的可用时间低于关于所述感兴趣的显示组的处理时间时，确定所述感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息。
2. 根据权利要求1所述的生成设备，还包括错误处理装置，被配置为执行错误处理，所述错误处理 是根据由所述确定装置输出的所述错误信息增加关于所述感的显示《且的处理时间的处J里。
3. 根据权利要求2所述的生成设备，其中，所述错误处理装置通 过延迟所述感兴趣的显示组的字幕的所述显示开始时间或通 过加快紧4妄在所述感兴趣的显示组的字幕之前^皮显示的字幕 的所述显示开始时间来增加关于所述感兴趣的显示组的所述 可用时间。
4. 根据权利要求2所述的生成设备，其中，所述错误处理装置通 过所述字幕编码装置来改变编码参ft以减小所述感兴趣的显 示组的编码数据的大小，从而减少关于所述感兴趣的显示组的 戶斤述处理时间。
5. 根据权利要求1所述的生成设备，其中，所述显示组包括表示 将要显示的所述字幕的数量的字幕数信息以及表示所述字幕 的透明度的透明度信息；其中，在隐藏所述字幕的非显示区间期间的显示组包括 表示所述字幕的数量为0的字幕数信息或表示所述字幕完全 透明的透明度信息；其中，在紧接在所述感兴趣的显示组的字幕之前被显示 的字幕的显示组是所述非显示区间期间的显示组的情况下，在紧4妄在所述感兴趣的显示组的字幕之前#1显示的字幕之前进 一步紧接被显示的字幕的显示开始时间与所述感兴趣的显示组的字幕< 兴趣的显示纟且的所述可用时间。
6. 根据权利要求1所述的生成设备，其中，所述移动画面数据是
7. —种生成方法，包^^以下步艰钇-陂配置为生成包括关于移动画面的移动画面lt据以及关 于在所述移动画面的整个显示区间上显示的字幕的字幕才居 的数据流的生成装置通过对所述字幕的图傳4t据进4于编码来 生成所述字幕数据，并且基于通过对所述字幕的图像数据进行 编码所获得的编码数据的大小来确定所述字幕的再生对于所 述字幕的显示是否及时；其中，用所述字幕的显示恒定的区间作为所述字幕的显 示单位，将所述字幕数据分为显示组，所述显示组是显示所述 单位中的所述字幕凄史据；其中，在当显示紧^接在作为^皮注意的显示组的感兴趣的 显示组的字幕之前纟皮显示的字幕时的显示开始时间与所述感 兴趣的显示组的字幕的显示开始时间之间的时间:帔当作可用 于再生所述感兴趣的显示《且的可用时间，并且it匕外用于再生所 述感兴趣的显示组的时间被当作处理时间的情况下，根据大小 -时间关系从所述感兴趣的显示组的编码数据的大小中获得关 于所述感兴趣的显示组的处理时间，其中，所述大小-时间关 系是在所述编码数据的大小与所述处理时间之间预先获得的 关系，并且当关于所述感兴趣的显示组的可用时间4氐于关于所 述感兴趣的显示组的处理时间时，确定所述感兴趣的显示组的 字幕的再生对于其字幕的显示是不及时的，从而输出表示错误 的错误信息。
8. —种使计算机用作再生设备的程序，所述再生设备包括字幕编码装置，#1配置为通过对字幕的图傳_#1据进^亍编 石马来生成包4舌关于移动画面的移动画面4feU居以及关于在所述 移动画面的整个显示区间上显示的所述字幕的字幕H据的凝: 据流中的所述字幕凄t据；以及确定装置，被配置为基于通过对所述字幕的图像数据进 行编码获得的编码数据的大小来确定所述字幕的再生对于所 述字幕的显示是否及时；其中，用所述字幕的显示恒定的区间作为所述字幕的显 示单位，将所述字幕凄t据分为显示组，所述显示组是所述单位 中的所述字幕数据；其中，在当显示紧^接在作为^皮注意的显示组的感兴趣的 显示组的字幕之前^皮显示的字幕时的显示开始时间与所述感 兴趣的显示组的字幕的显示开始时间之间的时间#皮当作可用 于再生所述感兴趣的显示组的可用时间，并且此外用于再生所 述感兴趣的显示《且的时间当作处理时间的情况下，所述确定 装置才艮据大小-时间关系,人所述感兴趣的显示组的编码凝:据的 大小中获得关于所述感兴趣的显示组的处理时间，其中，所述 大小-时间关系是在所述编码tt据的大小与所述处理时间之间 预先获得的关系，并且当关于所述感兴趣的显示组的可用时间 ^f氐于关于所述感兴趣的显示《且的处理时间时，确定所述感兴趣 的显示组的字幕的再生对于其字幕的显示是不及时的，从而输 出表示错误的错误信息。
9. 一种生成"i殳备，包4舌字幕编码单元，4皮配置为通过对字幕的图傳H据进4亍编移动画面的整个显示区间上显示的所述字幕的字幕数据的凄t据流中的所述字幕数据；以及确定单元，；故配置为基于通过对所述字幕的图4象凄t据进 行编码获得的编码数据的大小来确定所述字幕的再生对于所 述字幕的显示是否及时；其中，用所述字幕的显示恒定的区间作为所述字幕的显 示单位，将所述字幕^t据分为显示组，所述显示组是所述单位 中的所述字幕凄t据；其中，在当显示紧4妾在作为^皮注意的显示组的感兴趣的 显示组的字幕之前^皮显示的字幕时的显示开始时间与所述感 兴趣的显示组的字幕的显示开始时间之间的时间净皮当作可用 于再生所述感兴趣的显示组的可用时间，并且此外用于再生所 述感兴趣的显示组的时间#皮当作处理时间的情况下，所述确定 单元根据大小-时间关系从所述感兴趣的显示组的编码数据的 大小中获得关于所述感兴趣的显示组的处理时间，其中，所述 大小-时间关系是在所述编码数据的大小与所述处理时间之间 预先获得的关系，并且当关于所述感兴趣的显示组的可用时间 4氐于关于所迷感兴趣的显示组的处理时间时，确定所述感兴趣 的显示组的字幕的再生对于其字幕的显示是不及时的，从而输 出表示错误的错误信息。
10. —种使计算机用作再生设备的程序，所述再生设备包括字幕编码单元，被配置为通过对字幕的图像数据进行编 码来生成包括关于移动画面的移动画面^:据以及关于在所述 移动画面的整个显示区间上显示的所述字幕的字幕凄t据的彩: 据流中的所述字幕凄t据；以及确定单元，^皮配置为基于通过对所述字幕的图傳4t据进 行编码获得的编码数据的大小来确定所述字幕的再生对于所述字幕的显示是否及时；其中，用所述字幕的显示恒定的区间作为所述字幕的显 示单位，将所述字幕H悟分为显示组，所述显示组是所述单位 中的所述字幕凄丈据；其中，在当显示紧*接在作为#皮注意的显示组的感兴趣的 显示组的字幕之前^皮显示的字幕时的显示开始时间与所述感 兴趣的显示组的字幕的显示开始时间之间的时间被当作可用 于再生所述感兴趣的显示ia的可用时间，并且o):匕外用于再生所 述感兴趣的显示组的时间;故当作处理时间的情况下，所述确定 单元根据大小-时间关系从所述感兴趣的显示组的编码数据的 大小中获得关于所述感兴趣的显示组的处理时间，其中，所述 大小-时间关系是在所述编码数据的大小与所述处理时间之间 预先获得的关系，并且当关于所述感兴趣的显示组的可用时间 低于关于所述感兴趣的显示组的处理时间时，确定所述感兴趣 的显示组的字幕的再生对于其字幕的显示是不及时的，从而输 出表示错误的错误信息。
全文摘要
本发明公开了生成设备、生成方法以及程序，其中，该生成设备包括字幕编码单元，用于通过对字幕的图像数据进行编码来生成字幕数据；以及确定单元，用于基于通过对图像数据进行编码获得的编码数据的大小来确定字幕的再生对于其显示是否及时，将字幕数据分为作为显示单位的显示组，以及确定单元根据编码数据的大小与处理时间之间的大小-时间关系从感兴趣的显示组的编码数据的大小中获得关于感兴趣的显示组的处理时间，并在关于感兴趣的显示组的可用时间低于关于感兴趣的显示组的处理时间时，确定感兴趣的显示组的字幕的再生对于其显示是不及时的，从而输出错误信息。通过本发明，可以执行字幕的再生以对于其字幕的显示是及时的。
文档编号H04N9/82GK101604545SQ20091014649
公开日2009年12月16日 申请日期2009年6月9日 优先权日2008年6月10日
发明者浜田俊也 申请人:索尼株式会社