流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统、程序和记录介质的制作方法

流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统、程序和记录介质的制作方法
【专利摘要】本技术涉及可以减少在流式传输中的与字幕的显示有关的处理负荷的用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、流式传输系统、程序和记录介质。一种流式传输分发装置包括：内容片断产生部分，被配置为产生由MP4文件格式定义的片段；以及字幕片段产生部分，被配置为产生存储与要在该内容中显示的字幕有关的TTML文档实例的片段，该片段由MP4文件格式定义，其中，向片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例。
【专利说明】流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统、程序和记录介质
【技术领域】
[0001]本技术涉及用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、流式传输系统、程序和记录介质，具体地，涉及一种能够减少流式传输中的与字幕显示有关的处理负荷的用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、流式传输系统、程序和记录介质。
【背景技术】
[0002]近来一直在进行使用IP (互联网协议)来分发运动图像的诸如IPTV等的互联网流式传输的标准化。例如，一直在进行适用于基于HTTP (超文本传输协议)流式传输的VoD(视频点播)流式传输和直播流式传输的方式的标准化。在这种标准化的工作中，考虑了使用MP4文件格式作为在容器层中使用的格式。
[0003]另外，当存在作为HTTP流式传输的构成要素的字幕时，通常使用由W3C(万维网联盟)定义的TTML (Timed Text Markup Language,时序文本标记语言)。TTML也正在被其它标准化组采用，并且，作为主导格式正在引起注意。
[0004]根据文档实例的分类，TTML主要被分成两种类型。一种类型是被称为“初始化文档实例”的文档实例，例如，该文档实例是通过规定作为字幕显示的字符的颜色、字体、显示位置等的描述而形成的实例。另一种类型是被称为“主体文档实例”的文档实例，该文档实例是由作为字幕实际显示的诸如字符串的描述形成的实例。
[0005]当使用TTML时，在“主体文档实例”中描述的字符串可以根据字符的颜色、字体、显示位置等(该颜色、字体、显示位置等例如在“初始化文档实例”中描述)而被依次显示。
[0006]具体地说，用于接收流并进行显示的接收器可以被配置为:首先分析“初始化文档实例”，从而识别字符的颜色、字体、显示位置等，之后显示通过分析“主体文档实例”而获得的字符串。也就是说，接收器不必每次都分析作为诸如字符的颜色、字体、显示位置等的定义信息的渲染上下文(rendering context)，从而可以减少与字幕的显示有关的处理负荷。
[0007]另外，已经提出了一种流接收装置，其能够以其中2D节目和3D节目相互混合的组织格式实现高效的频带管理和在接收器一侧的高效的信道切换处理(例如，参见专利文献I)。
[0008]引文列表
[0009]专利文献
[0010]专利文献I JP2011-097227A
【发明内容】

[0011]技术问题
[0012]与电影、电视剧等内容不同，例如，在要将字幕插入到诸如新闻、体育转播等的直播内容的图像中的情况下，无法预先确定字幕的字符串。因此，根据需要在广播(流式传输)期间插入字幕的字符串的处理是必需的。在这种情况下，希望使接收器接收TTML的“初始化文档实例”并分析渲染上下文，之后根据需要接收“主体文档实例”。
[0013]另外，例如，存在这样的情况:希望根据要作为字幕显示的字符串的内容(希望强调的文本、指示惊讶或困惑的情感表达文本等)来改变渲染上下文。在这种情况下，还可以预先通过TTML的“初始化文本实例”来定义多种渲染上下文，之后规定要在“主体文档实例”中使用的渲染上下文。
[0014]但是，MP4文件格式没有定义一种在区分TTML实例的类型的情况下存储TTML实例的方法，因此，接收器不能识别TTML实例的类型。因此，在诸如IPTV等的互联网流式传输中显示字幕时，期望减少与渲染上下文的分析有关的处理负荷。
[0015]鉴于这种情形而公开了本技术，本技术使得可以减少流式传输中的与字幕的显示有关的处理负荷。
[0016]问题的解决方案
[0017]根据本技术的第一方面，提供一种流式传输分发装置，包括:内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义。在该流式传输分发装置中，所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0018]字幕片段产生部分可以将其中记述了 TTML文档实例的样本与记述内容识别信息一起存储在所述片段中，该记述内容识别信息用于分别地识别与字幕有关的TTML文档实例的记述内容。
[0019]流式传输分发装置还可以包括:电影头部产生部分，被配置为在包括多个片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示电影包括存储TTML文档实例的片段。
[0020]流式传输分发装置还可以包括:电影头部产生部分，被配置为在包括多个片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示电影包括存储TTML文档实例的片段。电影头部产生部分将规定与字幕有关的渲染上下文的TTML文档实例存储在片段分类区分信息中，并且实例分类区分信息不被添加到片段的头部信息中。
[0021]根据本发明的第一方面，提供一种流式传输分发方法，包括:通过内容片段产生部分，产生存储要通过流式传输分发的内容的的数据的片段，该片段由MP4文件格式定义；通过字幕片段产生部分，产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义；以及通过所述字幕片段产生部分，向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0022]根据本发明的第一方面，提供一种使计算机充当流式传输分发装置的程序，该流式传输分发装置包括:内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义。在该流式传输分发装置中，字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0023]在本发明的第一方面中，产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义，产生存储与要在该内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义，并且向片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例。
[0024]根据本发明的第二方面，提供一种流式传输接收装置，包括:电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；TTML (时序文本标记语言)判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0025]TTML解码部分可以基于实例分类区分信息来区分在片段中存储的TTML文档实例的分类，并且对TTML文档实例进行解码，该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例，并且该实例分类区分信息被包含在片段的头部信息中。
[0026]TTML解码部分可以基于实例分类区分信息来区分在片段中存储的TTML文档实例的分类，该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例，该实例分类区分信息被包含在片段的头部信息中，并且流式传输接收装置还可以包括:解码判定部分，被配置为当在片段中存储的TTML文档实例被区分为规定与字幕有关的渲染上下文的TTML文档实例时，基于记述内容识别信息来判定是否要对TTML文档实例进行解码，该记述内容识别信息用于分别地识别在片段中存储的样本中的与字幕有关的TTML文档实例的记述内容。
[0027]当电影被判定为包括存储TTML文档实例的片段时，TTML解码部分可以对规定与字幕有关的渲染上下文的TTML文档实例进行解码，规定与字幕有关的渲染上下文的TTML文档实例被包括在片段分类区分信息中。
[0028]根据本发明的第二方面，提供一种流式传输接收方法，包括:电影接收部分接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；TTML判定部分基于指示电影包括存储TTML文档实例的片段的片段分类区分信息来判定该电影是否包括存储TTML文档实例的片段，该片段分类区分信息被添加到电影的头部信息；以及当判定电影包括存储TTML文档实例的片段时，TTML解码部分提取存储TTML文档实例的片段并对该片段进行解码。
[0029]根据本发明的第二方面，提供一种使计算机充当流式传输接收装置的程序，该流式传输接收装置包括:电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0030]根据本发明的第二方面，接收包括多个片段的电影的数据，所述片段由MP4文件格式定义，基于指示电影包括存储TTML文档实例的片段的片段分类区分信息来判定该电影是否包括存储TTML文档实例的片段，该片段分类区分信息被添加到电影的头部信息，并且当电影被判定为包括存储TTML文档实例的片段时，存储TTML文档实例的片段被提取和解码。
[0031]根据本技术的第三方面，提供一种流式传输系统，包括流式传输分发装置，该流式传输分发装置包括:内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义。在该流式传输分发装置中，字幕片段产生部分被配置为向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。该流式传输系统还包括流式传输接收装置，该流式传输接收装置包括:电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0032]在本发明的第三方面中，产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义，产生存储与要在该内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义，并且向片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例。另外，接收包括多个片段的电影的数据，所述片段由MP4文件格式定义，基于指示电影包括存储TTML文档实例的片段的片段分类区分信息来判定该电影是否包括存储TTML文档实例的片段，该片段分类区分信息被添加到电影的头部信息，并且当电影被判定为包括存储TTML文档实例的片段时，存储TTML文档实例的片段被提取和解码。
[0033]本发明的有益效果
[0034]根据本技术，可以减少流式传输中的与字幕的显示有关的处理负荷。
【专利附图】

【附图说明】
[0035]图1是帮助解释TTML的构成的示图。
[0036]图2是示出MP4文件格式中的“BOX”的构成的示图。
[0037]图3是帮助解释“BOX”的层次结构的示图。
[0038]图4是帮助解释使用MP4文件格式的流式传输的示图。
[0039]图5是帮助解释”Movie”的构成的示图。
[0040]图6是帮助解释”Movie”中的“BOX”结构的示图。
[0041]图7是帮助解释“非片段电影”的构成的示图。[0042]图8是帮助解释“片段电影”的构成的示图。
[0043]图9是帮助解释“moov”的“BOX”的构成的示图。
[0044]图10是示出在“初始化文档实例”的情况下的“moof ”的“BOX”的构成的示图。
[0045]图11是示出在“主体文档实例”的情况下的“moof”的“BOX”的构成的示图。
[0046]图12是帮助解释当存储TTML文档实例时“mdat”的“样本”的记述格式的示图。
[0047]图13是示出根据本技术的实施例的流式传输系统的构成例子的框图。
[0048]图14是示出“初始化文档实例”的记述的例子的示图。[0049]图15是示出“主体文档实例”的记述的例子的示图。
[0050]图16是示出基于图15的“主体文档实例”显示的字幕的示图。
[0051]图17是示出“主体文档实例”的记述的另一个例子的示图。
[0052]图18是示出基于图17的“主体文档实例”显示的字幕的示图。
[0053]图19是帮助解释字幕的显示的例子的示图。
[0054]图20是帮助解释流式传输分发处理的例子的流程图。
[0055]图21是帮助解释字幕数据插入处理的例子的流程图。
[0056]图22是帮助解释内容再现处理的例子的流程图。
[0057]图23是帮助解释TT解码处理的例子的流程图。
[0058]图24是帮助解释“moov”的“BOX”的另一种构成的示图。
[0059]图25是帮助解释对应于图24的字幕的显示的例子的示图。
[0060]图26是示出个人计算机的构成的例子的框图。
【具体实施方式】
[0061 ] 在下文中将参照附图描述本文中公开的技术的优选实施例。
[0062]首先将对TTML (时序文本标记语言)进行描述。TTML是由W3C (万维网联盟)定义的标记语言，并且可以规定文本的显示位置(布局)、显示的定时等。
[0063]例如，当以TTML描述的信息被从服务器发送并由客户端分析时，可以在客户端的显示器上在规定的时间、以规定的字体且在规定的区域中显示预定的字符串。当由此使用以TTML描述的信息时，例如，可以容易地实现与内容的图像和音频同步地显示字幕。
[0064]TTML由被称为文档实例的文本的聚合体形成。文档实例主要被分类为两种类型。一种类型是被称为“初始化文档实例”的文档实例，例如，该文档实例是通过规定作为字幕显示的字符的颜色、字体、显示位置等的描述而形成的实例。另一种类型是被称为“主体文档实例”的文档实例，该文档实例是由作为字幕实际显示的诸如字符串的描述形成的实例。
[0065]图1是帮助解释TTML的构成的示图。
[0066]图1中示出的实例21是“初始化文档实例”。在该实例21中描述了诸如“head”、“styling”、“lay0ut”的标签。“stying”和“layout”标签规定渲染上下文，诸如作为字幕
显示的字符的颜色、字体、显示位置等。
[0067]例如，在本例子中，?宣染上下文(si)由描述“〈region xml:1d=”subtitleArea”style=”Sl”...”定义。例如，诸如“sl”、“s2”的多种渲染上下文可以在一个“初始化文档实例”中定义。
[0068]图1中示出的实例22是“主体文档实例”。在该实例22中描述了诸如“body”、“div”、“p”…的标签。例如，描述“〈P xml:1d=...>”规定字幕的字符串以及字符串的显示开始时间和显示结束时间。
[0069]因此，TTML是具有由实例21和实例22的组合形成的层次结构的描述。由实例21和实例22的组合形成的层次结构被示出在图1中的实例22的左侧。
[0070]例如，通过使用于接收和显示流的接收器接收和分析图1中示出的TTML，可以在内容中的预定时间段中显示预定字符串。也就是说，适当地，基于由实例22中的“p”标签规定的字符串、显示开始时间和显示结束时间，在接收器的显示器上改变字幕显示。在图1的例子中，随着时间的流逝，选择并显示由实例22中的“P”标签规定的字符串F1、字符串F2、......。
[0071]另外，在时序文本标记语言(TTML) 1.0等中公开了 TTML的细节。
[0072]接下来将对MP4文件格式进行描述。MP文件格式提供高自由度,并且被定义为使得MP4文件由被称为“BOX (框)”的各种大小的数据的集合形成。存在可以自由地增加的各种“BOX”。
[0073]图2示出MP4文件格式的“BOX”的构成的示图。在如“Box大小”和“Box类型”所示的区域中描述正在讨论的“BOX”的大小和类型(种类)。例如，如“Box数据”所示的区域
存储编码的视频数据、音频数据、字幕数据等。
[0074]另外，MP4文件格式被定义为使得上述的“BOX”具有层次结构。具体地说，如图3所示，较低层中的“BOX”可以被存储在较高层中的“BOX”的“Box Data”区域中。
[0075]在MP4文件格式中，诸如音频数据的解码单位和视频数据的一帧的要发送的内容的单位数据例如被称为“样本(Sample)”。多个样本形成一个“块(Chunk)”。例如，如图4所示，音频的“±夹”和视频的“±夹”形成流。
[0076]在MP4文件格式中，一系列的视频的“块”的集合体或一系列的音频的“块”的集合体例如被称为“轨道(Track)”。通过集成多个轨道而形成的数据被称为“电影(Movie)”。
[0077]图5是帮助解释”Movie”的构成的示图。在图5的例子中，视频“轨道”和音频“轨道”形成一个” Movie”。
[0078]“Movie”具有如上所述的“BOX”结构。图6是帮助解释“Movie”中的“BOX”结构的示图。在图6的例子中，“电影元数据box”和“电影数据box”被存储在“Movie”的“BOX”中。
[0079]“电影元数据box”是描述与在“电影数据box”中存储的每一个“样本”的存储位置有关的信息(例如“adrs=1000”等)以及与再现时刻和再现持续时间有关的信息(例如，“At=10”等)的“BOX”。“电影元数据box”还描述所需的编解码器参数等。“电影数据box”是存储每个“样本”的“BOX”。另外，在MP4文件格式的标准中，“电影元数据box”被称为“moov”并且“电影数据box”被称为“mdat”。
[0080]当如图6所示的“Movie”由接收器接收和分析时，样本1、样本2、样本3、......可
以分别在时刻t0、时刻t10、时刻t20、……被再现。
[0081]另外，“Movie” 被粗略分类为两种类型。一种类型被称为“非片段电影”，其适合于诸如电影、电视剧等的内容的发送。另一种类型被称为“片段电影”，其适合于诸如新闻、体育转播等直播内容的发送。
[0082]图7是帮助解释“非片段电影”的构成的示图。[0083]如图7所示，被称为“文件类型(ftyp)”的“BOX”被设置在“非片段电影”的头部。“文件类型(ftyp)”是存储文件类型、兼容性信息等的“BOX”。
[0084]在“(ftyp)”之后，布置上述的“moov”，并且布置上述的“mdat”。如上所述，“moov”描述编解码器参数、存储位置信息、再现时间信息等。“moov”可以说是整个“Movie”的头部信息。另外，如上所述，“mdat”存储由音频数据的解码单位、视频数据的一帧等形成的“样本”。
[0085]在“非片段电影”中，“moov”定义整个“Movie”的渲染上下文。具体地说，在诸如电影、电视剧等的内容的情况下，再现图像、音频和字幕的定时是预先知道的，因此，可以在接收到每个“样本”之前定义整个“Movie”的渲染上下文。
[0086]在诸如新闻、体育转播等直播内容的情况下，再现图像、音频和字幕的定时是预先不知道的。因此，“片段电影”被用于发送直播内容。
[0087]图8是帮助解释“片段电影”的构成的示图。
[0088]如图8所示，与“非片段电影”的情况一样，“片段电影”具有“ftyp”和“moov”。但是，在“ftyp”和“moov”之后的是被称为“片段(Fragment)”的多个“BOX”。“片段”包括被称为“电影片段(moof )”的“BOX”和“mdat，，。
[0089]如图8所示，每一个“片段”具有“moof”，并且“moof”可以说是“片段”的头部信息。“moof”描述与在正在讨论的“片段”中存储的“mdat”的“样本”有关的存储位置信息、再现时间信息等。也就是说，在“片段电影”中，与“非片段电影”不同，在每一个“片段”中定义每一个“片段”的再现上下文。
[0090]另外，图8中示出的“电影片段随机访问(mfra)”是在“片段电影”的末尾处插入的“Β0Χ”，并且“电影片段随机访问(mfra)”存储用于随机访问的信息等。
[0091]另外，图7和图8中示出的例子表示作为MP4文件格式的“Movie”的构成。例如，当执行互联网流式传输等时，上面参考图7和图8描述的数据以预定传输格式被分发。在该传输格式中，例如，图8中示出的“moov”被插入在“片段”之间，并且被重复地分发多次。
[0092]近来一直在进行使用IP (互联网协议)来分发运动图像的诸如IPTV等的互联网流式传输的标准化。例如，一直在进行适用于基于HTTP (超文本传输协议)流式传输的VoD(视频点播)流式传输和实时流式传输的方式的标准化。在这种标准化的工作中，考虑了使用MP4文件格式作为在容器层中使用的格式。
[0093]另外，当存在作为流式传输的构成要素的字幕时，常使用TTML，并且TTML也在流式传输的标准化中引起关注。
[0094]例如，当字幕要被插入到诸如新闻、体育转播等的直播内容的图像中时，必须预先确定字幕的字符串。因此，根据需要在广播(流式传输)期间插入字幕的字符串的处理是必需的。在这种情况下，例如，希望使接收器接收TTML中的“初始化文档实例”并分析渲染上下文，之后根据需要接收“主体文档实例”。
[0095]另外，例如，存在这样的情况:甚至在相同的内容中，也希望根据要作为字幕显示的字符串的内容(希望被强调的文本、指示惊讶或困惑的情感表达文本等)来改变渲染上下文。在这种情况下，还可以预先通过TTML中的“初始化文本实例”来定义多种渲染上下文，之后规定要在“主体文档实例”中使用的渲染上下文。
[0096]但是，MP4文件格式没有定义一种在区分TTML实例的类型的情况下来存储TTML实例的方法，因此接收器需要识别TTML实例的类型。因此，在过去，在以MP4文件格式发送的诸如IPTV等的互联网流式传输中，例如，没有其他的选择，不得不每次都与要作为字幕显示的字符串一起分析渲染上下文。在这种情形中，期望在诸如IPTV等的互联网流式传输中在显示字幕时减少与渲染上下文的分析有关的处理负荷。
[0097]因此，本技术使得可以如下地使用MP4文件格式在区分TTML实例的类型的情况下来存储TTML实例。
[0098]假设将本技术应用于将字幕插入在作为“片段电影”发送的内容中的情况。于是，TTML文档实例作为“片段”中的“mdat”的“样本”被存储和发送。也就是说，图1中的实例21或实例22等适当地作为“片段”中的“mdat”的“样本”被存储，以便显示要被插入到正被流式传输的内容中的字幕。
[0099]首先，本技术使得可以基于在“moov”的“BOX”中描述的信息把互联网流式传输识别为包括在TTML中描述的信息。具体地说，本技术使得可以在“moov.trak.mdia.minf.stbl.stsd”中提供描述，该描述指示在TTML中描述的信息被包括。
[0100]图9是帮助解释“moov”的“BOX”的构成的示图。如上所述，“BOX”利用层次结构。被称为“stsd”的“BOX”被提供作为比“moov”的“BOX”低的层中的“BOX”(描述为“moov.trak.mdia.minf.stbl.stsd”) Jstsd”是用于存储用于轨道数据再现的头部信息的“BOX”。
[0101]在本技术中，当在TTML中描述的信息被包括时，在“stsd”的“sampIeEntry”中描述4CC (four_character_code (4字符码))“ttml”。另外,过去的标准规定表示音频数据的4CC “MP4A”、表示视频数据的4CC “MP4V”等被存储在“stsd”中。
[0102]另夕卜，当在TTML中描述的信息被包括时，在“moov.trak.mdia.hdlr”的“HandlerType” 中提供描述“text”。
[0103]此外，本技术使得可以基于在“moof”的“BOX”中描述的信息来区分作为正在讨论的“片段”中的“mdat”的“样本”存储的TTML文档实例是“初始化文档实例”还是“主体文
档实例”。
[0104]具体地说，被称为“ttsd”的“BOX”被新提供作为比“moof”的“BOX”中被称为“traf ”的“BOX”低的层中的“BOX，，。当“ttsd”的“initFlag”被描述为“true”时，指示在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”。另外，当“ttsd”的“initFlag”被描述为“false”时，指示在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”。
[0105]图10是当在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”时“moof”的“BOX”的构成的示图。如图10所示，“traf”存在于比“moof”低的层中，并且“ttsd”被提供作为甚至更低的层中的“BOX”。描述“initFlag: ‘true’”被提供作为在“ttsd”中存储的信息。
[0106]图11是当在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”时“moof”的“BOX”的构成的示图。如图11所示，“traf”存在于比“moof”低的层中，并且“ttsd”被提供作为甚至更低的层中的“BOX”。描述“initFlag: ‘false’”被提供作为在“ttsd”中存储的信息。
[0107]此外，本技术使得接收器可以确定发送到接收器的TTML文档实例的描述内容是否被改变(更新)。具体地说，例如，如图12所示，定义当存储TTML文档实例时“mdat”的“样本”的描述格式。
[0108]在本技术中，新提供图12中示出的字段“unsined id(16) document-1d; ”。在字段“unsined id (16) document-1d; ”中描述用于识别正在讨论的“样本”中描述的TTML文档实例的标识符。例如，该标识符是给予每个文档实例的ID或版本。当然，当文档实例改变时，上述标识符也改变。因此，接收器能够确定文档实例是否被改变。
[0109]另外，图12 中示出的字段“unsined int (16) text-length; ”存储在字段“unsinedint(8)text[text-length]; ”中存储的文本的文本长度。TTML文档实例被存储在图12中不出的字段 “unsined int (8) text [text-length];，，中。
[0110]当例如在多个信道上通过流式传输广播内容时，不知道观看者在哪个时间选择哪个频道，从而需要定期地发送渲染上下文的定义信息(即，“初始化文档实例”)。在这种情况下，当每当接收器接收到“初始化文档实例”而使接收器解析“初始化文档实例”时，增加了接收器的处理负荷，因此，希望基于一次解析“初始化文档实例”来定义随后的渲染上下文。
[0111]但是，当“初始化文档实例”的内容被更新时，渲染上下文改变。因此，接收器需要重新执行解析。因此，如上所述，本技术使得接收器可以确定发送的TTML文档实例的描述内容是否改变(更新)。
[0112]综上所述，在本技术中，“ttml”被提供作为在“moov”中的“stsd”的“sampIeEntry”中描述的新4CC (four_character_code)。于是，使得可以通过参考“moov”中的“ stsd”的描述来确定TTML文档实例被存储在“片段”中。
[0113]另外，在本技术中，“ ttsd”被提供作为每个“片段”的比“moof”低的层中的“BOX”。于是，“initFlag: ‘true’ ”或“initFlag: ‘false’ ”被描述为在“ttsd”中存储的信息，以使得可以区分在正在讨论的“片段”中存储的TTML是“初始化文档实例”还是“主体文档实例”。
[0114]此外，在本技术中，在“mdat”的“样本”中提供字段“unsined id(16)document-1d; ”。于是，使得可以基于在该字段中存储的标识符来确定TTML文档实例的描述内容是否被改变(更新)。
[0115]因此，当使用MP4文件格式来发送TTML文档实例时，可以区分TTML实例的类型地存储TTML实例，并且可以容易地识别对描述内容的更新。因此，根据本技术，例如可以减少诸如IPTV等的流式传输中的与字幕的显示有关的处理负荷。
[0116]图13是示出根据本技术的实施例的流式传输系统的配置的例子的框图。图13中示出的流式传输系统100包括TT (定时文本)服务器121、IPTV服务器122和IPTV客户端123。
[0117]例如，图13中示出的IPTV服务器122被配置为用于内容的流式传输广播的发送器。例如，图13中示出的IPTV客户端123被配置为用于接收流式传输广播的接收器。例如，TT服务器121是用于产生与要插入到通过流式传输广播而广播的内容中的字幕有关的数据的装置。
[0118]TT服务器121包括TT (定时文本)片段产生部分141和样本插入部分142。
[0119]TT 片段产生部分 141 描述“moov”中的“stsd”的“sampleEntry”中的 4CC “ttml”，并且描述“moov.trak.mdia.hdlr”的“HandlerType”中的“text”。(与稍后将描述的“片段”的产生相比，该处理的频率较低)。另外，TT片段产生部分141产生“片段”的数据，其中，TTML文档实例如上面参照图8描述的那样被存储。此时，TT片段产生部分141提供“ttsd”作为在比“moof”低的层中的“BOX”。然后，TT片段产生部分141根据产生的文档实例的类型将 “initFlag: ‘true’ ”或 “initFlag: false’ ”记述为在 “ttsd” 中存储的信息。
[0120]例如，当在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”时，“initFlag: ‘true’ ”被描述为在“ttsd”中存储的信息。另外，例如，当在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”时，“initFlag: ‘false’ ”被描述为在“ttsd”中存储的信息。
[0121]样本插入部分142产生TTML文档实例，并且将TTML文档实例作为“mdat”的“样本”插入在由TT片段产生部分141产生的“片段”中。
[0122]此时，如上面参照图12所述，样本插入部分142提供字段“unsined id(16)document-1d; ”。然后，样本插入部分 142 在字段“unsined id(16) document-1d; ” 中描述用于识别正在讨论的“样本”中描述的TTML文档实例的标识符。另外，当文档实例改变时，上述标识符也改变。
[0123]另外，由NTP同步时间戳产生部分151产生的时间戳被适当地供应到TT片段产生部分141和样本插入部分142。
[0124]IPTV服务器122包括内容样本产生部分161、片段复用器162和片段分发部分163。
[0125]例如，内容样本产生部分161对形成内容的声音数据和图像数据等进行编码，并且产生音频数据和视频数据等。然后，基于音频数据和视频数据等，内容样本产生部分161产生“样本”的数据。
[0126]片段复用器162产生其“mdat”包括由内容样本产生部分161产生的“样本”的数据的“片段”。然后，片段复用器162将由TT服务器121产生的“片段”和由片段复用器162自身产生的“片段”进行复用。也就是说，将存储视频数据、音频数据等的“片段”以及存储TTML文档实例的“片段”进行复用。
[0127]片段分发部分163经由网络等把包括由片段复用器162复用的“片段”的“片段电影”分发。从而，通过流式传输来分发内容。
[0128]另外，由NTP同步时间戳产生部分151产生的时间戳被适当地供应到内容样本产生部分161和片段复用器162。
[0129]IPTV客户端123包括计时部分181、片段解复用器182、TT(定时文本)解码器183、内容解码器184和显示控制部分185。
[0130]计时部分181将NTP同步时间信息供应到各个部分。
[0131]片段解复用器182经由网络等接收从IPTV服务器122发送的“片段电影”，并且提取形成“片段电影”的每个“片段”。然后，片段解复用器182分析“moov”中的“stsd”的“sampleEntry”的描述，以确定在正在讨论的“片段电影”中是否有存储TTML文档实例的“片段”。也就是说，当“moov”中的“stsd”的“sampleEntry”的描述是“ttml”时，确定在正在讨论的“片段电影”中有存储TTML文档实例的“片段”。
[0132]当确定有存储TTML文档实例的“片段”时，片段解复用器182检查每个“片段”的“moof”中的“ttsd”，以确定当前的“片段”是否存储TTML文档实例。也就是说，具有在比“moof”低的层中提供的“ttsd”的“片段”被确定为是存储TTML文档实例的“片段”，并且被供应到TT解码器183。另一方面，没提供有“moof”中的“ttsd”的“片段”被确定为没有存储TTML文档实例的“片段”(音频数据、视频数据等的“片段”)，并且被供应到内容解码器
184。
[0133]TT解码器183是用于对存储TTML文档实例的“样本”的数据进行解码的功能块。另外，在TT解码器183中的解码主要是指对TTML文档实例的解析。
[0134]基于每个“片段”的“moof”中的“ttsd”的描述，TT解码器183确定在正在讨论的“片段”中存储的TTML文档实例的类型。也就是说，当“ttsd”的描述是“initFlag: ‘true’ ”时，确定正在讨论的“片段”存储“初始化文档实例”。另一方面，当“ttsd”的描述是“initFlag: ‘false’ ”时，确定正在讨论的“片段”存储“主体文档实例”。
[0135]当确定“初始化文档实例”被存储时，TT解码器183存储“片段”中的“mdat”的“样本”的字段“unsined id(16) document-1d; ”中描述的标识符。然后，TT解码器183分析在“mdat”的“样本”中存储的“初始化文档实例”的描述，并且设置渲染上下文。
[0136]之后,TT解码器183将在字段“unsined id (16) document-1d; ”中描述的标识符与预先存储的标识符进行比较，以确定“初始化文档实例”是否改变了。只有当确定“初始化文档实例”被改变时，TT解码器183才对在“mdat”的“样本”中存储的“初始化文档实例”的描述进行分析，并且再次设置渲染上下文。
[0137]另外，当确定“主体文档实例”被存储时，TT解码器183对在“mdat”的“样本”中存储的“主体文档实例”进行分析，并且产生字幕显示数据。在TT解码器183中产生的字幕显示数据与关于显示时间的信息一起被供应到显示控制部分185。
[0138]内容解码器184对在“mdat”的“样本”中存储的音频数据和视频数据等进行解码，并且产生图像显示数据和声音输出数据等。在内容解码器184中产生的图像显示数据和声音输出数据等与关于显示时间和输出时间的信息等一起被供应到显示控制部分185。
[0139]显示控制部分185基于关于显示时间的信息等产生图像信号，以在叠加在内容的图像上的状态下显示字幕。显示控制部分185将图像信号供应到在图中未示出的显示器等。另外，显示控制部分185基于关于输出时间的信息等来产生声音信号，以输出内容的声音。显控制部分185将声音信号供应到在图中未出的扬声器等。
[0140]例如，这种流式传输系统100可以如下控制字幕的显示。
[0141]例如，如图14所示的TTML文档实例被TT服务器121存储在“片段”中，并且从IPTV服务器122分发。图14是“初始化文档实例”的描述的例子。
[0142]然后，如图15所示的TTML文档实例被TT服务器121存储在“片段”中，并且从IPTV服务器122分发。图15是“主体文档实例”的描述的例子。
[0143]当在根据图14中的描述设置的渲染上下文中显示由图15中的描述规定的字符串时，例如，可以显示如图16中所示的字幕。
[0144]之后，如图17所示的TTML文档实例被TT服务器121存储在“片段”中，并且从IPTV服务器122分发。图17是“主体文档实例”的描述的另一个例子。
[0145]当在根据图14中的描述设置的渲染上下文中显示由图17中的描述规定的字符串时，例如，可以显示如图18中所示的字幕。
[0146]另外，由“主体文档实例”中的标签“
”规定的字符串是字幕的字符串。当在标签“〈P〉”内规定了时间时，根据该时间规定来显示字符串。当没有时间规定时或者当只规定了显示期间(持续时间)时，进行控制以在作为在正在讨论的“样本”中的“decodingTime”识别的再现时间处开始显示。
[0147]具体地说，如图19所示，分析作为各个“片段”(即，片段O、片段I和片段2)中的“mdat”的“样本”而存储的TTML文档实例，并且显示字幕。
[0148]在这种情况下，假设图14中示出的“初始化文档实例”(初始实例)被存储在片段O的mdatO中。另外，假设图15中示出的“主体文档实例”(主体实例I)被存储在片段I的mdatl中。此外，假设图17中示出的“主体文档实例”(主体实例2)被存储在片段2的mdat2 中。
[0149]在图19的例子中，基于在片段O的mdatO的样本O中存储的初始实例来设置渲染上下文。之后，在时刻tl，基于在片段I的mdatl的样本I中存储的主体实例I来显示如图16所示的字幕。此外，之后，在时刻t2，基于在片段2的mdat2的样本2中存储的主体实例2来显示如图18所示的字幕。
[0150]另外，上述的时刻tl和时刻t2是基于与moof相对应的第一 mdat中存储的第一“样本”的“解码时间”或者moov.trak.mdia.minf.stbl.stts来计算的,其中所述解码时间在moof.traf.tfdt中被描述。
[0151]也就是说，为了识别在TTML文档实例中描述的字符串的显示时间，使用存储文档实例的MP4文件“样本”的呈现时刻。
[0152]接下来将参照图20的流程图来描述图13中的IPTV服务器122的流式传输分发处理的例子。例如，该处理是在经由网络等分发作为“片段电影”的直播内容的情况下执行的，其中字幕被插入在直播内容中。
[0153]在步骤S21中，IPTV服务器122获得内容的数据。此时，例如，获得形成内容的声音数据和图像数据等。
[0154]在步骤S22中，例如，内容样本产生部分161对形成内容的声音数据和图像数据等进行编码，并且产生音频数据和视频数据等。然后，基于音频数据和视频数据等，内容样本产生部分161产生“样本”的数据。
[0155]在步骤S23中，片段复用器162产生其“mdat”包括在步骤S22中产生的“样本”的数据的“片段”。
[0156]在步骤S24中，TT服务器121执行稍后将参照图21描述的字幕数据插入处理。由此，关于字幕的数据被插入到要通过流式传输分发的内容的数据中。
[0157]将在下面参照图21的流程图来描述图20的步骤S24中的字幕数据插入处理的详细例子。
[0158]在步骤S41中，产生TTML文本。
[0159]在步骤S42中，TT片段产生部分141在“moov”中的“stsd”的“sampleEntry”中记述 4CC “ttml ”，并且在 “moov.trak.mdia.hdlr” 的 “HandlerType” 中记述 “text”。(与稍后将描述的“片段”的产生相比，该处理的频率较低)。另外，TT片段产生部分141产生存储有TTML文档实例的“片段”的数据。此时，TT片段产生部分141提供“ttsd”作为在比“moof”低的层中的“BOX”。然后，TT片段产生部分141根据产生的文档实例的类型，将“initFlag: ‘true’ ” 或 “initFlag: false’ ” 记述为在 “ttsd” 中存储的信息。
[0160]例如，当在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”时，“initFlag: ‘true’”被记述为在“ttsd”中存储的信息。另外，例如，当在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”时，“initFlag: ‘false’ ”被记述为在“ttsd”
中存储的信息。
[0161]在步骤S43中，样本插入部分142基于在步骤S41中产生的TTML文本来产生TTML文档实例，并且将TTML文档实例作为“mdat”的“样本”插入在步骤S42中产生的“片段”中。
[0162]此时，如上面参照图12所述，样本插入部分142提供字段“unsined id(16)document-1d; ”。然后，样本插入部分 142 在字段“unsined id(16) document-1d; ” 中记述用于识别正在讨论的“样本”中描述的TTML文档实例的类型的标识符。另外，当文档实例改变时，上述的标识符也改变。
[0163]在步骤S44中，样本插入部分142输出通过步骤S43的处理而被插入了 TTML文档实例的“片段”。由此，正在讨论的“片段”被供应到IPTV服务器122中的片段复用器162。
[0164]另外，由NTP同步时间戳产生部分151产生的时间戳被适当地供应到TT片段产生部分141和样本插入部分142。
[0165]返回到图20，在步骤S24的处理之后，在步骤S25中片段复用器162将在图21中的步骤S41的处理中产生的“片段”和在步骤S23的处理中产生的“片段”进行复用。也就是说，将存储视频数据、音频数据等的“片段”与存储TTML文档实例的“片段”进行复用。
[0166]在步骤S26中，片段复用器162产生“片段电影”的数据。
[0167]在步骤S27中，片段分发部分163经由网络等分发在步骤S26的处理中产生的“片段电影”。
[0168]由此执行了流式传输分发处理。
[0169]接下来将参照图22的流程图来描述图13中的IPTV客户端123的内容再现处理的例子。
[0170]在步骤S61中，IPTV客户端123的片段解复用器182接收通过图20中的步骤S27的处理分发的“片段电影”。
[0171]在步骤S62中，片段解复用器182分析在步骤S61中接收到的“片段电影”的“moov” 中的 “stsd” 的 “sampleEntry” 的描述。
[0172]在步骤S63中，片段解复用器182提取形成在步骤S61中接收到的“片段电影”的每个“片段”。
[0173]在步骤S64中，片段解复用器182基于步骤S62的处理中的分析结果来确定在正在讨论的“片段电影”中是否存在存储TTML文档实例的“片段”。此时，当“moov”中的“stsd”的“sampleEntry”的描述是“ttml”时，确定在正在讨论的“片段电影”中有存储TTML文档实例的“片段”。
[0174]当在步骤S64中确定在正在讨论的“片段电影”中有存储TTML文档实例的“片段”时，处理进入步骤S65。
[0175]在步骤S65中，片段解复用器182和TT解码器183执行下面参照图23的流程图描述的TT解码处理。
[0176]将在下面参照图23的流程图来描述图22的步骤S65中的TT解码处理的详细例子。[0177]在步骤S81中，片段解复用器182检查每个“片段”的“moof ”中的“ttsd”。
[0178]在步骤S82中，片段解复用器182确定正在讨论的“片段”是否存储TTML文档实例。此时，具有在比“moof”低的层中提供的“ttsd”的“片段”被确定为存储TTML文档实例的“片段”。另一方面，未提供有“moof”中的“ttsd”的“片段”被确定为没有存储TTML文档实例的“片段”(音频数据、视频数据等的“片段”)。
[0179]当在步骤S82中确定正在讨论的“片段”存储TTML文档实例时，处理进入步骤S83。
[0180]在步骤S83中，TT解码器183基于正在讨论的“片段”的“moof”中的“ttsd”的描述来确定该“片段”中存储的TTML文档实例的类型。此时，当“ttsd”的描述是“initFlag: ‘true’”时，确定正在讨论的“片段”存储“初始化文档实例”。另一方面，当“ttsd”的描述是“initFlag: ‘false’”时，确定正在讨论的“片段”存储“主体文档实例”。
[0181]当在步骤S83的处理中确定存储了 “初始化文档实例”时，处理进入步骤S84。
[0182]在步骤S84中，TT解码器183获得在字段“unsined id(16) document-1d; ”中描述的标识符。
[0183]在步骤S85中，TT解码器183将在步骤S84中获得的标识符与预先存储的标识符进行比较，以确定“初始化文档实例”是否改变。另外，当首次接收到“初始化文档实例”时，确定“初始化文档实例”改变。
[0184]当在步骤S85中确定“初始化文档实例”改变时，处理进入步骤S86。
[0185]在步骤S86中，TT解码器183存储“片段”中的“mdat”的“样本”的字段“unsinedid (16) document-1d; ”中描述的标识符。另外，当例如在多个信道上通过流式传输来广播内容时，将正在讨论的标识符与信道相关联地存储。
[0186]在步骤S87中，TT解码器183分析(解码)在“mdat”的“样本”中存储的“初始化文档实例”的描述。
[0187]在步骤S88中，TT解码器183基于在步骤S87中的分析结果来设置渲染上下文。
[0188]另外，当在步骤S85中确定“初始化文档实例”未改变时，跳过步骤S86至S88的处理。
[0189]另一方面，当在步骤S83的处理中确定存储了 “主体文档实例”时，处理进入步骤S89。
[0190]在步骤S89中，TT解码器183分析(解码)在“mdat”的“样本”中存储的“主体文档实例”。
[0191]在步骤S90中，TT解码器183基于在步骤S89中的分析结果来产生字幕显示数据。在步骤S90中产生的字幕显示数据与关于显示时间的信息一起被供应到显示控制部分
185。
[0192]当在步骤S82中确定正在讨论的“片段”没有存储TTML文档实例时，处理进入图22中的步骤S66。
[0193]由此执行了 TT解码处理。
[0194]返回到图22的描述，当在步骤S64中确定在正在讨论的“片段电影”中没有存储TTML文档实例的“片段”时，处理进入步骤S66。
[0195]在步骤S66中，内容解码器184对在“mdat”的“样本”中存储的音频数据和视频数据等进行解码。[0196]在步骤S67中，内容解码器184输出作为步骤S66的处理结果而获得的图像显示数据和声音输出数据等。在步骤S67中产生的图像显示数据和声音输出数据等与关于显示时间和输出时间的信息等一起被供应到显示控制部分185。
[0197]在步骤S68中，显示控制部分185基于关于显示时间的信息等产生图像信号，以在叠加在内容的图像上的状态下显示字幕。显示控制部分185将图像信号供应到在图中未示出的显不器等。另外，显不控制部分185基于关于输出时间的信息等来产生声音信号，以输出内容的声音。显不控制部分185将声音信号供应到在图中未不出的扬声器等。
[0198]也就是说，在图22的步骤S67的处理中产生的图像显示数据和声音输出数据以及在图23的步骤S90的处理中产生的字幕显示数据相互同步地显示或输出。
[0199]在步骤S69中，确定“片段电影”是否结束。例如，当接收到图8中示出的“电影片段随机访问(mfra)”时，确定“片段电影”结束。另外，例如，当用户给出了停止接收的命令时，确定“片段电影”结束。
[0200]当在步骤S69中确定“片段电影”尚未结束时，处理返回到步骤S63。另一方面，当在步骤S69中确定“片段电影”结束时，处理结束。
[0201 ] 由此执行了内容再现处理。
[0202]在上文中，如上面参照图9所述，当在TTML中描述的信息被包括时，在“moov.trak.mdia.minf.stbl.stsd” 的“sampleEntry” 中描述“ttml”。但是，可以将“初始化文档实例”进一步存储在 “moov.trak.mdia.minf.stbl.stsd” 中。
[0203]图24是帮助解释存储“初始化文档实例”的“moov”的“BOX”的构成的示图。如图 24 所不，如图 9 的情况一样，在 “moov.trak.mdia.minf.stbl.stsd” 的 “sampleEntry”中描述4CC “ttml”，并且这个4CC “ttml”之后跟随着描述“TTconfig{...”。
[0204]在图24 中的描述 “TTconf ig {...” 中提供字段 “unsined id (16) document-1d; ”。如参照图12描述的情况一样，这是记述用于识别TTML文档实例的标识符的字段。例如，该标识符是给予每个文档实例的ID或版本。当然，当文档实例改变时，上述标识符也改变。因此，接收器能够确定文档实例是否被改变。
[0205]另外，图24 中示出的字段“unsined int (16) text-length; ”存储在字段“unsinedint (8) text [text-length]; ”中存储的文本的文本长度。TTML文档实例被存储在图24中示出的字段“unsined int (8) text [text-length]; ”中。在图24的例子中，只有“初始化文档实例”被存储在字段“unsined int (8) text [text-length]; ”中，并且“主体文档实例”没有被存储在字段 “unsined int (8) text [text-length]; ”中。
[0206]此外，在如图24所示配置“moov”的情况下，“initFlag: ‘true’”或“initFlag: ‘false’”不必在作为比“moof”的“traf ”低的层中的“BOX”的“ttsd”中记述(可以记述，但是是无意义的信息)。也就是说，在本情况下，作为每个“片段”中的“mdat”的“样本”被存储的TTML文档实例仅仅是“主体文档实例”。因此，不必指示在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”还是“主体文档实例”。
[0207]此外，在如图24所示配置“moov”的情况下，当IPTV服务器122的TT片段产生部分141产生“片段电影”的数据时，例如，TT片段产生部分141在“moov”中的“stsd”的“sampleEntry” 中记述 4CC “ttml”,并且在 “moov.trak.mdia.hdlr” 的“HandlerType” 中记述“text”。另外，TT片段产生部分141将图24中的描述“TTconfig{...”添加到“moov”中的“ Stsd”。另外，在这种情况下,“初始化文档实例”被存储在字段“unsined int (8)text [text-length];，，中。
[0208]在如图24所示配置“moov”的情况下，IPTV客户端123的片段解复用器182分析“片段电影”的“moov”中的“stsd”的“sampleEntry”的描述，以确定在正在讨论的“片段电影”中是否有存储TTML文档实例的“片段”。在这种情况下，当确定有存储TTML文档实例的“片段”时(即，当在“stsd”的“sampleEntry”中记述了 4CC “ttml”时)，描述“TTconfig{...”被供应到TT解码器183。
[0209]然后，TT解码器183获得在字段“unsined id(16) document-1d; ”中描述的标识符，并且将在字段“unsined id(16) document-1d; ”中描述的标识符与预先存储的标识符进行比较，以确定“初始化文档实例”是否被改变。当确定“初始化文档实例”被改变时，TT解码器183存储在字段“unsined id(16) document-1d; ”中描述的标识符。另外，当在多个信道上通过流式传输来广播内容时，例如，将正在讨论的标识符与信道相关联地存储。
[0210]此外，TT解码器 183 分析(解码)在字段 “unsined int (8) text [text-length]; ”中存储的“初始化文档实例”的描述。然后，基于分析结果来设置渲染上下文。
[0211]在如图24所示配置“moov”的情况下，如图25所示，作为各个“片段”(B卩，片段I和片段2)中的“mdat”的“样本”存储的TTML文档实例被分析，并且字幕被显示。
[0212]在这个例子中，假设图15中示出的“主体文档实例”(主体实例I)被存储在片段I的mdatl中。此外，假设图17中示出的“主体文档实例”(主体实例2)被存储在片段2的mdat2 中。
[0213]在图25的例子中，基于在“moov”的“stsd”中存储的“初始化文档实例(初始实例)”来设置渲染上下文。之后，在时刻tl，基于在片段I中的mdatl的样本I中存储的主体实例I来显示如图16所示的字幕。此外，之后，在时刻t2，基于在片段2中的mdat2的样本2中存储的主体实例2来显示如图18所示的字幕。
[0214]另外，上述的时刻tl和时刻t2是基于与moof相对应的第一 mdat中存储的第一“样本”的“解码时间”或者moov.trak.mdia.minf.stbl.stts来计算的,其中所述解码时间在 moof.traf.tfdt 中描述。
[0215]由此，可以将“初始化文档实例”进一步存储在“moov.trak.mdia.minf.stbl.stsd” 中。
[0216]要注意，上述的一系列处理不仅可以通过硬件来实现，还可以通过软件来实现。当上述的一系列处理要通过软件来实现时，构成软件的程序从网络或记录介质被安装到并入在专用硬件中的计算机或者例如如图26所示的通用个人计算机700上，该个人计算机可以通过在其上安装各种程序来执行各种性能。
[0217]在图26中，CPU (中央处理单元)701根据在ROM (只读存储器)702中存储的程序或者从存储部分708加载到RAM (随机存取存储器)703中的程序来执行各种处理。RAM703适当地还存储CPU701执行各种处理所需的数据等。
[0218]CPU701、R0M702和RAM703经由总线704互连。总线704还与输入-输出接口 705连接。
[0219]输入输出接口 705与以下部件连接:由键盘、鼠标等构成的输入部分706，由通过IXD (液晶显示器)等形成的显示器、扬声器等构成的输出部分707，由硬盘等构成的存储部分708，以及由调制解调器和诸如LAN卡的网络接口卡等构成的通信部分709。通信部分709经由包括互联网的网络执行通信处理。
[0220]输入-输出接口 705根据需要还与驱动器710连接。诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质711适当地被加载到驱动器710中。从这些可移动介质读取的计算机程序根据需要被安装到存储部分708中。
[0221]当上述的一系列处理要通过软件来实现时，构成软件的程序从诸如互联网等的网络或者诸如可移动介质711等的记录介质来安装。
[0222]另外，记录介质不仅由图26中示出的可移动介质711形成，还由R0M702、在存储部分708中包括的硬盘等来形成，可移动介质711被分发给用户以与装置本体分开地分发程序并且在可移动介质711上记录有程序，并且可移动介质711包括磁盘(包括软盘(注册商标))、光盘(包括⑶-ROM (压缩盘-只读存储器)和DVD (数字多功能盘))、磁光盘(包括MD(迷你盘(注册商标))、半导体存储器等，并且R0M702、在存储部分708中包括的硬盘等在其上记录有程序并且在预先并入在装置本体中的状态下被分发给用户。
[0223]要注意，在本说明书中的上述的一系列处理不仅包括按照描述的顺序按时间顺序执行的处理，还包括不一定按时间顺序执行而是并行或分别地执行的处理。
[0224]另外，本技术的实施例并不局限于前述的实施例，而是可以在不脱离本技术的精神的情况下进行各种改变。
[0225]要注意，本技术还可以采用以下的构成。
[0226](I) 一种流式传输分发装置，包括:
[0227]内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和
[0228]字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义，
[0229]其中，所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0230](2)根据(I)的流式传输分发装置，其中字幕片段产生部分将其中记述了 TTML文档实例的样本与记述内容识别信息一起存储在该片段中，该记述内容识别信息用于分别地识别与字幕有关的TTML文档实例的记述内容。
[0231](3)根据(I)或(2)的流式传输分发装置，还包括:
[0232]电影头部产生部分，被配置为在包括多个片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示电影包括存储TTML文档实例的片段。
[0233](4)根据⑴或⑵的流式传输分发装置，还包括:
[0234]电影头部产生部分，被配置为在包括多个片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示电影包括存储TTML文档实例的片段，其中
[0235]电影头部产生部分将规定与字幕有关的渲染上下文的TTML文档实例存储在片段分类区分信息中，并且实例分类区分信息不被添加到片段的头部信息中。
[0236](5) 一种流式传输分发方法,包括:
[0237]通过内容片段产生部分，产生存储要通过流式传输分发的内容的的数据的片段，该片段由MP4文件格式定义；
[0238]通过字幕片段产生部分，产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义；以及
[0239]通过所述字幕片段产生部分，向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0240](6) 一种用于使计算机充当流式传输分发装置的程序，该流式传输分发装置包括:
[0241]内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和
[0242]字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义，
[0243]其中，所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
[0244](7) 一种记录介质,在该记录介质上记录有(6)的程序。
[0245](8) 一种流式传输接收装置，包括:
[0246]电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；
[0247]TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及
[0248]TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0249](9)根据(8)的流式传输接收装置，其中，TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML文档实例的分类，并且对所述TTML文档实例进行解码，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例，并且该实例分类区分信息被包括在所述片段的头部信息中。
[0250](10)根据⑶或(9)的流式传输接收装置，其中
[0251]TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML文档实例的分类，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例，该实例分类区分信息被包括在所述片段的头部信息中，并且
[0252]流式传输接收装置还包括解码判定部分，该解码判定部分被配置为:当在所述片段中存储的所述TTML文档实例被区分为规定与所述字幕有关的渲染上下文的TTML文档实例时，基于记述内容识别信息来判定是否要对所述TTML文档实例进行解码，该记述内容识别信息用于分别地识别在所述片段中存储的样本中的与所述字幕有关的TTML文档实例的记述内容。[0253](11)根据(8)或(9)的流式传输接收装置，其中，当电影被判定为包括存储TTML文档实例的片段时，TTML解码部分对规定与字幕有关的渲染上下文的TTML文档实例进行解码，所述规定与字幕有关的渲染上下文的TTML文档实例被包括在片段分类区分信息中。
[0254](12) 一种流式传输接收方法，包括:
[0255]通过电影接收部分，接收包括多个片段的电影的数据，所述片段由MP4文件格式定义;
[0256]通过TTML判定部分，基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及
[0257]当所述电影被判定为包括存储所述TTML文档实例的片段时，通过TTML解码部分，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0258](13) 一种用于使计算机充当流式传输接收装置的程序，该流式传输接收装置包括:
[0259]电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；
[0260]TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及
[0261]TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0262](14) 一种记录介质,在该记录介质上记录有(13)的程序。
[0263](15) 一种流式传输系统,包括:
[0264]流式传输分发装置，包括:
[0265]内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和
[0266]字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段，该片段由MP4文件格式定义，
[0267]所述字幕片段产生部分被配置为向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例；以及
[0268]流式传输接收装置，包括:
[0269]电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义；
[0270]TTML判定部分，被配置为基于指示所述电影包括所述存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及
[0271]TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
[0272][附图标记列表][0273]100流式传输系统，121TT服务器，122IPTV服务器，123IPTV客户端，141TT片段产生部分，142样本插入部分，151时间戳产生部分，161内容样本产生部分，162片段复用器，163片段分发部分，181计时部分，182片段解复用器，183TT解码器，184内容解码器，185显示控制部分
【权利要求】
1.一种流式传输分发装置，包括: 内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和 字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的时序文本标记语言TTML文档实例的片段，该片段由MP4文件格式定义， 其中，所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
2.根据权利要求1所述的流式传输分发装置，其中，所述字幕片段产生部分将其中记述所述TTML文档实例的样本与记述内容识别信息一起存储在所述片段中，该记述内容识别信息用于分别地识别与所述字幕有关的TTML文档实例的记述内容。
3.根据权利要求1所述的流式传输分发装置，还包括: 电影头部产生部分，被配置为在包括多个所述片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示所述电影包括存储所述TTML文档实例的片段。
4.根据权利要求1所述的流式传输分发装置，还包括: 电影头部产生部分，被配置为在包括多个所述片段的电影的头部信息中添加片段分类区分信息，该片段分类区分信息用于指示所述电影包括存储所述TTML文档实例的片段，其中 所述电影头部产生部分将规定与所述字幕有关的渲染上下文的TTML文档实例存储在片段分类区分信息中，并且 所述实例分类区分信息不被添加到所述片段的头部信息。
5.—种流式传输分发方法,包括: 通过内容片段产生部分，产生存储要通过流式传输分发的内容的的数据的片段，该片段由MP4文件格式定义； 通过字幕片段产生部分，产生存储与要在所述内容中显示的字幕有关的时序文本标记语言TTML文档实例的片段，该片段由MP4文件格式定义；以及 通过所述字幕片段产生部分，向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
6.一种用于使计算机充当流式传输分发装置的程序，该流式传输分发装置包括: 内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和 字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的时序文本标记语言TTML文档实例的片段，该片段由MP4文件格式定义， 其中，所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。
7.—种记录介质，在该记录介质上记录有根据权利要求6所述的程序。
8.一种流式传输接收装置，包括:电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义; TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及 TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
9.根据权利要求8所述的流式传输接收装置，其中，所述TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML文档实例的分类，并且对所述TTML文档实例进行解码，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例，并且该实例分类区分信息被包括在所述片段的头部信息中。
10.根据权利要求8所述的流式传输接收装置，其中 所述TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML文档实例的分类，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例，该实例分类区分信息被包括在所述片段的头部信息中，并且 流式传输接收装置 还包括解码判定部分，该解码判定部分被配置为:当在所述片段中存储的所述TTML文档实例被区分为规定与所述字幕有关的渲染上下文的TTML文档实例时，基于记述内容识别信息来判定是否要对所述TTML文档实例进行解码，该记述内容识别信息用于分别地识别与所述片段中存储的样本中的所述字幕有关的TTML文档实例的记述内容。
11.根据权利要求8所述的流式传输接收装置，其中，当所述电影被判定为包括存储所述TTML文档实例的片段时，所述TTML解码部分对规定与所述字幕有关的渲染上下文的TTML文档实例进行解码，所述规定与所述字幕有关的渲染上下文的TTML文档实例被包括在片段分类区分信息中。
12.—种流式传输接收方法,包括: 通过电影接收部分，接收包括多个片段的电影的数据，所述片段由MP4文件格式定义； 通过TTML判定部分，基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及 当所述电影被判定为包括存储所述TTML文档实例的片段时，通过TTML解码部分，提取存储所述TTML文档实例的片段并对该片段进行解码。
13.一种用于使计算机充当流式传输接收装置的程序，该流式传输接收装置包括: 电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义; TTML判定部分，被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
14.一种记录介质，在该记录介质上记录有根据权利要求13所述的程序。
15.—种流式传输系统,包括: 流式传输分发装置，包括: 内容片段产生部分，被配置为产生存储要通过流式传输分发的内容的数据的片段，该片段由MP4文件格式定义；和 字幕片段产生部分，被配置为产生存储与要在所述内容中显示的字幕有关的时序文本标记语言TTML文档实例的片段，该片段由MP4文件格式定义， 所述字幕片段产生部分被配置为向所述片段的头部信息添加实例分类区分信息，该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例；以及流式传输接收装置，包括: 电影接收部分，被配置为接收包括多个片段的电影的数据，所述片段由MP4文件格式定义; TTML判定部分， 被配置为基于指示所述电影包括所述存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段，该片段分类区分信息被添加到所述电影的头部信息；以及 TTML解码部分，被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时，提取存储所述TTML文档实例的片段并对该片段进行解码。
【文档编号】G06F13/00GK103688532SQ201280036267
【公开日】2014年3月26日 申请日期:2012年7月11日 优先权日:2011年7月29日
【发明者】山岸靖明, 北里直久, 出叶义治, 高林和彦, 平林光浩 申请人:索尼公司