信息处理装置和信息处理方法与流程

文档序号:11532885阅读:217来源:国知局
本公开涉及一种信息处理装置和信息处理方法,尤其是一种在mp4fragmentedmovie格式的文件中包含的内容的再现起始时间晚于电影时间标度中的再现起始时间的情况下能够基于编辑列表来再现内容的信息处理装置和信息处理方法。
背景技术
::关于因特网的流媒介服务的主流已经变为ott-v(overthetopvideo)。mpeg-dash(活动图像专家组阶段-通过http的动态自适应流媒介)开始作为基本技术而被广泛使用(参见例如非专利文献1)。在mpeg-dash中,递送服务器为一个电影内容准备一组具有不同屏幕尺寸的编码流并且再现终端依靠传输路径的状态来请求具有最理想的屏幕尺寸和最理想的编码率的编码流,从而实现自适应流媒介递送。在mpeg-dash中,编码流被存储在mp4fragmentedmovie格式的文件中。进一步地,mp4fragmentedmovie格式的文件的moov框(box)不包括相应的mdat框,并且放入mdat框的、由moof框管理的编码流的编辑列表在moov框中进行描述。所述编辑列表是通过将电影内容中包含的内容的编码流的再现起始位置与按照再现顺序从该再现起始位置再现的编码流的再现持续时间相关联而获得的。参考目录非专利文献非专利文献1:mpeg-dash(通过http的动态自适应流媒介)(url:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)技术实现要素:技术问题然而,当mp4fragmentedmovie格式的文件的moov框生成时,有时很难判明其后由moof框管理的放入mdat框中的编码流的再现持续时间。在这种情况下,很难生成编辑列表,并且再现装置不能基于编辑列表再现电影内容。鉴于上述情况,使得本公开能够在mp4fragmentedmovie格式的文件中包含的内容的再现起始时间晚于电影时间标度中的再现起始时间的情况下基于编辑列表来再现内容。问题的解决方案根据本公开的第一方面的信息处理装置是一种信息处理装置,其包括:编辑列表生成单元,其在内容的再现起始时间晚于电影时间标度上内容的再现起始时间时在标记列表中将该内容的顶部位置注册为该内容的再现起始位置并将预定值注册为该内容的再现持续时间,该编辑列表将该内容的再现起始位置与从该再现起始位置再现的该内容的再现持续时间相关联;和文件生成单元,其生成mp4fragmentedmovie格式的文件,该文件包含由该编辑列表生成单元生成的编辑列表和该内容。根据本公开的第一方面的信息处理方法对应于根据本公开的第一方面的信息处理装置。在本公开的第一方面,当内容的再现起始时间晚于电影时间标度上内容的再现起始时间时,分别将该内容的顶部位置和预定值注册为该编辑列表中该内容的再现起始位置和该内容的再现持续时间,该编辑列表将该内容的再现起始位置与从该再现起始位置再现的该内容的再现持续时间相关联;并且生成mp4fragmentedmovie格式的文件,该文件包含通过该编辑列表生成步骤生成的编辑列表和该内容。根据本公开的第二方面的信息处理装置是一种信息处理装置,其包括:提取单元,其从mp4fragmentedmovie格式的文件中提取编辑列表,该文件包含该编辑列表和内容,当内容的再现起始时间晚于电影时间标度上内容的再现起始时间时,分别将该内容的顶部位置和预定值注册为该编辑列表中该内容的再现起始位置和从该再现起始位置再现的该内容的再现持续时间,该编辑列表将该内容的再现起始位置与该内容的再现持续时间相关联;和再现单元,其在该内容的再现起始时间晚于电影时间标度上该内容的再现起始时间时,基于该提取单元提取的编辑列表在比该电影时间标度上的再现起始时间晚了该内容的再现起始时间和该电影时间标度上的再现起始时间之间的差值的时间再现该内容。根据本公开的第二方面的信息处理方法对应于根据本公开的第二方面的信息处理装置。在本公开的第二方面,从mp4fragmentedmovie格式的文件中提取编辑列表,该文件包含编辑列表和内容,当内容的再现起始时间晚于电影时间标度上的内容的再现起始时间时,该内容的顶部位置和预定值分别注册为内容的再现起始位置和从编辑列表中的再现起始位置再现的内容的再现持续时间,该编辑列表将内容的再现起始位置与内容的再现持续时间相关联;并且在该内容的再现起始时间晚于电影时间标度上该内容的再现起始时间时,基于该提取单元提取的编辑列表在比该电影时间标度上的再现起始时间晚了该内容的再现起始时间和该电影时间标度上的再现起始时间之间的差值的时间再现该内容。请注意,根据第一和第二方面的信息处理装置可以通过使计算机执行程序来实现。进一步地,该计算机执行的用以实现根据第一和第二方面的信息处理装置的程序可以通过经由传输媒介传输或通过在记录媒介中记录来提供。本发明的有益效果根据本公开的第一方面,有可能生成编辑列表。特别地,有可能在mp4fragmentedmovie格式的文件中包含的内容的再现起始时间晚于电影时间标度中的再现起始时间的情况下生成编辑列表。根据本公开的第二方面,有可能基于编辑列表再现内容。特别地,有可能在mp4fragmentedmovie格式的文件中包含的内容的再现起始时间晚于电影时间标度中的再现起始时间的情况下基于编辑列表再现内容。应注意,本文描述的效果不是必然有限制的,并且可能是任何本公开中所描述的效果。附图概述[图1]描述了应用本公开的信息处理系统的第一实施方案的概述的示意图。[图2]显示出fragmentedmp4文件的配置实例的示意图。[图3]显示出图2中moov框的配置实例的示意图。[图4]显示出电影的配置实例的示意图。[图5]显示出编辑列表的配置实例的示意图。[图6]描述了基于图5中的编辑列表的再现的示意图。[图7]显示出媒介的再现起始时间的实例的示意图。[图8]显示了当compositionoffset生成时媒介的实例的示意图。[图9]显示了当compositionoffset生成时编辑列表的实例的示意图。[图10]显示了当startingoffset生成时媒介的实例的示意图。[图11]显示出当startingoffset生成时fragmentedmovie格式之外的格式的mp4文件中的编辑列表的实例的示意图。[图12]描述了当startingoffset生成时fragmentedmp4文件的编辑列表的第一实例的示意图。[图13]描述了当startingoffset生成时fragmentedmp4文件的编辑列表的第一实例的示意图。[图14]描述了当startingoffset生成时fragmentedmp4文件的编辑列表的第二实例的示意图。[图15]描述了当startingoffset生成时fragmentedmp4文件的编辑列表的第二实例的示意图。[图16]显示了mp4文件生成单元的配置实例的方框图。[图17]描述了图16中文件生成单元执行的fragmentedmp4文件生成处理的流程图。[图18]显示了流媒介再现单元的配置实例的方框图。[图19]描述了图18中流媒介再现单元执行的再现处理的流程图。[图20]显示了根据应用了本公开的信息处理系统的第二实施方案的文件生成单元的配置实例的方框图。[图21]描述了图20中文件生成单元执行的fragmentedmp4文件生成处理的流程图。[图22]显示了根据应用了本公开的信息处理系统的第三实施方案的文件生成单元的配置实例的方框图。[图23]描述了图22中文件生成单元执行的fragmentedmp4文件生成处理的流程图。[图24]显示了根据应用了本公开的信息处理系统的第四实施方案的文件生成单元的配置实例的方框图。[图25]描述了图24中文件生成单元执行的mp4文件生成处理的流程图。[图26]显示了电脑的硬件的配置实例的方框图。具体实施方式在下文,将描述本公开的预述和用于实施本公开的实施方案(以下称为实施方案)。请注意,将按照下列次序进行说明。1.第一实施方案:信息处理系统(图1至图19)2.第二实施方案:信息处理系统(图20和图21)3.第三实施方案:信息处理系统(图22和图23)4.第四实施方案:信息处理系统(图24和图25)5.第五实施方案:电脑(图26)<第一实施方案>(信息处理系统的第一实施方案的概述)图1是描述了应用本公开的信息处理系统的第一实施方案的概述的示意图。连接至文件生成装置11的网页服务器12经由因特网13连接至电影再现终端14,从而构成图1中的信息处理系统10。在信息处理系统10中,网页服务器12将文件生成装置11生成的电影内容的mp4fragmentedmovie格式的文件(在下文,简单地称为fragmentedmp4文件)通过符合mpeg-dash的方法传送至电影再现终端14。具体地,文件生成装置11(信息处理装置)将数据例如电影内容的图像数据和音频数据以多个编码率编码从而生成编码流。针对每个编码率,文件生成装置11将生成的编码流分为大约几秒至10秒的时间单位,这些称为片段。文件生成装置11生成fragmentedmp4文件,该fragmentedmp4文件包括针对每一个片段的编码流、编辑列表等,并且将其上载至网页服务器12。请注意,虽然这里生成了具有不同的编码率的编码流,但是编码流可以在编码率之外(例如,图像的大小)的不同情况下生成。进一步地,也可能在两个或更多个不同的情况下生成编码流。文件生成装置11还生成用于管理fragmentedmp4文件等的mpd(媒介呈现说明)文件。文件生成装置11将mpd上载至网页服务器12。网页服务器12存储从文件生成装置11上载的fragmentedmp4文件和mpd文件。在图1的实例中,存在三种编码率,并且对于三种编码率的每一种存储各个片段中的fragmentedmp4文件。响应于来自电影再现终端14的请求,网页服务器12将存储的fragmentedmp4文件和存储的mpd文件传输至电影再现终端14。电影再现终端14(信息处理装置)执行用于控制流媒介数据的软件(在下文,称为控制软件)21、电影再现软件22、用于访问http(hypertexttransferprotocol)的客户软件(在下文,称为访问软件)23等。控制软件21是用于控制从网页服务器12流出的数据的软件。具体地,控制软件21使得电影再现终端14从网页服务器12获得mpd文件。进一步地,控制软件21基于mpd文件和表示再现目标的再现时间等的再现目标信息来要求将待再现的fragmentedmp4文件传输至访问软件23,该再现目标信息由电影再现软件22规定。电影再现软件22是用于将从网页服务器12获得的编码流进行再现的软件。具体地,电影再现软件22规定用于控制软件21的再现目标信息。进一步地,当接收到来自访问软件23的接收开始的通知时,电影再现软件22基于从电影再现终端14接收到的fragmentedmp4文件中包含的编辑列表对fragmentedmp4文件中包含的编码流进行解码。电影再现软件22将作为解码结果获得的图像数据和音频数据输出。访问软件23是用于控制使用http经由因特网13与网页服务器12进行的通信的软件。具体地,访问软件23响应于来自控制软件21的请求,使电影再现终端14将传输待再现的fragmentedmp4文件的请求进行传输。进一步地,访问软件23响应于传输请求,使电影再现终端14开始接收从网页服务器12传输的fragmentedmp4文件,并且将接收开始的通知提供给电影再现软件22。(fragmentedmp4文件的配置实例)图2是显示出fragmentedmp4文件的配置实例的示意图。fragmentedmp4文件具有框结构并且包括初始化片段和一或多个媒介片段。初始化片段包括fragmentedmp4文件中包含的框的ftyp框(文件类型box)和moov框(电影box)。ftyp框是置于文件的顶部的框,文件格式的类型在ftyp中用4charactercode描述。这里,在ftyp中,例如,“dash”描述为表示作为文件格式的mpeg-dash的4charactercode。在moov框中,描述了包含同时再现的一或多个轨道(其细节将在稍后描述)的电影的元数据(电影元数据)。因为fragmentedmp4文件的格式是fragmentedmovie格式,所以moov框不包括对应的mdat框。媒介片段包括styp框(段文件类型box)、sidx框(电影片段box的片段索引)和一或多个电影片段。在styp框中,片段的格式用4charactercode来描述。这里,在styp框中,例如,“msdh”被描述为表示作为片段的格式的媒介片段的4charactercode。在sidx框中,例如,描述了表示包含一或多个电影片段的子片段(子段)在fragmentedmp4文件的位置的位置信息。moviefragment包括moof框(moviefragmentbox)和mdat框(mediadatabox)。在moof框中,描述了放入mdat框中的编码流的时间管理信息和地址管理信息。在mdat框中,针对每个样本放入具有任意时间长度的编码流。例如,样本是编码流的最小存取单位,并且相应于一帧。由于如上所述没有对应于moov框的mdat框,放入对应于moof框的mdat框中的在顶部的样本的编码流是在fragmentedmp4文件顶部的样本的编码流。(moov框的配置实例)图3是示出了图2中moov框的配置实例的示意图。如图3所示,在moov框中,放入mvhd框(movieheaderbox)。在movieheader框中,描述了用于设置电影时间标度的信息、有关电影的图像数据的扩展和约减的信息,以及电影旋转、有关电影的再现率等的信息。电影时间标度是通常用于电影的再现持续时间。在movie框中,还放针对每一轨道入trak框(trackbox)。轨道是电影内容的编码流的管理单位、并且是同一种类(图像、音频等)的样本组。在trak框中,描述了相应轨道上的管理信息。具体地,在trak框中,放入了tkhd框(trackheaderbox)、edts框(editbox)和mdia框(mediabox)。在tkhd框中,在轨道是图像的样本组的情况下描述了包含图像在显示屏中的位置的屏幕整合信息。进一步地,在tkhd框中,描述了轨道信息,例如表示轨道之间的关系的信息。在edts框中,描述了轨道的编辑列表。如上所述,编辑列表将内容的编码流的再现起始位置与从再现位置再现的编码流的再现持续时间按再现次序(即,按电影时间标度上再现起始时间的次序)相关联。具体地,编辑列表是用于控制整个电影中轨道的再现的信息。请注意,不一定需要描述edts框中的编辑列表。在这种情况下,用电影时间标度上的再现起始时间作为edts框相对应的内容的再现起始时间(即将在稍后描述的媒介时间标度上的再现起始时间)来再现内容。在mdia框中,放置描述了作为轨道的编码流的有关媒介(media)的信息的mdhd框(mediaheaderbox)、hdlr框(mediahandlerbox)和minf框(mediainformationbox)。在mdhd框和hdlr框中,描述了表示媒介的数据的种类的信息、用于设置媒介时间标度即媒介单位中(轨道单位中)的再现持续时间轴的信息等。在媒介是音频的编码流的情况下,在mdhd框和hdlr框中还描述表示音频的语言的信息。在minf框中,放置dinf框(datainformationbox)和stbl框(sampletablebox)。进一步地,在媒介是图像的编码流的情况下,在mediainformation框中也放置vmhd框(videomediaheaderbox)。在dinf框中的,描述了媒介的存储地点和引用方法。stbl框包括stsd框(sampledescriptionbox)、stts框(timetosamplebox)、stsz框(samplesizebox)、stsz框(samplesizebox)、stsc框(sampletochunkbox)和stco框(chunkoffsetbox)。在stsd框中,描述了应用于该媒介的包含codecconfiguration信息的一或多个样本条目。将各样本条目特有的id赋予给样本条目,并且通过stsc框引用该id。codecconfiguration信息是与编码有关的信息,例如编码方法。在stts框中,描述了在各样本的媒介的媒介时间标度上的时间长度。具体地,在stts框中,描述了其中时间长度与以从顶部样本的次序在时间长度中的样本单位中的连续媒介的数量相联系的表格。在stsz框中,以从顶部样本的次序描述了各样本的媒介的数据大小。在stsc框中,以从顶部区块的次序描述了该媒介的各区块中包含的样本数目和该区块的样本条目的id。该区块是该媒介的地址管理单元。在stco框中,以从顶部区块的次序描述了该媒介的各区块的文件偏移量。(电影的配置实例)[图4是显示出电影的配置实例的示意图。在图4的实例中,电影(movie)包括图像(video)的a轨道和音频(audio)的s轨道。图像的轨道包括多个样本41,音频的轨道包括多个样本42。(编辑列表的说明)图5是显示出编辑列表的配置实例的示意图。图6是描述了基于图5中的编辑列表的再现的示意图。如图5所示,在编辑列表中,在电影时间标度上以从再现起始时间的次序将segmentduration、mediatime和mediarate作为编辑列表信息彼此相关联。mediatime是媒介时间标度上的时间,其表示对应于包含mediatime的edts框的媒介的再现起始位置。segmentduration是从电影时间标度上的再现起始位置再现的媒介的再现持续时间,其通过相应的mediatime来表示。mediarate是待再现的媒介的再现率。请注意,在图5的实例中,电影时间标度中的1秒是90000,媒介时间标度中的1秒是30000。在图5中的编辑列表中,将segmentduration“90000(1sec)”、mediatime“-1(empty”和mediarate“1.0”注册为顶部编辑列表信息。请注意,mediatime“-1(empty)”是表示什么都没有再现的信息。因此,如图6所示,在电影时间标度上的0秒至1秒的时间内什么都没有再现,如对应于图5中编辑列表的轨道。在图5中的编辑列表中,将segmentduration“180000(2sec)”、mediatime“0(0sec)”和mediarate“1.0”注册为第二编辑列表信息。因此,如图6所示,在电影时间标度上从1秒至3秒的时间内和在媒介时间标度上从0秒开始的2秒内以1x速率再现媒介。在图5中的编辑列表中,将segmentduration“90000(1sec)”、mediatime“90000(3sec)”和mediarate“1.0”注册为第三编辑列表信息。因此,如图6所示,在电影时间标度上从3秒至4秒的时间内和在媒介时间标度上从3秒开始的1秒内以1x速率再现媒介。如上所述,根据图5中的编辑列表,有可能在电影时间标度上的再现起始时间的1秒之后以1x速率再现媒介时间标度上的0秒至2秒的媒介和媒介时间标度上从3秒至4秒的媒介。如上所述,根据该编辑列表,有可能控制对应于编辑列表和再现次序的电影时间标度上媒介的再现起始时间。也就是说,利用该编辑列表,有可能执行无损编辑(non-linearedit)。(媒介再现起始时间的实例)图7是示出媒介的再现起始时间的实例的示意图。如图7的上部所示,媒介的再现起始时间比电影时间标度上的再现起始时间晚startingoffset,如图7的中部所示,与电影时间标度上的再现起始时间相同,或者如图7的下部所示,比电影时间标度上的再现起始时间早compositionoffset。startingoffset和compositionoffset各自表示媒介的再现起始时间和电影时间标度上的起始时间之间的差值。在如图7的上部所示媒介的再现起始时间比电影时间标度上的再现起始时间晚startingoffset的情况下,将包含mediatime“-1”的编辑列表信息注册为编辑列表中的emptyedit信息。进一步地,因为仅仅包含emptyedit信息的编辑列表在mp4标准中是禁止的,在编辑列表中也注册emptyedit信息以外的editlist信息。在如图7的中部所示该媒介的再现起始时间与电影时间标度上的再现起始时间相同的情况下,不需要生成编辑列表。在如图7的下部所示媒介的再现起始时间比电影时间标度上的再现起始时间早compositionoffset的情况下,即,不再现媒介的顶部,将包含媒介时间标度上的compositionoffset的时间作为mediatime的编辑列表信息注册为编辑列表中的non-emptyedit信息。(当生成compositionoffset时的编辑列表的说明)图8是显示了当compositionoffset生成时媒介的实例的示意图。图9是显示了当如图8所示生成compositionoffset时编辑列表的实例的示意图。请注意,在图8和图9的实例中,电影时间标度中的1秒是90000,媒介时间标度中的1秒是30000。进一步地,媒介的再现率是1x。在如图8所示媒介时间标度上的compositionoffset的时间是3000(0.1sec)并且电影时间标度上的媒介的时间是90000(10sec)的情况下,在fragmentedmovie格式以外的格式的mp4文件的情况下需要生成如图9的部分a所示的编辑列表。具体地,如图9的部分a所示,需要将“900000(10sec)”(即电影时间标度上媒介的时间)、“3000(0.1sec)”(即,媒介时间标度上compositionoffset的时间)和“1.0”分别注册为编辑列表中的segmentduration、mediatime和mediarate。另一方面,在fragmentedmp4文件中,“0”定义为表示其是non-emptyedit信息的segmentduration的信息。因此,在其中媒介的再现起始时间比电影时间标度上的再现起始时间早compositionoffset的情况下,仅需要将“0”注册为non-emptyedit信息的segmentduration,不考虑电影时间标度上媒介的时间。因此,即使在生成moov框时在对应于moof框的mdat框中放入的媒介的时间长度不能确认的情况下,也可以注册non-emptyedit信息。(当生成startingoffset时fragmentedmovie格式以外的格式的mp4文件的编辑列表的说明图10是显示了当startingoffset生成时媒介的实例的示意图。图11是显示出当如图10所示startingoffset生成时fragmentedmovie格式之外的格式的mp4文件中的编辑列表的实例的示意图。请注意,在图10和图11所示的实例中,电影时间标度中的1秒是90000,媒介的再现率是1x。在如图10所示电影时间标度上的startingoffset的时间是9000(0.1sec)并且电影时间标度上的媒介的时间是tx的情况下,需要在fragmentedmovie格式以外的格式的mp4文件中生成如图11所示的编辑列表。具体地,如图11所示,首先将作为mediatime、segmentduration和mediarate的包含表示什么都没有再现的“-1(empty)”的emptyedit信息、“9000(0.1sec)”(即电影时间标度上startingoffset的时间)和“1.0”分别注册在编辑列表中。其次,在编辑列表中,将作为segmentduration的包含“tx”(即,电影时间标度上的媒介的时间)的编辑信息注册为invariableedit信息,因为还需要注册emptyedit信息以外的编辑列表信息。invariableedit信息的mediatime是表示媒介时间标度上的再现起始时间的“0”,mediarate是“1.0”。然而,在fragmentedmp4文件中,没有和moov框对应的mdat框,并且放入对应于moof框的mdat框的媒介的时间长度在一些情况下在生成moov框时不能确认。例如,在媒介是现场视频的编码流的情况下,媒介的时间长度是未知的,直到拍摄完成。进一步地,虽然在生成compositionoffset的情况下不需要确认媒介的时间长度,但是在生成startingoffset的情况下需要确认媒介的时间长度。因此,生成编辑列表的处理是复杂的。具体地,因为生成编辑列表的方法对于offset的种类来说是不同的,所以生成编辑列表的处理是复杂的。因此,在本公开中,在生成startingoffset时fragmentedmp4文件的编辑列表从而不同于fragmentedmovie格式以外的格式的mp4文件的编辑列表。(当生成startingoffset时fragmentedmp4文件的编辑列表的第一实例的说明)图12和图13各自是描述了当如图10所示生成startingoffset时fragmentedmp4文件的编辑列表的第一实例的示意图。如图12和图13所示,在fragmentedmp4文件的编辑列表中,例如,将其中mediatime是“0”的non-emptyedit信息注册为虚拟编辑列表信息,而不是图11中的invariableedit信息。具体地,如图13所示,在编辑列表中,与图11情况相类似地对emptyedit信息进行注册。然而,作为emptyedit信息以外的编辑列表信息的segmentduration,注册“0”,“0”表示其是用于在编辑列表中注册emptyedit信息的虚拟编辑列表信息的segmentduration。进一步地,对应于segmentduration“0”,媒介时间标度上的时间(表示媒介的顶部位置),即分别注册表示媒介时间标度上的再现起始时间的“0”和“1.0”作为mediatime和mediarate。(当生成startingoffset时fragmentedmp4文件的编辑列表的第二实例的说明)图14和图15各自是描述了当如图10所示生成startingoffset时fragmentedmp4文件的编辑列表的第二实例的示意图。如图14和图15所示,在fragmentedmp4文件的编辑列表中,例如,将其中mediatime是表示其是不定值的值“0xffffffff”的undefinededit信息注册为虚拟编辑列表信息,而不是图11中的invariableedit信息。具体地,如图15所示,与图11情况相类似,在编辑列表中注册emptyedit信息。然而,其中全部位是1的值“0xffffffff”(表示其是用于在编辑列表中注册emptyedit信息的虚拟编辑列表信息的segmentduration)注册为emptyedit信息以外的编辑列表信息的segmentduration。进一步地,对应于segmentduration“0xffffffff”,媒介时间标度上的时间(表示媒介的顶部位置),即分别注册表示媒介时间标度上的再现起始时间的“0”和“1.0”作为mediatime和mediarate。如上所述,在本公开中,将表示其是用于在编辑列表中注册emptyedit信息的虚拟编辑列表信息的值注册为emptyedit信息以外的编辑列表信息的segmentduration。因此,即使在生成moov框时在对应于moof框的mdat框中放入的媒介的时间长度不能确认的情况下,也可以注册emptyedit信息。进一步地,因为可以在不确认媒介的时间长度的情况下生成编辑列表,所以提高了编写效率。进一步地,与其中生成compositionoffset的情况向类似,即使在生成startingoffset的情况下,也不需要确认媒介的时间长度。进一步地,生成编辑列表的处理不受moov框以外的框的影响。因此,生成编辑列表的处理变得容易。进一步地,因为在图12至15中所述的编辑列表中注册emptyedit信息以外的编辑列表信息,所以不违反mp4标准。(mp4文件生成单元的配置实例)图16是示出了图1中的文件生成装置11的mp4文件生成单元的配置实例的方框图,该文件生成装置11生成fragmentedmp4文件。图16中的文件生成单元60包括编码单元61、编辑列表生成单元62、多路复用器63和上载单元64。文件生成单元60的编码单元61获取数据,例如电影内容的图像数据和音频数据。编码单元61将所获得的数据以多个编码率进行编码以生成编码流。编码单元61针对每个编码率将编码流分割为片段单位,并将其提供给多路复用器63。进一步地,例如,针对各个媒介,编码单元61生成compositionoffset信息作为compositionoffset,该compositionoffset信息表示片段单位中以编码流的显示次序在顶部的图画和以显示次序在顶部的i图画之间的显示时间的差值。编码单元61将生成的各媒介的compositionoffset信息提供给编辑列表生成单元62。基于从编码单元61提供的compositionoffset信息和表示由用户等从外部输入的片段单位中的startingoffset的startingoffset信息,编辑列表生成单元62针对各个媒介生成编辑列表。具体地,基于compositionoffset信息,编辑列表生成单元62针对各个媒介将媒介时间标度上的compositionoffset的时间、"0"和媒介的再现率分别注册为编辑列表的mediatime、segmentduration和mediarate。进一步地,基于startingoffset信息,编辑列表生成单元62针对各个媒介将“0”、“0”或者“0xffffffff”和媒介的再现率分别注册为编辑列表的mediatime、segmentduration和mediarate。编辑列表生成单元62将生成的各媒介的编辑列表提供给多路复用器63。多路复用器63(文件生成单元)针对各个编码率生成包含片段单位中的编码流的fragmentedmp4文件和对应于该片段的各媒介的编辑列表。具体地,多路复用器63将片段单位中的编码流放入mdat框并且将各媒介的编辑列表放入moov框中,以生成fragmentedmp4文件。多路复用器63将生成的fragmentedmp4文件提供给上载单元64。上载单元64将从多路复用器63提供的fragmentedmp4文件上载至图1中的网页服务器12。(文件生成单元的处理的说明)图17是描述了图16中文件生成单元60执行的fragmentedmp4文件生成处理的流程图。在图17中的步骤s11中,文件生成单元60的编码单元61获得数据,例如电影内容的图像数据和音频数据。在步骤s12中,编辑列表生成单元62获取由用户等等从外面输入的startingoffset信息。在步骤s13中,编码单元61以多个编码率对所获得的数据进行编码以生成编码流。编码单元61针对每个编码率将编码流分割为片段单位,并将其提供给多路复用器63。在步骤s14中,编码单元61针对每一媒介生成compositionoffset信息,并将其提供给编辑列表生成单元62。在步骤s15中,基于所获得的startingoffset信息和从编码单元61提供的compositionoffset信息,编辑列表生成单元62针对各个媒介生成编辑列表。在步骤s16中,多路复用器63针对各个编码率生成包含片段单位中的编码流的fragmentedmp4文件和对应于该片段的各媒介的编辑列表。多路复用器63将生成的fragmentedmp4文件提供给上载单元64。步骤s17中,上载单元64将从多路复用器63提供的fragmentedmp4文件上载至图1中的网页服务器12,并结束处理。如上所述,文件生成装置11在生成startingoffset的情况下将“0”和“0”或“0xffffffff”分别注册为编辑列表中的mediatime和segmentduration。因此,即使在不能确认媒介的时间长度的情况下也可以生成编辑列表。结果,电影再现终端14能够基于该编辑列表从比电影时间标度上的再现起始时间晚startingoffset的时间再现该媒介。进一步地,因为在生成compositionoffset的情况下编码单元61不需要确认媒介时间长度并将其提供给编辑列表生成单元62,所以编码单元61的处理效率优异。进一步地,因为在生成startingoffset的情况下用户不需要确认媒介的时间长度并将其提供给编辑列表生成单元62,所以编写效率优异。(电影再现终端的函数配置实例)图18是示出了执行控制软件21、电影再现软件22和访问软件23的由图1中的电影再现终端14实现的流媒体再现单元的配置实例的方框图。流媒体再现单元80包括解复用器81、解码单元82、偏移量信息生成单元83和再现单元84。在流媒体再现单元80的解复用器81中,输入待再现的fragmentedmp4文件。基于待再现的fragmentedmp4的url,从网页服务器12获取该fragmentedmp4文件,fragmentedmp4文件的url通过电影再现终端14解析从网页服务器12获得的mpd文件而获得。解复用器81(提取单元)从fragmentedmp4文件的moov框提取各媒介的编辑列表,并且将其提供给偏移量信息生成单元83。进一步地,解复用器81提取放入fragmentedmp4文件的mdat框中的编码流,并将其提供给解码单元82。解码单元82对从解复用器81提供的编码流进行解码,并生成数据,例如电影内容的图像数据和音频数据。解码单元82将生成的数据例如图像数据和音频数据提供给再现单元84。偏移量信息生成单元83基于解复用器81提供的编辑列表,针对各个媒介生成包含startingoffset信息和compositionoffset信息的偏移量信息。具体地,基于在编辑列表中注册的、其中segmentduration是“0”而mediatime不是“0”的non_emptyedit信息,偏移量信息生成单元83针对各个媒介生成由mediatime表示的时间作为compositionoffset的偏移量信息。进一步地,基于编辑列表中注册的emptyedit信息,偏移量信息生成单元83针对各个媒介生成由segmentduration表示的时间作为startingoffset的偏移量信息。进一步地,偏移量信息生成单元83忽视编辑列表中注册的、其中segmentduration是“0”或者“0xffffffff”并且mediatime是“0”的编辑信息。偏移量信息生成单元83将生成的各媒介的偏移量信息提供给再现单元84。再现单元84基于偏移量信息生成单元83提供的偏移量信息,针对各个媒介再现(输出)从解码单元82提供的数据。具体地,基于startingoffset信息,再现单元84从比电影时间标度上的起始时间晚startingoffset的时间再现(输出)数据。请注意,数据的再现起始位置是从数据的顶部位置开始由compositionoffset信息表示的compositionoffset之后的位置。将由再现单元84再现的数据的图像数据和音频数据分别提供给显示单元,例如显示器(未示出)和扬声器(未示出)。(流媒体再现单元的处理的说明)图19是描述了图18中流媒体再现单元80执行的再现处理的流程图。在图19中的步骤s31中,流媒体再现单元80的解复用器81从网页服务器12获取待再现的fragmentedmp4文件。在步骤s32中的,解复用器81从fragmentedmp4文件提取各媒介的编码流和编辑列表。解复用器81将各媒介的编辑列表提供给偏移量信息生成单元83,并且将编码流提供给解码单元82。在步骤s33中,偏移量信息生成单元83基于从解复用器81提供的编辑列表针对各个媒介生成偏移量信息,并将其提供给再现单元84。在步骤s34中,解码单元82对从解复用器81提供的编码流进行解码,并生成数据,例如电影内容的图像数据和音频数据。解码单元82将生成的数据例如图像数据和音频数据提供给再现单元84。在步骤s35中的,再现单元84基于偏移量信息生成单元83提供的偏移量信息,针对各个媒介再现从解码单元82提供的数据。然后,处理结束。如上所述,电影再现终端14在生成startingoffset的情况下基于编辑列表,从比电影时间标度上的再现起始时间晚startingoffset的时间再现数据。<第二实施方案>(根据信息处理系统的第二实施方案的文件生成单元的配置实例)除了文件生成装置11的文件生成单元,应用本公开的信息处理系统的第二实施方案的配置与图1中的信息处理系统10的配置相同。因此,在下文中,仅描述文件生成单元。图20是显示了根据应用了本公开的信息处理系统的第二实施方案的文件生成单元的配置实例的方框图。在图20示出的元件中,与图16中所示相同的元件用相同的参考符号表示。将适当地省略重复的说明。图20中的文件生成单元100的配置与图16中的文件生成单元60的配置的不同之处在于设置了解复用器101和编辑列表生成单元102,而不是编码单元61和编辑列表生成单元62。向文件生成单元100输入已经以各个编码率编码的、mpeg2(活动图像专家组2期)标准的片段单位的ts(传输流),而不是编码前的电影内容的数据。文件生成单元100的解复用器101获取电影内容的各轨道的ts文件。解复用器101从各轨道的ts文件提取ts,并将其提供给多路复用器63作为编码流。进一步地,解复用器101基于电影内容的各轨道的ts文件中包含的reproduction时间等确定各轨道的startingoffset信息。解复用器101基于各轨道的ts文件的编码方法等确定各轨道的compositionoffset信息。解复用器101针对各个轨道将包含所确定的startingoffset信息和所确定的compositionoffset提供给编辑列表生成单元102。与图16中的编辑列表生成单元62类似地,编辑列表生成单元102基于从解复用器101提供的偏移量信息生成编辑列表,并将其提供给多路复用器63。如上所述,文件生成单元100生成fragmentedmp4文件,而不需对输入的电影内容的各轨道的ts文件再编码。(文件生成单元的处理的说明)图21是描述了图20中文件生成单元100执行的fragmentedmp4文件生成处理的流程图。在图21中的步骤s51中,文件生成单元100的解复用器101获取电影内容的各轨道的ts文件。在步骤s52中,解复用器101从各轨道的ts文件提取ts,并将其提供给多路复用器63。在步骤s53中,解复用器101基于各轨道的ts文件生成偏移量信息,并将其提供给编辑列表生成单元102。在步骤s54中,编辑列表生成单元102基于从解复用器101提供的偏移量信息生成编辑列表,并将其提供给多路复用器63。因为步骤s55和s56的处理与图17中的步骤s16和s17相同,所以将省略其说明。<第三实施方案>(根据信息处理系统的第三实施方案的文件生成单元的配置实例)除了文件生成装置11的文件生成单元,应用本公开的信息处理系统的第三实施方案的配置与图1中的信息处理系统10的配置相同。因此,在下文中,仅描述文件生成单元。图22是显示了根据应用了本公开的信息处理系统的第三实施方案的文件生成单元的配置实例的方框图。在图22示出的元件中,与图20中所示相同的元件用相同的参考符号表示。将适当地省略重复的说明。图22中的文件生成单元120的配置与图20中的文件生成单元100的配置的不同之处在于额外设置了编辑处理单元121,并设置了解复用器122而不是解复用器。文件生成单元120对已经以各个编码率进行编码的、mpeg2标准的片段单位中的ts文件进行剪切编辑,并生成fragmentedmp4文件。具体地,文件生成单位120的编辑处理单元121获取电影内容的各轨道的ts文件。编辑处理单元121执行剪切编辑,其中电影内容之前或之后的部分基于用户输入等被删除。具体地,编辑处理单元121生成编辑时间信息,其表示剪切编辑之后电影内容的再现起始时间(pts(显示时间戳))和再现结束时间。编辑处理单元121将各轨道的ts文件和编辑时间信息提供给解复用器122。解复用器122针对各个轨道从编辑处理单元121提供的ts文件中保存的ts提取由编辑时间信息表示的再现起始时间至再现结束时间的ts,作为剪切编辑之后的ts。在这时,因为时间管理单位对于各个轨道是不同的,所以生成startingoffset和compositionoffset。因此,解复用器122生成各轨道的startingoffset信息和compositionoffset信息,并将其提供给编辑列表生成单元102作为偏移量信息。进一步地,解复用器122将剪切编辑之后的ts提供给多路复用器63作为编码流。如上所述,文件生成单元120对输入电影内容的各轨道的ts文件执行剪切编辑而不需对其再编码,并在切编辑之后生成电影内容的fragmentedmp4文件。(文件生成单元的处理的说明)图23是描述了图22中文件生成单元120执行的fragmentedmp4文件生成处理的流程图。在图23中的步骤s71中,文件生成单元120的编辑处理单元121获取电影内容的各轨道的ts文件。在步骤s72中,编辑处理单元121通过基于用户输入等生成编辑时间信息来执行剪切编辑。编辑处理单元121将各轨道的ts文件和编辑时间信息提供给解复用器122。在步骤s73中,解复用器122针对各个轨道基于编辑时间信息从编辑处理单元121提供的ts文件中保存的ts中提取剪切编辑之后的ts。解复用器122将剪切编辑之后的ts提供给多路复用器63作为编码流。在步骤s74中,解复用器122生成通过剪切编辑生成的各轨道的startingoffset信息和compositionoffset信息作为偏移量信息,并将其提供给编辑列表生成单元102。因为步骤s75至s77的处理与图21中步骤s54至s56的处理相同,所以将省略其说明。(根据信息处理系统的第四实施方案的文件生成单元的配置实例)除了文件生成装置11的文件生成单元,应用本公开的信息处理系统的第四实施方案的配置与图1中的信息处理系统10的配置相同。因此,在下文中,仅描述文件生成单元。图24是显示了根据应用了本公开的信息处理系统的第四实施方案的文件生成单元的配置实例的方框图。在图24示出的元件中,与图22中所示相同的元件用相同的参考符号表示。将适当地省略重复的说明。图24中的文件生成单元140的配置与图22中的文件生成单元120的配置的不同之处在于设置了编辑处理单元141、编辑列表生成单元142和多路复用器143,而不是编辑处理单元121、编辑列表生成单元102和多路复用器63,并且没有设置解复用器122。向文件生成单元140输入电影内容的fragmentedmp4文件。文件生成单元140添加保存在fragmentedmp4文件中的、非再现目标的轨道作为再现目标。具体地,文件生成单元140的编辑处理单元141获取电影内容的fragmentedmp4文件,并将其提供给多路复用器143。进一步地,编辑处理单元141基于用户输入等执行额外的编辑,其中添加fragmentedmp4文件中包含的、非再现目标的轨道作为再现目标。具体地,编辑处理单元141基于编码作为再现目标添加的轨道的方法、再现起始时间等生成偏移量信息。编辑处理单元141将确定的偏移量信息提供给编辑列生成单元102。与图16中的编辑列表生成单元62类似地,编辑列表生成单元142基于从编辑处理单元141提供的偏移量信息生成作为再现目标添加的轨道的编辑列表,并将其提供给多路复用器143。多路复用器143用编辑列表生成单元142提供的编辑列表替换作为再现目标添加的轨道的编辑列表(包含在编辑处理单元141提供的fragmentedmp4文件的moov框中)。多路复用器143将其中编辑列表已经被替换的fragmentedmp4文件提供给上载单元64。如上所述,文件生成单元140能够执行额外的编辑而不需执行再编码。因此,例如,可以容易地从其再现目标是仅英语的图像和音频的轨道生成其再现目标是英语的图像、音频和日文的音频的轨道的fragmentedmp4文件。(文件生成单元的处理的说明)图25是描述了图24中文件生成单元140执行的mp4文件生成处理的流程图。在图25中的步骤s91中,文件生成单元140的编辑处理单元141获取电影内容的fragmentedmp4文件,并将其提供给多路复用器143。在步骤s92中,编辑处理单元141基于用户输入等执行额外的编辑,并生成作为再现目标添加的轨道的偏移量信息。编辑处理单元141将确定的偏移量信息提供给编辑列生成单元102。在步骤s93中的,编辑列表生成单元142基于从编辑处理单元141提供的偏移量信息生成作为再现目标添加的轨道的编辑列表,并将其提供给多路复用器143。在步骤s94中的,多路复用器143用编辑列表生成单元142提供的编辑列表更新作为再现目标添加的轨道的编辑列表(包含在编辑处理单元141提供的fragmentedmp4文件的moov框中)。多路复用器143将所得fragmentedmp4文件提供给上载单元64。在步骤s95中,上载单元64将从多路复用器143提供的fragmentedmp4文件上载至图1中的网页服务器12,并且处理结束。<第五实施方案>(应用本公开的电脑的说明)如上所述的一系列处理可以通过硬件或者软件来执行。当通过软件执行一系列处理时,组成该软件的程序安装在电脑中。这里,电脑包括合并了专用硬件的电脑和能够通过安装各种程序来执行各种功能的电脑,例如多用途个人电脑。图26是示出了通过程序执行如上所述的一系列处理的电脑的硬件的配置实例的方框图。在电脑200中,cpu(中央处理器)201、rom(只读存储器)202和ram(随机存取存储器)203通过总线204互相连接。输入/输出接口205也连接至总线204。连接至输入/输出接口205的是输入单元206、输出单元207、记录单元208、通信单元209和驱动210。输入单元206由键盘、鼠标、麦克风等组成。输出单元207由显示器、扬声器等组成。记录单元208由硬盘、非易失存储器等组成。通信单元209由网络接口等组成。驱动210驱动可移动媒介211例如磁盘、光盘、磁光盘和半导体存储器。在如上所述配置的电脑200中,例如,cpu201经由输入/输出接口205和总线204将存储在记录部分208中的程序加载在ram203中,并执行它从而实现如上所述的一系列处理。由电脑200(cpu201)执行的程序可以作为包媒介记录在可移动媒介211上,并且进行提供。此外,该程序可以经由有线或无线传输媒介例如局域网,因特网和数字卫星广播来提供。]在电脑200中,通过在驱动210执政者加载可移动媒介211,可以将程序经由输入/输出接口205安装在记录部分208中。该程序还可以经由有线或无线传输媒介由通信部分209接收并安装在记录部分208中。作为选择,该程序可以预先安装在rom202中或者记录部分208中。请注意,例如,待由电脑200执行的程序可以是其中按照说明书中描述的顺序以时间序列执行处理的程序或者其中并行地或者当调用时在必要的时间执行处理的程序。此外,在本说明书中,体系指的是一组多个组成元件(装置、模块(组件)等等),并且全部组成元件是否设置在同一壳体中是没关系的。因此,容纳在不同壳体中并且经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置都称为体系。请注意,在本公开描述的效果仅仅是实例并且不是限制性的,而且可能提供额外的效果。进一步地,本技术的实施方案不局限于以上实施方案并且可以在不脱离本技术的精神的情况下做出各种修改。例如,组成虚拟编辑列表信息的mediatime可以是“0”和“0xffffffff”以外的值。应注意,本技术可以具有以下配置。(1)一种信息处理装置,其包括:编辑列表生成单元,其在内容的再现起始时间晚于电影时间标度上内容的再现起始时间时在编辑列表中将该内容的顶部位置注册为该内容的再现起始位置并将预定值注册为该内容的再现持续时间,该编辑列表将该内容的再现起始位置与从该再现起始位置再现的该内容的再现持续时间相关联;和文件生成单元,其生成mp4fragmentedmovie格式的文件,该文件包含由该编辑列表生成单元生成的编辑列表和该内容。(2)根据以上(1)所述的信息处理装置,其中所述编辑列表生成单元配置为,当该内容的再现起始时间晚于该电影时间标度上的再现起始时间时,在该编辑列表中将表示什么都没有再现的信息注册为该内容的再现起始位置并将该内容的再现起始时间和该电影时间标度上的再现起始时间之间的差值注册为该内容的再现持续时间。(3)根据以上(1)或者2)所述的信息处理装置,其中该文件生成单元配置为将该编辑列表放入该文件的moov框中。(4)根据以上(1)至(3)中任何一个的信息处理装置,其中该预定值是0。(5)根据以上(1)至(3)中任何一个的信息处理装置,其中该预定值的全部位是1。(6)一种信息处理方法,其包括:编辑列表生成步骤,其包括,通过信息处理装置,在内容的再现起始时间晚于电影时间标度上内容的再现起始时间时在编辑列表中将该内容的顶部位置注册为该内容的再现起始位置并将预定值注册为该内容的再现持续时间,该编辑列表将该内容的再现起始位置与从该再现起始位置再现的该内容的再现持续时间相关联;和文件生成步骤,其包括,通过该信息处理装置,生成mp4fragmentedmovie格式的文件,该文件包含通过该编辑列表生成步骤生成的编辑列表和该内容。(7)一种信息处理装置,其包括:提取单元,其从mp4fragmentedmovie格式的文件中提取编辑列表,该文件包含该编辑列表和内容,当内容的再现起始时间晚于电影时间标度上内容的再现起始时间时,分别将该内容的顶端位置和预定值注册为该编辑列表中该内容的再现起始位置和从该再现起始位置再现的该内容的再现持续时间,该编辑列表将该内容的再现起始位置与该内容的再现持续时间相关联;和再现单元,其在该内容的再现起始时间晚于电影时间标度上该内容的再现起始时间时,基于该提取单元提取的编辑列表在比该电影时间标度上的再现起始时间晚了该内容的再现起始时间和该电影时间标度上的再现起始时间之间的差值的时间再现该内容。(8)根据以上(7)所述的信息处理装置,其中在该内容的再现起始时间晚于该电影时间标度上的该内容的再现起始时间时在该编辑列表中将表示什么都没有再现的信息和该差值分别注册为该内容的再现起始位置和该内容的再现持续时间。(9)根据以上(7)或者(8)的信息处理装置,其中将该编辑列表放入该文件的moov框中。(10)根据以上(7)至(9)中任何一个的信息处理装置,其中该预定值是0。(11)根据以上(7)至(9)中任何一个的信息处理装置,其中该预定值的全部位是1。(12)一种信息处理方法,其包括:提取步骤,其包括,通过信息处理装置,从mp4fragmentedmovie格式的文件中提取编辑列表,该文件包含该编辑列表和内容,当内容的再现起始时间晚于电影时间标度上内容的再现起始时间时,分别将该内容的顶端位置和预定值注册为该编辑列表中该内容的再现起始位置和从该再现起始位置再现的该内容的再现持续时间,该编辑列表将该内容的再现起始位置与该内容的再现持续时间相关联;和再现步骤,其包括,通过该信息处理装置,在该内容的再现起始时间晚于电影时间标度上该内容的再现起始时间时,基于该提取单元提取的编辑列表在比该电影时间标度上的再现起始时间晚了该内容的再现起始时间和该电影时间标度上的再现起始时间之间的差值的时间再现该内容。参考符号列表11文件生成装置,14电影再现终端,62编辑列表生成单元,63多路复用器63,81解复用器,84再现单元。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1