1.本发明涉及信息处理装置、信息处理方法、再现处理装置以及再现处理方法。
背景技术：
：：2.近年来，超文本传输协议上的运动图像专家组动态自适应流(mpeg-dash)等已经开始作为因特网上的流服务的基本技术而普及。另外，在使用mpeg-dash的流式传输中，例如，使用在用于分发的国际标准化组织基本媒体文件格式(isobmff)文件中存储视频数据和音频数据的技术。此处，isobmff是mpeg-4文件格式的标准。3.另外，mpeg-ipart5基于视频的点云(pointcloud)压缩(iso/iec23090-5)规定了点云的压缩方法，点云是在三维空间中同时具有位置信息和属性信息(特别是颜色信息)的点的集合。压缩方法之一是如下所描述的称为基于视频的点云编码(v-pcc)的方法。在v-pcc中，将点云分割成多个区域，并且将每个区域投影到平面上以生成包括颜色信息等的属性图像、包括深度信息的几何图像、占用图像以及用于使用面片(patch)重建点云的信息元数据。元数据包括面片序列和序列参数集。然后由视频编解码器对这三个图像进行编码，并且生成总共四个分量流。另外，在具有多条音频信息和字幕信息的视频内容的情况下，还将多个分量流存储在v-pcc中的各个轨道中。在下文中，将通过使用v-pcc技术进行解码的视频内容称为“v-pcc内容”。4.然而，由于v-pcc内容中的多个分量流包括诸如时间信息和编解码器信息的公共元素，因此在分量流存储在各个轨道中的情况下，冗余地存储文件管理信息。因此，在将相应的分量流存储在不同轨道中的方法中，可以想到的是诸如isobmff的moov和voof的管理信息是冗余的。5.为了区分公共信息和在特别用于管理的分量流的信息并且减少信息量，已经提出了使用muxed(多路复用)轨道的方法，在该方法中，多个分量流存储在一个轨道中。6.引用列表7.非专利文献8.非专利文献1：iso/iec14496-12:2015informationtechnology.codingofaudio-visualobject.part12:isobasemediafileformat,2015年12月。技术实现要素：9.技术问题10.然而，在所提出的使用多路复用轨道的方法中，尽管可以减少信息量，但是难以关联根据每个分量流而切换的编解码器信息。因此，在所提出的使用多路复用轨道的方法中，难以动态地改变分量流的编码参数。11.因此，本公开内容提供了减少信息量并且向观看者提供高质量观看体验的信息处理装置、信息处理方法、再现处理装置和再现处理方法。12.问题的解决方案13.根据本公开内容，预处理单元单独地生成用于对内容流中的每一个subsample进行解码的subsample信息，所述内容流包括作为分量流的多个subsample。文件生成单元生成包括由预处理单元生成的subsample1信息的文件。附图说明14.图1是分发系统的示例的系统配置图。15.图2是文件生成装置的框图。16.图3是示出subsampleentrybox的语法的示例的图。17.图4是示出subsampletochunkbox的语法的示例的图。18.图5是示出根据第一实施方式的存储在isobmff文件中的每一条信息的图。19.图6是示出subsampleentrybox的存储状态的图。20.图7是示出取决于分片的存在或不存在的subsampleentrybox和subsampletochunkbox的存储状态的图。21.图8是客户端装置的框图。22.图9是根据第一实施方式的由文件生成装置执行的文件生成处理的流程图。23.图10是根据第一实施方式的由客户端装置执行的再现处理的流程图。24.图11是示出根据第一实施方式的修改例的subsampletohandlerbox和subsampleentrybox的语法的示例的图。25.图12是用于描述参数集的存储状态的图。26.图13是示出取决于分片的存在或不存在的subsampleentrybox和tr_flags的存储状态的图。27.图14是根据第二实施方式由文件生成装置执行的文件生成处理的流程图。28.图15是根据第二实施方式的由客户端装置执行的再现处理的流程图。29.图16是示出matroska媒体容器的格式的图。30.图17是计算机的硬件配置图。具体实施方式31.在下文中，将参照附图详细描述本公开内容的实施方式。注意，在下面的每个实施方式中，相同的附图标记被分配给相同的部件，并且将省略重复描述。另外，本技术中所公开的范围不限于实施方式的内容，并且包括在提交时已知的以下非专利文献中描述的内容。32.非专利文献1：(上述非专利文献1)33.非专利文献2：n18413,wdofiso/iec23090-10carriageofpcdata,第126届mpeg会议，日内瓦，瑞士，2019年3月。34.非专利文献3：n18180,technologiesunderconsiderationoncarriageofpcdata，第126届mpeg会议，日内瓦，瑞士，2019年3月。35.非专利文献4：m47257，pccfileformatconsideration，第126届mpeg会议，日内瓦，瑞士，2019年3月。36.上述非专利文献中描述的内容也通过引用并入本实施方式。即，上述非专利文献中描述的内容也用作确定支持要求的基础。例如，即使在未在本发明的详细描述中直接定义非专利文献1中描述的文件结构中和非专利文献2中描述的v-pcc文件结构中使用的术语的情况下，它们也落入本公开内容的范围内并且满足权利要求的支持要求。另外，例如，即使未在本发明的详细描述中直接定义诸如解析、语法和语义的技术术语，它们也在本公开内容的范围内并且满足权利要求的支持要求。37.此外，将根据以下顺序的项描述本公开内容。38.1.第一实施方式39.1.1第一实施方式的修改例40.2.第二实施方式41.2.1第二实施方式的修改例42.3.第三实施方式43.[1.第一实施方式][0044](根据第一实施方式的分发系统的配置)[0045]图1是分发系统的示例的系统配置图。分发系统100包括：作为信息处理装置的文件生成装置1、作为再现处理装置的客户端装置2以及web服务器3。文件生成装置1、客户端装置2和web服务器3连接至网络4。然后，文件生成装置1、客户端装置2和web服务器3可以经由网络4彼此通信。此处，尽管在图1中示出了一个文件生成装置1和一个客户端装置2，但是分发系统100可以包括多个文件生成装置1和多个客户端装置2。[0046]文件生成装置1生成作为用于提供视频的数据的视频内容。根据本实施方式的由文件生成装置1生成的视频内容的内容流包括多个分量流。例如，根据本实施方式的由文件生成装置1生成的视频内容包括v-pcc内容。文件生成装置1将生成的视频内容上载到web服务器3。此处，本实施方式描述了web服务器3将视频内容提供给客户端装置2的配置，但是分发系统100可以采用另一配置。例如，另一配置可以被配置成使得文件生成装置1包括web服务器3的功能、将所生成的视频内容存储在文件生成装置1自身中，并且将所生成的视频内容提供给客户端装置2。[0047]web服务器3保存从文件生成装置1上载的视频内容。然后，web服务器3根据来自客户端装置2的请求提供指定的视频内容。[0048]客户端装置2向web服务器3发送视频内容传输请求。然后，客户端装置2从web服务器3获取由传输请求指定的视频内容。然后，客户端装置2对视频内容进行解码以生成显示视频，并且在诸如监视器的显示装置上显示该显示视频。[0049](根据第一实施方式的文件生成装置的配置)[0050]接下来，将描述文件生成装置1的细节。图2是文件生成装置的框图。如图2所示，作为信息处理装置的文件生成装置1包括文件生成处理单元10、控制单元11和传输单元12。控制单元11执行与文件生成处理单元10的控制有关的处理。例如，控制单元11以集中方式控制文件生成处理单元10等的每个单元的操作定时。文件生成处理单元10包括数据获取单元101、预处理单元102、编码单元103和文件生成单元104。[0051]数据获取单元101获取用于显示视频的视频内容的原始数据。视频内容的原始数据包括控制信息和作为一系列图像的图像序列中包括的每个图像的图像数据。例如，控制信息包括关于每条图像数据的时间信息的信息。数据获取单元101将控制信息和所获取的视频内容的图像序列中包括的图像数据输出至预处理单元102。[0052]预处理单元102从数据获取单元101接收控制信息和图像序列中包括的图像数据的输入。然后，预处理单元102基于所获取的数据确定图像序列的比特流配置。在这种情况下，预处理单元102确定将多个分量流的数据存储在一个轨道中。[0053]具体地，多个分量流中的每一个被称为“subsample”，并且将作为包括多个subsample的一个sample的比特流的数据存储在一个轨道中。在下文中，将存储多个分量流的数据的轨道称为“muxed轨道”。例如，在使用v-pcc进行解码的情况下，预处理单元102确定将一个sample的数据存储在muxed轨道中，其中属性图像、几何图像、占用图像和元数据中的每一个的分量流是subsample。此处，将描述执行将一个内容划分成多片的分片的情况。[0054]接下来，预处理单元102生成包括管理信息的sampleentry，该管理信息例如是muxed轨道中sample的编码参数。例如，muxed轨道中sample的编码参数包括指示sample是muxed轨道的信息、指示sample的编解码器是v-pcc的信息等。[0055]此外，预处理单元102通过使用控制信息生成subsample相关信息。此处，subsample相关信息是与对应于muxed轨道中包括的每个分量的subsample相关的信息。例如，subsample相关信息包括subsampleentrybox。[0056]图3是示出subsampleentrybox的语法的示例的图。component_id是用于唯一标识存储在muxed轨道中的每个分量流的标识符。此处，在本实施方式中，确定component_id以对应于sample中的subsample的逻辑位置次序。因此，由于component_id与subsample的逻辑位置相联系，因此可以指定与component_id对应的subsampleentry。然而，本发明不限于此，并且预处理单元102可以通过在作为subsample的访问信息的subsampleinfomationbox的codec_specific_parameter和subsumpleentrybox的muxted_stream_specific_type中设置相同的标识符，使component_id与subsampleentry相联系。该component_id对应于sample中moov的tack_id。[0057]图3的语法中的handler_type表示作为每个分量流的媒体属性信息的处理程序信息。处理程序信息对应于“第二相关信息”的示例。例如，在视频的情况下，将handler_type设置为vide，而在音频的情况下，将handler_type设置为soun。由该handler_type确定subsampleentry的类别。[0058]图3的语法中的muxed_stream_specific_type是用于标识muxed轨道中的每个分量流的类型的类型信息。例如，在v-pccsample中，由于属性图像、几何图像和占用图像是相同的视频媒体，所以将相同的属性“vide”设置为hanlder_type。因此，可以通过将属性图像中的attr、几何图像中的geom、占用图像中的occu等设置为muxed_stream_specific_type来识别每个分量流。complement_id和muxed_stream_specific_type对应于“第一相关信息”的示例。[0059]图3的语法中的subsampleentry()具有类似于track的sampleentry()的结构。在handler_type是vide的情况下，将visualsampleentry设置为subsampleentry，而在handler_type是soun的情况下，将audiolsampleentry设置为subsampleentry。即，在subsampleentry中，为每个handler_type定义subsampleentry的类别。为每个分量流定义subsampleentrybox。例如，在使用v-pcc进行解码的情况下，针对属性图像、几何图像、占用图像和元数据的每个分量流存储subsampleentrybox。注意，可以将subsampleentrybox定义为具有for循环结构，使得可以在一个box结构中设置每个分量流的信息。[0060]此外，图2中的预处理单元102生成subsample对应信息。subsample对应信息是用于使得muxed轨道的sample中包括的每个subsample与每条subsample相关信息相联系的信息。[0061]例如，预处理单元102将作为subsample的分量流的识别信息的component_id和用于标识分配给subsample的subsampleentry的任意数目设置为subsample对应信息。为此，将与每个subsample对应的subsampletochunkbox设置为subsample对应信息。[0062]图4是示出subsampletochunkbox的语法的示例的图。图4的语法中的first_sub_sample_number表示应用了由下面的sub_sample_entry_inedx指定的subsampleentry的sample的数目，更具体地，表示构成sample并且按时间序列排列的多个subsample中的第一subsample的数目。另外，sub_sample_entry_inedx表示从由subsampleentry指示的第一subsample的数目应用到subsample的数目的subsampleentry的识别信息，该subsample的数目在下一个subsampletochunkbox中的由first_sub_sample_number指示的数目之前。该信息对应于用于使得subsample与subsampleentry的信息相联系的示例。[0063]以这种方式，预处理单元102可以通过生成subsample对应信息来设置与每个subsample对应的subsampleentry。这使得能够为每个subsample动态地设置subsampleentry。[0064]此处，可以设置的是可以为每个分量流生成subsampletochunkbox，但是预处理单元102可以将subsampletochunkbox定义为具有for循环结构，使得可以将每个分量流设置在一个box结构中。[0065]此外，预处理单元102生成每个图像的元数据和指示比特流的访问信息的元数据。另外，预处理单元102还生成诸如关于何种编解码器用于压缩的信息的控制信息作为元数据。[0066]然后，预处理单元102将包括在图像序列中的每条图像数据和诸如编解码器信息的元数据输出至编码单元103。此外，预处理单元102将包括subsample相关信息、subsample对应信息、每个图像的信息、比特流的访问信息等的元数据输出至文件生成单元104。[0067]编码单元103接收包括在图像序列中的每个图像的图像数据的输入。然后，编码单元103对图像序列中的每个图像的图像数据进行编码以生成编码流。在本实施方式中，编码单元103生成多个分量流作为编码流。例如，在由v-pcc执行解码的情况下，编码单元103生成属性图像、几何图像、占用图像和元数据的四个分量流作为编码流。每个分量流包括每个对应图像或元数据的比特流。将比特流的数据存储在每个帧或每个关联帧的轨道中。根据本实施方式的编码单元103将多个比特流的数据存储在一个轨道中以生成muxed轨道。编码单元103将生成的编码流输出至文件生成单元104。[0068]文件生成单元104从编码单元103接收包括多个分量流的编码流的输入。另外，文件生成单元105从预处理单元102接收包括subsample相关信息和subsample对应信息的元数据的输入。[0069]文件生成单元104将包括在muxed轨道中的subsample的编码参数存储在sampleentrybox中。另外，文件生成单元104重新定义存储subsample相关信息的subsampleentrybox，并且将subsampleentrybox存储在isobmff文件的moov中的sampletablebox中。[0070]此外，文件生成单元104重新定义存储subsample对应信息的subsampletochunkbox，并且在执行分片的情况下将subsampletochunkbox存储在作为isobmff的文件头部区域的moof中。因此，文件生成单元104将以片分片状态存储在每个mdat中的subsample与存储在moov中的每个subsampleentry相关联。[0071]此处，本实施方式已经描述了执行分片的情况，但是本实施方式的配置也可以应用于不执行分片的情况。在这种情况下，文件生成单元104将subsmapletochunkbox设置在sampletablebox中。[0072]文件生成单元105将用于每个片段的isobmff文件中的subsampleentrybox和subsampletochunkbox连同图像数据和每个分量流的元数据一起存储，从而创建文件。具体地，文件生成单元105生成isobmff文件，该isobmff文件包括作为管理信息的(moov)、作为分片视频信息的(mdat)以及每条视频信息的管理信息(moof)。mdat是isobmff文件中的数据区域。另外，moov和moof是isobmff中的头部区域。如上所述，然后，文件生成单元105将subsampleentrybox存储在moov的sampletable中，并且还将subsampletochunkbox存储在每个moof的trackfragment中。以这种方式，文件生成单元105生成视频内容的片段文件。[0073]此处，将参照图5共同描述由文件生成单元105存储的每条信息。图5是示出根据第一实施方式的存储在isobmff文件中的每条信息的图。图5示出了一组moof和mdat，但是实际上，存在具有类似结构的多组moof和mdat。[0074]包括sample131和sample132的多个sample存储在mdat中。包括sample131和sample132的各个sample是muxed轨道。然后，sample131包括多个subsample，多个subsample包括用于不同分量流的subsample141至subsample143。类似地，sample132也包括多个subsample，多个subsample包括用于不同分量流的subsample144至subsample146。[0075]sampletablebox110设置在moov中。然后，sampleentrybox111设置在sampletablebox110中。然后，sampleentry112和sampleentry113存储在sampleentrybox111中。图5示出了sampleentry112和sampleentry113，但实际上，存在数目与包括sample131至sample132的sample数目对应的sampleentries。包括sampleentry112和sampleentry113的sampleentries存储包括sample131至sample132的各个sample的v-pcc信息、指示muxed轨道的信息等。[0076]另外，sampletablebox110存储包括subsampleentrybox114的多个子subsampleentryboxes。为muxed轨道中包括的每种类型的分量流提供包括subsampleentrybox114的多个subsampleentryboxes。然后，subsampleentrybox114存储包括subsampleentry115和subsampleentry116的多个subsampleentries。图5示出了subsampleentry115和subsampleentry116，但实际上，存在与对应于包括sample131至sample132的所有sample的变量的模式的数目一样多的subsampleentries。为包括subsampleentry115和subsampleentry116的subsampleentries的每一个中的每个handler_type定义类别。[0077]trackfragment120设置在moof中。然后，trackrunbox121设置在trackfragment120中。trackrunbox121具有用于将包括sample131至sample132的各个sample与sampleentry112至sampleentry113相关联的信息。[0078]另外，包括subsampletochunkbox122的多个subsampletochunkboxes设置在trackfragment120中。包括subsampletochunkbox122的多个subsampletochunkboxes具有用于将包括subsample141至subsample146的各个subsample与subsampleentry115和subsampleentry116相关联的信息。[0079]例如，假设作为subsample141的数目的sub_sample_number为1，并且作为subsample144的数目的sub_sample_number为16。此外，假设：在subsampletochunk122中，在first_sub_sample_numbe为1的情况下的sub_sample_entry_index为1，并且在first_sub_sample_numbe为16的情况下的sub_sample_entry_index为2。此外，假设subsumpleentry115的sub_sample_entry_index为1，并且子subsumpleentry116的sub_sample_entry_index为2。[0080]将描述在此条件下客户端装置2对sample131和sample132进行连续解码的情况。客户端装置2对包括被包括在sample131中的subsample141至subsample143的subsample进行解码。此时，例如，当对subsample141进行解码时，客户端装置2基于first_sub_sample_number指定具有subsample141的信息的subsampletochunkbox122。然后，客户端装置2根据subsampletochunkbox122中存储的component_id指定要使用的subsampleentrybox114，并且使用sub_sample_entry_index来进一步指定管理subsampleentrybox114中的subsample141的信息的subsunpleentry115。然后，客户端装置2使用存储在subsunpleentry115中的诸如处handler_type的信息来对subsample141进行解码。[0081]接下来，客户端装置2继续对sample132进行解码，并且类似地指定管理subsample146的信息的subsumpleentry116。然后，客户端装置2使用subsunpleentry116的信息来对subsample144进行解码。以这种方式，客户端装置2可以使用subsampleentrybox和subsampletochunkbox对muxed轨道进行解码。[0082]图6是示出subsampleentrybox的存储状态的图。图6示出了另一方法中的subsmapleentrybox的存储状态。如图6所示，文件生成单元105将subsmapleentrybox设置在由box150指示的moov的box151中，并且将subsampletochunkbox设置在box152中。[0083]另外，图7是示出了取决于分片的存在或不存在的subsampleentrybox和subsampletochunkbox的存储状态的图。在不执行电影分片的情况下，如图7的文件160所示，对于一个视频内容存在一个moov和一个mdat。在这种情况下，文件生成单元105将subsampleentrybox和subsampletochunkbox存储在moov中，如box161所指示的。[0084]另一方面，在执行电影分片的情况下，如图7的文件170中所示的，对于一个视频内容，存在一个moov和多组的一个moof和一个mdat。在这种情况下，文件生成单元105将由box171指示的subsampleentrybox设置在moov中。此外，文件生成单元105将由box172至box174指示的subsampletochunkboxes设置在相应的moof中。[0085]返回至图2，将继续该描述。此后，文件生成单元105将包括muxed轨道的sample的视频内容的片段文件输出至传输单元12。[0086]传输单元12从文件生成单元105接收视频数据的片段文件的输入。然后，传输单元12将获取的视频数据的片段文件上载至web服务器3。[0087](根据第一实施方式的客户端装置的配置)[0088]图8是客户端装置的框图。如图8所示，客户端装置2包括再现处理单元20和控制单元21。控制单元21控制再现处理单元20的每个单元的操作。例如，控制单元21以集中方式控制再现处理单元20的每个单元的操作定时。再现处理单元20包括文件获取单元201、文件处理单元202、解码处理单元203、显示控制单元204、显示信息生成单元205和显示单元206。[0089]文件获取单元201从文件处理单元202接收视频内容获取请求的输入。然后，文件获取单元201从web服务器3获取指定视频内容的片段文件。此后，文件获取单元201将所获取的片段文件输出至文件处理单元202。[0090]文件处理单元202从显示控制单元204接收用于要再现的指定视频内容或用于随机访问的操作命令的输入。然后，文件处理单元202响应于操作命令选择视频内容，并且将获取所选择的视频内容的请求输出至文件获取单元201。[0091]此后，文件处理单元202从文件获取单元201接收已经做出传输请求的视频内容的片段文件的输入。然后，文件处理单元202从获取的片段文件中提取编码流的数据，并且将数据输出至解码处理单元203。另外，文件处理单元202从获得的片段文件获得元数据，并且将元数据输出至显示信息生成单元205。[0092]解码处理单元203从文件处理单元202接收编码流的数据的输入。然后，解码处理单元203通过使用存储在subsampleentrybox和subsampletochunkbox中的信息来指定与每个分量流的subsample对应的subsampleentry，并且通过使用所指定的subsampleentry来对每个分量流的subsample进行解码。因此，解码处理单元203对包括在编码流中的每个分量流进行解码。此后，解码处理单元203将解码的每个分量流的数据输出至显示信息生成单元205。[0093]显示控制单元204通过输入装置(未示出)接收来自操作者的操作命令。然后，在切换视频内容的操作命令的情况下，显示控制单元204将操作命令输出至文件处理单元202。另外，在移动视点的操作命令的情况下，显示控制单元204将所获取的操作命令输出至显示信息生成单元205。[0094]显示信息生成单元205从解码处理单元203接收针对每个分量流的经解码的比特流的数据的输入。另外，显示信息生成单元205从文件处理单元202接收元数据的输入。此外，显示信息生成单元205从显示控制单元204接收操作命令的输入。[0095]然后，显示信息生成单元205使用所获取的比特流和元数据来执行响应于操作命令的显现，并且生成显示图像。此后，显示信息生成单元205将生成的显示图像提供给显示单元206。[0096]显示单元206包括诸如监视器的显示装置。显示单元206接收由显示信息生成单元205生成的显示图像的输入。然后，显示单元206使显示装置显示所获取的显示图像。[0097](根据第一实施方式的文件生成过程)[0098]接下来，将参照图9详细描述根据第一实施方式的由文件生成装置1执行的文件生成处理的流程。图9是根据第一实施方式的由文件生成装置执行的文件生成处理的流程图。[0099]数据获取单元101从web服务器3获取视频内容的原始数据。然后，预处理单元102将包括在由数据获取单元101获取的所获取的原始数据中的要编码的图像数据和控制信息输出至编码单元103。预处理单元102通过使用包括在获取的原始数据中的控制信息来设置sampleentry中的muxed轨道的编码参数(步骤s101)。[0100]接下来，预处理单元102设置subsampleentry中每个分量的编码参数(步骤s102)。即，预处理单元102生成subsample相关信息，其中在相关信息中与component_id、muxed_stream_specific_type和handler_type_type一起设置每个分量的subsampleentry。[0101]另外，预处理单元102根据subsample的编解码器信息以及sample和subsample的排列生成subsample对应信息(步骤s103)。然后，预处理单元102将图像数据和元数据输出至编码单元103。此外，预处理单元102将包括subsample相关信息和subsample对应信息的元数据输出至文件生成单元104。[0102]编码单元103从数据获取单元101接收图像数据和元数据的输入。然后，编码单元103对图像数据和元数据进行编码以生成每个分量流的编码数据(步骤s104)。此后，编码单元103将每个分量流的经编码的数据输出至文件生成单元104。[0103]文件生成单元104从编码单元103接收每个分量流的经编码的数据的输入。另外，文件生成单元104从预处理单元102接收包括subsample相关信息和subsample对应信息的元数据的输入。然后，文件生成单元104获取每个分量流中的每个subsample的编解码器信息(步骤s105)。[0104]接下来，文件生成单元104通过收集各个分量的subsample作为sample来创建muxed轨道、设置mdat中的sample并且设置sample信息(步骤s106)。即，文件生成单元104将每个muxed轨道的sampleentry存储在moov的sampletable中设置的sampleentrybox中。[0105]接下来，文件生成单元104将subsampletocunkbox存储在moof中(步骤s107)。[0106]然后，文件生成单元104生成具有muxed轨道的isobmff文件，该muxed轨道包括每个分量的分量流(步骤s108)。此后，传输单元108将由文件生成单元104生成的视频内容的片段文件上载至web服务器3。[0107](根据第一实施方式的再现处理的过程)[0108]接下来，将参照图10描述根据第一实施方式的由客户端装置2执行的再现处理的流程。图10是根据第一实施方式的由客户端装置执行的再现处理的流程图。[0109]文件获取单元201从web服务器3获取要再现的视频内容的片段文件。文件处理单元202对由文件获取单元201获取的视频内容的片段文件进行解析。然后，文件处理单元202从isobmff文件获取sample和sampleentry。此后，文件处理单元202将所获取的sample和sampleentry输出至解码处理单元203。另外，文件处理单元202将元数据输出至显示信息生成单元205。解码处理单元203获取sample和sampleentry并且设置解码(步骤s201)。[0110]接下来，解码处理单元203针对在所获取的sample中多路复用的每个subsample从subsampletocunkbox指定对应的subsampleentry，设置每个分量的解码，并且对每个分量流的数据进行解码(步骤s202)。[0111]显示信息生成单元205从解码处理单元203获取每个分量流的解码数据。另外，显示信息生成单元205从显示控制单元204获取操作命令。然后，显示信息生成单元205执行以下显示处理：响应于操作命令，使用每个分量流的数据来执行显现以生成显示图像，以及使显示单元207显示显示图像(步骤s203)。[0112]此后，文件处理单元202、解码处理单元203、显示控制单元204和显示信息生成单元205确定是否继续进行再现处理(步骤s204)。例如，在从用户输入停止命令等的情况下，文件处理单元202、解码处理单元203、显示控制单元204和显示信息生成单元205确定不继续进行再现处理。在继续进行再现处理的情况下(步骤s204：是)，视频再现处理返回至步骤s201。另一方面，在完成对视频内容的所有图像数据的解码的情况下(步骤s204：否)，文件处理单元202、解码处理单元20、显示控制单元204和显示信息生成单元205结束视频再现处理。[0113]如上所述，根据本实施方式的文件生成装置定义包括在muxed轨道中的每个分量流的媒体属性，并且将该属性与包括每个分量流的编解码器的属性信息的subsampleentry相关联。此外，文件生成装置通过使用subsampletochunkbox将能够动态改变的每个分量流的编解码器的属性信息与每个分量流的subsampleentry相关联。因此，由于多个分量流包括在一个轨道中，所以可以共享每个分量流的时间信息等，并且可以减少信息量。即，可以减少信息量并且为观看者提供高质量的观看体验。另外，对于集中存储在单个轨道中的每个分量流，可以实现到目前为止已经使用轨道实现的isobmff的机制，其中定义了作为轨道的媒体属性信息的处理程序信息、定义了表示编解码器属性信息的sampleentry，并且sample的编解码器信息与sampleentry动态地相关联。[0114][1.1第一实施方式的修改例][0115]接着，将描述第一实施方式的修改例。在第一实施方式中，作为与每个subsample对应的分量流的类型信息的处理程序信息被存储在subsampleentrybox中。然而，sampleentry存储sample特定信息，并且因此优选地，subsampleentry存储subsample特定信息。[0116]因此，在本修改例中，与包括在muxed轨道中的每个subsample对应的分量流的处理程序的信息被存储在与subsampleentrybox不同的文件的头部区域中。图11是示出根据第一实施方式的修改例的subsampletohandlerbox和subsampleentrybox的语法的示例的图。[0117]预处理单元102重新定义并且生成指示由语法181表示的subsamplehandlerbox的内容的subsample处理程序信息。在这种情况下，预处理单元102在subsample处理程序信息中设置作为subsample的识别信息的component_id和作为与每个subsample对应的分量流的处理程序的信息的handler_type。[0118]另外，预处理单元102生成指示由语法182表示的subsampleentrybox的内容的subsample相关信息。在这种情况下，预处理单元102在subsample相关信息中设置作为subsample的识别信息的component_id和指示与每个subsample对应的分量流的类型的muxed_stream_specific_type。此外，预处理单元102还在subsample相关信息中设置subsampleentry()。[0119]即，在subsample相关信息中设置subsample特定信息。同时，在subsample处理程序信息中，存储与subsample对应的分量流的处理程序的信息。subsample处理程序信息和subsample相关信息两者都通过component_id彼此相联系并且与subsample对应信息相联系。[0120]文件生成单元104从预处理单元102接收包括subsample相关信息、subsample处理程序信息和subsample对应信息的元数据的输入。然后，文件生成单元104重新定义由语法181表示的subsampleentrybox并且存储subsample相关信息，并且将subsampleentrybox存储在moov中。另外，文件生成单元104重定义由语法182表示的subsamplehandlerbox并且存储subsample处理程序信息，并且将subsamplehandlerbox存储在moov中。此外，文件生成单元104将包括subsample对应信息的subsampletochunkbox存储在moof中。然后，文件生成单元104生成存储每个分量流的isobmff文件。[0121]通过以这种方式配置subsamplehandlerbox和subsampleentrybox，subsampleentrybox也可以被配置成遵循sample与sampleentry之间的关系。[0122][2.第二实施方式][0123]根据本实施方式的文件生成装置1将subsample的参数集存储到subsample中，并且将该参数集同分量流一起传输。以下，将描述根据本实施方式的文件生成装置1。在图2的框图中也示出了根据本实施方式的文件生成装置1。另外，在图6的框图中也示出了根据本实施方式的客户端装置2。在下面的描述中，将省略对与第一实施方式相同的单元的操作的描述。[0124]图12是用于描述参数集的存储状态的图。如图12所示，预处理单元102确定参数集211存储在subsample中。参数集211包括用于初始化muxed轨道中的每个分量流的subsample的信息和用于将subsample与subsampleentry相关联的信息。例如，预处理单元102通过使用编解码器的补充增强信息(sei)将参数集211存储在subsample中。[0125]如上所述，根据本实施方式的预处理单元102通过使用编解码器和sei的参数集来传输与入站流中的每个分量流的sampleentry相关信息等效的信息。另一方面，在如第一实施方式的moof中，还可以通过将subsampletochunkbox设置在trackfragmentbox之下来存储与每个subsample的sampleentry相关的信息。然而，在使用trackfragmentbox的情况下，由于使用subsampletochunkbox来识别subsample与subsampleentry之间的链接，所以moof的消耗很大。[0126]即，与使用subsampletochunkbox的情况相比，根据本实施方式的预处理单元102可以减少moof的消耗。在这种情况下，需要通知客户端以入站流传输参数集211。然而，当定义新box时，产生moof的消耗，并且因此，优选地，使用现有box的保留位。因此，根据本实施方式的预处理单元102执行以下定义。[0127]预处理单元102通过将比特分配给用于以入站流传输针对每个分量流的subsample的参数集211的通知来重新定义tracktunbox的tr_frag的未定义比特。用于该通知的信息对应于“存储通知信息”的示例。在本实施方式中，预处理单元102将tr_flags的比特0x800000分配给用于以入站流传输针对每个分量流的sybsample的参数集211的通知。然后，预处理单元102向文件生成单元通知subsample中参数集211的存储和tr_flag的0x800000比特的启用。因此，预处理单元102不需要在作为每个分段头部区域的moof中存储subsampletochunkbox。[0128]另外，预处理单元102生成每个分量流的subsampleentry。在这种情况下，由于以入站流传输参数集211，所以预处理单元102在subsampleentry中设置指示是否能够由执行再现处理的应用使用每个subsample的能力信息。能力信息的示例包括指示编解码器的类型的信息、图像大小信息和帧表信息。[0129]文件生成单元104从预处理单元102接收将参数集211存储在subsampleentry和subsample中的通知以及tr_flag的比特0x800000的启用。如图12所示，然后，文件生成单元104将每个分量流的subsampleentry存储在moov中。[0130]另外，如图12所示，文件生成单元104将参数集211存储在subsample中。此外，文件生成单元104启用如box212所指示的trackrunbox中的tr_flag的比特0x800000，并且指示每个subsample的参数集211与mdat区域中的分量流的数据一起被传输。[0131]图13是示出取决于分片的存在或不存在的subsampleentrybox和tr_flag的存储状态的图。在不执行电影分片的情况下，如图13的文件220所示，文件生成单元105将由box221指示的subsampleentrybox存储在moov中。[0132]另一方面，在执行电影分片的情况下，如图13的文件230所示，文件生成单元104将由box231指示的subsampleentrybox设置在moov中。此外，文件生成单元104在由各个moof的box232至box234指示的trackrunboxes中将tr_flag的比特0x800000的值设置为启用。[0133]同时，在客户端装置2中，文件处理单元202在对片段文件进行解析时获取每个subsample中包括的参数集。然后，文件处理单元202将参数集与每个分量流的比特流一起输出至解码处理单元203。[0134]解码处理单元203从文件处理单元202与每个分量流的比特流一起接收参数集的输入。然后，解码处理单元203使用所获取的参数集对每个比特流进行初始化。此后，解码处理单元203使用存储在subsampleentry中的编码参数来对每个分量流的数据进行解码。[0135](根据第二实施方式的文件生成过程)[0136]接下来，将参照图14详细描述根据第二实施方式的由文件生成装置1执行的文件生成处理的流程。图14是由根据第二实施方式的由文件生成装置执行的文件生成处理的流程图。[0137]数据获取单元101从web服务器3获取视频内容的原始数据。然后，预处理单元102将包括在由数据获取单元101获取的所获取的原始数据中的要编码的图像数据和控制信息输出至编码单元103。预处理单元102通过使用包括在获取的原始数据中的控制信息来设置sampleentry中的muxed轨道的编码参数(步骤s301)。[0138]接下来，预处理单元102设置subsampleentry中每个分量的编码参数(步骤s302)。[0139]编码单元103从数据获取单元101接收图像数据和元数据的输入。然后，编码单元103对图像数据和元数据进行编码以生成每个分量流的编码数据(步骤s303)。此后，编码单元103将每个分量流的编码数据输出至文件生成单元104。[0140]接下来，文件生成单元104设置每个分量流的subsample中的编解码器信息(步骤s304)。因此，每个subsample的参数集被绑定至比特流。[0141]接下来，文件生成单元104通过收集各个分量的subsample作为一个sample来创建muxed轨道、设置mdat中的sample、并且设置sample信息(步骤s305)。[0142]接着，文件生成单元104将moof的tr_flag的比特0x800000的值设置为启用(步骤s306)。[0143]然后，文件生成单元104生成isobmff文件，该isobmff文件具有包括每个分量的分量流的muxed轨道(步骤s307)。此后，传输单元108将由文件生成单元104生成的视频内容的片段文件上载至web服务器3。[0144](第二实施方式的再现处理的过程)[0145]接下来，将参照图15描述根据第二实施方式的由客户端装置2执行的再现处理的流程。图15是根据第二实施方式的由客户端装置执行的再现处理的流程图。[0146]文件获取单元201从web服务器3获取要再现的视频内容的片段文件。文件处理单元202对由文件获取单元201获取的视频内容的片段文件进行解析。然后，文件处理单元202从isobmff文件获取sample和sampleentry。此后，文件处理单元202将所获取的sample和sampleentry输出至解码处理单元203。另外，文件处理单元202将元数据输出至显示信息生成单元205。解码处理单元203获取sample和sampleentry并且设置解码(步骤s401)。[0147]接着，解码处理单元203针对存储在所获取的sample中的多个subsample中的每一个获取添加至比特流的参数集。然后，解码处理单元203使用参数集和对应的subsampleentry的信息来对每个分量流进行解码(步骤s402)。[0148]显示信息生成单元205从解码处理单元203获取每个分量流的解码数据。另外，显示信息生成单元205从显示控制单元204获取操作命令。然后，显示信息生成单元205执行以下显示处理：响应于操作命令，使用每个分量流的数据来执行显现以生成显示图像，以及使显示单元207显示显示图像(步骤s403)。[0149]此后，文件处理单元202、解码处理单元203、显示控制单元204和显示信息生成单元205确定是否继续进行再现处理(步骤s404)。例如，在从用户输入停止命令等的情况下，文件处理单元202、解码处理单元203、显示控制单元204和显示信息生成单元205确定不继续进行再现处理。在继续进行再现处理的情况下(步骤s404：是)，视频再现处理返回至步骤s401。另一方面，在完成对视频内容的所有图像数据的解码的情况下(步骤s404：否)，文件处理单元202、解码处理单元20、显示控制单元204和显示信息生成单元205结束视频再现处理。[0150]如上所述，根据本实施方式的文件生成装置通过绑定至比特流来传输每个subsample的参数集。即，根据本实施方式的文件生成装置在流中传输每个分量流的编解码器属性信息，该编解码器属性信息在每个分量流的subsample中动态地改变。因此，可以通过在分片时在头部区域中设置subsampletochunkbox而省略将每个subsample与subsampleentry相联系，并且可以减少由于分片时的管理信息而引起的消耗。[0151][2.1第二实施方式的修改例][0152]在第二实施方式中，trackrunbox的tr_flag用于指示入站流，但是tr_flag的存储位置不限于此。例如，文件生成单元104可以通过使用与trackrunbox相同的层级中的trackfragmentheaderbox的tr_flag来将用于指示入站流的标志定义为整个片段的信息。[0153]另外，在trackfragmentbox之下未设置subsampletochunkbox的情况下，文件生成单元104可以使用以入站流传输每个subsample的subsampleentry的语义来执行定义。[0154]如上所述，除了使用trackrunbox的tr_flags之外，可以以入站流传输每个subsample的参数，并且在这样的情况下，可以减少由于分片时的管理信息而引起的消耗。除了使用tr_flag的情况之外的用于进行通知的信息也对应于“存储通知信息”的示例。[0155]在上述实施方式和修改例的每一个中描述的结构可以应用于除了v-pcc之外的包括多个分量流的流。[0156][3.第三实施方式][0157]上述实施方式及其修改例已经描述了在isobmff中进行存储的情况。然而，即使在通过使用如图16所示的matroska媒体容器(http://www.matroska.org/)执行传输的情况下，也可以定义多个分量流中的每一个的媒体属性，并且将每个分量流的编解码器属性信息与每个分量流的数据相关联。图16是示出matroska媒体容器的格式的图。在这种情况下，文件生成单元105将实施方式和修改例中的每一个的subsampleentrybox中存储的信息和subsampletochunkbox中存储的信息存储在trackentry元素中新定义的元素中。[0158][硬件配置][0159]图17是计算机的硬件配置图。文件生成装置1和客户端装置2可以由图17中示出的计算机90实现。在计算机90中，处理器91、存储器92、网络接口93、非易失性存储装置94、输入/输出接口95和显示接口86经由总线彼此连接。[0160]例如，诸如输入装置、输出装置、存储装置和驱动器的外部装置连接至输入/输出接口95。例如，输入装置是键盘、鼠标、麦克风、触摸面板、输入端子等。例如，输出装置是扬声器、输出端子等。例如，存储装置是硬盘、随机存取存储器(ram)盘等。例如，驱动器驱动可移动介质磁盘、光盘、磁光盘、或半导体存储器。另外，作为显示装置的显示器98连接至显示接口96。[0161]网络接口93连接至外部网络。文件生成装置1和客户端装置2经由网络接口93彼此连接。另外，文件生成装置1和客户端装置2经由网络接口93连接至web服务器3。非易失性存储94是内置的辅助存储装置，例如，硬盘或固态驱动器(ssd)。[0162]在如上所述配置的计算机90中，例如，处理器91经由总线将存储在非易失性存储装置94中的程序加载到存储器92中并执行该程序，从而执行上述的一系列处理。存储器92还适当地存储处理器91执行各种类型的处理所需的数据等。[0163]例如，可以通过将由处理器91执行的程序记录在作为封装介质等的可移动介质上来应用该程序。在这种情况下，通过将可移动介质附接到作为外部装置97的驱动器，可以经由输入/输出接口95将程序安装在非易失性存储装置94中。[0164]另外，也可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下，可以通过网络接口93接收该程序并且将其安装在非易失性存储装置94中。[0165]另外，该程序可以预先安装在非易失性存储装置94中。[0166]以上已经描述了本公开内容的实施方式，但是本公开内容的技术范围不限于以上描述的实施方式，并且可以在不脱离本公开内容的主旨的情况下做出各种改变。此外，可以适当地组合不同实施方式和修改例的分量。[0167]应当注意，本说明书中描述的效果仅是示例而非限制，并且可以获得其他效果。[0168]注意，本技术还可以具有以下配置。[0169](1)一种信息处理装置，包括：[0170]预处理单元，其单独地生成用于对内容流中的每一个subsample进行解码的subsample信息，所述内容流包括作为分量流的多个subsample；以及[0171]文件生成单元，其生成包括由所述预处理单元生成的subsample信息的文件。[0172](2)根据(1)所述的信息处理装置，其中，所述预处理单元使subsample相关信息被包括在所述subsample信息中，所述subsample相关信息对应于多个subsample中的每一个对应，并且包括subsample的标识信息、多个分量流的类型信息、subsample的媒体属性信息和编解码器属性信息。[0173](3)根据(2)所述的信息处理装置，其中，所述文件生成单元将所述subsample相关信息插入到具有单个头部区域和单个数据区域的文件格式的所述头部区域中，以生成其中将从多个分量流生成的单个内容流插入到所述数据区域中的文件。[0174](4)根据(2)所述的信息处理装置，其中，所述文件生成单元将所述subsample相关信息插入到下述文件格式的包括初始化信息的第一头部区域，以生成其中将从多个分量流生成的单个内容流划分并且插入到每一个数据区域中的文件，所述文件格式具有所述第一头部区域、多个数据区域以及与所述数据区域对应的多个第二头部区域。[0175](5)根据(2)所述的信息处理装置，其中，所述文件生成单元将所述subsample相关信息存储在subsampleentrybox中。[0176](6)根据(2)所述的信息处理装置，其中，其中，所述预处理单元使subsample对应信息进一步被包括在所述subsample信息中，所述subsample对应信息指示多个subsample与所述subsample相关信息之间的对应关系的。[0177](7)根据(6)所述的信息处理装置，其中，所述文件生成单元将所述subsample对应信息存储在所述文件的subsampletochunkbox中。[0178](8)根据(2)所述的信息处理装置，其中，所述预处理单元生成第一相关信息和第二相关信息，所述第一相关信息包括所述subsample相关信息中的、subsample的标识信息和分量流的类型信息，所述第二相关信息包括subsample的标识信息和subsample的媒体属性信息。[0179](9)根据(8)所述的信息处理装置，其中，所述文件生成单元将所述第一相关信息存储在subsamplehandlerbox中，并且将所述第二相关信息存储在subsampleentrybox中。[0180](10)根据(1)所述的信息处理装置，其中，所述预处理单元使用于解码的参数集被包括在所述subsample信息中。[0181](11)根据(10)所述的信息处理装置，其中，所述文件生成单元使所述subsample信息被包括在分量流中。[0182](12)根据(11)所述的信息处理装置，其中，所述文件生成单元生成指示所述subsample信息被包括在分量流中的存储通知信息，并且将所述存储通知信息存储在trackrunbox中。[0183](13)一种信息处理方法，使计算机执行以下处理：[0184]单独地生成用于对内容流中的每一个subsample进行解码的subsample信息，所述内容流包括作为分量流的多个subsample；以及[0185]生成包括所生成的subsample信息的文件。[0186](14)一种再现处理装置，包括：[0187]文件处理单元，其从根据下述文件格式生成的文件的头部区域获取用于对作为分量流的每一个subsample进行解码的subsample信息，所述文件格式具有所述头部区域和数据区域，在所述数据区域中存储包括多个subsample的内容流；以及[0188]解码处理单元，其基于由所述文件处理单元获取的所述subsample信息来对所述内容流进行解码。[0189](15)一种再现处理方法，使计算机执行以下处理：[0190]从根据下述文件格式生成的文件的头部区域获取用于对作为分量流的每一个subsample进行解码的subsample信息，所述文件格式具有所述头部区域和数据区域，在所述数据区域中存储包括多个subsample的内容流；以及[0191]基于所获取的subsample信息来对所述内容流进行解码。[0192]附图标记列表[0193]1文件生成装置[0194]2客户端装置[0195]3web服务器[0196]10文件生成处理单元[0197]11控制单元[0198]12传输单元[0199]20再现处理单元[0200]21控制单元[0201]100分发系统[0202]101数据获取单元[0203]102预处理单元[0204]103编码单元[0205]104文件生成单元[0206]201文件获取单元[0207]202文件处理单元[0208]203解码处理单元[0209]204显示控制单元[0210]205显示信息生成单元[0211]206显示单元当前第1页12当前第1页12