信息处理装置和方法与流程

本公开涉及信息处理装置和方法，具体涉及使得内容再现的鲁棒性得以改进的信息处理装置和方法。

背景技术：

在现有技术中，已经提出了在三维空间(也称为3d空间)中分布用于表达三维对象(也称为3d对象)的三维内容(也称为3d内容)的提议。另外，作为3d内容，例如，已经提出了6dof内容，该6dof内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置。

作为分发6dof内容的方法，例如，已经提出了下述方法：3d空间包括多个3d对象，并且将6dof内容作为多个对象流进行发送。在这种情况下，已经提出了使用例如称为场景描述(scenedescription)的描述方法。作为场景描述，已经提出了下述方法(mpeg-4场景描述)：将场景表达为被称为场景图的树层次结构的图，并且以二进制格式或文本格式表达该场景图。(例如，参见非专利文献1)。

[引用列表]

[非专利文献]

[非专利文献1]

“iso/iec14496-11”，第二版，2015-05-29

技术实现要素：

[技术问题]

然而，关于传输频带，场景描述不具有取决于传输频带来自适应地分发内容的功能。因此，在可以提供用于传输场景描述数据和媒体数据的足够的传输频带的情况下，可以进行再现，但是有限的传输频带可能会阻止客户端获取或再现数据或者导致再现中断。

考虑到这种情况，本公开的目的是使得能够改进内容再现的鲁棒性。

[问题的解决方案]

本技术的一个方面中的信息处理装置包括以下信息处理装置，该信息处理装置包括生成部，该生成部生成关于以下内容的元数据，该内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，所述元数据包括使得能够在分发所述内容时选择比特率的信息。

本技术的一个方面中的信息处理方法包括以下信息处理方法，该信息处理方法包括：生成关于以下内容的元数据，所述内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，所述元数据包括使得能够在分发所述内容时选择比特率的信息。

本技术的一个方面中的信息处理装置和方法生成关于以下内容的元数据，该内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，该元数据包括使得能够在分发内容时选择比特率的信息。

附图说明

[图1]

图1是示出场景图的示例的图。

[图2]

图2是示出节点的示例的图。

[图3]

图3是示出节点的语法的示例的图。

[图4]

图4是示出lod节点的示例的图。

[图5]

图5是示出场景图的示例的图。

[图6]

图6是示出分发系统的主要配置示例的框图。

[图7]

图7是示出文件生成装置的主要配置示例的框图。

[图8]

图8是示出客户端装置的主要配置示例的框图。

[图9]

图9是示出文件生成处理的流程的示例的流程图。

[图10]

图10是示出再现处理的流程的示例的流程图。

[图11]

图11是示出场景描述的示例的图。

[图12]

图12是示出mpd的示例的图。

[图13]

图13是示出场景描述的示例的图。

[图14]

图14是示出mpd的示例的图。

[图15]

图15是示出bitwrapper节点和movietexture节点的示例的图。

[图16]

图16是示出文件生成处理的流程的示例的流程图。

[图17]

图17是示出再现处理的流程的示例的流程图。

[图18]

图18是示出场景描述处理的流程的示例的流程图。

[图19]

图19是示出呈现处理的流程的示例的流程图。

[图20]

图20是示出场景描述的示例的图。

[图21]

图21是示出mpd的示例的图。

[图22]

图22是示出场景描述的示例的图。

[图23]

图23是示出mpd的示例的图。

[图24]

图24是示出bitwrapper节点和movietexture节点的示例的图。

[图25]

图25是示出场景描述的示例的图。

[图26]

图26是示出mpd的示例的图。

[图27]

图27是示出mpd的示例的图。

[图28]

图28是示出bitwrapper节点和movietexture节点的示例的图。

[图29]

图29是示出分发系统的主要配置示例的框图。

[图30]

图30是示出文件生成装置的主要配置示例的框图。

[图31]

图31是示出客户端装置的主要配置示例的框图。

[图32]

图32是示出文件生成处理的流程的示例的流程图。

[图33]

图33是示出再现处理的流程的示例的流程图。

[图34]

图34是示出clientselection节点的示例的图。

[图35]

图35是示出场景描述的示例的图。

[图36]

图36是示出文件生成处理的流程的示例的流程图。

[图37]

图37是示出再现处理的流程的示例的流程图。

[图38]

图38是示出场景描述处理的流程的示例的流程图。

[图39]

图39是示出bitwrapper节点和movietexture节点的示例的图。

[图40]

图40是示出文件生成处理的流程的示例的流程图。

[图41]

图41是示出再现处理的流程的示例的流程图。

[图42]

图42是示出mpd的示例的图。

[图43]

图43是示出mpd的示例的图。

[图44]

图44是示出再现处理的流程的示例的流程图。

[图45]

图45是示出场景描述处理的流程的示例的流程图。

[图46]

图46是示出文件生成处理的流程的示例的流程图。

[图47]

图47是示出再现处理的流程的示例的流程图。

[图48]

图48是示出clientselection节点的示例的图。

[图49]

图49是示出bitwrapper节点和movietexture节点的示例的图。

[图50]

图50是示出文件生成处理的流程的示例的流程图。

[图51]

图51是示出再现处理的流程的示例的流程图。

[图52]

图52是示出mpd的示例的图。

[图53]

图53是示出mpd的示例的图。

[图54]

图54是示出再现处理的流程的示例的流程图。

[图55]

图55是示出文件生成处理的流程的示例的流程图。

[图56]

图56是示出再现处理的流程的示例的流程图。

[图57]

图57是示出clientselection节点的示例的图。

[图58]

图58是示出bitwrapper节点和movietexture节点的示例的图。

[图59]

图59是示出quality的类型的示例的图。

[图60]

图60是示出mpd的示例的图。

[图61]

图61是示出clientselection节点的示例的图。

[图62]

图62是示出bitwrapper节点和movietexture节点的示例的图。

[图63]

图63是示出mpd的示例的图。

[图64]

图64是示出clientselection节点的示例的图。

[图65]

图65是示出bitwrapper节点和movietexture节点的示例的图。

[图66]

图66是示出mpd的示例的图。

[图67]

图67是示出再现处理的流程的示例的流程图。

[图68]

图68是示出比特率选择处理的流程的示例的流程图。

[图69]

图69是示出clientselection节点的示例的图。

[图70]

图70是示出bitwrapper节点和movietexture节点的示例的图。

[图71]

图71是示出lod节点的示例的图。

[图72]

图72是示出clientselection节点的示例的图。

[图73]

图73是示出bitwrapper节点和movietexture节点的示例的图。

[图74]

图74是示出lod节点的示例的图。

[图75]

图75是示出clientselection节点的示例的图。

[图76]

图76是示出mpd的示例的图。

[图77]

图77是示出比特率选择处理的流程的示例的流程图。

[图78]

图78是示出clientselection节点的示例的图。

[图79]

图79是示出bitwrapper节点和movietexture节点的示例的图。

[图80]

图80是示出了transform节点的示例的图。

[图81]

图81是示出比特率选择处理的流程的示例的流程图。

[图82]

图82是描绘部分3d对象的示例的图。

[图83]

图83是描绘用信号通知部分3d对象的场景描述的示例的图。

[图84]

图84是描绘用信号通知部分3d对象的场景描述的示例的图。

[图85]

图85是描绘用信号通知整个本体的场景描述的示例的图。

[图86]

图86是示出bitwrapper节点和movietexture节点的示例的图。

[图87]

图87是示出其中本体a包括四个部分3d对象的mpd的示例的图。

[图88]

图88是描绘向其中本体包括period的adaptationset发送信号的mpd的示例的图。

[图89]

图89是示出bitwrapper节点和movietexture节点的示例的图。

[图90]

图90是示出bitwrapper节点和movietexture节点的示例的图。

[图91]

图91是示出计算机的主要配置示例的框图。

具体实施方式

下面将描述用于实现本公开的模式(下文中称为实施方式)。描述按以下顺序进行。

1.支持技术内容、术语等的文献

2.6dof内容的分发

3.第一实施方式(比特率适配)

4.第二实施方式(用于统一控制比特率的信令)

5.第三实施方式(指示要获取的比特率的组合的信令)

6.第四实施方式(通过控制细节级别来选择比特率的信令)

7.第五实施方式(指示内容作者等的意图的信令)

8.第六实施方式(用于保持关注对象的细节级别的实施方法)

9.第七实施方式(包括部分3d对象的对象的信令)

10.补充功能

<1.支持技术内容、术语等的文献>

本技术中公开的范围包括以下列出的非专利文献中描述的以及在提交时众所周知的内容，以及实施方式中描述的内容。

非专利文献1：(上述)

非专利文献2：r.mekuria,studentmemberieee,k.blom,p.cesar.,member,ieee,"design,implementationandevaluationofapointcloudcodecfortele-immersivevideo,"tcsvt_paper_submitted_february.pdf

非专利文献3：telecommunicationstandardizationsectorofitu(internationaltelecommunicationunion),“advancedvideocodingforgenericaudiovisualservices,”h.264,04/2017

非专利文献4：telecommunicationstandardizationsectorofitu(internationaltelecommunicationunion),“highefficiencyvideocoding,”h.265,12/2016

非专利文献5：jianlechen,elenaalshina,garyj.sullivan,jens-rainer和jillboyce,“algorithmdescriptionofjointexplorationtestmodel4,”jvet-g1001_v1,jointvideoexplorationteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11第七次会议：都灵，意大利，2017年7月13日至7月21日

换言之，上面列出的非专利文献中描述的内容也构成了确定支持要求时的依据。例如，即使在实施方式不包括对非专利文献4中描述的四叉树块结构和非专利文献5中描述的qtbt(四叉树加二叉树)块结构的直接描述的情况下，也假定四叉树块结构和qtbt(四叉树加二叉树)块结构在本技术的公开范围内，并且满足对权利要求的支持要求。另外，例如，同样对于诸如解析、语法和语义之类的技术术语，即使在实施方式不包括对术语的直接描述的情况下，也假定该术语在本技术的公开范围内，并且满足对权利要求的支持要求。

<2.6dof内容的分发>

<2-1：内容>

在当前的视频分发中，二维视频(也称为2d内容)分发占主导地位。二维视频被用于电影等的发行。此外，正在进行360度视频分发，360度视频分发允许观看者在所有方向上环顾四周。360度视频也称为3dof(自由度)视频或3dof内容。对于2d内容和3dof内容二者，二维编码的视频基本上都在客户端处分发和显示。

此外，还可以使用称为3dof+内容的内容。3dof+内容使观看者能够像3dof内容一样在所有方向上环顾四周，并且还使得能够略微移动视点位置。视点位置可移动的范围被假定为对应于观看者坐着时头部可移动的程度。3dof+内容使得能够通过使用一个或更多个二维编码的视频来移动视点位置。

相比之下，也可以使用6dof视频(也称为6dof内容)。6dof视频允许观看者在所有方向上环顾四周(允许自由选择视线方向)，并且还允许观看者在空间中到处走动(允许自由选择视点位置)。6dof内容使用一个或更多个三维对象(也称为3d对象)针对每个时间点来表达三维空间(也称为3d空间)。换言之，6dof内容是表达三维空间中的三维对象并且使得能够在再现时自由地设置视线方向和视点位置的内容。

3d对象指示以下中的任何一个：(1)3d空间中的一个本体；(2)在(1)中的本体的一部分；或者(3)3d空间中的一组多个本体。关于3d对象的数据涉及：具有网格数据的配置，该网格数据允许将对象表达为多边形的几何数据以及与附着到多边形的表面的数据对应的纹理数据；或者具有一组多个点(点云)的配置。

用于发送6dof内容的可能方法包括：使用一个3d对象来配置3d空间并且在一个对象流中发送内容的方法；以及使用多个3d对象来配置3d空间并且在多个对象流中发送内容的方法。

对于3d空间的表达，6dof内容具有的表达属性在于，在2d显示器或hmd(头戴式显示器)上显示6dof内容的情况下，距视点位置较远的本体被显示得较小，而距视点位置较近的本体被显示得较大。被显示得较小的本体可以以较低的分辨率显示。然而，在如前述情况那样在一个对象流中发送大面积的6dof内容的情况下，如上所述，无论显示特性如何，整体上均以统一的分辨率显示6dof内容。在呈现显示画面的情况下，统一的整体分辨率可能会导致某些部分中呈现适当的分辨率，而在其他部分中呈现不必要的高分辨率。具有不必要的高分辨率的部分需要过多的解码和呈现处理。换言之，可能导致增加不必要的负荷。

在其中3d空间包括多个3d对象并且在如后一种情况下在多个对象流中发送内容的方法中，使用了称为场景描述的描述方法。场景描述指示用于使用多个对象流来配置6dof内容并且根据距视点位置的距离来适当显示6dof内容的信息。

场景描述有多个标准。基本上，将场景表达为称为场景图的树层次结构的图，并且将场景图表达为二进制格式或文本格式。这里，场景图是基于视点位置的空间显示控制信息，并且通过以下操作来配置场景图：使用节点作为构成单元来定义与在视点位置处的3d对象的显示相关的信息，并且以分层方式组合多个节点。节点包括用于关于3d对象的位置信息和大小信息的节点、用于网格数据和纹理数据的访问信息的节点以及用于根据距视点位置的距离来适当显示的信息的节点。这些节点用于每个3d对象。

注意，假定6dof内容是使用与关于6dof内容的元数据对应的场景描述数据(场景描述的流数据)和关于多个3d对象的媒体数据(关于用于表达的3d对象的网格数据和纹理数据的组合)来配置的。对于与3d对象相关的媒体数据，可以应用其他格式，例如点云。另外，假定场景描述数据符合mpeg-4场景描述(iso/iec14496-11)。

mpeg-4场景描述数据是通过以称为bifs(场景的二进制格式)的格式对场景图进行二值化而获得的。可以使用预定算法将场景图转换为bifs。另外，以iso基本媒体文件格式进行存储使得能够针对每个时间点定义场景，从而能够表达运动对象等。

6dof内容的表达导致例如如图1所示的场景图。图1中的场景图10表达的6dof内容包括多个3d对象。图1仅详细描绘了3d对象1的配置(3d对象1的transform节点12-1的子节点和后续节点)，并且省略了从3d对象2至3d对象n(从3d对象2的transform节点12-2至3d对象n的transform节点12-n的子节点和后续节点)的详细配置。

在根处的组节点11包括作为子节点的transform节点12。transform节点12包括经组织的信息，该信息包括3d对象的位置和大小。换言之，每个transform节点12组织关于3d空间中的每个3d对象的信息。transform节点12包括作为子节点的shape节点13。shape节点13包括与3d对象的形状相关的经组织的信息。shape节点13包括作为子节点的appearance节点14和bitwrapper节点15。appearance节点14包括用于纹理数据的经组织的信息。bitwrapper节点15包括用于网格数据的经组织的信息。bitwrapper节点15包括用于被配置为单独文件的网格数据的访问信息。appearance节点14包括作为子节点的movietexture节点16。movietexture节点16包括被配置为单独文件的纹理数据的访问信息。

图2描绘了每个节点中包括的信息的示例。这些节点包括针对各个(类型的)信息设置的字段，并且在每个字段中，存储与该字段对应的信息。图3描绘了节点的语法的示例。

场景描述的功能之一是具有用于一个3d对象的多个细节级别的数据并且允许取决于显示的状态在细节级别之间进行切换。细节级别是例如以网格数据中的顶点数目或者纹理数据的分辨率中的至少之一变化的数据。例如，细节级别随着网格数据中顶点的数目或者纹理数据的分辨率而一致地增加。

该功能利用当在2d显示器或hmd上显示3d对象时6dof内容的表达属性来表达3d空间，距视点位置较远的3d对象被显示得更小，而距视点位置较近的3d对象被显示得更大。例如，距视点位置较近的3d对象被显示得较大，因此需要具有较高细节级别的数据(具有大量顶点的网格数据以及具有高分辨率的纹理数据)。相比之下，距视点位置较远的3d对象被显示得较小，因此对于该3d对象，使用具有较低细节级别的数据(具有少量顶点的网格数据以及具有较低分辨率的纹理数据)就足够了。

该功能由场景描述中的lod节点实现。图4描绘了包括在lod节点中的信息的示例。如图4所示，lod节点31包括用于切换3d对象的细节级别的信息。lod节点31包括例如“用于确定距离的3d对象的中心点”(图4中的中心字段)、“在视点位置与3d对象之间的距离”(图4中的范围字段)以及“关于要基于逐个距离地使用的3d对象的数据”(图4中的级别字段)。

使用lod节点的功能使得能够根据视点位置针对3d对象选择适当的细节级别，从而允许保持适当的显示质量，同时使得能够减少处理量。在下文中，将该功能称为取决于视点位置的适配。

例如，lod节点31位于transform节点12与shape节点13之间。假定lod节点31的“关于要基于逐个距离地使用的3d对象的数据”(图4中的级别字段)对要选择的shape节点13进行寻址。

图5描绘了使用lod节点的场景图10的示例。如图5所示，场景图10设置有作为每个transform节点12的子节点的lod节点31。lod节点31使用在视点位置与3d对象之间的距离来切换细节级别。lod节点31包括用于确定距3d对象的距离的中心位置的坐标，并且包括作为子节点的shape节点13(shape节点13-1至shape节点13-3)，shape节点13指示关于要基于逐个距离地使用的3d对象的数据。对于每个shape节点13，设置与以下节点相关的信息，所述节点具有针对具有不同分配级别的网格数据和纹理数据的访问信息。

这允许将高细节级别的数据用于近距离，将中等细节级别的数据用于中等距离，将低细节级别的数据用于远距离。可以取决于视点来使用具有适当细节级别的数据。

现在，考虑分发6dof内容。可以通过经由网络获取场景描述数据以及从场景描述数据参考的媒体数据(网格数据和纹理数据)来再现6dof内容。相比之下，使用场景描述来再现6dof内容涉及以下先决条件。

-存在允许提供足够的传输频带的网络环境或存储器，其中，例如，6dof内容分发服务器主要本地存在。

-客户端具有足够的处理能力。换言之，可以在预定时间内执行所获取的所有网格和纹理的解码和显示处理(呈现)。

对于客户端的处理量，场景描述使得能够通过使用取决于视点位置的适配来减少处理量。然而，对于传输频带，场景描述不具有取决于传输频带执行自适应分发的功能。因此，在可以提供用于场景描述数据和媒体数据的传输的足够的传输频带的情况下，能够进行再现，但是有限的传输频带可能会阻止客户端获取或再现数据或者导致再现中断。

注意，对于6dof内容，需要保持3d对象之间的质量的相关性，以便抑制再现时的质量劣化。因此，即使使用诸如2d内容的自适应比特率的分发技术，在自适应地操纵比特率的情况下，也没有手段能够取决于视点位置来保持3d对象之间的质量的相关性。这可能会阻止取决于客户端的情况进行适当的分发。

<2-2：概念>

因此，执行增强了场景描述并且使得能够进行比特率适配的信令(第一实施方式(也称为实施方式1))。因此，可以抑制有限的传输频带对使用场景描述来再现6dof的内容分发的影响，从而允许改进内容再现的鲁棒性。

另外，可以添加指示可以通过统一降低所有网格和纹理的比特率来保持质量的信令(第二实施方式(也称为实施方式2))。因此，客户端可以肯定地确定要选择的比特率，从而允许保持对于视点位置最佳的3d对象之间的相对质量。

此外，可以添加指示针对各个纹理和网格同时获取哪些比特率以允许保持质量的元信息(第三实施方式(也称为实施方式3))。因此，即使在比特率统一降低的比特率适配已难以保持3d对象之间的相对质量的情况下，也可以保持3d对象之间的相对质量。

另外，可以添加使每个3d对象的细节级别降低以减小传输频带的信令(第四实施方式(也称为实施方式4))。因此，例如，即使在尽管选择全部涉及最小比特率的网格和纹理但是传输频带也比总比特率窄的情况下，也可以抑制再现中断。

此外，可以添加关于3d对象的重要性信息的信令(第五实施方式(也称为实施方式5))。因此，可以根据内容作者等的意图来保持重要的3d对象的细节级别。

另外，可以识别关注的3d对象，并且可以保持3d对象的细节级别(第六实施方式(也称为实施方式6))。因此，可以保持用户关注的3d对象的细节级别。

下面将描述实施方式。注意，下文中将mpeg-4场景描述用作场景描述。然而，可以将任何标准用于场景描述，并且可用的标准可以包括例如vrml(虚拟现实建模语言)、开放场景图(http://www.openscenegraph.org/)、通用场景描述(https://graphics.pixar.com/usd/docs/index.html)、x3d(iso/iec19775-1)和gltf(https://www.khronos.org/gltf/)。

<3.第一实施方式(实施方式1)>

在第一实施方式中，信令被增强以使得能够针对每个3d对象的每个细节级别进行比特率适配。例如，生成关于内容的元数据，该内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，该元数据包括使得能够在分发内容时选择比特率的信息。例如，信息处理装置包括生成部，该生成部生成与表达三维空间中的三维对象的内容相关的元数据，并且使得能够在再现时自由地设置视线方向和视点位置，该元数据包括使得能够在分发内容时选择比特率的信息。

因此，可以使用场景描述在6dof内容分发中抑制有限的传输频带对再现的影响，从而允许改进内容再现的鲁棒性。

<3-1：实施方式1-1>

可以生成元数据，作为使得能够在内容分发时选择比特率的信息，该元数据包括用于控制内容的再现的控制文件的访问信息。换言之，例如，可以通过使用用于dash和场景描述数据的mpd文件的配置来实现比特率适配。对于当前的2d内容和3dof内容，可以使用以下机制，该机制使用dash(http上的动态自适应流送，iso/iec23009-1)以在具有不同比特率的数据之间进行切换，从而使得即使在传输频带变窄的情况下，也可以实现再现而不中断。在该方法中，在representation中用信号通知与dash的清单文件对应的mpd文件中adaptationsets中具有不同比特率的数据。

因此，利用如上所述的使用mpd实现的比特率适配的机制，并且与场景描述相结合，以抑制再现等的中断。例如，可以允许使用场景描述的外部媒体数据中的访问信息来参考mpd文件中的adaptationset(实施方式1-1-1)。在这种情况下，客户端装置103从指示为外部媒体数据的mpd中的adaptationset中选择比特率。

在场景描述中存在lod节点的情况下，取决于视点位置确定适合每个3d对象的细节级别。因此，在本实施方式1-1中，为每个细节级别提供比特率变化，因此能够对每个细节级别进行比特率适配。

<分发系统>

图6是描绘与应用了本技术的系统的一个方面对应的分发系统的主要配置的示例的框图。图6所示的分发系统100是将6dof内容从服务器分发到客户端的系统。

如图6中所示，分发系统100包括文件生成装置101、web服务器102和客户端装置103。web服务器102和客户端装置103经由因特网110连接。注意，图6对于每个装置描绘了单个装置，但是分发系统100对于每个装置可以包括任意数目的装置。换言之，可以设置多个文件生成装置101、多个web服务器102和多个客户端装置103。

文件生成装置101生成场景描述数据121、mpd文件122和媒体数据123(媒体数据123-1、媒体数据123-2、...)。文件生成装置101将生成的数据上传到web服务器102。

客户端装置103向web服务器102请求场景描述数据121、mpd文件122、媒体数据123等，并且使web服务器102将数据分发给客户端装置103。客户端装置103获取分发的数据，然后执行呈现以生成要显示的图像，并且使监视器(显示器)显示该图像。

<文件生成装置>

图7是描绘文件生成装置101的主要配置示例的框图。如图7所示，文件生成装置101包括控制部151和文件生成部152。

控制部151执行与文件生成部152的控制相关的处理。文件生成部152在控制部151的控制下执行与诸如场景描述数据121(也称为场景描述)、mpd文件122(也称为mpd)和媒体数据123之类的数据的生成相关的处理。文件生成部152包括数据输入部161、场景描述生成部162、媒体数据生成部163、mpd文件生成部164、段文件生成部165、记录部166和上传部167。

数据输入部161接收数据的输入。数据输入部161将接收到的数据提供给场景描述生成部162、媒体数据生成部163和mpd文件生成部164。

场景描述生成部162执行与场景描述数据121的生成相关的处理。例如，场景描述生成部162基于从数据输入部161提供的数据来生成场景描述数据121，并且将生成的描述数据121提供给段文件生成部165。

媒体数据生成部163执行与媒体数据123的生成相关的处理。例如，媒体数据生成部163基于从数据输入部161提供的数据来生成媒体数据123，并且将媒体数据123提供给段文件生成部165。

mpd文件生成部164执行与mpd文件122的生成相关的处理。例如，mpd文件生成部164基于从数据输入部161提供的数据来生成mpd文件122，并且将mpd文件122提供给记录部166。

段文件生成部165执行与段文件的生成相关的处理。例如，段文件生成部165获取从场景描述生成部162提供的场景描述数据121，并且将场景描述数据121逐段地制作成文件，以生成用于场景描述数据121的段文件(也称为场景描述段文件)。另外，段文件生成部165获取从媒体数据生成部163提供的媒体数据123，并且将媒体数据123逐段地制作成文件，以生成用于媒体数据123的段文件(也称为作为媒体数据段文件)。段文件生成部165向记录部166提供所生成的场景描述段文件和媒体数据段文件。

记录部166在包括在记录部166中的记录介质中记录从mpd文件生成部164提供的mpd文件122以及从段文件生成部165提供的场景描述段文件和媒体数据段文件。另外，记录部166在预定定时处或者基于用户等的请求读出记录在记录介质中的文件，并且将这些文件提供给上传部167。

上传部167从记录部166获取mpd文件122、场景描述段文件和媒体数据段文件，并且将这些文件上传(发送)到web服务器102。

<客户端装置>

图8是描绘客户端装置103的主要配置示例的框图。如图8所示，客户端装置103包括控制部171和再现处理部172。控制部171执行与对再现处理部172的控制相关的处理。再现处理部172在控制部171的控制下执行与6dof内容的再现相关的处理。再现处理部172包括mpd文件获取部181、mpd文件处理部182、场景描述段文件获取部183、场景描述段文件处理部184、显示控制部185、测量部186、媒体数据段文件选择部187、媒体数据段文件获取部188、解码处理部189、显示信息生成部190和显示部191。

mpd文件获取部181执行与mpd文件122的获取相关的处理。例如，mpd文件获取部181访问web服务器102，向web服务器102请求mpd文件122，并且获取mpd文件122。mpd文件获取部181将获取的mpd文件122提供给mpd文件处理部182。

mpd文件处理部182执行与mpd文件相关的处理。例如，mpd文件处理部182获取从mpd文件获取部181提供的mpd文件122，解析mpd文件，并且将mpd文件122和mpd文件122的解析结果提供给场景描述段文件获取部183。

场景描述段文件获取部183执行与场景描述段文件的获取相关的处理。例如，场景描述段文件获取部183获取从mpd文件处理部182提供的信息(mpd文件122以及mpd文件122的解析结果)，并且基于该信息来访问web服务器102，以获取场景描述段文件。场景描述段文件获取部183将获取的场景描述段文件提供给场景描述段文件处理部184。

场景描述段文件处理部184执行与场景描述段文件相关的处理。例如，场景描述段文件处理部184获取从场景描述段文件获取部183提供的场景描述段文件。另外，场景描述段文件处理部184从显示控制部185获取指示视点位置的信息。场景描述段文件处理部184基于获取的信息来确定mpd文件的访问目的地。场景描述段文件处理部184将确定的访问目的地提供给媒体数据段文件选择部187。

显示控制部185执行与6dof内容的显示控制相关的处理。例如，显示控制部185向场景描述段文件处理部184、媒体数据段文件选择部187、显示信息生成部190等提供指示视点位置的信息。测量部186测量从web服务器102到客户端装置103的传输路径的传输频带，并且将测量结果提供给媒体数据段文件选择部187。

媒体数据段文件选择部187执行与从媒体数据段文件中进行选择相关的处理。例如，在mpd文件122中，媒体数据段文件选择部187基于从显示控制部185提供的并且指示视点位置的信息、从测量部186提供的并且指示传输频带等的信息，来选择要再现的媒体数据段文件。媒体数据段文件选择部187将指示选择结果的信息提供给媒体数据段文件获取部188。

媒体数据段文件获取部188执行与媒体数据段文件的获取相关的处理。例如，媒体数据段文件获取部188获取从媒体数据段文件选择部187提供的并且指示媒体数据段文件的选择结果的信息。基于该信息，媒体数据段文件获取部188访问web服务器102，向web服务器102请求由媒体数据段文件选择部187选择的媒体数据段文件，并且获取媒体数据段文件。媒体数据段文件获取部188将获取的媒体数据段文件提供给解码处理部189。

解码处理部189获取并且解码从媒体数据段文件获取部188提供的媒体数据段文件。解码处理部189将解码的媒体数据段文件提供给显示信息生成部190。显示信息生成部190基于从解码处理部189提供的媒体数据段文件来执行呈现，生成用于显示的图像。显示信息生成部190将生成的用于显示的图像提供给显示部191，并且使显示部191显示该图像。

<文件生成处理的流程>

现在，将参照图9中的流程图描述由文件生成装置101执行的文件生成处理的流程的示例。当开始文件生成处理时，在步骤s101中，文件生成装置101的mpd文件生成部164生成mpd文件122。

在步骤s102中，场景描述生成部162生成场景描述数据121，该场景描述数据121包括指向在步骤s101中生成的mpd文件的链接。

在步骤s103中，媒体数据生成部163生成媒体数据123。

在步骤s104中，段文件生成部165使用在步骤s102中生成的场景描述数据121来生成场景描述段文件。另外，段文件生成部165使用在步骤s103中生成的媒体数据123来生成媒体数据段文件。

在步骤s105中，记录部166记录在步骤s101中生成的mpd文件122。另外，在步骤s106中，记录部166记录在步骤s104中生成的段文件(场景描述段文件和媒体数据段文件)。

在步骤s107中，上传部167读出在步骤s105中记录的mpd文件122，并且将该mpd文件122上传到web服务器102。

在步骤s108中，上传部167读出在步骤s106中记录的段文件(场景描述段文件和媒体数据段文件)，并且将该段文件上传到web服务器102。

当步骤s108中的处理完成时，文件生成处理结束。

<再现处理的流程>

现在，将参照图10中的流程图描述由客户端装置103执行的再现处理的流程的示例。当开始再现处理时，在步骤s121中，mpd文件获取部181访问web服务器102以获取mpd文件122。

在步骤s122中，mpd文件处理部182解析在步骤s121中获取的mpd文件122，以识别出首先要获取的场景描述数据121，并且参考场景描述数据121中的adaptationset以获取关于场景描述数据121的访问信息(url(统一资源定位符))。

在步骤123中，场景描述段文件获取部183从在步骤s122中获取的url获取与当前时间对应的场景描述段文件。

在步骤s124中，场景描述段文件处理部184从显示控制部185获取指示视点位置的信息。

在步骤s125中，场景描述段文件处理部184基于由在步骤s124中获取的信息指示的视点位置，对在步骤s123中获取的场景描述数据121进行解析，以确定mpd文件122中的访问目的地。

在步骤s126中，测量部186测量在web服务器102与客户端装置103之间的传输路径的传输频带。媒体数据段文件选择部187获取测量结果(换言之，指示传输频带的信息)。

在步骤s127中，在mpd文件122中，媒体数据段文件选择部187基于在步骤s126中获取的并且指示传输频带的信息来选择媒体数据段文件。

在步骤s128中，媒体数据段文件获取部188访问web服务器102，并且获取在步骤s127中选择的媒体数据段文件。

在步骤s129中，解码处理部189对在步骤s128中获取的媒体数据段文件进行解码。然后，显示信息生成部190使用解码的媒体数据段文件来执行呈现，以生成用于显示的图像。

当步骤s129中的处理结束时，再现处理结束。通过执行如上所述的步骤的处理，客户端装置103可以改进内容再现的鲁棒性。

<3-2：实施方式1-1-1>

<场景描述和mpd的配置>

在mpd中，可以用信号通知场景描述数据中的adaptationset以及从场景描述数据中的adaptationset参考的媒体数据中的比特率变化的adaptationset。换言之，例如，可以生成元数据，该元数据包括用作控制文件的mpd(媒体表示描述)中的adaptationset的访问信息，该adaptationset对应于三维对象的细节级别，并且包括与细节级别的多个比特率的比特率变化相关的信息。

图11描绘了在这种情况下的场景描述数据121的示例。图12描绘了在这种情况下的mpd文件122的示例。在图11和图12中，带圆圈的数字指示附图中箭头之间的对应关系。mpd文件122(图12)描述了用于指示场景描述数据121的adaptationset以及用于指示每个3d对象的每个细节级别处的网格数据和纹理数据的adaptationset。例如，一个adaptationset描述了关于3d对象a的高细节级别ah处的网格数据的比特率变化。

<mpd中的信令的增强>

如图12所示，本实施方式的mpd文件122指示场景描述数据121中的adaptationset以及每条媒体数据123中的adaptationset。在该配置中，客户端装置103首先获取mpd文件122并且分析mpd文件122。这时，首先需要处理场景描述数据121中的adaptationset。然而，现有的信令无法允许确定要首先处理哪个adaptationset。

因此，将描述以下三种实现方法。(1)提供指示要首先处理adaptationset的信令，(2)提供指示不要首先处理的adaptationset的信令，以及(3)同时提供(1)中的信令和(2)中的信令。

(1)提供指示要首先处理的adaptationset的信令。

supplementalproperty用于指示要首先处理的adaptationset的信令。如下面的示例所示，schemeiduri用于设置initialselection。未设置“value”值。

示例：<supplementalpropertyschemeiduri＝“initialselection”/>

(2)提供指示不要首先处理adaptationset的信令。

不要首先处理的每条媒体数据中的adaptationset是从场景描述数据121中参考的数据。该信令指示该数据是从另一条数据中参考的，并且不要首先处理。例如，如以下示例所示，在每条媒体数据的adaptationset中设置essentialproperty，并且essentialproperty中的schemeiduri指示externalreferenceddata，“value”值指示adaptationset@id，其指示哪个数据参考adaptationset。

示例：<essentialpropertyschemeiduri＝“externalreferenceddata”value＝“adaptationset@id”/>

除非现有客户端知道该属性，否则以essentialproperty的指定阻止了独立再现。此外，知道该属性的客户端识别出该数据是外部参考的，并且因此避免了独立再现。换言之，mpd文件是向后兼容的。

(3)同时提供(1)中的信令和(2)中的信令。

通过同时提供(1)中的信令和(2)中的信令来实现该处理。

<修改例>

可以修改(1)和(2)，使得adaptationset中的属性用于该信令，如以下示例所示。

示例：<adaptationsetinitialselection＝“true”/>

示例：<adaptationsetexternalreferenceddata＝“true”/>

另外，在(2)中，可以将adaptationset更改为不同的名称externalreferencedadaptationset，以指示已更改了使用adaptationset的方式。

此外，可以在预选择中同时用信号通知要首先处理的adaptationset以及不要首先处理的adaptationset。

预选择在essentialproperty或supplementalproperty中用信号通知schemeiduri＝“urn：mpeg：dash：preselection：2016”和value＝“tag，mediacomponentlist”。媒体组件列表允许经由空格分隔符来用信号通知多个媒体组件，并且第一媒体组件对应于主媒体组件。使用例如adaptationset@id来用信号通知主媒体组件。假定根据1decode来处理预选择。然而，本文中增强了表示，并且增强了处理被同时呈现的数据的能力。

在这种情况下，将场景描述中的adaptationset@id指示为主媒体组件，将从场景描述中参考的媒体数据adaptatioset@ids安排为媒体组件列表中的第二个媒体组件和后续媒体组件。换言之，主媒体组件是要首先处理的adaptationset，第二个媒体组件和后续媒体组件均为不要首先处理的adaptationset。在这种技术中，essentialproperty用于信令。该技术在现有的预选择中使用schemeiduri，但是可以使用另一个schemeiduri来实现该信令。

替选地，可以在role中用信号通知要首先处理的adaptationset以及不要首先处理的adaptationset。例如，在adaptationset中用信号通知role元素，并且设置role元素的值。在role的schemeiduri中用信号通知“urn：mpeg：dash：role：2018”。对于要首先处理的adaptationset，如以下示例所示，指定value＝“initial”。

示例：<roleschemeiduri＝“urn：mpeg：dash：role：2018”value＝“initial”/>

对于不首先处理adaptationset的情况，如以下示例所示，用信号通知value＝“externalreferenceddata”。

示例：<roleschemeiduri＝“urn：mpeg：dash：role：2018”value＝“externalreferenceddata”/>

<增强用信号通知场景描述>

如图11所示，增强信令以允许从在场景描述121中分别与指示网格的节点和指示纹理的节点对应的bitwrapper节点15和movietexture节点16访问mpd文件122中的adaptationset。

bitwrapper节点15和movietexture节点16使用url来用信号通知外部媒体数据的访问信息。mpeg-4场景描述(iso/iec14496-11)中的bitwrapper节点15和movietexture节点16的结构示例如图2所示。用于访问外部媒体数据的字段是两个节点的url字段。在本实施方式中，不增强bitwrapper节点15和movietexture节点16的语法，并且增强每个节点中的url字段的表示法。

在本实施方式中，除了用于mpd文件122的url之外，还使用用于由url字段指示的url的url参数来用信号通知adaptationset@id，从而导致指示不同细节级别的媒体数据。具体地，例如，使用指示adaptationset的url参数的变量“as”，并且该变量的值用于用信号通知adaptationset@id。例如，为了指示adaptationset@id＝1的adaptationset，如以下示例所示，在节点的url中指定具有url参数的url。

url的示例：http://www.6dofserver.com/6dof.mpd？as＝1

在现有技术中，url用于指示一个媒体数据。然而，本技术允许指示一组多条媒体数据。这允许客户端从所指示的多个媒体数据的集合中选择比特率。

图13描绘了在图11的示例中的场景描述数据121中的bitwrapper节点15和movietexture节点16的url的描述的示例，并且图14描绘了在图12的示例中的mpd文件122的描述的示例。在这种情况下，使用上述(2)来增强mpd文件122的信令。这样的描述允许指示从场景描述数据121中的bitwrapper节点15和movietexture节点16的url到mpd文件122中的adaptationset的链接。

<修改例>

注意，增强可以包括向场景描述数据121中的bitwrapper节点15和movietexture节点16添加指示adaptationset@id的字段，而不是用url参数来指定。在这种情况下，url字段描述mpd文件122的访问信息。

另外，已经示出了bitwrapper节点15和movietexture节点16的增强的示例，但是可以在任何其他节点中提供类似的字段作为增强。另外，代替url字段，可以添加指示指示用于媒体数据的访问信息的列表的url的listurl字段，以描述mpd文件122的url。在这种情况下，具有url参数的url可以被存储在listurl字段中，或者可以在listurl字段中排他地指示指向mpd文件122的url，而在另一个字段中指示adaptatonset@id。

<文件生成处理的流程>

现在，将参照图16中的流程图描述在这种情况下的文件生成处理的流程的示例。

当开始文件生成处理时，在步骤s141中，文件生成装置101的mpd文件生成部164生成mpd文件(如图12或图14的示例中所示的mpd文件)，该mpd文件包括场景描述中的adaptationset以及包括每个比特变化的representation的每个细节级别的adaptationset。

在步骤s142中，场景描述生成部162针对细节级别的每个比特变化生成场景描述数据(如图11或图13的示例中所描绘的mpd文件)，该数据包括指向mpd中的adaptationset的链接。

与步骤s103至步骤s108(图9)中的处理类似地执行步骤s143至步骤s148中的处理。当步骤s148中的处理结束时，文件生成处理结束。

如上所述执行的文件生成处理允许文件生成装置101在分发时启用自适应比特率控制(启用比特率适配)。因此，文件生成装置101可以改进内容再现的鲁棒性。

<再现处理的流程>

现在，将参照图17中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，与步骤s121至步骤s124(图10)的处理类似地执行步骤s161至步骤s164的处理。

在步骤s165中，场景描述段文件处理部184执行场景描述处理，以确定mpd中的访问目的地(adaptationset)。

在步骤s166中，测量部186测量在web服务器102与客户端装置103之间的传输路径的传输频带。媒体数据段文件选择部187获取测量结果(换言之，指示传输频带的信息)。

在步骤s167中，媒体数据段文件选择部187选择mpd文件122中的每个adaptationset中的representation，该adaptationset对应于各个3d对象的期望的细节级别。此时，媒体数据段文件选择部187选择representation，使得要获取的所有段文件的比特率的总和小于在步骤s166中获取的传输频带。

在步骤s168中，媒体数据段文件获取部188访问web服务器102，以获取在步骤s167中所选择的representation指定的媒体数据段文件(用于所有3d对象的网格文件和纹理文件)。

在步骤s169中，解码处理部189对在步骤s168中获取的媒体数据段文件进行解码。然后，显示信息生成部190使用解码的媒体数据段文件来执行呈现处理以生成用于显示的图像。当步骤s169中的处理结束时，再现处理结束。

<场景描述处理的流程>

现在，将参照图18中的流程图描述在图17的步骤s165中执行的场景描述处理的流程的示例。

当开始场景描述处理时，在步骤s181中，场景描述段文件处理部184从场景描述数据121获取在根处的组节点11，并且获取所有子节点(transform节点12)。

在步骤s182中，场景描述段文件处理部184确定在根处的组节点11是否包括任何未处理的子节点(transform节点12)。在场景描述段文件处理部184确定组节点11包括未处理的子节点的情况下，处理进行到步骤s183。

在步骤s183中，场景描述段文件处理部184选择未处理的transform节点12作为处理目标，并且处理作为处理目标的transform节点12。该处理确定用于呈现的位置和大小。

在步骤s184中，场景描述段文件处理部184从场景描述数据121中获取与transform节点12的子节点对应的lod节点31。

在步骤s185中，场景描述段文件处理部184确定在每个lod节点31的中心坐标参数与视点位置之间的距离。

在步骤s186中，场景描述段文件处理部184将每个lod节点31的距离参数与所确定的距离进行比较，以确定要处理的子节点。

在步骤s187中，场景描述段文件处理部184基于用于网格文件和纹理文件的访问信息(例如，url)来获取所确定的子节点并且获取mpd中的adaptationset。

当步骤s187中的处理结束时，处理返回到步骤s182，并且重复随后的处理。换言之，针对每个transform节点12执行步骤s182至步骤s187中的处理。

在步骤s182中，在确定没有未处理的transform节点的情况下，处理进行到步骤s188。在步骤s188中，场景描述段文件处理部184确定要利用的所有adaptationset。当步骤s188中的处理结束时，场景描述处理结束，并且处理返回图17。

<呈现处理的流程>

现在，将参照图19中的流程图描述在图17中的步骤s169中执行的呈现处理的流程的示例。

当开始呈现处理时，在步骤s201中，显示信息生成部190使用利用场景描述数据121中的信息获取的每个3d对象的网格文件和纹理文件的数据来配置场景。

在步骤s202中，显示信息生成部190基于视点位置、视线方向和视角来呈现场景中的每个3d对象，以生成用于显示的图像。当步骤s202结束时，呈现处理结束，并且处理返回到图17。

如上所述执行的步骤的处理允许客户端装置103在分发时能够进行自适应比特率控制(启用比特率适配)。因此，文件生成装置101可以改进内容再现的鲁棒性。

<3-3：实施方式1-1-2>

<场景描述和mpd的配置)

mpd中的adaptationset是根据需要配置的，并且该配置不限于实施方式1-1-1中的示例中的配置。例如，可以在mpd中的一个adaptationset中用信号通知关于相同3d对象的网格数据。类似地，可以在mpd中的一个adaptationset中用信号通知关于同一3d对象的纹理数据。换言之，一个三维对象的所有细节级别的比特率变化可以被包括在用于网格的一个adaptationset中和用于纹理的一个adaptationset中。注意，在这种情况下，与上述实施方式1-1-1的情况一样，增强了mpd信令。换言之，可以生成元数据，该元数据包括用于adaptationset中的表示的访问信息，该adaptationset与作为控制文件的mpd中的三维对象对应，并且包括关于细节级别的多个比特率的比特率比特率变化的信息。

图20描绘了在这种情况下的场景描述数据121的示例。图21描绘了在这种情况下的mpd文件122的示例。在图20和图21中，带圆圈的数字指示附图中箭头之间的对应关系。

在这种情况下，mpd文件122(图21)描述了用于场景描述数据121的adaptationset以及用于每个3d对象的网格数据和纹理数据的adaptationset。例如，如图20和图21所示，一个adaptationset描述了3d对象a的高细节级别ah、中等细节级别am和低细节级别al的网格数据的比特率变化。

<3-4：实施方式1-1-2-1>

如上所述的mpd文件122和场景描述数据121的配置可以通过增强场景描述数据121来实现。例如，可以生成元数据，该元数据包括访问信息，该访问信息包括：用于期望的mpd的访问信息；指定mpd中的期望的adaptationset的信息；以及指定adaptationset中的期望的representation的信息。

<场景描述的信令>

在参照图20和图21描述的配置中，与指示场景描述数据121中的网格的节点对应的bitwrapper节点15以及与指示场景描述数据121中的纹理的节点对应的movietexture节点16中的比特率变化，所述比特率变化被包括在细节级别中，构成mpd文件122中的每个adaptationset中的几个representation。

因此，在场景描述数据121中的bitwrapper节点15和movietexture节点16中，访问信息(例如，url)可以用于用信号通知mpd文件122中的representation，该representation对应于比特率变化。

更具体地，representation@id由与指示representation和rs的值的url参数的变量对应的“rs”指示。在bitwrapper节点15和movietexture节点16中，可以描述比特率变化的数目的representation@id。例如，在representation@id＝1，representation@id＝2和representation@id＝3指示特定细节级别中包括的网格的比特率变化的情况下，在bitwrapper节点15和movietexture节点16中将具有如以下示例中的url参数的url描述为访问信息。

url的示例：http://www.6dofserver.com/6dof.mpd？rs＝1&rs＝2&rs＝3

图22描绘了图20中的场景描述数据121中的bitwrapper节点15和movietexture节点16的url的描述的示例。另外，图23描绘了图21中的mpd文件122的描述的示例。在图22和图23中，带圆圈的数字指示图中箭头之间的对应关系。

如这些图所示，在场景描述数据121中的bitwrapper节点15和movietexture节点16中，将ahm-n或aht-m(n和m为任意自然数)描述为变量rs的值，以允许节点链接到representationid为该该值的representation，该representation被包括在与mpd文件122中的3d对象对应的adaptationset中。换言之，场景描述数据121中的bitwrapper节点15和movietexture节点16中的url字段可以指示到与mpd文件122的比特率变化相同数目的representation的链接。

<修改例>

请注意，url参数可以用于同时用信号通知adaptationset的@id。信令的方式与实施方式1-1-1中所述的方式类似。

替选地，代替用url参数进行指定，例如，如图24所示，可以对场景描述数据121中的bitwrapper节点15和movietexture节点16执行指示representation@id的字段的增强。在这种情况下，url字段描述mpd文件122的访问信息。

此外，可以提供增强以添加指示adaptationset@id的字段。另外，已经描述了增强bitwrapper节点15和movietexture节点16的示例。然而，在其他节点中，可以像增强bitwrapper节点15和movietexture节点16一样增强字段。

另外，代替url字段，可以添加指示url的listurl字段，该listurl字段指示用于媒体数据的访问信息的列表，并且可以在该字段中描述mpd的url。在这种情况下，具有url参数的url可以被存储在该字段中，或者可以在该字段中排他地指示到mpd文件122的url，而将representation@id存储在另一个字段中。

<3-5：实施方式1-1-2-2>

另外，mpd文件122也可以被增强。例如，在mpd文件122中，可以对具有相同细节级别的representation进行分组，并且可以通过场景描述数据121中的bitwrapper节点15和movietexture节点16中描述的访问信息来指示该组。换言之，可以生成包括对相同比特率变化进行分组的信息的mpd。因此，与实施方式1-1-2-1相比，能够将与场景描述数据121中描述的媒体数据的url的url参数设为恒定，而与比特率的数目无关。另外，在创建场景描述数据121之后增加比特率变化的情况下，可以防止场景描述数据121的信令被影响。

<mpd的信令>

对mpd文件122中的representation进行分组，并且提供指示用于场景描述数据121中的细节级别的比特率变化的信令。

因此，对于用于细节级别的比特率变化，如以下示例中所示，在representation中用信号通知具有相同“value”值的supplementalproperty。

示例：<supplementalpropertyschemeiduri＝“representationgroup”value＝“1”/>

在supplementalproperty中，schemeiduri用于指示representationgroup，“value”值用于指示组编号。这指示包括在相同adaptationset中并且具有相同“value”值的representation属于同一组。

<修改例>

注意，在上述示例中，representationgroup是哪个组的是未知的，因此“value”值可以用诸如“组编号，组类型”之类的逗号分隔，同时用信号通知该组的类型。下面举例说明。在该示例中，“lod”指示一组细节级别。

示例：<supplementalpropertyschemeiduri＝“representationgroup”value＝“1，lod”/>

<场景描述的信令>

此外，在场景描述数据121中，bitwrapper节点15和movietexture节点16中的访问信息(url)用于指示上述representation的组。然而，该组representation被包括在哪个adaptationset中是未知的，因此，同时指示adaptationset。

在mpd文件122的url参数中，用信号通知指示adaptationset的参数和指示representationgroup的参数。指示adaptationset的参数与上述实施方式1-1-1中模式的参数相同。对于指示representationgroup的参数，提供与变量对应的representationgroup，并且对于representationgroup的值，用信号通知mpd文件122中的representationgroup的值。url的示例如下所示。

url的示例：http://www.6dofserver.com/6dof.mpd？as＝1&replesentationgroup＝1

图25描绘了图20中的场景描述数据121中的bitwrapper节点15和movietexture节点16的url的描述的示例，此外，图26描绘了图21中的mpd文件122的描述方示例。在图25和图26中，带圆圈的数字指示附图中箭头之间的对应关系。

这样的描述允许从场景描述数据121中的bitwrapper节点15和movietexture节点16的url中，指示mpd文件122中的adaptationset的访问信息以及representationgroup，该representationgroup指示用于adaptationset中的细节级别的比特率变化的一组representation。

<修改例>

在上面的描述中，在每个representation中执行信令，但是可以在adaptationset中用信号通知。在这种情况下，例如，schemeiduri可以用于指示replesentationgroup。对于分组信息，将representationgroup作为supplementalproperty的元素被新添加到每个组。representationgroup包括id(具有与representationgroup的值的含义相同的含义)以及该组中包括的representations的id的列表。下面举例说明。

<supplementalpropertyschemeiduri＝“replesentationgroup”>

<representationgroupid＝1member＝“representaiton@id1representation@id2...”/>

<representationgroupid＝2member＝“epresentaiton@id4representation@id5...”/>

</supplementalproperty>

图27描绘了在这种情况下的mpd文件122的描述的示例。在图27的示例中，在mpd文件122中提供了上述示例中所示的描述，并且representationgroupid＝1链接到用于高细节级别的比特率变化的组。

注意，代替用场景描述数据121中的url的url参数进行指定，例如，可以对bitwrapper节点15和movietexture节点16执行指示adaptationset@id和representationgroup的字段的增强，如图28所描绘的那样。在这种情况下，url字段描述mpd文件122的访问信息。

另外，已经示出了bitwrapper节点15和movietexture节点16的增强的示例，但是可以在任何其他节点中提供类似的字段作为增强。此外，代替url字段，可以添加指示url的listurl字段，该listurl字段指示用于媒体数据的访问信息的列表，以描述mpd文件122的url。

<3-6：实施方式1-1-3>

<将场景描述用作起点>

在实施方式1-1-1和实施方式1-1-2的描述中，首先获取mpd文件122，随后获取场景描述数据121，选择与视点对应的适当配置，并且随后从mpd文件122中的adaptationset中选择比特率。具体地，首先获取mpd文件122，因此mpd文件122是处理的起点。

处理的起点可以是场景描述数据121。在这种情况下，后续处理与实施方式1-1-1或实施方式1-1-2中描述的对应处理类似。换言之，首先获取场景描述数据121，选择与视点对应的适当配置，获取mpd文件122，并且从adaptationset中选择比特率。在这种情况下，例如，图14中的mpd文件122的以下部分(即，场景描述数据121中的adaptationset)是不必要的。换言之，可以生成不包括用于元数据的访问信息的mpd。

<adaptationsetid＝“0”>//场景描述

<representationid＝“sd”bandwidth＝“500000”><baseurl>sd.mp4</baseurl></representation>

</adaptationset>

这也导致不必要用信号通知<essentialpropertyschemeiduri＝“externalreferenceddata”value＝“adaptationset@id”/>的“value”值，该“value”值在每条媒体数据中的adaptationset中用信号通知。

<3-7：实施方式1-2>

<通过仅使用场景描述的配置实现比特率适配>

在实施方式1-1的描述中，使用场景描述数据121和mpd文件122来实现比特率适配。然而，可以通过增强场景描述数据121来实现比特率适配。换言之，在这种情况下，没有利用用于dash的mpd文件122。换言之，元数据是与内容相关并且基于视点位置的空间显示控制信息，并且可以生成空间显示控制信息，其基于视点位置，并且作为节点包括使得能够在分发内容时选择比特率的信息。

<场景描述的增强>

在现有场景描述数据121的情况下，如图5所示，在3d对象的每个细节级别处只能用信号通知一个bitwrapper节点15和一个movietexture节点16。在现有场景描述数据121中，防止在每个细节级别处用信号通知bitwrapper节点15和movietexture节点16。换言之，不能提供比特变化。

因此，增强场景描述数据121，使得可以从网格数据和纹理数据的多个比特率中进行选择。

<分发系统>

如图29所示，在这种情况下的分发系统100的配置与图6的示例中的配置类似。然而，文件生成装置101生成场景描述数据121和媒体数据123，但是不生成mpd文件122。因此，web服务器102也不将mpd文件122提供给客户端装置103。客户端装置103从web服务器102获取场景描述数据121，并且基于场景描述数据121从web服务器102获取媒体数据，并且再现该媒体数据。

<文件生成装置>

图30描绘了在这种情况下的文件生成装置101的主要配置示例。如图30所示，在这种情况下，文件生成装置101与图7的情况一样包括控制部151和文件生成部152。

然而，文件生成部152包括数据输入部161、场景描述生成部162、媒体数据生成部163、段文件生成部165、记录部166和上传部167。换言之，与图7中的配置相比，该配置缺少mpd文件生成部164。

记录部166在记录部166的记录介质中记录从段文件生成部165提供的场景描述段文件和媒体数据段文件。另外，在预定定时处或者基于来自用户等的请求，记录部166读出记录在记录介质中的段文件，并且将段文件提供给上传部167。

上传部167从记录部166获取场景描述段文件和媒体数据段文件，并且将段文件上传(发送)到web服务器102。

<客户端装置>

图31是这种情况下客户端装置103的主要配置示例。如图31所示，在这种情况下，客户端装置103与图8的情况一样包括控制部171和再现处理部172。

然而，再现处理部172包括场景描述段文件获取部183、场景描述段文件处理部184、显示控制部185、测量部186、媒体数据段文件获取部188、解码处理部189、显示信息生成部190和显示部191。换言之，与图8中的配置相比，该配置缺少mpd文件获取部181、mpd文件处理部182和媒体数据段文件选择部187。

场景描述段文件获取部183访问web服务器102，以获取与6dof内容和视点位置对应的场景描述段文件，并且将场景描述段文件提供给场景描述段文件处理部184。换言之，场景描述段文件获取部183获取没有mpd文件122的场景描述段文件。

场景描述段文件处理部184基于诸如场景描述段文件、视点位置和传输频带之类的信息来选择要再现的媒体数据段文件。场景描述段文件处理部184将确定的媒体数据段文件的访问目的地提供给媒体数据段文件获取部188。

媒体数据段文件获取部188访问web服务器102，请求并且获取由场景描述段文件处理部184选择的媒体数据段文件，并且将媒体数据段文件提供给解码处理部189。

<文件生成处理的流程>

现在，将参照图32中的流程图描述文件生成处理的流程的示例。当开始文件生成处理时，在步骤s221中，文件生成装置101的场景描述生成部162生成场景描述，该场景描述包括指向细节级别每个比特变化的媒体数据的链接。

与步骤s103、步骤s104、步骤s106和步骤s108中的处理类似地执行步骤s222至步骤s225中的处理。当步骤s108中的处理完成时，文件生成处理结束。

<再现处理的流程>

现在，将参照图33中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s241中，场景描述段文件获取部183获取当前时间的场景描述，该场景描述包括指向细节级别每个比特变化的媒体数据的链接。

在步骤s242中，场景描述段文件处理部184从显示控制部185获取指示视点位置的信息。在步骤s243中，基于由该信息指示的视点位置，场景描述段文件处理部184选择细节级别。

在步骤s244中，测量部186测量在web服务器102与客户端装置103之间的传输路径的传输频带。场景描述段文件处理部184获取测量结果(换言之，指示传输频带的信息)。

在步骤s245中，在场景描述段文件中，场景描述段文件处理部184基于在步骤s244中获取的并且指示传输频带的信息来选择节点。

在步骤s246中，媒体数据段文件获取部188访问web服务器102，并且获取在步骤s245中选择的节点的网格文件或纹理文件。

在步骤s247中，解码处理部189对在步骤s246中获取的媒体数据段文件进行解码。然后，显示信息生成部190使用解码的媒体数据段文件执行呈现，从而生成用于显示的图像。

当步骤s247中的处理结束时，再现处理结束。上述步骤的处理允许客户端装置103改进内容再现的鲁棒性。

<3-8：实施方式1-2-1>

<定义新节点>

在增强场景描述数据121时，在不改变而直接利用现有节点的情况下，可以添加新的节点以进行比特率适配。换言之，可以生成基于视点位置的空间显示控制信息，该空间显示控制信息包括表达作为多个子节点的用于三维对象的多个比特率的比特率变化的专用节点。

<场景描述的信令>

例如，可以重新定义指示客户端可以从多个节点中进行选择的clientselection节点。clientselection节点是可以用信号通知多个节点以及由各个节点指示的数据的比特率的节点。图34示出了clientselection节点的示例。

如图34所示，clientselection节点301包括指示多个子节点的selectionnode字段以及指示各个子节点的比特率的比特率字段。换言之，selectionnode字段描述子节点的列表，而比特率字段描述各个节点的比特率的列表。两个字段中的列表中的顺序彼此对应，并且selectionnode字段中的第n个子节点的比特率信息由比特率字段中的第n条比特率信息表示。

图35示出了场景描述数据121的场景图的示例，该场景图允许利用如上所述的clientselection节点301从多个比特率中进行选择。图35仅示出了仅针对3d对象a的高细节级别的比特率变化的图。该图适用于其他细节级别和其他3d对象，因此将其省略。

在图35中的3d对象a的高细节级别的网格数据中，shape节点13-1的子节点是clientselection节点301-1。clientselection节点301-1包括作为子节点的bitwrapper节点15，bitwrapper节点15用于包括17mbps、15mbps和13mbps的比特率变化(bitwrapper节点15-1-1、bitwrapper节点15-1-2和bitwrapper节点15-1-3)。对于纹理数据的比特率变化，appearance节点的子节点是clientselection节点301-2。clientselection节点301-2包括作为子节点的movietexture节点16，movietexture节点16用于包括17mbps、15mbps和13mbps的比特率变化(movietexture节点16-1-1、movietexture节点16-1-2和movietexture节点16-1-3)。

如上所述，使用clientselection节点301允许将网格数据或纹理数据中的多个比特率的比特率变化表达为clientselection节点301的子节点。因此，每个子节点可以用于描述用于相应的比特率变化的媒体数据的访问信息。因此，使用如上所述的clientselection节点301来使用场景描述数据使得能够在分发中进行自适应比特率控制(分发中的比特率适配)。换言之，例如，可以抑制由减小的传输频带宽引起的再现中断，从而可以改进内容再现的鲁棒性。

<文件生成处理的流程>

现在，将参照图36中的流程图描述在这种情况下的文件生成处理的流程的示例。

当开始文件生成处理时，在步骤s261中，文件生成装置101的场景描述生成部162生成包括如上所述的clientselection节点301的场景描述数据121。

与步骤s222至步骤s225中的处理类似地执行步骤s262至步骤s265中的处理。当步骤s265中的处理结束时，文件生成处理结束。

<再现处理的流程>

现在，将参照图37中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s281中，场景描述段文件获取部183获取当前时间的场景描述数据121，该场景描述数据121包括clientselection节点301。与步骤s242(图33)中的处理类似地执行步骤s282中的处理。

在步骤s283中，场景描述段文件处理部184基于在步骤s282中获取的信息来执行场景描述处理，以确定网格数据和纹理数据的比特率变化。

与步骤s244(图33)中的处理类似地执行步骤s284中的处理。

在步骤s285中，场景描述段文件处理部184在场景描述段文件中选择用于所使用的细节级别的网格文件和纹理文件的比特率变化(clientselection节点的子节点)。此时，场景描述段文件处理部184选择子节点，使得所获取的所有段文件中的比特率的总和小于在步骤s284中获取的传输频带。

与步骤s246(图33)中的处理类似地执行步骤s286中的处理。

在步骤s287中，解码处理部189对在步骤s286中获取的媒体数据段文件(网格文件或纹理文件)进行解码。然后，显示信息生成部190使用经解码的媒体数据段文件执行呈现处理，生成用于显示的图像。如参照图19中的流程图所述执行呈现处理。当步骤s287中的处理结束时，再现处理结束。

如上所述执行的步骤的处理允许客户端装置103改进内容再现的鲁棒性。

<场景描述处理流程>

现在，将参照图38中的流程图描述在图37中的步骤s283中执行的场景描述处理的流程的示例。

当开始场景描述处理时，类似于步骤s181至步骤s186的处理执行步骤s301至步骤s306的处理。

在步骤s307中，场景描述段文件处理部184获取确定的子节点，并且从clientselection节点301列出用于网格文件和纹理文件的节点的变化。

当步骤s307中的处理结束时，处理返回到步骤s302，并且重复随后的处理。换言之，针对每个transform节点12执行步骤s302至步骤s307中的处理。

在步骤s302中，在确定没有未被处理的transform节点的情况下，处理进行到步骤s308。

在步骤s308中，场景描述段文件处理部184确定要使用的所有细节级别的网格文件和纹理文件的变化。当步骤s308中的处理结束时，场景描述处理结束，并且处理返回到图37。

如上所述执行的步骤的处理允许客户端装置103在分发时能够进行自适应比特率控制(启用比特率适配)。因此，文件生成装置101可以改进内容再现的鲁棒性。

<3-9：实施方式1-2-2>

<增强现有节点>

代替如上所述定义新节点，可以增强现有节点。例如，可以生成空间显示控制信息，该空间显示控制信息基于视点位置，并且包括其中添加了表达三维对象的比特率变化的多个比特率的字段作为多个子节点的节点。

<场景描述的信令>

例如，可以进行增强使得现有的bitwrapper节点15和movietexture节点16列出多条访问信息，以允许针对每条访问信息指定比特率。图39示出了在这种情况下bitwrapper节点15和movietexture节点16的示例。在这种情况下，bitwrapper节点15包括通过增强url字段而获得的urllist字段，并且适于指定多个网格数据文件。在比特率字段中指示在每个urllist中指示的网格数据文件的比特率。具有在urllist字段中指示的第n个url的网格数据文件的比特率由比特率字段中的第n条比特率信息指示。

类似地，movietexture节点16包括通过增强url字段而获得的urllist字段，并且适于允许指定多个纹理数据文件。在每个urllist字段中指示的纹理数据文件的比特率在比特率字段中指示。

上述增强型节点的场景图类似于图5中的场景图。然而，在这种情况下，可以从bitwrapper节点15和movietexture节点16访问具有不同比特率的媒体数据。已经描述了bitwrapper节点15和movietexture节点16的增强的示例，但是可以在任何其他节点中提供类似的字段作为增强。

<4.第二实施方式(实施方式2)>

<用于统一降低比特率的信令>

此外，可以添加指示可以通过统一降低所有网格和纹理的比特率来保持质量的信令。换言之，可以生成元数据，该元数据还包括指示可以通过针对所有三维对象统一控制比特率来保持质量的信息。

在带宽不足的情况下，需要获取比特率降低的每个网格和纹理的段文件。然而，此时，通过用信号通知指示可以通过统一降低所有网格和纹理的比特率来保持质量的信息，再现侧(客户端装置103)可以容易地识别出如何可以适当地降低3d对象的比特率。因此，基于该信息，可以以如下方式统一降低所有网格和纹理的比特率：保持在视点位置处确定的3d对象之间的质量相关性，并且在显示6dof内容期间保持该质量相关性。因此，可以抑制6dof内容的质量劣化。

<网格和纹理的比特率适配的配置方法>

在本实施方式中，比特率适配被配置成满足以下两个条件。

(1)在网格与纹理之间，比特率变化中的比特率数目相等。

(2)比特率变化中的比特率之间的质量差异与其他3d对象中的比特率之间的质量差异相对一致。

例如，对于网格，假设使用编码参数(量化位数)来创建比特率变化(例如，在创建包括三个比特率的比特率变化的情况下，包括10、8和6的量化位的数目的三种模式被用于创建用于任何网格的比特率变化)。同样对于纹理，假定使用编码参数(量化参数)来创建比特率变化。

<4-1：实施方式2-1>

<指示以比特率的顺序保持相对质量的信令的添加>

作为指示可以通过统一降低纹理的比特率来保持质量的信令，可以添加指示以比特率的顺序保持相对质量的信令。

<4-2：实施方式2-1-1>

<使用场景描述和mpd的配置来实现>

例如，使用用于dash和场景描述数据的mpd文件的配置，可以添加指示以比特率的顺序保持相对质量的信令。

换言之，在类似于实施方式1-1中的系统的系统中，可以添加指示按照比特率的顺序保持相对质量的信令。换言之，在这种情况下的分发系统100的配置类似于图6的示例中的配置，在这种情况下的文件生成装置101的配置与图7的示例中的配置类似，并且在这种情况下，客户端装置103的配置类似于图8的示例中的配置。

<文件生成处理的流程>

将参照图40中的流程图描述在这种情况下的文件生成处理的流程的示例。当开始文件生成处理时，在步骤s321中，文件生成装置101的mpd文件生成部164生成mpd文件122，该mpd文件122包括指示按比特率的顺序的获取来保持3d对象之间的相对质量的信息。

与步骤s102至步骤s108(图9)中的处理类似地执行从步骤s322至步骤s328的处理。步骤s328中的处理结束，文件生成处理结束。

<再现处理的流程>

现在，将参照图41中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s341中，客户端装置103的mpd文件获取部181获取mpd文件122，该mpd文件122包括指示按比特率顺序的获取来保持3d对象之间的相对质量的信息。

与步骤s122至步骤s126(图10)的处理类似地执行步骤s342至步骤s346的处理。

在步骤s347中，媒体数据段文件选择部187在mpd文件122中基于传输频带以及指示按比特率顺序的获取来保持3d对象之间的相对质量的信息来选择媒体数据段文件。

与步骤s128和步骤s129(图10)中的处理类似地执行步骤s348和步骤s349中的处理。当步骤s349中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于指示以比特率的顺序的获取来保持3d对象之间的相对质量的信息来进行再现。因此，可以统一降低每个3d对象的网格和纹理的比特率，以抑制6dof内容质量的劣化。因此，可以改进内容再现的鲁棒性。

<4-3：实施方式2-1-1-1>

<仅mpd的增强>

在这种情况下，例如，可以添加指示仅通过增强mpd文件来以比特率的顺序保持相对质量的信令。

<mpd的信令>

例如，可以添加质量相关性信息，该质量相关性信息在mpd文件122中的所有网格和纹理的adaptationset中指示按比特率顺序(representation@bandwidth顺序)的获取防止了3d对象之间的相对质量的变化。

具体地，使用supplementalproperty和空格分隔符在period中用信号通知adaptationsets的id列表，当按比特率顺序获取时，adaptationsets防止了3d对象之间相对质量的变化。下面举例说明。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbybitrateorder”value＝“as1@idas2@id...”>

可以用信号通知多个supplementalproperty。例如，supplementalproperty可以应用于音频而不是6dof内容。

图42示出了本实施方式中的mpd文件122的示例。该示例包括三个3d对象，每个3d对象包括高、中和低三个细节级别。此外，针对每个细节级别处的网格和纹理提供包括三个比特率的比特率变化。

例如，在图42中分别针对3d对象a选择高细节级别(adaptationset@id＝1和2)，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)，作为适当的细节级别，从以下三种模式中选择比特率的组合(representation的组合)使得能够在保持相对质量的情况下进行显示。

模式1：

representation@id＝ahm-1，representation@id＝aht-1，representation@id＝bmm-1，representation@id＝bmt-1，representation@id＝cmm-1，representation@id＝cmt-1

模式2：

representation@id＝ahm-2，representation@id＝aht-2，representation@id＝bmm-2，representation@id＝bmt-2，representation@id＝cmm-2，representation@id＝cmt-2

模式3：

representation@id＝ahm-3，representation@id＝aht-3，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-3，representation@id＝cmt-3

<修改例>

在图42中记载的示例中，在period中提供信令。然而，可以在adaptationset中提供信令。然而，在这种情况下，未指定“value”值，并且数据指示具有该属性的adaptationset是当按比特率顺序进行获取时防止3d对象之间的相对质量发生变化的adaptationset。下面举例说明。另外，图43示出了mpd文件122的示例。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbybitrateorder”>

另外，考虑到在音频以及视频中的类似利用，将组编号指定为“value”值，以实现对于相同组编号的统一降低。例如，如以下示例中所示，可以在value的开头处用信号通知groupid。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbybitrateorder”value＝“groupid，as1@idas2@id...“>

此外，如以下示例所示，可以用信号通知@relativequalityisensuredbybitrateorder而非supplementalproperty作为adaptationset的周期或属性，并且可以用信号通知true/false或组编号作为value。

示例：<periodrelativequalityisensuredbybitrateorder＝“as1@idas2@id...”>

示例：<apdationsetrelativequalityisensuredbybitrateorder＝“true”>

在上述的所有实施方式1-1-1、实施方式1-1-2以及实施方式1-1-3中，可以应用本实施方式中描述的方法。在将本技术应用于实施方式1-1-2的情况下，如果将比特率的顺序用于mpd中的representationgroup中指示的url参数或数据的处理就足够了。

<再现处理的流程>

与图40的流程图中的文件生成处理类似地执行这种情况下的文件生成处理。将参照图44中的流程图描述在这种情况下的再现处理的流程的示例。在开始再现处理时，在步骤s361中，mpd文件获取部181获取mpd文件122，该mpd文件122包括指示以比特率的顺序的获取来保持3d对象之间的相对质量的信息。

与步骤s162至步骤s166(图17)的处理类似地执行步骤s362至步骤s366的处理。

在步骤s367中，媒体数据段文件选择部187针对每个3d对象选择与期望的细节级别对应的mpd文件122中的每个adaptationset中的representation。此时，媒体数据段文件选择部187选择具有相同的比特率顺序的representation，使得所获取的所有段文件的比特率的总和小于在步骤s366中获取的传输频带。

与步骤s168和步骤s169(图17)中的处理类似地执行步骤s368和步骤s369中的处理。当步骤s369中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于指示以比特率的顺序的获取来保持3d对象之间的相对质量的信息来进行再现。因此，可以统一降低每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

<4-4：实施方式2-1-1-2>

<场景描述的增强>

代替如在实施方式2-1-1-1中描述的方法中的在mpd文件122中的信令，可以在场景描述数据121中提供信令。

<场景描述的信令>

可以增强场景描述数据121中的bitwrapper节点15和movietexture节点16中的url字段的描述。例如，将指示按比特率的顺序的获取防止3d对象之间的相对质量的改变的url参数添加到url。更具体地，例如，添加relativequalityisensuredbybitrateorder作为url参数的变量。假定提供url参数，以指示按照比特率的顺序(representation@bandwidth顺序)的获取来使得能够保持3d对象之间的相对质量。下面举例说明。

url的示例：http://www.6dofserver.com/6dof.mpd？as＝1&relativequalityisensuredbybitrateorder

图45示出了该示例中的场景描述数据121的示例。如图45所示，将relativequalityisensuredbybitrateorder作为url参数的变量添加到bitwrapper节点15和movietexture节点16中url字段中的url。

因此，在场景描述数据121中，可以用信号通知指示以比特率的顺序的获取来保持了3d对象之间的相对质量的信息。因此，可以统一降低每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

已经描述了实施方式1-1-1的应用。然而，本技术可以类似地应用于实施方式1-1-2和实施方式1-1-3。在将本技术应用于实施方式1-1-2的情况下，如果将比特率的顺序用于url参数或者由mpd中的representationgroup指示的数据的处理就足够了。

<修改例>

同样在本增强中，为了指示以比特率的顺序获取的分组，可以将分组编号指示为url参数的值，如实施方式2-1-1的修改例中那样。

<4-5：实施方式2-1-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，可以添加用于统一降低比特率的信令。换言之，在这种情况下，不利用用于dash的mpd文件122。

换言之，在类似于实施方式1-2中的系统的系统中，可以添加指示以比特率的顺序保持相对质量的信令。换言之，在这种情况下，分发系统100的配置与图29的示例中的配置类似。文件生成装置101的配置与图30的示例中的配置类似。客户端装置103的配置类似于图31的示例中的配置。

<文件生成处理的流程>

将参照图46中的流程图描述在这种情况下的文件生成处理的流程的示例。当开始文件生成处理时，在步骤s381中,文件生成装置101的场景描述生成部162生成场景描述数据121，该场景描述数据121包括指示按比特率的顺序的获取来保持3d对象之间的相对质量的信息。

与步骤s222至步骤s225(图32)的处理类似地执行步骤s382至步骤s385的处理。当步骤s385中的处理结束时，文件生成处理结束。

<再现处理的流程>

现在，将参照图47中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s401中，客户端装置103的场景描述段文件获取部183获取场景描述段文件，该场景描述段文件包括当前时间的信息，该信息指示按比特率顺序的获取来保持3d对象之间的相对质量。

与步骤s242至步骤s244(图33)的处理类似地执行步骤s402至步骤s404的处理。

在步骤s405中，场景描述段文件处理部184基于传输频带以及指示按照比特率的顺序的获取来保持3d对象之间的相对质量的信息，来选择场景描述段文件中的节点。

与步骤s246和步骤s247(图33)中的处理类似地执行步骤s406和步骤s407中的处理。当步骤s407中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于指示以比特率的顺序的获取保持3d对象之间的相对质量的信息来进行再现。因此，可以统一降低每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

<4-6：实施方式2-1-2-1>

<定义新节点>

为了增强场景描述数据121，在不改变而直接使用现有节点的情况下，可以添加新的节点以进行比特率适配。

<场景描述的信令>

例如，可以添加质量相关性信息，该质量相关性信息指示对于所有的网格和纹理，按比特率的顺序的获取防止了3d对象之间的相对质量的改变。更具体地，clientselection节点301可以另外包括relativequalityisensuredbybitrateorderflag字段，该字段指示按照比特率的顺序的获取防止了3d对象之间的相对质量的改变。图48示出了clientselection节点的增强示例。

对于包括true的relativequalityisensuredbybitrateorderflag的网格和纹理，当比特率变化时，可以通过同时降低比特率字段中指示的比特率顺序来降低比特率，而3d对象之间的相对质量不变。

<修改例>

注意，在本增强中，为了指示按比特率的顺序进行获取的分组，可以使用relativequalityisensuredbybitrateorder代替relativequalityisensuredbybitrateorderflag，以sfint类型提供信令以指示分组编号。

<4-7：实施方式2-1-2-2>

<增强现有节点>

代替如上所述定义新节点，可以执行现有节点的增强。

<场景描述的信令>

例如，上述的relativequalityisensuredbybitrateorderflag字段可以作为实施方式1-2-2中的bitwrapper节点15和movietexture节点16中的增强来提供增强。图49示出了该情况下bitwrapper节点15和movietexture节点16的示例。

<修改例>

同样在本增强中，为了指示按比特率的顺序进行获取的分组，可以使用relativequalityisensuredbybitrateorder代替relativequalityisensuredbybitrateorderflag，以sfint类型提供信令以指示分组编号。

另外，已经示出了bitwrapper节点15和movietexture节点16的增强示例，但是可以在任何其他节点中提供类似的字段作为增强。

<5.第三实施方式(实施方式3)>

<指示要获取的比特率的组合的信令>

此外，可以添加与各个比特率对应的纹理和网格的变化、指示需要同时获取哪个比特率以允许保持相对质量关系的质量相关信息。换言之，可以生成元数据，该元数据还包括指示三维对象之间的相对质量的信息。

比特率变化中的比特率数目和比特率变化的质量可能随3d对象而变化。例如，网格数据允许针对具有大量顶点(例如，人)的3d对象创建多个比特率。然而，对于顶点数目较少的3d对象(例如，盒子)，即使编码参数变化了，比特率也不会变化。因此，不能准备相同数目的比特率。

在如上所述的情况下，存在以下可能性，如第二实施方式中那样统一降低比特率极大地干扰了在视点位置处确定的3d对象之间的相对质量关系。对于某些3d对象，缺少比特率变化会阻止这种情况的发生。在这种情况下，缺少可以获取的比特率文件可能会阻止内容的再现。

如上所述，质量相关信息的添加允许即使在这样的情况下也控制比特率，以保持3d对象之间的相对质量关系。因此，可以改进内容再现的鲁棒性。

<5-1：实施方式3-1>

<指示使用质量排名进行选择也允许保持相对质量的信令>

将质量排名用信号通知给三维对象的每个细节级别的网格和纹理的比特率变化。此外，可以提供指示基于上述值的获取允许保持相对质量的信令。例如，作为指示三维对象之间的相对质量的信息，可以生成包括qualityranking的元数据，该qualityranking以排名的形式指示三维对象的比特率变化的比特率的质量。此时，以防止qualityranking的值改变相对质量的方式执行编码。例如，可以基于实施方式2中的比特率适配的配置方法来执行编码，以按照编码参数的顺序确定qualityranking，随后可以省略与比特率变化少对应的数据。

<5-2：实施方式3-1-1>

<使用场景描述和mpd的配置用于实现>

例如，使用用于dash和场景描述数据的mpd文件的配置可以用于用信号通知qualityranking(质量相关信息)。qualityranking根据现有dash标准(iso/iec23009-1)使用representation@qualityranking。

换言之，在与实施方式1-1中的系统类似的系统中，可以用信号通知qualityranking。换言之，在这种情况下的分发系统100的配置类似于图6的示例中的对应配置，文件生成装置101的配置类似于图7的示例中的对应配置，并且客户端装置103的配置类似于图8的示例中的对应配置。

<文件生成处理的流程>

将参照图50中的流程图描述在这种情况下的文件生成处理的流程的示例。当开始文件生成处理时，步骤s421中，文件生成装置101的mpd文件生成部164生成包括qualityranking的mpd文件122。

与步骤s102至步骤s108(图9)中的处理类似地执行步骤s422至步骤s428中的处理。当步骤s328中的处理结束时，文件生成处理结束。

<再现处理流程>

现在，将参照图51中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s441中，客户端装置103的mpd文件获取部181获取包括qualityranking的mpd文件122。

与步骤s122至步骤s126(图10)中的处理类似地执行步骤s442至步骤s446中的处理。

在步骤s447中，媒体数据段文件选择部187基于传输频带和qualityranking来选择mpd文件122中的媒体数据段文件。

与步骤s128和步骤s129(图10)中的处理类似地执行步骤s448和步骤s449中的处理。当步骤s349中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于qualityranking来进行再现，从而允许降低用于每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

<5-3：实施方式3-1-1-1>

<仅mpd的增强>

在这种情况下，例如，可以添加以下信息，该信息指示通过仅增强mpd文件，在所有网格和纹理的adaptationset中的representation中用信号通知的以qualityranking顺序(representation@qualityranking)进行的获取使3d对象之间的相对质量保持不变。

更具体地，在period中使用supplementalproperty和空格分隔符来用信号通知以qualityranking顺序进行获取防止了3d对象之间的相对质量的变化的adaptationsets的id列表。信令的示例在下面示出。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbyqualityranking”value＝“as1@idas2@id...”>

在没有任何一个representation具有相同qualityranking的情况下，可以选择具有接近的qualityranking值的representation。可以用信号通知多个supplementalproperty。例如，这适用于本实施方式类似地应用于音频而不是6dof内容的情况。

图52示出了在这种情况下的mpd文件122的示例。该示例包括三个3d对象，每个3d对象都包括高、中和低三个细节级别。此外，网格涉及不同的比特率变化，并且纹理涉及不同的比特率变化。

在图52中，在针对3d对象a选择高细节级别(adaptationset@id＝1和2)作为适当的细节级别，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)的情况下，通过从以下参考qualityrankingd三种模式中选择比特率的组合，可以提供保持相对质量的显示。

模式1：

representation@id＝ahm-1，representation@id＝aht-1，representation@id＝bmm-1，representation@id＝bmt-1，representation@id＝cmm-1，representation@id＝cmt-1

模式2：

representation@id＝ahm-2，representation@id＝aht-2，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-2

模式3：

representation@id＝ahm-3，representation@id＝aht-3，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-3

本技术可以应用于实施方式1-1-1、实施方式1-1-2和实施方式1-1-3中的任何一个。然而，在实施方式1-1-2中，可以选择qualityranking不是以1开头的representationgroup。然而，可以通过使用qualityranking中的差异而不是qualityranking的值，将本技术应用于基于客户端的实现的情况。

<修改例>

在上述示例中，在period中提供信令。然而，可以在adaptationset中提供信令。然而，在这种情况下，未指定“value”值，并且提供了信令，使得使用具有该属性的adaptationset以qualityranking顺序进行的获取防止了3d对象之间的相对质量发生变化。信令的示例在下面示出。另外，图53示出了该示例中的mpd文件122的示例。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbyqualityranking”>

另外，考虑到音频和视频的相似利用，可以将组编号指定为“value”值，并且可以对相同的组编号进行统一降低。例如，在value的开头用信号通知groupid。信令的示例在下面示出。

示例：<supplementalpropertyschemeiduri＝“relativequalityisensuredbyqualityranking”value＝“groupid，as1@id和as2@id...“>

<其他修改例>

可以将relativequalityisensuredbyqualityranking添加到period中的属性。替选地，可以将relativequalityisensuredbyqualityranking添加到adaptationset中的属性。添加的示例如下所示。

示例：<periodrelativequalityisensuredbyqualitranking＝“123…1718”>

示例：<adaptatonsetrelativequalityisensuredbyqualitranking＝“true”>

<再现处理的流程>

与图50中的流程图的处理类似地执行这种情况下的文件生成处理。将参照图54中的流程图描述这种情况下的再现处理的流程。当开始再现处理时，在步骤s461中，mpd文件获取部181获取包括qualityranking的mpd文件122。

与步骤s162至步骤s166(图17)的处理类似地执行步骤s462至步骤s466的处理。

在步骤s467中，媒体数据段文件选择部187针对每个3d对象选择与期望的细节级别对应的mpd文件122中的每个adaptationset中的representation。此时，媒体数据段文件选择部187针对由supplementalproperty指示的adaptationset来选择包括具有相同值或接近值的qualityranking的representation，并且选择组合，使得所获取的所有段文件的比特率的总和小于传输频带。

与步骤s168和步骤s169(图17)中的处理类似地执行步骤s468和步骤s469中的处理。当步骤s469中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于指示以比特率的顺序进行的获取保持3d对象之间的相对质量的信息来进行再现。因此，可以统一降低每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

换言之，客户端装置103在从关于每个3d对象的网格数据和纹理数据的adaptationsets中选择比特率时，依次选择组合，首先选择qualityranking值为1的组合，然后选择qualityranking值为2的组合，依此类推。因此，尽管比特率适配，客户端装置103仍可以在防止相对质量的改变的同时选择数据。在不存在qualityranking的值的情况下，可以使用包括具有接近值的qualityrankings的representation。

在本实施方式中，qualityranking可以仅包括一定数目的等级。在这种情况下，不能再降低quality，并且需要连续选择与最低质量对应的数据。然而，qualityrankings可能有很大的不同，从而无法保持相对的质量。为了避免这种情况，可以允许执行如下所述的技术。

(1)客户端装置103在显示时降低quality，使得该质量与其他质量一致。例如，在显示时，客户端装置103在显示之前将高斯模糊滤波器仅应用于3d对象部分。

(2)在将本技术应用于实施方式1-1-1和实施方式1-1-2的情况下，客户端装置103使web服务器102创建具有低qualityranking的比特率，并且获取该比特率。

客户端装置103向web服务器102请求要创建的mpd文件的名称、adaptationset的id以及qualityranking。根据该请求，web服务器102针对指定的adaptationset中的网格数据或纹理数据创建具有指定的qualityranking的段文件。然后，web服务器102利用mpd更新的机制更新mpd文件122，并且将更新的mpd文件122发送到客户端装置103。基于新获取的mpd文件122，客户端装置103再次利用质量排名来选择要获取的文件。在这种情况下，可以预先在mpd中用信号通知用于服务器中不存在但是可以创建的qualityranking的段文件。

<5-4：实施方式3-1-1-2>

<场景描述的增强>

代替如实施方式3-1-1-1中所述的mpd文件122中的信令，可以提供场景描述数据121中的信令。

<场景描述的信令>

在这种情况下，如实施方式2-1-1-2的情况，可以增强场景描述数据121中的bitwrapper节点15和movietexture节点16中的url字段的描述。

例如，如在下面示出的示例中，指示场景描述数据121中的网格和纹理的url的url参数可以用于指示通过以qualityranking顺序进行获取使3d对象之间的相对质量保持不变。

url的示例：

http://www.6dofserver.com/6dof.mpd？

as＝1&relativequalityisensuredbybyqualyranking

在这种情况下，场景描述数据121的描述对应于图45中的示例中的部分relativequalityisensuredbybitrateorder，该部分被relativequalityisensuredbybyqualityranking替换。

已经描述了对实施方式1-1-1的应用。然而，本技术也可以应用于实施方式1-1-2和实施方式1-1-3。另外，可以启用针对不存在与较低qualityranking对应的比特率变化的情况的处理。

<修改例>

另外，可以如实施方式3-1-1-1的修改例那样添加分组信息。例如，可以将分组信息添加到url参数的relativequalityisensuredbyqualityranking的值。添加的示例如下所示。

url的示例：

http://www.6dofserver.com/6dof.mpd？

as＝1&relativequalityisensuredbyqualityranking＝1

代替增强url参数，修改例可以向bitwrapper节点15和movietexture节点16添加新字段，例如，如下所示的字段。

示例：字段sfboolrelativequalityisensuredbyqualityrankingflag

<5-5：实施方式3-1-2>

<仅使用场景描述的配置用于实现>

注意，还可以添加如下信令，该信令指示在实施方式1-2中仅使用场景描述的情况下可以通过利用质量排名进行选择来保持相对质量。换言之，在这种情况下，没有利用用于dash的mpd文件122。注意，在本实施方式中，提供了两种增强，即：(1)用于质量排名的信令的增强；以及(2)指示以qualityranking顺序进行的获取允许保持相对质量的信令的增强。

另外，在类似于实施方式1-2中的系统的系统中，可以添加指示还可以通过利用质量排名进行选择来保持相对质量的信令。换言之，在这种情况下，分发系统100的配置类似于图29中的示例中的对应配置，文件生成装置101的配置类似于图30中的示例中的对应配置，并且客户端装置103的配置类似于图31的示例中的对应配置。

<文件生成处理的流程>

将参照图55中的流程图描述在这种情况下的文件生成处理的流程的示例。当开始文件生成处理时，在步骤s481中，文件生成装置101的场景描述生成部162生成包括qualityranking的场景描述数据121。

与步骤s222至步骤s225(图32)的处理类似地执行步骤s482至步骤s485的处理。当步骤s485中的处理结束时，文件生成处理结束。

<再现处理的流程>

将参照图56中的流程图描述在这种情况下的再现处理的流程。当开始再现处理时，在步骤s501中，客户端装置103的场景描述段文件获取部183获取包括当前时间的qualityranking的场景描述段文件。

与步骤s242至步骤s244(图33)中的处理类似地执行步骤s502至步骤s504中的处理。

在步骤s505中，场景描述段文件处理部184基于传输频带和qualityranking来选择场景描述段文件中的节点。

与步骤s246和步骤s247(图33)中的处理类似地执行步骤s506和步骤s507中的处理。当步骤s507中的处理结束时，再现处理结束。

如上所述执行的步骤的处理使得能够基于qualityranking进行再现，从而允许降低用于每个3d对象的网格和纹理的比特率，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

<5-6：实施方式3-1-2-1>

<定义新节点>

为了增强场景描述数据121，在不进行改变而直接利用现有节点的情况下，可以添加新的节点以进行比特率适配。例如，可以增强实施方式1-2-1中描述的clientselection节点301。

图57示出了增强clientselection节点301的示例。例如，在clientselection节点301中，在qualityranking字段中描述了由selectionnode字段指示的子节点的质量排名。qualityranking[n]指示selectionnode[n]的质量排名。

另外，包括relativequalityisensuredbyqualityrankingflag为true的网格和纹理指示可以通过选择具有相同qualityranking值的网格和纹理来保持3d对象之间的相对质量来改变比特率。

<修改例>

另外，可以如实施方式3-1-1-1的修改例中那样用信号通知分组信息。在这种情况下，可以如下面所示的其中结果字段包括分组信息的示例中那样替换relativequalityisensuredbyqualityrankingflag。

字段sfint32relativequalityisensuredbyqualityranking

<5-7：实施方式3-1-2-2>

<增强现有节点>

代替如上所述的新节点定义，可以执行现有节点的增强。

<场景描述的信令>

例如，上述的qualityranking字段和relativequalityisensuredbyqualityrankingflag字段可以作为增强而提供在实施方式1-2-2中增强的bitwrapper节点15和movietexture节点16中。图58示出了这种情况下bitwrapper节点15和movietexture节点16的示例。

<修改例>

如实施方式3-1-2-1的修改例那样，可以允许对分组信息进行处理。另外，已经示出了bitwrapper节点15和movietexture节点16的增强示例，但是可以在任何其他节点中提供类似的字段作为增强。

<5-8：实施方式3-2>

<用信号通知质量本身>

用信号通知比特率变化中所有比特率的quality(例如，psnr)。在这种情况下，客户端装置103选择引起相同程度的quality变化的数据。换言之，可以生成元数据，该元数据包括包括以值指示三维对象的比特率变化的每个比特率的质量的quality值，作为指示三维对象之间的相对质量的信息。

<5-9：实施方式3-2-1>

<使用场景描述和mpd的配置用于实现>

例如，可以通过使用用于dash的mpd文件和场景描述数据的配置来用信号通知比特率变化的quality。

<mpd的信令>

例如，可以在representation中用信号通知quality本身。例如，可以使用supplementalproperty在representation中用信号通知quality的类型和值。信令的示例在下面示出。

<supplementalpropertyschemeiduri＝“qualityvalue”value＝“type，value”>

在该示例中，按类型用信号通知quality的类型，并且按值用信号通知quality的值。对于某些类型的quality，quality值可能会随着时间或者观看3d对象的位置或方向而变化。在这种情况下，在本技术中，如果使用基于特定时间、视点位置和视线方向计算的代表性quality值就足够了。此外，如果在图59中的表格中指示类型就足够了。

通过使用指示的类型和“value”值来选择当比特率降低时引起程度相同的quality变化的representation，客户端装置103可以选择保持相对质量的比特率。

图60示出了在这种情况下的mpd文件122的示例。该示例包括三个3d对象，每个3d对象都包括高、中和低三个细节级别。此外，网格涉及不同的比特率变化，并且纹理涉及不同的比特率变化。

假设在图60所示的mpd文件122中，针对3d对象a选择高细节级别(adaptationset@id＝1和2)，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)，作为适当的细节级别。对于比特率的组合，参考quality的值，从具有最高quality的比特率中选择具有相同数值差或者接近的数值差的比特率。然后，以下三个模式对应于能够保持具有相对质量的显示的组合。

模式1：

representation@id＝ahm-1，representation@id＝aht-1，representation@id＝bmm-1，representation@id＝bmt-1，representation@id＝cmm-1，representation@id＝cmt-1

模式2：

representation@id＝ahm-2，representation@id＝aht-2，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-2

模式3：

representation@id＝ahm-3，representation@id＝aht-3，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-3

本实施方式的技术可以应用于实施方式1-1-1、实施方式1-1-2和实施方式1-1-3中的任何一个。

在本实施方式的技术中，quality值的数目可以被限制为某个值。在这种情况下，不能再降低quality，并且需要连续选择与最低质量对应的数据。然而，这扰乱了quality的相关性。为了避免这种情况，可以允许执行如下所述的技术。

(1)客户端在显示时降低quality，使得该质量与其他quality一致。例如，在显示时，客户端在显示之前将高斯模糊滤镜仅应用于3d对象部分。

(2)在实施方式1-1-1或实施方式1-1-2中，客户端装置103使web服务器102生成低quality的比特率，并且获取该比特率。客户端装置103向web服务器102请求mpd文件的名称、adaptationset的id以及要创建的quality的类型和值。根据该请求，web服务器102针对与指定的adaptationset中的网格数据或纹理数据创建与指定的quality的类型和值对应的段文件，并且布置该段文件。然后，web服务器102利用mpd更新的机制更新mpd文件122，并且将更新的mpd文件122发送到客户端装置103。基于新获取的mpd文件，客户端装置103再次利用quality来选择要获取的文件。在这种情况下，可以预先在mpd中用信号通知服务器中不存在但是可以创建的quality的类型和值的段文件。

<修改例>

可以将qualityvalue添加到representation的属性中。添加的示例如下所示。

示例：<representationadaptatonsetqualityvalue＝“1,41”>

<5-10：实施方式3-2-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，可以添加质量本身的信令。换言之，在这种情况下，不利用用于dash的mpd文件122。

<5-11：实施方式3-2-2-1>

<定义新节点>

为了增强场景描述数据121，在不进行改变而直接利用现有节点的情况下，可以添加新的节点以进行比特率适配。

通过增强实施方式1-2-1中的clientselection节点301来实现本实施方式。图61示出了在这种情况下的clientselection节点301的配置示例。qualityvalue字段指示由clientselection节点301中的selectionnode指示的子节点的quality本身。qualityvalue[n]指示selectionnode[n]的质量。此外，quality的类型由qualitytype字段指示。相同的qualitytype用于所有qualityvalues。对于qualitytype字段的值，利用图59中的表401中的值。

<5-12：实施方式3-2-2-2>

<增强现有节点>

代替如上所述定义新节点，本实施方式可以增强现有节点。本实施方式是实施方式3-2-2-1的修改例。作为实现方式的增强，在实施方式1-2-2中增强的bitwrapper节点15和movietexture节点16中提供了qaulityvalue字段和qualitytype字段。图62示出了这种情况下bitwrapper节点15和movietexture节点16的示例。

注意，已经示出了bitwrapper节点15和movietexture节点16的增强示例，但是可以在任何其他节点中提供类似的字段作为增强。

<5-13：实施方式3-3>

<用信号通知要同时再现的媒体数据的组合>

另外，可以用信号通知要同时再现的媒体数据的组合。换言之，可以生成元数据，该元数据包括指示可以同时再现的三维对象的比特率变化的信息，作为表示三维对象之间的相对质量的信息。

<5-14：实施方式3-3-1>

<使用场景描述和mpd的配置用于实现>

例如，使用用于dash的mpd文件和场景描述数据的配置可以用于用信号通知要同时再现的媒体数据的组合。

<mpd的信令>

例如，可以用信号通知指示允许保持相对质量的组合的分组信息。

当从adaptationset中选择representation时，客户端装置103选择并且再现相同的组。一个representation可以属于多个组。更具体地，在每个representation中使用supplementalproperty来指示组编号，并且信令指示当基于组编号选择相同的组编号时，3d对象之间的相对质量保持不变。“value”值指示组编号。可以使用空格分隔符指示多个组。信令的示例在下面示出。

示例：<supplementalpropertyschemeiduri＝“keeprelativequalityconsiderationgroup”value＝“1...”>

图63是示出在这种情况下的mpd文件122的描述示例的图。假定在图63中，针对3d对象a选择高细节级别(adaptationset@id＝1和2)，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)，作为适当的细节级别。比特率的组合允许通过选择包括具有相同的值的keeprelativequalityconsiderationgroups的representation来保持相对质量。在该示例中，以下三个模式对应于使得能够在保持相对质量的情况下进行显示的组合。

模式1：

representation@id＝ahm-1，representation@id＝aht-1，representation@id＝bmm-1，representation@id＝bmt-1，representation@id＝cmm-1，representation@id＝cmt-1

模式2：

representation@id＝ahm-2，representation@id＝aht-2，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-2

模式3：

representation@id＝ahm-3，representation@id＝aht-3，representation@id＝bmm-3，representation@id＝bmt-3，representation@id＝cmm-1，representation@id＝cmt-3

在本实施方式中，防止quality被设置为等于或低于具有最大数值的组的quality。此时，本实施方式可以允许使web服务器102创建与更低质量对应的group，并且允许获取该group。客户端装置103向web服务器102请求mpd文件的名称以及与甚至更低的keepreativequalitygroup的组合。根据该请求，web服务器102创建与如下quality对应的媒体数据，该quality低于包括具有最大数值(换言之，所有3d对象的最低质量)的keepreativequalitygroup的group的质量，并且布置该媒体数据。web服务器102更新mpd文件122，并且将更新的mpd文件122发送到客户端装置103。基于新获取的mpd文件122，客户端装置103再次利用keepreativequalitygroup来选择要获取的文件。在这种情况下，可以预先在mpd中用信号通知具有在服务器中不存在但是可以创建的quality的组的段文件。

<修改例>

可以将keeprelativequalitygroup添加到representation的属性。添加的示例如下所示。

示例：<adaptatonsetkeeprelativequalitygroup＝“1”>

另外，考虑到音频以及视频的类似利用，可以用信号通知进一步分组的keeprelativequalitygroup的id作为“value”值。例如，可以在值的开头用信号通知groupid。信令的示例在下面示出。

示例：<supplementalpropertyschemeiduri＝“keeprelativequalitygroup”value＝“groupid，as1@idas2@id...”>

<5-15：实施方式3-3-2>

<仅使用场景描述的配置用于实现>

在根据实施方式1-2的仅具有增强的场景描述的技术中，可以用信号通知指示允许保持相对质量的组合的分组信息。

<5-16：实施方式3-3-2-1>

<定义新节点>

可以增强实施方式1-2-1中的客户端选择节点301。图64示出了在这种情况下的clientselection节点301的示例。在图64中，可以在由clientselection节点301中的selectionnode指示的子节点中用信号通知指示允许保持相对质量的组合的分组信息。更具体地，可以在selectionnode中设置keeprelativequalityconsiderationgroup。在keeprelativequalityconsiderationgroup[n]中指示与selectionnode[n]所属的组相关的group信息。group指示作为字符的整数值，并且使用空格分隔符表示多个组。

<修改例>

另外，可以如实施方式3-2-1的修改例中那样，用信号通知进一步分组的keeprelativequalitygroup的id。在这种情况下，只要添加以下示例中所示的keeprelativequalitygroupid字段就足够了。

字段sfint32keeprelativequalitygroupid

<5-17：实施方式3-3-2-2>

<增强现有节点>

本实施方式是实施方式3-3-2-1的修改例。可以在实施方式1-2-2中增强的bitwrapper节点15和movietexture节点16中提供keeprelativequalityconsiderationgroup字段作为增强。图65示出了增强的bitwrapper节点15和movietexture节点16的示例。

<修改例>

另外，可以如实施方式3-3-2-1中那样添加keeprelativequalitygroupid字段。另外，已经描述了bitwrapper节点15和movietexture节点16的增强示例，但是不旨在进行这种限制。可以在任何其他节点中提供类似字段作为增强。

<6：第四实施方式(实施方式4)>

<用于切换比特率选择的细节级别的信令>

此外，可以添加在将比特率降低到极限之后使用的信令，该信令用于通过取决于视点位置从所确定的3d对象的细节级别中降低一个或更多个或者所有3d对象的细节级别来执行比特率适配。

即使在选择了所有3d对象中比特率最低的网格和纹理的情况下，也有可能在传输频带比总比特率窄的情况下中断再现。

通过如上所述通过降低细节级别来提供用于比特率适配的信令，在如上所述的情况下，可以统一降低细节级别，以抑制6dof内容的质量劣化。因此，可以改进内容再现的鲁棒性。

<6-1：实施方式4-1>

<指示统一降低细节级别防止了相对关系的干扰的信令>

对于基于细节级别的切换的比特率选择，可以提供指示统一降低细节级别防止相对关系被干扰的信令。换言之，可以生成还包括指示如下信息的元数据，该信息指示尽管三维对象的细节级别发生了变化，仍可以保持三维对象之间的相对质量。

<6-2：实施方式4-1-1>

<使用场景描述和mpd的配置用于实现>

例如，使用用于dash的mpd文件和场景描述数据的配置可以用于用信号通知统一降低细节级别防止相对关系受到干扰。

<mpd的信令>

基于实施方式1-1-1的实施方式使得能够访问场景描述中的3d对象的每个细节级别处的mpd中的adaptationset。然而，基于实施方式1-1-1的实施方式中的mpd没有指示每个adaptationset对应于哪个具有特定细节级别的3d对象。从指示哪个3d对象处于特定的细节级别的场景描述获取信息以切换细节级别是重复的工作(需要繁琐且耗时的工作)。

因此，首先，mpd被配置为指示在同一3d对象中包括哪个细节级别。换言之，对同一3d对象的网格中的adaptationsets(细节级别)进行了分组。类似地，对同一3d对象的纹理中的adaptationsets(细节级别)进行分组。此外，提供了指示在统一降低细节级别的情况下可以尽可能多地保持对象之间的相对显示关系的信令。

用于实施这种技术的特定信令使得：在period中，用信号通知supplementalproperty，该supplementalproperty指示在统一降低细节级别的情况下可以尽可能地保持对象之间的相对显示关系，并且用信号通知具有尽可能地保持相对显示关系的细节级别的组。

supplementalproperty用于在schemeiduri中用信号通知“lodrelativequalityisensuredbylodorder”，lodrelativequalityisensuredbylodorder指示在统一降低细节级别的情况下可以尽可能地保持对象之间的相对显示关系。此外，将lodgroup添加到supplementalproperty中的element。lodgroup正在对关于同一3d对象的网格或同一3d对象的纹理的adaptationsets的信息进行分组。使用lodgroup中的member属性用信号通知组中包括的adaptationset@id。从最高的细节级别开始，按照指示细节级别的降低顺序的细节级别的降序来排列用信号通知的adaptationset@id。信令的示例在下面示出。

示例：

<supplementalpropertyschemeiduri＝“lodrelativequalityisensuredbylodorder”>

<lodgroupmember＝“as@id1as@id2...”/>

<lodgroupmember＝“as@id4as@id5...”/>

</supplementalproperty>

在使用第二实施方式或第三实施方式的技术难以降低比特率的情况下，客户端基于supplementalproperty来选择adaptationset与次低的细节级别的组合，并且再次使用第二实施方式或第三实施方式的技术执行比特率选择。此时，在不存在较低细节级别的情况下，使用关于最低细节级别的最小比特率的数据。

图66示出了在这种情况下的mpd文件122的示例。该示例包括三个3d对象，每个3d对象都包括高、中和低三个细节级别。supplementalproperty指示3d对象的具有不同细节级别的一组网格数据以及3d对象的具有不同细节级别的一组纹理数据。

在图66中，针对3d对象a选择高细节级别(adaptationset@id＝1和2)，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)，作为适当的细节级别。在即使降低组合内的比特率导致总比特率大于传输频带的情况下，细节级别仍然被改变。此时，将参考supplementalproperty针对所有3d对象选择次低的细节级别。然后，得到以下组合。

adaptationset@id＝3(3d对象a的中等细节级别的网格数据)

adaptationset@id＝4(3d对象a的中等细节级别的纹理数据)

adaptationset@id＝11(3d对象b的低细节级别的网格数据)

adaptationset@id＝12(3d对象b的低细节级别的纹理数据)

adaptationset@id＝17(3d对象c的低细节级别的网格数据)

adaptationset@id＝18(3d对象c的低细节级别的纹理数据)

本技术可以应用于实施方式1-1-1。注意，在将本技术应用于实施方式1-1-1-1的情况下，可以通过以下操作来实现应用，在实施方式1-1-2-2的adaptationset中提供指示representationgroups的信令并且在adaptationset中使用supplementalproperty来提供指示统一降低representationgroups(换言之，细节级别)允许尽可能地保持相对关系的信令。

在将本技术应用于实施方式1-1-2-2的情况下，可以通过以下操作来实现应用，使用supplementalproperty在adaptationset中提供指示统一降低representationgroups(换言之，细节级别)允许尽可能地保持相对关系的信令。

<修改例>

另外，可以执行如下所述的信令。

(1)通过adaptationset@group标识关于同一3d对象的网格和纹理的组信息，并且使用supplementalproperty在每个adaptationset中用信号通知细节级别的顺序。替选地，将adaptationset中的attribute用于指定。

(2)通过adaptationset@group标识关于同一3d对象的网格和纹理的组信息，并且从场景描述中获取细节级别的顺序。

(3)在adaptationset中，用信号通知用于次高的细节级别的adaptationset和用于次低的细节级别的adaptationset。下面示出了信令的描述示例。注意，该信令可以在adaptationset中的attribute中指定。

<supplementalpropertyschemeiduri＝“lowleveladaptationset”value＝“adaptationset@id”>

<supplementalpropertyschemeiduri＝“highleveladaptationset”value＝“adaptationset@id”>

(4)在上述(1)至(3)中，adaptationset用于用信号通知统一降低细节级别防止了相对质量关系受到干扰。更具体地，supplementalproperty用于在adaptationset中提供指示对于该adaptationset统一降低细节级别允许尽可能地保持相对关系的信令。信令的示例在下面示出。注意，可以在adaptationset中的attribute中指定信令。

示例：<supplementalpropertyschemeiduri＝“lodrelativequalityisensuredbylodorder”>

本技术可以应用于实施方式1-1-1。注意，在将本技术应用于实施方式1-1-2-1的情况下，可以通过以下操作来实现该应用，在实施方式1-1-2-2的adaptationset中提供指示representationgroups的信令并且使用supplementalproperty来在adaptationset中提供指示统一降低representationgroups(换言之，细节级别)允许尽可能地保持相对关系的信令。

另外，在将本技术应用于实施方式1-1-2-2的情况下，可以通过以下操作来实现该应用，使用supplementalproperty在adaptationset中提供指示统一降低representationgroup(换言之，细节级别)允许尽可能地保持相对关系的信令。

<再现处理的流程>

将参照图67中的流程图描述在这种情况下的再现处理的流程的示例。当开始再现处理时，在步骤s521中，客户端装置103的mpd文件获取部181获取包括qualitygroup信息的mpd文件122。

与步骤s161至步骤s166(图17)的处理类似地执行步骤s522至步骤s526的处理。

在步骤s527中，媒体数据段文件选择部187确定是否可以选择小于当前细节级别的传输频带的比特率的任何组合。在媒体数据段文件选择部187确定可以选择这样的比特率的组合的情况下，处理进行到步骤s528。

在步骤s528中，媒体数据段文件选择部187针对每个3d对象选择与期望的细节级别对应的mpd文件122中的每个adaptationset中的representation。此时，媒体数据段文件选择部187选择representation，使得要获取的所有段文件的比特率的总和小于传输频带。当步骤s528中的处理结束时，处理进行到步骤s530。

另外，在步骤s527中，在媒体数据段文件选择部187确定不能选择小于当前细节级别的传输频带的比特率的组合的情况下，处理进行到步骤s529。

在步骤s529中，媒体数据段文件选择部187执行比特率选择处理，降低细节级别，并且选择比特率。当步骤s529中的处理结束时，处理进行到步骤s530。

与步骤s168和步骤s169(图17)中的处理类似地执行步骤s530和步骤s531中的处理。当步骤s531中的处理结束时，再现处理结束。

<比特率选择处理的流程>

现在，将参照图68中的流程图描述在图67中的步骤s529中执行的比特率选择处理的流程的示例。

当开始比特率选择处理时，在步骤s551中，媒体数据段文件选择部187确定是否所有adaptationset都不处于最低细节级别。在媒体数据段文件选择部187确定不存在最低细节级别的adaptationset(3d对象)(仍然可以降低细节级别)的情况下，处理进行到步骤s552。

在步骤s552中，媒体数据段文件选择部187基于具有指示“lodrelativequalityisensuredbylodorder”的schemeiduri的supplementalproperty，选择细节级别逐一降低的adaptationset的组合。

在步骤s553中，媒体数据段文件选择部187确定是否可以选择小于当前细节级别的传输频带的比特率的组合。在媒体数据段文件选择部187确定不存在比当前细节级别的传输频带小的比特率的组合的情况下，处理返回到步骤s551，并且重复随后的处理步骤。换言之，重复步骤s551至步骤s553中的处理，直到找到小于传输频带的比特率的组合或者所有3d对象都处于最低细节级别为止。

然后，在步骤s553中，在媒体数据段文件选择部187确定存在比当前细节级别处的传输频带小的比特率的组合的情况下，处理进行到步骤s554。

在步骤s554中，媒体数据段文件选择部187选择adaptationset中的representation，使得总比特率小于传输频带。换言之，选择在步骤s553中检测到的“小于传输频带的比特率的组合”。当步骤s554中的处理结束时，比特率选择处理结束，并且处理返回到图67。

另外，在步骤s551中，在媒体数据段文件选择部187确定所有的adaptationset(3d对象)都处于最低细节级别并且不能再降低细节级别的情况下，处理进行到步骤s555。

在步骤s555中，媒体数据段文件选择部187选择representation，使得所选择的adaptationset对应于最低比特率。当步骤s555中的处理结束时，比特率选择处理结束，并且处理返回到图67。

如上所述执行的步骤的处理允许降低细节级别，以控制比特率来保持3d对象之间的相对质量。因此，可以改进内容再现的鲁棒性。

注意，细节级别的数目可能会限于某个值。在这种情况下，不能再降低细节级别，并且需要连续选择最低细节级别的最低比特率。然而，这扰乱了细节级别的相对关系。为了避免这种情况，可以允许执行如下所述的技术。

(1)客户端在显示时降低quality，使得该质量与其他quality一致。例如，在显示时，客户端在显示之前将高斯模糊滤镜仅应用于3d对象部分。

(2)在实施方式1-1-1或实施方式1-1-2中，客户端装置103使web服务器102生成更低的细节级别并且获取该细节级别。客户端装置103向web服务器102请求mpd文件的名称以及adaptationset的id。根据该请求，web服务器102针对甚至低于指定的adaptationset中的细节级别的细节级别的网格数据或纹理数据来创建比特率变化，并且布置该比特率变化。然后，web服务器102利用mpd更新的机制来更新mpd文件122，并且将更新的mpd文件122发送到客户端装置103。基于新获取的mpd文件122，客户端装置103再次选择细节级别。在这种情况下，可以预先在mpd和场景描述中用信号通知在服务器中不存在但是可以创建的细节级别的段文件。

<6-3：实施方式4-1-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，还可以提供指示统一降低细节级别防止了相对关系受到干扰的信令。换言之，在这种情况下，不利用用于dash的mpd文件122。

<6-4：实施方式4-1-2-1>

<定义新节点>

例如，可以增强实施方式1-2-1中的clientselection节点301，并且在由clientselection节点301中的selectionnode指示的子节点中，可以用信号通知指示统一降低细节级别允许保持相对质量的标志信息(flag)。更具体地，可以添加lodrelativequalityisensuredbylodorderflag。图69示出了在这种情况下的clientselection节点301的示例。

<6-5：实施方式4-1-2-2>

<增强现有节点>

本实施方式可以增强现有节点，而不是如上所述地定义新节点。可以在实施方式1-2-2中增强的bitwrapper节点15和movietexture节点16中提供lodrelativequalityisensuredbylodorderflag字段，作为增强。图70示出了增强的bitwrapper节点15和movietexture节点16的示例。在这种情况下，在bitwrapper节点15和movietexture节点16中提供lodrelativequalityisensuredbylodorderflag字段作为增强。

<修改例>

注意，本技术涉及与细节级别的切换相关的信息，因此可以增强lod节点31。图71示出了增强的lod节点31的示例。在这种情况下，在lod节点31中提供lodrelativequalityisensuredbylodorderflag字段，作为增强。

类似地，可以增强任何其他节点。在这种情况下，有利地，减少了用信号通知的节点的数目。

<6-6：实施方式4-2>

<指示可以基于质量来改变细节级别的信令>

当细节级别被改变时，可以提供指示可以基于quality来改变细节级别的信令。换言之，可以生成元数据，该元数据包括指示尽管基于指示三维对象之间的相对质量的信息三维对象的细节级别发生了变化，但是仍可以保持三维对象之间的相对质量的信息。

<6-7：实施方式4-2-1>

<使用场景描述和mpd的配置用于实现>

例如，使用用于dash的mpd文件和场景描述数据的配置可以用于可以基于quality来改变细节级别的信令。

<mpd的信令>

与实施方式4-1-1的情况一样，可以提供如下信令，该信令指示可以对用于3d对象的不同细节级别的网格或者用于同一3d对象的纹理的adaptationset进行分组，并且可以参考quality改变细节级别。

例如，supplementalproperty用于在schemeiduri中用信号通知”lodrelativequalityisensuredbyqualityvalue”，lodrelativequalityisensuredbyqualityvalue指示在降低细节级别的情况下，可以通过使用quality的值作为参考来尽可能地保持每个对象的相对显示关系。此外，将lodgroup添加到supplementalproperty中的element。lodgroup正在对关于同一3d对象的网格或者同一3d对象的纹理的adaptationsets的信息进行分组。使用lodgroup中的member属性来用信号通知组中包括的adaptationset@id。从最高的细节级别开始按照指示细节级别的降低顺序的细节级别的降序来排列用信号通知的adaptationset@id。信令的示例在下面示出。注意，实施方式3-2-1中示出的技术用于用信号通知quality值。

示例：<supplementalpropertyschemeiduri＝lodrelativequalityisensuredbyqualityvalue”>

<lodgroupmember＝“as@id1as@id2...”/>

<lodgroupmember＝“as@id4as@id5...”/>

</supplementalproperty>

客户端装置103还将实施方式3-2-1的客户端装置103的实施方式适配为降低细节级别，使得能够获取保持了相对质量的组合。

实际信令的示例对应于实施方式3-2-1的图60中所示的mpd文件122，并且将被改变为lodrelativequalityisensuredbyqualityvalue的图66中所示的mpd文件122中的supplementalproperty中的schemeiduri添加到mpd文件122中。

注意，本技术可以应用于实施方式1-1-1。另外，通过使用lodgroup包括一个adaptatonset@id作为成员并且其中以adaptatonset@id中的representationgroup的顺序指示qualityranking的配置，本技术也可以应用于实施方式1-1-2。

<修改例>

下面将描述另一种信令方法的示例。

(1)通过adaptationset@group标识关于同一3d对象的网格和纹理的组信息，并且使用supplementalproperty在每个adaptationset中用信号通知细节级别的顺序。也可以在adaptationset中的attribute中提供信令。

(2)通过adaptationset@group标识关于同一3d对象的网格和纹理的组信息，并且从场景描述中获取细节级别的顺序。

(3)在adaptationset中，用信号通知用于次高的细节级别的adaptationset以及用于次低的细节级别的adaptationset。信令的示例在下面示出。注意，也可以在adaptationset中的attribute中提供信令。

<supplementalpropertyschemeiduri＝“lowleveladaptationset”value＝“adaptationset@id”>

<supplementalpropertyschemeiduri＝“highleveladaptationset”value＝“adaptationset@id”>

(4)在(1)至(3)中，在adaptationset中，提供了指示统一降低细节级别来防止相对关系受到干扰的信令。更具体地，supplementalproperty用于在adaptationset中提供指示对于该adaptationset可以基于quality值降低细节级别的信令。信令的示例在下面示出。注意，也可以在adaptationset中的attribute中提供信令。

示例：

<supplementalpropertyschemeiduri＝“lodrelativequalityisensuredbyqualityvalue”>

(5)可以使用qualityranking代替quality本身。在这种情况下，将qualityranking分配给3d对象的总体网格或纹理(qualityranking超过了“细节级别”(超过了adaptationsets))。

注意，细节级别的数目可能限于某个值。在这种情况下，不能再降低细节级别，并且需要连续选择最低细节级别的最低比特率。然而，这扰乱了细节级别的相对关系。为了避免这种情况，可以允许执行如下所述的技术。

(1)客户端装置103在显示时降低质量，使得该质量与其他quality一致。例如，在显示时，客户端装置103在显示之前将高斯模糊滤波器仅应用于3d对象部分。

(2)在实施方式1-1-1或实施方式1-1-2中，客户端装置103使web服务器102生成更低的细节级别并且获取该细节级别。客户端装置103向web服务器102请求mpd文件的名称以及adaptationset的id。根据该请求，web服务器102针对甚至低于所指定的指定adaptationset中的细节级别的网格数据或纹理数据创建比特率变化，并且布置该比特率变化。然后，web服务器102利用mpd更新的机制更新mpd文件122，并且将更新的mpd文件122发送到客户端装置103。基于新获取的mpd文件122，客户端装置103再次选择细节级别。在这种情况下，可以预先在mpd和场景描述中用信号通知在服务器中不存在但是可以创建的细节级别段文件。

<6-8：实施方式4-2-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，可以添加指示可以基于quality来改变细节级别的信令。换言之，在这种情况下，不利用用于dash的mpd文件122。

<6-9：实施方式4-2-2-1>

<定义新节点>

例如，可以增强实施方式3-2-2-1中的clientselection节点301以实现本技术的信令。图72示出了在这种情况下的clientselection节点301的示例。如图72所示，在clientselection节点301中，用信号通知以下标志，该标志指示对于由selectionnode指示的子节点可以基于quality值来选择细节级别。更具体地，添加lodrelativequalityisensuredbyqualityvalue。

<修改例>

例如，可以使用qualityranking代替quality本身。在这种情况下，如实施方式4-2-1中所述，将qualityranking分配给3d对象的整体网格或纹理。对于qualityranking的信令，应用实施方式3-1-2-1中描述的技术，并且向qualityranking添加指示可以尽可能保持对象之间的相对显示关系的lodrelativequalityisensuredbyqualityranking字段就足够了。

<6-10：实施方式4-2-2-2>

<增强现有节点>

注意，可以在实施方式3-2-2-2中增强的bitwrapper节点15和movietexture节点16中提供上述的lodrelativequalityisensuredbylodorderflag字段，作为增强。图73示出了这种情况下bitwrapper节点15和movietexture节点16的示例。如图73所示，在这种情况下，将上述lodrelativequalityisensuredbylodorderflag字段添加到bitwrapper节点15和movietexture节点16二者。

<修改例>

注意，可以使用qualityranking代替quality本身。在这种情况下，如以上实施方式4-2-1中所述，针对3d对象的所有网格或纹理分配qualityranking。可以与实施方式3-1-2-2同样地执行qualityranking的信令。通过将lodrelativequalityisensuredbyqualityranking字段添加到qualityranking，可以应用本技术。

本技术涉及与细节级别的切换相关的信息，因此可以增强lod节点31。然而，由于需要quality值的信令，因此需要在实施方式3-2-2-1中增强的clientselection节点301的信令，或者在实施方案3-2-2-2中增强的bitwrapper节点15和movietexture节点16的信令。图74示出了lod节点31的增强示例。在这种情况下，有利地，用信号通知较少的节点。另外，可以类似地增强任何其他节点。

<6-11：实施方式4-3>

<以细节级别用信号通知qualityranking>

也可以在细节级别中用信号通知qualityranking，并且客户端装置103可以基于qualityranking来切换细节级别。

<6-12：实施方式4-3-1>

<使用场景描述和mpd的配置用于实现>

例如，将mpd文件用于dash和场景描述数据的配置可以用于在细节级别中用信号通知qualityranking。

<mpd的信令>

与实施方式4-1-1相同，在period中提供信令。例如，在实施方式4-1-1中，将qualityranking添加到lodgroup的属性中。可以通过指示supplementalproperty的lodrelativequalityisensuredbylodqualityranking来保持质量的相关性，以允许选择细节级别，同时防止针对每个细节级别设置的qualityranking的相对关系受到干扰。信令的示例在下面示出。请注意，member[n]的qualityranking是qualityranking[n]。

示例：

<supplementalpropertyschemeiduri＝“lodrelativequalityisensuredbylodqualityranking”>

<lodgroupmember＝“as@id1as@id2...”qualityranking＝“12...”/>

<lodgroupmember＝“as@id4as@id5...”qualityranking＝“12...”/>

</supplementalproperty>

本技术可以应用于例如实施方式1-1-1。注意，通过使用其中lodgroup包括一个adaptatonset@id作为成员并且其中qualityranking以adaptatonset@id中的representationgroup的顺序指示的配置，本技术也可以应用于实施方式1-1-2。

<修改例>

注意，信令方法不限于上述示例。例如，可以使用如下所述的方法。

(1)通过adaptationset@group标识与同一3d对象的网格和纹理相关的组信息，并且使用supplementalproperty在每个adaptationset中用信号通知细节级别的qualityranking。也可以在adaptationset中的attribute中提供信令。

(2)在adaptationset中，用信号通知次高的细节级别的adaptationset和次低的细节级别的adaptationset。信令的示例在下面示出。注意，也可以在adaptationset中的attribute中提供信令。

<supplementalpropertyschemeiduri＝“lowleveladaptationset”value＝“adaptationset@id”>

<supplementalpropertyschemeiduri＝“highleveladaptationset”value＝“adaptationset@id”>

(3)在(1)和(2)中，在adaptationset中，提供指示基于对细节级别的qualityranking的选择来防止相对关系被干扰的信令。更具体地，supplementalproperty用于在adaptationset中提供指示对于该adaptationset基于qualityranking值降低细节级别允许保持相对质量关系的信令。信令的示例在下面示出。注意，也可以在adaptationset中的attribute中提供信令。

示例：

<supplementalpropertyschemeiduri＝“lodrelativequalityisensuredbylodqualityranking”>

<6-13：实施方式4-3-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，可以在细节级别中用信号通知质量排名。换言之，在这种情况下，不利用用于dash的mpd文件122。

<6-14：实施方式4-3-2-1>

<定义新节点>

为了增强场景描述数据121，在不进行改变而直接利用现有节点的情况下，可以添加新的节点以进行比特率适配。例如，可以增强实施方式1-2-1中描述的clientselection节点301。

图75示出了clientselection节点301的增强示例。例如，在clientselection节点301中，在selectionnode字段中用信号通知flag，该flag指示统一降低细节级别使得可以保持相对质量。更具体地，添加了lodrelativequalityisensuredbylodqualityranking字段，并且设置了lodqualityranking。

<6-15：实施方式4-3-2-2>

<增强现有节点>

代替如上所述定义新节点，本实施方式可以增强现有节点。例如，可以在实施方式1-2-2中的bitwrapper节点15和movietexture节点16中提供lodrelativequalityisensuredbylodqualityranking字段，作为增强。这对应于用图75中的clientselection节点301中的lodrelativequalityisensuredbylodqualityranking字段替换图70中的bitwrapper节点15和movietexture节点16中的lodrelativequalityisensuredbylodorderflag字段。

<修改例>

本技术涉及与细节级别的切换相关的信息，因此可以增强lod节点31。在这种情况下，有利地，用信号通知较少的节点。这对应于用图75中的lodrelativequalityisensuredbylodqualityranking字段替换图71中所示的lod节点31中的lodrelativequalityisensuredbylodorderflag字段。不言而喻，可以增强任何其他节点。

<7.第五实施方式(实施方式5)>

<指示内容作者等的意图的信令>

此外，可以用信号通知关于内容作者想要的3d对象的重要性信息。注意，例如，不管是否存在第四实施方式的标志信息(标志)，客户端都可以选择是否使用该技术。另外，可以允许通过细节级别来设置重要性是有效还是无效。

例如，在场景包括内容作者意图为重要的3d对象与内容作者意图为不重要的3d对象的混合的情况下，降低细节级别而不考虑该信息可能会阻止用户观看反映内容作者等的意图的场景。

因此，通过用信号通知关于内容作者意图的3d对象的重要性信息，在如上所述的情况下，可以抑制重要的3d对象的细节级别的降低。这允许用户观看反映内容作者等的意图的场景。

<7-1：实施方式5-1>

<重要性(数值)的信令>

例如，作为3d对象的重要性的信令，每个3d对象在场景中有多重要可以用数字指示。换言之，可以生成还包括指示三维对象的重要性的信息的元数据。

<7-2：实施方式5-1-1>

<使用场景描述和mpd的配置用于实现>

例如，使用用于dash的mpd文件和场景描述数据的配置可以用于用信号通知3d对象的重要性。

<7-3：实施方式5-1-1-1>

<mpd的增强>

在每个3d对象的网格和纹理的adaptationsets中，用信号通知指示3d对象的重要性的值。例如，重要性随着重要性值的降低而增加。不言而喻，重要性不限于该示例，并且例如可以随着重要性的值而一致地增加。

更具体地，可以将important3dobject属性添加到第四实施方式的supplementalproperty中的lodgroup，并且可以使用“value”值来用信号通知重要性信息。3d对象的网格的lodgroup需要与3d对象的纹理的lodgroup具有相同的值。添加的示例如下所示。

<lodgroupmember＝“135”important3dobject＝“1”/>

图76示出了在这种情况下的mpd文件122的示例。该示例包括三个3d对象，每个3d对象都包括高、中和低三个细节级别。在每个adaptationset中用信号通知重要性信息，作为important3dobject属性的值。例如，3d对象a的重要性为1，而3d对象b和c的重要性为2。

在图76中的mpd文件122中，针对3d对象a选择高细节级别(adaptationset@id＝1和2)，针对3d对象b选择中等细节级别(adaptationset@id＝9和10)，并且针对3d对象c选择中等细节级别(adaptationset@id＝15和16)，作为适当的细节级别，在这种组合中，当即使减少了比特率导致总比特率大于传输频带时，也会改变细节级别。此时，参考supplementalproperty，首先，对于important3dobject的较大“value”值，针对所有3d对象选择次低的细节级别。换言之，将值为2的3d对象b和c的细节级别降低1，针对3d对象b设置低细节级别(adaptationset@id＝11和12)，并且针对3d对象c设置低细节级别(adaptationset@id＝17和18)。然后，从中选择比特率。在即使该选择也不充分的情况下，将3d对象a(值为1的3d对象)的细节级别减小1，以选择中等细节级别(adaptationset@id＝3和4)，并且降低比特率。

<修改例>

在这种情况下，lodgroup中包括的所有细节级别具有相同的重要性。可以取决于细节级别来更改重要性(例如，对于高细节级别将重要性设置为高，而对于其他细节级别则将重要性设置为较低)。在这种情况下，可以使用逗号分隔符为各个细节级别指定值。指定的示例如下所示。

<lodgroupmember＝“135”important3dobject＝“1,2,2”/>

另外，可以仅在某些3d对象中提供信令。在这种情况下，不设置任何值。不使用信令提供的细节级别可以被认为是不重要的，换言之，重要性低。信令的示例在下面示出。

<lodgroupmember＝“135”important3dobject＝“1,,/>

此外，在如实施方式4-1-1中的其他信令示例中那样以adaptationsets为单位提供信令的情况下，也可以在adaptationset中用信号通知important3dobject。在这种情况下，supplementalproperty也可以用于排他地用信号通知important3dobject。

另外，可以简单地指示细节级别是否重要。此时，可以允许针对每个细节级别指定用于指示细节级别是否重要的标志信息(标志)，如1或0。

在选择细节级别内的比特率以及切换细节级别时，可以允许利用重要性信息。

[比特率选择处理的流程>

客户端装置103基于3d对象的重要性，确定在哪个细节级别处开始增加或减少比特率。例如，在传输频带不足的情况下，从重要性最低的细节级别开始依次降低细节级别。不管是否应用第四实施方式，客户端装置103都可以仅基于该值来控制细节级别的切换。

注意，在这种情况下，如参照图67中的流程图所描述的来执行再现处理。参照图77中的流程图，将描述在步骤s529中执行的比特率选择处理的流程的示例。

当开始比特率选择处理时，在步骤s571中，媒体数据段文件选择部187确定是否所有adaptationset都不处于最低细节级别。在媒体数据段文件选择部187确定存在不是最低细节级别(仍然可以降低细节级别)的adaptationset(3d对象)的情况下，处理进行到步骤s572。

在步骤s572中，媒体数据段文件选择部187从schemeiduri为”lodrelativequalityisensuredbylodorder”的supplementalproperty中获取important3dobject的最大值，并且将该最大值设置为变量a。

在步骤s573中，媒体数据段文件选择部187确定变量a是否为0。在媒体数据段文件选择部187确定变量a为0(a＝0)的情况下，处理返回到步骤s571，并且重复后续的处理步骤。

换言之，重复步骤s571至步骤s573的处理，直到确定所有adaptationset都处于最低细节级别或者确定变量a不为0为止。然后，在步骤s573中，在确定变量a不为0的情况下，处理进行到步骤s574。

在步骤s574中，媒体数据段文件选择部187从important3dobject为a的lodgroup的adaptationset中进行选择，所选择的adaptationset具有次低的细节级别。

在步骤s575中，媒体数据段文件选择部187确定是否可以通过仅针对改变了细节级别的adaptationset重新选择比特率来减小传输频带。在媒体数据段文件选择部187确定防止允许比特率减小传输频带的情况下，处理进行到步骤s576。

在步骤s576中，将变量a的值减少1(从变量a中减去1)。当步骤s576中的处理结束时，处理返回到步骤s573，并且重复随后的处理步骤。

换言之，重复步骤s573至步骤s576的处理，直到确定变量a为0或者确定比特率允许减小传输频带为止。然后，在步骤s575中，在确定比特率允许减小传输频带的情况下，处理进行到步骤s577。

在步骤s577中，媒体数据段文件选择部187选择允许减小传输频带的representation。当步骤s577中的处理结束时，比特率选择处理结束，并且处理返回到再现处理。

另外，在步骤s571中，在媒体数据段文件选择部187确定所有adaptationset处于最低细节级别并且不能再降低细节级别的情况下，处理进行到步骤s578。

在步骤s578中，媒体数据段文件选择部187选择representation，使得所选择的adaptationset对应于最低比特率。当步骤s578中的处理结束时，比特率选择处理结束，并且处理返回到再现处理。

换言之，按以下顺序执行处理：将具有低重要性的3d对象的细节级别降低1，然后将具有次低重要性的3d对象的细节级别降低1，以此类推。因此，可以执行反映内容作者等意图的重要性的再现。

注意，可以以如下顺序执行处理：将具有低重要性的3d对象的细节级别降低到尽可能低的重要性，然后将具有次低重要性的3d对象的细节级别降低到尽可能低的重要性，依此类推。

<7-4：实施方式5-1-2>

<仅使用场景描述的配置用于实现>

注意，在如实施方式1-2中仅使用场景描述的情况下，可以用信号通知与内容作者意图的3d对象相关的重要性信息。换言之，在这种情况下，不利用用于dash的mpd文件122。

<7-5：实施方式5-1-2-1>

<定义新节点>

例如，可以增强实施方式1-2-1的客户端选择节点301，以用信号通知关于3d对象的重要性信息。更具体地，可以添加important3dobject。重要性随着重要性值的降低而增加。然而，假设在未提供字段的情况下也对应于初始值的0不设置3d对象重要性。不言而喻，对于重要性的任何表达方法都被采用，并且不限于该示例。

图78示出了在这种情况下的clientselection节点301的示例。如图78所示，在这种情况下，将设置3d对象的重要性的important3dobject字段添加到clientselection节点301。

<7-6：实施方式5-1-2-2>

<增强现有节点>

代替如上所述定义新节点，本实施方式可以增强现有节点。可以在实施方式1-2-2中增强的bitwrapper节点15和movietexture节点16中提供important3dobject字段，作为增强。图79示出了增强的bitwrapper节点15和movietexture节点16的示例。在这种情况下，将important3dobject字段添加到bitwrapper节点15和movietexture节点16。

<修改例>

注意，在针对每个3d对象确定重要性的情况下，可以增强transform节点12。图80是示出增强的transform节点12的示例的图。如图80所示，在这种情况下，important3dobject字段被添加到transform节点12。有利地，这导致用信号通知更少的节点。注意，在该示例中，增强了transform节点12，但是可以重新定义任何其他节点，或者可以增强任何其他节点(例如，shape节点13等)。

<8：第六实施方式(实施方式6)>

<用于保持用户关注的3d对象的细节级别的实现方法>

此外，可以允许识别用户关注的3d对象，并且可以允许保持3d对象的细节级别。

<8-1：实施方式6-1>

<客户端装置103的实施方式>

在传输频带不足的情况下，客户端装置103可以应用以下规则来选择比特率。换言之，可以生成还包括指定关注的三维对象的重要性的信息的元数据。

(1)获取用户的关注点。

(2)根据场景描述中的位置信息确定位于关注点处的3d对象。

(3)假定关注的3d对象的重要性为1。假定其他3d对象的重要性为2。

(4)然后，使用类似于第五实施方式中的算法的算法来选择比特率。

<比特率选择处理的流程>

在这种情况下，如参照图67中的流程图所描述的来执行再现处理。参照图81中的流程图，将描述在这种情况下在步骤s529中执行的比特率选择处理的流程的示例。

当开始比特率选择处理时，在步骤s591中，媒体数据段文件选择部187确定是否所有adaptationset都不处于最低细节级别。在媒体数据段文件选择部187确定不存在最低细节级别(仍然可以降低细节级别)的adaptationset(3d对象)的情况下，处理进行到步骤s592。

在步骤s592中，媒体数据段文件选择部187从schemeiduri为“lodrelativequalityisensuredbylodorder”的supplementalproperty中获取important3dobject的最大值，并且将该最大值设置为变量a。

在步骤s593中，媒体数据段文件选择部187根据用户的位置、视线方向等以及关于在场景描述数据121中描述的每个3d对象的位置信息，确定用户关注的3d对象。

在步骤s594中，媒体数据段文件选择部187将在步骤s593中检测到的用户关注的3d对象的重要性设置为1，并且将其他3d对象即用户不关注的3d对象的重要性设置为2。此外，变量a＝2。

与步骤s573至步骤s578(图77)的处理类似地执行步骤s595至步骤s600的处理。

当步骤s599或步骤s600中的处理结束时，比特率选择处理结束，并且处理返回到再现处理。

如上所述执行的比特率选择处理允许识别用户关注的3d对象，并且允许防止3d对象的细节级别的降低。因此，可以基于用户的主观视点抑制6dof内容质量的劣化。

<修改例>

请注意，关注的3d对象的重要性可以为1，不关注但正在显示的3d对象的重要性可以为2，其他3d对象的重要性可以为3。细节级别从未显示的3d对象开始依次减少。

另外，重要性的分配可以被细分，并且对于不关注但是正在显示的3d对象，重要性可以在以下二者之间变化：被显示并且位于靠近关注的3d对象的3d对象，以及被显示但是不位于靠近关注的3d对象的3d对象(将不同的重要性程度分配给这些3d对象)。

此外，在将不关注的3d对象的细节级别降低到最低级别之后，可以降低关注的3d对象的细节级别。

另外，当从细节级别的比特率中进行选择时，可以从不关注的3d对象开始降低比特率。

<9：第七实施方式(实施方式7)>

<在3d空间中的一个本体包括多个部分的3d对象的情况下的信令>

第一实施方式对应于将存在于3d空间中的每个对象都假设为3d对象的情况。在本体也包括多个部分的3d对象的情况下，如第一实施方式中的情况，可以允许针对每个细节级别执行比特率适配。

例如，假定如图82所示，圆柱体a被分成四个部分，这四个部分包括3d对象a1、3d对象a2、3d对象a3和3d对象a4。在这种情况下，每个3d对象都包括网格数据和纹理数据。

<9-1：实施方式7-1>

<在场景描述中用信号通知各个部分的3d对象>

在场景描述中用信号通知所有部分的此类3d对象。例如，在实施方式1中描述的技术中，在场景描述中用信号通知用于各个部分的3d对象。因此，可以使用与实施方式1中示出的技术相同的增强来实现。

例如，可以应用实施方式1-1-1中使用场景描述和mpd的配置的增强。在将实施方式1-1-1应用于如图82所示的将本体a划分为四个3d对象的示例的情况下，场景描述数据121具有例如如图83所示的配置。在图83中，对于3d对象a2至3d对象a4，lod节点和从属配置与3d对象a1的对应配置类似，因此省略对该配置的描述。

如图83所示，实施方式1-1-1中的增强的应用允许用信号通知与本体a的各部分对应的作为单独的3d对象的3d对象a1至3d对象a4。

不言而喻，不仅在实施方式1-1-1中描述的技术，而且可以将在实施方式1-1的所有从属实施方式(实施方式1-1-1、实施方式1-1-2、实施方式1-1-2-1、实施方式1-1-2-2和实施方式1-1-3)中描述的技术应用于如图82的示例所示的因分割而产生的3d对象。

例如，可以应用仅使用场景描述的实施方式1-2-1中的增强。在将实施方式1-2-1应用于如图82所示的将本体a划分为四个3d对象的示例的情况下，场景描述数据121具有例如如图84所示的配置。在图84中，对于3d对象a2至3d对象a4，lod节点和从属配置与3d对象a1的对应配置相似，因此省略该配置的描述。另外，用于3d对象a1的中等细节级别a1m处的shape节点和从属配置类似于用于3d对象a1的高细节级别a1h处的对应配置，因此省略了该配置的描述。类似地，用于3d对象a1的低细节级别a1l处的shape节点和从属配置与用于3d对象a1的高细节级别a1h处的对应配置相似，因此省略对该配置的描述。

如图84所示，实施方式1-2-1中的增强可以应用于将3d对象a1作为个体3d对象用信号通知给与本体a的各个部分对应的3d对象a4。这允许单独访问3d对象a1到3d对象a4中的每一个。

不言而喻，不仅实施方式1-2-1中描述的技术，而且实施方式1-2的所有从属实施方式(实施方式1-2-1和实施方式1-2-2)中描述的技术都可以应用于由分割产生的3d对象，如图82中的示例所示。

如上所述，用于应用实施方式1的技术在场景描述中用信号通知各个部分的3d对象，以允许单独地访问3d对象。然而，该技术无法允许确定3d对象最初是否构成一个本体。

<9-2：实施方式7-2>

<在场景描述中用信号通知整个本体并且用信号通知该本体包括多个3d对象>

因此，可以在场景描述中排他地用信号通知指示存在一个本体的信息，并且可以提供允许访问mpd中的多条媒体数据和纹理数据的进一步的信令。

例如，如图85所示，在场景描述数据121中仅用信号通知与整体a相关的信息。然后，在针对本体a的bitwrapper节点和movietexture节点中的访问信息中，用信号通知用于dash的mpd文件122中的多条网格数据或纹理数据，以允许使用所有的网格数据和纹理数据。

<9-3：实施方式7-2-1>

<针对各个部分的3d对象的每个细节级别提供adaptationset的情况>

如在图12和图13中所示的示例中，提供针对每个细节级别的adaptationset的配置可以用于表达包括多个3d对象的本体。在这种情况下，为了指示本体包括多个3d对象，需要从场景描述数据121中的bitwrapper节点15和movietexture节点16中的访问信息中用信号通知多个adaptationset。

<9-4：实施方式7-2-1-1>

<增强url查询以用信号通知多个adaptationset>

可以提供增强，以允许从包括关于场景描述中的本体的网格数据的访问信息的bitwrapper节点或者包括纹理数据的访问信息的movietexture节点访问mpd文件的多个部分中的网格数据或纹理的adaptationset，以指示需要同时利用adaptationset。

bitwrapper节点和movietexture节点使用url来用信号通知外部媒体数据的访问信息。mpeg-4场景描述(iso/iec14496-11)中的bitwrapper节点和movietexture节点的结构示例如图2所示。用于访问外部媒体数据的字段是两个节点的url字段。在本实施方式中，未增强bitwrapper节点和movietexture节点的语法，增强了每个url字段的注释方法。

在本实施方式中，用信号通知由url字段指示的url以及到mpd文件的url，并且使用url参数来用信号通知多个adaptationset@id，以指示需要同时利用url和adaptationset@id。具体地，例如，表示adaptationset的url参数的变量“requiredaslist”用于使用变量的值和分号分隔符来用信号通知与构成本体的部分3d对象相关的纹理数据或网格数据的adaptationset@id。例如，在本体a包括adaptationset@id＝1、2、3、4的情况下，如以下示例中那样，在节点的url中指定具有url参数的url。

url的示例：http://www.6dofserver.com/6dof.mpd？requiredaslist＝1；2；3；4

<9-5：实施方式7-2-1-2>

<增强场景描述中的节点>

可以提供增强，以向场景描述数据中的bitwrapper节点或movietexture节点添加字段，该字段指示关于构成本体的多个部分3d对象的纹理数据或网格数据的adaptationset@id。在这种情况下，url字段描述了mpd文件的访问信息。

例如，如图86所示，将新字段requiredadaptationsetids添加到场景描述数据中的bitwrapper节点15和movietexture节点16，并且用于将构成本体所需要的adaptationset的@id作为字符串数组进行存储。

另外，已经描述了bitwrapper节点和movietexture节点的增强示例，但是可以在任何其他节点中提供类似字段作为增强。

<9-6：实施方式7-2-1-3>

<使用mpd增强+url查询或节点增强提供信令>

在mpd中，可以用信号通知标识符，以允许识别构成一个本体的部分3d对象的adaptationset，并且可以从场景描述中用信号通知该标识符。

例如，可以在adaptationset中用信号通知指示关于某个对象的网格数据的id。在这种情况下，id根据每个纹理和网格以及每个细节级别而有所不同。

例如，在adaptationset中用信号通知supplementalproperty描述，并且schemeiduri用于用信号通知”objectpartsid”。这指示一个本体由与3d对象的各个部分对应并且包括相同“value”值的adaptationsets指示。“value”包含用于识别的值。

示例：<supplementalpropertyschemeiduri＝“objectpartsid”value＝“1”>

此外，图87示出了mpd，其中本体a包括四个部分3d对象。在该示例中，仅示出了网格数据。

<修改例>

period可以用于用信号通知构成本体的一组部分3d对象。例如，schemeiduri用于指示objectpartsgroup。分组信息将每个组的opg新添加为supplementalproperty的元素。opg包括id(与objectpartsid中的值的含义相同)以及该组中包括的adaptationset的id的列表。

图88示出了该信令的示例。在图88中，关于本体a的网格数据包括四个adaptationset，并且opg的成员将四个adaptationsets@id链接在一起。

<场景描述的信令>

作为场景描述中bitwrapper节点和movietexture节点中的访问信息，可以指示mpd中objectpartsid的值或者opg元素的id的值。

例如，在bitwrapper节点和movietexture节点的url字段中，url查询用于指示mpd的url中的值。url参数的变量“objectpartid”用于使用变量的值指示mpd中的objectpartsid或者opg元素的id。在图87或图88的示例中，具有url参数的url被指定为节点的url，如下面的示例所示。

url的示例：http://www.6dofserver.com/6dof.mpd？objectpartid＝1

另一信令对应于用于向bitwrapper节点和movietexture节点添加指示objectpartid的字段的技术。如图89所示，添加了objectpartid，并且objectpartid的值用于指示mpd中的objectpartid或者opg元素的id。

另外，上面已经描述了bitwrapper节点和movietexture节点的增强示例，但是可以在任何其他节点中提供类似字段作为增强。

<9-7：实施方式7-2-2>

<无论细节级别如何，针对各个部分的3d对象提供一个adaptationset>

如图21和图22所示，在以下配置中本体可以包括多个3d对象，无论细节级别如何，一个adaptationset用于用信号通知的同一部分的3d对象。

在这种情况下，为了指示本体a包括多个3d对象，需要从场景描述中的bitwrapper节点和movietexture节点中的访问信息中用信号通知多个adaptationsets以及每个adaptationsets的多个representation。

<9-8：实施方式7-2-2-1>

<使用url查询提供增强功能>

场景描述为每个本体提供信令，因此需要从与指示场景描述数据中的网格的节点对应的bitwrapper节点以及从指示纹理的节点对应的movietexture节点指示用于所有部分的的3d对象的adaptationset以及adaptationset中包括的用于适当的lod的比特率变化的representation。

因此，增强了场景描述数据中的bitwrapper节点和movietexture节点的访问信息(例如url)。

更具体地，由adaptationset以及表示adaptationset中包括的representation的url参数的变量“requiredasrslist”以及变量的值指示所有部分的3d对象的adaptationset@id以及在adaptationset@id中使用的representation@id。

例如，url参数的变量”requiredasrslist”用于使用变量的值指示与构成本体的部分3d对象相关的纹理数据或网格数据。作为值，由冒号分隔的adaptationset@id，然后是由冒号分隔的所使用的representation@的id。此外，对于用信号通知多个adaptationset的情况，adaptationset由分号分隔以用于用信号通知。例如，在本体a包括adaptationset@id＝1、2、3、4的情况下，adaptationset@id＝1利用representation@id＝11，12，adaptationset@id＝2利用representation@id＝21，22，adaptationset@id＝3使用representation@id＝31，32，并且adaptationset@id＝4使用representation@id＝41，42，将具有url参数的url指定为节点的url。

http://www.6dofserver.com/6dof.mpd？requiredasrslist＝1:11,12；2:21,22；3:31,32；4:41,42

<9-9：实施方式7-2-2-2>

<增强场景描述中的节点>

可以提供增强，以将指示构成本体的多个adaptationset@id以及用于比特率变化的representation@id的字段添加到场景描述数据中的bitwrapper节点和movietexture节点。在这种情况下，url字段描述了mpd文件的访问信息。

如图90所示，requiredasrslist字段被添加到场景描述数据中的bitwrapper节点15和movietexture节点16。作为该字段的值，存储了多个字符串，这些字符串包括用冒号分隔的adaptationset@id，然后是用逗号分隔的representation@id。这是在实施方式7-2-2-1中使用的结构。

另外，上面已经描述了bitwrapper节点和movietexture节点的增强示例，但是可以在任何其他节点中提供类似字段作为增强。

<9-10：实施方式7-2-2-3>

<使用mpd增强+url查询或节点增强来提供信令>

实施方式1-1-2-2的representationgroup可以用于提供增强，以允许从场景描述中用信号通知多个3d对象。

另外，在场景描述数据中，在bitwrapper节点和movietexture节点中的访问信息(url)中指示了实施方式1-1-2-2的多组representation。

在mpd文件中的url参数中用信号通知指示adaptationset的多个参数和指示representationgroup的多个参数。例如，requiredasrglist用作url参数，并且作为值，指示了adaptationset@id，其中representationgroup中的id用冒号指示。为了指示多个部分的3d对象，将分号用于分隔。url的示例如下所示。

url的示例：http://www.6dofserver.com/6dof.mpd？requiredasrglist＝1：1；2：1；3：1；4：1

作为修改例，可以增强bitwrapper节点或movietexture节点。如在实施方式7-2-2-2中的增强中，添加上述所需requiredasrglist作为bitwrapper节点或movietexture节点。

另外，在修改例中，可以在representation中用信号通知实施方式7-2-1-3的objectpartid。此时，为不同的lod分配了相应的id。因此，可以提供类似于实施方式7-2-1-3中的信令的信令。为了如实施方式7-2-1-3中那样在period中用信号通知，可以添加如下所述的supplementalproperty。将opgmember元素新添加到opg元素，并且在asid和rsid中用信号通知相应的部分3d对象的adaptationset@id以及用于比特率变化的representation@id。

<supplementalpropertyschemeiduri＝“objectpartsgoup”>

<opgid＝“1”>//构成实体a的部分3d对象的网格组

<opgmemberasid＝“1”rsid＝“11,12”>

<opgmemberasid＝“2”rsid＝“21,22”>

<opgmemberasid＝“3”rsid＝“31,32”>

<opgmemberasid＝“4”rsid＝“41,42”>

</opg>

<opgid＝“2”>//组成本体a的部分3d对象的纹理组

//以下省略。

</supplementalproperty>

<10.补充特征>

<结论>

上述每个实施方式的技术可以适当地与另一实施方式的技术结合，或者选择性地与另一实施方式的技术一起使用。

如上所述的本公开的应用使得能够在6dof内容的分发中进行比特率适配，从而能够在传输频带受到限制的情况下抑制中断的再现。具体地，可以改进内容再现的鲁棒性。

另外，客户端装置103使得能够在保持3d对象之间的相对质量的情况下进行比特率选择。

此外，基于由视点位置确定的3d对象的组合，可以选择与甚至低于最低比特率的比特率对应的3d对象的组合，从而使得即使在较窄的传输频带下也能够进行不间断的再现。

另外，客户端装置103可以按照内容作者等意图的顺序降低3d对象的细节级别，从而允许显示反映内容作者等意图的场景。

此外，本公开对于当频带改变时每个对象的比特率增加(减小)的算法选择是有用的。

另外，客户端可以通过尽可能保持用户关注的3d对象的细节级别来降低总体比特率。可以保持关注的3d对象的细节级别。

<计算机>

可以使上述一系列处理步骤通过硬件或软件执行。在通过软件执行一系列处理步骤的情况下，将构成软件的程序安装在计算机中。在这方面，计算机包括集成到专用硬件中的计算机、当在计算机中安装各种程序时可以执行各种功能的计算机，例如，通用个人计算机等。

图91是示出根据程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。

在图91所示的计算机900中，cpu(中央处理单元)901、rom(只读存储器)902和ram(随机存取存储器)903通过总线904彼此连接。

输入/输出接口910也连接至总线904。输入部911、输出部912、存储部913、通信部914和驱动器915连接至输入/输出接口910。

输入部911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出部912包括例如显示器、扬声器、输出端子等。存储部913包括例如硬盘、ram盘、非易失性存储器等。例如，通信部914包括网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或半导体存储器。

在如上面所描述的那样配置的计算机中，上面所描述的一系列处理步骤由cpu901执行，例如经由输入/输出接口910和总线904将存储在存储部913中的程序加载至ram903中并且执行程序。ram403还适当地存储cpu901执行各种类型的处理所需的数据。

由计算机(cpu901)执行的程序可以记录在用作封装介质等的可移动介质921中，然后可以应用。在这种情况下，通过将可移除介质921安装在驱动器915中，程序可以经由输入/输出接口910安装在存储部913中。

另外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以被通信部914接收，并且安装在存储部913中。

另外，可以预先将程序安装在rom902或存储部913中。

<本技术的应用目标>

本技术可以应用于任何图像编码和解码方案。换言之，任何规格都可以用于与图像编码和解码相关的各种类型的处理，例如变换(逆变换)、量化(逆量化)、编码(解码)和预测，只要这些规格与以上描述的本技术的应用不矛盾即可，并且规格不限于上述示例。另外，只要省略与上述本技术没有矛盾，则可以省略部分处理。

根据上述实施方式的图像处理装置、图像编码装置和图像解码装置可以应用于各种类型的电子装置，例如，卫星广播中的发射器和接收器(例如，电视接收器和蜂窝电话)、有线电视之类的有线广播、在因特网上的分发以及通过蜂窝通信分发到终端，或者在诸如光盘、磁盘和闪存之类的介质中记录图像并且从这些记录介质再现图像的装置(例如，硬盘记录器或摄像装置)。

另外，本技术可以被实现为安装在构成任何装置或系统的装置中的任何配置，例如，用作系统lsi(大规模集成电路)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如视频单元)、向其进一步添加任何其他功能(即，与装置的一部分对应的配置)的与该单元对应的集合(例如视频集)。

此外，本技术还可以应用于包括多个装置的网络系统。例如，本技术还可以应用于云服务，该云服务向任何终端例如计算机、av(视听)装置、便携式信息处理终端和iot(物联网)装置等提供与图像(运动图像)有关的服务。

注意，应用本技术的系统、装置、处理部等可以在例如交通、医疗、预防犯罪、农业、畜牧业、采矿业、美容保健、工厂、家用电器、气象学、自然监测等任何领域中利用。另外，该系统、装置、处理部等可以应用于任何用途。

本技术可以应用于例如用于提供用于观看等的内容的系统和装置。另外，本技术可以应用于例如用于交通的系统和装置，具体地，用于交通状况的管理、自动操作控制等。此外，本技术可以应用于例如用于安全性的系统和装置。本技术还可以应用于例如用于安全性的系统和装置。另外，本技术可以应用于例如用于机器等的自动控制的系统或装置。此外，本技术还可以应用于例如用于农业或畜牧业的系统或装置。另外，本技术可以应用于例如监视诸如火山、森林或海洋、野生生物等的自然状态的系统或装置。此外，本技术可以应用于例如用于运动的系统和装置。

<其他>

注意，本文中使用的“标志”是指用于识别多个状态的信息，并且包括使得能够识别三个或更多个状态的信息以及用于识别真(1)或假(0)两个状态的信息。因此，“标志”可以采用的值可以是例如1/0的两个值或三个或更多个值。换言之，任何位数构成“标志”，并且一个或更多个位可以构成标志。另外，假定标识信息(包括标志)不仅以比特流包括标识信息的形式，而且还以比特流包括关于标识信息与对应于某些参考的信息的差异的信息的形式。因此，本文中使用的“标志”和“标识信息”不仅包括该信息，还包括关于与参考对应的信息的差异信息。

此外，可以以任何形式发送或记录关于编码数据(比特流)的各条的信息(元数据等)，只要该信息与编码数据相关联即可。在此，术语“关联”是指例如当处理其中一个数据时，可以利用(链接)另一数据。换言之，彼此相关联的数据可以被集成到一条数据中或者用作单独的数据。例如，可以在与在其上传送编码数据(图像)的传送路径不同的传送路径上传送与编码数据(图像)相关联的信息。另外，例如，可以将与编码数据(图像)相关联的信息记录在与记录有编码数据(图像)的记录介质不同的记录介质中(或同一记录介质中的另一个记录区域中)。请注意，该“关联”涵盖了部分数据而不是整个数据。例如，图像与对应于图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。

注意，诸如“合成”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“插入”和“插入”之类的术语是指将多个事物集成为一个事物，例如，将编码和元数据集成为一条数据，意指上述用于“关联”的一种方法。

另外，本技术的实施方式不限于上述实施方式，并且不脱离本技术的精神的情况下可以对这些实施方式进行各种改变。

此外，例如，被描述为一个装置(或处理部)的配置可以被分割，并且配置成多个装置(或处理部)。相比之下，被描述为多个装置(或处理部)的配置可以被集成，并且配置为一个装置(处理部)。另外，不言而喻，可以将除了上述部件之外的部件添加到每个装置(或每个处理部)的配置中。此外，某个装置(或处理部)的一部分配置可以包括在另一装置(或另一处理部)的配置中，只要系统的配置和操作总体上保持基本相同即可。

注意，本文使用的系统是指一组多个部件(装置、模块(部件)等)，而不考虑所有部件是否都位于同一壳体中。因此，容纳在不同壳体中并且经由网络连接的多个装置以及将多个模块容纳在一个壳体中的一个装置都是系统。

此外，例如，本技术可以采用云计算的配置，其中一种功能由多个装置经由网络共享并且协作处理。

另外，例如，上述程序可以在任何装置中执行。在这种情况下，只要该装置包括所需的功能(功能块等)，并且被允许能够获得所需的信息就足够了。

另外，例如，参照上述流程图描述的步骤可以由一个装置执行，并且也可以由多个装置共享来执行。此外，在一个步骤包括多个处理子步骤的情况下，一个步骤中包括的多个处理子步骤可以由一个装置执行，并且也可以由多个装置共享来执行。换言之，包括在一个步骤中的多个处理子步骤可以作为多个步骤的处理来执行。相比之下，被描述为多个步骤的处理可以被整合为一个步骤来执行。

注意，对于由计算机执行的程序，描述该程序的步骤中的处理可以按照本文所述的顺序以时间序列执行，或者可以在诸如调用该程序之类的所需定时处并行地或单独地执行。换言之，可以以与上述顺序不同的顺序执行处理步骤，除非不同的顺序导致不一致。此外，描述程序的步骤中的处理可以与另一程序的处理并行地执行或组合地执行。

注意，除非执行导致不一致，否则可以独立且整体地执行本文描述的多种本技术。不言而喻，可以一起执行多种当前技术中的任何一种。例如，在一个实施方式中描述的本技术的一部分或全部可以与另一实施方式中描述的本技术的一部分或全部组合。另外，上述任何本技术的一部分或全部可以与以上未描述的另一技术一起执行。

注意，本技术可以采用以下描述的配置。

(1)

一种信息处理装置，包括：

生成部，其生成关于以下内容的元数据，所述内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，所述元数据包括使得能够在分发所述内容时选择比特率的信息。

(2)

根据(1)所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据包括用于控制所述内容的再现的控制文件的访问信息作为所述信息。

(3)

根据(2)的信息处理装置，其中，

所述控制文件包括mpd(媒体表示描述)，并且

所述生成部生成所述元数据，所述元数据包括对所述mpd中adaptationset的访问信息，所述adaptationset与所述三维对象的细节级别对应并且包括与所述细节级别的多个比特率的比特率变化相关的信息。。

(4)

根据(2)或(3)的信息处理装置，其中，

所述控制文件包括mpd(媒体表示描述)，并且

所述生成部生成所述元数据，所述元数据包括对所述mpd中的、与所述三维对象对应的adaptationset中的表示的访问信息，所述表示与所述三维对象的细节级别对应，所述表示包括与所述细节级别的多个比特率的比特率变化相关的信息。

(5)

根据(4)所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据包括访问信息，所述访问信息包括：用于所期望的mpd的访问信息；指定所述mpd中的所期望的adaptationset的信息；以及指定所述adaptationset中的所期望的representation的信息。

(6)

根据(4)或(5)所述的信息处理装置，其中，所述生成部生成所述mpd，所述mpd包括用于对相同比特率变化进行分组的信息。

(7)

根据(2)至(6)中任一项所述的信息处理装置，其中，所述生成部生成所述mpd，所述mpd不包括对所述元数据的访问信息。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，

所述元数据是关于所述内容并且基于视点位置的空间显示控制信息，并且

所述生成部生成基于所述视点位置的空间显示控制信息，并且所述空间显示控制信息包括以下信息作为节点，所述信息使得能够在分发所述内容时选择比特率。

(9)

根据(8)所述的信息处理装置，其中，所述生成部生成基于所述视点位置的空间显示控制信息，并且所述空间显示控制信息包括将所述三维对象的多个比特率的比特率变化表达为多个子节点的专用节点。

(10)

根据(8)或(9)所述的信息处理装置，其中，所述生成部生成基于所述视点位置的空间显示控制信息，并且所述空间显示控制信息包括添加有字段的节点，所述字段将所述三维对象的多个比特率的比特率变化表达为多个子节点。

(11)

根据(1)至(10)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指示对所有三维对象的比特率进行统一控制使得能够保持质量的信息。

(12)

根据(1)至(11)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指示所述三维对象之间的相对质量的信息。

(13)

根据(12)所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据包括以排名的形式指示所述三维对象的每个比特率变化的质量的qualityranking，作为指示所述三维对象之间的相对质量的信息。

(14)

根据(12)或(13)所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据包括以值指示所述三维对象的每个比特率变化的质量的quality值，作为指示所述三维对象之间的相对质量的信息。

(15)

根据(12)至(14)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据包括指示使得能够同时再现的三维对象的每个比特率变化的信息，作为指示所述三维对象之间的相对质量的信息。

(16)

根据(1)至(15)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指示以下的信息：尽管所述三维对象的细节级别发生了变化，但是仍能够保持所述三维对象之间的相对质量。

(17)

根据(1)至(16)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指示以下的信息：尽管基于指示所述三维对象之间的相对质量的信息，所述三维对象的细节级别发生了变化，但是仍能够保持所述三维对象之间的相对质量。

(18)

根据(1)至(17)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指示所述三维对象的重要性的信息。

(19)

根据(1)至(18)中任一项所述的信息处理装置，其中，所述生成部生成所述元数据，所述元数据还包括指定关注的三维对象的重要性的信息。

(20)

一种信息处理方法，包括：

生成关于以下内容的元数据，所述内容表达三维空间中的三维对象，并且使得能够在再现时自由地设置视线方向和视点位置，所述元数据包括使得能够在分发所述内容时选择比特率的信息。

[附图标记列表]

100：分配系统

101：文件生成装置

102：web服务器

103：客户端装置

151：控制部

152：文件生成部

161：数据输入部

162：场景描述生成部

163：媒体数据生成部

164：mpd文件生成部

165：段文件生成部

166：记录部

167：上传部

171：控制部

172：再现处理部

181：mpd文件获取部

182：mpd文件处理部

183：场景描述段文件获取部

184：场景描述段文件处理部

185：显示控制部

186：测量部

187：媒体数据段文件选择部

188：媒体数据段文件获取部

189：解码处理部

190：显示信息生成部

191：显示部