编码装置、编码方法、解码装置和解码方法与流程

本公开内容涉及编码装置、编码方法、解码装置和解码方法，并且具体地涉及能够生成更准确的三维模型的编码装置、编码方法、解码装置和解码方法。

背景技术：

用于生成三维模型的常规方法使用前景图像与背景图像之间的差异来生成剪影图像，并且将体积相交应用于来自多个视点的剪影图像以重构视觉外壳(相交的区域)。

例如，专利文献1公开了一种重构三维模型的方法，其中，使用从多个视点的被拍摄体剪影图像通过体积相交重构的视觉外壳被反复地进行整形，直到视觉外壳的整形收敛。

引用列表

专利文献

专利文献1：日本专利申请特开第2012-208759号

技术实现要素：

本发明要解决的问题

现在，如上所述，在使用前景图像与背景图像之间的差异生成剪影图像时前景色和背景色相似的情况下，颜色的差异小，使得难以生成一些情况下的准确的剪影图像。因此，将体积相交应用于这样的剪影图像导致生成准确度低的三维模型。

鉴于这样的情况作出本公开内容，并且本公开内容旨在能够生成更准确的三维模型。

问题的解决方案

根据本公开内容的第一方面的编码装置包括：三维模型生成单元，其基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息，生成表示被拍摄体的三维模型的三维模型信息；转换处理单元，其通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，并且通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及传输单元，其将包括多个二维图像和深度信息的传输数据传输到解码装置。

根据本公开内容的第一方面的编码方法包括：基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息，生成表示被拍摄体的三维模型的三维模型信息；通过从多个方向投影三维模型将由三维模型信息表示的三维模型转换为多个二维图像，并且通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及将包括多个二维图像和深度信息的传输数据传输到解码装置。

在本公开内容的第一方面中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的多条有源深度信息来生成表示被拍摄体的三维模型的三维模型信息，通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息，并且将包括多个二维图像和深度信息的传输数据传输到解码装置。

根据本公开内容的第二方面的解码装置包括：接收单元，其接收包括多个二维图像和深度信息的所传输的传输数据，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息生成表示被拍摄体的三维模型的三维模型信息，并且通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及三维数据转换处理单元，其将多个二维图像和深度信息转换为表示被拍摄体的三维模型的三维模型信息。

根据本公开内容的第二方面的解码方法包括：接收包括多个二维图像和深度信息的所传输的传输数据，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息生成表示被拍摄体的三维模型的三维模型信息，并且通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及将多个二维图像和深度信息转换为表示被拍摄体的三维模型的三维模型信息。

在本公开内容的第二方面中，接收包括多个二维图像和深度信息的所传输的传输数据，并且将多个二维图像和深度信息转换为表示被拍摄体的三维模型的三维模型信息，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的多个有源深度信息生成表示被拍摄体的三维模型的三维模型信息，由三维模型信息表示的三维模型通过从多个方向被投影进行转换，并且通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息。

发明的效果

根据本公开内容的第一方面和第二方面，可以生成更准确的三维模型。

注意，本公开内容的效果不一定限于本文中描述的效果，而是本公开内容可以具有本公开内容中描述的任何效果。

附图说明

图1是示出应用了本技术的自由视点视频传输系统的实施方式的配置的示例的框图。

图2是示出rgb摄像装置和有源传感器的布置的示例的图。

图3是示出三维模型生成单元的配置的示例的框图。

图4是示出二维图像转换处理单元的配置的示例的框图。

图5是示出三维数据转换处理单元的配置的示例的框图。

图6是示出通过投影有源深度信息来进行改善的示例的图。

图7是示出通过投影有源深度信息来进行改善的示例的图。

图8是用于说明被拍摄体的阴影的移除的图。

图9是用于说明用作绿屏的掩蔽信息的示例的图。

图10是用于说明编码处理的流程图。

图11是用于说明三维数据获取处理和二维图像转换处理的流程图。

图12是用于说明解码处理的流程图。

图13是用于说明三维模型生成单元的第一变型的图。

图14是用于说明三维模型生成单元的第二变型的图。

图15是用于说明三维模型生成单元的第三变型的图。

图16是示出校正量表的第一数据格式的示例的表。

图17是用于说明使用校正量生成的剪影图像的图。

图18是示出校正量表的第二数据格式的示例的表。

图19是用于说明片段信息的示例的图。

图20是示出校正量表的第三数据格式的示例的表。

图21是用于说明校正量曲线的图。

图22是示出根据第一变型的传输数据的传输侧的图。

图23是示出根据第一变型的传输数据的接收侧的图。

图24是示出根据第二变型的传输数据的传输侧的图。

图25是示出根据第二变型的传输数据的接收侧的图。

图26是示出根据第三变型的传输数据的接收侧的图。

图27是示出根据第四变型的传输数据的接收侧的图。

图28是用于说明防止在剪影图像上出现被拍摄体的阴影的方法的图。

图29是示出应用了本技术的计算机的实施方式的配置的示例的框图。

具体实施方式

现在将参照附图详细描述应用了本技术的特定实施方式。

<自由视点视频传输系统的配置的第一示例>

图1是示出应用了本技术的自由视点视频传输系统的实施方式的配置的示例的框图。

如图1所示，自由视点视频传输系统11包括经由网络连接的编码系统12和解码系统13，并且编码系统12将编码的传输数据传输到解码系统13。此外，编码系统12包括三维数据获取单元21、二维图像转换处理单元22、编码单元23和传输单元24，并且解码系统13包括接收单元31、解码单元32、三维数据转换处理单元33和三维数据显示单元34。

三维数据获取单元21包括图像获取单元44和三维模型生成单元43。图像获取单元44获取其中从多个视点对被拍摄体进行成像的多个摄像装置图像，并且还获取指示从另外的多个视点到被拍摄体的距离的多条有源深度信息。然后，三维模型生成单元43基于多个摄像装置图像和多条有源深度信息来生成指示被拍摄体的三维模型的三维模型信息，并且将三维模型信息提供给二维图像转换处理单元22。注意，三维数据获取单元21可以获取指示从至少一个视点到被拍摄体的距离的一条有源深度信息，并且基于有源深度信息生成三维模型信息。

二维图像转换处理单元22例如执行二维图像转换处理，其中将由三维数据获取单元21提供的三维模型信息所表示的三维模型从多个方向进行透视投影并且转换为多个二维图像。二维图像转换处理单元22还可以通过使二维图像中的两个二维图像中的特征点具有视差匹配将深度信息(基于图像的深度)添加到多个二维图像中的每个，深度信息是通过三角测量估计深度而生成的。例如，深度信息表示从任意视点到三维模型的深度，并且可以指示例如对于每个像素从与二维图像相同的视点的被拍摄体在深度方向上的位置，或者对于每个像素从与二维图像不同的视点的被拍摄体在深度方向上的位置。此外，二维图像的视点的数目以及深度信息的视点的数目可以相同或不同。注意，稍后将参照图4描述二维图像转换处理单元22的配置的示例。

编码单元23对要从编码系统12传输到解码系统13的传输数据进行编码。例如，传输数据包括由三维数据获取单元21获取的多条有源深度信息、由二维图像转换处理单元22通过转换获得的多个二维图像、深度信息等。编码单元23可以使用诸如3d多视点视频编码(mvc)、mvc或高级视频编码(avc)的二维压缩技术对传输数据中包括的二维图像进行编码。

传输单元24经由网络将由编码单元23提供的传输数据传输到解码系统13。

接收单元31经由网络接收从传输单元24传输的传输数据，例如包括多个二维图像、多条有源深度信息等的传输数据，从而将传输数据提供给解码单元32。

解码单元32对由接收单元31提供的传输数据进行解码，并且将多个二维图像和深度信息、多条有源深度信息等提供给三维数据转换处理单元33。例如，解码单元32可以通过使用与编码单元23在编码时使用的相同的二维压缩技术对传输数据中包括的二维图像进行解码。

三维数据转换处理单元33执行将由解码单元32提供的多个二维图像转换为表示被拍摄体的三维模型的三维模型信息的转换处理，并且将三维模型信息提供给三维数据显示单元34。例如，当使用多个二维图像重构三维模型时，三维数据转换处理单元33可以通过使用添加到二维图像的深度信息、多条有源深度信息等以高准确度重构三维模型。注意，稍后将参照图5描述三维数据转换处理单元33的配置的示例。

对于三维数据显示单元34，例如，可以使用头戴式显示器、二维监视器、三维监视器等，并且在这些显示装置中的任何显示装置上显示由三维数据转换处理单元33提供的三维模型信息所表示的三维模型。注意，可以采用其中接收单元31至三维数据显示单元34的功能被包括在单个头戴式显示器中的配置，或者可以采用其中包括头戴式显示器的三维数据显示单元34连接到包括接收单元31至三维数据转换处理单元33的功能的信息处理终端的配置。

在如上所述配置的自由视点视频传输系统11中，三维数据获取单元21可以在从多个摄像装置图像生成三维模型信息时，通过使用多条有源深度信息以高准确度生成三维模型。因此，编码系统12可以编码并传输用于生成具有高准确度的三维模型的传输数据。然后，在自由视点视频传输系统11中，三维数据转换处理单元33可以通过使用沿多个二维图像传输的多条有源深度信息从多个二维图像以高准确度生成三维模型。

将参照图2描述将摄像装置图像和有源深度信息提供给三维数据获取单元21的rgb摄像装置41和有源传感器42。

如图2所示，三维数据获取单元21连接到n个rgb摄像装置41-1至41-n和m个有源传感器42-1至42-m。

rgb摄像装置41-1至41-n和有源传感器42-1至42-m被布置在围绕被拍摄体a的位置处，并且被安装以从其各自的位置面对被拍摄体a。此外，预先对rgb摄像装置41-1至41-n和有源传感器42-1至42-m执行摄像装置校准，并且将其位置关系用作摄像装置参数。

rgb摄像装置41-1至41-n从其各自的位置对被拍摄体a进行成像，获取n个摄像装置图像(rgb图像)并将其提供给三维数据获取单元21。注意，在不需要将rgb摄像装置41-1至41-n彼此区分的情况下，在下文中将适当地将rgb摄像装置41-1至41-n简称为rgb摄像装置41。

有源传感器42-1至42-m获得从其各自的位置到被拍摄体a的距离，并且将指示获得的距离的m个有源深度信息提供给三维数据获取单元21。例如，有源传感器42-1至42-m可以各自使用tof传感器，tof传感器通过测量从将光朝向被拍摄体a发射到接收被被拍摄体a反射的光作为反射光的飞行时间来获取距离图像。此外，除了tof传感器之外，诸如光检测和测距(lidar)的范围传感器或结构光传感器也可以用于有源传感器42-1至42-m中的每个有源传感器。注意，在不需要将有源传感器42-1至42-m彼此区分的情况下，在下文中将适当地将有源传感器42-1至42-m简称为有源传感器42。注意，仅需要包括至少一个或更多个有源传感器42。

三维数据获取单元21的三维模型生成单元43基于n个摄像装置图像和m个有源深度信息生成表示被拍摄体a的三维模型的三维模型信息。

将参照图3描述三维模型生成单元43的详细配置的示例。

如图3所示，三维模型生成单元43包括校准单元51、帧同步单元52、背景差异生成单元53、剪影处理单元54、视觉外壳(vh)处理单元55、网格创建单元56和纹理映射单元57。此外，如上所述，三维模型生成单元43经由图像获取单元44被提供有来自多个rgb摄像装置41的多个摄像装置图像以及来自多个有源传感器42的多条有源深度信息。

校准单元51向帧同步单元52提供使用内部参数以及表示rgb摄像装置41之间的关系的外部参数校正的校准后的摄像装置图像。类似地，校准单元51可以对由有源传感器42提供的有源深度信息执行校准。

校准的方法包括例如：使用棋盘的张氏方法，通过对三维物体进行成像而获得参数的方法，利用投影仪使用投影图像获得参数的方法等。摄像装置参数包括例如内部参数和外部参数。内部参数是摄像装置特有的参数，并且包括摄像装置透镜的失真以及图像传感器和透镜的倾斜(失真系数)、图像中心和图像(像素)大小。外部参数指示多个摄像装置(如果存在)之间的位置关系，并且还指示世界坐标系中的透镜的中心坐标(平移)和透镜的光学轴的取向(旋转)。

帧同步单元52将多个rgb摄像装置41中之一设置为基准摄像装置，将其余摄像装置设置为参考摄像装置。然后，帧同步单元52将参考摄像装置的摄像装置图像的帧与基准摄像装置的摄像装置图像的帧同步。帧同步单元52将帧同步之后获得的摄像装置图像提供给背景差异生成单元53。

背景差异生成单元53对多个摄像装置图像执行背景差异处理，以生成作为用于提取被拍摄体(前景)的掩蔽的多个剪影图像，并且将剪影图像提供给剪影处理单元54。例如，通过对指示其中被拍摄体被显示在摄像装置图像中的范围的剪影进行二值化来表示图像。

剪影处理单元54将多条有源深度信息投影到由背景差异生成单元53提供的多个剪影图像上，从而对在每个剪影图像的剪影中出现的损坏执行处理。例如，剪影处理单元54执行诸如填充在剪影图像的剪影中出现的孔(参见稍后描述的图6)或移除在剪影图像中作为剪影出现的被拍摄体的阴影(参见稍后描述的图7)的处理。然后，剪影处理单元54将已经进行了处理的多个剪影图像提供给vh处理单元55。剪影处理单元54还输出指示已经对剪影进行处理例如填充孔或移除阴影的区域的剪影处理区域信息。注意，剪影处理单元54可以执行移除在剪影图像中作为剪影出现的地板、墙壁等的处理。

vh处理单元55使用由剪影处理单元54处理的多个剪影图像和摄像装置参数通过视觉外壳等进行建模。vh处理单元55将剪影图像中的每个剪影图像投影回到原始三维空间中，并且获得视觉体积的相交(视觉外壳)。

网格创建单元56针对通过vh处理单元55获得的视觉外壳创建网格。

纹理映射单元57在纹理映射之后生成与网格对应的几何信息(几何)和摄像装置图像作为被拍摄体的三维模型，几何信息指示由网格创建单元56创建的网格中包括的点(顶点)以及点的连接(多边形)的三维位置。然后，纹理映射单元57将表示生成的三维模型的三维模型信息提供给二维图像转换处理单元22。

三维模型生成单元43如上所述地配置，并且可以通过使用有源深度信息改善剪影的损坏来生成更准确的三维模型。此外，例如，与通过手动处理或使用似然性的处理改善剪影的损坏的方法相比，使用有源深度信息可以在不需要手动处理和使用似然性的处理的情况下自动改善剪影。

三维模型生成单元43还可以输出指示已经对剪影进行处理的区域的剪影处理区域信息。例如，在已经对剪影进行处理的区域中，从多个摄像装置图像获得的深度信息可能具有低可靠性，使得剪影处理区域信息被传输以能够在生成三维模型时有效地在接收侧上被使用。

图4是示出二维图像转换处理单元22的配置的示例的框图。

如图4所示，二维图像转换处理单元22包括摄像装置位置确定单元71和透视投影单元72。此外，如上所述，二维图像转换处理单元22被提供有来自三维数据获取单元21的三维模型信息。

摄像装置位置确定单元71确定与预定显示图像生成方案对应的多个视点处的摄像装置位置以及摄像装置位置的摄像装置参数，并且将表示摄像装置位置和摄像装置参数的信息提供给透视投影单元72。

透视投影单元72基于由摄像装置位置确定单元71提供的多个视点的摄像装置参数，针对每个视点执行由三维模型信息表示的三维模型的透视投影。透视投影单元72因此从每个视点获取通过三维模型的透视投影获得的多个二维图像。透视投影单元72还将从这些二维图像生成的深度信息添加到对应的二维图像，并且输出信息。

然后，将包括有源深度信息、剪影处理区域信息、多个二维图像和深度信息以及摄像装置参数的传输数据从编码系统12传输到解码系统13。注意，三维模型信息本身可以作为选择地被传输。

图5是示出三维数据转换处理单元33的配置的示例的框图。

三维数据转换处理单元33包括vh处理单元81。三维数据转换处理单元33被提供有从编码系统12传输的传输数据中包括的多条有源深度信息、多条剪影处理区域信息、多个二维图像和深度信息以及摄像装置参数。

如图3的vh处理单元55一样，vh处理单元81使用多条有源深度信息、多条剪影处理区域信息、多个二维图像和深度信息以及摄像装置参数利用视觉外壳执行建模。此时，vh处理单元81可以通过参考有源深度信息和剪影处理区域信息以高准确度执行建模。换言之，已经对剪影进行处理(例如，填充孔或移除阴影)的区域很可能是从二维图像获得的深度信息具有低可靠性的区域。因此，vh处理单元81可以通过使用有源深度信息和剪影处理区域信息重构三维模型来生成更准确的三维模型。

将参照图6和图7描述通过投影有源深度信息进行改善的示例。

例如，如图6的上部所示，使用背景差异生成的剪影图像具有这样的区域：在前景色与背景色之间具有小差异的区域中被拍摄体看起来具有孔。因此，使用这样的剪影图像重构的三维模型导致被拍摄体的形状的损坏。

另一方面，如图6的下部所示，可以通过将有源深度信息投影到使用背景差异生成的剪影图像上来填充被拍摄体看起来具有孔的区域。换言之，可以生成准确地再现被拍摄体的剪影的剪影图像，并且使用这样的剪影图像可以生成其中以高准确度重构没有损坏的被拍摄体的形状的三维模型。

此外，如图7的上部所示，由于被拍摄体的阴影，使用背景差异生成的剪影图像具有在前景色与背景色之间具有大差异的区域，从而在剪影图像中出现阴影区域。换言之，生成了其中被拍摄体的阴影区域也作为剪影而出现的剪影图像，使得使用这样的剪影图像重构的三维模型导致形成实际上不存在于被拍摄体的阴影区域中的形状。

另一方面，如图7的下部所示，可以通过将有源深度信息投影到使用背景差异生成的剪影图像上从剪影图像移除被拍摄体的阴影。因此，可以生成准确地再现被拍摄体的剪影的剪影图像，并且通过使用这样的剪影图像，可以生成其中以高准确度重构被拍摄体的形状的三维模型，而不形成实际上不存在于阴影区域中的形状。

此外，通过从剪影图像移除被拍摄体的阴影，可以提高分离多个被拍摄体的准确度。

即，如图8所示，在被拍摄体b和被拍摄体c彼此接近地放置并且在摄像装置图像中被拍摄体b与被拍摄体c的阴影交叠的情况下，使用背景差异生成的剪影图像具有整合了被拍摄体b和被拍摄体c的剪影。以这样的方式交叠其阴影的多个被拍摄体被错误地识别为一个被拍摄体。

另一方面，可以通过将有源深度信息投影到使用背景差异生成的剪影图像上从剪影图像移除被拍摄体b和被拍摄体c的阴影。因此，即使在被拍摄体b与被拍摄体c的阴影交叠的情况下，也可以生成其中被拍摄体b和被拍摄体c被准确地分离的剪影图像。因此，可以以高准确度生成被拍摄体b和被拍摄体c的三维模型。

此外，例如，有源深度信息可以用作色度键合成中使用的绿屏的掩蔽信息。

即，如图9所示，在绿色被拍摄体d与绿屏交叠的情况下，从摄像装置图像生成的剪影图像不能够生成准确地将被拍摄体d掩蔽的掩蔽信息。

同时，有源深度信息使得能够对被拍摄体d进行三维识别，使得即使在前景色与背景色相同的情况下，也可以生成准确地将被拍摄体d掩蔽的掩蔽信息。因此，通过使用有源深度信息，可以以高准确度对具有与背景色相同的颜色的被拍摄体d进行建模。

<编码处理和解码处理的示例>

将参照图10至图12描述在自由视点视频传输系统11中执行的编码处理和解码处理中的每个处理的示例。

图10是用于说明在编码系统12中执行的编码处理的流程图。

在步骤s11中，三维数据获取单元21通过使用多个rgb摄像装置41对被拍摄体进行成像来获取多个摄像装置图像，并且如图2所示使用多个有源传感器42获取指示到被拍摄体的距离的多条有源深度信息。然后，三维模型生成单元43执行生成表示被拍摄体的三维模型的三维模型信息的三维数据获取处理(参见图11)。

在步骤s12中，二维图像转换处理单元22执行将在步骤s11中由三维数据获取单元21生成的三维模型信息转换为多个二维图像的二维图像转换处理(参见图11)。

在步骤s13中，编码单元23对包括在步骤s12中由二维图像转换处理单元22提供的多个二维图像的传输数据进行编码，并且将传输数据提供给传输单元24。如上所述，传输数据还包括有源深度信息、剪影处理区域信息、多个二维图像和深度信息以及摄像装置参数。

在步骤s14中，传输单元24经由网络将在步骤s13中由编码单元23提供的传输数据传输到解码系统13，并且然后编码处理结束。

图11是用于说明图10的步骤s11中的三维数据获取处理和步骤s12中的二维图像转换处理的流程图。

在步骤s21中，校准单元51向帧同步单元52提供使用内部参数以及表示rgb摄像装置41之间的关系的外部参数校正的校准后的摄像装置图像。

在步骤s22中，帧同步单元52将在步骤s21中由校准单元51提供的多个摄像装置图像的帧同步，并且将帧提供给背景差异生成单元53。

在步骤s23中，背景差异生成单元53通过从在步骤s22中由帧同步单元52提供的多个摄像装置图像获得背景差异来生成多个剪影图像，并且将剪影图像提供给剪影处理单元54。

在步骤s24中，剪影处理单元54将有源深度信息正确地投影到在步骤s23中由背景差异生成单元53提供的多个剪影图像上，并且处理多个剪影图像的剪影。例如，剪影处理单元54执行诸如填充在剪影图像的剪影中出现的孔或移除在剪影图像中作为剪影出现的被拍摄体的阴影的处理，并且将剪影图像提供给vh处理单元55。此时，剪影处理单元54输出指示已经对剪影进行处理(例如，填充孔或移除阴影)的区域的剪影处理区域信息。

在步骤s25中，vh处理单元55使用在步骤s24中由剪影处理单元54处理的多个剪影图像以及摄像装置参数来执行用于重构视觉外壳的vh处理，并且将视觉外壳提供给网格创建单元56。

在步骤s26中，网格创建单元56针对在步骤s25中由vh处理单元55提供的视觉外壳创建网格，并且将网格提供给纹理映射单元57。

在步骤s27中，纹理映射单元57基于摄像装置图像对在步骤s26中由网格创建单元56提供的网格执行纹理映射，从而生成三维模型。然后，纹理映射单元57将表示生成的三维模型的三维模型信息提供给二维图像转换处理单元22的摄像装置位置确定单元71。

在步骤s28中，摄像装置位置确定单元71确定用作在步骤s27中由纹理映射单元57提供的三维模型信息所表示的三维模型上执行透视投影的视点的多个摄像装置位置。然后，摄像装置位置确定单元71将三维模型信息以及指示多个摄像装置位置的摄像装置参数提供给透视投影单元72。

在步骤s29中，透视投影单元72通过使用多个摄像装置位置作为视点，对在步骤s28中由摄像装置位置确定单元71提供的三维模型信息所表示的三维模型执行透视投影。因此，透视投影单元72从每个视点获取通过三维模型的透视投影获得的多个二维图像，使用这些二维图像生成表示从任意视点到三维模型的深度的深度信息，并且将二维图像和深度信息提供给编码单元23，从而处理结束。

图12是用于说明在解码系统13中执行的解码处理的流程图。

在步骤s31中，接收单元31接收在图10的步骤s14中传输的传输数据，并且将传输数据提供给解码单元32。

在步骤s32中，解码单元32对在步骤s31中由接收单元31提供的传输数据进行解码，并且向三维数据转换处理单元33提供有源深度信息、剪影处理区域信息、多个二维图像和深度信息以及摄像装置参数。

在步骤s33中，三维数据转换处理单元33执行转换处理，转换处理使用有源深度信息、剪影处理区域信息、深度信息和摄像装置参数将多个二维图像转换为三维模型信息。然后，三维数据转换处理单元33将三维模型信息提供给三维数据显示单元34。

在步骤s34中，三维数据显示单元34在诸如头戴式显示器、二维监视器或三维监视器的显示单元上显示三维模型，三维模型由在步骤s33中三维数据转换处理单元33所提供的三维模型信息表示。然后，解码处理结束。

<三维模型生成单元的变型>

将参照图13至图15描述三维模型生成单元43的变型。注意，在以下描述的每个变型中，与图3中的三维模型生成单元43的框相同的框将被分配与图3中的这样的框相同的附图标记，从而将省去其详细描述。

图13示出了作为第一变型的三维模型生成单元43a的框图。

如图13所示，三维模型生成单元43a在以下方面具有与图3的三维模型生成单元43的配置相同的配置：包括校准单元51、帧同步单元52、背景差异生成单元53、剪影处理单元54、vh处理单元55、网格创建单元56和纹理映射单元57。三维模型生成单元43a还包括暗/飞白区域检测单元58。

暗/飞白区域检测单元58检测由帧同步单元52提供的摄像装置图像中的具有预定的或更低的亮度值的暗区域以及具有预定的或更高的亮度值的飞白区域。然后，暗/飞白区域检测单元58将指示暗区域或飞白区域的暗/飞白区域信息提供给剪影处理单元54。

因此，在三维模型生成单元43a中，剪影处理单元54可以通过参考暗/飞白区域信息将有源深度信息投影到暗区域或飞白区域上来处理剪影图像。

例如，当使用由图2中的rgb摄像装置41拍摄的摄像装置图像生成剪影图像时，剪影被损坏或在暗区域或飞白区域中具有大量噪声。同时，图2中的有源传感器42使用红外波长区中的光来获取有源深度信息，并且因此即使在亮度值低于或高于预定亮度值或者等于预定亮度值的环境中也可以获取有源深度信息。

因此，三维模型生成单元43a通过将有源深度信息投影到暗区域或飞白区域上来处理剪影图像，以能够填充剪影被损坏的区域中的孔或避免生成由于噪声的不必要的区域。因此，三维模型生成单元43a可以生成表示更准确的三维模型的三维模型信息。

图14示出了作为第二变型的三维模型生成单元43b。

如图14所示，三维模型生成单元43b在以下方面具有与图3的三维模型生成单元43的配置相同的配置：包括校准单元51、帧同步单元52、背景差异生成单元53、剪影处理单元54、vh处理单元55、网格创建单元56和纹理映射单元57。

即，三维模型生成单元43b包括与图3的三维模型生成单元43相同的块，但是具有其中剪影处理单元54不输出剪影处理区域信息的配置。即，剪影处理区域信息是辅助信息，并且因此不必包括在被传输到解码系统13的传输数据中。

同样在如上所述配置的三维模型生成单元43b中，如与图3的三维模型生成单元43一样，剪影处理单元54可以通过在生成剪影图像时将有源深度信息投影到剪影图像上来处理剪影图像。因此，三维模型生成单元43b可以生成表示更准确的三维模型的三维模型信息。

图15示出了作为第三变型的三维模型生成单元43c。

如图15所示，三维模型生成单元43c在以下方面具有与图3的三维模型生成单元43的配置相同的配置：包括校准单元51、帧同步单元52、背景差异生成单元53、剪影处理单元54、vh处理单元55、网格创建单元56和纹理映射单元57。三维模型生成单元43a还包括物质/物体检测单元59和深度校正值计算单元60。

物质/物体检测单元59基于通过rgb摄像装置41对被拍摄体进行成像而获得的摄像装置图像以及通过有源传感器42发现到被拍摄体的距离而获得的有源深度信息来检测被拍摄体的物质或物体。然后，物质/物体检测单元59将指示被拍摄体的物质或物体的物质/物体信息提供给深度校正值计算单元60。

例如，物质/物体检测单元59可以在摄像装置图像中逐像素地识别被拍摄体的物质或物体。此外，物质/物体检测单元59可以通过对摄像装置图像执行分割处理，将摄像装置图像划分为针对摄像装置图像中示出的每个被拍摄体的片段，并且逐段地识别被拍摄体的物质或物体。注意，物质/物体检测单元59可以根据光反射率及其可靠性来估计物质。

分割处理可以采用例如使用所谓的深度学习的物体识别，或诸如使用简单线性迭代聚类(slic)等的超像素分割的基于图像的处理，或面部识别/肤色识别。此外，可以添加诸如温度传感器的另外的传感器，并且可以使用传感器的输出。

根据由物质/物体检测单元59提供的物质/物体信息，深度校正值计算单元60计算深度校正量，深度校正量用于通过摄像装置图像的像素或通过划分摄像装置图像而获得的片段来校正有源深度信息。

例如，在如有源传感器42那样使用红外线获取有源深度信息的情况下，有源深度信息的准确度根据被拍摄体的物质或物体的特性(例如，表面的光反射特性)而变化。例如，难以准确地获取头发、表皮、黑色物体、皮肤等的有源深度信息。因此，深度校正值计算单元60校正由物质/物体信息指示的每个物质或物体的有源深度信息，使得可以生成没有形状损坏的三维模型。

如上所述，可以通过在编码系统12的侧校正有源深度信息来改善三维模型的形状。然后，例如，可以将校正的有源深度信息与二维图像和深度信息一起传输到解码系统13那侧。

注意，深度校正值计算单元60可以根据校正的有源深度信息生成深度图，或者将校正值输入到vh处理单元55，使得vh处理单元55在重构三维模型时参考校正值来调整修剪的程度。

将参照图16至图21描述在根据物质/物体而传输不同的深度校正量时的校正量表的数据格式。

图16示出了用于仅针对深度掩蔽存在的区域逐像素地传输校正量的校正量表的第一数据格式的示例。如图16所示，在校正量表中，针对每个像素位置信息，彼此相关联地登记了物质信息、颜色信息、校正量、可靠性以及沿时间轴的可靠性。

通过使用这样的校正量，如图17所示，可以逐像素地校正有源深度信息，使得可以生成更准确的剪影图像。

图18示出了用于逐段地传输固定校正量的校正量表的第二数据格式的示例。如图18所示，在校正量表中，针对每个片段信息，彼此相关联地登记了物质信息、颜色信息、校正量、可靠性以及沿时间轴的可靠性。

通过使用这样的校正量，如图19所示，可以逐段地校正有源深度信息，使得可以生成更准确的剪影图像。

图20示出了用于传输校正有源深度信息的校正曲线的校正量表的第三数据格式的示例。如图20所示，在校正量表中，针对每个像素位置信息，相关联地登记了物质信息、颜色信息、校正曲线、可靠性以及沿时间轴的可靠性。

即，如图21所示，根据实验已确定，根据距离在有源深度信息中出现约1％的误差，并且根据使用的有源传感器42的特性来传输用于执行校正(例如，1％或2％的校正)的校正曲线。例如，当有源传感器42具有过估计的特性时，传输用于执行校正的导致落后于检测的深度距离2％的值的校正曲线。此外，传输的校正曲线是其幅度(校正量)根据物质而调整的校正曲线。

然后，以如图16、图18和图19所示的数据格式传输校正值和可靠性，并且三维数据转换处理单元33参考基于校正值和可靠性而校正的有源深度信息来执行重构三维模型的处理。

<传输数据的变型>

将参照图22至图27描述传输数据的变型。

图22示出了示出根据第一变型的传输数据的传输侧上的二维图像变换处理单元22a的配置的示例的框图，以及图23示出了示出根据第一变型的传输数据的接收侧上的三维数据转换处理单元33a的配置的示例的框图。

例如，如上面参照图15所述，使用了包括物质/物体检测单元59和深度校正值计算单元60的三维模型生成单元43c，并且在有源深度信息不能被正确校正的情况下传输第一变型的传输数据。如图22所示，第一变型的传输数据包括有源深度校正值和校正区域信息(即，上述校正量表)。

然后，在三维数据转换处理单元33a中，如图23所示，vh处理单元81参考有源深度信息执行将二维图像转换为三维模型的转换处理。

例如，假定在即使通过图15的物质/物体检测单元59执行物体/物质检测而进行了校正也无法在传输侧完全校正有源深度信息的情况下，使用包含有源深度校正值和校正区域信息的传输数据。例如，在接收侧，可以使用有源深度校正值和校正区域信息作为可靠性。vh处理单元81因此可以根据可靠性来选择用于修剪三维模型的手段，同时针对每个区域自适应地切换有源深度信息和深度信息(立体深度)。

图24示出了根据第二变型的传输数据的传输侧上的二维图像转换处理单元22b的框图，以及图25示出了根据第二变型的传输数据的接收侧上的三维数据转换处理单元33b的框图。

例如，如上面参照图15所述，使用了包括物质/物体检测单元59和深度校正值计算单元60的三维模型生成单元43c，并且在有源深度信息能够被正确校正的情况下传输第二变型的传输数据。如图24所示，第一变型的传输数据包括校正的有源深度信息。

然后，在三维数据转换处理单元33b中，如图25所示，vh处理单元81参考校正的有源深度信息执行将二维图像转换为三维模型的转换处理。

图26示出了根据第三变型的传输数据的接收侧上的二维图像转换处理单元33c的框图，以及图27示出了根据第四变型的传输数据的接收侧上的三维数据转换处理单元33d的框图。

如图26所示，第三变型的传输数据包括有源深度信息、有源深度校正值和校正区域信息、二维图像和摄像装置参数。此外，如图27所示，第三变型的传输数据包括校正的有源深度信息、二维图像和摄像装置参数。

即，在第三变型和第四变型的传输数据中不传输深度信息，使得可以压缩传输数据。例如，深度信息具有与二维图像相同的图像大小并且具有高位深度。因此，在不能传输深度信息的环境中，可以通过传输仅数据大小小于深度信息的数据大小(即，深度信息的大小的约十分之一)的有源深度信息来降低传输成本。注意，在该情况下，需要在接收侧执行建模。

<防止在剪影图像中出现阴影的方法>

将参照图28描述防止在剪影图像中出现阴影的方法。

例如，常规技术在生成视觉外壳时使用仅摄像装置图像(彩色图像)，而vh处理单元55可以使用有源深度信息的剪影图像来生成视觉外壳。注意，有源深度信息的剪影图像是不稳定的，并且因此被生成为检测到仅地板的剪影图像。

然后，vh处理单元55修剪黑色(off,0)的区域，同时将白色(on,1)的区域留在剪影中。因此，在图28中示出的掩蔽的示例中，修剪了作为黑色部分的地板，使得可以移除阴影。

<计算机的配置的示例>

注意，参照以上提及的流程图描述的每个处理不一定按照流程图中列出的顺序以时间顺序执行，而是包括同时或分别执行的处理(例如，并行处理或被拍摄体处理)。此外，程序可以由单个cpu处理，或者可以由多个cpu或图形处理单元(gpu)以分布式方式处理。

此外，上述一系列处理(编码方法和解码方法)可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，将软件中包括的程序安装在并入专用硬件中的计算机上，例如，可以通过从记录有程序的程序记录介质安装各种程序等来执行各种功能的通用个人计算机等。

图29是示出根据程序执行上述一系列处理的计算机的硬件的配置的示例的框图。

在计算机中，中央处理单元(cpu)101、只读存储器(rom)102和随机存取存储器(ram)103经由总线104相互连接。

输入/输出接口105也连接到总线104。输入/输出接口105连接到包括键盘、鼠标、麦克风等的输入单元106，包括显示器、扬声器等的输出单元107，包括硬盘、非易失性存储器等的存储单元108，包括网络接口等的通信单元109，以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质111的驱动器110。

在如上所述配置的计算机中，上述一系列处理例如由cpu101经由输入/输出接口105和总线104将存储在存储单元108中的程序加载到ram103中并执行程序。

例如，由计算机(cpu101)执行的程序是在被记录在作为打包介质的可移除介质111中或者经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质的同时被提供的，打包介质包括磁盘(包括软盘)、光盘(例如，致密盘只读存储器(cd-rom)或数字通用光盘(dvd))、磁光盘、半导体存储器等。

然后，可以通过将可移除介质111放置在驱动器110中经由输入/输出接口105将程序安装在存储单元108中。此外，可以经由有线或无线传输介质由通信单元109接收程序并且将程序安装在存储单元108中。另外，程序可以预先安装在rom102或存储单元108中。

<配置的组合的示例>

注意，本技术还可以以下配置来实施。

(1)

一种编码装置，包括：

三维模型生成单元，其基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与所述多个拍摄图像的视点不同的视点到所述被拍摄体的距离的有源深度信息，生成表示所述被拍摄体的三维模型的三维模型信息；

转换处理单元，其通过从多个方向投影由所述三维模型信息表示的三维模型将所述三维模型转换为多个二维图像，并且通过使用所述多个二维图像生成表示从任意视点到所述三维模型的深度的深度信息；以及

传输单元，其将包括所述多个二维图像和所述深度信息的传输数据传输到解码装置。

(2)

根据(1)所述的编码装置，其中，

所述传输单元传输还包括所述有源深度信息的传输数据。

(3)

根据(1)或(2)所述的编码装置，其中，

所述三维模型生成单元包括：

背景差异生成单元，其根据所述多个拍摄图像确定背景差异并且生成剪影图像，每个剪影图像以二进制形式表示指示其中所述被拍摄体被显示在每个拍摄图像中的的范围的剪影；以及

剪影处理单元，其将所述有源深度信息投影到所述多个剪影图像上，并且对所述剪影图像上的在所述被拍摄体的所述剪影中出现的损坏进行处理。

(4)

根据(3)所述的编码装置，其中，

所述剪影处理单元输出处理区域信息，所述处理区域信息指示对所述剪影图像上的所述被拍摄体的所述剪影进行处理的区域，并且

所述传输单元传输还包括所述处理区域信息的传输数据。

(5)

根据(3)或(4)所述的编码装置，其中，

所述剪影处理单元执行填充在所述剪影图像上的所述被拍摄体的所述剪影中出现的孔的处理。

(6)

根据(3)或(4)所述的编码装置，其中，

所述剪影处理单元执行移除在所述剪影图像中作为所述剪影出现的所述被拍摄体的阴影的处理。

(7)

根据(1)至(6)中任一项所述的编码装置，还包括

暗/飞白区域检测单元，其检测所述多个拍摄图像中的具有预定的或更低的亮度值的暗区域以及具有预定的或更高的亮度值的飞白区域，其中，

所述剪影处理单元对所述剪影图像上的所述暗区域或所述飞白区域中的所述被拍摄体的所述剪影执行处理。

(8)

根据(1)至(6)中任一项所述的编码装置，还包括：

物体/物质检测单元，其基于所述多个拍摄图像和所述有源深度信息来检测所述被拍摄体的物体或物质；以及

校正值计算单元，其根据所述被拍摄体的所述物体或物质来计算用于校正所述有源深度信息的校正值，其中，

基于所述校正值校正的所述有源深度信息用于生成表示所述被拍摄体的所述三维模型的所述三维模型信息。

(9)

根据(8)所述的编码装置，其中，

所述传输单元传输还包括所述校正值以及所述校正值的可靠性的传输数据。

(10)

根据(8)或(9)所述的编码装置，其中，

所述物体/物质检测单元将所述拍摄图像划分为各自与所述拍摄图像中的被拍摄体对应的片段，并且逐段地检测所述被拍摄体的物体或物质。

(11)

一种编码方法，包括：

基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与所述多个拍摄图像的视点不同的视点到所述被拍摄体的距离的有源深度信息，生成表示所述被拍摄体的三维模型的三维模型信息；

通过从多个方向投影由所述三维模型信息表示的三维模型将所述三维模型转换为多个二维图像，并且通过使用所述多个二维图像生成表示从任意视点到所述三维模型的深度的深度信息；以及

将包括所述多个二维图像和所述深度信息的传输数据传输到解码装置。

(12)

一种解码装置，包括：

接收单元，其接收包括多个二维图像和深度信息的所传输的传输数据，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与所述多个拍摄图像的视点不同的视点到所述被拍摄体的距离的有源深度信息生成表示所述被拍摄体的三维模型的三维模型信息，并且通过从多个方向投影由所述三维模型信息表示的三维模型将所述三维模型转换为所述多个二维图像，通过使用所述多个二维图像生成表示从任意视点到所述三维模型的深度的所述深度信息；以及

三维数据转换处理单元，其将所述多个二维图像和所述深度信息转换为表示所述被拍摄体的所述三维模型的所述三维模型信息。

(13)

根据(12)所述的解码装置，其中，

所述接收单元接收包括所述多个二维图像、所述深度信息和所述有源深度信息的所述传输数据，并且

所述三维数据转换处理单元参考所述有源深度信息将所述多个二维图像和所述深度信息转换为表示所述被拍摄体的所述三维模型的所述三维模型信息。

(14)

根据(12)或(13)所述的解码装置，其中，

所述接收单元接收还包括处理区域信息的所述传输数据，所述处理区域信息指示对多个剪影图像上的所述被拍摄体的剪影中出现的损坏进行处理的区域，在根据所述多个拍摄图像确定背景差异之后生成所述处理区域信息，生成各自以二进制形式表示指示在所述拍摄图像中的每个拍摄图像中示出所述被拍摄体的范围的所述剪影的所述剪影图像，将所述有源深度信息投影到所述剪影图像上，并且对所述剪影图像上的所述被拍摄体的所述剪影中出现的所述损坏进行处理，并且

所述三维数据转换处理单元将所述有源深度信息投影到由所述处理区域信息指示的所述区域上。

(15)

根据(12)至(14)中任一项所述的解码装置，其中，

基于所述多个拍摄图像和所述有源深度信息来检测所述被拍摄体的物体或物质，然后所述接收单元接收包括用于根据所述被拍摄体的所述物体或物质来校正所述有源深度信息的校正值以及所述校正值的可靠性的所述传输数据，并且

所述三维数据转换处理单元涉及基于所述校正值和所述可靠性校正的所述有源深度信息。

(16)

一种解码方法，包括：

接收包括多个二维图像和深度信息的所传输的传输数据，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与所述多个拍摄图像的视点不同的视点到所述被拍摄体的距离的有源深度信息生成表示所述被拍摄体的三维模型的三维模型信息，并且通过从多个方向投影由所述三维模型信息表示的三维模型将所述三维模型转换为所述多个二维图像，并且通过使用所述多个二维图像生成表示从任意视点到所述三维模型的深度的所述深度信息；以及

将所述多个二维图像和所述深度信息转换为表示所述被拍摄体的所述三维模型的所述三维模型信息。

注意，本实施方式不限于以上提及的实施方式，在不脱离本公开内容的范围的情况下可以作出各种修改。此外，在本说明书中描述的效果是通过示例而非限制的方式来提供的，其中可以存在另外的效果。

附图标记列表

11自由视点视频传输系统

12编码系统

13解码系统

21三维数据获取单元

22二维图像转换处理单元

23编码单元

24传输单元

31接收单元

32解码单元

33三维数据转换处理单元

34三维数据显示单元

41rgb摄像装置

42有源传感器

43三维模型生成单元

44图像获取单元

51校准单元

52帧同步单元

53背景差异生成单元

54剪影处理单元

55vh处理单元

56网格创建单元

57纹理映射单元

58暗/飞白区域检测单元

59物质/物体检测单元

60深度校正值计算单元

71摄像装置位置确定单元

72透视投影单元

81vh处理单元