图像处理装置、图像处理方法、程序以及显示装置与流程

本技术涉及图像处理装置、图像处理方法、程序和显示装置，并且更特别地涉及例如能够提供易于观看的图像的图像处理装置、图像处理方法、程序和显示装置。

本申请要求于2018年11月20日提交的日本优先权专利申请jp2018-217179的权益，其全部内容通过引用并入本文。

背景技术：

已经提出了一种生成频闪图像的方法，该频闪图像示出了在多个时间处捕获的被摄体(图像)(例如，参见专利文献1)。频闪图像示出了多个时间处的被摄体，这使得可以容易地掌握被摄体的移动和轨迹。

引文列表

专利文献

ptl1：jp2007-259477a

技术实现要素：

技术问题

例如，特别地，在生成针对出现在长时间帧(序列)中的被摄体的频闪图像的情况下，频闪图像可能难以看到。

鉴于这样的情况作出本技术，并且本技术旨在提供易于观看的图像，例如，易于观看的频闪图像等。

问题的解决方案

根据本技术的一方面的图像处理装置或程序是一种图像处理装置，该图像处理装置包括以下电路，该电路被配置成：对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及生成2d图像，其中，从预定视点查看已经历效果处理的多个3d模型。

根据本技术的一方面的一种图像处理方法包括：对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及生成2d图像，其中，从预定视点查看已经历效果处理的多个3d模型。

根据本技术的一方面的图像处理装置、图像处理方法和程序，对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理并且生成2d图像，其中，从预定视点查看已经历效果处理的多个3d模型。

根据本技术的一方面的一种显示装置包括以下电路，该电路被配置成接收2d图像，该2d图像是通过以下操作获得的：对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及生成2d图像，其中，从预定视点查看已经历效果处理的多个3d模型。

根据本技术的一方面的显示装置，通过对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理并且生成2d图像来获得2d图像，其中，从预定视点观看已经历效果处理的多个3d模型。

注意，图像处理装置和显示装置可以是独立的装置或构成一个装置的内部块。

此外，可以通过以下操作来提供程序：经由传输介质发送程序，或者通过将程序记录在非暂态计算机可读介质上。

附图说明

[图1]图1是示出应用本技术的图像处理系统的实施方式的配置示例的框图。

[图2]图2是由图像处理系统执行的显示自由视点图像的自由视点图像显示处理的示例的流程图。

[图3]图3是示出不自然的自由视点图像的示例的图。

[图4]图4是示出自然的自由视点图像的示例的图。

[图5]图5是示出通过在频闪区间中选择针对每个预定数量的帧的生成帧而生成的频闪图像的示例的图。

[图6]图6是示意性地示出由图像捕获单元11获得的来自多个视点的视点图像的示例的视图。

[图7]图7是描述用于通过频闪图像生成单元13确定被摄体的运动的第一确定方法的图。

[图8]图8是描述用于通过频闪图像生成单元13确定被摄体的运动的第一确定方法的图。

[图9]图9是描述用于通过频闪图像生成单元13确定被摄体的运动的第二确定方法的图。

[图10]图10是描述用于通过频闪图像生成单元13确定被摄体的运动的第三确定方法的图。

[图11]图11是描述由频闪图像生成单元13对生成帧的选择的示例的图。

[图12]图12是示出通过将多个生成帧中示出的被摄体的3d模型从原始位置偏移而生成的频闪图像的示例的图。

[图13]图13是描述要经受由效果处理单元14进行的效果处理的频闪图像中的3d模型的图。

[图14]图14是描述效果处理的特定示例的图。

[图15]图15是示出效果模式1下的效果处理的示例的图。

[图16]图16是图示示出两个被摄体的3d模型的频闪图像的示例的图。

[图17]图17是示出效果模式1下的效果处理的另一示例的图。

[图18]图18是示出效果模式2下的效果处理的示例的图。

[图19]图19是示出效果模式3下的效果处理的示例的图。

[图20]图20是示出效果模式4下的效果处理的示例的图。

[图21]图21是示出效果模式5下的效果处理的示例的图。

[图22]图22是示出效果模式6下的效果处理的示例的图。

[图23]图23是示出效果模式7至效果模式9下的效果处理的示例的图。

[图24]图24是示出效果模式10下的效果处理的示例的图。

[图25]图25是示出应用图像处理系统的传输系统的配置示例的框图。

[图26]图26是由发送装置101进行的处理的示例的流程图。

[图27]图27是由接收装置102进行的处理的示例的流程图。

[图28]图28是示出应用图像处理系统的传输系统的另一配置示例的框图。

[图29]图26是由发送装置101进行的处理的第一示例的流程图。

[图30]图30是由接收装置102进行的处理的第一示例的流程图。

[图31]图31是由发送装置101进行的处理的第二示例的流程图。

[图32]图32是由接收装置102进行的处理的第二示例的流程图。

[图33]图33是示出应用本技术的图像处理系统的另一实施方式的配置示例的框图。

[图34]图34是显示自由视点图像的自由视点图像显示处理的示例的流程图。

[图35]图35是示出应用图像处理系统的传输系统的配置示例的框图。

[图36]图36是描述改变3d模型的尺寸的效果处理的图。

[图37]图37是示出应用本技术的计算机的实施方式的配置示例的框图。

具体实施方式

<应用本技术的图像处理系统>

图1是示出应用本技术的图像处理系统的实施方式的配置示例的框图。

在图1所示的图像处理系统中，以能够生成从虚拟视点再现被摄体在三维空间中的外观的自由视点图像的方式根据捕获的图像生成自由视点数据。然后，根据自由视点数据生成并且显示从虚拟视点观看的被摄体的自由视点图像。

图1所示的图像处理系统包括图像捕获单元11、自由视点数据生成单元12、频闪图像生成单元13、效果处理单元14、自由视点图像生成单元15和显示单元16。

图像捕获单元11至少包括多个摄像装置，并且从多个视点拍摄被摄体。例如，构成图像捕获单元11的多个摄像装置被设置成围绕被摄体，并且每个摄像装置从设置摄像装置的位置处的视点捕获被摄体。从摄像装置的位置捕获的二维(2d)图像，换句话说，作为从多个视点捕获的2d图像的来自多个视点的视点图像(运动图像)从图像捕获单元11逐帧地被提供给自由视点数据生成单元12。

此处，除了多个摄像装置之外，图像捕获单元11还可以设置有多个距离测量装置。距离测量装置可以被设置在与摄像装置相同的位置(视点)处，或者可以被设置在与摄像装置不同的位置处。每个距离测量装置测量从设置距离测量装置的位置(视点)到被摄体的距离，并且生成深度图像，该深度图像是将作为与距离有关的信息的深度作为像素值的2d图像。深度图像从图像捕获单元11被提供给自由视点数据生成单元12。

注意，当在图像捕获单元11中未设置距离测量装置时，根据三角测量的原理，使用多个视点的视点图像之中的来自两个视点的视点图像来测量到被摄体的距离，从而生成深度图片。

自由视点数据生成单元12根据来自图像捕获单元11的来自多个视点的视点图像和深度图像逐帧地生成3d图像的自由视点数据。

此处，自由视点数据是可以根据其生成自由视点图像的3d图像的数据。例如，可以按原样采用来自图像捕获单元11的来自多个视点的视点图像和深度图像的集合作为自由视点数据。此外，例如，可以采用3d模型(或包括背景图像等的3d数据)或来自多个视点的2d图像和深度图像的集合作为自由视点数据。

在采用来自图像捕获单元11的根据多个视点的视点图像和深度图像的集合作为自由视点数据的情况下，自由视点数据生成单元12将来自图像捕获单元11的根据多个视点的视点图像和深度图像的集合作为自由视点数据提供给频闪图像生成单元13。

在采用3d模型作为自由视点数据的情况下，自由视点数据生成单元12使用来自多个视点的视点图像和来自图像捕获单元11的根据多个视点的深度图像，通过visualhull等执行建模。然后，自由视点数据生成单元12生成视点图像中所示的被摄体的3d模型，并且将3d模型(包括3d模型的3d数据)作为自由视点数据提供给频闪图像生成单元13。注意，当来自图像捕获单元11的深度图像的视点与来自图像捕获单元11的视点图像的视点不同时，自由视点数据生成单元12使用来自图像捕获单元11的来自多个视点的深度图像来根据来自图像捕获单元11的视点图像的视点生成深度图像。

在采用来自多个视点的2d图像和深度图像的集合作为自由视点数据的情况下，自由视点数据生成单元12如上所述的那样生成视点图像中示出的被摄体的3d模型，并且生成从多个视点(与构成图像捕获单元11的摄像装置的视点相同的视点或不同的视点)观看的3d模型的2d图像和深度图像的集合。然后，自由视点数据生成单元12将从3d模型生成的多个视点的2d图像和深度图像的集合作为自由视点数据提供给频闪图像生成单元13。

在下文中，为了简化描述，除非另有说明，否则将采用3d模型(包括3d模型的3d数据)采用为自由视点数据。

注意，可以通过不采用3d模型而是采用根据3d模型生成的来自多个视点的2d图像和深度图像的集合作为自由视点数据来减少自由视点数据的量。本申请人提出的wo2017/082076描述了一种用于根据3d模型生成并且发送来自多个视点的2d图像和深度图像的技术。例如，在根据3d模型生成来自多个视点的2d图像和深度图像的集合的情况下，可以通过例如针对2d图像的编码方法(例如，多视图和深度视频编码(mvcd)、高级视频编码(avc)或高效率视频编码(hevc))对来自多个视点的2d图像和深度图像的集合进行编码。

此处，3d模型(其表达形式)可以大致被划分为称为视图独立的模型(下文中也被称为vi模型)和称为视图相关的模型(下文中也被称为vd模型)。

vd模型是其中将作为三维形状的信息的3d形状模型和要成为纹理的图像的信息分开的3d模型。在vd模型中，通过将图像映射(纹理映射)为纹理来对3d形状模型进行着色。根据vd模型，可以将被摄体表面上的反射程度表示为根据(虚拟)视点而不同的vd模型。

vi模型是作为3d形状模型的构成元素的多边形和点具有颜色信息的3d模型。例如，vi模型的示例包括作为3d形状模型的颜色信息的3d形状模型和uv图的集合和有色点云。根据vi模型，可以从任何(虚拟)视点观察到多边形和点所具有的颜色。

频闪图像生成单元13使用3d模型作为来自自由视点数据生成单元12的3d图像的自由视点数据，来生成3d图像的频闪图像的自由视点数据并且将自由视点数据提供给效果处理单元14，在该3d图像的频闪图像中，示出(布置)了多个时间(帧)处的同一被摄体的3d模型。

此处，频闪图像是示出在多个时间处捕获的一个或更多个同一被摄体(图像)的图像。示出了在2d图像中示出的被摄体的频闪图像也被称为2d频闪图像，并且示出了被摄体的3d模型的3d图像的频闪图像也被称为3d频闪图像。频闪图像生成单元13生成3d频闪图像。此处，3d图像是指三维地扩展的图像，换句话说，是在深度方向以及水平和垂直方向上扩展的图像。

注意，在自由视点数据包括来自多个视点的视点图像和深度图像或来自多个视点的2d图像和深度图像的情况下，为了生成频闪图像，对用于生成的多个帧中的每个帧执行建模，以单独地生成多个帧中所示的被摄体的3d模型。然后，将多个帧中的3d模型与背景图像(三维空间作为背景图像)组合以生成频闪图像。在其他方面，对在多个帧中示出的被摄体的轮廓图像进行组合，并且使用通过组合获得的合成轮廓图像来执行建模，从而通过对在多个帧中示出的被摄体的3d模型进行组合来生成合成3d模型。然后，将合成的3d模型与背景图像组合以生成频闪图像。

效果处理单元14对从频闪图像生成单元13提供的自由视点数据中的频闪图像上看到的3d模型执行效果处理，并且将已经历效果处理的频闪图像的自由视点数据提供给自由视点图像生成单元15。

此处，在图像处理系统中，根据用户的操作设置虚拟视点，并且将其提供给效果处理单元14、自由视点图像生成单元15以及其他必要的块。效果处理单元14可以对频闪图像中示出的多个时间(帧)处的3d模型之中的预定时间处的3d模型，例如，对参考在设置最新虚拟视点时的参考3d模型在过去和未来中的一个或两个3d模型执行效果处理。作为参考3d模型，可以采用由用户指定的3d模型来代替设置最新虚拟视点的时间的3d模型。

注意，例如，效果处理单元14可以根据用户的操作等在不执行效果处理的情况下将自由视点数据从频闪图像生成单元121提供给自由视点图像生成单元15。此外，例如，频闪图像生成单元13可以根据用户的操作等在不生成频闪图像的情况下将自由视点数据从自由视点数据生成单元12提供给效果处理单元14。当频闪图像生成单元13未生成频闪图像时，效果处理单元14在不执行效果处理的情况下将来自频闪图像生成单元121的自由视点数据提供给自由视点图像生成单元15。

例如，自由视点图像生成单元15使用来自效果处理单元14的自由视点数据，以生成其中从虚拟视点观看的由图像捕获单元11捕获的三维空间的2d图像(数据)作为自由视点图像(数据)并且将自由视点图像提供给显示单元16，例如下述2d图像(此处，包括左眼2d图像和右眼2d图像的集合)，其中频闪图像中示出的三维空间是从虚拟视点观看的，在该频闪图像中，3d模型已经历效果处理。

例如，显示单元16包括2d头戴式显示器、2d监测器、3d头戴式显示器、3d监测器等，并且显示来自自由视点图像生成单元15的自由视点图像。例如，3d头戴式显示器或监测器是通过显示左眼2d图像和右眼2d图像来呈现立体视觉的显示装置。

注意，例如，图像处理系统可以由包括客户端、云服务器等的服务器客户端系统形成。在这种情况下，可以在云服务器中设置自由视点数据生成单元12至自由视点图像生成单元15中的一些或全部。客户端可以设置有自由视点数据生成单元12至自由视点图像生成单元15的其余部分以及显示单元16。图像捕获单元11可以被设置在任意地方，并且由图像捕获单元11输出的视点图像等可以被发送至自由视点数据生成单元12。

根据如上所述配置的图像处理系统，例如，将各种运动的场景(例如，英式足球、橄榄球、棒球、摔跤、拳击、柔道、高尔夫、网球和体操)捕获为视点图像，并且可以生成示出特定被摄体(例如，特定选手)的3d模型的频闪图像。在这种情况下，示出特定选手的3d模型的频闪图像可以用于运动分析，例如，对该特定选手的运动的分析。

图2是由图1所示的图像处理系统执行的显示自由视点图像的自由视点图像显示处理的示例的流程图。

在自由视点图像显示处理中，在步骤s11中，图像捕获单元11从多个视点拍摄被摄体，并且逐帧地从多个视点获得视点图像和深度图像。图像捕获单元11将来自多个视点的视点图像和深度图像提供给自由视点数据生成单元12，并且处理从步骤s11进行至步骤s12。

在步骤s12中，自由视点数据生成单元12使用来自图像捕获单元11的根据多个视点的视点图像和深度图像来执行对视点图像中示出的被摄体的建模，从而例如，逐帧地生成被摄体的3d模型等作为自由视点数据。自由视点数据生成单元12将被摄体的3d模型(以及包括背景图像的3d数据)作为自由视点数据提供给频闪图像生成单元13，并且处理进行至步骤s13。

在步骤s13中，频闪图像生成单元13将作为3d模型的被摄体的运动确定为来自自由视点数据生成单元12的自由视点数据，并且处理进行至步骤s14。

在步骤s14中，频闪图像生成单元13确定是否生成频闪图像。

此处，例如，根据在步骤s13中确定的被摄体的运动来进行关于在步骤s14中是否生成频闪图像的确定。当被摄体不运动时，因为在基本上相同的位置处示出多个时间上的被摄体的3d模型，因此可能难以观看示出了没有运动的多个时间上的被摄体的3d模型的频闪图像。因此，在步骤s14中，在被摄体不运动的情况下，确定不生成频闪图像，并且在被摄体进行任何运动的情况下，确定将生成频闪图像。

注意，例如，可以根据用户的操作来进行关于在步骤s14中是否生成频闪图像的确定。

当在步骤s14中确定不生成频闪图像时，频闪图像生成单元13和效果处理单元14在不执行处理的情况下将自由视点数据提供给自由视点图像生成单元15。然后，处理跳过步骤s15至s18从步骤s14进行至步骤s19。

在这种情况下，在步骤s19中，自由视点图像生成单元15使用来自效果处理单元14的自由视点数据来生成作为从虚拟视点观看的自由视点数据的3d模型的2d图像，作为自由视点图像。然后，自由视点图像生成单元15将自由视点图像(数据)提供给显示单元16，并且处理从步骤s19进行至步骤s20。

在步骤s20中，显示单元16显示来自自由视点图像生成单元15的自由视点图像。在这种情况下，显示单元16显示示出从虚拟视点观看的被摄体的3d模型的图像。

另一方面，当在步骤s14中确定要生成频闪图像时，处理进行至步骤s15。

在步骤s15中，频闪图像生成单元13在从自由视点数据生成单元12提供的3d模型的帧之中选择要用于生成频闪图像的帧(下文中也被称为生成帧)，并且处理进行至步骤s16。

此处，在频闪图像的生成中，在示出要作为3d模型的被摄体的视点图像的帧序列中，响应于用户的操作等，设置可以在该频闪图像中示出的被摄体的第一帧(时间)和最后一帧。假设从可以在频闪图像中看到的被摄体的第一帧到最后一帧的区间是频闪区间，如果将频闪区间的所有帧用作用于生成频闪图像的生成帧，则频闪图像可能由于同一被摄体的与频闪区间的帧数目相同数量的3d模型交叠而变得难以观看。

因此，频闪图像生成单元13从频闪区间的帧中选择几个帧作为生成帧，并且使用生成帧(在生成帧中示出的被摄体的3d模型)来生成频闪图像(自由视点数据)。

例如，频闪图像生成单元13可以从频闪区间的帧中选择3d模型之间的干扰程度等于或小于阈值的帧作为生成帧。换句话说，频闪图像生成单元13计算指示三维空间中的被摄体的3d模型之间的交叠程度的干扰程度，在该三维空间中，在频闪区间的帧中示出被摄体。例如，在两个任意帧中的3d模型在三维空间中完全交叠的情况下，将干扰程度计算为100％，而在3d模型不完全交叠的情况下，将干扰程度计算计算为0％。然后，频闪图像生成单元13选择干扰度等于或小于预定阈值(例如，0至10％)的帧作为生成帧。如上所述，从频闪区间的帧中选择3d模型之间的干扰程度等于或小于阈值的帧作为生成帧，并且生成在生成帧中示出3d模型的频闪图像使得可以抑制频闪图像在3d模型交叠的情况下难以被观看。

注意，在生成帧的选择中，例如，可以针对每个预定数量的帧简单地选择频闪区间的帧。

在步骤s16中，频闪图像生成单元13生成频闪图像，其中，在示出3d模型的被摄体的三维空间的背景图像中示出了从频闪区间的帧中选择的多个生成帧中的3d模型。然后，频闪图像生成单元13将频闪图像提供给效果处理单元14，并且处理从步骤s16进行至步骤s17。此处，当在多个生成帧中仅示出一个被摄体时，频闪图像生成单元13生成示出一个被摄体的3d模型的频闪图像。此外，当在多个生成帧中示出多个被摄体时，频闪图像生成单元13可以生成示出多个被摄体中的每个被摄体的3d模型的频闪图像。然而，例如，当在多个生成帧中示出多个被摄体时，频闪图像生成单元13可以生成频闪图像，该频闪图像示出了在多个生成帧中示出的多个被摄体之中的由用户指定的一个或两个或更多个被摄体的3d模型。

在步骤s17中，效果处理单元14确定是否对来自频闪图像生成单元13的频闪图像的3d模型(在频闪图像中示出的3d模型)执行效果处理。例如，可以根据用户的操作来进行关于在步骤s17中是否生成频闪图像的确定。

当在步骤s17中确定不执行效果处理时，效果处理单元14在不执行效果处理的情况下将来自频闪图像生成单元13的频闪图像提供给自由视点图像生成单元15。然后，处理跳过步骤s18，从步骤s17进行至步骤s19。

在这种情况下，在步骤s19中，自由视点图像生成单元15生成从虚拟视点观看来自效果处理单元14的频闪图像的2d图像作为自由视点图像。然后，自由视点图像生成单元15将自由视点图像提供给显示单元16，并且处理从步骤s19进行至步骤s20。

在步骤s20中，显示单元16显示来自自由视点图像生成单元15的自由视点图像。在这种情况下，显示单元16显示示出从虚拟视点观看的多个生成帧中的被摄体的3d模型的2d图像(从虚拟视点观看3d频闪图像的2d图像)。

另一方面，当在步骤s17中确定要执行效果处理时，处理进行至步骤s18。

在步骤s18中，效果处理单元14对在来自频闪图像生成单元13的频闪图像中示出的多个时间(生成帧)处的3d模型之中的、参考在设置最新虚拟视点时的参考3d模型在过去和未来中的一者或两者中的3d模型执行效果处理。然后，效果处理单元14将已经历效果处理(示出3d模型)的频闪图像提供给自由视点图像生成单元15，并且该处理从步骤s18进行至步骤s19。

在这种情况下，在步骤s19中，自由视点图像生成单元15生成2d图像作为自由视点图像，其中从虚拟视点观看来自效果处理单元14的效果处理之后的频闪图像。然后，自由视点图像生成单元15将自由视点图像提供给显示单元16，并且处理从步骤s19进行至步骤s20。

在步骤s20中，显示单元16显示来自自由视点图像生成单元15的自由视点图像。在这种情况下，显示单元16显示在其中示出从虚拟视点观看的多个生成帧中的被摄体的3d模型并且3d模型中的一些已经历效果处理的2d图像(从虚拟视点观看已经历效果处理的3d频闪图像的2d图像)。

如上所述，对3d模型执行效果处理使得可以提供容易观看的图像。特别地，例如，对在频闪图像中示出的多个时间上的同一被摄体的3d模型中的一些或全部执行效果处理使得可以提供容易观看的频闪图像。注意，此处，为了易于理解描述，生成(3d)频闪图像，并且然后对在频闪图像中示出的3d模型执行效果处理。然而，频闪图像的生成和对频闪图像中示出的3d模型的效果处理的执行可以并行地执行或适当地以改变的顺序执行。例如，在图像处理系统中，在对3d模型进行的效果处理之后，可以生成示出已经历效果处理的3d模型的频闪图像。

<频闪图像的生成>

图3是示出不自然的自由视点图像的示例的图。

图3示出了根据(3d)频闪图像生成的自由视点图像的示例，该(3d)频闪图像是使用视点图像的帧之中的五个帧作为生成帧来生成的，该视点图像的帧示出了作为被摄体的球从近侧滚动至远侧。

在图3中，布置(呈现)在五个生成帧中示出的球的3d模型，以优先考虑后面的3d模型。因此，后面的(球形)3d模型被布置成隐藏较早的3d模型，尽管较早的3d模型位于近侧。因此，图3所示的自由视点图像是不自然的图像。

图4是示出自然的自由视点图像的示例的图。

图4示出了根据(3d)频闪图像生成的自由视点图像的示例，该(3d)频闪图像是使用视点图像的帧之中的五个帧作为生成帧来生成的，该视点图像的帧示出了作为被摄体的球从近侧滚动至远侧。

在图4中，布置在五个生成帧中示出的球的3d模型，以优先考虑在近侧的3d模型。因此，在近侧的3d模型被布置成隐藏在远侧的3d模型，换句话说，在近侧的3d模型被优先地显示。因此，自由视点图像是自然图像。

频闪图像生成单元13使用深度来生成频闪图像，其中，在自由视点图像中如上所述优先地示出了在近侧的3d模型。

图5是示出通过在频闪区间中选择针对每个预定数量的帧的生成帧而生成的频闪图像的示例的图。

图5示出了使用视点图像的帧之中的八个帧作为生成帧而生成的频闪图像的示例，该视点图像的帧示出了作为被摄体的球从近侧滚动至远侧。

在频闪区间中选择针对每个预定数量的帧的生成帧并使用生成帧生成频闪图像的情况下，当被摄体的移动速度改变时，频闪图像中所示的被摄体的3d模型之间的距离改变。例如，如图5所示，当被摄体的移动速度从一定速度减小时，3d模型之间的距离变窄，并且3d模型之间的交叠程度变大，这可能使频闪图像变得难以观看。

如以上参照图2所述，从频闪区间的帧之中选择3d模型之间的干扰程度等于或小于阈值的帧使得被摄体的3d模型之间的距离随着被摄体的移动速度的改变而变窄，从而抑制了频闪图像变得难以观看。

注意，例如，可以根据用户的操作来设置是在频闪区间中的帧之中选择3d模型之间的干扰程度的帧作为生成帧，还是选择针对每个预定数量的帧的帧作为生成帧。

<视点图像>

图6是示意性地示出由图像捕获单元11获得的来自多个视点的视点图像的示例的视图。

参照图6，图像捕获单元11包括被布置成围绕作为被摄体的人的六个摄像装置。摄像装置可以被布置在被摄体周围或天花板上。六个摄像装置同步地拍摄被摄体，并且每个摄像装置从作为视点vp#i的摄像装置的位置输出作为拍摄结果获得的2d图像作为视点图像。视点vp#i是构成图像捕获单元11的六个摄像装置之中的第i个摄像装置的位置。

图6示出了从六个摄像装置输出的来自六个视点vp1至vp6的视点图像的八个帧(时间)。

除了如上所述的来自六个视点vp1至vp6的视点图像(帧)之外，例如，自由视点数据生成单元12还使用来自六个视点vp1至vp6的深度图像以及构成图像捕获单元11的六个摄像装置的摄像机参数来生成视点图像中示出的被摄体的3d模型。

换句话说，例如，自由视点数据生成单元12使用来自视点vp#i的视点图像的前景与背景的差异，获得来自视点vp#i的视点图像中示出的被摄体的轮廓图像。然后，自由视点数据生成单元12使用来自视点vp#i的轮廓图像、来自视点vp#i的视点图像和深度图像以及摄像装置参数，通过visualhull等执行对视点图像中示出的被摄体的建模，以生成被摄体的3d模型。

此处，构成图像捕获单元11的六个摄像装置的摄像装置参数包括诸如摄像装置的焦距、摄像装置之间的位置关系、摄像装置的姿势以及摄像装置中包括的透镜的畸变的信息。

此外，可以通过取得来自视点vp#i的视点图像的背景与来自视点vp#i的视点图像之间的差异，来确定用于获得轮廓图像的前景与背景的差异。来自视点vp#i的视点图像的背景可以通过在不存在被摄体的情况下拍摄三维空间来生成，或者通过使用根据与被摄体的位置不同的视点vp#i的视点图像的多个帧来生成。

<被摄体的运动的确定>

图7和图8是描述用于通过频闪图像生成单元13确定被摄体的运动的第一确定方法的图。

图7示出了通过第一确定方法确定被摄体正在移动的情况。图8示出了通过第一确定方法确定被摄体没有移动的情况。

参照图7和图8，作为被摄体的滑冰者在滑冰场中滑行。

当除了多个摄像装置之外还具有诸如飞行时间(tof)传感器或光检测和测距(lidar)传感器的有源传感器作为距离测量装置时，图像捕获单元11可以根据由有源传感器测量的到被摄体的距离d#j来确定被摄体的移动。距离d#j表示由多个有源传感器之中的第j个有源传感器测量的到被摄体的距离。

参照图7和图8，在滑冰场周围设置有四个有源传感器。在确定被摄体的移动时，频闪图像生成单元13将由四个有源传感器在时间(帧)t处测量的距离d1、d2、d3和d4与在不同于时间t的时间(例如，时间t之后的时间t')处测量的距离d1、d2、d3和d4进行比较。

然后，如图7所示，当距离d1至d4中的一个或更多个在时间t与时间t'之间相差预定阈值或更大时，频闪图像生成单元13确定存在被摄体的移动。

另一方面，如图8中所示，当距离d1至d4在时间t与时间t'之间并未相差预定阈值或更大时，频闪图像生成单元13确定不存在被摄体的移动。

此处，尽管参照图7和图8设置了四个有源传感器，但还可以设置四个或更多个有源传感器，或者可以设置一个有源传感器。

图9是描述用于通过频闪图像生成单元13确定被摄体的运动的第二确定方法的图。

第二确定方法是用于在不存在有源传感器的情况下通过图像捕获单元11确定被摄体的移动的方法之一。

在第二确定方法中，频闪图像生成单元13以留下几帧的方式减少例如由构成图像捕获单元11的任何摄像装置捕获的视点图像的诸如频闪区间的预定区间中的帧数目。此外，频闪图像生成单元13将在帧减少之后剩余的几帧设置为用于确定被摄体的移动的确定帧，并且生成确定帧的轮廓图像。参照图9，以五个帧作为确定帧来生成轮廓图像。

频闪图像生成单元13检测多个确定帧中的两个任意帧的轮廓图像之间的交叠。然后，例如，当两个确定帧的任何一个或更多个组合中的轮廓图像之间不存在交叠时，频闪图像生成单元13确定存在被摄体的运动。

另一方面，例如，当在两个确定帧的所有组合中的轮廓图像之间存在交叠时，频闪图像生成单元13确定不存在被摄体的移动。

图9a示出了在多个确定帧之中的任何两个帧的所有组合中的轮廓图像之间不存在交叠的情况。图9b示出了在多个确定帧之中的任何两个帧的所有组合中的轮廓图像之间存在交叠的情况。

如图9a所示，当在轮廓图像之间不存在交叠时，确定存在被摄体的移动，并且如图9b所示，当在轮廓图像之间存在交叠时，确定不存在被摄体的移动。

图10是描述由频闪图像生成单元13确定被摄体的运动的第三确定方法的图。

第三确定方法是用于在没有有源传感器的情况下通过图像捕获单元11确定被摄体的移动的另一种方法。

假设通过由图像捕获单元11(的摄像装置)进行的透视投影来捕获视点图像，在视点图像中，以较小的尺寸示出了在远侧的被摄体，并且以较大的尺寸示出了在近侧的被摄体。因此，例如，如图10所示，当被摄体从近侧向远侧移动时，随着被摄体向远侧移动，被摄体的轮廓图像在尺寸上变小。

在第三确定方法中，频闪图像生成单元13检测在多个确定帧中示出的被摄体的轮廓图像的尺寸。然后，例如，当在两个确定帧的任何一个或更多个组合中轮廓图像的尺寸的改变等于或大于阈值时，频闪图像生成单元13确定存在被摄体的移动。

另一方面，例如，当在两个确定帧的所有组合中轮廓图像的尺寸的改变不是等于或大于阈值时，频闪图像生成单元13确定不存在被摄体的移动。

注意，根据第一确定方法至第三确定方法，可以在生成被摄体的3d模型之前确定被摄体的移动。在其他方面，例如，可以在生成深度图像之后或者在生成诸如点云或多边形的3d模型之后，使用深度图像或关于3d模型在三维空间中的位置的位置信息来进行关于被摄体的移动的确定。

此外，当被摄体是人时，从视点图像中检测要用于面部检测的人的面部中的特征点，并且可以根据特征点的跨诸如频闪区间的预定区间中的帧的位置来确定被摄体的移动。

此外，检测被摄体的运动矢量，并且可以根据运动矢量来确定被摄体的移动。

此外，使用由图像捕获单元11捕获的来自多个视点的视点图像之中的来自一些视点的视点图像，例如，由30个摄像装置捕获的来自30个视点的视点图像之中的由四个摄像装置捕获的来自四个视点的视点图像被用于生成在视点图像中示出的被摄体的简单3d模型，并且3d模型(的位置)可以用于确定被摄体的移动。

此外，在图像处理系统中，当设置围绕视点图像中示出的一个或更多个被摄体的条带框(bandingbox)时，可以根据条带框的跨诸如频闪区间的预定区间的帧的位置来确定被摄体的移动。

<生成帧的选择>

图11是描述由频闪图像生成单元13对生成帧的选择的示例的图。

如以上参照图2所述，为了抑制频闪图像(根据其生成的自由视点图像)由于3d模型之间的交叠而变得难以观看，频闪图像生成单元13选择3d模型之间的干扰程度等于或小于阈值的帧，作为来自频闪区间的帧的生成帧，并且可以生成示出生成帧的3d模型的频闪图像。

图11a示出了具有为0％阈值的在滑冰场中滑行的滑冰者的频闪图像。参照图11a，由于阈值为0％，因此在各个时间(生成帧)处的被摄体的3d模型在频闪图像中不交叠。

图11b示出了具有大于0％的小值(例如，大约10％)的阈值的在滑冰场上滑行的滑冰者的频闪图像。在图11b中，由于阈值是大于0％的值，因此在频闪图像中，单独时间处的被摄体的一些3d模型与相邻的3d模型稍微交叠。

此处，图1所示的图像处理系统可以应用于从发送侧向接收侧发送自由视点数据并且在接收侧生成并显示频闪图像的传输系统。在这种情况下，可以从发送侧向接收侧发送表示干扰(频闪图像中的3d模型之间的交叠)的干扰标志。然后，在接收侧，根据干扰标志，可以生成示出干扰(交叠)的3d模型的频闪图像或示出没有干扰的3d模型的频闪图像。作为干扰标志，例如，可以采用表示存在或不存在干扰或干扰程度的阈值的1位标志。

注意，即使当(确定)不存在被摄体的移动时，图像处理系统也可以根据用户的操作来生成频闪图像。当不存在被摄体的移动时，在频闪区间的帧中示出的被摄体的3d模型之间的干扰程度可能在任何帧处都增加，并且可能不会低于阈值。因此，为了在不存在被摄体的移动时生成频闪图像，可以从频闪区间的帧中选择针对每个预定数量的帧的(多个)生成帧。

然而，在这种情况下，由于3d模型在很大程度上交叠，因此难以看到简单地布置有多个生成帧中示出的被摄体的3d模型的频闪图像。

因此，为了在不存在被摄体的移动时生成频闪图像，频闪图像生成单元13不将被摄体(多个时间上的被摄体)的3d模型布置在原始位置(被摄体在三维空间中的位置)处，但可以布置从原始位置偏移的3d模型，使得干扰程度变得等于或小于阈值。

图12是示出通过将多个生成帧中示出的被摄体的3d模型从原始位置偏移而生成的频闪图像的示例的图。

图12示出了作为被摄体的滑冰者在滑冰场的中心旋转，并且作为被摄体的滑冰者的位置几乎不变。

在这种情况下，频闪图像生成单元13可以通过以下操作来生成频闪图像：偏移从原始位置偏移的多个生成帧中示出的被摄体的3d模型(多个时间上的3d模型)，使得3d模型之间的干扰程度变得等于或小于阈值。

参照图12，生成了其中多个生成帧中示出的被摄体的3d模型按(生成帧的)时间顺序被布置成圆形形状的频闪图像以及3d模型被布置成线性形状的频闪图像。

如上所述，在频闪图像的生成中，将多个生成帧中示出的被摄体的3d模型从原始位置偏移使得3d模型之间的干扰程度变得等于或小于阈值，使得可以在3d模型很大程度上交叠的情况下，抑制频闪图像变得难以观看。

<用于效果处理的3d模型>

图13是描述要经受由效果处理单元14进行的效果处理的频闪图像中的3d模型的图。

效果处理单元14对在多个时间上从频闪区间的帧中选择的多个帧中的3d模型之中的、参考在设置最新虚拟视点时的参考3d模型在过去和未来中的一者或两者中的3d模型执行效果处理。

通过表示相对于参考3d模型的时间方向(过去方向和未来方向)的效果方向和表示与参考3d模型的分开程度的效果距离来指定要经受效果处理的作为3d模型的目标模型。

可以将过去方向“past(过去)”、未来方向“future(未来)”或过去方向“past(过去)”和未来方向“future(未来)”两者设置为效果方向。

当将过去方向“past(过去)”设置为效果方向时，对从参考3d模型起的过去方向上的3d模型执行效果处理。当将未来方向“future(未来)”设置为效果方向时，对从参考3d模型起的未来方向上的3d模型执行效果处理。当将过去方向“past(过去)”和未来方向“future(未来)”两者设置为效果方向时，对从参考3d模型起的过去方向上的3d模型和未来方向上的3d模型执行效果处理。

可以通过从参考3d模型起的3d模型的数量“number(数量)”、距离“distance(距离)”或时间“time(时间)”来指定效果距离。

根据模型的数量“number(数量)”，在频闪图像中示出的3d模型之中，换句话说，在用于生成频闪图像的生成帧中示出的3d模型之中，可以将与参考3d模型分开模型数量“number(数量)”或更多的3d模型指定为目标模型。

根据距离“distance(距离)”，在频闪图像中示出的3d模型之中，可以将与参考3d模型分开距离“distance(距离)”或更大距离的3d模型指定为目标模型。

根据时间“time(时间)”，在频闪图像中示出的3d模型之中，可以将与参考3d模型分开时间“time(时间)”或更长时间的3d模型指定为目标模型。

效果处理单元14对以下3d模型执行效果处理，该3d模型在频闪图像中在过去方向或未来方向上或在过去方向和未来方向两者上与参考3d模型分开模型数量“number(数量)”、距离“distance(距离)”或时间“time(时间)”或更多。

在下文中，为了简化描述，除非另有说明，否则假设对在过去方向上与参考3d模型分开的3d模型执行效果处理。

此处，在频闪区间长并且大量帧被选择作为生成帧时，使用大量的3d模型来生成频闪图像。

使用大量3d模型生成的频闪图像可能难以观看。

例如，在使用大量3d模型生成的频闪图像中，在频闪图像中示出的预定被摄体的3d模型之中，参考3d模型之前特定时间或更长时间的3d模型可能成为对随后(未来)的3d模型和其他被摄体的3d模型的障碍(针对观看)。

此外，在使用许多3d模型生成的频闪图像中，在被摄体沿相似的轨迹移动的情况下，例如，在被摄体在横棒上执行巨大摆动(向后摆动或向前摆动)的情况下，时间上在前(过去)的3d模型和时间上在后的3d模型具有相似的轨迹，这可能会使时间过程难以理解。

此外，在使用大量3d模型生成的频闪图像中，3d模型的数据量变大，并且显示频闪图像(根据其生成的自由视点图像)所需要的处理量变大。

效果处理单元14对频闪图像中示出的3d模型执行效果处理以使频闪图像易于观看，并且减少频闪图像的数据量和显示频闪图像所需的处理量。

<效果处理的特定示例>

图14是描述效果处理的特定示例的图。

参照图14，存在由效果模式0、1、2、3、4、5、6、7、8、9和10表示的效果处理。在效果模式1至10中，可以设置以上参照图13所描述的效果方向和效果距离。

注意，例如，当未设置效果方向时，在默认地将过去方向“past(过去)”设置为效果方向的假设下，执行效果处理。

如以上参照图13所述，通过从参考3d模型起的3d模型的数量“number(数量)”、距离“distance(距离)”或时间“time(时间)”来指定效果距离。例如，当效果方向被设置为过去方向“past(过去)”并且效果距离被设置为模型数量“number(数量)”＝1，对在过去方向上与参考3d模型分开模型数量“number(数量)”＝1或更大的目标3d模型执行以效果模式表示的效果处理。

效果模式0表示不执行效果处理。

效果模式1表示使3d模型透明化的效果处理。在效果模式1下的效果处理中，目标模型可以全部以相同的透明度透明化，或者可以逐渐透明化，即，在时间或距离上与参考3d模型分开得越多的3d模型(目标模型)可以以越高的透明度透明化。例如，可以通过与效果模式1相关联地限定的参数来指定如何使3d模型透明化。注意，目标模型在100％的透明度下是完全透明的。在这种情况下，效果模式1下的效果处理的结果与稍后描述的效果模式4基本相似。

效果模式2表示使3d模型逐渐消失的效果处理。

效果模式3表示减少3d模型的纹理数量(用作纹理的2d图像的数量)的效果处理。在效果模式3下的效果处理中，目标模型的纹理数量可以全部减少到相同数量，或者可以逐渐减少，即，在时间或距离上与参考3d模型分开得越多的3d模型可能在纹理数量上减少得越多。例如，可以通过与效果模式3相关联地限定的参数来指定如何减少3d模型的纹理数量。

对要经受纹理映射的3d模型(换句话说，vd模型)执行效果模式3下的效果处理，并且不对不经受纹理映射的vi模型执行效果模式3下的效果处理。

效果模式4表示擦除3d模型的效果处理。

效果模式5表示减小3d模型的亮度和饱和度中的至少一个的效果处理。在效果模式5下的效果处理中，目标模型的亮度和饱和度可以全部以相同的比率降低，或者可以逐渐降低，即，在时间或距离上与参考3d模型分开得越多的3d模型可能在亮度和饱和度上以越高的比率降低。例如，可以通过与效果模式5相关联地限定的参数来指定如何降低3d模型的亮度和饱和度以及要降低的亮度和饱和度中的哪一个。

效果模式6表示限制频闪图像中示出的3d模型的数量的效果处理。在效果模式6下的效果处理中，要在频闪图像中示出的3d模型仅限于生成帧中的3d模型之中的除了目标模型之外的3d模型。

效果模式7表示将3d模型转变成低多边形的效果处理，即，减少3d模型的网格数量(多边形数量)的效果处理。在效果模式7下的效果处理中，目标模型的网格数量可以全部减少到同一数量，或者可以逐渐地减少，即，在时间或距离上与参考3d模型分开得越多的3d模型可能在网格数量上减少得越多。例如，可以通过与效果模式7相关联地限定的参数来指定如何减少3d模型的网格数量。

注意，例如，对由多边形形成的3d模型执行效果模式7下的效果处理，而不对不是由多边形(即，由线框)形成的3d模型执行效果模式7下的效果处理。

效果模式8和9表示改变3d模型的表达形式的效果处理。

换句话说，效果模式8表示将由多边形形成的3d模型改变成线框的效果处理。

效果模式9表示将3d模型的表达形式从视图相关改变成视图独立的效果处理，即，将vd模型改变成vi模型(例如，点云)的效果处理。

效果模式10表示擦除3d模型同时留下3d模型的迹线的效果处理。

尽管可以为效果模式1至10设置效果方向和效果距离，但是也可以根据需要限定默认的效果方向和效果距离。

例如，可以将过去方向“past(过去)”限定为效果模式1至10中的默认效果方向。

此外，例如，可以将模型数量“number(数量)”＝1限定为效果模式1下的默认效果距离。

在这种情况下，当未设置效果模式1下的效果方向和效果距离时，对在过去方向上与参考3d模型分开一个或更多个模型的3d模型，换句话说，对在过去方向上紧挨着参考3d模型的3d模型之前的3d模型，执行效果模式1下的效果处理。

此外，例如，可以将距离“distance(距离)”＝5[m]限定为效果模式4下的默认效果距离。

在这种情况下，当未设置效果模式4下的效果方向和效果距离时，对在过去方向上与参考3d模型分开5m或更远的3d模型执行效果模式4下的效果处理。

此外，例如，可以将时间“time(时间)”＝10[秒]限定为效果模式5下的默认效果距离。

在这种情况下，当未设置效果模式5下的效果方向和效果距离时，对在过去方向上与参考3d模型分开10秒或更长时间的3d模型执行效果模式5下的效果处理。

此外，例如，可以将模型数量“number(数量)”＝3限定为效果模式7下的默认效果距离。

在这种情况下，当未设置效果模式7下的效果方向和效果距离时，对在过去的方向上与参考3d模型分开三个或更多个模型的3d模型，换句话说，对在过去方向上从参考3d模型起的第三个3d模型之前的3d模型，执行效果模式7下的效果处理。

注意，可以为由效果处理单元14执行的效果处理设置多个效果模式。例如，当为效果处理设置效果模式1和3时，执行用于使3d模型透明化并且减小纹理数量的效果处理。

此处，图1所示的图像处理系统可以应用于从发送侧向接收侧发送自由视点数据并且在接收侧生成并显示频闪图像的传输系统。在这种情况下，可以将效果模式以及必要的效果方向和效果距离作为与效果处理有关的效果标志(效果信息)从发送侧发送至接收侧。然后，在接收侧，可以根据作为效果标志的效果模式、效果方向和效果距离来执行效果处理。

图15是示出效果模式1下的效果处理的示例的图。

图15示出了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图15，频闪图像示出了五个生成帧中的3d模型，并且最新时间的3d模型(最新的生成帧中的3d模型)是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式1下的效果处理，使得参考3d模型之前的3d模型逐渐透明化。

因此，根据已经历效果模式1下的效果处理的频闪图像，用户可以直观地识别时间的流逝。此外，可以减少频闪图像的数据量。此外，可以抑制时间上在前(过去)的3d模型成为时间上在后(未来)的3d模型的障碍(阻碍)，并且提供容易观看的频闪图像。

图16是图示示出两个被摄体的3d模型的频闪图像的示例的图。

参照图16，频闪图像中示出多个时间(生成帧)处的两个被摄体a和被摄体b的3d模型。然后，如图15的情况一样，对被摄体a的3d模型执行效果模式1下的效果处理，使得参考3d模型之前的3d模型逐渐透明化。

参照图16，被摄体b移动以与被摄体a的移动轨迹相交。因此，被摄体b的3d模型可以与被摄体a的参考3d模型之前的3d模型交叠。

然而，由于被摄体a的参考3d模型之前的3d模型逐渐透明化，所以即使被摄体b的3d模型与被摄体a的参考3d模型之前的3d模型交叠，也可以抑制之前的3d模型对被摄体b的3d模型的干扰。

注意，参照图16，对被摄体a的3d模型执行效果处理，而不是对被摄体b的3d模型执行效果处理，但是可以对被摄体a的3d模型和被摄体b的3d模型两者执行效果处理。

图17是图示效果模式1下的效果处理的另一示例的图。

图17图示了示出以圆形移动的被摄体的3d模型的频闪图像的示例。参照图17，对频闪图像中示出的3d模型执行效果模式1下的效果处理，使得参考3d模型之前的3d模型逐渐透明化。

此处，在被摄体围绕同一轨迹绕圈的情况下，例如，在示出被摄体的3d模型的频闪图像中，可以同时示出第一轮的3d模型和第二轮的3d模型。当不执行效果处理时，难以在频闪图像中区分第一轮的3d模型与第二轮的3d模型，从而使得频闪图像难以观看。

当执行效果模式1下的效果处理时，例如，如果最新时间处的3d模型是参考3d模型，则频闪图像中示出的3d模型随着与参考3d模型的接近程度的降低而变得更透明。因此，可以提供易于观看的频闪图像，使得用户能够容易地区分第一轮的3d模型与第二轮的3d模型。

此外，根据效果模式1下的效果处理，在示出沿着同一轨迹环绕的被摄体的3d模型的频闪图像中，被摄体的(3d模型)被表示成，使得最新一轮的3d模型进入(插入)前一轮的3d模型。因此，可以提供自由观看视频(fvv)，使得用户能够容易地比较最新一轮的被摄体与前一轮的被摄体。

注意，在被摄体环绕同一轨迹的情况下，例如，作为被摄体的运动员在跑道上奔跑，或者作为被摄体的汽车或摩托车在环道上比赛，作为被摄体的体操运动员在单杠上摇摆。

此处，可以在任意位置处设置虚拟视点。虚拟视点可以被设置在俯视被摄体的位置处或被摄体的位置处。当虚拟视点被设置为俯视被摄体的位置时，用户可以从第三方的角度观看被摄体(的3d模型)。当虚拟视点被设置为被摄体的位置(第一人称视点)时，用户可以从被摄体的视点观看过去已经通过效果处理透明化的被摄体(的3d模型)，好像他或她跟随被摄体一样。

图18是图示效果模式2下的效果处理的示例的图。

图18图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图18，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式2下的效果处理，使得参考3d模型之前的3d模型逐渐(并且平缓地)消失。

因此，根据经历了效果模式2下的效果处理的频闪图像，用户可以直观地识别时间的流逝。此外，可以减少频闪图像的数据量。此外，可以抑制时间上在前的3d模型成为时间上在后的3d模型的障碍，并且提供易于观看的频闪图像。

注意，例如，当3d模型由多边形形成时，可以通过使与参考3d模型相隔越远的3d模型中的多边形的数目越多地减少来执行使3d模型逐渐消失的效果模式2下的效果处理。此外，例如，可以通过以下操作执行使3d模型逐渐消失的效果模式2下的效果处理：使与参考3d模型相隔越远的3d模型中的多边形的数目越多地减少，并且在多边形数目已经从多边形的原始数目以预定比例减少的3d模型中，使与参考3d模型相隔越远的3d模型中的点的数目(点云中的点的数目)被越多地减少。此外，例如，可以通过将3d模型变为点云并且使与参考3d模型相隔越远的3d模型中的点的数目被越多地减少来执行使3d模型逐渐消失的效果模式2下的效果处理。

当3d模型由点云形成时，可以通过使与参考3d模型相隔越远的3d模型中的点的数目被越多地减少来执行使3d模型逐渐消失的效果模式2下的效果处理。

根据如上所述的效果模式2下的效果处理，将与参考3d模型相隔的每个3d模型表示为像雾的稀疏粒子的集合。

图19是图示效果模式3下的效果处理的示例的图。

图19图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图19，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式3下的效果处理，使得参考3d模型之前的3d模型的纹理数目逐渐减少。

因此，根据已经历了效果模式3下的效果处理的频闪图像，虽然3d模型的纹理质量退化，但是可以减少频闪图像的数据量和显示频闪图像所需的处理量。

注意，例如，当在效果模式3下的效果处理中，与参考3d模型相隔越远的3d模型的纹理数目被减少地越多时，纹理数目减少的比率可以取通过将100％除以频闪图像中显示出的3d模型的数目而获得的值。在这种情况下，对于示出五个生成帧处的3d模型的频闪图像，纹理数目的减少率是20％＝100/5。因此，在频闪图像中示出的参考3d模型经历通过来自10个视点的视点图像进行的纹理映射的情况下，例如，参考3d模型的过去方向上的第一3d模型经历纹理映射，其中来自八个视点的视点图像比参考3d模型的纹理映射的10个视点减少20％。在参考3d模型的过去方向上的第二3d模型经历纹理映射，其中来自六个视点的视点图像比过去方向上的第一3d模型的纹理映射的八个视点减少20％。在下文中，类似地，在参考3d模型的过去方向上的第三3d模型经历纹理映射，其中的来自四个视点的视点图像比过去方向上的第二3d模型的纹理映射的六个视点减少20％，并且在参考3d模型的过去方向上的第四3d模型经历纹理映射，其中来自两个视点的视点图像比过去方向上的第三3d模型的纹理映射的四个视点减少20％。

图20是图示效果模式4下的效果处理的示例的图。

图20图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图20，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，例如，对频闪图像中示出的3d模型执行效果模式4下的效果处理，使得参考3d模型之前的3d模型中的从参考3d模型起的第四3d模型作为目标模型被显示一次并且然后经过特定时间之后被擦除。

因此，根据经历了效果模式4下的效果处理的频闪图像，可以减少频闪图像的数据量和显示频闪图像所需的处理量。

注意，在效果模式4下的效果处理中，例如，从目标模型的显示到擦除的特定时间可以通过与效果模式4相关联地定义的参数来指定。

此外，在效果模式4的效果处理中，代替在经过特定时间之后擦除目标模型，可以在频闪图像中显示出的3d模型的数目达到特定数目时擦除目标模型。例如，如在上述特定时间的情况下，可以由与效果模式4相关联的参数来指定用于擦除目标模型的3d模型的特定数目。

图21是图示效果模式5下的效果处理的示例的图。

图21图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图21，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，对频闪图像中示出的5d模型执行效果模式5下的效果处理，使得参考3d模型之前的3d模型的亮度和饱和度逐渐降低。

因此，根据经历了效果模式5下的效果处理的频闪图像，可以减少频闪图像的数据量和显示频闪图像所需的处理量。

注意，在效果模式5下的效果处理中与参考3d模型相隔越远的3d模型的亮度和饱和度降低地得越多的情况下，例如，亮度和饱和度的降低率可以与效果模式3中的情况下的比率相同。话句话说，例如，亮度和饱和度的降低率可以取通过将100％除以频闪图像中示出的3d模型的数目而获得的值。在这种情况下，示出五个生成帧处的3d模型的频闪图像的亮度和饱和度的降低率是20％＝100/5。在参考3d模型之前的3d模型中，与参考3d模型每相距一个模型距离，亮度和饱和度降低20％。

此外，代替与参考3d模型每相距一个模型距离的3d模型的亮度和饱和度越降低的情况，可以通过距参考3d模型特定时间的距离降低3d模型的亮度和饱和度。

图22是图示效果模式6下的效果处理的示例的图。

图22图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图22，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型刚好之前的3d模型是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式6下的效果处理，使得频闪图像中示出的3d模型限于包括参考3d模型的三个模型，换句话说，参考3d模型和在参考3d模型的过去方向上彼此相邻的两个3d模型。

因此，根据经历了效果模式6下的效果处理的频闪图像，可以减少频闪图像的数据量。此外，例如，可以抑制时间上在前的3d模型成为时间上在后的3d模型的障碍，并且提供易于观看的频闪图像。

图23是图示效果模式7至效果模式9下的效果处理的示例的图。

图23图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图23，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式7至效果模式9中的任何一种的效果处理。

换句话说，图23a图示了对频闪图像中示出的3d模型执行效果模式7下的效果处理，使得由多边形形成的3d模型之一的网格数目(多边形的数目)减少的状态。

图23b图示了对频闪图像中示出的3d模型执行效果模式8下的效果处理使得将由多边形形成的3d模型之一改变成线框的状态。

注意，在效果模式9的效果处理中，将作为频闪图像示出的vd模型的3d模型改变成诸如点云的vi模型，但是省略其图示。

根据经历了效果模式7至效果模式9下的效果处理的频闪图像，可以减少频闪图像的数据量。此外，例如，可以抑制时间上在前的3d模型成为时间上在后的3d模型的障碍，并且提供易于观看的频闪图像。

注意，当需要进一步减少数据量时，例如，在效果模式9下的效果处理中，在将3d模型改变成点云之后，尽管形状的质量降低，但是可以减少点云中的点的数目并且可以减少关于点的颜色的信息。这同样适用于点云以外的vi模型。

图24是图示效果模式10下的效果处理的示例的图。

图24图示了示出以直线移动的被摄体的3d模型的频闪图像的示例。参照图24，频闪图像示出了五个生成帧的3d模型，并且最新时间的3d模型是参考3d模型。然后，对频闪图像中示出的3d模型执行效果模式10下的效果处理，使得参考3d模型之前的3d模型中的从参考3d模型起的第三3d模型和第四3d模型被擦除，而这些3d模型的阴影保留为迹线。

因此，根据经历了效果模式10下的效果处理的频闪图像，用户可以直观地识别时间的流逝。此外，可以减少频闪图像的数据量。此外，可以抑制时间上在前的(过去的)3d模型成为时间上在后的(未来的)3d模型的障碍(阻碍)，并且提供易于观看的频闪图像。

注意，例如，可以采用表示3d模型所处的位置的点、表示3d模型的移动轨迹的线等来代替阴影作为3d模型的迹线。

此外，在效果模式10下的效果处理中，可以通过存储3d模型的在三维空间中的位置并根据该位置绘制阴影等来留下3d模型的迹线。

<传输系统>

图25是图示应用了图1所示的图像处理系统的传输系统的配置示例的框图。

参照图25，传输系统包括发送装置101和接收装置102。在传输系统中，将自由视点数据从发送装置101发送至接收装置102。然后，在接收装置102中，使用来自发送装置101的自由视点数据生成频闪图像并且显示该频闪图像。

发送装置101包括图像捕获单元111、自由视点数据生成单元112、图像处理单元113、编码单元114和发送单元115。

图像捕获单元111以与图1所示的图像捕获单元11相同的方式被配置，从多个视点拍摄被摄体，并且将来自多个视点的视点图像提供给自由视点数据生成单元112。

例如，与图1所示的自由视点数据生成单元12一样，自由视点数据生成单元112使用来自图像捕获单元111的多个视点的视点图像来生成自由视点数据，并且将自由视点数据提供给图像处理单元113。

图像处理单元113包括频闪图像生成单元121和效果处理单元122。图像处理单元113使用来自自由视点数据生成单元112的自由视点数据，以根据需要生成在由图像捕获单元111捕获的视点图像中示出多个时间(帧)上的被摄体的3d模型的频闪图像(3d频闪图像)，并且对频闪图像执行效果处理。

与图1中所示的频闪图像生成单元13一样，频闪图像生成单元121使用来自自由视点数据生成单元12的自由视点数据来生成示出多个时间上的3d模型的频闪图像，并且将频闪图像的自由视点数据提供给效果处理单元122。

与图1中所示的效果处理单元14一样，效果处理单元122对从闪频图像生成单元121提供自由视点数据的频闪图像中看到的3d模型执行效果处理，并且将经历了效果处理的频闪图像的自由视点数据提供给编码单元114。

注意，例如，图像处理单元113可以根据用户的操作等，将来自频闪图像生成单元121的自由视点数据提供给编码单元114，而无需效果处理单元122进行效果处理。此外，例如，图像处理单元113可以根据用户的操作等，将来自自由视点数据生成单元112的自由视点数据提供给编码单元114，而无需在频闪图像生成单元121处生成频闪图像并且不需要由效果处理单元122进行效果处理。此外，图像处理单元113可以并行执行频闪图像的生成和效果处理，即，可以在已经根据自由视点数据对3d模型执行了效果处理的效果处理之后生成(3d)频闪图像。

编码单元114根据预定的编码方法对从图像处理单元113(的效果处理单元122)提供的自由视点数据进行编码，并且将通过编码获得的编码数据提供给发送单元115。

发送单元115将来自编码单元114的编码数据通过有线通信或无线通信进行发送。

接收装置102包括接收单元131、解码单元132、自由视点图像生成单元133和显示单元134。

接收单元131接收从发送装置101(的发送单元115)发送的编码数据，并且将编码数据提供给解码单元132。

解码单元132根据编码单元114的编码方法将来自接收单元131的编码数据解码为自由视点数据，并且将自由视点数据提供给自由视点图像生成单元133。

与图1所示的自由视点图像生成单元15一样，例如，自由视点图像生成单元133使用来自解码单元132的自由视点数据来生成2d图像，在该2d图像中，由图像捕获单元111捕获的三维空间是从虚拟视点观看的，例如在该2d图像中，经历了效果处理的3d模型的频闪图像中示出的三维空间是从根据用户在接收装置102上的操作设置的虚拟视点观看的，并且例如，将该2d图像作为自由视点图像提供给显示单元134。

与图1中所示的显示单元16一样，例如，显示单元134包括2d头戴式显示器、2d监视器、3d头戴式显示器、3d监视器等，并且显示来自自由视点图像生成单元133的自由视点图像。

图26是由图25所示的发送装置101进行的处理的示例的流程图。

在步骤s111中，发送装置101的图像捕获单元111从多个视点拍摄被摄体，将通过拍摄获得的来自多个视点的视点图像提供给自由视点数据生成单元112，并且处理进行至s112。

在步骤s112中，例如，自由视点数据生成单元112使用来自图像捕获单元111的多个视点的视点图像来生成自由视点数据。

例如，自由视点数据生成单元112使用来自图像捕获单元111的多个视点的视点图像，通过visualhull等来生成在视点图像中示出的被摄体的3d模型，从而使得可以生成3d模型(包括3d模型和背景图像的3d数据)作为自由视点图像数据。例如，3d模型可以是具有3d形状模型和要作为纹理(例如，有色点云)的来自多个视点的视点图像的vd模型，或者vi模型，例如具有作为3d形状模型的颜色信息的uv图的3d形状模型的集合。

此外，例如，自由视点数据生成单元112将使用来自多个视点的视点图像生成的视点图像中示出的被摄体的3d模型转换为从多个视点(可以与视点图像的视点相同或不同)观看的2d图像和深度图像，从而使得可以从多个视点生成2d图像和深度图像作为自由视点数据。注意，例如，在对自由视点数据进行编码之前，可以由自由视点数据生成单元112或由编码单元114执行将来自多个视点的3d模型转换为2d图像和深度图像的处理。

自由视点数据生成单元112将自由视点数据提供给图像处理单元113中的频闪图像生成单元121，并且处理从步骤s112进行至步骤s113。

在步骤s113中，频闪图像生成单元121确定是否生成频闪图像。

此处，例如，如在图2中所示的步骤s14中那样，可以例根据被摄体的运动来进行关于在步骤s113中是否生成频闪图像的确定。

此外，例如，可以根据用户在发送装置101上的操作来进行关于在步骤s113中是否生成频闪图像的确定。

当在步骤s113中确定不生成频闪图像时，频闪图像生成单元121和效果处理单元122在不执行处理的情况下将自由视点数据提供给编码单元114。然后，处理跳过步骤s114至步骤s117，从步骤s113进行至步骤s118。

此外，当在步骤s113中确定要生成频闪图像时，处理进行至步骤s114。

在步骤s114中，频闪图像生成单元121使用来自自由视点数据生成单元112的自由视点数据来生成频闪图像。

换句话说，频闪图像生成单元121从来自自由视点数据生成单元112的自由视点数据的帧中选择多个生成帧。此外，频闪图像生成单元121生成频闪图像，该频闪图像示出了在多个生成帧中示出的被摄体的3d模型(多个时间上的3d模型)。

频闪图像生成单元121将频闪图像的自由视点数据提供给效果处理单元122，并且处理从步骤s114进行至步骤s115。

在步骤s115中，效果处理单元122确定是否对从频闪图像生成单元121提供自由视点数据的频闪图像的3d模型执行效果处理。例如，可以根据用户在发送装置101上的操作等来进行关于在步骤s115中是否生成频闪图像的确定。

当在步骤s115中确定不执行效果处理时，效果处理单元122在不执行效果处理的情况下将来自频闪图像生成单元121的频闪图像的自由视点数据提供给编码单元114。然后，处理跳过步骤s116和步骤s117，从步骤s115进行至步骤s118。

此外，当在步骤s115中确定要执行效果处理时，处理进行至步骤s116。

例如，在步骤s116中，效果处理单元122根据用户在发送装置101上的操作等来设置效果标志(图14)，即效果模式、效果方向和效果距离，并且处理进行至s117。

在步骤s117中，根据效果标志，效果处理单元122对从频闪图像生成单元121提供自由视点数据的频闪图像中示出的多个时间(生成帧)处的3d模型执行效果处理。

例如，在将效果模式设置为效果模式1，将效果方向设置为过去并且将效果距离设置为时间＝10的情况下，效果处理单元122执行效果处理，以使与频闪图像中的参考3d模型在过去方向上相隔10秒或更长时间的3d模型透明化。

然后，效果处理单元122将经历了效果处理的频闪图像的自由视点数据提供给编码单元114，并且处理从步骤s117进行至步骤s118。

在步骤s118中，编码单元114对从效果处理单元122提供的自由视点数据进行编码，并且将通过编码获得的编码数据提供给发送单元115，并且处理进行至步骤s119。

在步骤s119中，发送单元115将来自编码单元114的编码数据进行发送，并且处理终止。

如上所述，在发送装置101中，根据响应于用户在发送装置101上的操作等而设置的效果标志来执行效果处理。因此，发送装置101的用户可以通过设置效果标志来将期望的效果应用于频闪图像中示出的被摄体的3d模型。

图27是由图25所示的接收装置102进行的处理的示例的流程图。

在步骤s131中，接收装置102的接收单元131接收从发送装置101的发送单元115发送的编码数据，并且将编码数据提供给解码单元132，并且处理进行至步骤s132。

在步骤s132中，解码单元132对来自接收单元131的编码数据进行解码，并且将通过解码获得的自由视点数据提供给自由视点图像生成单元133，并且处理进行至步骤s133。此处，当通过解码获得的自由视点数据是来自多个视点的2d图像和深度图像时，解码单元132可以将来自多个视点的2d图像和深度图像转换为3d模型，并且将3d模型(包括3d模型的3d数据)作为自由视点数据提供给自由视点图像生成单元133。

在步骤s133中，自由视点图像生成单元133使用来自解码单元132的自由视点数据来生成2d图像作为自由视点图像，在2d图像中，由发送装置101的图像捕获单元111捕获的三维空间是从通过用户在接收装置102上的操作等设置的虚拟视点观看的。换句话说，例如，自由视点图像生成单元133生成2d图像作为自由视点图像，在该2d图像中，在通过对3d模型执行效果处理而获得的频闪图像中示出的三维空间是从虚拟视点观看的。然后，自由视点图像生成单元133将自由视点图像(数据)提供给显示单元134，并且处理从步骤s133进行至步骤s134。

在步骤s134中，显示单元134显示来自自由视点图像生成单元133的自由视点图像，并且处理终止。

如上所述，在接收装置102中，对使用通过对来自发送装置101的编码数据进行解码获得的自由视点数据而生成的自由视点图像进行显示。因此，当在发送装置101中生成了频闪图像并且对频闪图像中示出的被摄体执行了效果处理时，接收装置102的用户可以观看将效果应用于3d模型的频闪图像(从频闪图像生成的自由视点图像)。

图28是图示应用了图1所示的图像处理系统的传输系统的另一配置示例的框图。

注意，与图25所示的部件相对应的部件用相同的附图标记表示，并且下面将适当地省略对其的描述。

参照图28，传输系统包括发送装置101和接收装置102。发送装置101包括图像捕获单元111、自由视点数据生成单元112、编码单元114和发送单元115。接收装置102包括接收单元131、解码单元132、自由视点图像生成单元133、显示单元134和图像处理单元141。

因此，图28所示的传输系统与图25所示的传输系统的共同之处在于，传输系统包括发送装置101和接收装置102，发送装置101包括图像捕获单元111、自由视点数据生成单元112、编码单元114和发送单元115，并且接收装置102包括接收单元131、解码单元132、自由视点图像生成单元133和显示单元134。

然而，图28所示的传输系统与图25所示的传输系统的不同之处在于，发送装置101不具有图像处理单元113，并且接收装置102另外具有图像处理单元141。

图像处理单元141包括频闪图像生成单元151和效果处理单元152。图像处理单元141被提供有来自解码单元132的自由视点数据。图像处理单元141使用来自解码单元132的自由视点数据，以根据需要生成在由图像捕获单元111捕获的视点图像中示出多个时间(帧)上的被摄体的3d模型的频闪图像，并且对频闪图像执行效果处理。

换句话说，与图25所示的频闪图像生成单元121一样，频闪图像生成单元151使用来自解码单元132的自由视点数据来生成示出多个时间上的3d模型的频闪图像，并且将频闪图像的自由视点数据提供给效果处理单元152。

与图25所示的效果处理单元122一样，效果处理单元152对从闪频图像生成单元151提供了自由视点数据中的频闪图像中看到的3d模型执行效果处理，并且将经历了效果处理的频闪图像的自由视点数据提供给自由视点图像生成单元133。

注意，例如，图像处理单元141可以根据用户的操作等，将来自频闪图像生成单元151的自由视点数据提供给自由视点图像生成单元133，而无需效果处理单元152进行效果处理。此外，例如，图像处理单元141可以根据用户的操作等，将来自解码单元132的自由视点数据提供给自由视点图像生成单元133，而无需在频闪图像生成单元151处生成频闪图像并且不需要效果处理单元152进行效果处理。此外，图像处理单元141可以并行执行频闪图像的生成和效果处理，即，可以在已经根据自由视点数据对3d模型执行了效果处理的效果处理之后生成(3d)频闪图像。

图29是由图28所示的发送装置101进行的处理的第一示例的流程图。

在步骤s151和步骤s152中，执行与图26的步骤s111和步骤s112中的处理类似的处理。由此，将由自由视点数据生成单元112生成的自由视点数据提供给编码单元114，并且处理从步骤s152进行至步骤s153。

例如，在步骤s153中，编码单元114根据用户在发送装置101上的操作等来设置效果标志(图14)，即效果模式、效果方向和效果距离，并且处理进行至s154。

在步骤s154中，编码单元114对来自自由视点数据生成单元112的自由视点数据进行编码，以生成包括效果标志的编码数据。然后，编码单元114将编码数据提供给发送单元115，并且处理从步骤s154进行至步骤s155。

在步骤s155中，发送单元115将来自编码单元114的编码数据进行发送，并且处理终止。

如上所述，发送装置101可以生成并发送编码数据，编码数据包括响应于用户在发送装置101上的操作等而设置的效果标志。

图30是由图28所示的接收装置102进行的处理的第一示例的流程图。

在步骤s161中，接收装置102的接收单元131接收从发送装置101的发送单元115发送的编码数据，并且将编码数据提供给解码单元132，并且处理进行至步骤s132。

在步骤s162中，解码单元132对来自接收单元131的编码数据进行解码，并且将通过解码获得的自由视点数据和效果标志提供给图像处理单元141，并且处理进行至步骤s163。

在步骤s163中，图像处理单元141的频闪图像生成单元151确定是否生成频闪图像。

此处，例如，可以根据用户在接收装置102上的操作来进行关于在步骤s163中是否生成频闪图像的确定。

当在步骤s163中确定将不生成频闪图像时，频闪图像生成单元151和效果处理单元152在不执行处理的情况下将自由视点数据提供给自由视点图像生成单元133。然后，处理跳过步骤s164至步骤s166，从步骤s163进行至步骤s167。

此外，当在步骤s163中确定要生成频闪图像时，处理进行至步骤s164。

在步骤s164中，频闪图像生成单元151使用从解码单元132提供给图像处理单元141的自由视点数据来生成频闪图像。

换句话说，频闪图像生成单元151从来自解码单元132的自由视点数据的帧中选择多个生成帧。此外，频闪图像生成单元151生成频闪图像，该频闪图像示出了在多个生成帧处示出的被摄体的3d模型(多个时间上的3d模型)。

频闪图像生成单元151将频闪图像的自由视点数据提供给效果处理单元152，并且处理从步骤s164进行至步骤s165。

在步骤s165中，效果处理单元152确定是否对从频闪图像生成单元151提供自由视点数据的频闪图像的3d模型执行效果处理。例如，可以根据用户在接收装置102上的操作等来进行关于在步骤s165中是否生成频闪图像的确定。

当在步骤s165中确定不执行效果处理时，效果处理单元152在不执行效果处理的情况下将来自频闪图像生成单元151的频闪图像的自由视点数据提供给自由视点图像生成单元133。然后，处理跳过步骤s166，从步骤s165进行至步骤s167。

此外，当在步骤s165中确定要执行效果处理时，处理进行至步骤s166。

在步骤s166中，根据从解码单元132提供给图像处理单元141的效果标志，效果处理单元152对从频闪图像生成单元151提供自由视点数据的频闪图像中示出的多个时间上的(生成帧)3d模型执行效果处理。

例如，在将效果模式设置为效果模式1，将效果方向设置为过去并且将效果距离设置为时间＝10的情况下，效果处理单元152执行效果处理，以使与频闪图像中的参考3d模型在过去方向上相隔10秒或更长时间的3d模型透明化。

然后，效果处理单元152将经历了效果处理的频闪图像的自由视点数据提供给自由视点图像生成单元133，并且处理从步骤s166进行至步骤s167。

在步骤s167中，自由视点图像生成单元133使用来自图像处理单元141的(效果处理单元152的)自由视点数据来生成2d图像作为自由视点图像，在2d图像中，由发送装置101的图像捕获单元111捕获的三维空间是从通过用户在接收装置102上的操作等设置的虚拟视点观看的。换句话说，例如，自由视点图像生成单元133生成2d图像作为自由视点图像，在该2d图像中，在通过对3d模型执行效果处理而获得的频闪图像中示出的三维空间是从虚拟视点观看的。然后，自由视点图像生成单元133将自由视点图像(数据)提供给显示单元134，并且处理从步骤s167进行至步骤s168。

在步骤s168中，显示单元134显示来自自由视点图像生成单元133的自由视点图像，并且处理终止。

通过上述处理，接收装置102可以显示频闪图像，该频闪图像示出了根据基于用户在发送装置101上的操作设置的效果标志经历了效果处理的3d模型。

图31是由图28所示的发送装置101进行的处理的第二示例的流程图。

在步骤s181和步骤s182中，执行与图29的步骤s151和步骤s152中的处理类似的处理。由此，将由自由视点数据生成单元112生成的自由视点数据提供给编码单元114，并且处理从步骤s182进行至步骤s183。

在步骤s183中，编码单元114对来自自由视点数据生成单元112的自由视点数据进行编码，以生成编码数据。然后，编码单元114将编码数据提供给发送单元115，并且处理从步骤s183进行至步骤s184。

在步骤s184中，发送单元115将来自编码单元114的编码数据进行发送，并且处理终止。

如上所述，在图31的情况下，与图29的情况不同，发送装置101生成并发送不包括效果标志的编码数据。

图32是由图28所示的接收装置102进行的处理的第二示例的流程图。

在步骤s191中，接收装置102的接收单元131接收从发送装置101的发送单元115发送的编码数据，并且将编码数据提供给解码单元132，并且处理进行至步骤s132。

在步骤s192中，解码单元132对来自接收单元131的编码数据进行解码，并且将通过解码获得的自由视点数据提供给图像处理单元141，并且处理进行至步骤s193。

在步骤s193至s195中，执行与图30所示的步骤s163至步骤s165的处理的类似的处理。

然后，当在步骤s195中确定不执行效果处理时，效果处理单元152在不执行效果处理的情况下将来自频闪图像生成单元151的频闪图像的自由视点数据提供给自由视点图像生成单元133。然后，处理跳过步骤s196和步骤s197，从步骤s195进行至步骤s198。

此外，当在步骤s195中确定要执行效果处理时，处理进行至步骤s196。

在步骤s196中，例如，效果处理单元152根据用户在接收装置102上的操作等来设置效果标志(图14)，即效果模式、效果方向和效果距离，并且处理进行至s197。

此处，将效果模式、效果方向和效果距离单独地设置为效果标志可能会使接收装置102的用户感到麻烦。因此，在效果处理单元152中，准备了作为效果标志的效果模式、效果方向和效果距离的多个组合，作为效果过滤器。这使得接收装置102的用户能够在步骤s196中从多个效果滤波器中选择期望的滤波器，并且将期望的过滤器设置为作为效果标志的效果模式、效果方向和效果距离。

在步骤s197中，根据基于用户在接收装置102上的操作设置的效果标志，效果处理单元152对从频闪图像生成单元151提供自由视点数据的频闪图像中示出的多个时间上的(生成帧)3d模型执行效果处理。

然后，效果处理单元152将经历了效果处理的频闪图像的自由视点数据提供给自由视点图像生成单元133，并且处理从步骤s197进行至步骤s198。

在步骤s198和步骤s199中，执行与图30的步骤s167和步骤s168中的处理类似的处理，并且处理终止。

通过上述处理，接收装置102可以显示频闪图像，该频闪图像示出了根据基于用户在接收装置102上的操作设置的效果标志经历了效果处理的3d模型。

<应用本技术的图像处理系统>

图33是图示应用本技术的图像处理系统的另一实施方式的配置示例的框图。

注意，与图1所示的部件相对应的部件用相同的附图标记表示，并且下面将适当地省略对其的描述。

图33所示的图像处理系统包括图像捕获单元11、自由视点数据生成单元12、效果处理单元14、自由视点图像生成单元15和显示单元16。

图33所示的图像处理系统与图1所示的图像处理系统的共同之处在于，包括图像捕获单元11、自由视点数据生成单元12、效果处理单元14、自由视点图像生成单元15和显示单元16。然而，图33所示的图像处理系统与图1所示的图像处理单元的不同之处在于，未设置频闪图像生成单元33。

如上所述，由于图33的图像处理系统不具有频闪图像生成单元33，因此将3d图像的自由视点数据从自由视点数据生成单元12提供给效果处理单元14。

然后，效果处理单元14对从自由视点数据生成单元12提供自由视点数据的3d图像中示出的被摄体的3d模型执行效果处理。

例如，当从自由视点数据生成单元12提供自由视点数据的3d图像中示出多个被摄体时，效果处理单元14可以对多个被摄体中的一个或更多个被摄体的3d模型中的每个3d模型执行效果处理。

因此，例如，当从自由视点数据生成单元12向效果处理单元14提供来自自由视点数据的3d图像是足球比赛的内容的图像时，效果处理单元14可以对作为3d图像中显示出的多个被摄体的多个足球运动员或球以及靠近球的一个或更多个足球运动员的3d模型执行效果处理。

如上所述，效果处理单元14可以对除频闪图像之外的任何3d图像中示出的多个被摄体的3d模型中的一个或更多个3d模型(包括3d图像中示出的多个被摄体的所有3d模型)执行效果处理。

图34是通过图33所示的图像处理系统执行的显示自由视点图像的自由视点图像显示处理的示例的流程图。

在自由视点图像显示处理中，在步骤s211和步骤s212中，执行与图2所示的步骤s11和步骤s12中的处理相同的处理。相应地，例如，自由视点数据生成单元12逐帧地生成被摄体的3d模型(以及包括背景图像的3d数据)作为3d图像的自由视点数据。将3d图像的自由视点数据(逐帧)从自由视点数据生成单元12提供给效果处理单元14，并且处理从步骤s212进行至步骤s213。

在步骤s213中，效果处理单元14确定是否对从自由视点数据生成单元12提供了自由视点数据的3d图像中示出的3d模型执行效果处理。例如，可以根据用户的操作来进行关于在步骤s217中是否生成频闪图像的确定。

当在步骤s213中确定不执行效果处理时，效果处理单元14在不执行效果处理的情况下将来自自由视点数据生成单元12的自由视点数据提供给自由视点图像生成单元15。然后，处理跳过步骤s214，从步骤s213进行至步骤s215。

在这种情况下，在步骤s215中，自由视点图像生成单元15生成在其中来自效果处理单元14的3d图像(自由视点数据)是从虚拟视点观看的2d图像作为自由视点图像。然后，自由视点图像生成单元15将自由视点图像提供给显示单元16，并且处理从步骤s215进行至步骤s216。

在步骤s216中，显示单元16显示来自自由视点图像生成单元15的自由视点图像。在这种情况下，显示单元16显示2d图像(在其中从虚拟视点观看3d图像的2d图像)，该2d图像示出从虚拟视点观看的被摄体的3d模型。

另一方面，当在步骤s213中确定要执行效果处理时，处理进行至步骤s214。

在步骤s214中，效果处理单元14对从自由视点数据生成单元12提供了自由视点数据的3d图像中示出的被摄体的3d模型执行效果处理。

此处，当在3d图像中示出一个被摄体时，效果处理单元14对一个被摄体的3d模型执行效果处理。此外，当在3d图像中示出多个被摄体时，效果处理单元14可以从多个被摄体的3d模型中选择一个或更多个被摄体的3d模型，并且对一个或更多个被摄体的3d模型中的每个3d模型执行效果处理。例如，可以根据用户的操作等来选择要经历效果处理的3d模型。

效果处理单元14将示出经历了效果处理的3d模型的3d图像提供给自由视点图像生成单元15，并且该处理从步骤s214进行至步骤s215。

在这种情况下，在步骤s215中，自由视点图像生成单元15生成在其中示出经历了来自效果处理单元14的效果处理的3d模型的3d图像是从虚拟视点观看的2d图像作为自由视点图像。然后，自由视点图像生成单元15将自由视点图像提供给显示单元16，并且处理从步骤s215进行至步骤s216。

在步骤s216中，显示单元16显示来自自由视点图像生成单元15的自由视点图像。在这种情况下，显示单元16显示在其中对从虚拟视点观看的一个或更多个被摄体的3d模型应用了效果的2d图像(经历了效果处理的2d图像)。

如上所述，可以通过对除频闪图像之外的3d图像中示出的多个被摄体的3d模型中的一个或更多个3d模型执行效果处理来提供易于观看的图像。例如，如上所述，当3d图像是足球比赛的内容的图像时，可以提供如下图像，在该图像中，将对作为3d图像中示出的多个被摄体的与球门有关的多个足球运动员、球和靠近球的一个或更多个足球运动员、或球、传球的足球运动员、接到传球的足球运动员等的3d模型应用效果。

<传输系统>

图35是图示应用了图33所示的图像处理系统的传输系统的配置示例的框图。

注意，与图25所示的部件相对应的部件用相同的附图标记表示，并且下面将适当地省略对其的描述。

参照图35，传输系统包括发送装置101和接收装置102。发送装置101包括图像捕获单元111、自由视点数据生成单元112、图像处理单元113、编码单元114和发送单元115以及自由视点图像生成单元211。图像处理单元113具有效果处理单元122。接收装置102包括接收单元131、解码单元132和显示单元134。

因此，图35所示的传输系统与图25所示的传输系统的共同之处在于，传输系统包括发送装置101和接收装置102，发送装置101包括图像捕获单元111、自由视点数据生成单元112、图像处理单元113、编码单元114以及发送单元115，并且接收装置102包括接收单元131、解码单元132和显示单元134。

然而，图28所示的传输系统与图25所示的传输系统的不同之处在于，发送装置101的图像处理单元113不包括频闪图像生成单元121，发送装置101另外包括自由视点图像生成单元211，并且接收装置102不包括自由视点图像生成单元133。

在发送装置101中，图像捕获单元111、自由视点数据生成单元112、图像处理单元113的效果处理单元122和自由视点图像生成单元211分别以与图33所示的图像捕获单元11、自由视点数据生成单元12、效果处理单元14和自由视点图像生成单元15类似的方式执行处理。

相应地，自由视点图像生成单元211将在其中对从虚拟视点观看的被摄体的3d模型应用了效果的2d图像或将在其中对从虚拟视点观看的被摄体的3d模型未应用效果的2d图像作为自由视点图像的图像，提供给编码单元114。

编码单元114根据预定的编码方法对从图像处理单元113的效果处理单元122提供的自由视点图像进行编码，并且将通过编码获得的编码数据提供给发送单元115。发送单元115将来自编码单元114的编码数据通过有线通信或无线通信进行发送。

在接收装置102(显示装置)中，接收单元131接收从发送装置101(的发送单元115)发送的编码数据，并且将编码数据提供给解码单元132。

解码单元132将来自接收单元131的编码数据解码为自由视点图像，并且将该自由视点图像提供给显示单元134。显示单元134显示来自解码单元132的自由视点图像。

例如，接收装置102的用户可以通过操作接收装置102来指定虚拟视点。接收装置102可以将用户指定的虚拟视点发送至发送装置101。在发送装置101中，自由视点图像生成单元211可以根据来自接收装置102的虚拟视点，生成自由视点图像作为从虚拟视点观看的2d图像。

<效果处理的变型>

作为由效果处理单元14(以及效果处理单元122和和效果处理单元152)执行的效果处理，可以采用除图14所示的效果模式1至效果模式10下的效果处理以外的各种效果处理。

例如，可以采用改变3d模型的尺寸的处理、改变3d模型的纹理(纹理材料)的处理、删除3d模型的纹理的处理等作为由效果处理单元14执行的效果处理。此外，例如，可以采用使3d模型(3d形状模型)的形状模糊的处理、改变3d模型的颜色的处理等作为由效果处理单元14执行的效果处理。对于这些效果处理，如图14所示的效果模式1至效果模式10下的效果处理一样，可以设置效果方向、效果距离和必要的参数。

图36是描述改变3d模型的尺寸的效果处理的图。

例如，在改变3d模型的尺寸的效果处理中，可以参考诸如3d模型的重心的预定点来缩小或放大每个3d模型的尺寸。

此处，在尺寸改变之前的3d模型与平面接触的情况下，仅参考3d模型的重心来缩小或放大3d模型的尺寸可能会使尺寸改变之后的3d模型变成与平面分离并漂浮在空中或沉入平面的状态。

换句话说，例如，图36图示了示出在足球场上滚动的足球的3d模型的(3d)频闪图像。

当参考足球的3d模型的重心执行效果处理以缩小3d模型的尺寸时，足球的3d模型如图36所示从地面漂浮。因此，进行效果处理之后的频闪图像变得不自然。

注意，当参考足球的3d模型的重心执行效果处理以放大3d模型的尺寸时，足球的3d模型沉入地面。因此，进行效果处理之后的频闪图像变得不自然。

因此，在执行改变3d模型的尺寸的效果处理的情况下，当尺寸改变之前的3d模型与平面接触时，效果处理单元14可以在尺寸改变之后移动3d模型，使得尺寸改变之后的3d模型与平面接触，如图36所示。

这样防止进行效果处理之后的频闪图像变得不自然。

如上所述，在(尺寸改变之前的)3d模型与平面接触的情况下，足球的3d模型可能与地面接触，3d模型可能与地板表面或桌子顶部接触，或者3d模型可能与墙壁或天花板接触。

尺寸改变之后的3d模型垂直于调整尺寸之前的3d模型所接触的平面进行移动。此外，在将3d模型的尺寸缩小或放大s倍的情况下，尺寸改变之后的3d模型将移动，使得尺寸改变之后3d模型的重心与平面之间的距离比尺寸改变之前的距离短或长s倍。

<应用本技术的计算机的描述>

接下来，可以通过硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下，构成软件的程序被安装在通用计算机中。

图37是示出安装有用于执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。

该程序可以预先记录在作为计算机中包括的记录介质的硬盘905或rom903上。

替选地，程序可以被存储(记录)在由驱动器909驱动的可移动记录介质911中。这样的可移动记录介质911可以作为所谓的封装软件来提供。此处，可移除记录介质911的示例包括软盘、致密盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、磁盘、半导体存储器等。

注意，程序可以如上所述的那样从可移动记录介质911安装在计算机中，或者可以经由通信网络或广播网络下载至计算机并且安装在内置硬盘905中。换句话说，例如，程序经由用于数字卫星广播的人造卫星从下载站点无线地传送至计算机，或者以有线方式经由诸如局域网(lan)或因特网的网络传送至计算机。

计算机包含中央处理单元(cpu)902，并且输入/输出接口910经由总线901连接至cpu902。

当由用户经由输入/输出接口910操作输入单元907等来输入指令时，cpu902相应地执行存储在只读存储器(rom)903中的程序。替选地，cpu902将存储在硬盘905中的程序加载到随机存取存储器(ram)904中并执行该程序。

因此，cpu902执行根据上述流程图的处理或由上述框图中所示的配置执行的处理。然后，cpu902根据需要使处理结果从输出单元906输出，从通信单元908发送，或者例如经由输入/输出接口910记录在硬盘905上。

注意，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(lcd)、扬声器等。

此处，在本说明书中，由计算机根据程序执行的处理不必按照流程图中描述的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理包括并行或单独执行的处理(例如，并行处理或由对象执行的处理)。

此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机分配和处理。此外，程序可以被传送至远程计算机上执行。

此外，在本说明书中，系统是指一组多个部件(设备、模块(部件)等)，并且所有部件是否都在同一壳体中并不重要。因此，该系统可以是容纳在单独的壳体中并经由网络连接的多个装置，或者可以是在一个壳体中包含多个模块的一个装置。

注意，本技术的实施方式不限于前述实施方式，而是可以在不脱离本技术的主旨的情况下以各种方式修改。

例如，本技术可以具有云计算配置，其中一个功能由多个装置经由网络共享和协作地处理。

此外，上述流程图中描述的步骤中的每一个可以由一个装置执行或可以由多个装置共享。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置共享并且执行。

此外，本文描述的有利效果仅是示例，而不是限制性的。本技术可以具有任何其他有利效果。

注意，可以如下所述配置本技术。

<1>

一种图像处理装置，包括：

效果处理单元，其对根据从多个视点捕获的多个视点图像生成的多个3d模型中的一个或更多个执行效果处理；以及

生成单元，其生成2d图像，其中，从预定视点观看经历了所述效果处理的多个3d模型。

<2>

根据<1>所述的图像处理装置，其中，

所述效果处理单元执行使所述多个3d模型中的预定3d模型透明化的效果处理。

<3>

根据<1>或<2>所述的图像处理装置，其中，

所述效果处理单元对根据所述多个视点图像生成的多个时间上的预定被摄体的3d模型执行所述效果处理。

<4>

根据<1>至<3>中任一项所述的图像处理装置，其中，

所述效果处理单元对多个时间上的预定被摄体的多个3d模型之中的由相对于参考模型的3d模型的数量、距离或时间指定的所述预定被摄体的3d模型执行所述效果处理。

<5>

根据<1>至<4>中任一项所述的图像处理装置，其中，

所述效果处理单元从多个效果处理中设置要对所述3d模型执行的效果处理。

<6>

根据<1>至<5>中任一项所述的图像处理装置，还包括：

显示单元，其显示所述2d图像。

<7>

根据<1>至<6>中任一项所述的图像处理装置，其中，

所述3d模型包括视图独立。

<8>

根据<1>至<7>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于改变3d模型的尺寸的效果处理，并且

当尺寸改变之前的3d模型与平面接触时，所述效果处理单元移动3d模型，使得尺寸改变之后的3d模型与所述平面接触。

<9>

一种图像处理方法，包括：

对根据从多个视点捕获的多个视点图像生成的多个3d模型中的一个或更多个3d模型执行效果处理；以及

生成2d图像，其中，从预定视点观看经历了所述效果处理的多个3d模型。

<10>

一种程序，所述程序用于使计算机用作：

效果处理单元，其对根据从多个视点捕获的多个视点图像生成的多个3d模型中的每一个3d模型执行效果处理；以及

生成单元，其生成2d图像，其中，从预定视点观看经历了所述效果处理的多个3d模型。

<11>

一种显示装置，包括：

接收单元，其接收2d图像，所述2d图像是通过以下操作获得的：对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理，并且生成所述2d图像，其中，从预定视点观看经历了所述效果处理的所述多个3d模型；以及

显示单元，其显示所述2d图像。

<a1>

一种图像处理装置，包括：

频闪图像生成单元，其生成频闪图像，所述频闪图像示出了根据来自多个视点的多个时间上的被摄体的视点图像生成的所述被摄体的3d模型；以及

效果处理单元，其对所述频闪图像中示出的3d模型执行效果处理。

<a2>

根据<a1>所述的图像处理装置，其中，

所述频闪图像生成单元生成频闪图像，使得优先地显示在近侧的3d模型。

<a3>

根据<a1>或<a2>所述的图像处理装置，其中，

所述效果处理单元执行用于使所述3d模型透明化的效果处理。

<a4>

根据<a1>至<a3>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于使所述3d模型逐渐消失的效果处理。

<a5>

根据<a1>至<a4>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于减少所述3d模型的纹理数量的效果处理。

<a6>

根据<a1>至<a5>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于擦除所述3d模型的效果处理。

<a7>

根据<a1>至<a6>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于降低所述3d模型的亮度或饱和度的效果处理。

<a8>

根据<a1>至<a7>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于限制所述频闪图像中示出的3d模型的数量的效果处理。

<a9>

根据<a1>至<a8>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于减少所述3d模型的网格数量的效果处理。

<a10>

根据<a1>至<a9>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于改变所述3d模型的表达形式的效果处理。

<a11>

根据<a1>至<a10>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于将由多边形形成的3d模型改变成线框的效果处理。

<a12>

根据<a1>至<a11>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于将所述3d模型的表达形式从视图相关改变成视图独立的效果处理。

<a13>

根据<a1>至<a12>中任一项所述的图像处理装置，其中，

所述效果处理单元执行用于在留下3d模型的迹线的情况下擦除所述3d模型的效果处理。

<a14>

根据<a1>至<a13>中任一项所述的图像处理装置，其中，

所述效果处理单元对在所述频闪图像中示出的3d模型之中的、在设置最新虚拟视点时的参考3d模型之前或之后的3d模型执行效果处理。

<a15>

根据<a1>至<a14>中任一项所述的图像处理装置，其中，

所述效果处理单元对在所述频闪图像中示出的3d模型之中的、与在设置所述最新虚拟视点时的参考3d模型分开预定数量模型或更多数量模型的3d模型执行效果处理。

<a16>

根据<a1>至<a15>中任一项所述的图像处理装置，其中，

所述效果处理单元对在所述频闪图像中示出的3d模型之中的、与在设置所述最新虚拟视点时的参考3d模型分开预定距离或更远的3d模型执行效果处理。

<a17>

根据<a1>至<a16>中任一项所述的图像处理装置，其中，

所述效果处理单元对在所述频闪图像中示出的3d模型之中的、与在设置所述最新虚拟视点时的参考3d模型分开预定时间或更长时间的时间处的3d模型执行效果处理。

<a18>

一种图像处理方法，包括：

生成频闪图像，所述频闪图像示出了根据来自多个视点的多个时间上的被摄体的视点图像生成的所述被摄体的3d模型；以及

对所述频闪图像中示出的所述3d模型执行效果处理。

<a19>

一种程序，所述程序用于使计算机用作：

频闪图像生成单元，其生成频闪图像，所述频闪图像示出了根据来自多个视点的多个时间上的被摄体的视点图像生成的所述被摄体的3d模型；以及

效果处理单元，其对所述频闪图像中示出的3d模型执行效果处理。

<a20>

一种传输系统，包括：

发送装置，其具有发送单元，所述发送单元发送与要对频闪图像中的3d模型执行的效果处理有关的效果标志，所述频闪图像示出了根据来自多个视点的多个时间上的被摄体的视点图像生成的所述被摄体的3d模型；以及

接收装置，其具有以下：

接收单元，其接收所述效果标志；

频闪图像生成单元，其生成所述频闪图像；以及

效果处理单元，其根据所述效果标志对所述频闪图像中示出的3d模型执行效果处理。

<b1>

一种图像处理装置，所述图像处理装置在效果处理之后生成频闪图像，其中，

对所述频闪图像中示出的3d模型执行所述效果处理，所述频闪图像示出了根据来自多个视点的多个时间上的被摄体的视点图像生成的所述被摄体的3d模型。

<c1>

一种图像处理装置，包括：

电路，其被配置成：

对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及

生成2d图像，其中，从预定视点观看经历了所述效果处理的多个3d模型。

<c2>

根据<c1>所述的图像处理装置，其中，所述电路还被配置成：

执行用于使多个3d模型中的所述至少一个3d模型透明化的效果处理。

<c3>

根据<c1>或<c2>所述的图像处理装置，其中，所述电路还被配置成：

对根据所述多个视点图像生成的、多个时间上的预定被摄体的3d模型执行所述效果处理。

<c4>

根据<c1>至<c3>中任一项所述的图像处理装置，其中，所述电路还被配置成：

对所述多个时间上的所述预定被摄体的多个3d模型中的、由相对于参考模型的3d模型的数量、距离或时间指定的预定被摄体的3d模型执行所述效果处理。

<c5>

根据<c1>至<c4>中任一项所述的图像处理装置，其中，所述电路还被配置成：

从多个效果处理中设置要对3d模型执行的效果处理。

<c6>

根据<c1>至<c5>中任一项所述的图像处理装置，其中，所述电路还被配置成：

启动所述2d图像的显示。

<c7>

根据<c1>至<c6>中任一项所述的图像处理装置，其中，

3d模型的表达形式包括视图独立模型。

<c8>

根据<c1>至<c7>中任一项所述的图像处理装置，其中，所述电路还被配置成：

执行用于改变3d模型的尺寸的效果处理；以及

当尺寸改变之前的3d模型与平面接触时，移动所述3d模型，使得尺寸改变之后的3d模型与所述平面接触。

<c9>

一种图像处理方法，包括：

对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及

生成2d图像，其中，从预定视点观看经历了所述效果处理的所述多个3d模型。

<c10>

一种包含有程序的非暂态计算机可读介质，所述程序在由计算机执行时使所述计算机执行一种图像处理方法，所述方法包括：

对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理；以及

生成2d图像，其中，从预定视点观看经历了所述效果处理的所述多个3d模型。

<c11>

一种显示装置，包括：

电路，其被配置成：

接收通过以下操作获得的2d图像：对根据从多个视点捕获的多个视点图像生成的多个3d模型中的至少一个3d模型执行效果处理，并且生成所述2d图像，其中，从预定视点观看经历了所述效果处理的所述多个3d模型；以及

显示所述2d图像。

本领域的技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和改变，只要该修改、组合、子组合和改变在所附权利要求或其等同物的范围内。

附图标记列表

11图像捕获单元

12自由视点数据生成单元

13频闪图像生成单元

14效果处理单元

15自由视点图像生成单元

16显示单元

101发送装置

102接收装置

111图像捕获单元

112自由视点数据生成单元

113图像处理单元

114编码单元

115发送装置

131接收装置

132解码单元

133自由视点图像生成单元

134显示单元

141图像处理单元

151频闪图像生成单元

152效果处理单元

901总线

902cpu

903rom

904ram

905硬盘

906输出单元

907输入单元

908通信单元

909驱动器

910输入/输出接口

911可移动记录介质