信息处理装置和方法以及程序与流程

本公开内容涉及信息处理装置和方法以及程序，并且具体涉及使得能够识别图像中的缺损的信息处理装置和方法以及程序。

背景技术：

近年来，为了将人的体验原样传送给他人，使用诸如头戴式多相机的可穿戴设备的第一人称视点的图像创建各种内容等(参见专利文献1)。此外，已经提出了一种用于利用多个相机生成全向周围影像的系统(参见专利文献2)。

引用列表

专利文献

专利文献1：国际公布2015/122108

专利文献2：日本专利申请特许公开第2006-309802号

技术实现要素：

本发明要解决的问题

如上所述，在使用多个相机生成图像的情况下，每个相机视频的拍摄覆盖范围会由于相机之间的相对位置关系等的变化而改变，并且存在出现不能对其进行拍摄的地方的可能。

鉴于这种情况提出了本公开内容，并且本公开内容涉及对由多个成像设备进行成像而生成的图像进行处理。

问题的解决方案

根据本公开内容的一个方面的信息处理装置包括：缺损确定单元，其确定由多个成像设备进行成像而生成的图像中是否存在缺损；以及通知控制单元，其控制与缺损确定单元对是否存在缺损的确定结果相对应的通知。

在根据本公开内容的一个方面的信息处理方法中，信息处理装置确定在由多个成像设备进行成像而生成的图像中是否存在缺损，并且控制与对是否存在缺损的确定结果相对应的通知。

根据本公开内容的一个方面的程序使计算机用作：缺损确定单元，其确定由多个成像设备进行成像而生成的图像中是否存在缺损；以及通知控制单元，其控制与缺损确定单元对是否存在缺损的确定结果相对应的通知。

在本公开内容的一个方面中，确定由多个成像设备进行成像而生成的图像中是否存在缺损。然后，控制与对是否存在缺损的确定结果相对应的通知。

发明的效果

根据本公开内容，可以掌握图像的缺损。

注意，本文中描述的效果仅是说明性的，本技术的效果不限于本文描述的效果，并且本技术可以具有附加效果。

附图说明

图1是示出根据本公开内容的实施方式的系统的示意性配置的图。

图2是示出根据本实施方式的装置的示意性配置的框图。

图3是示意性地示出根据本实施方式的可穿戴终端的示例的图。

图4是示出根据本实施方式的信息处理装置的配置示例的框图。

图5是示出根据本实施方式的信息处理装置的另一配置示例的框图。

图6是用于说明根据本实施方式的周围捕获图像的示例的图。

图7是用于说明根据本实施方式的周围捕获图像的另一示例的图。

图8是示出根据本实施方式的可穿戴终端的配置示例的框图。

图9是用于说明图8的可穿戴终端的带有相机的头部支架(headgear)的图。

图10是示出由图9中的相机捕获的图像的示例的图。

图11是用于说明使用图10中的图像来生成图像的方法的图。

图12是示出根据图10中的图像生成的图像的示例的图。

图13是示出图像中的缺损的示例的图。

图14是用于说明缺损的性质的图。

图15是用于说明缺损的性质的图。

图16是用于说明图8中的可穿戴终端的图像处理的流程图。

图17是用于说明图16的步骤s17中的缺损补充处理的流程图。

图18是示出进行缺损补充处理之前的图像的示例的图。

图19是示出进行缺损补充处理之后的图像的示例的图。

具体实施方式

在下文中，将描述用于实现本公开内容的模式(下文中称为实施方式)。

<系统配置示例>

图1是示出根据本公开内容的实施方式的系统的示意性配置的图。如图1所示，本实施方式中的系统10具有服务器11和客户端设备12至17。

服务器11是由单个服务器设备或通过各种有线或无线网络彼此连接并且彼此协作的多个服务器设备实现的功能的集合，并且服务器11向客户端设备12至17提供各种服务。

客户端设备12至17是经由各种有线或无线网络连接至服务器11的终端设备。

服务器11和客户端设备12至17独立地或者彼此协作地实现系统10的下述功能(1)至(7)中的至少任何一个。

(1)一种装置，其具有诸如相机的成像机构并且将捕获的真实空间的图像提供给服务器11或其他客户端设备12至17。

(2)一种装置，其具有诸如相机的成像机构，该装置对捕获的真实空间的图像执行各种类型的图像处理，并且将通过图像处理获取的关于真实空间的各种图像提供给服务器11或其他客户端设备12至17。

(3)一种装置，其具有诸如相机的成像机构，该装置对捕获的真实空间的图像执行各种类型的图像处理，根据用户执行的对各种图像的各种操作来生成该用户期望的图像，并且将生成的各种图像提供给服务器11或其他客户端设备12至17。

(4)一种装置，其至少具有诸如显示器的显示机构，优选地还具有诸如触摸面板的操作机构，该装置获取由(1)中的装置提供的图像，根据用户执行的对图像的各种操作来生成该用户期望的图像，并且提供生成的各种图像以供用户观看。

(5)一种装置，其至少具有诸如显示器的显示机构，优选地还具有诸如触摸面板的操作机构，该装置获取由(2)中的装置提供的图像，根据用户执行的对图像的各种操作来生成该用户期望的图像，并且提供生成的各种图像以供用户观看。

(6)一种装置，其至少具有诸如显示器的显示机构，优选地还具有诸如触摸面板的操作机构，该装置获取由(3)中的装置提供的图像，提供该图像以供用户观看，并且接受用户对图像的各种操作。

(7)一种装置，其具有诸如显示器的显示机构，并且使得基于由装置(4)至(6)接受的各种用户操作而生成的各种图像被显示。

客户端设备12是可穿戴终端(在下文中，也被简称为可穿戴终端12)。可穿戴终端12具有例如成像机构或显示机构中的至少任一者，并且可穿戴终端12用作上述装置(1)至(7)中的至少任一者。在所示的示例中，可穿戴终端12为眼镜型，但是不限于该示例，只要其可以被佩戴在用户的身体上即可。在用作上述装置(1)至(3)的情况下，可穿戴终端12具有安装在例如眼镜的框架部分等中作为成像机构的相机。利用该相机，可穿戴终端12可以从靠近用户的视点的位置获取真实空间的图像。所获取的图像被发送至服务器11或其他客户端设备13至17。此外，在用作上述装置(4)至(7)的情况下，可穿戴终端12具有安装在例如眼镜的部分或全部镜片部分中作为显示机构的显示器等。可穿戴终端12使得由相机捕获的图像显示在显示器上。

客户端设备13为平板式终端(在下文中也被简称为平板式终端13)。平板式终端13至少具有显示机构，优选地还具有操作机构，并且可以用作例如上述装置(4)至(7)。平板式终端13除了具有上述显示机构和操作机构之外，还可以具有成像机构，并且可以用作上述装置(1)至(3)中的至少任何一个。也就是说，平板式终端13可以用作上述装置(1)至(7)中的任意装置。

客户端设备14为移动电话(智能电话)(在下文中也被简称为移动电话14)。注意，由于在系统10中移动电话14的功能与平板式终端13的功能类似，因此将省略对其的详细描述。注意，尽管未示出，但是例如在系统10中，诸如便携式游戏机、便携式音乐播放器或数字相机的设备也可以用作与平板式终端13或移动电话14类似的设备，只要这些设备具有通信机构、显示机构、操作机构或成像机构即可。

客户端设备15为膝上型个人计算机(pc)(在下文中也被简称为膝上型pc15)。膝上型pc15具有显示机构和操作机构，并且用作上述装置(4)至(7)。在所示的示例中，膝上型pc15被运用为不用作上述装置(1)至(3)的设备的示例，因为其基本上是固定使用的。尽管未示出，但是例如台式pc、电视等也可以与膝上型pc15类似地起作用。膝上型pc15具有作为显示机构的显示器以及作为操作机构的鼠标和键盘，膝上型pc15直接或者经由各种设备显示从上述装置(1)至(3)提供的图像，并且接受用户对图像的各种操作。此外，在膝上型pc15还具有诸如相机的成像机构的情况下，膝上型pc15也可以用作上述装置(1)至(3)。

客户端设备16为固定相机(在下文中也被简称为固定相机16)。固定相机16具有成像机构，并且用作上述装置(1)至(3)。在所示的示例中，固定相机16被运用为不用作上述装置(4)至(7)的设备的示例，因为其是固定使用的并且不具有显示机构。尽管未示出，但是例如在台式pc或电视机具有用于显示屏幕前方的相机的情况下，或者在诸如数字相机的可移动设备被临时固定到三脚架等的情况下，这些设备也可以与固定相机16类似地起作用。固定相机16具有作为成像机构的相机，并且可以从固定视点获取真实空间的图像(包括相机自动摆动或者根据观看捕获图像的用户的操作而摆动的情况)。

客户端设备17为投影仪(在下文中也被简称为投影仪17)。投影仪17具有作为显示机构的投影设备，并且用作上述装置(7)。在所示的示例中，投影仪17被运用为不用作上述装置(1)至(6)的设备的示例，因为其不具有成像机构而且也不具有用于接受对所显示(投射)的图像的输入的操作机构。投影仪17使用投影设备在屏幕或物体的表面上投射图像以使各种图像显示在真实空间中。注意，尽管示出了固定型的投影仪17，但是其也可以是手持型的。

服务器11独立地或者与客户端设备12至17协作地用作上述装置(1)至(7)中的至少任何一个。换句话说，服务器11具有下述功能：获取真实空间的图像、对获取的图像执行各种类型的图像处理以及使得所获取的真实空间的图像或通过图像处理获取的图像中的至少任何一个被显示。

通过由服务器11和客户端设备12至17实现的上述功能，用户可以观看到真实空间的图像，在该真实空间中例如存在各种生物体(例如人类)、在地球表面、地上、水下等自主行进的自推进对象、或者在空中飞行的运动对象(例如飞行对象)，并且可以在各种运动对象与用户之间共享该空间。此外，在根据本实施方式的系统中执行如下详细描述的处理，使得用户可以独立于运动对象自由地观看其中运动对象所存在的真实空间的图像。

以上已经描述了根据本实施方式的系统。如图1所示，根据本实施方式的系统10可以包括：能够获取真实空间的图像的设备、能够提供真实空间的图像以供用户观看并且接受用户的各种操作的设备以及能够显示通过用户的各种操作生成的图像的设备。

注意，包括在如上所述的系统10中执行的图像处理在内的各种类型的信息处理是由服务器11和客户端设备12至17独立执行或者彼此协作执行的。作为服务器11和客户端设备12至17独立操作或彼此协作的结果，如下详细描述的信息处理装置被实现为整体系统10。

<设备配置>

图2是示出根据本实施方式的装置的示意性配置的图。如图2所示，装置20包括处理器21和存储器22。装置20还可以包括显示单元23、操作单元24、通信单元25、成像单元26或传感器27中的至少任何一者。这些部件通过总线28彼此连接。装置20可以实现例如服务器11中包括的服务器设备和客户端设备12至17。

处理器21例如是诸如中央处理单元(cpu)或数字信号处理器(dsp)的各种处理器。例如，执行与存储器22中存储的程序相对应的操作(例如计算和控制)以实现各种功能。处理器21实现例如服务器11和客户端设备12至17的整个装置的控制功能。例如在服务器11和客户端设备12至17中，处理器21执行如稍后所述的各种类型的图像处理以及用于使图像显示在显示屏幕上的显示控制。

存储器22包括诸如半导体存储器或硬盘的存储介质，并且该存储器22存储供装置20处理的程序和数据。例如，存储器22可以存储由成像单元26获取的捕获图像数据以及由传感器27获取的传感器数据。注意，本说明书中描述的程序和数据的一部分不被存储在存储器22中，而是可以从外部数据源(例如，数据服务器、网络存储装置、外部存储器等)获取。

显示单元23被设置在例如具有上述显示机构的客户端中。例如，显示单元23可以是与装置20的形状对应的显示器。例如，在上述示例中，可穿戴终端12可以具有作为显示单元23的具有例如与眼镜的镜片部分对应的形状或者与头戴式显示器的显示区域对应的形状的显示器。此外，平板式终端13、移动电话14和膝上型pc15可以具有设置在各自的壳体中作为显示单元23的平板显示器。替选地，显示单元23可以是将图像投射到对象上的投影设备。在上述示例中，投影仪17可以具有作为显示单元的投影设备。

操作单元24被设置在例如具有上述操作机构的客户端中。操作单元24例如是通过根据需要将键盘、按钮、开关等与显示器上设置的诸如触摸传感器(与显示器一起被包括在触摸面板中)、触摸板或鼠标的指示设备进行组合而配置成的。操作单元24例如利用指示设备指定显示单元23上显示的图像中的位置，并且接受用户利用键盘、按钮、开关等针对该位置输入一些信息的操作。替选地，操作单元24可以利用指示设备指定显示单元23上显示的图像中的位置，并且还接受用户利用指示设备针对该位置输入一些信息的操作。

通信单元25是装置20调解与其他设备的通信的通信接口。通信单元25支持任意无线通信协议或有线通信协议，并且建立与其他设备的通信连接。

成像单元26是用于捕获图像的相机模块。成像单元26使用诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)的成像元件来对真实空间进行成像并且生成捕获图像。由成像单元26生成的一系列捕获图像形成视频。注意，成像单元26不一定是装置20的一部分。例如，通过无线或有线连接与装置20连接的成像设备可以被运用为成像单元26。此外，成像单元26可以包括深度传感器，其针对每个像素测量成像单元26与主体之间的距离。从深度传感器输出的深度数据可以用于识别如稍后所述那样捕获的真实空间的图像中的环境。

传感器27可以包括各种传感器，例如定位传感器、加速度传感器或陀螺仪传感器。在传感器27中获取的测量结果可以用于各种目的，例如帮助识别所捕获的真实空间的图像中的环境、获取专用于地理位置的数据或者检测用户输入。注意，传感器27可以被设置在具有成像单元26的设备(在上述示例中为可穿戴终端12、平板式终端13、移动电话14、固定相机16等)中。

<关于信息处理装置的配置>

接下来，将针对如上所述由服务器11和客户端设备12至17独立操作或彼此协作实现的作为整体系统10的根据本实施方式的信息处理装置的功能来主要详细描述其配置。

这里，由根据本实施方式的信息处理装置50运用的捕获图像的类型不受特别限制，并且其可以是静止图像或运动图像。

此外，优选的是，由根据本实施方式的信息处理装置50运用的捕获图像是具有尽可能大的真实空间中的范围的捕获图像。因此，优选的是，用于对真实空间成像的成像设备是安装有具有尽可能大的角度的镜头的相机，例如图3中示意性示出的全周相机。

图3示意性地示出了在用于对真实空间成像的全周相机被实现为可穿戴终端12的情况下的配置。在图3所示的可穿戴终端12中，成像单元26(其是安装有具有尽可能大的角度的镜头的相机)被环形地设置以覆盖作为运动对象30的示例的人体头部的周围。此外，由于难以仅通过将成像单元26安装在人体头部的周围来获取天顶方向上的图像，因此在图3中，在头部的顶部也设置有成像单元26。此外，在可穿戴终端12中设置有各种传感器27，例如定位传感器、加速度传感器和陀螺仪传感器。从传感器27输出的与成像设备的视线(换句话说，成像设备的姿态)相关联的信息作为成像设备姿态信息(其是与成像设备的姿态相关联的信息)被输出至如稍后所述的信息处理装置并且在这种信息处理装置中被使用。

注意，在图3所示的示例中，示出了环形地布置成像单元26以获取全周捕获图像的情况。在另一方面，在信息处理装置50所运用的图像不一定是全周捕获图像的情况下，不必将成像单元26布置成环形形状，而是可以将成像单元26设置在人体头部的至少一部分处。用于实现如图3所示的可穿戴终端12的成像单元26的数目不受限制，并且可以根据获取图像的范围的程度来适当地设定单元数目。

此外，尽管图3示出了运动对象30是人的情况，但是运动对象30不限于人，而可以是佩戴可穿戴终端12的人以外的动物，或者可以是自推进体，例如其上安装有相机的机器人或飞行对象。

对由图3所示成像设备捕获的捕获图像执行各种类型的信息处理的信息处理装置50是执行使显示图像显示在用户观看的显示区域中的控制的装置，所述显示图像是基于从用户操作的用户操作设备获取的下述信息生成的：通过安装到在空间中运动的运动对象的成像设备进行成像而生成的图像信息、作为与成像设备的姿态相关联的信息的成像设备姿态信息以及用于识别用户期望观看的区域的用户观看信息。注意，成像设备姿态信息是例如与成像设备的旋转相关联的信息，并且用户观看信息可以是例如用于指定在由成像设备捕获的全周捕获图像中期望用户观看到的显示视角的信息。

如图4所示，例如，信息处理装置50至少包括作为控制单元的示例的显示控制单元51。此外，如图5所示，除了显示控制单元51之外，信息处理装置50还可以包括图像生成单元61、图像选择单元62、图像校正单元63、运动对象视线信息生成单元64、数据获取单元65、数据提供单元66以及存储单元67中的至少任何一者。这里，图4和图5所示的处理单元中的每个可以被实现在服务器11或客户端设备12至17中的任何一个设备中，或者可以通过将其分布于多个设备之中来实现。

注意，在以下描述中，描述了信息处理装置50执行对基于由成像设备捕获的捕获图像、成像设备姿态信息以及用户观看信息生成的显示图像的显示控制的情况。然而，不言自明的是，信息处理装置50可以基于用户观看信息和例如由成像设备或者与成像设备不同的另一设备和信息处理装置基于捕获图像和成像设备姿态信息生成的生成图像(例如，通过针对捕获图像预先对成像设备的姿态执行校正而获取的校正图像)来执行与以下类似的显示控制。

图像生成单元61使用由安装到在空间中运动的运动对象的成像设备捕获的捕获图像来生成通过对运动对象30所存在的位置的周围进行成像而获取的周围捕获图像。例如，当从图3所示的成像设备输出捕获图像时，在任何时间实时执行由图像生成单元61进行的对周围捕获图像的生成处理。

这里，在由图3所示的全周相机来捕获用于生成周围捕获图像的捕获图像的情况下，通过图像生成单元61整合捕获图像而生成的周围捕获图像是如图6所示的全周捕获图像(全向图像)81。注意，对于用于根据由多个相机捕获的多个捕获图像生成周围捕获图像的方法没有特别限制，并且可以应用已知方法。此外，全周捕获图像可以包括全向周围图像，其是作为不具有图像的竖直位置(上和下)的360度的周围捕获图像的柱状图像。

图像生成单元61可以不生成如图6所示的全周捕获图像(全向图像)81，而是生成图7所示的与全向图像相当的矩形图像91来作为周围捕获图像。可以通过例如用诸如等距柱面(equirectangular)投影的已知方法对全向图像81进行转换来生成等同于全向图像81的矩形图像91。通过使用图7所示的矩形图像91替代图6所示的全向图像81作为周围捕获图像，可以更容易地执行各种类型的图像处理。

图像选择单元62基于由图像生成单元61生成的周围捕获图像以及从用户操作的用户操作设备获取的用户观看信息(用户观看信息指示期望用户观看的空间)来从周围捕获图像中选择与用户观看信息对应的捕获图像作为用户观看图像。由图像选择单元62选择的用户观看图像被提供给用户操作的用户操作设备并且被提供以供用户观看。在图6和图7所示的示例中，例如，用户操作设备是由不同于运动对象30的用户82佩戴的诸如头戴式显示器的可穿戴终端12。因此，操作用户操作设备的用户可以与在特定空间中运动的运动对象30共享空间，并且可以独立于运动对象30选择出用户期望观看到的空间中的位置。因此，在运动对象30所存在的空间中，用户可以自由地选择在与运动对象30所观看到的位置不同的位置处的图像。

与其中频繁使用具有高计算成本的处理(例如验证图像之间的特征点)的空间再合成技术相比，这种对周围捕获图像的生成处理和根据周围捕获图像的图像选择处理需要较少的计算成本来执行处理。因此，能够执行这种处理的信息处理装置50可以实现使装置的大小和重量减小。

这里，通过由用户操作在用户操作设备上设置的诸如触摸板、键盘或鼠标的各种输入机构来生成由用户操作设备设定的用户观看信息并将其发送至图像选择单元62。在用户操作设备是如图6和图7所示的可穿戴终端12的情况下，可以通过利用可穿戴终端12中设置的各种传感器如定位传感器、加速度传感器或陀螺仪传感器自动检测用户行为(例如，用户的视线方向)来生成用户观看信息。此外，可以通过用户对用户操作设备的语音输入、手势输入等来生成这种用户观看信息。

如上所述，根据本实施方式的信息处理装置50设置有图像生成单元61和图像选择单元62，使得利用运动对象30(更具体地，成像设备)观看到的空间的图像(所谓的第一人称视点图像)被实时提供给用户(例如，图6和图7中的用户82)。这里，在第一人称视点图像中，可能发生屏幕剧烈抖动，这是由于环视运动对象30自身所存在的位置引起的。如果用户观看这种屏幕剧烈抖动，则用户有时会由于观看带有剧烈抖动的图像而感到“恶心”(晕动症)。因此，根据本实施方式的信息处理装置50还具有用于校正成像设备的上述旋转运动的校正功能。

图像校正单元63是基于成像设备姿态信息来对如上所述的伴随成像设备旋转运动的图像变化进行校正的处理单元。在成像设备的位置不改变而成像设备的视线方向已经改变(换句话说，在成像设备中发生旋转运动)的情况下，图像校正单元63针对周围捕获图像执行校正以用于抑制伴随着成像设备的视线方向变化的周围捕获图像的变化。

此外，图像校正单元63确定上述校正之后的稳定化图像(周围捕获图像)中是否存在缺损。图像校正单元63将作为确定结果的缺损信息(例如，是否存在缺损以及缺损的位置、范围、形状或数目)按原样或作为元数据提供给显示控制单元51和数据提供单元66。然后，图像校正单元63使得缺损信息被显示以向运动对象的用户建议缺损信息，或者使得缺损信息被显示以通过网络向服务器11或另一可穿戴设备12提供缺损信息以向用户建议缺损信息。此外，响应于来自任何用户的请求，图像校正单元63执行缺损补充处理并且校正周围捕获图像。注意，缺损补充处理可以由服务器11或另一可穿戴终端12执行。

运动对象视线信息生成单元64基于成像设备姿态信息生成指示成像设备的视线方向(位置)或视野的视线信息。例如，可以使用来自安装到运动对象的各种传感器的输出信息(换句话说，成像设备姿态信息)通过已知方向生成视线信息。通过将这样的视线信息与由图像生成单元61生成的周围捕获图像一起提供给用户，可以在提供给用户操作设备的用户观看图像中显示指示成像设备的视线方向(位置)或视野的对象。因此，用户可以在任何时间掌握成像设备的视线方向，同时观看到与成像设备的视线方向(位置)或视野不同的任何方向上的周围捕获图像。

显示控制单元51控制显示设备(例如在信息处理装置50中或信息处理装置50外部设置的显示器)的显示内容。具体地，显示控制单元51执行使显示图像显示在用户观看的显示区域中的控制，所述显示图像是基于从用户操作的用户操作设备获取的下述信息生成的：通过安装到在空间中运动的运动对象的成像设备进行成像而生成的图像信息、作为与成像设备的姿态相关联的信息的成像设备姿态信息以及用于识别用户期望观看的区域的用户观看信息。此外，例如，显示控制单元51可以执行对用户操作设备的显示屏幕的显示控制，以使得表示成像设备的视线方向和视野的对象显示在用户观看图像中。因此，用户可以在独立于运动对象30来选择视线方向的同时在任何时间掌握运动对象30的视线方向。

此外，显示控制单元51控制例如用于选择是否根据图像校正单元63的确定结果执行对缺损信息或缺损补充的显示的屏幕显示。在这种情况下，利用元数据，在每个区域都大于预定区域的情况下，可以改变并显示颜色，或者在所有缺损区域的比率大于预定比率的情况下，可以改变并显示颜色。

数据获取单元65获取从安装到运动对象30的成像设备输出的捕获图像数据以及包括关于成像设备的视线方向的传感器输出(换句话说，成像设备姿态信息)等的视线相关数据。此外，数据获取单元65获取与从用户操作设备输出的用户操作有关的数据。由数据获取单元65从各种设备获取的各种类型的数据可以被信息处理装置50的各个处理单元适当地使用。

数据提供单元66将由信息处理装置50生成的各种类型的数据(例如，捕获图像数据如周围捕获图像和用户观看图像，以及视线相关数据如成像设备的视线方向)提供给设置在信息处理装置50外部的设备。因此，即使在设置在信息处理装置50外部的设备中，也可以使用由信息处理装置50生成的各种类型的信息。

用于图像生成单元61、图像选择单元62、图像校正单元63、运动对象视线信息生成单元64、显示控制单元51、数据获取单元65和数据提供单元66中的处理的各种数据库被适当地记录在存储单元67中。此外，可以在存储单元67中适当地记录包括要用于由这些处理单元执行的各种类型的计算处理的应用的各种程序、在进行某些处理时需要保存的各种参数或处理进度等。

每个处理单元(例如图像生成单元61、图像选择单元62、图像校正单元63、运动对象视线信息生成单元64、显示控制单元51、数据获取单元65、数据提供单元66)可以自由地访问存储单元67并且写入和读取数据。

以上已经描述了根据本实施方式的信息处理装置50的功能的示例。上述每个部件可以使用通用构件和电路来配置，或者可以利用专用于每个部件的功能的硬件来配置。此外，部件的功能可以全部由cpu等执行。因此，可以根据实施本实施方式时的技术水平适当地改变要使用的配置。

注意，可以制造用于实现如上所述的根据本实施方式的信息处理装置的每个功能的计算机程序并将其安装在个人计算机等上。此外，可以设置其中存储有这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪速存储器等。此外，可以不使用记录介质而是例如经由网络来交付上述计算机程序。

此外，图5所示的图像生成单元61、图像选择单元62、图像校正单元63、运动对象视线信息生成单元64、数据获取单元65、数据提供单元66和存储单元67被安装在另一设备例如能够与信息处理装置50相互通信的计算机中，并且上述功能可以由信息处理装置50与另一设备彼此协作来实现。

接下来，将详细描述本技术。

在使用多个相机拍摄全向图像的情况下，每个相机图像的拍摄覆盖范围会由于相机之间的相对位置关系的变化等而改变，并且存在出现无法执行拍摄的地方的可能。具体地，这可能在使用相机(可穿戴相机)进行全向拍摄的情况下发生，所述相机可以安装在诸如如稍后所述的带有相机的头部支架101或者带有少量相机的头部支架的主体上。在该图像缺损状态下，由于获取了不完整图像作为所拍摄的全向影像，因此需要避免这种状态。

因此，在本技术中，

1.在拍摄和分发之前会通知存在缺损。

注意，通知是向正在拍摄的用户、服务器11(的管理者)、正在浏览的用户等发出的。

2.在由于某种原因不能执行1中的通知，并且在拍摄期间位置关系改变并且发生缺损的情况下，或者响应于来自上述用户中的任何用户的请求，通过对过去的视频帧进行图像稳定或合成来执行对图像缺损的补充。

<具体配置示例>

图8是示出在由包括两个鱼眼镜头的可穿戴终端12来实现用于对真实空间成像的全周图像相机的情况下的具体配置示例的框图。

在图8的示例中，可穿戴终端12包括带有相机的头部支架101和信息处理装置102。

带有相机的头部支架101被安装至作为运动对象30的示例的人体头部，并且在与左耳和右耳对应的位置的外侧具有作为成像单元26的相机121l和121r。相机121l和121r中的每个设置有具有大角度(例如，250度)的鱼眼镜头。相机121l和121r经由hdmi线缆连接至信息处理装置102的对应的图像获取单元65a-1至65a-5，并且将捕获图像分别提供给图像获取单元65a-1至65a-5。

信息处理装置102被配置成基本类似于图5中的信息处理装置50。然而，在图8的示例中省略了那些不直接相关的图示。换句话说，信息处理装置102包括图像生成单元61、作为数据获取单元65的一部分的图像获取单元65a-1至65a-6和操作信息获取单元65b、图像校正单元63、数据提供单元66和显示控制单元51。注意，在图8的示例中，如虚线所示，使用与带有相机的头部支架101中设置的相机121l和121r对应的图像获取单元65a-1和65a-2，而不使用剩余的单元。换句话说，根据相机的数目使用图像获取单元65a-1至65a-6。注意，相机的数目不限于两个或六个，并且可以是多个，只要可以对全周进行成像即可。

然后，例如，如图9所示，在相机121r中，鱼眼镜头沿水平长布置，其纵横比为9比16。通过相机121r，通过成像输入纵横比为9比16的水平长图像131r。在另一方面，在相机121l中，鱼眼镜头沿竖直长布置，其纵横比为16比9。通过相机121l，通过成像输入纵横比为16比9的竖直长图像131r。换句话说，图像131r的纵向方向和图像131l的纵向方向彼此交叉。注意，安装鱼眼镜头的纵横比可以与图9的示例中的左侧和右侧相反，例如，可以从相机121r输入竖直长图像131l并且可以从相机121l输入水平长图像131r。

图像获取单元65a-1从相机121r获取水平长图像131r，并将获取的图像131r的数据提供给图像生成单元61。图像获取单元65a-2从相机121l获取竖直长图像131l，并将获取的图像131l的数据提供给图像生成单元61。根据由显示控制单元51等控制的显示，操作信息获取单元65b获取根据触摸面板、操作单元24等的用户、服务器11的管理者(用户)或者不同于运动对象30的可穿戴终端12的用户82的操作等输入的操作信息。操作信息获取单元65b将获取的操作信息提供给稍后描述的图像校正单元63的缺损补充处理单元114。

例如，如图11所示，图像生成单元61使用水平长图像131r(图10)和竖直长图像131l(图10)按照用于棒球或网球的球类的拼接方法合成图像(图11中的矩形图像141)以生成相当于图12所示的全向图像的矩形图像(周围捕获图像)151。换句话说，水平长图像131r和竖直长图像131l分别连接至图像131r的纵向方向上的两个端部和图像131l的沿着图像131l的纵向方向延伸的两个端部。注意，在图11和图12的示例中，虚线的交点是用于显示矩形图像141和151的显示单元的中心。实际上，矩形图像141和151的拼接部分偏离显示单元的中心。视线经常存在于显示单元的中心处，并且当图像的拼接部分处于显示单元的中心时会存在不兼容感，因此上述偏差是为了避免这种情况。图像生成单元61将生成的矩形图像提供给图像校正单元63和数据提供单元66。

图像校正单元63包括旋转操作单元111、稳定化图像生成单元112、缺损确定单元113和缺损补充处理单元114。由图像生成单元61生成的矩形图像被提供给旋转操作单元111和稳定化图像生成单元112。

旋转操作单元111执行用于对伴随着带有相机的头部支架101的旋转运动的图像变化进行校正的操作，并将操作值提供给稳定化图像生成单元112。稳定化图像生成单元112通过使用来自旋转操作单元111的操作值来执行用于抑制旋转的稳定化处理以生成稳定化图像。换句话说，在带有相机的头部支架101中发生旋转运动的情况下，旋转操作单元111和稳定化图像生成单元112针对周围捕获图像执行校正以根据带有相机的头部支架101的视线方向的变化来抑制周围捕获图像的变化。带有相机的头部支架101中发生旋转运动的情况是带有相机的头部支架101的位置不改变而带有相机的头部支架101的视线方向已经改变的情况等。稳定化图像生成单元112将生成的稳定化图像提供给缺损确定单元113和数据提供单元66。

缺损确定单元113确定在来自稳定化图像生成单元112的稳定化图像(图13中的图像171)上是否存在执行稳定化处理之后出现的缺损部分(图13中的缺损部分181)。缺损确定单元113提供关于稳定化图像是否存在缺损的确定结果，并且在存在缺损部分的情况下将与缺损相关联的信息例如对缺损部分的位置的指示提供给缺损补充处理单元114和显示控制单元51。注意，与图11和图12的示例不同，在图13的图像171中，例如，被表示为圆形区域的一个图像(竖直长图像131r)的中心区域对应于佩戴用户的视线方向。合成图像的方法不限于图11和12中的方法，也可以如图13那样合成图像。

根据由显示控制单元51等控制的显示，缺损补充处理单元114从操作信息获取单元65b获取根据触摸面板、操作单元等的用户、服务器11的管理者(用户)或者不同于运动对象30的可穿戴终端12的用户82的操作等输入的操作信息。根据所获取的操作信息，缺损补充处理单元114对来自稳定化图像生成单元112的被确定为有缺损的稳定化图像执行缺损补充处理。缺损补充处理单元114将已经进行缺损补充的图像提供给数据提供单元66。

显示控制单元51控制对关于稳定化图像是否存在缺损的确定结果的显示，并且在存在缺损部分的情况下控制对关于缺损的缺损信息(例如缺损部分的大小、形状、数目或位置的指示)的显示。此外，显示控制单元51还控制用于选择是否执行缺损补充的屏幕显示等。

数据提供单元66根据需要将稳定化图像和来自旋转操作单元111的操作值发送至服务器11，并且将这些提供给信息处理系统10的用户。注意，可以将关于缺损的缺损信息例如对缺损部分的大小、形状、数目或位置的指示与稳定化图像一起作为元数据进行发送，或者可以突出显示缺损部分，此外，可以将突出显示的缺损部分作为叠加数据进行发送。

<操作示例>

接下来，将参照图16的流程图描述可穿戴终端12的图像处理。

在步骤s11中，图像获取单元65a-1从相机121r获取水平长图像131r，并且将获取的图像131r的数据提供给图像生成单元61。图像获取单元65a-2从相机121l获取竖直长图像131l，并将获取的图像131l的数据提供给图像生成单元61。

在步骤s12中，图像生成单元61根据从图像获取单元65a-1和65a-2获取的图像中的每个来生成全向图像(以及等同于全向图像的矩形图像)。图像生成单元61将生成的全向图像提供给图像校正单元63和数据提供单元66。

在步骤s13中，旋转操作单元111和稳定化图像生成单元112对由图像生成单元61生成的全向图像执行稳定化处理。换句话说，旋转操作单元111执行用于对伴随着带有相机的头部支架101的旋转运动的图像变化进行校正的操作，并将操作值提供给稳定化图像生成单元112。稳定化图像生成单元112通过使用来自旋转操作单元111的操作值来执行用于抑制旋转的稳定化处理以生成稳定化图像。稳定化图像生成单元112将生成的稳定化图像提供给缺损确定单元113和数据提供单元66。

缺损确定单元113确定来自稳定化图像生成单元112的稳定化图像(图13中的图像171)中是否存在缺损。这里，将详细描述对缺损的检测。注意，尽管在带有相机的头部支架101中设置了两个相机，但是将以拼接(缝合和合成)n个相机图像的情况作为示例。

图像生成单元61根据每个相机图像来估计n个参数(相机的空间位置和方向)，并且执行从每个相机图像到全向图像上的各个图像的转换和合成。此时，对相机参数的估计包括在拍摄之前执行一次参考相机参数以在此后执行合成的方法以及实时估计相机参数的方法。

在确定了这些相机参数序列c(n)中的每个的位置关系时，可以指定相机可以覆盖的范围，使得缺损确定单元113根据相机参数序列c(1...n)来确定是否存在缺损。

替选地，在执行合成和转换为全向图像之后，缺损确定单元113检查全向图像中的像素在时间方向上的变化。在产生缺损的情况下，由于未提供来自相机图像的像素数据，因此全向图像中的像素不会从初始颜色状态改变。缺损确定单元113将该部分检测为缺损区域(缺损部分)。

上述方法中的任何一种都可用于检测缺损区域。

在步骤s14中确定存在缺损的情况下，处理进行至步骤s15。此时，缺损确定单元113提供关于稳定化图像是否存在缺损的确定结果，并且将与缺损相关联的信息例如对缺损部分的位置的指示提供给缺损补充处理单元114和显示控制单元51。

在步骤s15中，显示控制单元51控制对关于缺损的缺损信息的显示并且向用户通知缺损信息。例如，尽管未示出，但是可穿戴终端12具有腕表型显示单元23和操作单元24，并且该可穿戴终端12被佩戴在作为运动对象30的用户手臂上。此时，在显示单元23上，对缺损补充处理的建议的显示也与缺损信息一起被控制，并且经由操作信息获取单元65b输入来自用户操作的操作单元24的操作信息。

在步骤s16中，缺损补充处理单元114确定是否补充缺损。在步骤s16中确定补充缺损的情况下，处理进行至步骤s17。

在步骤s17中，缺损补充处理单元114执行缺损补充处理。这里，稳定化图像具有下述特征。

在图14的示例中示出了具有缺损部分181的稳定化图像191，并且在图15的示例中示出了具有缺损部分181的稳定化图像201。在比较图14与图15时，空间对象不移动但缺损部分181移动。

换句话说，稳定化图像是相对于包括静止状态的环境的固定图像。也就是说，即使图像根据相机的物理姿态而变化，图像本身也不会改变。另一方面，在产生图像缺损的情况下，在稳定化之前的图像中缺损部分不会移动。然而，在执行稳定化处理之后，缺损部分根据相机的物理姿态而移动。

缺损补充处理单元114利用这种属性来执行缺损补充处理。具体地，全向图像格式(例如，等距柱面投影)的图像的过去帧图像的平均图像被保留在内置存储器(图5中的存储单元67)中。在进行缺损补充处理时对应像素是缺损区域的情况下，缺损补充处理单元114参考并使用过去帧中保留的像素信息。

注意，可以通过简单的平均图像、纹理的补充、对象图像的补充以及图像中的光流来生成用于使用过去帧进行补充的帧。

此外，在估计出缺损区域的情况下，如果该区域本身被合成为区域界面，则接合处变得清晰。因此，对于缺损区域，作为示例，在对图像应用膨胀(延迟)处理之后，在区域边界处对用于补充的像素和原始像素进行α混合，由此可以使接合处变得平滑。

对于上述缺损补充处理，如稍后将参照图17描述的，通过步骤s17的处理生成缺损补充之后的图像。缺损补充处理单元114将已经进行缺损补充的图像提供给数据提供单元66。因此，图像处理终止。

在另一方面，在步骤s14中确定不存在缺损的情况下，确定结果(无缺损)被提供给缺损补充处理单元114和显示控制单元51，并且图像处理终止。在这种情况下，从数据提供单元66发送来自稳定化图像生成单元112的稳定化图像。

在步骤s16中确定不补充缺损的情况下，图像处理终止。在这种情况下，例如，从数据提供单元66发送来自稳定化图像生成单元112的稳定化图像和缺损信息。

接下来，将参照图17的流程图描述缺损补充处理。缺损补充处理单元114在步骤s31中执行缺损区域估计。在进行缺损区域估计时，例如，使用与上述缺损检测相同的方法。

在步骤s32中，缺损补充处理单元114执行对所估计的缺损区域的过去图像平均处理。在步骤s33中，缺损补充处理单元114通过使用在步骤s32中平均的平均图像对估计的缺损区域执行合成处理。

这里，在图18的示例中示出了具有缺损部分221和222的稳定化图像211，并且在图19的示例中示出了已补充缺损部分的稳定化图像231。

如上所述，根据如图18所示的具有缺损部分221和222的稳定化图像211来估计缺损区域，对估计的缺损区域执行缺损补充，并且获取如图19所示的没有缺损的稳定化图像231。

注意，可以将缺损补充数据作为叠加(层)数据与稳定化图像一起分发以使得可以选择在观看者侧观看经补充的图像还是观看未经补充的图像。

可以根据缺损部分的大小、形状和数目来执行对于是否执行上述缺损补充处理的控制。例如，在缺损部分的大小大于预定大小的情况下、形状不是预定形状的情况下、数目大于预定数目的情况下等，考虑执行了缺损补充处理或者用于缺损补充处理的处理参数被改变的示例。

此外，可以通过网络执行缺损补充处理的存在或不存在。换句话说，在服务器11或另一可穿戴终端12的显示单元23上显示关于是否应该执行缺损信息或缺损补充处理的选择屏幕以执行通知，并且可以响应于其中的指令来执行缺损补充处理。此外，可以在拍摄侧、服务器或另一用户侧执行上述缺损补充处理。

如上所述，根据本技术，可以在交付图像之前掌握图像中的缺损。此外，由于可以决定是否执行缺损补充，因此可以根据用户对于图像中缺损的偏好来执行处理。

注意，在以上描述中，作为对用户的通知，已经描述了其中对图像的缺损信息和缺损补充处理的建议进行显示控制的示例，但是通知的方法不限于显示，并且缺损信息和对缺损补充处理的建议可以被语音控制。替选地，可以根据用户的操作动态地改变区域的显示以使得不仅突出显示缺损部分而且还突出显示经过补充处理的区域。

注意，在上述缺损补充处理中，在图像中的对象是动物体的情况下，无法获得期望的结果。因此，在检测到动物体或是静止对象之后，确定是否执行处理，并且然后可以仅在其是静止对象的情况下执行缺损补充处理，并且可以在动物体的情况下禁止进行缺损补充处理。

此外，在相机剧烈运动的情况下也无法获得对于缺损补充处理的期望结果。因此，例如，确定相机是否正在比预定运动速度更快地平移，并且在相机比预定运动速度更快地平移时可以禁止进行缺损补充处理，并且在运动速度比预定运动速度慢时可以执行缺损补充处理。注意，如果相机的运动仅是旋转，则可以执行缺损补充处理。本技术中的缺损补充处理往往易受外部环境变化和平移运动的影响。

注意，如上所述，本技术应用于通过将多个图像组合在一起进行稳定化而获得的全周捕获图像的缺损部分，但是本技术也可以应用于例如由于缺损部分不能被相机的拍摄范围覆盖这一事实而产生的缺损部分。

此外，本技术也可以应用于多个相机中的任何一个由于故障等而无法获取图像(将其视为缺损)的情况。

注意，本技术可以应用于具有部件固定机构(钻头体)作为上述带有相机的头部支架101的相机，或者相机之间的位置关系灵活并且拼接参数实时改变以执行相机图像合成的相机。

此外，除以上所述之外，本技术还可以应用于例如布置在能够获取周围视图的车辆中的多个相机、能够通过在旋转时被抛起以进行拍摄的球形相机(其中多个相机被布置在球形壳体中)等。此外，可以对设置在车辆中的侧相机、前相机和后相机中的至少两个进行组合。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序进行处理的程序，或者可以是并行处理的程序或者在必要阶段如进行调用时进行处理的程序。

此外，在本说明书中，描述要记录在记录介质上的程序的步骤除了根据所描述的顺序按时间顺序执行的处理之外还包括不按时间顺序处理而是并行或单独执行的处理。

此外，在本说明书中，术语“系统”指的是包括多个设备的整个设备。

例如，在本公开内容中，可以采用云计算配置，其中由多个设备经由网络共享并协作处理一个功能。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序进行处理的程序，或者可以是并行处理的程序或者在必要阶段如进行调用时进行处理的程序。

此外，在本说明书中，描述要记录在记录介质上的程序的步骤除了根据所描述的顺序按时间顺序执行的处理之外还包括不按时间顺序处理而是并行或单独执行的处理。

此外，在本说明书中，术语“系统”指的是包括多个设备的整个设备。

例如，在本公开内容中，可以采用云计算配置，其中由多个设备经由网络共享并协作处理一个功能。

此外，在上文中被描述为一个设备(或处理单元)的配置可以被划分并被配置为多个设备(或处理单元)。相反，在上文中被描述为多个设备(或处理单元)的配置可以被集成并被配置为一个设备(或处理单元)。此外，当然，可以将除上述配置之外的配置添加到每个设备(或每个处理单元)的配置中。此外，在整个系统的配置和操作大致相同时，某个设备(或处理单元)的部分配置可以被包括在另一设备(或另一处理单元)的配置中。也就是说，本技术不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

尽管已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容不限于这些示例。明显的是，具有本公开内容所属的技术领域中的普通知识的人员可以在权利要求书中描述的技术构思的范围内设想出各种变型和修改，并且显然可以理解的是，这些变型和修改属于本公开内容的技术范围。

注意，本技术可以采用下述配置。

(1)一种信息处理装置，包括：

缺损确定单元，其确定通过多个成像设备进行成像而生成的图像中是否存在缺损；以及

通知控制单元，其控制与所述缺损确定单元对是否存在所述缺损的确定结果相对应的通知。

(2)根据上述(1)中所述的信息处理装置，其中，

所述通知控制单元控制关于是否存在所述缺损的确定结果的通知显示。

(3)根据上述(2)中所述的信息处理装置，其中，

在确定存在缺损的情况下，所述通知控制单元使得突出显示所述缺损。

(4)根据上述(3)中所述的信息处理装置，其中，

所述缺损确定单元获取稳定化图像，在所述稳定化图像中抑制了与所述成像设备的姿态变化相对应的所述图像的变化，并且

所述通知控制单元使得所述缺损的突出显示的位置在所述稳定化图像中动态地改变。

(5)根据上述(1)中所述的信息处理装置，其中，

在确定存在缺损的情况下，所述通知控制单元控制所述缺损的大小、形状或数目中的至少一个的通知。

(6)根据上述(1)或(5)所述的信息处理装置，其中，

在确定存在所述缺损的情况下，所述通知控制单元控制用于选择是否补充所述缺损的通知。

(7)根据上述(1)至(6)中任一项所述的信息处理装置，其中，

所述多个成像设备是第一可穿戴相机和第二可穿戴相机。

(8)根据上述(7)中所述的信息处理装置，其中，

由所述第一可穿戴相机获取的第一图像的纵向方向和由所述第二可穿戴相机获取的第二图像的纵向方向彼此交叉。

(9)根据上述(8)中所述的信息处理装置，其中，

所述第一图像的中心区域与佩戴所述信息处理装置的用户的视线方向相对应地布置。

(10)根据上述(8)中所述的信息处理装置，其中，

所述第一图像的纵向方向的两个端部分别与沿着所述第二图像的纵向方向延伸的所述第二图像的两个端部连接。

(11)根据上述(1)至(10)中任一项所述的信息处理装置，还包括：

缺损补充处理单元，其根据用户的操作在确定存在所述缺损的情况下执行对所述缺损的补充处理。

(12)根据上述(8)中所述的信息处理装置，其中，

所述通知控制单元使得已经执行了缺损补充处理的图像的区域根据所述用户的操作而突出显示。

(13)根据上述(11)中所述的信息处理装置，其中，

所述用户是经由网络连接的其他信息处理装置的用户。

(14)根据上述(1)至(13)中任一项所述的信息处理装置，还包括：

发送单元，其经由网络发送关于是否存在所述缺损的确定结果。

(15)根据上述(14)中所述的信息处理装置，其中，

在确定存在所述缺损的情况下，所述发送单元经由所述网络发送所述缺损的大小、形状或数目中的至少一个的缺损信息作为元数据。

(16)一种信息处理方法，其中，

信息处理装置执行下述操作：

确定通过多个成像设备进行成像而生成的图像中是否存在缺损，以及

控制与是否存在所述缺损的确定结果相对应的通知。

(17)一种程序，所述程序使计算机用作：

缺损确定单元，其确定通过多个成像设备进行成像而生成的图像中是否存在缺损；以及

通知控制单元，其控制与所述缺损确定单元对是否存在所述缺损的确定结果相对应的通知。

附图标记列表

10系统

11服务器

12可穿戴终端(客户端设备)

20装置

26成像单元

27传感器

30运动对象

50信息处理装置

51显示控制单元

61图像生成单元

63图像校正单元

65数据获取单元

65a-1至65a-5图像获取单元

65b操作信息获取单元

66数据提供单元

82用户

101带有相机的头部支架

102信息处理装置

111旋转操作单元

112稳定化图像生成单元

113缺损确定单元

114缺损补充处理单元

121l、121r相机