图像调整系统、图像调整装置以及图像调整方法与流程

1.本发明涉及图像调整系统、图像调整装置以及图像调整方法。


背景技术：

2.近年来，头戴显示装置作为图像显示装置而受到关注。头戴显示装置通过在佩戴于使用者的头部的状态下显示图像，从而使用者能够得到进入到虚拟空间这样的感觉(身临其境的感觉)。如专利文献1所记载的那样，头戴显示装置能够经由网络显示由外部的相机拍摄的图像。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2005
‑
56295号公报。


技术实现要素：

6.但是，在以往的头戴显示装置中，根据所显示的图像难以检测图像的水平方向，存在弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，存在水平或顶部的指定发生偏差的情况。当弄错图像的水平方向而进行了检测、或者水平或顶部的指定发生偏差时，由于显示的图像与使用者的重力感觉不一致，因此使用者感到不协调。
7.本发明的目的在于提供一种图像调整系统、图像调整装置以及图像调整方法，能够在弄错图像的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，简单地对图像的水平或顶部进行校正。
8.本实施方式涉及的图像调整系统包括：相机；图像调整装置，调整所述相机拍摄的拍摄图像；图像显示装置，显示由所述图像调整装置调整后的所述拍摄图像；以及控制器，向所述图像调整装置输出指示信息。所述图像调整装置具有：图像生成部，生成球面状图像；以及图像处理部，基于所述指示信息从所述图像生成部获取所述球面状图像并显示在所述图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整显示在所述图像显示装置上的所述拍摄图像。
9.本实施方式涉及的图像调整装置包括：图像生成部，生成球面状图像；以及图像处理部，基于从控制器获取的指示信息从所述图像生成部获取所述球面状图像并显示在图像显示装置上，基于所述指示信息使所述球面状图像旋转，并与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
10.在本实施方式涉及的图像调整方法中，图像处理部从控制器获取指示信息。所述图像处理部基于所述指示信息从图像生成部获取球面状图像。图像显示装置显示所述球面状图像。所述图像处理部基于所述指示信息使所述球面状图像旋转。所述图像处理部与所述球面状图像的旋转对应地调整拍摄图像，所述拍摄图像是由相机拍摄并显示在所述图像显示装置上的图像。
11.根据本实施方式的图像调整系统、图像调整装置以及图像调整方法，在弄错图像
的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，能够简单地校正图像的水平或顶部。
附图说明
12.图1是示出第一实施方式的图像调整系统的结构图；
13.图2是示出球面状图像与使用者之间的关系的图；
14.图3是示出第一实施方式的图像调整方法的一例的流程图；
15.图4是是示出第二实施方式的图像调整系统的结构图；
16.图5是示出针对每个使用者的校正值的分布的一例的图；
17.图6是示出第二实施方式的图像调整方法的一例的流程图；
18.图7是示出第二实施方式的图像调整方法的一例的流程图；
19.图8是示意性地示出相机处于移动的状态下的使用者与水平面之间的关系的图；
20.图9是示出壁面的一例的图；
21.图10a是示出第三实施方式的图像调整方法的一例的流程图；
22.图10b是示出第三实施方式的图像调整方法的一例的流程图；
23.图11是示出第四实施方式的图像调整方法的一例的流程图；
24.图12a是在图像显示装置中显示的图像的一例的图；
25.图12b是图12a所示的图像被进行了水平调整的状态的图。
具体实施方式
26.下面，参照附图对本发明的实施方式进行说明。此外，在以下的附图描述中，对于相同或者相似的部分标注相同或者相似的符号。当在各实施方式中仅说明构成的一部分的情况下，对于该构成的其他部分，能够应用前面说明的其他的实施方式的构成。
27.[第一实施方式]
[0028]
使用图1对第一实施方式的图像调整系统的构成例进行说明。图像调整系统101包括相机102、通信部103、图像显示装置104、控制器105以及图像调整装置110。图像调整装置110具有图像处理部111、图像生成部112以及通信部113。
[0029]
相机102是能够拍摄360度范围的全方位相机(360度相机)。通信部103与通信部113经由网络连接。图像调整装置110能够经由通信部103和113以及网络获取相机102拍摄的拍摄图像im1。
[0030]
作为图像调整装置110可以使用计算机设备。作为图像处理部111以及图像生成部112可以使用cpu。图像生成部112以及通信部113可以设置在图像调整装置110的外部。
[0031]
图像调整装置110获取的拍摄图像im1被输入到图像处理部111。图像处理部111通过解析拍摄图像im1识别拍摄图像im1中的水平方向。图像处理部111通过解析拍摄图像im1，可以识别拍摄图像im1中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置110执行校正拍摄图像im1的失真、调整拍摄图像im1的例如水平方向等的图像处理，并将图像处理后的拍摄图像im1输出到图像显示装置104。
[0032]
图像显示装置104显示由图像调整装置110进行了图像处理的拍摄图像im1。图像显示装置104例如是头戴显示装置。控制器105例如是用于vr(virtual reality，虚拟现实)
等的球形控制器。
[0033]
图2示意性地示出图像显示装置104佩戴于使用者us的头部、控制器105佩戴在使用者us的手上的状态。图2所示的符号ze示出顶部。优选相机102的顶部与使用者us的顶部一致。使用者us通过在其头部佩戴图像显示装置104，能够看到由图像调整装置110进行了图像处理后的拍摄图像im1。
[0034]
图像显示装置104在被佩戴于使用者us的头部的状态下，基于使用者us朝向的方向以及使用者us的姿势等状态生成姿势信息pn1。图像处理部111从图像显示装置104获取姿势信息pn1。即，图像处理部111基于图像显示装置104的姿势获取姿势信息pn1。图像处理部111基于姿势信息pn1并根据相机102所拍摄的拍摄图像im1，在图像显示装置104中显示与使用者us朝向的方向以及使用者us的姿势等状态对应的区域的图像。
[0035]
控制器105在佩戴于使用者us的手上的状态下，基于使用者us的手的动作或姿势、或者使用者us的手指的动作或姿势等状态生成指示信息nn1。以下，将手或手指简记为手。图像处理部111从控制器105获取指示信息nn1。图像处理部111能够基于指示信息nn1改变或调整显示在图像显示装置104上的拍摄图像im1。
[0036]
图像生成部112生成球面状图像vss1，所述球面状图像vss1是由作为cg(computer graphics，计算机图形)的球面构成的虚拟图像。图像生成部112将球面状图像vss1保存在内置存储器或者外部存储器中。
[0037]
图像处理部111基于指示信息nn1从图像生成部112获取球面状图像vss1，并显示在图像显示装置104中。图2示意性地示出在图像显示装置104佩戴于使用者us的头部的状态下使用者us观看图像显示装置104中显示的球面状图像vss1时的使用者us的影像。
[0038]
当在图像显示装置104佩戴于使用者us的头部的状态下，使用者us观看在图像显示装置104中显示的球面状图像vss1时，球面状图像vss1被设定为配置在使用者us以及图像显示装置104的周围、且显示在使用者us的手能触到球面状图像vss1的范围。使用者us使佩戴有控制器105的手移动到与被图像显示装置104显示的球面状图像vss1对应的位置，由此使用者us的手感觉到与球面状图像vss1接触。
[0039]
控制器105可以在与使用者us的手接触的部分配置致动器。图像处理部111在基于指示信息nn1判断为使用者us的手移动到与球面状图像vss1对应的位置时使致动器工作。通过致动器对使用者us的手施加压力，使用者us能够得到其手与球面状图像vss1接触的感觉作为真实感觉。
[0040]
在球面状图像vss1被图像显示装置104显示的状态下，在使用者us使佩戴有控制器105的手向任意的方向移动的情况下，图像处理部111基于指示信息nn1执行图像处理，使得被图像显示装置104显示的球面状图像vss1和拍摄图像im1与使用者us的手的移动方向、移动速度以及移动目的地的位置对应地移动。
[0041]
使用者us通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像vss1在任意的方向以任意的速度向任意的位置旋转。即，使用者us能够通过其手的动作使球面状图像vss1旋转。图像处理部111与球面状图像vss1的旋转对应地使拍摄图像im1移动。
[0042]
图像处理部111能够判定使用者us使球面状图像vss1旋转前的顶部ze由于使用者us使球面状图像vss1旋转而向球面状图像vss1的坐标上的哪个位置进行了移动。图像处理
部111基于球面状图像vss1的坐标上的顶部ze的移动方向以及移动目的地的位置，计算使用者us使球面状图像vss1旋转前与旋转后的球面状图像vss1的变化量。
[0043]
所谓球面状图像vss1的变化量相当于在球面状图像vss1中合成将x轴设为旋转轴的旋转量(旋转角度)、将y轴设为旋转轴的旋转量(旋转角度)、将z轴设为旋转轴的旋转量(旋转角度)而得的球面状图像vss1的旋转量(旋转角度)。图像处理部111将球面状图像vss1的变化量保存为校正值cv1。即，校正值cv1基于球面状图像vss1的旋转方向、以及顶部ze的移动量或者移动角度、即球面状图像vss1的旋转角度而计算出。
[0044]
图像处理部111可以将使用者us使球面状图像vss1旋转后的顶部ze的球面状图像vss1上的坐标保存为校正值cv1。图像处理部111将校正值cv1保存在内置存储器或者外部存储器。
[0045]
图像处理部111检测拍摄图像im1的水平方向。但是，图像处理部111有时难以由拍摄图像im1检测出其水平方向，会弄错水平方向而进行检测。另外，由于系统的同步等问题，存在水平或顶部的指定发生偏差的情况。当弄错拍摄图像im1的水平方向而进行检测、或者水平或顶部的指定发生偏差时，由于被图像显示装置104显示的拍摄图像im1与使用者us的重力感觉不一致，因此使用者us感觉不协调。
[0046]
使用图3所示的流程图，对第一实施方式的图像调整方法的一例进行说明。具体地，对调整拍摄图像im1的水平的方法的一例进行说明。图像显示装置104佩戴于使用者us的头部，控制器105佩戴于使用者us的手上。在图像显示装置104上显示有拍摄图像im1。
[0047]
在使用者us判断为被图像显示装置104显示的拍摄图像im1不是水平的情况下，在图3中，通过使用者us操作控制器105，在步骤s101中，图像处理部111使图像显示装置104显示设定画面。使用者us操作控制器105，并选择显示在设定画面上的预定项目(例如水平调整的项目)，由此在步骤s102中，图像处理部111向与所选择的项目对应的预定的处理模式转移处理。在选择了水平调整的项目的情况下，图像处理部111向用于调整拍摄图像im1的水平的处理模式、即水平调整模式转移处理。
[0048]
在步骤s103中，图像处理部111从图像生成部112获取球面状图像vss1，并显示在图像显示装置104上。图像显示装置104混合拍摄图像im1与球面状图像vss1进行显示。使用者us使球面状图像vss1旋转使得拍摄图像im1为水平，由此在步骤s104中图像处理部111使被图像显示装置104显示的拍摄图像im1与球面状图像vss1的旋转对应地移动。使用者us可以多次进行使球面状图像vss1旋转的动作，直到拍摄图像im1为水平。
[0049]
使用者us在判断为拍摄图像im1成为水平的情况下操作控制器105，由此在步骤s105中图像处理部111使图像显示装置104显示设定画面。将被图像显示装置104显示的拍摄图像im1设为水平，由此能够使相机102的顶部与使用者us的顶部一致。
[0050]
使用者us操作控制器105，并选择显示在设定画面上的预定项目、例如结束项目，由此在步骤s106中图像处理部111向与选择出的项目对应的预定的处理模式转移处理。在选择了结束项目的情况下，图像处理部111向用于结束水平调整的处理模式、即结束模式转移处理。
[0051]
在步骤s107中，图像处理部111获取球面状图像vss1旋转前与旋转后的旋转量(旋转角度)作为球面状图像vss1的变化量。在步骤s108中，图像处理部111保存球面状图像vss1的变化量作为校正值cv1，并结束处理。
[0052]
在第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法中，使图像显示装置104显示球面状图像vss1。根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在弄错拍摄图像im1的水平方向而进行检测、或者水平或顶部ze的指定发生偏差的情况下，使用者us通过操作控制器105而使球面状图像vss1旋转，能够进行调整，使得被图像显示装置104显示的拍摄图像im1变为水平。
[0053]
因此，根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在弄错拍摄图像im1的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况下，使用者us能够简单地校正拍摄图像im1的水平或顶部。
[0054]
根据第一实施方式的图像调整系统101、图像调整装置110以及图像调整方法，在保存有校正值cv1的情况下，图像处理部111能够读出校正值cv1，并基于校正值cv1对相机102所拍摄的拍摄图像im1进行图像调整，并在图像显示装置104中进行显示。
[0055]
[第二实施方式]
[0056]
使用图4对第二实施方式的图像调整系统的构成例进行说明。图像调整系统201包括相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像调整装置210具有图像处理部211、图像生成部212以及通信部213。
[0057]
相机202、通信部203、图像显示装置204、控制器205以及图像调整装置210分别相当于第一实施方式的相机102、通信部103、图像显示装置104、控制器105以及图像调整装置110。图像处理部211、图像生成部212以及通信部213分别相当于第一实施方式的图像处理部111、图像生成部112以及通信部113。
[0058]
图像调整装置210能够经由通信部203、213以及网络获取相机202所拍摄的拍摄图像im2。服务器206经由网络和通信部203与相机202连接，并经由网络和通信部213与图像调整装置210连接。
[0059]
服务器206经由通信部203和网络获取相机202所拍摄的拍摄图像im2，图像调整装置210可以从服务器206经由网络和通信部213获取拍摄图像im2。
[0060]
图像调整装置210获取的拍摄图像im2被输入到图像处理部211。图像处理部211通过解析拍摄图像im2来识别拍摄图像im2中的水平方向。图像处理部211通过解析拍摄图像im2，可以识别拍摄图像im2中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置210执行校正拍摄图像im2的失真、调整拍摄图像im2的例如水平等的图像处理，将图像处理后的拍摄图像im2输出到图像显示装置204。图像显示装置204显示由图像调整装置210进行了图像处理的拍摄图像im2。
[0061]
服务器206可以执行校正相机202所拍摄的拍摄图像im2的失真、调整拍摄图像im2的例如水平等的图像处理，并将进行图像处理后的拍摄图像im2输出到图像调整装置210。使用者us通过在其头部佩戴图像显示装置204，能够观看由图像调整装置210或者服务器206进行了图像处理后的拍摄图像im2。
[0062]
图像显示装置204在佩戴于使用者us的头部的状态下，基于使用者us朝向的方向以及使用者us的姿势等状态生成姿势信息pn2。图像处理部211从图像显示装置204获取姿势信息pn2。即，图像处理部211基于图像显示装置204的姿势获取姿势信息pn2。图像处理部211基于姿势信息pn2并根据相机202所拍摄的拍摄图像im2，将与使用者us朝向的方向以及使用者us的姿势等状态对应的区域的图像显示在图像显示装置204上。
[0063]
控制器205在佩戴在使用者us的手上的状态下基于使用者us的手的动作或姿势等状态生成指示信息nn2。图像处理部211从控制器205获取指示信息nn2。图像处理部211能够基于指示信息nn2改变或调整显示在图像显示装置204上的图像。
[0064]
图像生成部212生成球面状图像vss2，所述球面状图像vss2是由作为cg的球面构成的虚拟图像。图像生成部212将球面状图像vss2保存在内置存储器或外部存储器中。
[0065]
图像处理部211基于指示信息nn2从图像生成部212获取球面状图像vss2，并在图像显示装置204中进行显示。球面状图像vss2相当于第一实施方式的球面状图像vss1。使用者us使佩戴有控制器205的手移动到与图像显示装置204中显示的球面状图像vss2对应的位置，由此使用者us的手感觉到正与球面状图像vss2接触。
[0066]
控制器205可以在与使用者us的手接触的部分配置致动器。图像处理部211在基于指示信息nn2判断为使用者us的手移动到与球面状图像vss2对应的位置的情况下使致动器工作。通过致动器对使用者us的手施加压力，使用者us能够得到其手与球面状图像vss2接触的感觉而作为实际感觉。
[0067]
当在球面状图像vss2显示在图像显示装置204的状态下，使用者us使佩戴有控制器205的手向任意的方向移动的情况下，图像处理部211基于指示信息nn2执行图像处理，使得显示在图像显示装置204的球面状图像vss2和拍摄图像im2与使用者us的手的移动方向、移动速度以及移动目的地的位置对应地移动。
[0068]
使用者us通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像vss2在任意的方向在任意的速度向任意的位置旋转。即，使用者us能够通过其手的动作使球面状图像vss2旋转。图像处理部211使拍摄图像im2与球面状图像vss2的旋转对应地移动。
[0069]
图像处理部211能够判定使用者us使球面状图像vss2旋转前的顶部ze由于使用者us使球面状图像vss2旋转而向球面状图像vss2的坐标上的哪个位置进行了移动。图像处理部211基于球面状图像vss2的坐标上的顶部ze的移动方向以及移动目的地的位置，计算使用者us使球面状图像vss2旋转前与旋转后的球面状图像vss2的变化量。球面状图像vss2的变化量相当于第一实施方式的球面状图像vss1的变化量。
[0070]
图像处理部211将球面状图像vss2的变化量作为校正值cv2，经由通信部213以及网络输出到服务器206。即，校正值cv2基于球面状图像vss2的旋转方向和顶部ze的移动量或移动角度(球面状图像vss2的旋转角度)而计算出。图像处理部211可以将使用者us使球面状图像vss2旋转后的顶部ze的球面状图像vss2上的坐标作为校正值cv2向服务器206输出。
[0071]
服务器206可以经由网络以及通信部213从图像调整装置210获取校正值cv2。服务器206将校正值cv2与使用者us或者图像显示装置204建立关联而保存在内置存储器或者外部存储器。
[0072]
图像处理部211检测拍摄图像im2的水平方向。但是，图像处理部211根据拍摄图像im2难以检测其水平方向，存在会弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，有时水平或顶部的指定会发生偏差。当拍摄图像im2的水平方向弄错而进行检测、或者水平或顶部的指定发生偏差时，由于显示在图像显示装置204上的拍摄图像im2与使用者us的重力感觉不一致，因此使用者us感觉不协调。
[0073]
在使用者us将图像显示装置204佩戴于头部的情况下，头部的形状以及图像显示装置204的佩戴状态根据使用者us而不同。因此，在图像显示装置204上显示的拍摄图像im2的水平方向有时根据使用者us而不同。在图像显示装置204上显示的拍摄图像im2的水平方向有时根据使用者us的主视眼而不同。因此，校正值cv2有时根据使用者us而不同。
[0074]
图5示意性地示出按照每个使用者us的校正值cv2的分布。图5示意性地示出从使用者us的上方观看球面状图像vss2的状态。图5所示的前表示使用者us的前方，后表示使用者us的后方。图5所示的右表示使用者us的右侧，左表示使用者us的左侧。
[0075]
图5所示的圆形状的符号表示第一使用者us或者第一图像显示装置204中的校正值cv2，四边形状的符号表示第二使用者us或者第二图像显示装置204中的校正值cv2，三角形状的符号表示第三使用者us或者第三图像显示装置204中的校正值cv2。在图5中，校正值cv2表示以下状态：针对第一使用者us分布在前方的右侧，针对第二使用者us分布在前方的左侧，针对第三使用者us分布在后方。
[0076]
通过使用者us执行注册操作、或者图像显示装置204经由通信部213与网络连接，服务器206能够确定使用者us或图像显示装置204。服务器206与所确定的使用者us或图像显示装置204对应来保存校正值cv2。
[0077]
使用图6以及图7所示的流程图对第二实施方式的图像调整方法的一例进行说明。具体地，对按照每个使用者us或图像显示装置204调整拍摄图像im2的水平的方法的一例进行说明。图像显示装置204被佩戴于使用者us的头部，控制器205被佩戴于使用者us的手上。在图像显示装置204中显示有拍摄图像im2。
[0078]
在图6中，在步骤s201中，服务器206通过使用者us执行注册操作、或者图像显示装置204经由通信部213与网络连接，确定使用者us或图像显示装置204。
[0079]
在使用者us判断为在图像显示装置204中显示的拍摄图像im2不是水平的情况下，通过使用者us操作控制器205，在步骤s202中，图像处理部211使图像显示装置204显示设定画面。使用者us操作控制器205，选择显示在设定画面上预定项目、例如水平调整的项目，由此在步骤s203中，图像处理部211向与所选择的项目对应的预定的处理模式转移处理。在选择了水平调整的项目的情况下，图像处理部211向用于调整拍摄图像im2的水平的处理模式、即水平调整模式转移处理。
[0080]
在步骤s204中，图像处理部211从图像生成部212获取球面状图像vss2，并在图像显示装置204中显示。在图像显示装置204中，拍摄图像im2与球面状图像vss2混合显示。通过使用者us使球面状图像vss2旋转使得拍摄图像im2为水平，由此在步骤s205中，图像处理部211使在图像显示装置204中显示的拍摄图像im2与球面状图像vss2的旋转对应地移动。使用者us可以多次进行使球面状图像vss2旋转的动作，直到拍摄图像im2变为水平。
[0081]
在使用者us判断为拍摄图像im2变为水平的情况下，通过操作控制器205，在步骤s206中，图像处理部211使图像显示装置204显示设定画面。通过将在图像显示装置204中显示的拍摄图像im2设为水平，能够使相机202的顶部与使用者us的顶部一致。
[0082]
使用者us操作控制器205，选择显示在设定画面中的预定项目、例如结束项目，由此在步骤s207中，图像处理部211向与所选择的项目对应的预定的处理模式转移处理。在选择了结束项目的情况下，图像处理部211向用于结束水平调整的处理模式、即结束模式转移处理。
[0083]
在步骤s208中，图像处理部211获取球面状图像vss2旋转前与旋转后的旋转量(旋转角度)作为球面状图像vss2的变化量。并且，图像处理部211将球面状图像vss2的变化量作为校正值cv2，经由通信部213以及网络向服务器206输出。在步骤s209中，服务器206将校正值cv2与使用者us或图像显示装置204建立关联而进行保存。此外，服务器206可以经由网络以及通信部213从图像调整装置210获取校正值cv2。
[0084]
使用图7所示的流程图，对调整校正值cv2与使用者us或图像显示装置204关联地保存在服务器206中的情况下的拍摄图像im2的水平的方法的一例进行说明。图像显示装置204佩戴在使用者us的头部，控制器205佩戴在使用者us的手上。在图像显示装置204中显示有拍摄图像im2。
[0085]
在图7中，在步骤s211中，通过使用者us执行注册操作、或者图像显示装置204经由通信部213与网络连接，服务器206确定使用者us或图像显示装置204。
[0086]
在步骤s212中，服务器206读出与在步骤s211中确定的使用者us或者图像显示装置204对应的校正值cv2，并经由网络以及通信部213输出到图像调整装置210。
[0087]
当在服务器206中保存有与使用者us或图像显示装置204对应的多个校正值cv2的情况下，服务器206可以根据多个校正值cv2计算平均值，并将该平均值设为校正值cv2并输出到图像调整装置210，也可以将多个校正值cv2中的最接近的校正值cv2输出到图像调整装置210。图像调整装置210可以经由通信部213以及网络从服务器206读出与使用者us或图像显示装置204对应的校正值cv2。
[0088]
从服务器206输出到图像调整装置210的校正值cv2被输入到图像处理部211。在步骤s213中，图像处理部211将相机202所拍摄的拍摄图像im2基于校正值cv2进行水平调整，并输出到图像显示装置204。在步骤s214中，图像显示装置204显示基于校正值cv2而进行了水平调整后的拍摄图像im2。因此，图像显示装置204能够显示与使用者us对应而进行了水平调整的拍摄图像im2。
[0089]
使用者us在判断为在图像显示装置204中显示的拍摄图像im2不是水平的情况下，通过操作控制器205，可以使图像调整系统201执行步骤s202～s209、以及s211～s214的处理。
[0090]
在第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法中，使图像显示装置204显示球面状图像vss2。根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，当弄错拍摄图像im2的水平方向而进行检测、或者水平或顶部ze的指定发生偏差时，使用者us能够通过操作控制器205使球面状图像vss2旋转，进行调整，使得在图像显示装置204中显示的拍摄图像im2为水平。
[0091]
因此，根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，当弄错拍摄图像im2的水平方向而进行了检测、或者水平或顶部的指定发生偏差时，使用者us能够简单地校正拍摄图像im2的水平或顶部。
[0092]
在第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法中，校正值cv2与使用者us或图像显示装置204对应起来被保存在服务器206中。图像调整装置210能够基于校正值cv2对相机202所拍摄的拍摄图像im2按照每个使用者us或者图像显示装置204进行水平调整，并显示在图像显示装置204中。根据第二实施方式的图像调整系统201、图像调整装置210以及图像调整方法，由于校正值cv2与使用者us或图像显示装置204对应，
因此能够按照多个使用者us的每个调整拍摄图像im2的水平。
[0093]
[第三实施方式]
[0094]
使用图4对第三实施方式的图像调整系统的构成例进行说明。图像调整系统301包括相机302、通信部303、图像显示装置304、控制器305、图像调整装置310以及服务器306。图像调整装置310具有图像处理部311、图像生成部312以及通信部313。
[0095]
相机302、通信部303、图像显示装置304、控制器305、图像调整装置310以及服务器306分别相当于第二实施方式的相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像处理部311、图像生成部312以及通信部313分别相当于第二实施方式的图像处理部211、图像生成部212以及通信部213。
[0096]
图像调整装置310能够经由通信部303和313以及网络获取相机302所拍摄的拍摄图像im3。服务器306经由网络和通信部303与相机302连接，并经由网络与通信部313与图像调整装置310连接。
[0097]
服务器306可以经由通信部303以及网络获取相机302所拍摄的拍摄图像im3，图像调整装置310经由网络以及通信部313从服务器306获取拍摄图像im3。
[0098]
图像调整装置310所获取的拍摄图像im3被输入到图像处理部311。图像处理部311通过解析拍摄图像im3来识别拍摄图像im3中的水平方向。图像处理部311通过解析拍摄图像im3，可以识别拍摄图像im3中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置310执行校正拍摄图像im3的失真、调整拍摄图像im3的例如水平等的图像处理，并将进行了图像处理的拍摄图像im3输出到图像显示装置304。图像显示装置304显示由图像调整装置310进行了图像处理后的拍摄图像im3。
[0099]
服务器306可以执行校正相机302所拍摄的拍摄图像im3的失真、调整拍摄图像im3的例如水平等的图像处理，并将进行了图像处理后的拍摄图像im3输出到图像调整装置310。使用者us通过在其头部佩戴图像显示装置304，能够观看由图像调整装置310或者服务器306进行了图像处理后的拍摄图像im3。
[0100]
图像显示装置304在佩戴于使用者us的头部的状态下，基于使用者us朝向的方向以及使用者us的姿势等状态生成姿势信息pn3。图像处理部311从图像显示装置304获取姿势信息pn3。即，图像处理部311基于图像显示装置304的姿势获取姿势信息pn3。图像处理部311基于姿势信息pn3并根据相机302所拍摄的拍摄图像im3，将与使用者us朝向的方向、以及使用者us的姿势等状态对应的区域的图像显示在图像显示装置304上。
[0101]
控制器305在佩戴于使用者us的手上的状态下基于使用者us的手的动作或者姿势等的状态生成指示信息nn3。图像处理部311从控制器305获取指示信息nn3。图像处理部311能够基于指示信息nn3改变或调整图像显示装置304中显示的图像。
[0102]
图像生成部312生成球面状图像vss3，所述球面状图像vss3是由作为cg的球面构成的虚拟图像。图像生成部312将球面状图像vss3保存在内置存储器或者外部存储器中。
[0103]
图像处理部311基于指示信息nn3从图像生成部312获取球面状图像vss3，并在图像显示装置304中显示。球面状图像vss3相当于第一以及第二实施方式的球面状图像vss1以及vss2。使用者us通过使佩戴有控制器305的手移动到与图像显示装置304中显示的球面状图像vss3对应的位置，使用者us的手感觉与球面状图像vss3接触。
[0104]
控制器305可以在与使用者us的手接触的部分配置致动器。图像处理部311在基于
指示信息nn3判断为使用者us的手移动到与球面状图像vss3对应的位置的情况下使致动器工作。通过致动器对使用者us的手施加压力，使用者us能够得到其手与球面状图像vss3接触的感觉作为实际感觉。
[0105]
在球面状图像vss3显示在图像显示装置304中的状态下，使用者us使佩戴有控制器305的手向任意的方向移动的情况下，图像处理部311基于指示信息nn3执行图像处理，使得在图像显示装置304中显示的球面状图像vss3和拍摄图像im3与使用者us的手的移动方向、移动速度以及移动目的地的位置对应地移动。
[0106]
使用者us通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像vss3在任意的方向以任意的速度向任意的位置旋转。即，使用者us能够通过其手的动作使球面状图像vss3旋转。图像处理部311使拍摄图像im3与球面状图像vss3的旋转对应地移动。
[0107]
图像处理部311能够判定使用者us使球面状图像vss3旋转前的顶部ze由于使用者us使球面状图像vss3旋转而向球面状图像vss3的坐标上的哪个位置进行了移动。图像处理部311基于球面状图像vss3的坐标上的顶部ze的移动方向以及移动目的地的位置计算使用者us使球面状图像vss3旋转前与旋转后的球面状图像vss3的变化量。球面状图像vss3的变化量相当于第一以及第二实施方式的球面状图像vss1以及vss2的变化量。
[0108]
图像处理部311将球面状图像vss3的变化量设为校正值cv3，并经由通信部313以及网络输出到服务器306。即，校正值cv3基于球面状图像vss3的旋转方向和顶部ze的移动量或移动角度(球面状图像vss3的旋转角度)而计算出。图像处理部311可以将使用者us使球面状图像vss3旋转后的顶部ze的球面状图像vss3上的坐标设为校正值cv3并向服务器306输出。
[0109]
服务器306可以经由网络以及通信部313从图像调整装置310获取校正值cv3。服务器306将校正值cv3与使用者us或图像显示装置304关联起来保存在内置存储器或者外部存储器中。
[0110]
图像处理部311检测拍摄图像im3的水平方向。但是，图像处理部311难以通过拍摄图像im3检测其水平方向，存在弄错水平方向而进行检测的情况。另外，由于系统的同步等问题，存在水平或顶部的指定会发生偏差的情况。当弄错拍摄图像im3的水平方向而进行检测、或者水平或顶部的指定发生偏差时，由于显示在图像显示装置304上的拍摄图像im3与使用者us的重力感觉不一致，因此使用者us感觉不协调。
[0111]
通过使用者us操作控制器305，图像调整系统301执行与图3所示的流程图的步骤s101～s108同样的处理、或者与图6所示的流程图的步骤s201～s209同样的处理。因此，使用者us能够通过操作控制器305而使球面状图像vss3旋转，进行调整，使得显示在图像显示装置304中的拍摄图像im3变为水平。
[0112]
图8示出相机302按地点a、地点b以及地点c的顺序移动、且在相机302的左侧配置有与地面正交的壁的状态。将地面设为第一面pl1，将壁面设为第二面pl2。在初始状态下，第一面pl1为水平面，第二面pl2是垂直面。相机302按照地点a、地点b以及地点c的顺序移动，由此使用者us能够获得按照地点a、地点b以及地点c的顺序移动的感觉。
[0113]
在地点a中，拍摄图像im3被调整为水平。在拍摄图像im3未被调整为水平的情况下，通过使用者us操作控制器305来使球面状图像vss3旋转，来进行调整，使得在图像显示
装置304中显示的拍摄图像im3为水平。图像处理部311获取第一面pl1中的法线向量nv1。图像处理部311在地点b或者c也获取法线向量nv1。
[0114]
图像处理部311从拍摄图像im3检测第一面pl1以外的面。图像处理部311例如检测出第二面pl2。图像处理部311判定检测出的面是否位于预定范围内。图像处理部311判定例如第二面pl2是否位于预定范围内。关于预定范围在后面叙述。
[0115]
当判定为第二面pl2位于预定范围内的情况下，图像处理部311估计第二面pl2中的法线向量nv2。如图9所示，在第二面pl2具有在水平方向以及垂直方向延伸的多个线状的图案的情况下，图像处理部311基于四边形的失真可以估计法线向量nv2，所述四边形由在水平方向延伸的多个线状的图案和在垂直方向延伸的多个线状的图案形成。
[0116]
在第二面pl2具有凹凸形状、并与凹凸对应而形成有影的情况下，图像处理部311可以基于影的形状估计法线向量nv2。当在第二面pl2没有特征、难以估计法线向量nv2的情况下，可以将与第一面pl1平行、且从第二面pl2向相机302的方向的向量设定为法线向量nv2。图像处理部311在地点a要获取或者获取了第二面pl2中的法线向量nv2。图像处理部311在地点b或c也可以获取法线向量nv2。
[0117]
图像处理部311在从拍摄图像im3在第一面pl1以外检测出多个面的情况下，按照每个面标注用于确定各面的编号。图像处理部311能够在图像显示装置304中显示的拍摄图像im3中在与各面对应的位置重叠与各面对应的cg以及编号中的至少任一个并进行显示。
[0118]
使用图10a以及图10b所示的流程图对第三实施方式的图像调整方法的一例进行说明。具体地，对改变在图像显示装置304中显示的拍摄图像im3的水平面的方法的一例进行说明。对在地点a中第一面pl1是水平面、在地点b中第二面pl2被改变为水平面、在地点c中第一面pl1恢复为水平面的情况进行说明。
[0119]
图像显示装置304被佩戴在使用者us的头部，控制器305佩戴在使用者us的手上。在图像显示装置304中显示有拍摄图像im3。相机302按照地点a、地点b以及地点c的顺序移动。在地点a中，拍摄图像im3设为被调整为水平。
[0120]
在图10a中，当相机302从地点a移动到了地点b时或向地点b移动时，通过使用者us操作控制器305，在步骤s301中，图像处理部311使图像显示装置304显示设定画面。使用者us操作控制器305，并选择在设定画面中显示的预定项目、例如水平面变更的项目，由此在步骤s302中，图像处理部311向与所选择的项目对应的预定的处理模式转移处理。在选择了水平面变更的项目的情况下，图像处理部311向用于改变水平面的处理模式、即水平面变更模式转移处理。
[0121]
在步骤s303中，图像处理部311从地点b中的拍摄图像im3检测第一面pl1以外的面。图像处理部311例如检测出第二面pl2。在步骤s304中，图像处理部311判定检测出的面是否位于预定范围内。图像处理部311判定例如第二面pl2是否位于预定范围内。
[0122]
当判定为所检测出的面位于预定范围内(yes，是)的情况下，在步骤s305中，图像处理部311将与检测出的面对应的cg合成到与在拍摄图像im3中检测出的面对应的位置，并显示在图像显示装置304中。当判定为多个面位于预定范围内的情况下，将与多个面对应的多个cg合成到拍摄图像im3中与多个面对应的位置，还按照每个面赋予用于确定各面的编号，并显示在图像显示装置304中。当判定为被检测出的面不位于预定范围内(no，否)的情况下，在步骤s306中，图像处理部311不在拍摄图像im3中合成cg以及编号，即将cg以及编号
设为不显示，并将处理返回到步骤s303。
[0123]
当使用者us操作控制器305、选择例如与第二面pl2对应的cg图像或者编号的情况下，在步骤s307中，图像处理部311估计第二面pl2中的法线向量nv2。在步骤s308中，图像处理部311基于法线向量nv2对拍摄图像im3进行处理，使得第二面pl2为水平面。在图8所示的状态下，图像处理部311使拍摄图像im3绕逆时针旋转90度。通过该图像处理，使用者us能够得到站立在作为第二面pl2的壁面而正在进行移动的感觉。
[0124]
如图8所示，为了得到使用者us站立在壁面(第二面pl2)而正在移动的感觉，相机302与壁面之间的距离l2是重要的。当距离l2过于长时使用者us感觉从壁面浮起，当距离l2过短时使用者us感觉到埋入壁面。距离l2相对于从地面(第一面pl1)到相机302的距离l1优选处于0.7
×
l1<l2<1.5
×
l1的范围内。因此，所谓步骤s304中的预定范围内例如是0.7
×
l1<l2<1.5
×
l1的范围内。由此，使用者us能够得到站在壁面而正在移动的感觉。
[0125]
在图10b中，当相机302从地点b移动到了地点c或者向地点c移动时，使用者us操作控制器305，由此在步骤s309中，图像处理部311使图像显示装置304显示设定画面。使用者us操作控制器305，并选择在设定画面中显示的预定项目、例如水平面变更的项目，由此在步骤s310中，图像处理部311向与所选择的项目对应的预定的处理模式转移处理。在选择了水平面变更的项目的情况下，图像处理部311向用于改变水平面的处理模式、即水平面变更模式转移处理。
[0126]
在步骤s311中，图像处理部311从地点c中的拍摄图像im3中检测例如第一面pl1以及第二面pl2。在使用者us操作控制器305、选择例如与第一面pl1对应的cg或编号的情况下，在步骤s312中，图像处理部311基于法线向量nv1对拍摄图像im3进行处理，使得第一面pl1为水平面。在图8所示的状态下，图像处理部311使拍摄图像im3绕顺时针方向旋转90度。通过该图像处理，使用者us能够得到站立在作为第一面pl1的地面而正在移动的感觉。
[0127]
在步骤s301和s302、以及步骤s309和s310中，使用者us操作控制器305，由此选择了预定的面pl，但服务器306或者图像调整装置310可以在任意的时间点选择任意的面pl，与所选择的面pl对应来对拍摄图像im3进行处理。在多个使用者us经由网络观看拍摄图像im3的情况下，任一个使用者us可以相对于其他使用者us在任意的时间点选择任意的面pl。当使用者us在景点等使用图像显示装置304时，景点的操作员可以在任意的时间点选择任意的面pl。
[0128]
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，使图像显示装置304显示球面状图像vss3。根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，在弄错拍摄图像im3的水平方向而进行检测、或者水平或顶部ze的指定发生偏差的情况下，使用者us通过操作控制器305而使球面状图像vss3旋转，由此能够进行调整，使得显示在图像显示装置304中的拍摄图像im3为水平。
[0129]
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，校正值cv3与使用者us或图像显示装置304对应地保存在服务器306中。图像调整装置310能够基于校正值cv3对相机302所拍摄的拍摄图像im3进行水平调整，并在图像显示装置304中进行显示。
[0130]
因此，根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，当弄错拍摄图像im3的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况
下，使用者us能够简单地校正拍摄图像im3的水平或顶部。
[0131]
在第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法中，检测地面以外的面，判定检测出的面是否位于预定范围内，估计位于预定范围内的面中的法线向量nv2。根据第三实施方式的图像调整系统301、图像调整装置310以及图像调整方法，能够基于法线向量nv2使拍摄图像im3旋转，使得指定的面pl2为水平面。在被指定的面pl2是壁面的情况下，使用者us能够得到站立在壁面上而正在移动的感觉。
[0132]
[第四实施方式]
[0133]
使用图4对第四实施方式的图像调整系统的构成例进行说明。图像调整系统401包括相机402、通信部403、图像显示装置404、控制器405、图像调整装置410以及服务器406。图像调整装置410具有图像处理部411、图像生成部412以及通信部413。
[0134]
相机402、通信部403、图像显示装置404、控制器405、图像调整装置410以及服务器406分别相当于第二实施方式的相机202、通信部203、图像显示装置204、控制器205、图像调整装置210以及服务器206。图像处理部411、图像生成部412以及通信部413分别相当于第二实施方式的图像处理部211、图像生成部212以及通信部213。
[0135]
图像调整装置410能够经由通信部403和413以及网络获取相机402拍摄的拍摄图像im4。服务器406经由网络和通信部403与相机402连接，并经由网络和通信部413与图像调整装置410连接。
[0136]
服务器406可以经由通信部403以及网络获取拍摄图像im4，图像调整装置410可以从服务器406经由网络以及通信部413获取拍摄图像im4。
[0137]
图像调整装置410获取的拍摄图像im4被输入到图像处理部411。图像处理部411通过解析拍摄图像im4识别拍摄图像im4中的水平方向。图像调整装置410通过解析拍摄图像im4，可以识别拍摄图像im4中的垂直方向，也可以识别水平方向以及垂直方向。图像调整装置410执行校正拍摄图像im4的失真、调整拍摄图像im4的例如水平等的图像处理，并将进行图像处理后的拍摄图像im4输出到图像显示装置404。图像显示装置404显示拍摄图像im4。
[0138]
服务器406可以经由网络以及通信部403从相机402获取拍摄图像im4，并执行校正拍摄图像im4的失真、调整拍摄图像im4的例如水平等的图像处理，将进行图像处理后的拍摄图像im4输出到图像调整装置410。使用者us通过在其头部佩戴图像显示装置404，能够观看通过图像调整装置410或者服务器406进行图像处理后的拍摄图像im4。
[0139]
图像显示装置404在被佩戴于使用者us的头部的状态下，基于使用者us朝向的方向以及使用者us的姿势等状态生成姿势信息pn4。图像处理部411从图像显示装置404获取姿势信息pn4。即，图像处理部411基于图像显示装置404的姿势获取姿势信息pn4。图像处理部411基于姿势信息pn4并根据相机402拍摄的拍摄图像im4，将与使用者us朝向的方向以及使用者us的姿势等状态对应的区域的图像显示在图像显示装置404。
[0140]
控制器405在被佩戴于使用者us的手上的状态下，基于使用者us的手的动作或者姿势等状态生成指示信息nn4。图像处理部411从控制器405获取指示信息nn4。图像处理部411能够基于指示信息nn4改变或调整显示在图像显示装置404上的图像。
[0141]
图像生成部412生成球面状图像vss4，所述球面状图像vss4是由作为cg的球面构成的虚拟图像。图像生成部412将球面状图像vss4保存在内置存储器或者外部存储器。
[0142]
图像处理部411基于指示信息nn4从图像生成部412获取球面状图像vss4，并显示
在图像显示装置404。球面状图像vss4相当于第二实施方式的球面状图像vss2。使用者us使佩戴有控制器405的手移动到与图像显示装置404中显示的球面状图像vss4对应的位置，由此使用者us的手感觉到与球面状图像vss4接触。
[0143]
控制器405可以在与使用者us的手接触的部分配置致动器。图像处理部411在基于指示信息nn4判断为使用者us的手移动到与球面状图像vss4对应的位置的情况下，使致动器工作。通过致动器对使用者us的手施加压力，使用者us能够得到其手与球面状图像vss4接触的感觉作为实际感觉。
[0144]
在球面状图像vss4显示在图像显示装置404的状态下，使用者us使佩戴有控制器405的手向任意的方向移动了的情况下，图像处理部411基于指示信息nn4执行图像处理，使得图像显示装置404中显示的球面状图像vss4和拍摄图像im4与使用者us的手的移动方向、移动速度以及移动目的地的位置对应地移动。
[0145]
使用者us通过使其手在任意的方向以任意的速度向任意的位置移动，能够使球面状图像vss4在任意的方向以任意的速度向任意的位置旋转。即，使用者us能够通过其手的动作使球面状图像vss4旋转。图像处理部411使拍摄图像im4与球面状图像vss4的旋转对应地移动。
[0146]
当在相机402所拍摄的拍摄图像im4中出现有地平线或建筑物的情况下，图像调整装置410和服务器406能够精度好地识别拍摄图像im4的水平方向。但是，在相机402拍摄的拍摄图像im4是例如自然风景等仅由曲线构成的图像的情况下，图像调整装置410和服务器406有时无法精度好地识别拍摄图像im4的水平方向。
[0147]
在无法精度好地识别拍摄图像im4的水平方向的情况下，拍摄图像im4以倾斜的状态被显示在图像显示装置404中。使用者us能够通过使球面状图像vss4旋转进行调整，使拍摄图像im4变为水平。
[0148]
使用图11所示的流程图对第四实施方式的图像调整方法的一例进行说明。具体地，对调整相机402拍摄的拍摄图像im4的水平的方法的一例进行说明。
[0149]
服务器406执行与图6所示的步骤s201同样的处理。如图12a所示，使用者us判断为显示在图像显示装置404中的拍摄图像im4不是水平，通过使用者us操作控制器405，图像调整系统401执行与图6所示的步骤s202～s207同样的处理。由此，如图12b所示，能够将图像显示装置404中显示的拍摄图像im4调整为水平。
[0150]
图像处理部411能够判定使用者us使球面状图像vss4旋转前的顶部ze由于使用者us使球面状图像vss4旋转而向球面状图像vss4的坐标上的哪个位置进行了移动。图像处理部411基于球面状图像vss4的坐标上的顶部ze的移动方向以及移动目的地的位置，计算使用者us使球面状图像vss4旋转前和旋转后的球面状图像vss4的变化量。球面状图像vss4的变化量相当于第二实施方式的球面状图像vss2的变化量。
[0151]
图像处理部411计算旋转角度ra作为球面状图像vss4的变化量。旋转角度ra是使用者us使球面状图像vss4旋转后的状态相对于使球面状图像vss4旋转前的状态下的球面状图像vss4的旋转角度。旋转角度ra可以是将x轴、y轴或z轴设为旋转轴的旋转角度，也可以是将x轴、y轴以及z轴作为旋转轴而合成的旋转角度。
[0152]
图像调整系统401执行与图6所示的步骤s208以及s209同样的处理。图像处理部411将球面状图像vss4的变化量设为校正值cv4而经由通信部413以及网络输出到服务器
406。校正值cv4包含旋转角度ra的信息。服务器406可以经由网络以及通信部413从图像调整装置410获取校正值cv4。
[0153]
在图11中，在步骤s401中，服务器406获取旋转角度ra。在步骤s402中，服务器406判定旋转角度ra是否是预定角度以上。即，服务器406通过使用者us使球面状图像vss4旋转，判定是否将在图像显示装置404中显示的拍摄图像im4水平调整到预定角度以上(例如10度以上)。
[0154]
在判定为旋转角度ra是预定角度以上(是)的情况下，在步骤s403中，服务器406判断为图像调整装置410或服务器406对于相机402拍摄的拍摄图像im4的水平调整失败，将使用者us水平调整前的拍摄图像im4b与水平调整后的拍摄图像im4a建立关联保存。在判定为旋转角度ra不是预定角度以上(否)的情况下，图像调整系统401将处理返回到步骤s401。
[0155]
在步骤s404中，服务器406判定所保存的拍摄图像im4b以及im4a的数量是否是预定值以上。在判定为所保存的拍摄图像im4b以及im4a的数量是预定值以上(是)的情况下，在步骤s405中，服务器406对所保存的多个拍摄图像im4b以及im4a执行深度学习等学习处理。服务器406例如将拍摄图像im4b作为输入数据、将拍摄图像im4a作为正解数据来执行学习处理。在判定为所保存的拍摄图像im4b以及im4a的数量不是预定值以上(否)的情况下，图像调整系统401将处理返回到步骤s401。
[0156]
在步骤s406中，服务器406基于步骤s405中的学习结果对相机402所拍摄的拍摄图像im4进行水平调整。此外，在步骤s406中，服务器406将学习结果输出到图像调整装置410，图像处理部411可以基于学习结果对相机402所拍摄的拍摄图像im4进行水平调整。图像处理部411可以执行步骤s401～s406的处理。
[0157]
通过服务器406或图像处理部411重复执行步骤s401～s406的处理，能够提高在图像显示装置404中显示的拍摄图像im4的水平的调整精度。
[0158]
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，使图像显示装置404显示球面状图像vss4。根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，在弄错拍摄图像im4的水平方向而进行检测、或者水平或顶部ze的指定发生偏差的情况下，使用者us通过操作控制器405而使球面状图像vss4旋转，从而能够进行调整，使得在图像显示装置404中显示的拍摄图像im4变为水平。
[0159]
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，校正值cv4与使用者us或图像显示装置404对应地被保存在服务器406或者其外部存储器。图像调整装置410能够基于校正值cv4对相机402拍摄的拍摄图像im4进行图像调整，并在图像显示装置404中进行显示。
[0160]
因此，根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，在弄错拍摄图像im4的水平方向而进行了检测、或者水平或顶部的指定发生偏差的情况下，使用者us能够简单地校正拍摄图像im4的水平或顶部。
[0161]
在第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法中，在球面状图像vss4的旋转角度ra是预定角度以上的情况下，判断为水平调整失败，基于判断结果对在水平调整上失败了的拍摄图像im4b以及im4a执行学习处理。根据第四实施方式的图像调整系统401、图像调整装置410以及图像调整方法，通过执行学习处理，能够提高在图像显示装置404中显示的拍摄图像im4的水平的调整精度。
[0162]
本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种改变。
[0163]
例如，由cg生成的虚拟图像vss可以是椭圆体的表面(椭圆面)，并且只要是使用者us的手触到的范围，则可以是任意的封闭的面(封闭面)。即，使用者us只要获得从内侧与该封闭面接触的感觉、能够进行拍摄图像im的水平调整即可。由于使用者us使虚拟图像vss旋转动作，因此优选虚拟图像vss是接近球面或者椭圆面等球面的球面状的形状。
[0164]
本技术将在2019年2月15日申请的日本特愿2019
‑
025335号、特愿2019
‑
025340号、特愿2019
‑
025342号以及特愿2019
‑
025346号的全部内容引用到这里。
[0165]
产业上的可用性
[0166]
根据本实施方式的图像调整系统、图像调整装置以及图像调整方法，在弄错图像的水平方向而进行检测、或者水平或顶部的指定发生偏差的情况下，能够简便地校正图像的水平或顶部。
[0167]
符号说明
[0168]
101、201、301、401图像调整系统
[0169]
102、202、302、402相机
[0170]
104、204、304、404图像显示装置
[0171]
105、205、305、405控制器
[0172]
110、210、310、410图像调整装置
[0173]
111、211、311、411图像处理部
[0174]
112、212、312、412图像生成部
[0175]
206、306、406服务器
[0176]
im1、im2、im3、im4拍摄图像
[0177]
nn1、nn2、nn3、nn4指示信息
[0178]
pl1地面(第一面)
[0179]
pl2壁面(第二面)
[0180]
ra旋转角度
[0181]
us使用者
[0182]
vss1、vss2、vss3、vss4球面状图像(虚拟图像)