双目立体视觉图像的提供方法、观察装置和照相机单元与流程

本发明涉及提供照相机的设置位置上的全景(全方位且全高度)或全方位(整周)的双目立体视觉图像的方法、观察该图像的装置和照相机单元。

背景技术：

本申请申请人在专利文献1中公开了提供照相机设置位置的全方位的双目立体视觉图像的方法。在该方法中，将多个全方位照相机按照相当于人的双眼的间隔的间隔来配置，从由这些照相机所取得的全方位画面中切出各个照相机所分担的左眼用和右眼用的显示画面并将它们拼接在一起，由此而生成左眼用和右眼用的全方位画面。然后，从各个全方位画面中切出观察者欲进行观察的方向上的左眼用和右眼用的矩形画面，并使该矩形画面显示在观察者的显示器上。

此外，例如在专利文献2中还公开了一种拍摄照相机设置位置的全景图像的照相机。这种照相机通常以与镜头的朝向等无关的方式、将利用多个鱼眼镜头拍摄到的图像转换为上边为正上方、下边为正下方的全方位(360度)且全高度(180度)的、高度：宽度为1：2的矩形图像而输出。

现有技术文献

专利文献

专利文献1：日本特许第4183466号公报

专利文献2：日本特开2013-66163号公报

技术实现要素：

发明所要解决的课题

在专利文献1中提出的方法中，通过将由多个照相机拍摄到的图像拼接在一起而生成左眼用和右眼用的全方位画面。当将拍摄中心和拍摄方向不同的两个照相机的画面拼接在一起时，在其接缝处，拍摄对象物的图像会产生微小的偏移。因此，在将画面拼接在一起时，必须实施用于校正该偏移的校正处理。

但是，根据照相机至拍摄对象物的距离的不同，接缝处的偏移量也不同，因此难以进行校正。此外，进行该校正需要复杂的处理，且处理花费时间，因此在欲提供动态图像时，处理量庞大，导致无法提供实时动态图像。

本发明的课题是提供一种在不进行将由拍摄方向不同的多个照相机拍摄到的全景或全方位的画面接在一起的处理的前提下、传送全景或全方位的双目立体视觉图像的手段。根据本发明，能够传送全景或全方位的双目立体实时动态图像。

用于解决课题的手段

在一边的长度等于人的两眼的间隔、或立体观察不会变得不自然的范围内扩展而形成的正多边形的各顶点位置配置全方位或全景照相机ai(i＝1～n)。将各照相机ai所拍摄到的同一时刻的摄影画面的bi作为一组画面c提供给观测装置3。

在提供全景图像时，多个照相机ai(i＝1～n)以及保持该多个照相机ai(i＝1～n)的保持器11位于以如下方向为中心的横向上(2×360/n)+α度的区域外，且高度方向上180+β度的区域外，该方向是从所述正多边形的中心o起穿过各照相机的摄影中心p的方向。这里，α是观察装置3的显示器31(31l、31r)相对于观察者的横向上的视场角，β是该高度方向上的视场角，n是正多边形的角数。由此，观测装置3能够使没有映现出照相机ai和保持器11的全景双目立体视觉图像显示在显示器31上。

当所提供的图像是全方位图像时，只要使多个照相机的ai和保持器11在高度方向上位于β度的区域外即可。

接受了所提供的一组画面c的观察装置对观察者的观察方向进行检测，并从一组画面c中选择隔着检测出的方向的两个摄影画面bi、bi±1作为左眼用和右眼用的画面，并从所选择的画面中切出如下显示画面dl、dr而使其显示在显示器31l、31r上，其中，所述显示画面dl、dr以所述检测出的方向为中心，并且具备与观察装置所具备的显示器31l、31r的横向的视场角α相当的宽度w和与高度方向上的视场角相当的高度h。

通常情况下，由图像传送用服务器2经由互联网4来提供一组画面。经由互联网4接收一组画面c的观测装置3具备：该图像的接收单元32；用于显示左眼用和右眼用的图像的两个显示器31l、31r；方向检测单元33，其对头戴显示器(goggle)所朝向的方向(在接收全景图像时为横向和高度方向、在接收全方位图像时至少为横向)进行检测；画面选择单元34，其根据方向检测单元33检测出的方向，从一组画面c中选择左眼用和右眼用的画面；画面切出单元35，其从所选择的画面bi、bi±1中切出左眼用和右眼用的显示画面dl、dr；以及显示单元36，其使切出的画面显示在显示器上。

发明效果

根据本发明，能够在不将由负责各个方向的图像拍摄的多个照相机所拍摄到的画面拼接在一起的前提下，远程观察与观察装置的方向相对应的全景或全方位的图像。

并且，由于不需要画面的拼接处理，因此不需要图像数据的复杂处理，数据处理不花费时间，因此具有如下效果，能够提供必须连续传送大量图像的实时动态图像。

附图说明

图1是硬件的整体结构图。

图2是照相机单元的立体图。

图3是示出服务器中的图像的转换的图。

图4是示出观察装置中的图像处理单元的图。

图5是示出各照相机的摄影范围的照相机单元的俯视图。

图6是示出各照相机的摄影范围的照相机单元的侧视图。

图7是示出从摄影画面切出显示画面的说明图。

图8是示出如何选择摄影画面的说明图。

图9是示出使镜头间隔可变的照相机单元的一个例子的侧视图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。在图1中，1是照相机单元，2是图像传送用计算机(以下称作“传送服务器”)，3、3...是所传送的图像的观察装置(立体观察用终端。以下称作“头戴显示器”)，4是互联网。

如在图2中放大示出那样，照相机单元1是在保持器11上呈放射状地安装n个(图中为6个)全景照相机ai(i＝1～n)而成的结构，图2的保持器11安装在支柱15的上端。各照相机ai拍摄到的静态图像和动态图像通过与各个照相机连接的线缆12被发送给传送服务器2。各照相机ai具备多个镜头(图中为2个)13、14，拍摄以镜头间的中心点为拍摄中心的全景图像。

为了得到双目立体视觉图像，至少需要两个照相机。虽然在各照相机ai的摄影图像中不会映现照相机ai本身，但却会映现与之相邻配置的其它照相机和保持照相机的保持器11。多个照相机ai以能够从映现有相邻的照相机以及保持器的多个图像中获得未映现有相邻的照相机以及保持器的右眼用和左眼用的全景图像的方式被装配在保持器11上。

在附图的例子中，各照相机ai以如下方式被安装，即，使各照相机ai的镜头13、14的光轴处于同一平面上，并且使这些光轴朝向该平面上的正多边形的各边的方向。保持器11位于多个照相机ai的配置中心，多个照相机ai被安装在该保持器11上，使得利用其它照相机的摄影图像来填补某个照相机的摄影图像中的映入有保持器和相邻的照相机的方向。不管是静态图像还是动态图像，多个照相机ai都是被同步控制，以使得所述多个照相机ai在同一定时进行拍摄动作。

如图3中所示，传送服务器2接收由照相机单元的n个各照相机ai同时拍摄到的n个摄影画面bi，将这n个摄影画面bi形成为一组画面c并经由互联网4向头戴显示器3传送。虽然是同时对多个照相机ai发送摄影信号，但是，因照相机的性能的不同，存在无法准确地在一致的定时进行拍摄的情况。在这样的情况下，要在将多个摄影画面bi形成为一组画面c之前，进行用于对摄影定时的偏移进行修正的校正。例如根据以较短的时间间隔拍摄到的图像间的偏移，计算出与定时所偏移的量对应的图像的位移，从而对图像进行校正。

头戴显示器3具备左眼用和右眼用显示器31l、31r、陀螺以及角加速度计、水平仪、指南针等方向检测单元33，该方向检测单元33对佩戴有头戴显示器的观察者所观察的方向、至少是所观察的方向的变化进行检测。头戴显示器3还具备：画面选择单元34，其根据方向检测单元33检测出的方向，从一组画面c内的n个摄影画面bi中选择左眼用和右眼用的画面；画面切出单元35，其从所选择的画面中切出要映现在左眼用和右眼用的显示器上的显示画面dl、dr；以及显示单元36，其将切出的画面显示在各个显示器31l、31r上。

如图5所示，设照相机单元1被设置为使照相机a1和a2的平分线的方向n朝向作为基准方向的北方。如果头戴显示器3具备指南针，则能够根据基准方向检测出自身的方向，因此，选择配置在头戴显示器3所朝向的方向的两侧的照相机来作为右眼用和左眼用的摄影画面bi、bi±1，画面切出单元35从各个画面b1、b2中切出要映现在左右的显示器31l、31r中的宽度w、高度h的显示画面dl、dr。

头戴显示器3具备角加速度计和水平仪，如果是将电源接通时的头戴显示器的方向设定为基准方向的规格，则当观察者接通了头戴显示器的电源时，画面选择单元34从接收到的一组画面c中选择照相机a1的摄影画面b1作为左眼用画面、选择照相机a2的摄影画面b2作为右眼用画面，画面切出单元35从各个画面b1、b2中切出要映现在左右显示器31l、31r中的宽度w、高度h的显示画面dl、dr。

如图7的(a)所示，如果将全部的摄影画面b的宽度中心设为照相机单元的基准方向n，那么在头戴显示器朝向基准方向时所切出的右眼用和左眼用的显示画面dl、dr，是以各个摄影画面b1、b2的宽度中心为宽度中心而切出的。

在附图和以下描述中，虽然设所切出的画面为简单的矩形或扇形，但是，头戴显示器的显示器不都是简单的矩形，并且通常在头戴显示器上还附带有目镜，从而有时显示器上的图像还会发生失真，因此要切出的画面dl、dr要按照与各个显示器和目镜对应的形状来切出。

如果是全景双目立体观察用头戴显示器，在不改变其横向的朝向的情况下使头戴显示器朝向上方时，切出的显示画面dlu、dru会向上方移动，但是，由于球面被展开为圆柱面的关系，在使头戴显示器朝向上方时所切出的画面会成为，变形成为随着趋向于上方而向横向扩展且上边比下边宽的扇形的画面dlu、dru。当使头戴显示器从水平朝向下方时则成为，变形成为向横向扩展的、下边比上边长的扇形的画面dld、drd。

显示装置36将从赤道上切出的画面dl、dr转换为与头戴显示器的视场角和目镜对应的适当的图像并显示在显示器31l、31r上。如果是朝向上方或下方的全景双目立体观察用头戴显示器，则将所切出的宽度较大的扇形的画面dlu、dru或dld、drd转换为与赤道上的显示画面dl、dr相同的纵横比的画面并显示在各个显示器上。

当使头戴显示器3的方向从基准方向n向右转动时，从摄影画面b1、b2中切出的显示画面dl、dr的中心也随着头戴显示器所朝向的方向而向右移动。如果头戴显示器的方向仅在处于同一高度的横向上发生变化，则所切出的显示画面的宽度w恒定。在照相机是6个的情况下，在头戴显示器的方向是自基准方向起为左右30度(±30度)的方向的期间内，以头戴显示器所朝向的方向为宽度中心从摄影画面b1、b2中分别切出左眼用和右眼用的显示画面dl、dr。

当头戴显示器3的方向自基准方向n起超过了±360/2n度(照相机ai的配置间隔的一半角度、如果n＝6，则为±30度)时，则进行摄影画面的转换。即，在照相机是6个的情况下，当头戴显示器的移动方向向右方超过了30度时，选择目前为止用于右眼的摄影画面b2来作为左眼用的画面，选择照相机a2的右侧第1个照相机a3的摄影画面b3来作为右眼用的画面。当头戴显示器的方向进一步变化、向右旋转超过了90度时，选择摄影画面b3来作为左眼用，选择摄影画面b4来作为右眼用。图7(b)示出了，当头戴显示器从基准方向n向右旋转而移动了θ＝120度时、所选择的摄影画面和切出画面相对于图7(a)发生了怎样的变化。

同样地，当头戴显示器的方向从最初的方向朝向左方超过了30度时，选择摄影画面b6来作为左眼用，选择摄影画面b1来作为右眼用，当再进一步移动而向左方超过了90度时，选择摄影画面b5来作为左眼用，选择摄影画面b6来作为右眼用。

如果以照相机单元的基准方向n为宽度中心来生成全部的摄影画面bi，则所切出的显示画面dl、dr的宽度中心与选择哪个摄影画面无关，为头戴显示器所朝向的方向。

图8是示出照相机是6个时、头戴显示器的方向和摄影画面bi(i＝1～6)的选择状态如何变化的图。如图5所示，设头戴显示器的水平方向上的视场角为α，则各个照相机ai(i＝1～n)负责(2×360/n)+α度的区域，这里，n＝6，因此负责120+α度的区域。

即，从各照相机ai所朝向的方向右转60度的范围是，与该照相机ai右侧的照相机成对地拍摄左眼用图像的范围l，向右旋转60度的范围则是与该照相机ai左侧的照相机成对地拍摄右眼用图像的范围r，所切出的显示画面的宽度w的视场角为α，因此，向这些范围之外扩展α/2而得到的范围(2×360/n)+α是各照相机ai所负责的摄影范围。

各照相机的上述的负责区域是赤道上的区域。在全景双目立体观察用头戴显示器中，当使头戴显示器朝向上方或下方时，从摄影画面中切取出显示画面的角宽α扩大，因此所负责的区域也扩大。对于保持器和相邻的照相机，只要确定保持器的形状尺寸和照相机的个数，使得它们不会映入该各照相机所负责的区域内即可。

设头戴显示器3的高度方向上的视场角为β，为了在使头戴显示器3朝向正上方和正下方时、保持器11不会映入所切出的画面中，采用保持器11在高度方向上不会进入180度+β度的区域的大小和形状(参照图6)。由此，当使头戴显示器3朝向正上方和正下方时，能够在不转换摄影画面的前提下将头戴显示器3所具备的高度方向上的视场角β的图像显示在显示器上。当头戴显示器进行移动而超过了正上方和正下方时，变更在该定时所选择的摄影画面。

如通过上述说明所理解的那样，在各照相机所拍摄到的画面中存在不会显示在头戴显示器的显示器上的范围。因此，所使用的照相机不限于能够拍摄完整的全景或全方位的照相机，也可以是缺少一部分的全景照相机或全方位照相机。即使是没有映现出例如正下方部分的顶角60度的圆锥部分的全景照相机，只要以使正下方为保持器中心的方向来进行配置，并利用传送服务器转换其方向，便能够提供本发明的全景双目立体视觉图像。

虽然保持器11被安装于支柱15和头盔上，但是，此时佩戴有支柱15和头盔的人体等会映现在通过头戴显示器所观察到的图像中。当人在现场进行观察时，该支柱和头盔当然会进入到视野中，因此映入有上述支柱和头盔的图像反而是自然的图像，通常不会妨碍提供全景图像和全方位图像。

此外，能够通过将保持器11搭载于飞行体而提供空中的全景双目立体视觉图像。在该情况下，如果是小型的飞行物体，只要将保持器和飞行物体设为不会进入上述的照相机的横向和高度方向上的区域的大小和形状，利用无线的方式向传送服务器发送摄影画面，便能够提供来自空中的双目立体视觉图像。

这样，头戴显示器所朝向的方向每变化60度(照相机的配置个数为6个时)，便将左眼用和右眼用的摄影画面设为照相机所朝向的方向的左侧和右侧的照相机的摄影画面，以头戴显示器所朝向的方向作为宽度中心，从这些摄影画面切出与设置于头戴显示器的显示器的视场角相当的宽度w(横向上的角度α)、高度h(高度方向上的角度β)的显示画面，显示在左眼用和右眼用的显示器上，由此能够实现全方位或者全方位且全高度的双目立体观察。

另外，虽然在图8的示例中，作为显示画面的切出来源的摄影画面的切换是在自基准方向起±30度、±90度、±150度的方向上进行的，但是，并不一定总是在这些角度上进行摄影画面的切换。这是因为，由于各摄影画面bi为全方位画面，所以例如也能够从摄影画面b1切出自基准方向n起向右移动了35度时的显示画面。因此，如果以相对于头戴显示器的移动而使时间稍微延迟的方式来进行切换，则能够防止因头戴显示器朝向使画面切换的方向时的轻微移动和振动而导致频繁地切换图像。此外，在进行该切换时，也可以通过在进行较短时间的渐显和渐隐的同时进行切换、来顺畅地切换图像。

虽然多个照相机a与相邻的照相机的镜头间距离是以人的双眼间隔作为基准的，但是，根据摄影对象物以及头戴显示器的规格的不同，存在稍微扩大该距离才能够视为自然的立体视觉的情况。考虑到该情况，考虑将能够调节与相邻的照相机的镜头间间隔的结构的保持器用作保持器11。

作为这样的保持器的结构，可以考虑如下结构等：例如，以在放射方向上滑动自如的方式安装各个照相机，利用圆锥形的椎体的进退动作而使镜头间距离可变。例如构成为如下这样的结构：如图9所示，在支承台16上搭载各照相机，并设置朝后退方向(向放射方向内侧移动的方向)对这些支承台施力的弹簧17，使支承台16的基端抵接于与在保持器中心设置的螺钉18螺合的椎体(圆锥部件)19，其中，所述支承台16以在放射方向上滑动自如的方式安装在保持器基座11a上。

当旋转椎体19时，利用螺钉作用使椎体上下移动。如果向左旋转椎体19使椎体19上升，则支承台16以及安装在该支承台16上的照相机a向放射方向外侧移动，如果向右旋转椎体19使椎体19下降，则支承台16以及安装在该支承台16上的照相机a借助弹簧17的力而向放射方向内侧移动，因此能够调节相邻的照相机彼此的镜头间隔。

另外，根据将全景画面的一部分作为全方位画面的情况可以理解：根据本发明，还可以进行全方位图像的传送，使用全方位照相机作为照相机，能够提供全方位的双目立体视觉图像。

标号说明

1：照相机单元；

2：服务器；

3：观察装置；

4：互联网；

11：照相机保持器；

31l、31r：显示器；

32：接收单元；

33：方向检测单元；

34：画面选择单元；

35：画面切出单元；

36：显示单元；

ai(i＝1～n)：全景照相机；

bi(i＝1～n)：摄影画面；

c：一组图像；

dl、dr：显示画面；

h：显示画面的高度；

w：显示画面的宽度；

α：横向的视场角；

β：高度方向上的视场角。