图像处理系统和方法、摄像系统、图像生成装置和方法

图像处理系统和方法、摄像系统、图像生成装置和方法
【专利摘要】本发明涉及图像处理系统和方法、摄像系统、图像生成装置和方法，其目的在于提供能够在对接多幅输入图像生成一幅图像的图像处理中，缩短图像输出时的图像延迟的模态。本发明的图像处理系统(100)包括检测多幅输入图像之间的对接位置的检测处理部(220)、对多幅图像输入实行对接处理且生成输出图像的对接处理部(250)、以及切换模态的切换部(270)。所述模态包含第一模态和第二模态，第一模态输出反映检测处理部(220)的检测结果、并经过对接处理部(250)实行对接处理而生成的输出图像，第二模态输出未经过检测处理部(220)的处理、直接由对接处理部(250)实行所述对接处理而生成的输出图像。
【专利说明】
图像处理系统和方法、摄像系统、图像生成装置和方法
技术领域
[0001]本发明涉及图像处理系统和方法、摄像系统、图像生成装置和方法。
【背景技术】
[0002]目前，例如专利文献1(JP特开2013-187860号公报)揭示了一种用鱼眼镜头或超广角镜头等广角镜头作一次性全方位摄影的全天球摄像系统。该全天球摄像系统将各个镜头的成像投影到传感器面上得到图像，通过对该图像实行图像处理，将各个图像连接起来，生成全天球图象。例如，可以用两个具有超过180度视角的广角镜头生成全天球图像。
[0003]在上述专利文献I的图像处理中，根据规定的投影模型或者考虑理想模型发生的变形，对各透镜光学系统拍摄的鱼眼图像实施变形补偿以及投影转换。而后，根据鱼眼图像中包含的重复部分，实行图像对接处理，将鱼眼图像对接起来，形成一幅全天球图象。在图像对接处理中，用图案匹配等能够检测到鱼眼图像之间的重复部分中被摄体重复的对接位置
[0004]如果能够高速实行上述图像处理，则能够对全天球图像实行实时监视。但是实际上，由于图像处理量非常之大，难以在可能的成本范围内实时生成图像。即便能够高速处理，也会因高速处理耗电，电池消费大，从而发生耗电量增大引起的发热问题。

【发明内容】

[0005]鉴于上述问题，本发明的目的在于提供一种图像处理系统，其中具备能够在对接多幅输入图像生成一幅图像的图像处理中，缩短图像输出时的图像延迟的模态。
[0006]为了达到上述目的，本发明提供一种图像处理系统，其中包括:检测处理部，用于检测多幅输入图像之间的对接位置;对接处理部，用于对所述多幅输入图像实行对接处理，生成输出图像；以及，切换部，用来切换模态，所述模态包含第一模态和第二模态，该第一模态输出反映了所述检测处理部的检测结果、并经过所述对接处理部实行所述对接处理而生成的所述输出图像，所述第二模态输出未经过所述检测处理部的处理、直接由所述对接处理部实行所述对接处理而生成的所述输出图像。
[0007]本发明的效果在于，提供能够在对接多幅输入图像生成一幅图像的图像处理中，缩短图像输出时的图像延迟的模态。
【附图说明】
[0008]图1是本实施方式的全天球摄像系统所具有的全天球相机的截面图。
[0009]图2A是本实施方式的全天球摄像系统所具有的全天球相机的硬件结构模块图。
[0010]图2B是本实施方式的全天球摄像系统中的用户终端装置的硬件结构示意图。
[0011]图3是用来描述本实施方式的全天球摄像系统的多个模态的图像处理途径的示意图。
[0012]图4是关于本实施方式的全天球摄像系统的全天球图像监视功能的主要功能模块图。
[0013]图5是表示本实施方式的全天球摄像系统中的投影关系示意图。
[0014]图6是本实施方式采用的全天球图像格式的图像数据结构示意图。
[0015]图7是本实施方式的位置检测用变形补偿部参考的转换数据示意图。
[0016]图8是本实施方式的位置检测处理时将用鱼眼镜头拍摄的部分图像映射到球面坐标系上的示意图。
[0017]图9是本实施方式的对接位置检测处理的示意图。
[0018]图10是本实施方式的对接位置检测结果的数据结构示意图。
[0019]图11是本实施方式的图像合成处理时将鱼眼镜头拍摄的部分图像映射到球面坐标系的示意图。
[0020]图12是本实施方式的全天球摄像系统生成的各模态输出图像的示意图。
[0021]图13是用来描述利用本实施方式的全天球摄像系统缩短监视图像的图像延迟以及节能的示意图。
【具体实施方式】
[0022]以下参考附图描述本发明的实施方式。但是，本发明并不局限于下述实施方式。在以下的实施方式中，用包括具备两个鱼眼镜头的全天球相机110和具有能够与全天球相机110通信的用户终端装置150的全天球摄像系统100作为一例图像处理系统和摄像系统来进行描述。虽然在此使用了两个鱼眼镜头，但实际上也可以使用三个以上鱼眼镜头。
[0023]首先参考图1和图2描述本实施方式的全天球摄像系统100的整体结构。图1是本实施方式的全天球摄像系统100所具有的全天球相机110的截面图。图1所示的全天球相机110具有摄像体12、用来保持该摄像体12以及控制器和电池等元件的筐体14、设于该筐体14上的摄像键18。
[0024]图11所示的摄像体12包括两个成像光学系统20A和20B以及两个摄像元件22A和2213。摄像元件22八和2213是(]00(01&找6 Coupled De vice)传感器或 CMOS (Comp IementaryMetal Oxide Semiconductor)传感器等。成像光学系统20例如是六组七片的鱼眼镜头。在图1所示的实施方式中，该鱼眼镜头的视角大于180° (=360°/n，光学系数n = 2)，优选具有190°以上的视角。用一个如此大视角的成像光学系统20和一个摄像元件22组成光学系统作为广角摄像光学系统。
[0025]两个成像光学系统20A和20B的光学元件(透镜、菱镜、滤光片以及光圈)相对于摄像元件22A和22B的位置关系固定。成像光学系统20A和20B的光学元件的光轴分别垂直于对应的摄像元件22的受光区域的中心部分，而且受光区域分别为对应的鱼眼镜头的成像面。
[0026]两个成像光学系统20A和20B规格相同，互相逆向组合，使得两条光轴一致。摄像元件22A和22B将受光的光分布转换为图像信号，依次把图像帧输出到控制器上的图像处理模块中。摄像元件22A和22B各自拍摄的图像经过合成处理后，生成立体角度4jt球面度图像(以下称为全天球图像)。全天球图像是在摄影地点所能够瞭望的所有方向拍摄的图像。在本实施方式中生成全天球图像，但也可以只是水平面360°拍摄的图像，即所谓的全景立体图，或者全天球或水平面360°全景拍摄中的一部分图像，还可以作为动画保存。
[0027]图2A是本实施方式的全天球摄像系统100所具有的全天球相机110的硬件结构模块图。全天球相机 110包含CPU(Central Processing Unit)112、R0M(Read Only Memory)114、图像处理模块116、动画压缩模块118、经由01^]\1(07肪111；^ Random Memory)120连接的DRAMl 32、以及经由外部传感器接口 124连接的加速度传感器136。
[0028]CPU112控制全天球相机110的各个部分的动作和整体动作。R0M114用于存放用编码描述的CPU112能够解读的控制程序或各种参数。图像处理模块116与两个摄像元件130A和130B(图1中的摄像元件22A和22B)连接，用来输入该两个摄像元件130A和130B各自拍摄的图像的图像信号。图像处理模块116包含ISP(Image Signal Processor)等，对从摄像元件130输入的图像信号进行阴影补偿、拜耳(Bayer)插值补偿、白平衡补偿、伽玛补偿等处理。进而，图像处理模块116还对从摄像元件130取得的多幅图像进行合成处理，由此生成上述全天球图像。
[0029]动画压缩模块118是用于MPEG-4AVC/H.264等动画缩放的编解码模块。动画压缩模块118用于生成经过生成的全天球图像的动画数据。DRAM132用于在实施各种信号处理和图像处理时提供暂时保存的存储区域。加速度传感器136检测三个轴向的加速度成分，被检测到的加速度成分用于检测垂直方向并实施全天球图像的天顶补偿。
[0030]全天球相机110进一步具有外部寄存器接口 122、USB(Universal Serial Bus)接口 126、串行模块128、影像输出接口 129。外部寄存器接口 122连接外部寄存器134，控制对于插入存储卡插口的存储卡等的外部寄存器134的读写。
[0031]USB接口 126连接USB连接器138，控制与经由USB连接器138连接的个人计算机等外部设备之间的USB通信。串接模块128与控制个人计算机等外部设备之间的串行通信，连接无线NIC(Network Interface Card) 140。影像输出接口 129用于与HDMI (High-Definit1nMultimedia Interface，HDMI为注册商标)等外部显示器的连接，向外部显示器等影像输出拍摄的图像。
[0032]经过电源开关操作，电源成为接通状态后，将上述控制程序上载到主存储器中。CPUl 12执行被读入主存储器的程序，控制装置各部动作，同时在存储器上暂时保存控制所需要的数据。这样，便能够实现全天球相机110的后述各项功能和处理。
[0033]图2B是本实施方式的全天球摄像系统100中的用户终端装置150的硬件结构示意图。图2B所示的用户终端装置150包含CPU152、RAM154、HDD(Hard Disk Drive) 156、输入装置158、外部寄存器160、显示器162、无线NIC164、USB连接器166。
[0034]CPU152控制用户终端装置150的各个部分的动作和整体动作。RAM154向CPU152提供作业区域。HDD156用于存放用编码描述的CPU152能够解读的操作系统和本实施方式的用户终端装置150负责实行的处理的应用软件等程序。
[0035]输入装置158是鼠标、键盘、触摸面板、触摸屏等输入装置，提供用户接口。外部寄存器160是插入存储卡插槽等中的可装卸记录媒体，用来记录动画格式的图像数据或静止图像数据等各种数据。无线NIC164用来设立全天球相机110等与外设等之间的无线LAN通信连接。USB连接器166用来设立全天球相机110等与外设等之间的USB连接。此外，在此以无线NIC164和USB连接器166为例，但是并没有特殊规格限定，也可以用Bluetooth(注册商标)或无线USB等其他无线通信以及有线LAN(Local Area Network)等有线通信来与外设连接。
[0036]显示器162用来实行用于用户操作的操作画面的显示、摄影前或摄影期间的全天球相机110拍摄的图像的显示器图像的显示、保存动画或静画的重放以及用于阅览的显示。通过显示器162和输入装置158，用户能够借助于操作画面对全天球相机110发出摄影指示或改变各种设定。
[0037]当用户终端装置150的电源接通，处于电源接通状态后，从ROM或HDD156读取程序，上载到RAM154XPU152执行被读入RAM154的程序，控制装置各部动作，同时将控制所需的数据暂时保存到存储器中。这样，便实现用户终端装置150的后述各项功能和处理。
[0038]如上所述，本实施方式的全天球相机110具有拍摄全天球图像的静止画或动画的功能。但是需要在该全天球图像的静止画或动画的拍摄之前或拍摄期间能够实时确认被摄图像的状态。例如，用户在设置全天球相机110之际可能需要劝人图像的亮度或确认视角。
[0039]但是，由于用多个摄像元件130A和130B生成上述全天球图像，需要实行用图案匹配来检测被摄体重叠对接位置以及对接多幅图像之类复杂的图像处理。虽然在高速实施上述图像处理的情况下，则能够实现全天球图像的实时监视，但是现实中，该图像处理量非常之多，难以在允许的成本范围内实现实时监视图像的构成。即便能够高速图像处理，也存在图像处理耗电两大，电池消费过快的问题，进而还会发生发热过大的问题
[0040]对此，本实施方式按照用途准备了多个模态的图像处理路径。多个模态为除了模态(I)的摄影模态之外，还提模态(2)的供视角确认模态。模态(I)的摄影模态是指反映对接位置检测处理的检测结果，实行从多个摄像元件130A和130B输入的输入图像的对接处理，生成输出图像。而模态(2)的视角确认模态则具有以下特征，即响应多个模态中的视角确认模态的指定，绕过上述对接位置的检测处理，直接对来自多个摄像元件130A和130B的输入图像进行对接处理，生成输出图像。也就是说，不检测对接位置，在规定位置上对接作为来自摄像元件130A和130B的输入图像的第一图像和第二图像，生成输出图像。优选实施方式进一步提供模态(3)的亮度确认模态，切出多幅输入图像中的至少一方，生成输出图像。也就是说，不检测对接位置，实行部分图像的切出。
[0041]根据上述构成，在需要确认视角的用途中，用户只要选择视角确认模态，生成输出图像时便能够回避处理负担大耗电量多的对接位置检测处理，从而缩短视角确认时的图像延迟，进而有助于抑制电力消费和发热。
[0042]下述实施方式中，用户终端装置150用来显示监视图像，该监视图像用于确认全天球图像的静止画或动画的摄影之前或摄影期间拍摄的图像。用户操作用户终端装置150上运用的遥控控制用应用软件，在用户终端装置150上一边显示监视图像，一边发送摄影指示，对此，用全天球相机110实行静止画或动画的拍摄。但是，该实施方式对本发明没有限制，本发明也可以在与影像输出接口 129相连接的外部显示器上显示可监视图像，或者，如果全天球相机110具备自己的显示器，则也可以在全天球相机110具备的显示器上显示监视图像。还可以通过摄影键钮18接受摄影指示。
[0043]以下参考图3描述本实施方式的全天球摄像系统100多个模态的图像处理流程。图3是用来描述本实施方式的全天球摄像系统100的多个模态的图像处理途径的示意图。
[0044]图3显示模态(I)的摄影模态、模态(2)的视角确认模态、模态(3)的亮度确认模态，计三种模态各自的图像处理路径。每种模态的图像处理200均以多个摄像元件130A和130B的部分图像取得处理为开始。在部分图像区的处理210中，全天球相机110控制两个摄像元件130A和130B依次拍摄连续帧。各个摄像元件130拍摄图像均为其视野大致收纳半个球的鱼眼图像，构成全天球图像的部分图像。以下将摄像元件130A和130B各自拍摄的各帧图像作为部分图像。
[0045]首先描述模态(I)的摄影模态。在摄影模态中，全天球相机110实行部分图像区的处理210后，实行对接位置检测处理220，检测取得的两个部分图像之间的对接位置。在摄影模态的对接位置检测处理220中，检测每幅帧中多个部分图像之间存在的重复区域中多个对应点各自的偏离量，生成对接位置检测结果。
[0046]摄影模态中对接位置检测处理220之后，实行倾斜检测处理230。在倾斜检测处理230中全天球相机110控制图2A所示的加速度传感器136，检测全天球相机110相对于规定的基准方向的倾斜。在此，典型的规定基准方向为铅直方向，即重力加速度作用方向。在倾斜检测处理230中对每幅帧测定三轴向加速度传感器136的各项加速度成分，生成倾斜检测结果O
[0047]根据上述对接位置检测处理220检测到的对接位置检测结果和倾斜检测处理230的倾斜检测结果，构成用于合成各幅帧部分图像的对接参数240。
[0048]在摄影模态中，全天球相机110继而根据得到的对接参数240，实行对接处理250，将在部分图像取得处理210取得的两个部分图像对接起来。在摄影模态的对接处理250中，根据对接位置检测结果，在对接位置实行部分图像的位置匹配，进而根据倾斜检测结果实行天顶补偿，从而生成全天球图像。在具有三个以上的多个鱼眼镜头的情况下，合成三个以上的多个部分图像，生成全天球图像。
[0049]在摄影模态中，对每幅帧实行对接位置检测和倾斜检测，并对每幅帧的对接参数240动态更新。之后，每幅帧的对接处理采用反映了这些检测结果的对接参数240。为此在摄影模态中，即便全天球相机110发生倾斜或改变朝向，或者重复区域附近的被摄体发生移动，也能够以经过实施适当的天顶补偿和对接补偿的状态来生成输出图像。
[0050]对此，在模态(2)的视角确认模态中，全天球相机110在部分图像取得处理210之后，绕过对接位置检测处理220，直接实行对接处理250。换言之，不检测对接位置，而是在规定位置上对接摄像元件130A和130B取得的输入图像即第一图像和第二图像，生成输出图像。视角确认模块中的对接处理250中，用基于既定对接参数的对接位置，实行多个部分图像的位置匹配，合成上述取得的两个部分图像，从而生成全天球图像。在三个以上的多个鱼眼镜头的情况下，合成三个以上的多个部分图像，生成全天球图像。
[0051]关于对接参数，至少可以静态使用在取得部分图像之前已经存在的参数，如全天球相机110出厂之前预先生成的参数、或者前一次摄影模态拍摄时生成的参数等。这样能够省去每一幅图像帧的对接位置检测和倾斜检测，有助于缩短输出图像生成时的图像延迟和节省电力消费。由于这些参数在以往的使用中均获得成功对接，因此不会发生极端的对接位置偏离，所以，此时的画质足以用于视角确认用途。
[0052]进而在模态(3)的亮度确认模态中，全天球相机110在部分图像取得处理210之后，绕过对接位置检测处理220，直接实行图像切出处理260。在图像切出处理260中，至少切出在部分图像取得处理210中取得的多幅部分图像中至少一方，生成输出图像。由于图像切出处理260的处理负担更加小于对接处理250，因而能够进一步减少电力消费。简而言之，亮度确认模态不检测对接位置，而是实行部分图像的切出。
[0053]上述(I)至(3)各种模态中，对接处理250或图像切出处理260结束后，全天球相机110实行输出图像的选择处理270，用户终端装置150根据全天球相机110输出的图像实行监视显示处理280。
[0054]在选择处理270中，根据多种模态中的指定模态，切换图像处理路径。在模态(I)的摄影模态，全天球相机110在选择处理270中选择经过在对接处理250中实施的对接位置补偿和天顶补偿的全天球图像。而在模态(2)的视角确认模态，全天球相机110在选择处理270中选择未经过对接处理250的对接位置补偿和天顶补偿的全天球图像。进而在模态(3)的亮度确认模态，全天球相机110在选择处理270中选择经过图像切出处理270的切出图像。
[0055]在监视显示处理280中，用户终端装置150上显示监视图像，该监视图像基于按指定模态切换的输出图像。其中，在模态(I)的摄影模态和模态(2)的视角确认模态的监视显示处理280中，既可以直接显示全天球图像，也可以显示以规定视角投影显示全天球图像而生成的图像(以规定视角从全条球图像中切出的图像)。在模态(3)的亮度确认模态的监视显示处理280中，可以直接显示切出图像。
[0056]以下参考图4至图13，详述本实施方式的全天球摄像系统100所具备的全天球图像监视功能。图4是本实施方式的全天球摄像系统100的主要功能模块图。如图4所示，本实施方式的图像处理模块300包含位置检测用变形补偿部302、对接位置检测部304、表修改部306、表生成部308、倾斜检测部310、图像合成用变形补偿部312、图像合成部314、图像切出部316、模态切换部318、输出图像选择部320。
[0057]图像处理模块300从两个摄像元件130A和130B输入部分图像，每帧图像包含经过各种图像信号处理的两幅部分图像。在此，将以摄像元件130A作为图像源的帧的图像作为“部分图像O”，以摄像元件130B作为图像源的帧的图像作为“部分图像I”。图像处理模块300中进一步提供制造商根据各自的镜头光学系统的设计数据等且按照规定投影模式预制的位置检测用转换表330。
[0058]在摄影模态中，位置检测用变形补偿部302、对接位置检测部304、表修改部306、表生成部308以及倾斜检测部310动作，用来生成对接参数240。
[0059]位置检测用变形补偿部302用位置检测用转换表330，对被输入的部分图像O和部分图像I实施变形补偿，生成位置检测用补偿图像(以下称为补偿图像)0和位置检测用补偿图像I。输入的部分图像O和部分图像I是以平面坐标系(x，y)表示的图像数据，对此，经过位置检测用转换表330变形补偿的补偿图像是以球面坐标系(极径为I并具有两个极角O和Φ的极坐标系)表示的全天球图像格式的图像数据。
[0060]图5是表示本实施方式的全天球摄像系统100中的投影关系示意图。用一个鱼眼镜头拍摄的图像能够从摄影地点出发经过大约半个球的方位。鱼眼镜头如图5的(A)所示，与相对于光轴的入射角度Φ对应，生成像高为h的图像。像高h和入射角度Φ之间的关系取决于规定的投影模式所对应的摄影函数。本实施方式采用图像圈直径小于图像对角线的所谓圆周鱼眼镜头构成，得到的部分图像如图5的(B)所示，为摄影范围约相当于半球的整个投影图像圈的平面图像。
[0061]图6是本实施方式采用的全天球图像格式的图像数据结构示意图。如图6所示，用以Θ和Φ为坐标的像素值排列来表示全天球图像格式的图像数据，Θ为相对于规定轴的角度所对应的垂直角度，Φ是围绕上述轴转动的转动角度所对应的水平角度。各个坐标值(Θ，Φ)与表示以摄影地点为中心的全方位的球面上的点相对应，全方位映射到全天球图像上。
[0062]图7是本实施方式的位置检测用变形补偿部302参考的转换数据示意图。转换表330用来对平面坐标系表述的部分图像投影到球面坐标系表述的图像进行限定。如图7中的(A)和(B)所示，转换表330中记录了每个鱼眼镜头的所有坐标值(θ，φ )的坐标关联信息，该坐标关联信息中，补偿后图像坐标值(θ，Φ )与被映射到该坐标值(θ，Φ )的补偿前部分图像坐标值(x，y)相关联。在图7中，一个像素跨越的角度在该坐标值Θ方向和φ方向均为1/10度，对于各鱼眼镜头，转换表具有表示3600 X 1800对应关系的信息。对接位置检测时使用的位置检测用转换表330由制造商等预先在对理想镜头模式实行变形补偿的基础上计算并列表构成。
[0063]图8是本实施方式的位置检测处理时将用鱼眼镜头拍摄的部分图像映射到球面坐标系上的示意图。位置检测用变形补偿部302的处理结果如图8所示，用鱼眼镜头拍摄的两幅部分图像O和I被展开到全天球图像格式上。鱼眼镜头O拍摄的部分图像O映射到全天球中的约上半球，眼镜头I拍摄的部分图像I映射到全天球中的约下半球。用全天球格式表述的补偿图像O和补偿图像I超过鱼眼镜头的全视角180度，为此，超出了各个半球。其结果，重叠补偿图像O和补偿图像I时图像之间将会产生摄影范围重复的重复区域。
[0064]对接位置检测部304接受经过位置检测用变形补偿部302转换的补偿图像O和1，经过图案匹配处理，检测到输入补偿图像O和补偿图像I之间的对接位置，生成对接位置检测结果332。如图8所示，在本实施方式的位置检测用转换表330中，两个透镜光学系统各自的光轴被映射到极点，同时，图像之间的重复区域被映射到球面赤道附近。在球面坐标系中，越接近垂直角度Φ为O度或180度的极点，变形越大，对接位置检测精度下降。对此，通过上述映射，能够提高对接位置精度。此外，本实施方式描述了图8所示的用两个鱼眼镜头拍摄的两个部分图像在球面坐标系上的映射，除此之外，也可以用三个以上的多个鱼眼镜头。
[0065]图9是本实施方式的对接位置检测处理的示意图。在以下的实施方式中模板用图像500是位置检测用补偿图像I的重复区域的部分的图像，探索用图像510是位置检测用补偿图像O的重复区域的部分的图像。在此，设定用指定大小W和H、以及指定生成间隔Step生成模板图像，则得到图9所示形态的多个模板图像502-1至502-#。
[0066]通过模板匹配，在规定探索范围512内，探索探索用图像510上与生成的多个模板图像502-1至502-#相对应的对应部分514。而后，分别检测相对于各个模板图像502-1至502-#，匹配评分为最大的位置离开基准位置的偏离量。
[0067]图10是本实施方式的对接位置检测结果的数据结构示意图。如图10所示，根据对接位置检测处理，生成所有坐标值转换后的各坐标值(θ，Φ )与偏离量(△ Θ，△ φ )相关联的信息。此时，将经过上述对接位置检测求出的模板/模块的偏离量(Δ θ,, Δ ΦΟ设定为模板/模块的中心坐标的值，对各坐标值(θ，Φ )所对应的偏离量(△ Θ，△ φ )进行插值，求出对接位置数据。
[0068]表修改部306根据对接位置检测结果332，修改预备的位置检测用转换表330，并将该转换表330交给表生成部308。如图10所示，通过上述对接位置检测求出了全天球图像格式的每个坐标值的偏离量，为此，表修改部306对部分图像O变形补偿时使用的检测用变形补偿表O进行修改，将该检测用变形补偿表O中，修改前与(Θ+ΔΘ，φ + Δ巾)相对应的(1，7)修改为与输入坐标值(θ，Φ )相关联。而对于部分图像I的变形补偿时使用的检测用变形补偿表I，不需要修改对应关系。
[0069]表生成部308根据转动坐标转换，从经过上述表修改部306修改的转换数据，生成图像合成用转换表336。此时，也可以根据倾斜检测部310生成的倾斜检测结果334，反映倾斜补偿，生成图像合成用转换表336。
[0070]这样，在模态(I)的摄影模态中，对每帧实行对接位置检测，更新图像合成用转换表336。位置检测用变形补偿部302、对接位置检测部304、表修改部306以及表生成部308实行的处理对应于图3所示的对接位置检测处理220，倾斜检测部310实行的处理对应于倾斜检测处理。生成的图像合成用转换表336对应于对接参数240。
[0071 ]在模态(2)的视角确认模态中，按照减少电力消费的方针，停止上述位置检测用变形补偿部302、对接位置检测部304、表修改部306、表生成部308以及倾斜检测部310的动作。
[0072]在模态(I)的摄影模态和模态(2)的视角确认模态中，图像合成用变形补偿部312和图像合成部314动作，用来生成全天球图像。
[0073]图像合成用变形补偿部312实行图像合成处理的前处理，即利用转换表，对部分图像O和部分图像I实行变形补偿，生成图像合成用补偿图像O和图像合成用补偿图像I。与位置检测用补偿图像相同，上述生成的图像合成用补偿图像O和I不仅用球面坐标系表述，而且通过上述转动坐标转换，座标轴定义与位置检测用补偿图像不同。图像合成部314合成获得的图像合成补偿用图像O和图像合成补偿用图像I，生成全天球图像格式的合成图像的帧。
[0074]图11是本实施方式的图像合成处理时将鱼眼镜头拍摄的部分图像映射到球面坐标系的示意图。通过上述转动坐标转换，图8所示的以其中一方的透镜光学系统光轴为轴的水平角度和垂直角度的坐标轴的定义，被转换为如图11所示的以垂直于光轴的轴为基准的水平角度和垂直角度的定义。这样，图像合成用变形补偿部312的处理结果为，用鱼眼镜头拍摄的两个部分图像O和I被展开到如图11所示的全天球图像格式上。通常，用鱼眼镜头O拍摄的部分图像O被映射到全天球中大致左半球，用鱼眼镜头I拍摄的部分图像I被映射到全天球中大致右半球。在此用图11描述了用两个鱼眼镜头拍摄的两幅部分图像在球面坐标系上的映射，而在三个以上多个鱼眼镜头的情况下，需要合成三个以上多个部分图像来生成全天球图像。
[0075]图像合成用变形补偿部312根据指定的模态参考不同的转换表。在模态(I)的摄影模态时，图像合成用变形补偿部312参考每一幅帧经过对接位置检测处理220更新的图像合成用转换表336。而在模态(2)得视角确认模态中，所有帧均参考固定转换表338。
[0076]这样，模态(I)的摄影模态和模态(2)的视角确认模态分别根据转换表336和338实行对接处理。图像合成用变形补偿部312和图像合成部314实行的处理与图3所示的对接处理250相对应。
[0077]在模态(3)的亮度确认模态中，从节能观点出发，停止上述位置检测用变形补偿部302、对接位置检测部304、表修改部306、表生成部308、倾斜检测部310、图像合成用变形补偿部312以及图像合成部314的动作，取而代之的是图像切出部316动作。
[0078]图像切出部316对输入的部分图像实行图像切出处理，生成切出图像。该生成的切出图像与部分图像相同也使用平面坐标系表述的图像数据。图像切出部316实行的处理对应图3所示的图像切出处理260。
[0079]模态切换部318根据用户指定的模态，在输入图像选择部320、对接位置检测处理220、对接处理250以及图像切出处理260的动作之间进行切换。关于用户的模态指定，可以通过例如用户终端装置150上动作的应用软件上的软件键或全天球相机110所具备的硬件键等实行。具体为，模态切换部318具有其判断作用的判断部，用来判断是否检测到两幅部分图像的对接位置。如果判断检测到对接位置，则切换到模态(I)的摄影模态，而如果判断为检测到对接位置，则切换到模态(2)的视角确认模态或模态(3)的亮度确认模态。
[0080]输出图像选择部320在模态(I)的摄影模态和模态(2)的确认模态中选择图像合成部314输出的合成图像作为输出图像。而在模态(3)的亮度确认模态中选择图像切出部316输出的切出图像为输出图像。
[0081]图12是本实施方式的全天球摄像系统100生成的各模态输出图像的示意图。模态
(I)的摄影模态选择的输出图像如图12中的(A)所示，是经过对接位置匹配和天顶补偿的图像。模态(2)的视角确认模态选择的输出图像如图12的(B)所示，虽然以足够的画质来实行对接位置的匹配，但没有实施天顶补偿。模态(3)的亮度确认模态选择的输出图像如图12的(C)所示，为从鱼眼图像切出的矩形图像。
[0082]图4所示的图像处理模块300可以进一步包含监视图像生成部322。上述生成的合成图像以全天球图像格式表述，在直接显示到显示器等平面显示设备上时，越接近垂直角度O度和180度图像显示出变形。如果仅仅是为了视角确认，则也可以直接用全天球图像格式表示，但是最佳实施方式需要实行用于将全天球图像投影到平面显示设备上的图像处理。
[0083]监视图像生成部322在模态(I)的摄影模态和模态(2)的视角确认模态中将全天球图像格式的合成图像依次从球面坐标系转换到特定方向和特定视角的平面坐标系，实行向用户指定的特定视野方向的一定视角的画像投影的处理。据此，观众能够监视到与以规定的视点或视野观察时相当的图像。监视图像生成部322在模态(3)的亮度确认模态中，将输出的切出画面直接显示到显示器上，或者从切出画面中进一步切出一部分用来显示。
[0084]以上描述了拍摄之前或拍摄期间的监视图像显示。而上述在模态(I)的摄影模态中，生成了在图像处理路径中生成的全天球图像的静止画，或者动画压缩全天球图像的多幅帧构成的图像列，生成动画，这些静止画或动画的图像数据可以保存起来。
[0085]图13是用来描述利用本实施方式的全天球摄像系统缩短监视图像的图像延迟以及节能的示意图。图13在时间轴上显示了输入的图像帧，同时还显示了各模态中实行各种处理以及输入图像帧所对应的输出的时间。各种处理的处理量用长条长度作模式性显示。
[0086]如图13所示，在实行对接位置检测处理的模态(I)的摄影模态中，通常需要花费相当于几个帧的时间来实行对接位置检测处理，并等待相当于几个帧的时间对图像实行对接处理并输出图像。通过利用高速图像处理晶片提高硬件的图像处理性能虽然能够缩短延迟，但是会引起成本上升和增加电力消费。
[0087]对此，在上述模态(2)的视角确认模态能够省去通常需要几个帧的时间的对接位置检测处理，因而有利于缩短图像延迟和节能。例如，在特定处理晶片上，能够将摄影模态中相当于三个帧的处理缩短到相当于一个帧，因而输出时只发生一个帧的延迟。进而，在上述模态(3)的亮度确认模态中，对接处理被处理负担较小的图像切出处理取代，因而能够进一步减少电力消费。
[0088]如上所述，上述实施方式提供的图像处理系统、图像处理方法以及摄像系统具备能够在对接多幅输入图像生成一幅图像的图像处理中缩短图像输出时的图像延迟的模态。
[0089]上述实施方式用一例具备全天球相机110和与全天球相机110通信的用户终端装置150的全天球摄像系统100来描述图像处理系统和摄影系统。
[0090]上述全天球摄像系统100在特定的实施方式中可以在全天球相机110的硬件上安装部分图像取得处理210、对接位置检测处理220、倾斜检测处理230、对接处理250以及选择处理270，并在用户终端装置150上安装监视显示处理280。该特定的实施方式中，全天球相机110输出与多个模态中指定的模态相对应的输出图像，用户终端装置150显示的监视图像基于与模态相对应的输出图像。
[0091]但是，本发明的图像处理系统和摄像系统的构成并不受上述构成限制。除了上述实施方式以外，图像处理系统、图像处理装置以及摄像系统也可以构成为全天球相机110实行上述210至280的所有图像处理，且仅具备全天球相机110。进而，还可以构成为把处理上述部分图像处理取得处理210以外的其他图像处理220至280分散安装到包括用户终端装置150在内的一个以上外部个人计算机或服务器等图像处理装置上。例如，在特定的实施方式中，可以在作为图像处理装置的用户终端装置150上实行图像处理220至280。在这种实施方式中，全天球相机110不管是在何种模态下，均取得并输出多个部分图像，用户终端装置150接受全天球相机110输出的多个部分图像的输入，生成与多个模态中的指定模态对应的输出图像，进而显示监视图像。
[0092]进而，在上述实施方式的倾斜补偿中，以铅直方向为基准计算倾斜角度。对此，也可以用铅直方向以外的例如水平方向或其他需要的方向作为基准方向，根据全天球相机110或摄像元件130A和130B等规定物体相对于该基准方向的倾斜来修改图像的倾斜。另外，上述实施方式中使用了倾斜检测用的加速度传感器，也可以用加速度传感器和地面磁场传感器组合等构成的其他倾斜传感器来检测全天球相机110或固定在全天球相机110上的摄像元件130A和130B、以及传感器本身等的倾斜。
[0093]上述各项功能模块通过执行用汇编语言、C、C++、C#、Java(注册商标)等传统编程语言或面向对象编程语言等叙述的计算机可执行程序来实现。该程序可以保存在R0M、EEPROM、EPROM、闪存、软磁盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-Rff、蓝光盘、SD 卡、MO 等装置可读取的存储媒体中，还可以通过电子通信线颁发。上述功能部中的一部分或全部可安装在例如现场可编程门阵列(Field-Programmable Gate Array，略写为FPGA)等可编程设备(Programmab Ie Device，略写为PD)中，还可以作为专用集成电路(Appl icat 1nSpecific Integrated Circuit，ASIC)安装，进而，可以用记录媒体颁发用于下载到F1D上的比特流数据(Bitstrearn Data)、生成电路构成数据的HDL(Hardware Descript1nLanguage)、VHDL(Very High Speed Integrated Circuits Hardware Descript1nLanguage)、Verilog-HDL等描述的数据，用来在F1D实现上述功能。
[0094]至此描述了本发明的实施方式，但是本发明并不受到上述实施方式的限制。在本技术领域的专业人员能够想到的范围内，可以对上述实施方式进行增删或改变，还可以采用其他实施方式，但是无论用哪一种实施方式，只要具有本发明作用和效果，均属于本发明范畴。
【主权项】
1.一种图像处理系统，其中包括: 检测处理部，用于检测多幅输入图像之间的对接位置； 对接处理部，用于对所述多幅输入图像实行对接处理，生成输出图像；以及， 切换部，用来切换模态， 所述模态包含第一模态和第二模态， 所述第一模态输出反映了所述检测处理部的检测结果、并经过所述对接处理部实行所述对接处理而生成的所述输出图像， 所述第二模态输出未经过所述检测处理部的处理、直接由所述对接处理部实行所述对接处理而生成的所述输出图像。2.根据权利要求1所述的图像处理系统，其中， 在所述第一模态中由所述对接处理部实行的所述对接处理中，使用反映了所述检测处理部的检测结果的转换数据， 在所述第二模态中由所述对接处理部实行的所述对接处理中，使用规定的转换数据。3.根据权利要求1或2所述的图像处理系统，其中， 进一步包括切出处理部，用于切出所述多幅输入图像中的至少一方，生成所述输出图像， 所述模态还包含第三模态，该第三模态输出未经过所述检测处理部和所述对接处理部的处理，直接由所述切出处理部切出所述至少一幅输入图像而生成的输出图像。4.根据权利要求1至3中任意一项所述的图像处理系统，其中，在所述第一模态中，所述检测处理部实行的处理包含检测所述多幅输入图像之间存在的重复区域中多个对应点各自的位置偏离量的处理。5.根据权利要求1至4中任意一项所述的图像处理系统，其中，在所述第一模态中，所述检测处理部实行的处理包含检测处理和转换数据生成处理， 所述检测处理是检测从所述多幅输入图像转换的球面坐标系的多幅图像之间的对接位置， 所述转换数据生成处理根据倾斜传感器的倾斜检测结果和在所述球面坐标系上检测到的对接位置的检测结果，生成用来从所述多幅输入图像生成所述输出图像的转换数据。6.根据权利要求5所述的图像处理系统，其中，所述对接处理部的处理还包含转换处理和合成处理， 所述转换处理根据所述转换数据，将所述多幅输入图像分别转换为球面坐标系的图像， 所述合成处理合成多幅经过所述转换处理，从所述多幅输入图像转换为所述球面坐标系的多幅图像，生成所述输出图像。7.根据权利要求1至6中任意一项所述的图像处理系统，其中，在显示装置上显示监视图像，该监视图像基于按照指定模态切换的所述输出图像。8.根据权利要求1至7中任意一项所述的图像处理系统，其中，硬件安装所述检测处理部和所述对接处理部。9.根据权利要求1至8中任意一项所述的图像处理系统，其中， 进一步包含图像取得部，用于取得来自多个摄像部的部分图像， 该多个拍摄部分别具有透镜光学系统和摄像元件，朝互不相同的方向拍摄，提供输入图像列。10.根据权利要9所述的图像处理系统，其中，所述多个摄像部分别具有规定的视角，通过结合该多个摄像部的视角达到牡球面度的立体度，用所述对接处理部生成的所述输出图像为全天球图像。11.一种用于图像处理装置的图像处理方法，其中包含该图像处理装置响应被指定为第一模态时实行的步骤以及响应被指定为第二模态时实行的以下步骤， 在响应被指定为第一模态时，所述图像处理装置实行: 检测被输入的多幅输入图像之间的对接位置的检测步骤;和， 反映所述检测步骤的检测结果，实行所述多幅输入图像的对接处理，生成第一输出图像的步骤； 在响应被指定为第二模态时，所述图像处理装置不实行所述对接位置的检测处理，直接实行所述多幅输入图像的对接处理，生成第二输出图像的步骤。12.—种摄像系统，其中包含: 多个摄像部，分别具有透镜光学系统和摄像元件，朝互不相同的方向拍摄，取得多幅输入图像； 检测处理部，用于检测取得的所述多幅输入图像之间的对接位置； 对接处理部，用于对所述多幅输入图像实行对接处理，生成输出图像；以及， 切换部，用来切换模态， 所述模态包含第一模态和第二模态， 所述第一模态输出反映所述检测处理部的检测结果、并经过所述对接处理部实行所述对接处理而生成的所述输出图像， 所述第二模态输出未经过所述检测处理部的处理、而是由所述对接处理部直接进行所述对接处理而生成的所述输出图像。13.根据权利要求12所述的摄像系统，其中包含摄像装置，该摄像装置具备所述多个摄像部、所述检测处理部、所述对接处理部、以及所述切换部。14.根据权利要求13所述的摄像系统，其中， 所述摄像装置输出与指定的所述模态相对应的输出图像， 所述摄像系统进一步具备用户终端装置，该用户终端装置用来在显示部上显示监视图像，该监视图像基于与指定的所述模态相对应的输出图像。15.根据权利要求12所述的摄像系统，其中包含: 摄像装置，具备所述多个摄像部，输出该多个摄像部各自取得的所述多幅输入图像；以及， 图像处理装置，其中具备所述检测处理部、所述对接处理部、以及所述切换部，用来接受所述摄像装置输出的所述多幅输入图像的输入，输出与被切换到的模态相对应的输出图像。16.—种图像生成装置，用于合成多幅图像，生成一幅图像，其特征在于，包含: 判断部，用于判断是否检测到连接第一图像和第二图像的对接位置；以及， 生成部，用于在所述判断部判断未检测到对接位置的情况下，在规定位置上连接所述第一图像和所述第二图像来生成图像。17.根据权利要求16的图像生成装置，其特征在于，进一步具备: 检测部，用于在所述判断部检测到对接位置时，实行对接位置的检测； 生成部，用于根据对接位置来对接所述第一图像和所述第二图像以生成图像。18.—种用于合成第一图像和第二图像以生成一幅图像的图像生成装置的图像生成方法，其中包含所述图像生成装置实行的以下步骤: 判断是否检测到第一图像和第二图像的对接位置的步骤；以及， 当所述判断步骤中判断没有检测到对接位置时，在规定位置上对接所述第一图像和所述第二图像以生成所述图像的步骤。
【文档编号】H04N5/232GK105872354SQ201610036980
【公开日】2016年8月17日
【申请日】2016年1月20日
【发明人】佐藤哲也
【申请人】株式会社理光