图像取得装置制造方法

图像取得装置制造方法
【专利摘要】具备：光学特性变更部（15）；光学系统（45），包含物镜（47）并将来自该物镜的光导向所述光学特性变更部；以及摄像元件（52），将经由所述光学特性变更部的光进行受光，所述光学特性变更部具有多个分割部并且为将分割部的一个选择性地配置于光路的结构，所述分割部具有：第一区域，从来自所述光学系统的光，选择特定的波长；以及第二区域，不变更来自所述光学系统的光的光学特性。
【专利说明】图像取得装置【技术领域】
[0001]本发明涉及取得测定目标物的光谱特性、进而取得高光谱图像的图像取得装置。【背景技术】
[0002]正在进行通过将测定目标物进行摄影测量等，在取得测定目标物的三维数据的同时取得测定目标物的图像，并取得带图像的三维数据。
[0003]由现有的三维测定装置得到的带图像的三维数据，被使用于地图数据等，并且得到了提高使用者的可视性等的效果。
[0004]另一方面，得到的数据是测定目标物的三维位置数据，并且作为得到的信息是测定目标物的三维位置。
[0005]在对测定目标物进行测定的情况下，期望得到更多的信息，并且不仅期望得到测定目标物的位置信息，而且期望得到有关测定目标物的性质和状态的信息，这主要利用在地理信息系统(GIS)中。
[0006]例如是，如果能得到有关农作物的发育状态的信息，则对农活而言适当的判断、适当的处置就成为可能，或者如果能判断露出于地表的矿物的种类等，则适当的土木施工方法的选择就成为可能等 。
[0007]鉴于这样的实际情况，本发明提供一种能取得光谱特性、特别是能取得高光谱图像的图像取得装置。
[0008]现有技术文献
专利文献1:日本特开2011-89895号公报；
专利文献2:日本特开2006-10376号公报。

【发明内容】

[0009]本发明涉及图像取得装置，具备:光学特性变更部；光学系统，包含物镜并将来自该物镜的光引向所述光学特性变更部；以及摄像元件，将经由所述光学特性变更部的光进行受光，所述光学特性变更部具有多个分割部并且为将分割部的一个选择性地配置于光路上的结构，所述分割部具有:第一区域，从来自所述光学系统的光，选择特定的波长；以及第二区域，不变更来自所述光学系统的光的光学特性。
[0010]另外，本发明涉及图像取得装置，还具备:摄像控制装置，基于经由一个分割部的所述第二区域拍摄的图像与经由其它分割部的所述第二区域拍摄的图像的图像匹配，将经由所述一个分割部的所述第一区域拍摄的图像与经由所述其它分割部的所述第一区域拍摄的图像进行合成，制作光谱合成图像。
[0011]另外，本发明涉及图像取得装置，还具备:配置于光路的光圈，该光圈具有光圈孔，通过使所述光圈移动由所述光学特性变更部选择的波长进行变化。
[0012]另外，本发明涉及图像取得装置，所述光学特性变更部还具备:另一个其它分割部，与所述第一区域和所述第二区域一起不变更光学特性。[0013]另外，本发明涉及图像取得装置，所述摄像控制装置基于经由多个分割部的所述第二区域拍摄的图像与经由所述另一个其它分割部拍摄的静止图像的图像匹配，将经由多个分割部的所述第一区域拍摄的图像与所述静止图像进行合成，制作高光谱图像。
[0014]进而，另外本发明涉及图像取得装置，还具备:GPS装置，进行地心坐标的测定，所述摄像控制装置在第一地点经由所述另一个其它分割部取得静止图像，并且从第一地点的静止图像抽取多个特征点，在从第一地点到第二地点的移动中经由所述另一个其它分割部取得由时间序列上连续的帧图像构成的动态图像，进一步通过在从第一地点到第二地点的移动中的动态图像进行动态图像追踪，并且在第二地点经由所述另一个其它分割部取得静止图像，在第二地点的静止图像中特定所述特征点，基于该特征点将第一地点的静止图像与第二地点的静止图像进行立体匹配，并且基于通过所述GPS装置测定的第一地点和第二地点的地心坐标系的位置形成三维模型，另外，所述摄像控制装置将所述光谱合成图像与所述三维模型进行合成，制作具有三维位置数据和光谱信息的四维模型。
[0015]【专利附图】

【附图说明】
图1是表示搭载了涉及本发明的摄像装置的小型飞行物的概略图；
图2是涉及本发明的第一实施例的摄像装置的摄像机部和摄像控制装置的概略结构
图；
图3是具备了涉及第一实施例的特性不同的多个透射干涉膜的干涉滤光片的主视图；图4 (A)、图4 (B)是表示具有本发明的实施例中使用的透射式的干涉滤光片的摄像机的光学系统的说明图，图4 (A)表示光圈孔与光轴一致的状态，图4 (B)表示光圈孔与光轴背离的状态；
图5是表示入射角与透射的峰值波长的关系的曲线图；
图6是表示与朝向干涉滤光片的入射角对应的波长透射特性的曲线图；
图7是表示在本实施例中，取得高光谱图像的状态的说明图；
图8是表示在悬停状态取得了多个图像的情况下的图像之间的状态的说明图；
图9是说明本发明的第一实施例的作用的流程图；
图10是说明图9中的步骤03?步骤06的详细情况的流程图；
图11 (A)、图11 (B)是表示本发明的第二实施例中使用的摄像机，并且是表示具有反射式的干涉滤光片的光学系统的说明图，图1l(A)表示光圈孔与光轴一致的状态，图1l(B)表不光圈孔与光轴背离的状态；
图12是具备了第二实施例中的特性不同的多个反射干涉膜的干涉滤光片的主视图；图13 (A)、图13 (B)是表示在本发明的第二实施例中使用的摄像机的变更例，并且是表示具有反射式的干涉滤光片的光学系统的说明图，图13 (A)表示光圈孔与光轴一致的状态，图13 (B)表示光圈孔与光轴背离的状态；
图14是涉及本发明的第三实施例的摄像装置的摄像机部和摄像控制装置的概略结构图。
[0016]附图标记说明:
1直升飞机
2基地控制装置
3机体 9GPS装置
11摄像装置
12光轴
13摄像机部
14摄像机
15干涉滤光片
21摄像控制装置
22运算控制部
28图像合成部
29图像处理部
33测定部
34模型图像形成部
35显示部
36存储部 45光学系统
47物镜
48第一中继透镜
49第二中继透镜
50第三中继透镜
51成像透镜
52摄像元件
55光圈
56焦阑光学系统
57主光线
58成像
60分割透射面
61干涉滤光片
62干涉滤光片
63分割反射面
64反射镜。
【具体实施方式】
[0017]下面，边参照附图边说明本发明的实施例。
[0018]涉及本发明的实施例的图像取得装置搭载于小型无人飞行物，例如搭载于可遥控操作的小型直升飞机或可自主飞行的小型直升飞机。
[0019]图1表示搭载了涉及本实施例的图像取得装置的小型飞行物I。
[0020]图1中，2是设置于地上的基地控制装置。该基地控制装置2与所述飞行物I能进行数据通信，进行该飞行物I的控制、飞行计划的设定、变更、保存并管理所述飞行物I所收集的信息。[0021]所述飞行物I例如是作为自主飞行的小型飞行物的直升飞机。该直升飞机I从所述基地控制装置2通过遥控操作被操纵，或者从所述基地控制装置2在所述直升飞机I的控制装置(未图示)中设定飞行计划，该控制装置控制航行单元(后述)，按照飞行计画进行自主飞行。另外，控制装置控制航行单元，将所述直升飞机I控制为在规定的速度、规定的高度下的飞行，并且在规定位置可控制为悬停(静止飞行状态)。
[0022]所述直升飞机I具有机体3、设置于该机体3上的所需数量的螺旋桨例如前后左右共计4套的螺旋桨4、5、6、7，将该螺旋桨4、5、6、7分别独立地连结于电动机(未图示)，另夕卜，该电动机被设计成独立地控制驱动。进而，所述螺旋桨4、5、6、7和所述电动机等构成所述飞行物I的航行单元。
[0023]在所述机体3中，设置有测定所述直升飞机I的基准位置(例如所述机体3的中心)的GPS装置9。
[0024]在所述直升飞机I的所述机体3中，搭载有摄像装置11。该摄像装置11具有光轴12，该光轴12朝下方延伸突出，所述摄像装置11被设计成拍摄所述直升飞机I的下方。
[0025]接着，通过图2，说明涉及本发明的第一实施例的所述摄像装置11的概略结构。
[0026]该摄像装置11具有摄像机部13和摄像控制装置21，该摄像控制装置21基于所述摄像机部13拍摄的图像数据和来自所述GPS装置9的位置信息进行测定目标物的摄影测量，或者进行所述图像数据与所述摄像机部13取得的光谱图像数据的合成等的处理。
[0027]首先，对该摄像机部13进行说明。
[0028]该摄像机部13具备:摄像机14、后述的作为光学特性变更部的干涉滤光片15、作为该干涉滤光片15的切换单元的电动机16。所述摄像机14被设置在所述光轴12上，变为能取得测定目标物的真实的图像(实像(real image))和光谱图像。
[0029]进而，所述摄像机14是拍摄测定地点的图像，并输出数字图像数据的摄像机，成为能以规定时间间隔拍摄静止图像，并且能拍摄将图像连续拍摄的动态图像(由在时间序列中连续的帧图像构成的动态图像)。
[0030]另外，所述摄像机14作为摄像元件17具有作为像素(pixel)的集合体的CXD或CMOS传感器，并且以所述光轴12垂直地通过所述摄像元件17的中心(受光面的坐标中心)的方式设定该光轴12与所述摄像元件17的关系。因此，变成能确定所述摄像元件17的各像素在该摄像元件17上的位置(坐标)，进一步得知各像素的视场角(对所述光轴12的角度)。
[0031]另外，所述摄像机14具有设置于所述光轴12上并且在一部分形成有干涉膜的所述干涉滤光片15，该干涉滤光片15被支撑为可旋转，并且变成通过所述电动机16可旋转。所述干涉滤光片15具有光学特性不同的多个分割部，另外，各分割部具有形成有所述干涉膜的区域，并且具有不具备光学特性的区域。通过由所述电动机16使所述干涉滤光片15旋转来选择分割部。变为选择的分割部与所述摄像机14的光轴一致，并且光通过选择的分割部，进一步根据通过的分割部在所述摄像元件17将规定波长的光和全波长的光同时受光，通过所述摄像机14同时取得规定波长的光谱图像和实像。
[0032]接着，根据图3，对所述干涉滤光片15的详细情况进行说明。
[0033]该干涉滤光片15为透射式的干涉滤光片，如图3所示形状为圆板，并且透射面在圆周方向被等分为所需角度(图示中为6等分)，所述分割部形成为分割透射面60a?60f。[0034]所述分割透射面60a~60f中，在作为多个分割部的该分割透射面60a~60e中，分别以同心圆状形成第二区域、在该第二区域的内侧形成第一区域，进一步在该第一区域的内侧形成第二区域。在所述第一区域中按各所述分割透射面60a~60e的每个形成选择波长λ I~λ 5的选择波长特性不同的透射干涉膜，进一步作为其它分割部的所述分割透射面60f与所述第一区域、所述第二区域(60f'、60f'，)一起不具备光学特性，变为使全部的波长透射。
[0035]例如，在所述第一区域中，分别在所述分割透射面60a中形成选择波长λ?为400nm~450nm的透射干涉膜，在所述分割透射面60b中形成选择波长λ 2为450nm~525nm的透射干涉膜,在所述分割透射面60c中形成选择波长λ 3为525nm~650nm的透射干涉膜，在所述分割透射面60d中形成选择波长λ 4为650nm~750nm的透射干涉膜，在所述分割透射面60e中形成选择波长λ 5为750nm~870nm的透射干涉膜。
[0036]另外，在所述分割透射面60a~60e中 ，所述第一区域的外圆周侧的外圆周部60a;~60^和内圆周侧的内圆周部60a, !~60^ !变为所述第二区域，这些第二区域使全部的波长通过。在所述干涉滤光片15上成像的成像58，伸展至所述第二区域、所述第一区域、所述第二区域，变为所述成像58的外圆周侧的一部分重叠于所述外圆周部60a'~60e'、60f'，内圆周侧的一部分重叠于所述内圆周部60a ''~60e ''、60f/ '。
[0037]在使用所述干涉滤光片15的情况下，选择所述分割透射面60f，当使光轴与该分割透射面60f—致时，不进行波长选择而进行全透射，仅取得实像数据。另外，在选择了所述分割透射面60a~60e的任一个的情况下,例如在选择了该分割透射面60e的情况下,在所述成像58中，透射所述分割透射面60e的透射干涉膜的第一区域部58a进行波长选择，透射所述外圆周部60^和所述内圆周部60^丨的第二区域部58b、58c进行全透射，取得在所述第一区域部58a得到的光谱图像数据与作为所述第二区域部58b、58c的实像数据成为一体的混合图像数据。
[0038]进而，当取得的光谱的波长范围达到400nm~870nm时，变为从所述分割透射面60a到所述分割透射面60e，依次切换分割透射面，按切换的每一所述分割透射面60取得光谱图像。
[0039]而且，通过所述干涉滤光片15的旋转，在400nm~870nm的范围内选择波长，并且按选择的每一波长由所述摄像元件17能取得图像，且能取得400nm~870nm的范围内的规定的光谱。
[0040]进而，配合取得的光谱的波长来决定分割数，进一步，在取得的光谱的波长受限的情况下，选择具有适合的选择波长特性的分割透射面取得光谱也可以。
[0041]另外，虽然上述干涉滤光片15被设计成作为圆板可旋转，但作为长矩形形状，将该干涉滤光片15沿长边方向进行分割，形成分割透射面，并使所述干涉滤光片15沿长边方向滑动，进行分割透射面的切换也可以。
[0042]接着，对所述摄像控制装置21进行说明。
[0043]该摄像控制装置21具备:运算控制部(CPU) 22、图像数据记录部23、摄像机控制器24、摄像机控制部25、滤光片控制器26、光谱数据存储部27、图像合成部28、图像处理部29、特征抽取部31、匹配部32、测定部33、模型图像形成部34、显示部35、存储部36。[0044]所述摄像机控制部25是同步控制所述摄像机14、所述干涉滤光片15、光圈55的控制部。进而，对该光圈55进行后述。所述滤光片控制器26基于来自所述摄像机控制部25的指令信号驱动所述电动机16，以光通量透射所述干涉滤光片15的规定的分割透射面的方式，将该干涉滤光片15进行旋转、定位。
[0045]另外，所述摄像机控制器24基于来自所述摄像机控制部25的指令信号，取得从所述摄像元件17发出的信号。在光通量透射所述干涉滤光片15的所述分割透射面60a?60e的情况下，根据透射的所述第一区域部58a和第二区域部58b、58c，将取得的混合图像数据分离为实像数据和规定波长的光谱图像数据。分离的实像数据与拍摄时间相关联地被储存到所述图像数据记录部23中，光谱图像数据与拍摄时间相关联地被储存到所述光谱数据存储部27中。
[0046]另外，在光通量透射所述干涉滤光片15的所述分割透射面60f的情况下，由于所述第一区域，所述第二区域都为全透射面，所以取得仅由实像构成的静止图像数据。取得的静止图像数据与拍摄时间相关联地被储存到所述图像数据记录部23中。
[0047]所述图像合成部28基于所述图像数据记录部23中储存的所述第二区域的实像数据，将所述光谱数据存储部27中储存的光谱图像数据进行合成，进一步将光谱合成图像与所述静止图像进行合成，制作在一个图像的全像素(Pixel)中具有光谱信息的高光谱图像。
[0048]所述图像处理部29具备所述特征抽取部31、所述匹配部32，从I帧的图像数据至少抽取5个以上的特征点(加密点(pass point)),对时间上不同的图像数据或从不同的拍摄位置取得的图像数据，基于所述特征点进行图像的追踪或匹配。
[0049]进而，关于图像追踪、图像匹配，使用SSDA法(Sequential SimilarityDetection Algorithm:序贯相似性检测算法)、归一化互相关算法、最小二乘匹配法等。
[0050]所述测定部33是基于由所述摄像机14从不同拍摄位置取得的2个图像数据和拍摄位置的位置数据，执行摄影测量的测定部。
[0051]所述模型图像形成部34将由所述测定部33测定的各像素的三维数据与所述高光谱图像相关联，形成具有三维数据+光谱图像数据的四维数据的模型图像。
[0052]在所述存储部36中，储存有摄像机控制中所需的程序、电动机控制中所需的程序、图像数据与光谱图像数据的合成中所需的程序、用于进行图像追踪的程序、图像处理中所需的程序、测定中所需的程序、为了形成模型图像所需的程序、用于控制所述显示部35的程序等的各种程序。进而，在所述存储部36的一部分形成所述图像数据记录部23、所述光谱数据存储部27也可以。
[0053]接着，对在本实施例中使用的所述摄像机14的一个例子，参照图4?图6进行说明。进而，下面说明的该摄像机14以能得到将由所述干涉滤光片15的所述分割透射面60a?60e得到的光谱间进一步细分化后的光谱的方式构成。
[0054]图4表示该摄像机14的光学系统45和在该光学系统45的光路中设置的所述干涉滤光片15。
[0055]图4中，46表示该光学系统45的光轴，在该光轴46上配设有物镜47、第一中继透镜48、第二中继透镜49、第三中继透镜50、成像透镜51、摄像元件52。另外，图4中，53表示由所述物镜47成像的像，另外f表示所述第二中继透镜49的焦距。
[0056]在所述第一中继透镜48的所述第二中继透镜49 一侧配设所述光圈55，通过所述物镜47、所述第一中继透镜48、所述第二中继透镜49、所述第三中继透镜50、所述成像透镜51、所述摄像兀件52、所述光圈55构成所述光学系统45。
[0057]该光圈55具有在相对图中的纸表面垂直的方向延伸的狭缝状的光圈孔55a。另夕卜，该光圈55配设于所述第二中继透镜49的目标物侧焦点位置或大致目标物侧焦点位置，所述光圈55在相对所述光轴46垂直的方向(与所述光圈孔55a正交的方向)上可移动地被支撑，所述光圈55变为通过线性电动机等的位置位移单元变更适当的位置。
[0058]在此，所述光圈55、所述第二中继透镜49构成焦阑光学系统56。透射了所述第一中继透镜48的光通量，由所述焦阑光学系统56分割为平行的多个光通量(主光线57)。
[0059]在该主光线57的聚光位置(基于所述第二中继透镜49的成像位置或者大致成像位置)，配设有形成了选择波长特性不同的多个透射式干涉膜的透射式的干涉滤光片15。该干涉滤光片15以旋转轴59为中心可旋转地被支撑，进一步通过电动机等的旋转单元变为可旋转。另外，所述干涉滤光片15作为波长选择滤光片而起作用，透射了所述干涉滤光片15的干涉膜的特定波长的光线，通过所述第三中继透镜50和所述成像透镜51在所述摄像元件52上成像。成像的像形成为特定波长并变为二维的像。
[0060]所述干涉滤光片15具有通过入射到该干涉滤光片15的光线的入射角而使选择波长特性进行变化的性质。图5表示入射角与透射的峰值波长的关系(峰值波长的入射角依赖性)，得知通过使入射角变化，峰值波长也进行变化。
[0061]另外，图4 (A)中，所述光圈55的所述光圈孔55a位于所述光轴46上,这种情况下所述主光线57变为与所述光轴46平行。接着，如图4 (B)所示，在使所述光圈55移动了的情况下，例如图示的那样，当移动到上方时，所述主光线57相对所述光轴46倾斜。SP、相对所述干涉滤光片15的入射角进行变化。因此，通过使所述光圈55移动，可使透射所述干涉滤光片15的波长进行变化。
[0062]例如，如果参照图5，在使相对所述干涉滤光片15的入射角变化在O。?50。时，透射波长的峰值变化在600nm?520nm。即、所述干涉滤光片15变为具有600nm?520nm的波长选择范围W。图6表示与向所述干涉滤光片15的入射角对应的波长透射特性，在使该干涉滤光片15的角度变化为0°、10°、20°、30°、40°的情况下得到光谱的一个例子。
[0063]在图4中，虽然使所述干涉滤光片15相对所述光轴46倾斜，但是，如图5所示，入射角依赖性从入射角超过了 10。附近就变为线性。因此，通过预先使所述干涉滤光片15倾斜，能有效地得到相对所述光圈55的位移的选择波长的变化。
[0064]因此，在每次使所述光圈55位移时，通过所述摄像元件17取得图像，另外，例如通过将具有图4的波长透射特性的所述干涉滤光片15的所述分割透射面60配置于所述主光线57的光路，能取得在600nm?520nm的波长范围内的光谱。另外，在取得超过600nm?520nm的波长范围内的光谱的情况下，以在所述主光线57的光路中配置具有不同波长选择范围W'的分割透射面的方式，使所述干涉滤光片15旋转也可以。如上所述，通过在该干涉滤光片15中组合所述光圈55，能得到将由所述干涉滤光片15本身得到的光谱进一步细分化的光谱。
[0065]下面，参照图7、图8说明本实施例中的工作。进而，在下面，作为所述摄像机14使用具有所述干涉滤光片15的所述光学系统45，并且对所述摄像机14被搭载于作为飞行物的所述直升飞机I的情况下，进行说明。[0066]在悬停状态下取得图像的状态中，所述摄像机14的姿势总是变动，不能说完全地静止。因此，在按各波长的每个取得的图像中，存在少量的偏差。为此，当将所述光谱数据存储部27中储存的光谱图像保持原样地合成时，产生误差，或者产生模糊等的问题。
[0067]图8表示在悬停状态下，取得选择的波长为λ 1、λ 2、λ 3、λ 4的光谱图像的状态，图8 (A)的SI表示所述摄像装置11完全静止的状态，S2表示悬停状态下所述摄像装置11变动的状态。另外，图8 (B)是将在所述摄像装置11变动的状态下取得的λ?、λ2、入3、入4的光谱图像，配合时间的经过而展开的图。进而，图中，黑圆点是从透射了作为所述第二区域的外圆周部60a'~60e'和内圆周部60a'丨~60e'丨的透射区域的像(实像)抽取的特征点。如从图8 (A)、图8 (B)得知那样，知道了当将图像保持原样地合成时，在各图像间特征点不一致，并产生误差，或者模糊。
[0068]因此，以在悬停状态下能合成按各波长的每个取得的光谱图像的方式，需要在所述第二区域将特征点进行匹配(相对的定位)。
[0069]在本实施例中，通过所述干涉滤光片15的旋转，并通过使所述主光线57透射所述分割透射面60f能取得仅由实像构成的静止图像，并且通过使所述主光线57透射所述分割透射面60a~60e来得到光谱图像，进一步，由于也能得到所述主光线57透射了所述外圆周部60a'~60^以及内圆周部60a''~60^ '的透射区域的实像，所以变为能取得这些被一体化的混合图像数据。
[0070]首先，在使所述直升飞机I在01地点悬停并静止之后，使所述干涉滤光片15旋转，来选择所述分割透射面60f。之后，通过所述摄像机14经由所述分割透射面60f在01地点取得静止图像(左图像42)，另外，以所述GPS装置9进行01地点的位置的测定。取得的静止图像被储存在所述图像数据记录部23中，进而通过所述图像处理部29从所述静止图像的所述第二区域部58b、58c部分的图像数据，抽取特征点至少5个以上(优选为，多个)。
[0071]在01地点取得了静止图像之后，在01地点使所述干涉滤光片15旋转，依次切换所述分割透射面60a~60e。另外,在各分割透射面使所述光圈55的位置按每一规定时间间隔位移，并按该光圈55的每一位置变更取得混合图像，对透射了所述第一区域部58a的部分，按各分割透射面的每一个取得λ I~λη的光谱图像。
[0072]例如，在选择了所述分割透射面60a的情况下，取得λ al~λ an的光谱图像，在选择了所述分割透射面60b的情况下，取得Xbl~λ bn的光谱图像，在选择了所述分割透射面60c的情况下，取得λ Cl~Xcn的光谱图像，在选择了所述分割透射面60d的情况下，取得λ dl~λ dn的光谱图像,在选择了所述分割透射面60e的情况下,取得λ el~λ en的光谱图像。
[0073]通过取得上述的全部的光谱图像，能取得全波长的光谱图像。光谱图像的取得中，通过在所述第二区域部58b、58c得到的实像，抽取至少5个特征点，以该特征点为基础进行时间上邻接的实像间的追踪。另外，实像的取得后，直到取得下一个的实像为止，在两实像间产生光轴的倾斜等的情况下，在两实像间基于特征点执行坐标变换，并进行图像匹配。
[0074]进而，从混合图像分离的实像，虽然其拍摄范围变窄，但该实像由于是静止状态下的拍摄图像，所以图像间的位移量小，窄范围的实像的追踪就成为可能。
[0075] 进一步，从混合图像分离的实像与光谱图像由于其位置关系总是固定，所以在实像间得到的条件能保持原样地适用于光谱图像间的匹配。
[0076]而且，取得01地点的全波长的光谱图像，当全实像间的追踪结束时，以实像的追踪信息为基础能将全部的各光谱图像无误差地对位和合成。
[0077]另外，将光谱合成图像与01地点的静止图像的所述第一区域部58a进行合成，制作高光谱图像。
[0078]在从01地点向02地点开始移动时，首先将所述干涉滤光片15进行旋转，来切换所述分割透射面60f。在所述干涉滤光片15的切换之后，起初从在01地点取得的静止图像，抽取至少5个特征点，开始从01地点向02地点的移动。在从01地点向02地点的移动中，通过所述摄像机14经由所述分割透射面60f取得动态图像(帧图像)，以抽取的特征点为基础进行各帧图像的追踪。由于所述分割透射面60f在全区域能取得实像，所以对应于大的位移也可进行图像追踪。
[0079]当到达02地点时，通过所述摄像机14经由所述分割透射面60f取得02地点的静止图像(右图像43)，并通过所述GPS装置9，进行02地点的位置测定。接着，通过所述图像处理部29，在02地点的静止图像中至少确定5个所述特征点，基于该特征点对01地点的静止图像与02地点的静止图像进行匹配。进一步通过所述测定部33，并基于在01地点取得的静止图像、在02地点取得的静止图像、以及由所述GPS装置9测定的01地点、02地点的位置数据进行摄影测量，取得各像素的每一个的三维数据。
[0080]最后，将在01地点得到的三维数据与在01地点得到的高光谱图像进行合成，制作包含光谱数据的四维图像。
[0081]进而，在上述中，虽然在01地点取得高光谱图像，但在02地点，通过进行与01地点相同的处理也能取得高光谱图像。因此，在02地点取得高光谱图像也可以。
[0082]因此，从光谱可识别作物的发育状态，或者从作物的三维数据可识别大小。或者，配合露出的物质的种类的信息也能取得地表的状态。
[0083]对上述的摄影测量、光谱图像、高光谱图像的取得合成等，参照图9、图10进一步进行说明。
[0084]步骤01:将所述直升飞机I在01地点开始悬停，在使所述干涉滤光片15旋转且选择了所述分割透射面60f之后，在01地点通过所述摄像机14取得所述左图像42。另外，进行基于所述GPS装置9的所述直升飞机I的位置(即01地点)的测定。
[0085]步骤02:将取得的所述左图像42进行边缘处理或角点提取处理等来抽取特征点。
[0086]步骤03:之后，以所述主光线57透射所述分割透射面60a?60e的规定的区域的方式使所述干涉滤光片15间歇旋转，进一步按各分割透射面的每一个使所述光圈55的位置变更，并按各该光圈55的位置的每一个通过所述图像摄像机14取得具有光谱图像和实像的混合图像。另外，通过取得的混合图像使光谱图像与实像分离，并通过分离的实像执行在相同位置的图像追踪(以下，相同位置追踪)，基于相同位置追踪的结果执行在各光谱图像间的图像位置校正。
[0087]对在01地点的光谱图像的取得、图像位置校正，通过步骤21?步骤27进行说明。
[0088]步骤21:当开始光谱测定时，按各波长的每一个以规定的时间间隔取得具有规定波长区域(λ I?λη)的光谱图像部的混合图像。
[0089]步骤22:取得的混合图像，通过所述摄像机控制器24被分离为光谱图像部和实像部，光谱图像部按时间序列被储存在所述光谱数据存储部27中，并且实像部按时间序列被储存在所述图像数据记录部23中。
[0090]步骤23:作为图像追踪(相同位置追踪)，从与分离的光谱图像部(λ I)同时取得的实像部(第一实像)抽取至少5个特征点，在与时间上邻接的下一个光谱图像部(λ 2)同步的实像部(第二实像)中确定特征点。
[0091]步骤24:基于得到的第一实像部的特征点和第二实像部的特征点执行第一实像部与第二实像部间的匹配，并执行第一实像部与第二实像部之间的坐标变换。
[0092]步骤25:由于同时取得实像部和光谱图像部，所以与对应于实像部的光谱图像部的位置关系总是固定，将所述实像部进行匹配的条件、坐标变换的条件适用于时间上邻接的所述光谱图像部。
[0093]步骤26:判断是否取得全部的波长的光谱图像部，在未取得的情况下，返回至步骤21，继续进行光谱图像部的取得、相同位置追踪。
[0094]步骤27:当取得有关规定波长区域(λ1~λ η)的全部的波长的光谱图像部时，通过将全部的光谱图像部以基于实像部的追踪而得到的条件进行合成能取得具有在01地点的规定波长区域(λ1~λ η)的光谱的第一光谱合成图像。进一步，通过将该第一光谱合成图像与所述静止图像进行合成能取得高光谱图像。
[0095]步骤04~步骤06:当取得在01地点的所述静止图像和高光谱图像时，所述直升飞机I移动到02地点。在移动时，首先使所述干涉滤光片15旋转并选择所述分割透射面60f。在移动中通过所述摄像机14取得动态图像，并执行图像追踪(移动追踪)。基于在所述左图像42抽取的特征点执行移动追踪也可以，或者使用在悬停状态下以相同位置追踪最终得到的特征点进行移动中的图像追踪也可以。
[0096]步骤07:当所述直升飞机I到达02地点，移动追踪结束时，开始悬停，取得作为静止图像的所述右图像43。
[0097]步骤08:在悬停状态下，使所述干涉滤光片15旋转并选择所述分割透射面60a~60e,按各透射面的每一个进一步使所述光圈55位移,按该光圈55的各位置的每一个通过所述摄像机14取得混合图像。另外，通过取得的混合图像使光谱图像部与实像部分离，通过分离的实像部执行在相同位置的图像追踪(以下，相同位置追踪)，基于相同位置追踪的结果执行在各光谱图像部间的图像位置校正。
[0098]执行所述步骤21~步骤27，在02地点取得有关规定波长区域(λ 1~λη)的全部的波长的光谱图像部，并合成得到的全部的光谱图像部，取得具有在02地点的规定波长区域(λ 1~λ η)的光谱的第二光谱合成图像，进一步，通过将该第二光谱合成图像与所述右图像43进行合成，取得高光谱图像。
[0099]步骤09、步骤10、步骤11:基于通过相同位置追踪在所述右图像43中确定的特征点和在所述左图像42中确定的特征点，进行匹配，另外，进行将所述左图像42或所述右图像43的任一个作为基准的坐标变换(相互定位)，进一步进行所述GPS装置9的向地心坐标的坐标变换(绝对定位)。
[0100]步骤12、步骤13:以绝对定位的结果为基础进行所述左图像42与所述右图像43的立体匹配，得到具有三维位置数据的地形的三维模型。
[0101]步骤14:如上所述，由于混合图像和静止图像以同轴进行拍摄，对应于1:1，所以获得在得到光谱的位置的三维位置数据，通过将光谱图像与所述三维模型进行合成，能制作具有地形的三维位置数据和光谱信息的四维模型。
[0102]如上所述，在本实施例中，由于做成了在所述摄像机14中设置圆板状的所述干涉滤光片15，在该干涉滤光片15中形成沿圆周方向被分割成所需角度的分割透射面，将该分割透射面的一个作为全波长透射的全透射面，能以一个摄像机取得实像部与光谱图像部的二者，所以基于实像能执行光谱图像的对位，在即便图像取得装置被设置在所述飞行物I等的活动体中的情况下也能取得精度高的光谱合成图像，另外，能取得高光谱图像。进一步，除了取得实像的摄像机之外，无需另外设置取得光谱图像的光谱摄像机，能实现结构的简单化和成本的降低。
[0103]另外，通过设置所述光圈55，在一个分割透射面能得到一个以上的光谱。
[0104]另外，在形成有不同的选择波长特性的干涉膜的分割透射面的一部分，由于形有所述主光线57全透射的所述第二区域，所以能同时取得光谱图像部和实像部，即使在各图像间随时间流逝产生偏差，也能通过使实像部匹配，容易地进行光谱图像部的合成。
[0105]进一步，由于将所述分割透射面60f作为所述主光线57全透射的全透射面，所以在宽范围仅可取得实像，即使为将动画追踪等多个特征点抽取作为必需的处理，也能适应本实施例中的所述摄像装置11。
[0106]进而，在所述光学系统45中，通过变更所述光圈55的位置使相对所述干涉滤光片15的入射角位移，规定范围内波长的变更成为可能，在想取得的光谱的波长被决定，且种类少的情况下，省略所述光圈55也可以
图11、12表不本发明的第二实施例中的光学系统45'。
[0107]在图3所示的光学系统45中虽然使用了透射式的干涉滤光片15，但如图11所示，也能使用作为光学特性变更部的反射式的干涉滤光片61构成所述光学系统45'。所述干涉滤光片61是在反射镜中形成了反射式的干涉膜的滤光片，并以旋转轴59为中心可旋转地被支撑，进一步变为通过电动机等的旋转单元可旋转。在所述光学系统45'中，所述干涉滤光片61通过反射主光线57而选择波长。
[0108]进而，图11中在与图4中所示的部件同等的部件中赋予相同的附图标记，并省略其说明。
[0109]在上述第二实施例中，如图11 (B)所示，通过使光圈55移动，向所述干涉滤光片61的所述主光线57的入射角会变化，在规定的波长选择范围W内的特定波长被选择反射。
[0110]另外，如图12所示，所述干涉滤光片61为圆板状，在反射面中沿圆周方向被等分为所需角度(在图示中为6等分)，分割部作为分割反射面63a?63f而形成。
[0111]在所述干涉滤光片61中，所述分割反射面63a?63f中，在作为多个分割部的该分割反射面63a?63e中，分别以同心圆状形成第二区域，在该第二区域的内侧形成第一区域，进一步在该第一区域的内侧形成第二区域，在所述第一区域中按各所述分割反射面63a?63e的每一个形成作为选择波长λ I?λ 5的选择波长特性不同的所述第一区域的反射干涉膜，进一步作为其它的分割部的所述分割反射面63f，与所述第一区域、所述第二区域(63f'、63f'，) 一起不具备光学特性而反射全部的波长。
[0112]另外，在各所述分割反射面63a?63e中，所述第一区域的外圆周侧的外圆周部63a;?63e'和内圆周侧的内圆周部63a'丨?63e'丨变为所述第二区域，这些第二区域反射全部的波长。在所述干涉滤光片61上成像的成像58，伸展至所述第二区域、所述第一区域、所述第二区域，所述成像58的外圆周侧的一部分重叠于所述外圆周部63a'?63e/、63f'，内圆周侧的一部分重叠于所述内圆周部63a'丨?63e'丨、63f'丨。
[0113]由所述干涉滤光片61反射的光通量，经由成像透镜51成像于摄像元件52。在使用所述干涉滤光片61的情况下，选择所述分割反射面63f，使光轴46与该分割反射面63f一致的情况下，不进行波长选择而被全反射，仅取得实像数据的静止图像数据。另外，在选择了所述分割反射面63a?63e的任一个的情况下,例如在选择了该分割反射面63e的情况下，在该分割反射面63e的第一区域部58a被反射并进行波长选择，并且在所述成像58中，由第二区域部58b、58c部分地全反射，取得混合图像数据。
[0114]如上所述，作为干涉滤光片通过使用反射式的所述干涉滤光片61，能将所述光学系统45'做得紧凑。
[0115]图13表不由图11所不的光学系统45'的变更例。
[0116]在图13所示的变更例中，使用反射式的干涉滤光片62，该干涉滤光片62与干涉滤光片61为相同的结构。
[0117]在光轴46上配置物镜47、第一中继透镜48、光圈55，在与所述光轴46平行且背离了规定量的光轴上配设第二中继透镜49，与该第二中继透镜49对置，来设置所述干涉滤光片62。由该干涉滤光片62反射的光通量，通过反射镜64被偏转，偏转的光通量经由成像透镜51成像于摄像元件52。
[0118]在该变更例中，由于所述第一中继透镜48、所述光圈55位于与所述第二中继透镜49的所述光轴46偏离的位置，所以由焦阑光学系统56分割的主光线57倾斜地入射到所述干涉滤光片62。进一步，如图13 (B)所示，如果使所述光圈55以从所述光轴46背离的方式移动，则所述主光线57的入射角变得更大。因此，通过使所述光圈55移动能将选择波长进行变更。
[0119]在上述变更例中，由于使用反射式的所述干涉滤光片62，所以能实现光学系统45''的小型化，由于所述第二中继透镜49兼作第三中继透镜50 (参照图11)，所以能减少部件件数，能实现成本的降低。
[0120]接着，根据图14，对本发明的第三实施例进行说明。
[0121]图14表示第三实施例中的摄像装置11的概略结构，在第三实施例中，由摄像机14拍摄的混合图像数据，未通过摄像机控制器24被分离为光谱图像数据与实像数据而储存在图像数据记录部23中。
[0122]在该图像数据记录部23中储存的混合图像数据，从实像部分，即第二区域部58b、58c (参照图3)抽取至少3个特征点，并以该特征点为基础使时间上邻接的混合图像数据匹配。
[0123]混合图像数据是光谱图像数据与实像数据成为一体的图像数据，由于混合图像数据内的光谱图像数据与实像数据的位置关系总是固定，以特征点为基础使混合图像数据匹配的结果，光谱图像部分也自动地匹配。
[0124]最后，通过匹配的混合图像数据，并通过图像分离部30使实像部分离，取得具有规定波长区域(λ I?λ η)的光谱的光谱合成图像。
[0125]如上所述，在第三实施例中，由于混合图像数据中的实像部分的特征点抽取、匹配处理兼带光谱图像数据的合成处理，所以使处理工序减少，能实现处理负担的降低。
[0126]工业实用性
根据本发明，由于具备:光学特性变更部；光学系统，包含物镜并将来自该物镜的光引向所述光学特性变更部；以及摄像元件，将经由所述光学特性变更部的光进行受光，所述光学特性变更部具有多个分割部并且为将分割部的一个选择性地配置于光路上的结构，所述分割部具有:第一区域，从来自所述光学系统的光，选择特定的波长；以及第二区域，不变更来自所述光学系统的光的光学特性，所以通过所述光学特性变更部能由一个摄像机同时取得不变更光学特性的实像和变更了光学特性的光谱图像的二者，能实现结构的简单化和成本的降低。
[0127]另外，根据本发明，由于还具备:摄像控制装置，基于经由一个分割部的所述第二区域拍摄的图像与经由其它分割部的所述第二区域拍摄的图像的图像匹配，将经由所述一个分割部的所述第一区域拍摄的图像与经由所述其它分割部的所述第一区域拍摄的图像进行合成，制作光谱合成图像，所以能将经由所述第二区域拍摄的图像间的匹配条件保持原样地适用于经由所述第一区域拍摄的图像中。
[0128]另外，根据本发明，由于还具备:配置于光路的光圈，该光圈具有光圈孔，通过使所述光圈移动由所述光学特性变更部选择的波长进行变化，所以不用交换该光学特性变更部就能取得规定的波长范围内的光谱。
[0129]另外，根据本发明，由于所述光学特性变更部还具备:另一个其它分割部，与所述第一区域和所述第二区域一起不变更光学特性，所以变为可仅取得不变更光学特性的实像，在使图像取得装置移动时能容易地进行动态图像追踪。
[0130]另外，根据本发明，由于所述摄像控制装置基于经由多个分割部的所述第二区域拍摄的图像与经由所述另一个其它分割部拍摄的静止图像的图像匹配，将经由多个分割部的所述第一区域拍摄的图像与所述静止图像进行合成，制作高光谱图像，所以能以一个摄像机容易地取得高光谱图像。
[0131]进而，另外根据本发明，还具备:GPS装置，进行地心坐标的测定，所述摄像控制装置在第一地点经由所述另一个其它分割部取得静止图像，并且从第一地点的静止图像抽取多个特征点，在从第一地点到第二地点的移动中经由所述另一个其它分割部取得由时间序列上连续的帧图像构成的动态图像，进一步通过在从第一地点到第二地点的移动中的动态图像进行动态图像追踪，并且在第二地点经由所述另一个其它分割部取得静止图像，在第二地点的静止图像中特定所述特征点，基于该特征点将第一地点的静止图像与第二地点的静止图像进行立体匹配，并且基于通过所述GPS装置测定的第一地点和第二地点的地心坐标系的位置形成三维模型，另外，所述摄像控制装置将所述光谱合成图像与所述三维模型进行合成，制作具有三维位置数据和光谱信息的四维模型，所以由一个摄像机可容易地取得四维模型，能简单地得到测定目标物的任意的三维位置数据和光谱信息。
【权利要求】
1.一种图像取得装置，其特征在于，具备: 光学特性变更部； 光学系统，包含物镜并将来自该物镜的光引向所述光学特性变更部；以及 摄像元件，将经由所述光学特性变更部的光进行受光， 所述光学特性变更部具有多个分割部并且为将分割部的一个选择性地配置于光路上的结构， 所述分割部具有: 第一区域，从来自所述光学系统的光，选择特定的波长；以及 第二区域，不变更来自所述光学系统的光的光学特性。
2.根据权利要求1所述的图像取得装置，其特征在于， 还具备:摄像控制装置， 基于经由一个分割部的所述第二区域拍摄的图像与经由其它分割部的所述第二区域拍摄的图像的图像匹配，将经由所述一个分割部的所述第一区域拍摄的图像与经由所述其它分割部的所述第一区域拍摄的图像进行合成，制作光谱合成图像。
3.根据权利要求1或2所述的图像取得装置，其特征在于， 还具备:配置于光路的光圈， 该光圈具有光圈孔， 通过使所述光圈移动由所述光学特性变更部选择的波长进行变化。
4.根据权利要求1?3中的任一项所述的图像取得装置，其特征在于， 所述光学特性变更部还具备:另一个其它分割部，与所述第一区域和所述第二区域一起不变更光学特性。
5.根据权利要求4所述的图像取得装置，其特征在于， 所述摄像控制装置基于经由多个分割部的所述第二区域拍摄的图像与经由所述另一个其它分割部拍摄的静止图像的图像匹配，将经由多个分割部的所述第一区域拍摄的图像与所述静止图像进行合成，制作高光谱图像。
6.根据权利要求5所述的图像取得装置，其特征在于， 还具备=GPS装置，进行地心坐标的测定， 所述摄像控制装置在第一地点经由所述另一个其它分割部取得静止图像，并且从第一地点的静止图像抽取多个特征点，在从第一地点到第二地点的移动中经由所述另一个其它分割部取得由时间序列上连续的帧图像构成的动态图像，进一步通过在从第一地点到第二地点的移动中的动态图像进行动态图像追踪，并且在第二地点经由所述另一个其它分割部取得静止图像，在第二地点的静止图像中特定所述特征点，基于该特征点将第一地点的静止图像与第二地点的静止图像进行立体匹配，并且基于通过所述GPS装置测定的第一地点和第二地点的地心坐标系的位置形成三维模型，另外，所述摄像控制装置将所述光谱合成图像与所述三维模型进行合成，制作具有三维位置数据和光谱信息的四维模型。
【文档编号】G02B5/20GK103947194SQ201280058376
【公开日】2014年7月23日 申请日期:2012年9月20日 优先权日:2011年9月28日
【发明者】大友文夫, 大谷仁志, 籾内正幸, 大佛一毅 申请人:株式会社拓普康