信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统与流程

信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
1.本技术是申请号为201880026201.5、申请日为2018年03月27日、名称为“信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统”的发明专利申请的分案申请。
技术领域
2.本技术涉及信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统。


背景技术：

3.在相关技术中，存在一种方法，该方法利用安装在移动物体上的相机以固定的间隔进行成像，以通过提取由彼此前后或左右相邻的图像的重叠部分共享的特征点并且在交叉检查这些特征点的同时将图像合并在一起来获得大区域上的合成图像(专利文献1)。
4.引用列表
5.专利文献
6.专利文献1：日本特开平08-159762号公报


技术实现要素：

7.本发明要解决的问题
8.在这种方法中，从每个单个图像提取特征点并在交叉检查相邻图像的重叠部分共享的特征点的同时将图像叠加需要大量的计算处理能力。
9.另外，为了一致地提取特征点，相邻图像之间的更多重叠是优选的，并且由于需要更多数量的图像来形成具有固定面积的合成图像，因此数据存储的成本也增加了。另外，关于移动物体的移动路线还存在另一个缺点。即，为了确保相邻路径之间的更多图像重叠，必须在狭窄的间隔内进行来回运动，从而鉴于电池容量的限制，而使得难以扩展一次飞行中可成像的面积。
10.鉴于上述问题而设计了本技术，并且本技术的目的是提供能够将移动物体的位置信息与由安装在该移动物体上的成像装置捕获的图像相关联以用于图像处理的信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统。
11.问题的解决方案
12.实现上述目的的第一技术涉及一种信息处理装置，该信息处理装置被配置为：获取由安装在移动物体上的成像装置根据成像指令捕获的图像；根据响应于所述成像指令从所述成像装置发送的信号，从传感器装置获取包括所述移动物体的位置信息的传感器信息；以及将获取的传感器信息与获取的图像相关联。
13.此外，第二技术涉及一种信息处理方法，包括：获取由安装在移动物体上的成像装置根据成像指令捕获的图像；根据响应于所述成像指令从所述成像装置发送的信号，从传
感器装置获取包括所述移动物体的位置信息的传感器信息；以及将获取的传感器信息与获取的图像相关联。
14.此外，第三技术涉及使计算机执行信息处理方法的信息处理程序，该信息处理程序包括：获取由安装在移动物体上的成像装置根据成像指令捕获的图像；根据响应于所述成像指令从所述成像装置发送的信号，从传感器装置获取包括所述移动物体的位置信息的传感器信息；以及将获取的传感器信息与获取的图像相关联。
15.此外，第四技术涉及一种图像处理装置，该图像处理装置被配置为接收与根据响应于成像指令从成像装置发送的信号而获取的包括移动物体的位置信息的传感器信息相关联的多个图像的提供，并且通过基于所述传感器信息布置所述多个图像来创建合成图像。
16.此外，第五技术涉及一种图像处理系统，包括：移动物体；成像装置，所述成像装置被安装在所述移动物体上；传感器装置，所述传感器装置被安装在所述移动物体上并被配置为根据响应于成像指令从成像装置发送的信号来检测包括所述移动物体的位置信息的传感器信息；以及信息处理装置，所述信息处理装置被配置为将所述传感器信息与所述成像装置捕获的图像相关联。
17.发明的效果
18.根据本技术，移动物体的位置信息可以与由安装在移动物体上的成像装置捕获的图像相关联以用于图像处理。注意，这里描述的效果不必受到限制，并且也可以是本说明书中描述的任何效果。
附图说明
19.图1是示出图像处理系统的配置的图。
20.图2a是示出移动物体的外部配置的平面图，图2b是示出移动物体的外部配置的侧视图。
21.图3是示出移动物体的配置的框图。
22.图4是示出成像装置的配置的框图。
23.图5是示出传感器装置的配置的框图。
24.图6是示出由图像处理系统执行的处理的流程的流程图。
25.图7是用于说明飞行计划和成像计划的图。
26.图8是图像处理系统执行的处理的序列图。
27.图9是用于说明图像和传感器信息的关联的图。
28.图10是用于说明图像和传感器信息的关联的图。
29.图11是示出合成图像创建处理的流程的流程图。
30.图12是示出通过合成图像创建处理创建的合成图像的示例的图。
31.图13是用于说明基于传感器信息校正图像的处理的图。
32.图14是说明在不使用海拔的情况下的合成图像创建的概述的图。
33.图15是说明根据第二实施例的合成图像创建的概述的图。
34.图16是示出根据第二实施例的整体处理的流程图。
35.图17是示出海拔数据库的配置的图。
36.图18a是示出配备有lidar传感器的传感器装置的配置的框图，图18b是示出安装有lidar传感器的移动物体的外部配置的侧视图。
37.图19是用于说明图像、gps数据和海拔数据的关联的图。
38.图20是在使用lidar的情况下计算地表面海拔的方法的说明图。
39.图21是示出合成图像创建处理的流程图。
40.图22是地面正交坐标系和合成图像坐标系的说明图。
41.图23是将纬度和经度转换为地面正交坐标系的说明图。
42.图24是网格结构的说明图。
43.图25是示出到图像的四个角的向量和网格结构的图。
44.图26是说明计算图像的角的阴影位置的方法的图。
45.图27是说明计算图像的角的阴影位置的方法的图。
46.图28是说明图像的四个角的阴影位置到合成图像坐标系的转换的图。
具体实施方式
47.在下文中，将参考附图描述本技术的实施例。在下文中，将按以下顺序进行描述。
48.《1.第一实施例》
49.[1-1.图像处理系统的配置]
[0050]
[1-2.移动物体的配置]
[0051]
[1-3.成像装置的配置]
[0052]
[1-4.传感器装置的配置]
[0053]
[1-5.终端装置和云的配置]
[0054]
[1-6.由图像处理系统执行的处理]
[0055]
[1-7.成像与传感器信息的关联处理]
[0056]
[1-8.合成图像创建处理]
[0057]
《2.第二实施例》
[0058]
[2-1.根据第二实施例的合成图像创建的概述]
[0059]
[2-2.根据第二实施例的整体处理]
[0060]
[2-3.合成图像创建处理]
[0061]
《3.修改》
[0062]
《1.实施例》
[0063]
[1-1.图像处理系统的配置]
[0064]
首先，将参考图1描述图像处理系统1000的配置。图像处理系统1000包括移动物体100、成像装置200、传感器装置300、终端装置400和云500。
[0065]
在本实施例中，移动物体100是称为无人机的小型电动飞行器(无人飞行器)。成像装置200被安装到移动物体100，并且在移动物体100飞行时捕获地表面的图像。传感器装置300设置有各种传感器，并且被安装到移动物体100，并且将由各种传感器获取的传感器信息提供给成像装置200。注意，假设“地表面的成像”不仅仅包括地球表面和地表面本身，还包括人造物体(诸如，建在地面上的建筑物和铺在地表面上的道路)以及自然物体。
[0066]
终端装置400是由在地面上使用图像处理系统1000的用户等使用的计算机等，并
且使用由成像装置200捕获的图像来执行合成图像创建处理。
[0067]
云由云服务提供商公司等的服务器配置，并且使用由成像装置200捕获的图像执行合成图像创建处理。
[0068]
合成图像创建处理使用在移动物体100移动时通过安装在移动物体100上的成像装置200捕获的多个图像来通过布置图像使得相邻图像部分重叠来创建单个大合成图像。因此，由成像装置200捕获的图像被提供给终端装置400和/或云500。
[0069]
注意，在终端装置400执行合成图像创建处理的情况下，合成图像创建处理不必由云500执行，而在合成图像创建处理由云500执行的情况下，合成图像创建处理不必由终端装置400执行。此外，合成图像创建处理也可以由终端装置400和云500两者执行。云500也可以不执行合成图像创建处理，而是保存由终端装置400创建的合成图像，并响应于来自用户的请求来提供合成图像。
[0070]
在本实施例中，预先确定成像计划。成像计划指示考虑到成像装置200的特性规格(水平/垂直镜头视角)和操作设置(快门周期)的组合的移动物体100的飞行计划(高度、速度、路径)以及指示以固定间隔在哪(成像位置)和在哪个范围(成像范围)执行成像的成像计划。移动物体100根据飞行计划飞行，并且成像装置200根据成像计划执行成像。
[0071]
[1-2.移动物体的配置]
[0072]
将参考图2和图3描述移动物体100的配置。图2a是移动物体100的平面图，图2b是移动物体100的正视图。机体包括圆柱状或多边形圆柱状的机身1作为中心部分，并且支撑附着在机身1的上部的轴2a至2f。作为一个示例，机身1的形状像六角圆柱，并且六个支撑轴2a至2f以等角间隔从机身1的中心径向向外延伸。机身1和支撑轴2a至2f包括轻质的高强度材料。
[0073]
另外，机体的包括机身1和支撑轴2a至2f的每个组成部分的形状、布置等被设计成使得重心位于穿过支撑轴2a至2f的中心的垂直线上。此外，在机身1的内部设置有电路单元5和电池6，从而使得重心位于垂直线上。
[0074]
在图2的示例中，有六个转子和马达。然而，具有四个转子和马达的配置或具有八个或更多转子和马达的配置也是可接受的。
[0075]
充当转子的驱动源的马达3a至3f分别安装在支撑轴2a至2f的前端。转子4a至4f被安装在马达3a至3f的旋转轴上。包括用于控制每个马达的控制单元的电路单元5被安装在支撑轴2a至2f会聚的中心部分中。
[0076]
马达3a和转子4a与马达3d和转子4d形成一对。类似地，(马达3b，转子4b)和(马达3e，转子4e)形成一对，且(马达3c，转子4c)和(马达3f，转子4f)形成一对。
[0077]
充当电源的电池6被布置在机身1内部的底部。例如，电池6包括锂离子二次电池和控制充电和放电的电池控制电路。电池6可移除地安装在机身1的内部。通过使电池6的重心与机体的重心对准，可以提高重心的稳定性。
[0078]
通常称为无人机的小型电动飞行器通过控制马达的输出来实现所需的飞行。例如，在半空中保持静止不动的悬停状态下，安装在机体上的陀螺仪传感器用于检测倾斜度，并通过增加机体降低侧的马达输出并减小机体升高侧的马达输出来使机体保持水平。此外，当向前前进时，通过减小沿行进方向的马达输出并增加沿相反方向的马达输出，可使机体呈前倾姿态并在行进方向上产生推力。在小型电动飞行器的这种姿态控制和推进控制
中，如上所述的电池6的安装位置在机体的稳定性和易于控制之间取得平衡。
[0079]
图3是示出移动物体100的配置的框图。移动物体100设置有控制单元101、全球定位系统(gps)模块102、惯性测量单元(imu)模块103、高度计104、方位指示器105、通信单元106、电池6以及马达3a至3f。注意，省略了上面在移动物体100的外部配置中描述的支撑轴、转子等。假设控制单元101、gps模块102、imu模块103、高度计104、方位指示器105和通信单元106包括在图1中的移动物体100的外观中示出的电路单元5中。
[0080]
控制单元101包括中央处理单元(cpu)、随机存取存储器(ram)、只读存储器(rom)等。在rom中，存储了由cpu等加载并运行的程序。ram用作cpu的工作存储器。cpu通过根据rom中存储的程序执行各种处理并发出命令来整体上控制移动物体100，设置成像装置200的成像定时，将成像指令信号发送到成像装置200等等。
[0081]
另外，控制单元101通过控制马达3a至3f的输出来控制移动物体100的飞行。
[0082]
gps模块102获取移动物体100的当前位置(纬度和经度信息)和当前时间，并将获取的信息提供给控制单元101。
[0083]
imu模块103是惯性测量装置，并且imu模块103通过使用加速度传感器、角速度传感器、陀螺仪传感器等针对两个或三个轴方向计算三维的角速度和加速度来检测移动物体100的姿态和倾斜度、转弯时的角速度以及绕y轴方向的角速度的姿态信息，并将检测到的姿态信息提供给控制单元101。
[0084]
高度计104测量移动物体100所处的高度，并将高度数据提供给控制单元101。高度计104是气压高度计、无线电高度计等。气压高度计检测大气压力，而无线电高度计则向正下方的地表面发射无线电波，测量来自地表面的反射波，并根据无线电波发射与反射波到达之间的时间计算高度。
[0085]
方位指示器105利用磁体的作用来检测移动物体100的行进方位，并将该行进方位提供给控制单元101。
[0086]
通信单元106是用于与成像装置200发送和接收数据的各种通信终端或通信模块。触发成像的成像指令信号从移动物体100发送到成像装置200。与终端装置400的通信可以是诸如通用串行总线(usb)通信的有线通信，或诸如像wi-fi、蓝牙(注册商标)或zigbee的无线局域网(lan)的无线通信。另外，通信单元106还与起用于从地面控制移动物体100的装备(称为基站)作用的外部装备(诸如，个人计算机、平板终端或智能电话)进行通信。移动物体100通过通信单元106的通信将移动物体100在飞行中的状态发送到基站。此外，接收来自基站的指令等。因为移动物体100是在半空中飞行的飞行器，所以通过无线通信来执行与基站的通信。
[0087]
在本实施例中，成像装置200被安装到移动物体100的下侧，而传感器装置300被安装到移动物体100的上侧。注意，传感器装置300不限于被安装到移动物体100的上侧，但是优选地被安装到移动物体100的上侧，以易于获取诸如gps的信息。
[0088]
[1-3.成像装置的配置]
[0089]
如图2b所示，成像装置200通过起万向节作用的相机支架50从移动物体100的机身1的底部垂下安装。通过相机支架50的驱动，成像装置200能够对准镜头并在从水平方向360度到垂直方向的任何方向上成像。注意，相机支架50的操作由控制单元101基于成像计划来控制。
[0090]
将参考图4中的框图来描述成像装置200的配置。成像装置200设置有控制单元201、光学成像系统202、透镜驱动驱动器203、图像传感器204、图像信号处理单元205、图像存储器206、存储单元207、通信单元208、imu模块209、方位指示器210和信息处理单元250。
[0091]
控制单元201包括cpu、ram、rom等。cpu通过根据存储在rom中的程序执行各种处理并发出命令来整体上控制成像装置200。
[0092]
另外，控制单元201还起信息处理单元250的作用。信息处理单元250执行将通过成像获得的图像与从传感器装置300发送的作为元数据的传感器信息相关联地保存在存储单元207中的处理。稍后将描述信息处理单元250的处理的细节。
[0093]
注意，信息处理单元250包括程序，并且该程序可以被预先安装在成像装置200中，或者该程序可以被下载、分发在存储介质上等，并且由用户自己安装。另外，信息处理单元250也可以是独立于控制单元201的配置。此外，信息处理单元250不仅可以通过程序来实现，而且还可以通过具有信息处理单元250的功能的硬件等与专用装置、电路等相结合来实现。
[0094]
光学成像系统202包括用于将来自被摄体的光会聚到图像传感器204上的成像透镜、用于使成像透镜移动以进行聚焦和变焦的驱动机构、快门机构、光圈机构等。这些基于来自成像装置200的控制单元201和透镜驱动驱动器203的控制信号来驱动。通过光学成像系统202获得的被摄体的光学图像形成在成像装置200中设置的图像传感器204上。
[0095]
透镜驱动驱动器203例如包括微控制器等，并且通过根据控制单元201的控制使成像透镜在光轴方向上移动预定量来执行自动聚焦以使目标被摄体聚焦。此外，根据来自控制单元201的控制来控制光学成像系统202的诸如驱动机构、快门机构和光圈机构的操作。利用这种布置，执行曝光时间(快门速度)的调节和光圈值(f数)的调节等。
[0096]
图像传感器204将来自被摄体的入射光光电转换为电荷，并输出像素信号。随后，图像传感器204将像素信号输出到图像信号处理单元205。电荷耦合器件(ccd)传感器、互补金属氧化物半导体(cmos)传感器等被用作图像传感器204。
[0097]
图像信号处理单元205使从图像传感器204输出的成像信号经历采样保持处理，以通过相关双采样(cds)处理、自动增益控制(agc)处理、模拟/数字(a/d)转换等来保持良好的信噪比(s/n)，并创建图像信号。
[0098]
另外，图像信号处理单元205还可对图像信号进行预定的信号处理，诸如去马赛克处理、白平衡调节处理或颜色校正处理、伽马校正处理、y/c转换处理、自动曝光(ae)处理以及分辨率转换处理。
[0099]
例如，图像存储器206是包括易失性存储器、动态随机存取存储器(dram)的缓冲存储器。图像存储器206临时缓冲经过图像信号处理单元205的预定处理的图像数据。
[0100]
例如，存储单元207是诸如硬盘、usb闪存或sd存储卡的大容量存储介质。例如，基于诸如联合图像专家组(jpeg)的标准，以压缩或未压缩的状态保存捕获的图像。此外，还与图像相关联地存储可交换图像文件格式(exif)数据，其包含附加信息，诸如与保存的图像有关的信息、指示成像位置的成像位置信息以及指示成像日期和时间的成像时间信息。此外，由imu模块209获得的imu数据与作为可扩展元数据平台(xmp)的图像相关联。通过信息处理单元250将图像以与作为元数据的传感器信息相关联的状态保存在存储单元207中。
[0101]
通信单元208是用于与移动物体100和传感器装置300发送和接收数据的各种通信
终端或通信模块。在与移动物体100的通信中，接收来自移动物体100的成像指令信号。在与传感器装置300的通信中，发送通知传感器装置300从曝光的开始到结束的预定定时的曝光通知信号，并且此外，接收从传感器装置300发送的传感器信息。移动物体100与传感器装置300之间的通信可以是诸如usb通信的有线通信，或者诸如像wi-fi、蓝牙(注册商标)或zigbee的无线lan的无线通信。注意，在通过usb通信执行成像装置200与移动物体100之间的通信的情况下，成像装置200能够从移动物体100的电池6接收电力供应。
[0102]
imu模块209和方位指示器210类似于在移动物体100中设置的那些。imu模块209检测成像装置200的姿态和倾斜度，并且方位指示器210检测成像装置200的成像方位。
[0103]
[1-4.传感器装置的配置]
[0104]
将参考图5中的框图来描述传感器装置300的配置。传感器装置300设置有控制单元301、gps模块302、imu模块303、高度计304、方位指示器305、照度传感器306和通信单元307。
[0105]
控制单元301包括cpu、ram、rom等。cpu通过根据存储在rom中的程序执行各种处理并发出命令来整体上控制传感器装置300。
[0106]
gps模块302、imu模块303、高度计304和方位指示器305类似于在移动物体100中所设置的。以这种方式，传感器装置300设置有多个传感器，并将通过这些传感器获得的传感器信息提供给成像装置200。
[0107]
gps模块302用于在移动物体100飞行时检测移动物体100的水平位置坐标。imu模块303用于在移动物体100飞行时检测移动物体100的倾斜度。高度计304用于在移动物体100飞行时检测移动物体100的高度。方位指示器305用于在移动物体100飞行时检测移动物体100的行进方位。注意，移动物体100还设置有gps模块102、imu模块103、高度计104和方位指示器105，但是在移动物体100中所设置的是用于移动物体100本身的飞行，而在传感器装置300中所设置的是用于获取与图像相关联的传感器信息。
[0108]
照度传感器306设置有光电检测器，通过将入射在光电检测器上的光转换为电流来检测亮度，并将检测到的亮度提供给传感器控制单元301。由于成像环境和图像的亮度根据成像时间、天气等而变化，因此通过照度传感器306来检测亮度。此外，通过将照度传感器306的灵敏度特性划分为多个波长带，也可以在捕获图像的时间点指定向下照射在移动物体100和地面上的阳光的光谱分布或多个特定波长带中的能量比。
[0109]
通信单元307是用于与成像装置200发送和接收数据的各种通信终端或通信模块。通信单元307从成像装置200接收曝光通知信号，同时还将由传感器装置300获得的传感器信息发送到成像装置200。与成像装置200的通信可以是诸如usb通信的有线通信或诸如像wi-fi、蓝牙(注册商标)或zigbee的无线lan的无线通信。注意，在通过usb通信执行传感器装置300与成像装置200之间的通信的情况下，传感器装置300能够通过成像装置200从移动物体100的电池6接收电力供应。
[0110]
如上所述配置移动物体100、成像装置200和传感器装置300。无人机(即具有安装的成像装置200的移动物体100)不仅可以由操作员手动操作，而且还能够利用gps数据和imu数据进行自动飞行和自动成像。在执行自动飞行和自动成像的情况下，关于飞行路线的路径信息和诸如成像位置、成像方向和成像时间的成像信息被预先设置，并且移动物体100的控制单元110控制移动物体100的飞行，并指示成像装置200根据设置的内容执行成像。另
外，也可以通过无线通信从基站获取路径信息和成像信息。
[0111]
[1-5.终端装置和云的配置]
[0112]
终端装置400是个人计算机等，并且使用由成像装置200捕获的图像和传感器信息来执行合成图像创建处理。由成像装置200捕获的图像和传感器信息经由诸如usb闪存或sd存储卡的便携式存储介质从成像装置200的存储单元207传送到终端装置400。注意，成像装置200还可以被配置为将图像和传感器信息直接保存到便携式存储介质，而无需经过存储单元207。另外，可以通过成像装置200的通信单元208和终端装置400之间的通信来传送图像。终端装置400可以是膝上型pc或台式pc，并且还可以是平板终端、智能电话、游戏机等，只要该装置设置有足够的处理能力并且能够执行合成图像创建处理即可。执行合成图像创建处理的装置或处理单元(诸如终端装置400)对应于权利要求中的“图像处理装置”。
[0113]
云500还使用由成像装置200捕获的图像和传感器信息来执行合成图像创建处理。云是指计算机的一种利用模式，并且被构建在云服务提供商公司的服务器上。云服务是指由网络上存在的服务器提供的服务，并且是基于互联网的计算机的一种利用模式。所需的处理基本上都是在服务器端执行的。用户通过互联网而不是自己的pc、智能电话、移动电话等将数据保存在服务器上。因此，用户还可以在各种环境(诸如在家、在公司、在网吧、在学校或去过的地方)中使用该服务并查看、编辑或上载数据等。根据本技术的实施例的合成图像创建处理可以由云500执行，并且作为云服务提供给消费者。
[0114]
图像和传感器信息通过互联网从终端装置400发送到云500。另外，在成像装置200设置有互联网连接功能的情况下，图像和传感器信息也可以通过互联网从成像装置200发送到云500。由云500创建的合成图像可以仅被保存在云500中，或者也可以被传送到终端装置400和/或成像装置200。
[0115]
[1-6.由图像处理系统执行的处理]
[0116]
接下来，将参考图6中的流程图来描述由图像处理系统1000执行的处理的概述。首先，在步骤s11中，将预编程的飞行计划上载到移动物体100的控制单元101，同时另外，预编程的成像计划被上载到成像装置200的控制单元201。上载是通过例如由用户输入、从基站自动传送等的操作来执行的。接下来，在步骤s12中，开始移动物体100的飞行。接下来，在步骤s13中，在移动物体100飞行时由成像装置200执行成像。另外，与成像装置200的成像并行地由传感器装置300获取传感器信息。接下来，在步骤s14中，将捕获的图像与传感器信息相关联地保存在成像装置200的存储单元207中。
[0117]
接下来，处理进入步骤s15，并且将图像以及作为元数据相关联的传感器信息从成像装置200的存储单元207发送到终端装置400和/或云500。接下来，在步骤s16中，终端装置400确定是否已经在成像计划中的所有成像位置处执行了成像，并且重复步骤s13至s16，直到在所有成像位置处执行了成像为止(步骤s15，否)。随后，在步骤s17中，由终端装置400和/或云500执行合成图像创建处理。稍后将描述每个处理的细节。
[0118]
[1-7.成像与传感器信息的关联处理]
[0119]
接下来，将参考图7至图10描述根据本实施例的成像和传感器信息关联处理。图7是用于说明移动物体100的飞行路线和成像位置的图。
[0120]
图7中的虚线指示在成像计划中设置的要由成像装置200成像的地表面的整个成像范围。最终通过合成图像创建处理创建的合成图像成为包含整个成像范围的图像。
[0121]
图7中的实线指示移动物体100的飞行路线，该飞行路线被设置成使得对整个成像范围进行成像，并且实线上的多个点指示由成像装置200执行成像的成像位置。由于移动物体100包括用于起飞后获取其自身的位置和姿态的gps模块102和imu模块103，因此移动物体100按照飞行计划在飞行路线上飞行，并通过基于成像计划向成像装置200发送成像指令信号来在每个成像位置执行成像。
[0122]
注意，以固定间隔进行成像的方法可以是基于gps数据以固定距离间隔自动进行重复成像的方法，也可以是以固定时间间隔自动进行重复成像的方法，但是该方法不限于任何一种。在以固定距离间隔成像的情况下，成像指令从移动物体100发送到成像装置200。这是因为移动物体100和成像装置200的位置是通过设置在移动装置100中的gps模块102获取的，并且成像指令是基于指示位置的gps数据发出的。另一方面，在以固定的时间间隔进行成像的情况下，可以由设置有计时功能的移动物体100或成像装置200之一发出成像指令。
[0123]
如图7中的成像位置a、b、c和d的提取部分的放大图所示，飞行计划和成像计划被设置为使得成像范围的重叠部分在移动物体100的行进方向上以及飞行路线之间的方向上出现。通过以这种方式进行成像使得重叠部分出现在成像范围内，在利用通过成像获取的多个图像创建合成图像的情况下，可以防止出现间隙和缺失部分。
[0124]
注意，为了便于本技术的说明已经设置了图7所示的飞行计划和成像计划，而本技术不限于这种飞行路线和成像位置。
[0125]
接下来，将参考图8中的序列图来描述移动物体100、成像装置200和传感器装置300之间的处理流程。首先，在步骤s21中，基于成像计划的成像指令信号从移动物体100发送到成像装置200。
[0126]
接下来，在步骤s22中，已经接收到成像指令信号的成像装置200开始曝光，并且在步骤s23中获取图像之后，在经过预定曝光时间之后在步骤s24中结束曝光。接下来，在步骤s25中，在经过曝光时间并且曝光已经结束的时间点，将指示曝光已经结束的曝光通知信号从成像装置200发送到传感器装置300。
[0127]
接下来，在步骤s26中，传感器信息从已经从成像装置200接收到曝光通知信号的传感器装置300发送到成像装置200。另外，在步骤s27中，成像装置200将通过成像获取的图像与作为元数据相关联的传感器信息保存在存储单元207中。
[0128]
对通过成像获取的所有图像执行以上处理。
[0129]
接下来，将参考图9来描述将由传感器装置300获取的传感器信息作为元数据与由成像装置200捕获的图像相关联的处理。将基于图7中所示的飞行计划和成像计划捕获的所有图像与作为元数据相关联的由传感器装置300获取的传感器信息保存在存储单元207中。注意，以下参考图9的描述假设从传感器装置300发送到成像装置200的传感器信息是由gps模块302获得的gps数据(对应于权利要求中的“位置信息”)和由imu模块303获得的imu数据(对应于权利要求中的“倾斜度信息”)。注意，传感器信息还可以包括由高度计304获得的高度数据(对应于权利要求中的“高度信息”)等。
[0130]
当从移动物体100向成像装置200发送成像指令信号时，已经接收到该信号的成像装置200开始曝光，并且在经过预定的曝光时间之后，曝光结束并且图像被获取。另外，传感器装置300与成像指令和曝光定时异步地以预定的时间间隔利用gps模块302周期性地获取
gps数据，并且此外，以预定的时间间隔利用imu模块周期性地303获取imu数据。gps模块302获取gps数据的定时和imu模块303获取imu数据的定时可以是异步的或同步的。注意，当获取新的gps数据和imu数据时，所有旧数据优选地被保存而不被删除。
[0131]
首先，当从移动物体100向成像装置200发送成像指令信号时，成像装置200开始曝光，并且当经过预定的曝光时间之后曝光结束时，图像被获取，另外，指示曝光结束时刻的曝光通知信号从成像装置200发送到传感器装置300。
[0132]
在接收到曝光通知信号时，传感器装置300将在最接近已经接收到曝光通知信号的时刻的时刻获得的gps数据发送到成像装置200。此外，在接收到曝光通知信号时，传感器装置300类似地将在最接近已经接收到曝光通知信号的时刻的时刻获得的imu数据发送到成像装置200。
[0133]
如上所述，成像装置200的曝光定时与传感器装置300中的gps数据和imu数据的获取时刻是异步的，因此传感器装置300从成像装置200接收曝光通知信号的时刻不一定与传感器装置300获取gps数据和imu数据的时刻匹配。因此，传感器装置300将在最接近已经接收到曝光通知信号的时刻的时刻获取的(最新的)gps数据和imu数据发送到成像装置200。
[0134]
在图9的情况下，由于gps数据a的获取是在传感器装置300接收到指示用于获取图像数据a的曝光的曝光通知信号的时间点执行的，因此当gps数据a的获取完成时，传感器装置300将gps数据a发送到成像装置200。类似地，由于在传感器装置300接收到指示用于获取图像数据a的曝光的曝光通知信号的时间点执行imu数据a的获取，因此当imu数据a的获取完成时，传感器装置300将imu数据a发送到成像装置200。以这种方式，在最接近接收到曝光通知信号的时刻的时刻获取的gps数据a和imu数据a从传感器装置300发送到成像装置200。
[0135]
随后，信息处理单元250将gps数据a和imu数据a作为元数据与图像a相关联的保存在存储单元207中。
[0136]
当移动物体100将下一个成像指令信号发送到成像装置200时，成像装置200类似地执行曝光，并且当曝光结束时，通过成像获取图像b，此外，将曝光通知信号发送到传感器装置300。在图9的情况下，由于gps数据b的获取是在传感器装置300接收到指示用于获取图像数据b的曝光的曝光通知信号的时间点执行的，因此，当gps数据b的获取完成时，传感器装置300将gps数据b发送给成像装置200。类似地，由于imu数据b的获取是在传感器装置300接收到指示用于获取图像数据b的曝光的曝光通知信号的时间点执行的，因此，当imu数据b的获取完成时，传感器装置300将imu数据b发送给成像装置200。以这种方式，在最接近接收到曝光通知信号的时刻的时刻获取的gps数据b和imu数据b从传感器装置300发送到成像装置200。随后，信息处理单元250将gps数据b和imu数据b作为元数据与图像b相关联地保存在存储单元207中。
[0137]
以这种方式，所有捕获的图像在与传感器信息相关联的同时被保存在存储单元207中。
[0138]
注意，触发图像和传感器信息之间的关联的曝光通知信号的发送也可以在指示成像装置200执行成像的时刻和曝光结束时刻之间的某个时刻执行。另外，曝光通知信号的发送也可以在成像装置200开始准备曝光的时刻与曝光结束时刻之间的某个时刻执行。这在接收成像指令信号与进行曝光准备之间存在时间滞差的情况下有效。另外，曝光通知信号的发送也可以在成像装置200的曝光开始时刻和曝光结束时刻之间的某个时刻执行。在这
种情况下，可以获得在更接近捕获图像的时刻获取的gps信息。曝光开始时刻和曝光结束时刻之间的时段的具体示例是曝光开始的时刻或曝光结束的时刻。
[0139]
以这种方式，通过以成像装置200的曝光定时为触发来获取gps数据，可以获取更接近曝光定时的gps数据，因此可以将更精确的gps数据赋予图像。例如，与提取图像的特征点并且在交叉检查特征点的同时将图像合并在一起以创建合成图像的情况相比，由于与图像相关联的gps数据和imu数据以高时间精度的状态关联，因此仅依靠gps数据和imu数据就可以合并图像。因此，更快的合成图像创建处理成为可能。以这种方式，在本技术中，可以创建合成图像，而不需要提取和交叉检查图像的特征点的处理。
[0140]
这里，将参考图10来描述根据曝光定时之前和之后获取的gps数据a和gps数据b计算更高精度的新gps数据的情况。在图10的示例的情况下，可以根据在接收到用于获取图像a的曝光通知信号的时刻之前和之后获取的gps数据a和gps数据b来计算新的gps数据，并且新的gps数据可以被视为gps数据与图像a相关联。
[0141]
例如，在接收曝光通知信号的时刻处于获取gps数据a的时刻与获取gps数据b的时刻之间的中间(以5:5的比例)的情况下，gps数据a和gps数据b之间的中间值通过加权平均值等计算，并被视为新的gps(传感器信息)与图像a相关联。在图10中，新的gps数据被称为“gps数据n”。注意，在这种情况下，在获取gps数据b之后，将新的gps数据n从传感器装置300发送到成像装置200。根据多个传感器信息计算新的传感器信息不限于gps数据，并且可以应用于本技术处理的所有传感器信息，诸如imu数据和高度数据。
[0142]
注意，充当将gps数据和imu数据与图像相关联的基准的时刻不限于曝光结束的时间。基准时刻也可以是移动物体100或成像装置200本身的成像指令的时刻，或者是曝光开始的时刻。
[0143]
[1-8.合成图像创建处理]
[0144]
接下来，将描述根据由成像装置200捕获的多个图像创建合成图像的处理。在外部终端装置400和/或云500中执行合成图像创建处理。然而，在成像装置200的信息处理单元250具有执行合成图像创建处理的足够处理能力的情况下，可以由成像装置200执行合成图像创建处理。
[0145]
首先，将参考图11中的流程图来描述合成图像创建处理的流程。在步骤s31中，对用于创建合成图像的图像之一执行校正处理。校正处理是基于作为元数据与图像相关联的传感器信息来校正图像的处理。稍后将描述校正处理的细节。
[0146]
接下来，在步骤s32中，执行布置校正后的图像以创建合成图像的处理。稍后将描述布置处理的细节。接下来，在步骤s33中，确定是否已经对所有图像执行了布置处理。在尚未对所有图像执行布置处理的情况下，处理进入步骤s31，并且重复步骤s31至s33，直到布置了所有图像为止(步骤s33，否)。
[0147]
随后，在步骤s33中确定已经对所有图像执行了布置处理的情况下，该处理结束并且合成图像完成(步骤s33，是)。
[0148]
图12是通过将多个图像布置成使得相邻图像部分重叠而使用多个图像创建的合成图像的图示。注意，图12的示例假设合成图像是使用通过从空中对农田进行成像而捕获的多个图像创建的农田的地图。
[0149]
在图12中，为了便于说明，已经在形成所创建的地图图像的多个图像中的一些图
像(图像a至图像i)周围绘制了框，并且这些图像的阴影已经被改变。图像a至图像i上的点是由与每个图像相关联的gps数据指示的纬度和经度的位置，并且虚线指示每个图像的纬度和经度。
[0150]
在合成图像创建处理中，在基于作为元数据与每个图像相关联的gps数据校正图像的位置的同时布置图像。在飞行计划和成像计划中，如图7所示，将成像位置布置在直线上，并且还预设了成像范围，并且理想地将根据计划执行成像。然而，在实际的成像中，考虑到在很多情况下，由于风等的影响，成像位置和成像范围倾向于偏离成像计划。
[0151]
因此，在本技术中，通过将gps数据视为基准来布置图像。通过将gps数据视为基准来布置图像的方法可以是通过将与纬度和经度信息相关联的地图数据中的纬度和经度与由与图像相关联的gps数据所指示的纬度和经度对齐来布置图像的方法。对于地图数据，可以使用与由日本地理空间信息管理局(geospatial information authority of japan)发布的纬度和经度数据相关联的地图数据，或者与由互联网上的地图服务提供的经纬度数据相关联的地图数据。
[0152]
如上所述，安装在移动物体100上的成像装置200的成像预先基于飞行计划和成像计划，并且在哪个位置(成像位置)以及在哪个范围(成像范围)捕获图像是预定的。在实际捕获的图像偏离预定成像位置和成像范围的情况下，使用gps数据执行校正。
[0153]
在图12的地图图像中，由于图像a、b和c具有匹配的经度，因此图像a、b和c沿纬度方向布置而没有经度未对准。图像d从成像计划中的成像位置发散，并且因此在图像c和图像d之间在纬度方向上存在经度未对准。因此，如图13a所示，在创建地图图像时，将图像从成像计划中的成像位置平行移动到与图像相关联的gps数据的位置，以校正图像的布置位置。因为gps数据是成像位置的纬度和经度信息，所以将图像布置成使得充当图像的元数据的gps数据与实际的纬度和经度对准。
[0154]
另外，如图13b所示，在比飞行计划中的移动物体100的高度更高的位置处捕获图像的情况下，与根据飞行计划和成像计划执行成像的情况相比，被摄体变小并且视角变宽。在这种情况下，通过执行放大处理来进行校正，使得图像与在根据飞行计划和成像计划执行成像的情况下获得的被摄体的尺寸匹配。随后，布置经过校正处理的图像以创建合成图像。
[0155]
另一方面，如图13c所示，在比飞行计划中的移动物体100的高度低的位置处捕获图像的情况下，与根据飞行计划和成像计划执行成像的情况相比，被摄体变大并且视角变窄。在这种情况下，通过执行缩小处理来进行校正，使得图像与在根据飞行计划和成像计划执行成像的情况下获得的被摄体的尺寸匹配，并且随后布置经过校正处理的图像以创建合成图像。
[0156]
此外，在使用图像创建二维合成图像的情况下，期望基本上与农田平行来通过成像装置200执行成像。然而，在成像的同时移动物体100或成像装置200倾斜的情况下，如图13d所示，在成像范围中发生误差。在这种情况下，通过执行梯形校正和修剪处理来执行校正，从而使得图像与在根据飞行计划和成像计划执行与地基本平行的成像的情况下获得的被摄体匹配。随后，布置经过校正处理的图像以创建合成图像。
[0157]
此外，在照度传感器数据作为元数据与图像相关联的情况下，还可以基于照度传感器数据执行校正以调节图像的亮度、颜色平衡等。注意，不必对不需要校正的图像执行校
正处理。
[0158]
以这种方式，通过布置所有图像同时还基于作为元数据与图像相关联的传感器信息校正图像来创建合成图像。注意，与形成合成图像的每个图像相关联的元数据优选保持与创建的合成图像相关联。利用这种布置，可以基于gps数据等容易地指定用户在合成图像中指定的关注位置。
[0159]
注意，通过将由首先布置的图像的gps数据指示的纬度和经度视为布置第二和后续图像的基准，也可以在不使用与纬度和经度信息相关联的地图数据的情况下创建合成图像。
[0160]
根据本技术，不需要提取和交叉检查图像的特征点来创建合成图像的处理，因此可以减少创建合成图像所需的计算处理量。利用这种布置，可以比过去更快地创建合成图像，并且，此外，即使在处理能力不高的廉价计算机上，也可以创建合成图像。
[0161]
例如，在本技术中，因为不需要提取和交叉检查图像的特征点的处理来创建合成图像，所以本技术可用于创建没有建筑物等充当显着特征的诸如农田的广阔区域的合成图像。
[0162]
另外，因为使用了基于飞行计划和成像计划而捕获的图像，所以可以使图像彼此重叠以创建合成图像的区域变小。利用这种布置，与过去的技术相比，可以用更少的图像来创建合成图像。而且，与过去的技术相比，可以缩短合成图像创建所需的时间。使图像彼此重叠以创建合成图像的区域变小的事实意味着可以扩大用于成像的移动物体100的来回飞行路线之间的间隔，并且可以增强成像效率。如果增强成像效率，则在相同的电池条件下，与过去相比，可以扩大一次飞行中可以成像的区域。而且，能够用比现有技术少的图像创建合成图像意味着可以节省电池，因为与现有技术相比可以执行更少次的成像。
[0163]
利用将成像装置200和传感器装置300安装到移动物体100的配置，可以通过将成像装置200和传感器装置300安装到诸如没有设置有用于本技术的特殊功能的市场上的普通无人机的移动物体100上来实现本技术。因此，将根据本技术的产品推向市场和用户采用也很容易。
[0164]
因为创建的合成图像供应有已将与形成合成图像的图像相关联的元数据，所以在农田的地图图像的情况下，可以通过依靠gps数据将诸如生长不良、病害和昆虫的问题部位抓取为位置信息。因此，还可以利用配备有gps功能的拖拉机向特定区域洒水、施肥、施用农药等。
[0165]
注意，本技术不排除通过提取和交叉检查图像的特征点以使图像彼此重叠来创建合成图像。也可以通过联合使用提取和交叉检查特征点的方法来创建合成图像。
[0166]
《2.第二实施例》
[0167]
[2-1.根据第二实施例的合成图像创建的概述]
[0168]
接下来，将描述本技术的第二实施例。第二实施例通过使用成像范围内的地表面的海拔来执行高精度的合成图像创建。海拔是指在将作为基准的海(在日本，为东京湾)的平均海平面视为0m基准面的情况下，地表面距离基准面的高度。首先，将参考图14和15来描述根据第二实施例的合成图像创建的概述。
[0169]
图14是在不反映合成图像创建中的地面海拔的变化的情况下成像装置200的高度(移动物体100的飞行高度)、地表面、图像和图像布置结果之间的关系的图示。如图14所示，
通过将通过成像获得的多个图像投影并布置到与地表面不同的虚拟面上来创建合成图像。布置图像的面是所有图像共有的面。注意，假设成像装置200的高度(移动物体100的飞行高度)是固定的。
[0170]
考虑如下情况：假设通过成像获得的所有图像的布置目的地的海拔是相同的高度而不反映地表面的海拔，并且通过以预定的相等尺寸布置图像来创建合成图像。在这种情况下，如果地表面的海拔存在变化，则布置的图像尺寸将发生错误，并且图像将被布置为显得大于(或小于)实际的图像尺寸。
[0171]
如图14a所示，在地表面的海拔低于布置图像的面的情况下，将以比实际图像的尺寸小的尺寸来合成图像。另外，如图14c所示，在地表面的海拔高于布置图像的面的情况下，将以比实际图像的尺寸更大的尺寸来合成图像。在以这种方式地表面的海拔存在变化的情况下，合成图像创建中的图像的布置发生误差。该误差在地表面和布置图像的面接近的情况下很小，但是随着地表面和布置图像的面相隔越远而变大。
[0172]
相反，在第二实施例中，如图15所示，通过获取图像的成像范围的海拔并根据该海拔将图像布置在面中，通过以正确的尺寸布置图像来创建合成图像。利用这种布置，可以以更高的精度创建高精度的合成图像。注意，通过将移动物体100的飞行高度视为固定来描述第二实施例。
[0173]
关于地表面的海拔，可以使用其中海拔与由日本地理空间信息管理局发布的经度或维度等指示的位置相关联的地图数据，或者由互联网上的地图服务提供的与海拔相关联的地图数据。此外，还可以利用测距传感器获取海拔。
[0174]
[2-2.根据第二实施例的整体处理]
[0175]
接下来，将描述从移动物体100的飞行和成像装置200的成像到根据第二实施例的图像合成处理的总体处理的概述。形成图像处理系统1000的移动物体100、成像装置200、传感器装置300、终端装置400和云500类似于第一实施例，因此省略描述。
[0176]
图16是示出从移动物体100的飞行到成像、地表面的海拔的获取以及合成图像创建处理的整个处理流程的流程图。与图6中的流程图相同的处理以相同的步骤编号表示，并且省略详细描述。
[0177]
首先，在步骤s11中，将预编程的飞行计划上载至移动物体100的控制单元101，同时，此外，将预编程的成像计划上载至成像装置200的控制单元201。接下来，在步骤s12中，开始移动物体100的飞行。注意，在飞行中，类似于在第一实施例中所描述的，传感器装置300分别以预定时间间隔周期性地获取诸如gps数据和imu数据的传感器信息。
[0178]
另外，当重复步骤s13至s16并且在所有成像位置处执行成像以及传感器信息的获取时，处理进入步骤s41(步骤s16，是)。注意，步骤s41至s43是由终端装置400和/或云500在移动物体100的飞行结束之后执行合成图像创建处理而执行的处理。
[0179]
接下来，在步骤s41中，执行合成图像创建处理的终端装置400和/或云500从传感器装置300的gps模块302获取指示飞行中的移动物体100的位置的gps数据。gps数据可以被认为指示移动物体100的飞行路径。gps数据是在移动物体100飞行中由gps模块302获取的，并且可以在飞行结束后通过读出保存在传感器装置300内部的存储器功能或成像装置200的存储单元207中的信息来获取。注意，gps数据也可以是由设置在移动物体100中的gps模块102获取的gps数据。
[0180]
接下来，在步骤s42中，获取地表面的成像范围内的海拔数据。该海拔数据也包含在传感器信息中。首先，将描述使用其中纬度和经度与海拔相关联的地图数据等来获取海拔数据的方法。
[0181]
在这种情况下，执行图像合成处理的终端装置400和/或云500基于在步骤s41中获取的gps数据所指示的位置来获取成像装置200的成像范围内的海拔数据。可以通过使用日本地理空间信息管理局发布的诸如纬度和经度的位置与海拔相关联的地图数据等来执行上述操作，以确认在由步骤s41中获取的gps数据指示的纬度和经度处的海拔。
[0182]
如图17中所示，以已经获取gps数据的位置的顺序对获取的地表面的海拔数据进行编号，并将其与由纬度和经度指示的位置相关联以创建数据库。数据获取位置、由纬度和经度指示的位置以及海拔数据的这种关联将被称为海拔数据库。注意，如在第一实施例中参考图9所描述的，与诸如gps数据和imu数据的传感器信息相关联地保存由成像装置200捕获的图像。因此，可以通过参考与海拔数据相关联的纬度和经度来关联海拔数据和图像。
[0183]
当海拔数据的获取完成时，接下来，在步骤s43中，执行合成图像创建处理。
[0184]
此时，将描述在图16的流程图的步骤s42中通过使用测距传感器来获取地表面的成像范围内的海拔数据的方法。假设将“光检测和测距”或“激光成像、检测和测距”(lidar)传感器的缩写用作测距传感器。lidar是指使用光的一种遥感技术，并且是一种能够通过测量相对于脉冲发射的激光辐射的散射光来测量到远距离目标的距离并分析目标的特性的技术。
[0185]
在第二实施例中，如图18a所示，传感器装置300设置有lidar传感器310。但是，由于lidar通过激光辐射来测量距离，因此如图18b所示，lidar传感器310的激光辐射单元311和激光接收单元312被设置在移动物体100的机身1的底部，使得可以辐射和接收直射向下指向地面的激光。注意，至此，由于可以辐射和接收指向地面的激光，因此lidar传感器310的激光辐射单元311和激光接收单元312可以设置在移动物体100的机身1的侧面上。
[0186]
在使用lidar的情况下，优选的是，在对地表面进行成像之前，使安装有配备有lidar传感器310的传感器装置300的移动物体100在与成像范围相同的范围内飞行并获取成像范围的海拔数据。在移动物体100的飞行结束之后，根据由lidar获取的信息来计算海拔数据。但是，也可以与移动物体100的飞行以及地表面的成像并行地根据由lidar传感器310获取的信息来计算海拔数据。根据由lidar传感器310所获取的信息来计算海拔数据被描述为由信息处理单元250执行，但是也可以由终端装置400或云500执行。
[0187]
注意，lidar传感器310的海拔数据获取定时之间的间隔优选地短于成像装置200的成像定时之间的间隔。这是因为如果成像定时之间的间隔长于海拔数据获取定时之间的间隔，则将准确的海拔数据与每个捕获的图像相关联变得困难。此外，这是因为随着海拔数据获取定时之间的间隔变短，可以获得更精确的地表面的海拔。
[0188]
通过lidar获取地表海拔数据并将海拔数据与经度和纬度指示的位置相关联以创建数据库与从地图数据获取海拔数据的情况类似。
[0189]
注意，利用lidar传感器310获取海拔数据的定时可以与或者可以不与传感器装置300获取诸如gps数据的传感器信息的定时同步。在获取定时被同步的情况下，可以关联在与利用lidar传感器310获取的海拔数据相同的定时获取的传感器信息中包括的gps数据等。在获取定时不同步的情况下，可以通过将与图像捕获有关的定时(诸如成像指令的定时
或当从成像装置200接收到曝光通知信号时的定时)视为基准来关联图像、传感器信息和海拔数据。该关联被描述为由信息处理单元250执行，但是也可以由终端装置400或云500执行。
[0190]
例如，如图19中所示，在传感器装置300接收到指示用于获取图像数据a的曝光的曝光通知信号的时间点执行海拔数据a的获取的情况下，当海拔数据a的获取完成时，传感器装置300将海拔数据a发送到成像装置200。以这种方式，从传感器装置300向成像装置200发送在最接近接收曝光通知信号的定时的定时获取的海拔数据a。随后，信息处理单元250将gps数据a、imu数据a以及海拔数据a作为元数据与图像a相关联地保存在存储单元207中。通过这种方式将图像、gps数据、imu数据和海拔数据相关联，在布置图像以创建合成图像时可以使用海拔数据。注意，在预定利用lidar传感器310获取海拔数据的位置或者利用gps数据获取利用lidar传感器310获取海拔数据的位置的情况下，也可以基于海拔数据获取位置的信息将海拔数据与传感器信息中包括的gps数据等相关联。
[0191]
注意，同样地，在通过参考地图数据获取海拔数据的情况下，在与移动物体100的飞行、成像装置200的成像和通过传感器装置300对gps数据和imu数据的获取并行地从地图数据获取海拔数据的情况下，可以以这种方式将图像、传感器信息和海拔数据相关联。注意，在图19中，为了便于说明而示出了gps数据和海拔数据，但是要关联的数据不限于这些，并且还可以包括由imu模块303获得的imu数据、由高度计304获得的高度数据等。
[0192]
接下来，将参考图20描述在使用lidar的情况下计算指示地表面的海拔的海拔数据的方法。海拔数据的该计算可以由信息处理单元250、终端装置400和云500中的任何一个执行，并且还可以由lidar传感器310本身执行。在lidar测距方向相对于重力方向具有角度θ并且测得的距离为d
l
的情况下，假设z
gps
是从gps数据获得的测距中的移动物体100的高度，则地表面海拔h
地面
根据下面的公式1计算。
[0193]
[公式1]
[0194]h地面
＝z
gps-d
l
cosθ
[0195]
而且，可以通过使用指示移动物体100的位置和姿态的gps数据和imu数据以及lidar传感器310的测距结果，根据移动物体(p
gps
)和测距目标点p
l
的位置之间的距离和方位角来计算具有海拔h
地面
的p
l
的位置。在公共参考文献[日本地理空间信息管理局技术报告b5-no.19]中描述了使用距离p
gps
的距离和方位角计算p
l
的纬度和经度的特定方法，并且可以使用此方法。以这种方式计算的海拔用作图像合成处理中的海拔数据。
[0196]
[2-3.合成图像创建处理]
[0197]
接下来，将参考图21中的流程图来描述合成图像创建处理的细节。在从地图数据获取地表面的海拔数据的情况下以及通过lidar获取海拔数据的情况下，合成图像创建处理是类似的。
[0198]
首先，在步骤s51中，定义要在合成图像创建处理中使用的两个坐标系。待定义的坐标系是地面正交坐标系σg，其表示与移动物体100在正交坐标系中的移动相关联的成像装置200的成像范围；以及合成图像坐标系σi，其充当用于图像合成的图像的布置目的地。地面正交坐标系σg对应于权利要求中的“第一坐标系”，而合成图像坐标系σi对应于“第二坐标系”。
[0199]
地面正交坐标系∑g和合成图像坐标系∑i在图22中示出。地面正交坐标系∑g的原
点以米为单位表示为在0m海拔处的成像范围中的任意点。关于地面正交坐标系∑g的xyz轴的方向，将+x方向视为东，将+y方向视为北，并将+z方向视为垂直向上。作为图像坐标系的合成图像坐标系σi以像素为单位定义，并且被配置为包含整个成像范围并且还使得图像不突出。但是，图像的像素宽度和像素高度可以设置为任何分辨率。
[0200]
接下来，在步骤s52中，将图17所示的海拔数据库中的纬度和经度转换为地面正交坐标系∑g。转换方法在图23中示出。首先，根据地面正交坐标系σg的原点pg和来自与图17所示的海拔数据以及纬度和经度相对应的多个位置中的任意位置p
hi
，计算两点之间的距离d和方位角θ。在公开参考文献[日本地理空间信息管理局技术报告b5-no.19]中描述了根据纬度和经度计算两点之间的距离d和方位角θ的方法，并且可以使用此方法。
[0201]
当计算出距离d和方位角θ时，地面正交坐标系σg中的任意位置p
hi
的坐标(x，y)被确定为(d
·
cosθ，d
·
sinθ)。此外，如果将原始海拔数据的高度视为p
hi
的高度，则可以决定地面正交坐标系σg中的p
hi
值。
[0202]
另外，在步骤s52中，将转换为地面正交坐标系∑g的海拔数据库用于创建图24所示的网格结构。通过将海拔数据库中包括的每个相邻点连接以创建三角形来创建网格结构。以这种方式配置的每条三角形网格信息都用于计算稍后描述的图像的四个角的投影位置。
[0203]
接下来，在步骤s53中，将由移动物体100的gps模块102获取的gps数据指示的移动物体100的位置和由imu模块103获取的imu数据指示的移动物体100的姿态转换为地面正交坐标系σg。因为根据gps数据将移动物体100的位置作为纬度和经度信息输出，所以需要转换为地面正交坐标系σg，但是转换方法类似于在步骤s52中将海拔数据库转换为地面正交坐标系∑g。
[0204]
接下来，在步骤s54中，在地面正交坐标系∑g中计算图像的四个角在地表面上的投影位置。图像的四个角是指包括在具有四边形形状的图像中的四个角度的顶点。图25是到从安装到移动物体100的成像装置200延伸的图像的四个角的向量和地表面的海拔(网格结构)的图示。延伸到图像的四个角的向量和网格面相交的点成为要计算的图像的四个角的投影位置。
[0205]
这里，将描述计算图像的四个角的投影位置的方法。注意，以下描述是一种计算图像的四个角之一的投影位置的方法。通过对所有四个角执行此方法，可以计算图像所有四个角的投影位置。
[0206]
首先，如图26所示，考虑充当海拔数据的最小单位的三角形网格的面abc。假设n是面abc的单位法向向量，而p0是abc的中心坐标，则如图26所示使用公式2根据叉积计算n。
[0207]
[公式2]
[0208][0209]
接下来，如图27a所示，将移动物体100的成像装置200的位置视为pd，并且将从成像装置200的焦点延伸至图像的四个角点的单位向量视为l。注意，实际上，存在四个单位向量l，但是在图27a中，为了便于说明仅示出了一个。在假设面abc和从成像装置200的位置pd延伸的向量具有交点的情况下，可以使用标量值d将向量表示为dl。
[0210]
在这里，如果利用在平面abc中的任意点p的表达式为(p-p0)
·
n＝0，则可以使用下面的公式3来计算向量dl和面abc相交的点li。
[0211]
[公式3]
[0212]
(dl+p
d-p0)
·
n＝0
[0213][0214][0215]
另外，研究面abc和向量(l0，dl)之间的交点li是否包含在面abc中。如图27b所示，在面abc中包含交点li的情况下，将li视为图像的一个角的投影位置。
[0216]
通过对到图像四个角的所有向量执行此处理，可以计算图像四个角在地表面上的投影位置。
[0217]
返回到图21中的流程图的描述。接下来，在步骤s55中，将在步骤s54中计算出的图像的四个角的投影位置转换为合成图像坐标系∑i。为了进行转换，使用在步骤s51中定义的地面正交坐标系∑g和合成图像坐标系∑i。图28是地面正交坐标系∑g和合成图像坐标系∑i的转换以及图像的布置的概念图。通过将地面正交坐标系σg中图像的四个角中每个角的投影位置转换为合成图像坐标系σi，图像被投影到合成图像坐标系σi上并如图28所示进行布置。利用这种布置，如参考图15所述，按照实际图像尺寸布置图像，而不会如图14所示通过以与实际捕获图像的尺寸不同的尺寸布置图像来合成图像。
[0218]
接下来，在步骤s56中，基于在步骤s55中计算出的图像的四个角在合成图像坐标系σi上的投影位置布置图像。当布置图像时，对在步骤s55中计算出的图像的四个角执行投影变换。为了正确布置图像，必须正确投影图像的四个角，但是由于海拔数据库中指示的成像范围内每个位置的海拔数据并未指示出地表面的所有位置处的海拔，因此海拔数据中指示的海拔不一定指示图像的四个角的海拔。因此，通过计算地面正交坐标系∑g中图像的四个角中的每个的位置并以这种方式将这些位置转换并投影到合成图像坐标系σi上来布置图像。利用这种布置，可以以正确的尺寸布置图像以创建合成图像。
[0219]
随后，在步骤s57中，确定是否已经对所有图像执行了从步骤s53到步骤s56的处理并且已经布置了图像。在未处理完所有图像的情况下，处理进入步骤s53，并且重复步骤s53至s57，直到布置了所有图像为止(步骤s57，否)。随后，在已经布置了所有图像的情况下，处理结束，并且完成包含多个捕获图像的单个合成图像(步骤s57，是)。
[0220]
如上所述，执行根据第二实施例的合成图像创建处理。注意，尽管本实施例使用lidar传感器作为测距传感器，但是可以使用任何类型的传感器，只要该传感器能够测量距离即可。另外，本实施例描述了从地图数据获取地表面的海拔的情况以及利用测距传感器获取地表面的海拔的情况，但是也可以通过其他方法来获取地表面的海拔。例如，还存在一种方法，该方法使用三角测量法计算到目标(地表面)的距离，并计算到移动体100的高度和地表面的距离的差来计算来自通过使用安装在移动物体100上的成像装置200对同一场景成像而获得的两个图像(立体图像)的视差，作为地表面的海拔。只要可以计算出地表面的
高度，就可以采用任何类型的技术。
[0221]
注意，还可以通过假设最接近与图像相关联的gps数据所指示的位置的位置处的海拔数据是图像的所有四个角的海拔来布置图像。
[0222]
如上所述，在第二实施例中，要布置的每个图像的尺寸根据地表面的海拔而变得不同。因此，在通过布置多个图像来创建合成图像的情况下，存在图像之间可能出现间隙的可能性。然而，通过缩短每次成像之间的间隔以增大图7所示的成像位置之间的距离方向(移动物体100的行进方向)上的图像之间的重叠，可以防止出现间隙。此外，通过缩短飞行路线之间的距离以增加图7所示的移动物体100的飞行路线之间的距离方向上的图像之间的重叠，可以防止出现间隙。通过在移动物体100飞行以进行成像之前预先参考地图数据，上述内容也可以内置于飞行计划中。另外，可以利用诸如lidar的测距传感器与移动物体100的飞行和成像并行地实时获取地表面的海拔，并且可以基于海拔实时改变移动物体100的飞行程序，以增加重叠部分。
[0223]
在实施例中，将移动物体100的飞行高度描述为固定的。然而，可以想到飞行高度将在移动物体100的实际飞行中改变。因此，可以根据由移动物体100的gps模块102获得的移动物体100的高度的改变来执行校正。
[0224]
《3.修改》
[0225]
上文具体描述了本技术的实施例，但是本技术不限于前述实施例，并且基于本技术的技术思想的各种修改是可能的。
[0226]
充当移动物体100的无人机不限于如实施例中所述的设置有转子的无人机，并且还可以是所谓的固定翼飞机。
[0227]
根据本技术的实施例的移动物体100不限于无人机，也可以是自动移动而无需人类驾驶的汽车、船舶、机器人等。
[0228]
本技术不限于使无人机飞行并从天空捕获图像的情况，并且还适用于将成像装置200和传感器装置300装载在充当移动物体的船舶上，在通过船舶移动时捕获海底图像，并创建海床的地图作为合成图像的情况。
[0229]
另外，本技术还适用于以下情况：成像装置200和传感器装置300被安装到充当移动物体的汽车上，通过指向侧面的成像装置200对风景进行成像并且沿道路风景的全景照片被创建为合成图像。
[0230]
在成像装置200未通过起万向节作用的相机支架安装到移动物体100而是以固定状态牢固地安装的情况下，移动物体100的姿态和成像装置200的姿态变得相等。在这种情况下，因为移动物体100的倾斜度和成像装置200的倾斜度变得相等，所以在移动物体100、传感器装置300和成像装置200中的任何一个中设置imu模块就足够了。注意，即使在使用起万向节作用的相机支架的情况下，例如也可以通过与相机支架的角度控制一起工作来估计成像装置200的姿态。在这种情况下，在移动物体100、传感器装置300和成像装置200中的任何一个中设置imu模块就足够了。
[0231]
成像装置200不限于设置有单个图像传感器的成像装置，还可以设置有多个，即两个或更多个图像传感器。例如，第一图像传感器可以被视为用于可见光的图像传感器，而第二图像传感器可以被视为用于红外辐射的图像传感器。利用这种布置，可以在单次成像中创建多种类型的合成图像。例如，在使用红外图像创建通过从空中对农田进行成像而获得
的地图图像的情况下，通过从地图图像检查农作物的叶绿素，可以检查农作物的状态。另外，成像装置200还可以是在多个不同的波长区域(波长带)中获取图像的多光谱相机，并且还可以用于检查诸如归一化的植被指数(ndvi)的植被指数的目的。
[0232]
在实施例中，成像装置200和传感器装置300作为单独的装置被安装到移动物体100，但是成像装置200和传感器装置300也可以被配置为集成装置并且被安装到移动物体100。另外，移动物体100还可以被配置为预先被设置有成像装置200和传感器装置300的功能。
[0233]
终端装置400和/或云500还可以接收由成像装置200捕获的图像和由传感器装置300获取的传感器信息，并且将图像与传感器信息相关联。
[0234]
可以使用任何类型的装置作为成像装置200，诸如数码相机、智能电话、移动电话、便携式游戏机、膝上型pc或平板终端，只要该装置设置有成像功能，并且可以被安装到移动物体100上即可。
[0235]
成像装置200还可以设置有输入单元、显示单元等。另外，在未连接至移动物体100的情况下，成像装置200也可充当独立的成像装置。
[0236]
成像装置200还可以设置有电池，并且电力可以被配置为从成像装置200的电池6供应至移动物体100和传感器装置300。可替代地，所有移动物体100、成像装置200和传感器装置300可以设置有电池。
[0237]
另外，本技术还可以如下配置。
[0238]
(1)一种信息处理装置，被配置为：
[0239]
获取由安装在移动物体上的成像装置根据成像指令捕获的图像；
[0240]
根据响应于所述成像指令从所述成像装置发送的信号，从传感器装置获取包括所述移动物体的位置信息的传感器信息；以及
[0241]
将获取的传感器信息与获取的图像相关联。
[0242]
(2)根据(1)所述的信息处理装置，其中所述传感器信息还包括所述移动物体的高度信息。
[0243]
(3)根据(1)或(2)所述的信息处理装置，其中所述传感器信息还包括所述移动物体的倾斜度信息。
[0244]
(4)根据(1)至(3)中任一项所述的信息处理装置，其中所述信号指示与所述成像装置捕获图像有关的曝光定时。
[0245]
(5)根据(1)至(4)中任一项所述的信息处理装置，其中
[0246]
所述传感器信息是曝光定时的时间点上的最新的传感器信息。
[0247]
(6)根据(1)至(5)中任一项所述的信息处理装置，其中
[0248]
所述信息处理装置根据多个传感器信息计算新的传感器信息，并将新的传感器信息与图像相关联。
[0249]
(7)根据(4)所述的信息处理装置，其中所述曝光定时是所述成像装置用以捕获图像而执行的曝光的结束的定时。
[0250]
(8)根据(4)所述的信息处理装置，其中所述曝光定时是所述成像装置用以捕获图像而执行的曝光的开始的定时。
[0251]
(9)根据(4)所述的信息处理装置，其中所述曝光定时是发出用于所述成像装置捕
获图像的成像指令的定时。
[0252]
(10)根据(1)至(9)中任一项所述的信息处理装置，其中所述信息处理装置通过基于所述传感器信息布置多个图像来创建合成图像。
[0253]
(11)根据(10)所述的信息处理装置，其中所述信息处理装置在基于所述传感器信息对于所述多个图像校正位置的同时布置所述多个图像。
[0254]
(12)根据(10)所述的信息处理装置，其中
[0255]
所述传感器信息还包括所述移动物体的高度信息，以及
[0256]
所述信息处理装置在基于所述高度信息放大或缩小图像的同时布置图像。
[0257]
(13)根据(10)所述的信息处理装置，其中
[0258]
所述传感器信息还包括所述移动物体的倾斜度信息，以及
[0259]
所述信息处理装置在基于所述倾斜度信息执行梯形校正和/或修剪处理的同时布置图像。
[0260]
(14)根据(1)至(13)中任一项所述的信息处理装置，其中
[0261]
所述信息处理装置获取指示由所述成像装置捕获的地表面的海拔的海拔数据，并将所述海拔数据与所述传感器信息中包括的信息相关联。
[0262]
(15)根据(14)所述的信息处理装置，其中所述信息处理装置将所述海拔数据与图像相关联。
[0263]
(16)根据(14)或(15)所述的信息处理装置，其中基于所述移动物体的位置信息，从包含位置和海拔的信息的地图数据中获取所述海拔数据。
[0264]
(17)根据(14)或(15)所述的信息处理装置，其中基于由安装到所述移动物体上的测距传感器获取的距离信息获取所述海拔数据。
[0265]
(18)根据(17)所述的信息处理装置，其中所述信息处理装置根据响应于所述成像指令从所述成像装置发送的信号从所述测距传感器获取所述海拔数据，并将获取的海拔数据与所述传感器信息中包括的信息相关联。
[0266]
(19)一种信息处理方法，包括：
[0267]
获取由安装在移动物体上的成像装置根据成像指令捕获的图像；
[0268]
根据响应于所述成像指令从所述成像装置发送的信号，从传感器装置获取包括所述移动物体的位置信息的传感器信息；以及
[0269]
将获取的传感器信息与获取的图像相关联。
[0270]
(20)一种信息处理程序，
[0271]
所述信息处理程序使计算机执行信息处理方法，所述信息处理方法包括：
[0272]
获取由安装在移动物体上的成像装置根据成像指令捕获的图像；
[0273]
根据响应于所述成像指令从所述成像装置发送的信号，从传感器装置获取包括所述移动物体的位置信息的传感器信息；以及
[0274]
将获取的传感器信息与获取的图像相关联。
[0275]
(21)一种图像处理装置，被配置为
[0276]
接收与根据响应于成像指令从成像装置发送的信号而获取的包括移动物体的位置信息的传感器信息相关联的多个图像的提供，并且通过基于所述传感器信息布置所述多个图像来创建合成图像。
[0277]
(22)根据(21)所述的图像处理装置，进一步被配置为通过基于指示由所述成像装置捕获的地面的海拔的海拔数据布置所述多个图像来创建合成图像。
[0278]
(23)根据(22)所述的图像处理装置，其中，所述图像处理装置
[0279]
定义与所述成像装置的与所述移动物体的运动相关联的成像范围相对应的第一坐标系和与布置图像的面相对应的第二坐标系；
[0280]
基于所述传感器信息和所述海拔数据，计算在第一坐标系中图像在地表面上的投影位置，以及
[0281]
通过将投影位置转换为第二坐标系来布置图像。
[0282]
(24)根据(23)所述的图像处理装置，其中对于具有四边形形状的图像的四个角中的每个角，计算图像的投影位置。
[0283]
(25)根据(24)所述的图像处理装置，其中所述图像处理装置通过将图像的四个角的投影位置转换为第二坐标系来布置图像。
[0284]
(26)根据(22)至(25)中任一项所述的图像处理装置，其中从包含位置和海拔的信息的地图数据中获取所述海拔数据。
[0285]
(27)根据(26)所述的图像处理装置，其中基于所述移动物体的位置信息，通过参考包含位置和海拔的信息的地图数据来获取所述海拔数据。
[0286]
(28)根据(22)至(25)中任一项所述的图像处理装置，其中所述海拔数据由安装在所述移动物体上的测距传感器获取。
[0287]
(29)一种图像处理系统，包括：
[0288]
移动物体；
[0289]
成像装置，所述成像装置被安装在所述移动物体上；
[0290]
传感器装置，所述传感器装置被安装在所述移动物体上并被配置为根据响应于成像指令从成像装置发送的信号来检测包括所述移动物体的位置信息的传感器信息；以及
[0291]
信息处理装置，所述信息处理装置被配置为将所述传感器信息与所述成像装置捕获的图像相关联。
[0292]
(30)根据(29)所述的图像处理系统，其中所述信息处理装置通过基于传感器信息布置多个图像来创建合成图像。
[0293]
(31)根据(29)或(30)所述的图像处理系统，还包括：图像处理装置，所述图像处理装置被配置为接收由所述成像装置捕获并与所述传感器信息相关联的多个图像的提供，并且通过基于所述传感器信息布置所述多个图像来创建合成图像。
[0294]
附图标记列表
[0295]
100 移动物体
[0296]
200 成像装置
[0297]
300 传感器装置
[0298]
250 信息处理单元
[0299]
1000 图像处理系统。