信息处理装置、信息处理方法和计算机程序的制作方法
【专利摘要】[问题]为了提供可通过能够执行成像的飞行体更有效执行检查的经改进的新型信息处理装置。[解决方案]本发明提供了一种信息处理装置，所述信息处理装置设置有：成像位置信息获取单元，其被构造成获取成像装置所获取的将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边飞行，以将所述建筑物成像；以及损害数据生成单元，其被构造成使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息，生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
【专利说明】
信息处理装置、信息处理方法和计算机程序
技术领域
[0001 ]本公开涉及信息处理装置、信息处理方法和计算机程序。
【背景技术】
[0002]已经公开了与使用安装在无线电可控飞行体中的相机拍摄照片的方法相关的技术(例如，参照专利文献I) ο使用安装在这种飞行体中的相机，可以从空中或难以支起三脚架的位置拍摄照片。使用安装在飞行体中的相机进行拍摄带来的各种优点是，可抑制成本，并且相比于当使用真实飞机或直升机时，可以进行安全拍摄、在低空或窄空间中进行拍摄、田比邻目标进彳丁拍摄等。
[0003]引用列表
[0004]专利文献
[0005]专利文献1:JP2006-27448A
【发明内容】
[0006]技术问题
[0007]通过使用装配相机的这种飞行体，可以对人难以进入的地点的状况进行有效成像;这种成像对检查人难以接近的建筑物将具有很好的应用前景，该建筑物典型地是社会基础设施(诸如，跨河流和海洋建造的桥梁、隧道、坝和道路)和工业基础设施(诸如，机场、楼房、仓库、制造厂和工厂)。
[0008]因此，在本公开中，提出了使得能够执行成像的飞行体可以更有效地执行检查的经改进的新型信息处理装置、信息处理方法和计算机程序。
[0009]问题的解决方案
[0010]根据本公开，提供了一种信息处理装置，所述信息处理装置包括:成像位置信息获取单元，其被构造成获取成像装置所获取的将建筑物成像时成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像；以及损害数据生成单元，其被构造成使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0011 ]根据本公开，提供了一种信息处理方法，所述信息处理方法包括:从成像装置获取将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像；以及使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0012]根据本公开，提供了一种致使计算机执行以下处理的计算机程序:从成像装置获取将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像；以及使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0013]本发明的有利效果
[0014]如上所述，根据本公开，可提供通过能够执行成像的飞行体可以更有效地执行检查的经改进的新型信息处理装置、信息处理方法和计算机程序。
[0015]注意的是，上述效果不必受限制，并且作为这些效果的补充或替代，会表现出期望在本说明书中引入的任何效果或者可从本说明书预料到的其他效果。
【附图说明】
[0016]图1是用于描述本公开的实施例的概况的说明性示图。
[0017]图2是示出根据本公开的实施例的检查系统10的示例性系统构造的说明性示图。
[0018]图3是示出根据本公开的实施例的悬停相机100的示例性功能构造的说明性示图。
[0019]图4是示出根据本公开的实施例的控制终端200的示例性功能构造的说明性示图。
[0020]图5是示出根据本公开的实施例的检查系统10的示例性操作的流程图。
[0021]图6是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。
[0022]图7是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。
[0023]图8是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。
[0024]图9是概念性示出通过悬停相机100拍摄桥梁I的底表面的说明性示图。
[0025]图10是概念性示出根据本公开的实施例的检查系统10中的悬停相机100的操作的说明性示图。
[0026]图11是概念性示出根据本公开的实施例的检查系统10中的悬停相机100的操作的说明性示图。
[0027]图12是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。
[0028]图13是示出当检查桥大梁3的底表面时的概况的说明性示图。
[0029]图14是示出通过拼接由悬停相机100所拍摄的静止图像而得到的图像20的示例的说明性示图。
[0030]图15是示出根据本公开的实施例的信息处理装置300的示例性功能构造的说明性示图。
[0031]图16是示出根据本公开的实施例的信息处理装置300的示例性操作的流程图。
[0032]图17是示出根据本公开的实施例的控制终端200的示例性操作的流程图。
【具体实施方式】
[0033]下文中，将参照附图详细地描述本公开的优选实施例。在本说明书和附图中，用相同的参考符号来指代具有基本上相同的功能和结构的元件，并且省略重复说明。
[0034]按以下次序给出描述。
[0035]1.本公开的实施例
[0036]1.1.概况
[0037]1.2.示例性系统构造
[0038]1.3.示例性功能构造
[0039]1.4.示例性操作
[0040]1.5.示例性损害数据生成
[0041]1.5.1.示例性功能构造
[0042]1.5.2.示例性操作
[0043]2.结论
[0044]〈1.本公开的实施例〉
[0045][1.1.概况]
[0046]在对本公开的实施例的详细描述中，将首先描述本公开的实施例的概况。
[0047]在诸如道路、桥梁、隧道或楼房的建筑物的操作和维护中，由人检查建筑物状态是不可缺少的。通常，为了肉眼检查这种建筑物，一般，工人靠近建筑物，肉眼检查在建筑物中是否已经出现损害(诸如，例如螺栓的联接构件的腐蚀或裂缝或松动)或者执行锤击测试以检查这些异常的存在与否。
[0048]为了操作和维护桥梁(特别地，例如混凝土桥梁)，必须在桥墩或桥大梁的后表面部分上搭起支架以便工人对桥墩或桥大梁执行肉眼检查和锤击测试，或者必须关闭一些车道或所有车道，以确保工人的安全或者安置作业车。为此原因，进行检查所必需的成本、由于道路关闭而导致的安置道路引导人员所必需的成本、因道路关闭而出现的绕道的交通拥堵可存在问题。
[0049]另外，例如，当跨河流或海洋建造时，有上面不容易搭起支架或难以搭起支架的桥梁。因此，依据这些情形，期望的是能够在不影响交通的情况下以高安全度、低成本实现建筑物检查的技术。
[0050]因此，本申请的公开人已经检验了依据这些情形能够在不影响交通的情况下以高安全度、低成本实现建筑物检查的技术。另外，本申请的公开人已经最终提出了以下将描述的、能够使用装配成像装置的飞行体(在下面的描述中，装配成像装置的飞行体也被称为“悬停相机”)在不影响交通的情况下以高安全度、低成本实现检查的技术。
[0051]图1是用于描述本公开的实施例的概况的说明性示图。图1示意性示出例如由混凝土构成的桥梁I。当检查由混凝土构成的桥梁I时，在相关技术中，必须在桥墩2或桥大梁3的后表面部分上搭起支架，以使工人肉眼检查是否已经出现了诸如裂缝或腐蚀的损害，或者必须关闭一些车道或所有车道以确保工人的安全或者安置作业车。
[0052]在本公开的实施例中，当检查桥梁I时，使用悬停相机100。悬停相机100是装配有成像装置的飞行体，飞行体被构造成根据预先设置的飞行信息(在本实施例中，包括飞行路径和静止图像的成像位置的信息)来执行自动飞行。静止图像的成像位置的信息的示例包括执行成像处理的位置、成像方向、和到达要执行下一次成像处理的位置的前行时间。
[0053]例如，当检查桥大梁3的后表面(底表面)时，操作悬停相机100执行自动飞行，以拍摄桥大梁3的后表面。通过致使悬停相机100拍摄桥大梁3的后表面，不必为了检查桥大梁3而在桥墩2或桥大梁3的后表面部分上搭起支架，车道关闭的频率减少或不必执行车道关闭。另外，例如，当检查桥大梁3的侧面(侧表面)时，操作悬停相机100执行自动飞行，以拍摄桥大梁3的侧面。因此，通过致使悬停相机100执行自动飞行并且致使悬停相机100拍摄桥大梁3的后表面或侧面，可以在不影响交通的情况下，在确保工人安全的同时以低成本检查桥梁I。
[0054]为了致使悬停相机100执行自动飞行来拍摄桥大梁3的后表面，必须设置悬停相机100的飞行路径并且设置桥大梁3的后表面位置处的静止图像成像位置的信息。在本公开的实施例中，目的是使得通过使用与桥梁I的概况相关的信息有效创建将为悬停相机设置的飞行信息，可以执行对桥梁I的有效检查。
[0055]以上，已经描述了本公开的实施例的概况。接下来，将描述根据本公开的实施例的检查系统的示例性构造。
[0056][1.2.示例性系统构造]
[0057]图2是示出根据本公开的实施例的检查系统10的示例性系统构造的说明性示图。图2中示出的根据本公开的实施例的检查系统10是被构造成有效检查建筑物(例如，桥梁I)的系统。以下，将参照图2描述根据本公开的实施例的检查系统10的示例性系统构造。
[0058]如图2中所示，根据本公开的实施例的检查系统10包括悬停相机100、控制终端200、信息处理装置300、无线中继节点400、位置估计节点500、基站600、充电站700和服务器装置800。
[0059]悬停相机100是本公开的示例性成像装置并且用作上述装配有成像装置的飞行体。悬停相机100是被构造成能够基于指定飞行路径来执行自动飞行并且通过成像装置在指定成像位置处拍摄静止图像的飞行体。悬停相机100可例如通过四个旋翼进行飞行并且通过控制各旋翼的旋转在向上、向下或向前移动的同时进行飞行。当然，旋翼的数量不限于相关示例。
[0060]从飞行开始位置到飞行结束位置的飞行路径和为悬停相机100设置的成像位置被设置为例如全球定位系统(GPS)的位置信息。因此，可在悬停相机100中装入从GPS卫星接收无线电波并且计算当前位置的GPS接收器。可使用玮度、经度和高度的全部作为GPS位置信息或者可使用仅仅玮度和经度并且可例如将以下将描述的与基站600的相对高度作为高度作为GPS位置信息来设置为悬停相机100设置的飞行路径。
[0061]控制终端200是本公开的示例性控制装置并且用作执行与悬停相机100的飞行相关的控制的终端。作为与悬停相机100的飞行相关的控制，例如，控制终端200生成将发送到悬停相机100的飞行信息，向悬停相机100给出起飞指令，向以下将描述的基站600给出返回指令，或者当悬停相机100由于某种原因而没有自动飞行时使悬停相机100飞行。以下，将详细描述控制终端200生成悬停相机100的飞行信息的处理，但这里将进行简要描述。
[0062]当生成悬停相机100的飞行信息时，控制终端200读取与待检查桥梁I的概况相关的信息(例如，待检查桥梁I的概况示图)，并且致使在屏幕上显示所读取的信息。将桥梁I的概况示图上的点与包括更详细GPS信息的地图数据上的点关联。优选地，通过至少两组点来执行关联。将桥梁I的概况示图预先与包括详细GPS信息的地图数据上的点关联，因此，悬停相机100的飞行路径被定义为GPS值。然后，控制终端200基于桥梁I的概况示图来生成悬停相机100的飞行路径。悬停相机100的飞行路径以叠加方式显示在概况示图上，使得用户(建筑物检查工人)容易理解飞行路径。
[0063]当生成悬停相机100的飞行信息时，控制终端200可考虑悬停相机100将要拍摄的桥梁I或桥梁I的一部分的结构或尺寸。当生成悬停相机100的飞行信息时，控制终端200可生成用于致使悬停相机100拍摄(详细地)有可能被认为受损的一部分的飞行信息。
[0064]如上所述，可使用玮度、经度和高度的全部作为GPS位置信息，设置被设置用于悬停相机100的飞行路径，但是考虑在桥梁I的概况示图中不包括高度数据的情况。当在桥梁I的概况示图中不包括高度数据时，只使用玮度和经度作为GPS位置信息，设置被设置用于悬停相机100的飞行路径，并且例如，可将与基站600的相对高度设置为高度。
[0065]当为悬停相机100设置飞行信息时，控制终端200优选地生成飞行信息，使得当悬停相机100拍摄桥梁I时，与成像目标表面的距离变得恒定。由于生成飞行信息使得当悬停相机100拍摄桥梁I时与成像目标表面的距离变得恒定，因此控制终端200可致使悬停相机100生成具有相同比例尺的图像。
[0066]控制终端200是诸如膝上型计算机或平板终端的便携式装置，并且执行将信息无线发送到悬停相机100/从悬停相机100无线接收信息。控制终端200可直接与悬停相机100执行无线通信，但是由于在检查建筑物(特别地，桥梁I)时存在悬停相机100飞行超出控制终端200的通信范围的情况，因此控制终端200可通过检查时安装的无线中继节点400与悬停相机100执行无线通信。
[0067]控制终端200获取悬停相机100正在飞行时成像装置所拍摄的图像，并且在必要时显示所获取的图像。控制终端200可在悬停相机100正在飞行时以流传输方式获取成像装置所拍摄的移动图像并且显示所获取的移动图像。由于在悬停相机100正在飞行时以流传输方式获取成像装置所拍摄的移动图像并且进行显示，因此控制终端200可向用户呈现悬停相机100正在飞向哪个位置。
[0068]信息处理装置300是处理各种信息的装置并且可以是例如具有处理信息功能的装置(诸如，个人计算机(PC)、游戏机等)。在本实施例中，信息处理装置300是具有显示(特别地)悬停相机100所拍摄图像的功能的装置并且使用户能够检查桥梁I的状态。信息处理装置300具有用悬停相机100所拍摄图像来计算桥大梁3的损害的绝对位置并且生成以下将描述的损害数据的功能。信息处理装置300可具有将所生成的损害数据发送到服务器装置800的功能。另外，控制终端200可具有用悬停相机100所拍摄图像来计算桥大梁3的损害的绝对位置并且生成以下将描述的损害数据的功能。
[0069]信息处理装置300例如从控制终端200获取悬停相机100所拍摄的图像。信息处理装置300获取悬停相机100所拍摄的图像不限于特定时间，例如，信息处理装置300可在悬停相机100的一次飞行结束时从控制终端200获取悬停相机100所拍摄的图像。
[0070]无线中继节点400是中继悬停相机100和控制终端200之间的无线通信的装置。如上所述，悬停相机100可能在检查建筑物(特别地，桥梁I)时飞行超出控制终端200的通信范围。因此，可通过在检查建筑物时安装的无线中继节点400执行悬停相机100和控制终端200之间的无线通信。无线中继节点400的数量不限于I，可根据桥梁I的检查范围来安装多个无线中继节点400。因此，可通过多个无线中继节点400执行悬停相机100和控制终端200之间的无线通信。悬停相机100可根据无线电波的情形，在控制终端200和无线中继节点400之间切换通信目的地。
[0071]可在检查桥梁I时将无线中继节点400安装在桥面(优选地，人行道)上的适宜位置。无线中继节点400可被安装成悬于桥大梁3的护栏。另外，在检查桥梁I之前，期望例如使用控制终端200通过某种方法来检查无线中继节点400是否正常操作。
[0072]位置估计节点500是致使悬停相机100估计当前位置的装置。如上所述，例如，使用GPS位置信息来设置悬停相机100的飞行路径。此时，当来自GPS卫星的无线电波没有被阻挡时，悬停相机100可以高精确度检测当前位置。然而，当悬停相机100在桥大梁3下方飞行所以来自GPS卫星的无线电波被桥大梁3阻挡或者存在多径时，例如，由于无线电波被桥梁I反射，导致悬停相机100不可能以高精确度检测当前位置。
[0073]就这点而言，在本实施例中，位置估计节点500安装在桥大梁3下方，以使悬停相机100能够准确地获取当前位置。例如，可使用增强现实(AR)标记或GPS信号发送器作为位置估计节点500。
[0074]当使用AR标记作为位置估计节点500时，为了使悬停相机100能够识别当前位置，例如，位置估计节点500悬于桥梁I的两端，并且致使悬停相机100拍摄位置估计节点500。另夕卜，致使已经拍摄位置估计节点500的悬停相机100在指定的位置估计节点500之间飞行。悬停相机100可例如基于安装在悬停相机100中的传感器(例如，惯性测量单元(IMU)传感器)的积分值和用所拍摄图像计算出的与移动目的地的位置估计节点500的距离，检测在位置估计节点500之间的位置。因此，悬停相机100拍摄位置估计节点500，因此可准确地获取甚至桥大梁3下方的当前位置。
[0075]另外，当使用GPS信号发送器作为位置估计节点500时，为了使悬停相机100能够识另IJ当前位置，例如，位置估计节点500安装在桥梁I的相对角或四个角处。悬停相机100接收从位置估计节点500发送的GPS信号，因此即使在桥大梁3下方也可准确地获取当前位置。
[0076]基站600是被安装用于使悬停相机100起飞和着陆的装置。基站600包括GPS接收器，并且从GPS卫星接收无线电波并且计算当前位置。基站600计算出的当前位置被发送到控制终端200。由于基站600计算出的当前位置被发送到控制终端200，因此控制终端200可致使在桥梁I的概况示图上显示基站600的位置。
[0077]基站600可具有检查悬停相机100的操作的功能。基站600执行的检查悬停相机100操作的示例包括通信功能检查、程序功能检查、飞行功能检查、和各种类型的传感器的校准。另外，悬停相机100的传感器的校准方法不限于使用基站600的方法。例如，作为悬停相机100的传感器的校准方法，可使用在专用校准中固定悬停相机100并且通过在俯仰方向或翻滚方向上旋转悬停相机100来校准传感器的方法。
[0078]充电站700对安装在悬停相机100中的二次电池进行电充电。悬停相机100使用电池作为电力源，在飞行或拍摄期间耗费电池中积蓄的电力。当安装在悬停相机100中的电池是二次电池时，充电站700可通过将电池充电来恢复被悬停相机100耗费的电力。充电站700可通过将电缆等连接到悬停相机100并且向悬停相机100供应电力将悬停相机100充电或者可通过用非接触式电力传输方案向悬停相机100供应电力将悬停相机100充电。
[0079]服务器装置800是存储各种类型数据的装置。在本实施例中，服务器装置800可存储信息处理装置300所生成的损害数据。
[0080]根据本公开的实施例的检查系统10具有图2中示出的构造并且可致使悬停相机100拍摄桥梁I并且获取桥梁I的图像。由于在根据本公开的实施例的检查系统10中致使悬停相机100拍摄桥梁I，因此不必在桥墩或桥大梁处搭起支架，减少了为了确保工人安全而关闭一些车道或全部车道的频率，不必关闭车道，因此可以低成本有效执行对桥梁I的检查。
[0081]以上，已经描述了根据本公开的实施例的检查系统10的示例性系统。接下来，将描述构造根据本公开的实施例的检查系统10的悬停相机100和控制终端200的示例性功能构造。
[0082][1.3.示例性功能构造]
[0083]首先，将描述根据本公开的实施例的悬停相机100的示例性功能构造。图3是示出根据本公开的实施例的悬停相机100的示例性功能构造的说明性示图。以下，将参照图3描述根据本公开的实施例的悬停相机100的示例性功能构造。
[0084]如图3中所示，根据本公开的实施例的悬停相机100被构造成包括成像装置101、旋翼104a至104d、电机108a至108d、控制单元110、通信单元120、传感器单元130、位置信息获取单元132、存储单元140和电池150。
[0085]控制单元110控制悬停相机100的操作。例如，控制单元110可通过调节电机108a至1Sd的旋转速度、成像装置101的成像处理、通过通信单元120将信息发送到其他装置(例如，控制终端)的处理/从其他装置(例如，控制终端)接收信息的处理、将信息存储在存储单元140中并且从存储单元40读取信息来控制旋翼104a至104d的旋转速度调节。
[0086]在本实施例中，控制单元110基于从控制终端200发送的飞行信息，控制电机108a至108d的旋转速度被调节的飞行和成像装置101对静止图像执行的成像处理。控制单元110基于从控制终端200发送的飞行信息，控制电机108a至1Sd或成像装置101，因此可基于控制终端200的请求向控制终端200提供图像。
[0087]成像装置101由镜头、诸如CCD图像传感器或CMOS图像传感器的图像传感器、闪光灯等构成。安装在悬停相机100中的成像装置101根据控制终端200的控制，拍摄静止图像或移动图像。成像装置101拍摄的图像从通信单元120发送到控制终端200。在本实施例中，成像装置101基于从控制终端200发送的飞行信息中包括的静止图像的成像位置的信息，执行成像处理。通过成像装置101的成像处理而得到的图像被存储在存储单元140中或者从通信单元120发送到控制终端200。当通过悬停相机100拍摄桥梁I的底面时，由于太阳被桥梁I挡住使得亮度被认为是不充足的，因此当拍摄桥梁I的底面时，悬停相机100可打开闪光灯。
[0088]成像装置101可通过控制单元110的控制，将例如成像方向变成任意方向。例如，当假定悬停相机的水平方向是0°时，可垂直地在±90°的范围所指示的成像方向上执行拍摄。随着成像装置101改变成像方向，悬停相机100可在某个方向上拍摄图像并且将所拍摄图像提供到控制终端200。然后，控制单元110将成像装置101拍摄静止图像时悬停相机100的位置信息(可包括以下将描述的通过使用GPS进行位置测量或使用位置估计节点500进行位置测量、使用位置估计节点500进行的位置测量而得到的位置信息)、拍摄时的机身信息(例如，偏航角、俯仰角、加速度和角速率)、成像方向的信息关联作为静止图像的元数据。作为存储关联的元数据的方法，可在静止图像数据的额外信息区域(例如，Exif格式的特定区域)中添加元数据，或者可将元数据作为单独数据记录在图像文件、单独文件等中。
[0089]旋翼104a至104d通过用其旋转生成抬升力，致使悬停相机100进行飞行。电机108a至108d旋转致使旋翼104a至104d旋转。电机108a至108d致使旋翼104a至104d旋转。可通过控制单元110控制电机108a至108d的旋转。
[0090]通信单元120通过无线通信执行将信息发送到控制终端200的处理/从控制终端200接收信息的处理。悬停相机100将成像装置101所拍摄的图像从通信单元120发送到控制终端200。另外，悬停相机100使用通信单元120从控制终端200接收与飞行相关的指令。
[0091]传感器单元130是获取悬停相机100的状态的装置的集合，并且可包括例如加速度传感器、陀螺仪传感器、超声传感器、气动传感器、光学流传感器、激光范围探查器等。传感器单元130可将所获取的悬停相机100的状态转换成预定信号，并且在必要时将信号提供到控制单元110。位置信息获取单元132使用例如GPS、视觉传感器等获取悬停相机100的当前位置的信息。位置信息获取单元132可在必要时将所获取的悬停相机100的当前位置的信息提供到控制单元110。控制单元110使用位置信息获取单元132所获取的悬停相机100的当前位置的信息，基于从控制终端200接收的飞行信息对悬停相机100的飞行执行控制。
[0092]传感器单元130检测可能在飞行时干扰飞行的障碍物。当传感器单元130检测到障碍物时，悬停相机100可将与检测到的障碍物相关的信息提供到控制终端200。
[0093]存储单元140存储各种信息。存储在存储单元140中的信息的示例包括从控制终端200发送的悬停相机100的飞行信息和成像装置101所拍摄的图像。
[0094]电池150积蓄用于操作悬停相机100的电力。电池150可以是只可能放电的原电池或者可以是也可以充电的二次电池，但是当电池150是二次电池时，例如，电池150可被供应来自图2中示出的充电站700的电力。
[0095]根据本公开的实施例的悬停相机100可具有图3中示出的构造，因此可基于从控制终端200发送的飞行信息中包括的飞行路径来执行自动飞行并且基于从控制终端200发送的飞行信息中包括的静止图像的成像位置的信息来执行成像处理。
[0096]以上，已经参照图3描述了根据本公开的实施例的悬停相机100的示例性功能构造。接下来，将描述根据本公开的实施例的控制终端200的示例性功能构造。
[0097]图4是示出根据本公开的实施例的控制终端200的示例性功能构造的说明性示图。以下，将参照图4描述根据本公开的实施例的控制终端200的示例性功能构造。
[0098I如图4中所示，根据本公开的实施例的控制终端200被构造成包括显示单元210、通信单元220、控制单元230和存储单元240。
[0099]显示单元210包括平板显示装置，例如，液晶显示装置、有机EL显示装置等。显示单元210可显示例如成像装置101所拍摄的图像或用于控制悬停相机100的信息。显示单元210设置有触摸面板，因此，用户可通过用他或她的手指等触摸显示单元210，相对于显示单元210上显示的信息执行直接操作。
[0100]通信单元220通过无线通信将信息发送到悬停相机100/从悬停相机100接收信息。控制终端200使用通信单元220从悬停相机100接收成像装置101所拍摄图像。另外，控制终端200将与悬停相机100的飞行相关的指令从通信单元220发送到悬停相机100。可通过控制单元230生成与悬停相机100的飞行相关的命令。
[0101]控制单元230控制控制终端200的操作。例如，控制单元230可控制在显示单元210上显示文本、图表、图像、或其他信息的处理和通过通信单元220将信息发送到其他装置(例如，悬停相机100)的处理/从其他装置(例如，悬停相机100)接收信息的处理。控制单元230被构造成包括飞行信息生成单元232和显示控制单元234。
[0102]飞行信息生成单元232生成将要发送到悬停相机100的飞行信息。在生成飞行信息时，例如，飞行信息生成单元232使用以下将描述的与存储在存储单元240中的检查目标的建筑物相关的信息。当生成飞行信息时，飞行信息生成单元232致使在悬停相机100起飞之前从通信单元220发送所生成的飞行信息。
[0103]以下，将描述飞行信息生成单元232进行的飞行信息生成处理，但将简要描述飞行信息生成单元232进行的飞行信息生成处理的示例。当生成悬停相机100的飞行信息时，飞行信息生成单元232读取将要检查的桥梁I的概况示图。通过显示控制单元234在显示单元210上显示所读取的桥梁I的概况示图。如上所述，预先将桥梁I的概况示图上的点与包括详细GPS信息的地图数据上的点关联。优选地，通过至少两组点来执行关联。预先将桥梁I的概况示图与包括详细GPS信息的地图数据上的点关联，因此使用GPS值(一组玮度和经度)定义悬停相机100的飞行路径。
[0104]然后，飞行信息生成单元232基于桥梁I的概况示图，生成悬停相机100的飞行路径。飞行信息生成单元232使用与建筑物相关的信息(诸如，桥梁I的建造方法、宽度和跨度长度)、悬停相机100的可用飞行时间段、和诸如生成悬停相机100的飞行数据时桥梁I的检查方法的信息。混凝土桥根据加固方法被分类为钢筋混凝土 (RC)和预应力混凝土 (PC)并且被分类为例如RCT梁式桥、PCT梁式桥、PC空心板桥、RC箱形梁式桥、PC箱形梁式桥等。因此，当已知用作检查目标的桥梁I的构造方法时，飞行信息生成单元232可生成适于桥梁I的构造方法的飞行路径。然后，飞行信息生成单元232致使以叠加方式在桥梁I的概况示图上显示悬停相机100的飞行路径。
[0105]飞行信息生成单元232使用如上所述的GPS值(一组玮度和经度)来定义悬停相机100的飞行路径。当飞行信息生成单元232使用GPS值来定义悬停相机100的飞行路径时，悬停相机100可基于GPS值确定在飞行时被执行成像处理的位置。
[0106]显示控制单元234控制在显示单元210上显示文本、图表、图像和其他信息。假定在下面的描述中参照的附图中的显示单元210上显示文本、图表、符号、图像和其他信息是由显示控制单元234控制的。例如，当飞行信息生成单元232生成将要发送到悬停相机100的飞行信息时，显示控制单元234执行控制，使得在显示单元210上显示检查目标的建筑物(桥梁I)的概况示图和所生成的飞行信息。
[0107]存储单元240存储各种类型的信息。存储在存储单元240中的信息的示例包括与检查目标的结构相关的信息。与检查目标的结构相关的信息的示例包括检查目标的结构(桥梁I)的概况示图和检查目标的结构的构造方法。另外，当预先已知被认为有可能受损的检查目标的结构的位置时，与检查目标的结构相关的信息可包括被认为有可能受损的一部分的信息。
[0108]另外，即使当预先没有将与检查目标的结构(桥梁I)相关的信息存储在存储单元240中时，控制终端200也可在检查结构时例如从信息处理装置300接收与检查目标的结构相关的信息。
[0109]根据本公开的实施例的控制终端200具有图4中示出的构造并且可基于与检查目标的建筑物(桥梁I)相关的信息来生成将要发送到悬停相机100的飞行信息并且获取通过基于飞行信息进行飞行的悬停相机100基于飞行信息拍摄的图像。
[0110]以上，已经参照图4描述了根据本公开的实施例的控制终端200的示例性功能构造。接下来，将描述根据本公开的实施例的检查系统10的示例性操作。
[0111][1.4.示例性操作]
[0112]图5是示出根据本公开的实施例的检查系统10的示例性操作的流程图。图5示出当通过致使悬停相机100飞行并且致使悬停相机100拍摄桥梁I来检查桥梁I时根据本公开的实施例的检查系统10的示例性操作。另外，当使用悬停相机100检查桥梁I时，假定预先将无线中继节点400或位置估计节点500安装在桥梁I的适宜位置。以下，将参照图5描述根据本公开的实施例的检查系统10的示例性操作。
[0113]生成悬停相机100的飞行信息的控制终端200读取与桥梁I相关的信息，包括桥梁I(检查目标)的概况示图，并且致使在显示单元210上显示桥梁I的概况示图(步骤S101)。例如，通过飞行信息生成单元232执行与桥梁I相关的信息读取，并且例如，通过显示控制单元234执行在显示单元210上显示桥梁I的概况示图。在显示单元210上正显示桥梁I的概况示图的控制终端200使用户能够使用正在显示单元210上显示的桥梁I的概况示图来指定桥梁I的将要检查的区域(步骤S102)。例如，通过飞行信息生成单元232执行使用户能够在步骤S102中进行指定的处理。
[0114]例如，当桥梁I的一部分被设置为检查目标时，控制终端200使用户能够在正在显示单元210上显示的桥梁I的概况示图中指定检查目标区域。另外，例如，当将整个桥梁I设置为检查目标时，控制终端200使用户能够在正在显示单元210上显示的桥梁I的概况示图上指定桥梁I的所有区域。
[0115]图6是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。图6示出当在步骤S102中请求用户指定桥梁I的将要检查的区域时在显示单元210上显示的示例性画面。在图6中，假定将要显示当指定桥大梁作为桥梁I的将要检查的区域时显示单元210上显示的画面。控制终端200可包括例如触摸面板作为输入单元(未示出)并且通过使用户能够在画面上进行拖拽或者使用户能够选择检查目标的跨度来使用户能够指定桥梁I的该区域。当然，使用户能够指定桥梁I的将要检查的区域的方法不限于相关示例。另外，用户所指定的区域的显示不限于图6中示出的示例。
[0116]图6示出指示基站600的位置的标记BI以叠加方式在桥梁I的概况示图上显示的示例。如上所述，基站600可包括GPS接收器，从GPS卫星接收无线电波并且计算当前位置。因此，控制终端200可基于基站600计算出的当前位置的信息，致使以叠加方式在桥梁I的概况示图上显示指示基站600的位置的标记BI。
[0117]当用户指定桥梁I的将要检查的区域时，控制终端200随后基于与桥梁I相关的信息，生成用户所指定的检查区域中的悬停相机100的飞行信息(步骤S103)。例如，通过飞行信息生成单元232执行步骤S103中的飞行信息生成处理。
[0118]控制终端200使用与建筑物相关的信息(诸如，桥梁I的建造方法、宽度和跨度长度)、悬停相机100的可用飞行时间段、和诸如在步骤S103中生成悬停相机100的飞行信息时桥梁I的检查方法的信息。例如，当在桥梁I的建造方法中使用T梁时，控制终端200生成使悬停相机100在桥梁I的底面重复进行升空和下降的飞行路径作为飞行信息。另外，控制终端200可在步骤S103中生成悬停相机100的飞行信息时使用桥梁I的图像目标表面的信息。例如，当用户选择拍摄桥梁I的侧面时，控制终端200生成沿着桥梁I的侧面的飞行路径作为飞行信息，并且当用户选择拍摄桥梁I的底表面时，控制终端200生成使悬停相机100在桥梁I的底面下方来回行进的飞行路径作为飞行信息。
[0119]将描述控制终端200所生成的飞行信息的示例。例如，可按以下格式指定被执行图像处理的位置的列表作为飞行信息:
[0120]ID:(成像点的相对坐标，成像方向，成像时的深度，到达下一个成像点的行进时间，和其他)
[0121]通过X轴、Y轴和Z轴的三点来指定成像点的相对坐标。X轴被设置为玮度方向，Y轴被设置为经度方向，Z轴被设置为高度方向。另外，例如，用户控制特定成像的信息可被包括作为其他信息。用于控制特定成像的信息的示例包括用于拍摄多个程序方向上的相同位置的信息、与用于悬臂拍摄(指示通过同一成像方向上的同一位置处的不同曝光度、不同快门速度、不同ISO灵敏度等进行拍摄)的参数相关的信息、关于拍摄时红外线的波长的信息。根据这个格式，可用以下各种值的以下列表来构造控制终端200所生成的飞行信息:
[0122]0:(0,0,0,0,0,2,1.0)
[0123]1:(5,0,0,0,0,2,1.0)
[0124]2:(7,0,0,0,0,2,1.0)
[0125]3:(9,0,0,0,0,2,1.0)
[0126]可使用基站600的绝对坐标或诸如第一成像位置的任意位置的绝对坐标作为参考点，可指定控制终端200所生成的飞行信息中包括的成像点(例如，相对于参考点的相对坐标)。悬停相机100可将相对于参考点的绝对坐标的相对坐标转换成绝对坐标并且在飞行时参考转换后的坐标。另外，通过绝对坐标替代相对坐标来指定控制终端200所生成的飞行信息中包括的成像点。此外，特定值可被存储在用于控制控制终端200所生成的飞行信息中包括的特定成像的信息中。例如，1:拍摄(在多个成像方向上)，2:括弧拍摄(改变快门速度)，3:括弧拍摄(改变ISO灵敏度)等可被存储在用于控制特定成像的信息中。控制终端200可致使用于控制特定成像的信息被包括在例如针对有可能被认为受损的桥大梁3的位置的飞行信息中并且被存储在存储单元240中。
[0127]控制终端200可生成用于致使悬停相机100在进行步骤S103的飞行信息生成处理时以相等间隔拍摄例如桥梁I的桥大梁3的后表面的飞行信息。因此，控制终端200可生成飞行信息，使得在进行步骤S103的飞行信息生成处理时，静止图像的成像位置具有相等间隔。
[0128]当被认为有可能受损的一部分的信息被预先存储在存储单元140中时，控制终端200可读取所存储的信息并且生成飞行信息，使得当在步骤S103中生成悬停相机100的飞行信息时，通过悬停相机100详细地拍摄该部分。当通过悬停相机100拍摄被认为有可能受损的一部分时，控制终端200可致使用于控制特定成像的信息被包括在飞行信息中。当然，被认为有可能受损的一部分的信息可不被预先存储在存储单元140中，并且在这种情况下，用户可在进行检查时输入被认为有可能受损的一部分的信息。
[0129]当致使悬停相机100在桥梁I的将要检查的区域上方飞行时，考虑难以根据悬停相机100的可用飞行时间段在该区域上方飞行一次的情况。可预先基于电池150的容量、电机108a至108d用于驱动旋翼104a至104d的功耗、程序装置101、控制单元110和通信单元120等的功耗，得到悬停相机100的可用飞行时间段。另外，当生成飞行信息时，还可以基于从起始位置(例如，基站600)到第一成像点的计划行进时间、成像点之间的计划行进时间、从最后一个成像点到起始位置的计划行进时间等，估计悬停相机100进行单次检查飞行所必需的时间段。因此，当悬停相机100不能够在进行单次检查飞行期间沿着针对桥梁I的将要检查的区域的整个飞行路径飞行时，控制终端200可将所生成的飞行路径划分成多条路径。
[0130]另外，控制终端200可生成多条飞行路径并且致使当在步骤S103中生成悬停相机100的飞行信息时在显示单元210上显示这多条飞行路径。图7是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。图7示出生成多条飞行路径并且随后当在S103中生成悬停相机100的飞行信息时在显示单元210上显示飞行路径Rl和R2的状态的示例。控制终端200致使在显示单元210上显示多条飞行路径并且使用户能够选择一条飞行路径。控制终端200基于用户所选择的飞行路径，生成飞行信息。
[0131]当在步骤S103中生成悬停相机100的飞行信息时，控制终端200随后将所生成的飞行信息发送到悬停相机100，并且将起飞指令发送到悬停相机100(步骤S104)。例如，由飞行信息生成单元232通过通信单元220执行所生成飞行信息的发送和起飞指令的发送。
[0132]图8是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。图8示出当起飞指令发送到悬停相机100时控制终端200的显示单元210上显示的示例性画面。用户可通过触摸显示单元210上显示的起飞指令按钮211，致使将起飞指令从控制终端200发送到悬停相机100。另外，当起飞指令从控制终端200发送到悬停相机100时，可在发送起飞指令之前将步骤S103中生成的飞行信息从控制终端200发送到悬停相机100，但是可在飞行指令从控制终端200发送到悬停相机100之后将步骤S103中生成的飞行信息从控制终端200发送到悬停相机100。
[0133]已经从控制终端200接收到飞行信息和飞行指令并且随后基于从控制终端200发送的飞行信息从基站600起飞进行飞行的悬停相机100执行成像处理，得到静止图像(步骤S105)。悬停相机100获取在执行获取静止图像的成像处理时的位置信息或进行成像处理时的机身信息，并且将所获取的信息与静止图像关联。例如，在进行成像处理时，诸如偏航角、俯仰角、加速度、或角速率的信息可被包括在机身信息中。另外，悬停相机100可以流传输方式将成像装置101在飞行期间正在拍摄的移动图像发送到控制终端200。当控制终端200通过悬停相机100获取在飞行期间通过成像装置拍摄的移动图像并且进行显示时，控制终端200可向用户呈现悬停相机100正在飞向哪个位置。
[0134]优选地，悬停相机100在执行成像处理时，保持在所有成像点处与图像目标表面(例如，桥大梁3的侧表面或底表面)的距离恒定。因为保持在所有成像点处与图像目标表面的距离恒定，所以悬停相机100可得到所拍摄的具有相同大小的静止图像。
[0135]当被认为有可能受损的一部分被包括在悬停相机100的飞行路径中时，悬停相机100可改变成像装置的成像方向，使用具有不同波长的红外线，或者改变该部分的快门速度，然后拍摄多个静止图像。另外，当被认为有可能受损的一部分被包括在悬停相机100的飞行路径中时，悬停相机100可将对该部分执行成像处理的位置的间隔收窄，使其小于其他部分的间隔。
[0136]图9是概念性示出根据本公开的实施例的检查系统10中的悬停相机100的操作的说明性示图。当悬停相机100基于飞行信息在桥梁I的下面飞行时，悬停相机100停止于时间并且拍摄桥梁I的底表面，在成像之后在时间t2飞行到将要执行拍摄的位置并且停止于该位置，在时间^在不同位置拍摄桥梁I的底表面，然后重复进行飞行、停止、和拍摄，直到时间^。随着悬停相机100重复进行飞行、停止和拍摄，得到桥梁I的底表面的图像。
[0137]当悬停相机100基于飞行信息进行飞行时，可能的是，可以在没有干扰的情况下从GPS卫星接收无线电波时准确地检测当前位置。然而，悬停相机100难以在难以从GPS卫星接收无线电波的位置(诸如，桥梁I下方的位置)处准确地检测当前位置。就这点而言，在本实施例中，使用位置估计节点500，因此，悬停相机100在难以从GPS卫星接收无线电波的位置处准确地检测当前位置。
[0138]图10是概念性示出根据本公开的实施例的检查系统10中的悬停相机100的操作的说明性示图。例如，当图10的从开始到目标的间隔被设置为悬停相机100飞行所遵循的路径时，悬停相机100在没有干扰的情况下从GPS卫星30接收无线电波，并且在执行位置测量的GPS位置测量区40和例如使用视觉传感器估计当前位置的传感器位置测量区50中来回移动。
[0139]在GPS位置测量区40中，悬停相机100使用从GPS卫星30接收的无线电波，检测当前位置。在传感器位置测量区50中，悬停相机100检测在位置估计节点500之间的位置，也就是说，基于安装在悬停相机100中的传感器(例如，IMU)的积分值的当前位置以及位置估计节点500是AR标记时用成像装置101所拍摄图像计算出的与移动目的地的位置估计节点500的距离。当位置估计节点500是GPS信号发送器时，悬停相机100使用从位置估计节点500发送的信号来检测当前位置。
[0140]使用如上所述的位置估计节点500，即使当悬停相机100移动到难以接收来自GPS卫星的无线电波的位置时，悬停相机100也可检测到准确的当前位置。
[0141]当完成最后一个成像点处的成像处理时，悬停相机100自动地飞行到基站600，以返回基站600(步骤S106)。然后，控制终端200从悬停相机100获取已经返回基站600的悬停相机100所拍摄的图像(步骤S107)。可在悬停相机100如上所述返回基站600之后，执行获取悬停相机100所拍摄的图像，但是每当悬停相机100执行成像处理并且获取静止图像时，控制终端200可顺序地获取静止图像。
[0142]当悬停相机100和控制终端200执行图5中示出的以上操作时，根据本公开的实施例的检查系统10可通过控制终端200基于与检查目标的建筑物(桥梁I)相关的信息，生成将要发送到悬停相机100的飞行信息，通过基于飞行信息进行飞行的悬停相机100基于飞行信息来拍摄图像，并且通过控制终端200获取悬停相机100所拍摄的图像。
[0143]另外，假定用户已经在悬停相机100正在飞行的同时观察悬停相机100所拍摄的移动图像之后，发现期望详细拍摄的一部分。在这种情况下，例如，用户可操作控制终端200来停止悬停相机100的自动飞行并且致使从控制终端200发送切换成手动操作的指令。
[0144]已经结合通过控制终端200生成飞行信息，悬停相机100基于所生成的飞行信息执行自动飞行并且执行成像处理的处理描述了以上示例。然而，还考虑在飞行路径中存在桥梁I的概况示图上没有发现的障碍物的情况。
[0145]图11是概念性示出根据本公开的实施例的检查系统10中的悬停相机100的操作的说明性示图。图11示出树4在桥大梁3下方的示例。树4是在桥梁I的概况示图上没有示出的障碍物，并且存在第一次在悬停相机100飞行时发现有树存在的情况。
[0146]因此，在本实施例中，可通过致使悬停相机100基于控制终端200所生成的飞行信息执行一次测试飞行，检查飞行信息中包括的飞行路径中是否存在障碍物。
[0147]当致使悬停相机100基于控制终端200所生成的飞行信息执行一次测试飞行时，控制终端200可以流传输方式接收悬停相机100正拍摄的移动图像，并且用户可在观察移动图像的同时，检查飞行信息中包括的飞行路径中是否存在障碍物。可通过悬停相机100的传感器单元130检测障碍物。可在安装立体相机作为悬停相机100的成像装置101时，检测障碍物的详细位置，并且通过立体相机执行拍摄来检测与障碍物的距离，或者根据悬停相机100的方向来指定障碍物的方向。另外，当致使悬停相机100执行测试飞行时，在飞行路径中存在障碍物时，悬停相机100可停止自动飞行，在悬停状态下移动，并且可待机，等待用户的操作，或者可自动返回基站600。
[0148]当发现飞行信息中包括的飞行路径中存在障碍物时，控制终端200可将障碍物的位置注册到桥梁I的概况示图中。障碍物的位置可由用户手动输入，并且当悬停相机100通过传感器单元130检测到障碍物时，可从悬停相机100获取所检测到的障碍物位置，然后可将障碍物的位置注册在桥梁I的概况示图中。
[0149]图12是示出控制终端200的显示单元210上显示的示例性画面的说明性示图。图12是当通过悬停相机100的测试飞行发现在飞行路径中存在障碍物时在显示单元210上显示的示例性画面。当通过悬停相机100的测试飞行发现在飞行路径中存在障碍物时，控制终端200致使以叠加方式在桥梁I的概况示图上显示指示障碍物位置的标记01。
[0150]当已知障碍物位置时，控制终端200重新生成包括避开障碍物位置的飞行路径的飞行信息，并且将所生成的飞行信息发送到悬停相机100。悬停相机100基于控制终端200重新生成的飞行信息进行飞行，因此在避开障碍物(树4)的同时执行飞行和成像处理。
[0151]致使悬停相机100飞行并且检测障碍物位置的方法不限于相关示例。例如，可致使悬停相机100通过简单路径沿着控制终端200所生成的飞行路径的外周进行飞行，同时通过成像装置101拍摄移动图像，并且可检查在桥大梁3下方是否存在障碍物。
[0152][1.5.示例性损害数据生成]
[0153]例如，可通过致使悬停相机100飞行并且拍摄桥梁I，检测不容易触及的位置(诸如，桥大梁3的底表面)。将悬停相机100所拍摄的静止图像与例如已经拍摄静止图像的悬停相机100的位置信息(可包括通过使用GPS进行位置测量或使用位置估计节点500进行位置测量而得到的位置信息)、拍摄时的机身信息(例如，偏航角、俯仰角、加速度、和角速率)、和成像方向的信息关联。另外，当悬停相机100在保持与图像目标表面的距离恒定的同时在所有成像点执行拍摄时，检测图像中的正出现损害的地方的相对位置。因此，当通过悬停相机100拍摄的静止图像包括桥大梁3的受损部分时，可以检测受损部分的绝对位置。例如，通过将静止图像的中心设置为原点，计算受损部分的相对值并且计算当拍摄图像时悬停相机100的位置信息的相对值来得到受损部分的位置信息。例如，可记录以下数据作为受损部分的位置信息。
[0154](I)记录静止图像的成像位置的信息作为受损部分的位置(不记录相对值(偏移量))。
[0155](2)记录与受损部分的静止图像的成像位置的信息对应的相对值(偏移量)作为受损部分的位置。
[0156](3)记录用作参考的绝对值(例如，如以下将描述的，被认为其位置信息高度准确的四个角的静止图像的成像位置、或位置估计节点500的坐标)和相对值(偏移量)作为受损部分的位置。
[0157](4)记录计算出的绝对值(例如，玮度、经度、和高度)作为受损部分的位置。
[0158]已知使用数值(诸如，镜头的焦距、图像传感器的大小、与成像目标的距离等)得到成像范围的物理大小的技术。因此，当检测到受损部分时，可使用从悬停相机100到成像目标(例如，桥大梁3的后表面或侧表面)的距离信息或成像装置101的视角信息，估计悬停相机100的成像范围的物理大小。通过将所拍摄图像的中心位置(悬停相机100执行拍摄的位置)设置为原点，估计从原点到受损部分的物理相对位置，并且将所拍摄图像的原点的位置坐标与相对位置相加来确定受损部分的物理位置信息。另外，当在拍摄时通过安装在悬停相机100中的传感器获取距离信息和视角信息时，可使用与图像关联记录的信息，并且可使用为悬停相机100或成像装置101设置的值。另外，可使用拍摄时的机身信息(例如，偏航角、俯仰角、加速度、和角速率)和成像方向的信息(而非成像位置信息、距离信息和视角信息)来计算受损部分的位置信息。
[0159]用户可用肉眼基于悬停相机100所拍摄的静止图像来执行受损部分检测，但是可例如由信息处理装置300通过成像处理来自动执行受损部分检测。当自动执行受损部分检测时，例如，可使用诸如图案匹配的图像处理技术。
[0160]例如，按以下格式定义损害数据的数据构造:
[0161](图像ID，损害ID，受损部分的位置信息，图像上的受损部分的坐标，损害类型ID，损害程度)
[0162]损害类型ID是指分配给损害类型(诸如，裂缝、剥离、漏水、或石灰游离)的ID。另夕卜，数据的最大宽度、图像中受损部分的长度等可被记录在损害程度域中。根据本实施例的检查系统10可通过用户的手动输入或信息处理装置300进行的自动处理，用悬停相机100所拍摄的静止图像根据以上格式来生成损害数据。另外，根据本实施例的检查系统10所生成的损害数据可用于向修复桥I中出现的损害的建筑承包商下订单的处理。
[0163]然而，悬停相机100在单次检查飞行期间拍摄多个静止图像。因此，逐一检查悬停相机100在检查飞行期间拍摄的静止图像增加了用户的负担。
[0164]就这点而言，通过拼接悬停相机100所拍摄的静止图像，得到一个图像。因为悬停相机100所拍摄的静止图像被拼接，所以例如得到对应于一个跨度的桥大梁3的底表面的外观作为一个图像。然后，通过检查通过拼接悬停相机100所拍摄的静止图像而得到的对应于一个跨度的桥大梁3的底表面的图像，用户可检查桥大梁3的底表面是否受损。静止图像拼接处理可由控制终端200执行或者可由信息处理装置300执行。
[0165]图13是示出当基于悬停相机100所拍摄的静止图像检查桥大梁3的底表面时的概况的说明性示图。通过拍摄桥大梁3的特定部分(例如，桥大梁3的对应于一个跨度长度的一部分)并且拼接通过悬停相机100拍摄的静止图像，得到通过拍摄桥大梁3的底表面而得到的一个图像20。参考标号21指示在悬停相机100的单次成像处理中拍摄的图像。
[0166]当基于通过拼接悬停相机100所拍摄的静止图像而得到的图像来得到受损部分的绝对位置时，可选择拼接图像中作为拍摄时相对高精度位置信息的位置信息作为参考点。可使用拍摄时用作拼接图像基础的四个角的静止图像的悬停相机100的位置信息作为参考点。用作拼接图像基础的四个角的静止图像具有最小的失真，GPS位置测量区的位置信息的误差小，并且认为期望使用在GPS位置测量区中并且靠近拍摄时GPS位置测量区的四个角的位置信息作为参考点，因此可以通过用与四个角的静止图像对应的悬停相机100的位置信息得到受损部分的绝对位置，更准确地得到受损部分的位置。另外，例如，可使用GPS位置测量数据中的位置测量状态信息(指示正在执行2D位置测量的状态、正在执行3D位置测量的状态、位置测量禁用状态或诸如接收卫星数量的数据)作为位置信息的精度。
[0167]图14是示出通过拼接悬停相机100所拍摄的静止图像而得到的图像20的示例的说明性示图。用作图像20的基础的四个角的静止图像CI至C4的中心GI至G4中的每个对应于当拍摄各静止图像时悬停相机100的位置。在本实施例中，使用与四个角的静止图像Cl至C4对应的悬停相机100的位置信息，计算图像20中的受损部分的绝对位置。
[0168]当用拼接图像生成损害数据时，例如，按以下格式定义损害数据的数据构造。换句话讲，从损害数据中删除图像ID。
[0169](损害ID、受损部分的位置信息、图像上的受损部分的坐标、损害类型ID、损害程度)
[0170]另外，可生成拼接图像的图像ID并且将图像ID包括在损害数据中。根据本实施例的检查系统10可通过用户的手动输入或信息处理装置300进行的自动处理，用拼接图像根据以上格式来生成损害数据。
[0171][1.5.1.示例性功能构造]
[0172]图15是示出根据本公开的实施例的信息处理装置300的示例性功能构造的说明性示图。图15示出具有用悬停相机100所拍摄的静止图像得到桥大梁3的损害的绝对位置并且生成损害数据的功能的、根据本公开的实施例的信息处理装置300的示例性功能构造。以下，将参照图15描述根据本公开的实施例的信息处理装置300的示例性功能构造。
[0173]如图15中所示，根据本公开的实施例的信息处理装置300包括显示单元310、通信单元320、控制单元330和存储单元340。
[0174]例如，显示单元310由诸如液晶显示(IXD)装置或有机EL显示装置的平板显示装置构成。例如，显示单元310可显示悬停相机100的成像装置101所拍摄的图像、与通过成像装置101所拍摄的图像得到的桥梁I的损害相关的信息等。
[0175]例如，通信单元320通过无线通信，执行将信息发送到控制终端200/从控制终端200接收信息。信息处理装置300通过通信单元320从控制终端200接收悬停相机100所拍摄的图像连同该图像的绝对成像位置的信息。
[0176]控制单元330控制信息处理装置300的操作。例如，控制单元330可通过通信单元320控制在显示单元210上显示文本、图表、图像、或其他信息的处理和通过通信单元320将信息发送到其他装置(例如，控制终端200)的处理/从其他装置(例如，控制终端200)接收信息的处理。控制单元330包括成像位置信息获取单元332、损害位置计算单元334、图像合成单元336和损害数据生成单元338。
[0177]成像位置信息获取单元332在悬停相机100拍摄桥梁I时，获取悬停相机100所获取的拍摄时的成像位置的信息。损害位置计算单元334例如使用图像处理技术(诸如，图案匹配)用悬停相机100拍摄的图像检测桥梁I的受损部分，并且使用成像位置信息获取单元332所获取的成像位置的信息，计算受损部分的绝对位置。
[0178]图像合成单元336执行拼接悬停相机100所获取的静止图像并且生成一个图像的图像处理。图像合成单元336可在拼接悬停相机100所拍摄的静止图像时使用拍摄时静止图像的成像位置的信息。
[0179]在计算损害位置时，损害位置计算单元334可使用用作图像合成单元336所拼接图像的基础的所拍摄图像之中的所拍摄的角(例如，四个角中对每个)图像的成像位置的信息。如上所述，用作拼接图像基础的所拍摄图像之中的四个角的静止图像被认为失真是最小的，损害位置计算单元334可使用用作拼接图像基础的所拍摄图像之中的四个角的静止图像的成像位置的信息，得到更准确的损害位置。
[0180]损害数据生成单元338使用损害位置计算单元334计算出的桥梁I的受损部分的绝对位置来生成损害数据。损害数据生成单元338可以静止图像为单元来生成损害数据或者可生成关于图像合成单元336所拼接的一个图像的损害数据。
[0181]存储单元340存储各种类型的信息。存储在存储单元340中的信息可包括例如悬停相机100的成像装置101所拍摄的静止图像、拍摄静止图像时悬停相机100的绝对成像位置的信息、和损害数据生成单元338所生成的损害数据的信息。
[0182]根据本公开的实施例的信息处理装置300具有图15中所示的构造并且可用悬停相机100所拍摄的静止图像生成损害数据，因此，根据本公开的实施例的信息处理装置300可有效地生成用作检查目标的建筑物的桥梁I的检查结果。如上所述，可由控制终端200而非信息处理装置300生成损害数据。因此，控制终端200可具有图15中示出的信息处理装置300的控制单元330的构造。另外，用作检查目标的建筑物的桥梁I的检查结果可被累积在公共或私有数据库中，供使用。另外，如上所述，可由控制终端200而非信息处理装置300生成损害数据。因此，控制终端200可具有图15中示出的信息处理装置300的控制单元330的构造。
[0183]以上已经参照图15描述了根据本公开的实施例的信息处理装置300的示例性功能构造。接下来，将描述根据本公开的实施例的信息处理装置300的示例性操作。
[0184][1.5.2.示例性操作]
[0185]图16是示出根据本公开的实施例的信息处理装置300的示例性操作的流程图。图16示出当从悬停相机100所拍摄的静止图像中获取桥大梁3的损害的绝对位置并且生成损害数据时根据本公开的实施例的信息处理装置300的示例性操作。以下，将参照图16描述据本公开的实施例的信息处理装置300的示例性操作。
[0186]首先，信息处理装置300获取与成像位置的信息关联并且通过在桥梁I的周边上方飞行的悬停相机100拍摄的图像(步骤S301)。当在步骤S301中获取了与成像位置的信息关联的图像时，信息处理装置300随后例如使用图像处理技术(诸如，图案匹配)从图像中检测受损部分(步骤S302)。可例如通过损害位置计算单元334执行步骤S302的受损部分检测处理。
[0187]当在步骤S302中从图像中检测到受损部分时，信息处理装置300随后计算受损部分的绝对位置(步骤S303)。可例如通过损害位置计算单元334执行步骤S303的计算处理。信息处理装置300基于悬停相机100所拍摄的静止图像的成像位置的信息，执行步骤S303中的计算受损部分的绝对位置。在计算受损部分的绝对位置时，信息处理装置300可基于从悬停相机100到成像目标(例如，桥大梁3的后表面或侧表面)的距离信息或成像装置101的视角信息，估计悬停相机100的成像范围的物理大小。信息处理装置300可通过估计从所拍摄图像的中心到受损部分的物理相对位置并且将用作原点的所拍摄图像的位置坐标与相对位置相加，确定受损部分的物理位置信息。信息处理装置300生成包括受损部分的绝对位置的损害数据(步骤S304)。可例如通过损害数据生成单元338执行步骤S304的损害数据生成处理。
[0188]根据本公开的实施例的信息处理装置300可通过执行图16中示出的操作用悬停相机100所拍摄的静止图像来生成损害数据，因此，据本公开的实施例的信息处理装置300可有效生成用作检查目标的建筑物的桥梁I的检查结果。另外，如上所述，可通过控制终端200(而非信息处理装置300)生成损害数据。因此，可通过控制终端200执行图16中示出的操作。
[0189]图17是示出根据本公开的实施例的控制终端200的示例性操作的流程图。图17示出控制终端200使用信息处理装置300所生成的损害数据进行的飞行信息生成处理的示例。以下，将参照图17描述据本公开的实施例的控制终端200的示例性操作。
[0190]当在控制终端200上显示悬停相机100所拍摄的静止图像并且由用户指定静止图像上的受损部分时(步骤S311)，控制终端200从信息处理装置300所生成的损害数据中获取指定部分的损害位置(步骤S312)。指定受损部分的方法不受限制，例如，可显示静止图像，并且用户可通过用他/她的手指触摸控制终端200的触摸面板来指定受损部分。
[0191]当从损害数据中获取了用户指定的一部分的损害位置时，控制终端200随后生成致使悬停相机100在从损害数据中获取的损害位置上方飞行并且拍摄损害位置的飞行信息(步骤S313)。可例如通过飞行信息生成单元执行步骤S313的处理。由于控制终端200在步骤S313中生成的飞行信息用于详细检查损害位置，因此可使用指示悬停相机100将成像位置间隔减小成小于以上参照图5描述的控制终端200所生成的飞行信息中的成像位置间隔或在各成像位置执行特定成像的飞行信息。在执行特定成像的情况下，飞行信息包括用于如以上提到地控制特定成像的信息。
[0192]当在步骤S313中生成飞行信息时，控制终端200将所生成的飞行信息发送到悬停相机100，并且悬停相机100基于飞行信息执行飞行和成像处理，如图5的步骤S104和S105中所描述的。然后，如图5的步骤S106和S107中所描述的，当完成最后一个成像点处的成像处理时，为了返回基站600，悬停相机100自动地飞向基站600，并且控制终端200从悬停相机100获取悬停相机100所拍摄的图像。
[0193]根据本公开的实施例的控制终端200可生成用于致使悬停相机100使用信息处理装置300通过执行图17中示出的操作而生成的损害数据详细地拍摄桥大梁3的受损部分的飞行信息。
[0194]〈2.结论〉
[0195]如上所述，根据本公开的实施例，提供了基于设置的飞行信息执行自动飞行并且拍摄检查目标的建筑物的悬停相机100和能够基于悬停相机100所拍摄的静止图像检查建筑物的损害状态的检查系统10。
[0196]根据本公开的实施例的检查系统10在生成将要发送到悬停相机100的飞行信息时，使用与检查目标的建筑物相关的信息。使用与检查目标的建筑物相关的信息，控制终端200可生成用于致使悬停相机100飞行并且有效检查检查目标的建筑物的飞行信息。
[0197]在以上实施例中，已经描述了悬停相机100所拍摄的图像是静止图像并且使用静止图像检查桥梁I的损害状态的检查系统10的示例，但被公开不限于相关示例。悬停相机100可在飞行的同时拍摄桥梁I的移动图像，并且信息处理装置300可使用悬停相机100所拍摄的移动图像来生成损害图像。悬停相机100在执行移动图像成像处理时周期性获取位置信息并且将移动图像的成像时间与位置信息的获取时间关联，因此，信息处理装置300可使用移动图像来生成图像数据。
[0198]不必以顺序图或流程图中描述的时间先后次序来执行本说明书的各装置所执行的处理的各步骤。例如，各装置所执行的处理的各步骤可按与流程图所描述的次序不同的次序执行，或者可并行地执行。
[0199]另外，还可形成用于致使硬件(诸如，安装在各装置中的CPU、R0M和RAM)表现出与上述装置中的每个的功能等同的功能的计算机程序。另外，还可提供其中存储有此计算机程序的存储介质。另外，通过将功能框图中示出的功能块中的每个构造成硬件或硬件电路，还可使用硬件或硬件电路实现一系列处理。另外，可通过借助网络(诸如，互联网)连接的服务器装置来实现以上描述中使用的功能框图中示出的一些或所有功能框图。另外，以上描述中使用的功能框图中示出的功能块的各组件可通过单个装置来实现或者可通过其中多个装置彼此协作的系统来实现。其中多个装置彼此协作的系统的示例包括多个服务器装置的组合和服务器装置和终端装置的组合。
[0200]以上已经参照附图描述了本公开的优选实施例，而本公开不限于以上示例。本领域的技术人员可发现随附权利要求书的范围内的各种替代形式和修改形式，并且应该理解，它们将自然落入本公开的技术范围内。
[0201 ]另外，本说明书中描述的效果仅仅是例证性和论证性的，而非限制性的。换句话讲，根据本公开的实施例的技术可表现出对于本领域的技术人员而言显而易见的其他效果，作为基于本说明书的效果的补充或替代。
[0202]另外，还可如下地构造本技术。
[0203](I) 一种信息处理装置，所述信息处理装置包括:
[0204]成像位置信息获取单元，其被构造成获取成像装置所获取的将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像;以及
[0205]损害数据生成单元，其被构造成使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0206](2)根据(I)所述的信息处理装置，所述信息处理装置还包括损害位置计算单元，所述损害位置计算单元被构造成计算所述所拍摄图像中包括的所述建筑物的损害的位置。
[0207](3)根据(2)所述的信息处理装置，所述信息处理装置还包括图像合成单元，所述图像合成单元被构造成生成将多个所拍摄图像拼接而成的合成图像，
[0208]其中，所述损害位置计算单元使用用作所述图像合成单元将要生成的图像的所拍摄图像、与具有相对高位置精度的成像位置信息关联的所拍摄图像之中的所拍摄图像的成像位置信息，计算包括在所述所拍摄图像中的所述建筑物的损害的位置。
[0209](4)根据(3)所述的信息处理装置，其中，所述损害位置计算单元使用与合成图像的角落部分对应的所拍摄图像的成像位置信息作为具有相对高位置精度的成像位置，计算包括在所述所拍摄图像中的所述建筑物的损害的位置。
[0210](5)根据(2)至(4)中的任一项所述的信息处理装置，其中，所述损害数据生成单元使用通过所述损害位置计算单元计算出的所述建筑物的损害的位置，生成与所述建筑物的损害相关的数据。
[0211](6)根据(2)至(5)中的任一项所述的信息处理装置，其中，所述损害位置计算单元计算包括在所述所拍摄图像的所述建筑物的损害的绝对位置。
[0212](7)根据(I)至(6)中的任一项所述的信息处理装置，所述信息处理装置还包括飞行信息生成单元，所述飞行信息生成单元被构造成使用所述损害数据生成单元所生成的数据来生成用于致使所述成像装置将对应于所述数据的损害的位置成像的飞行信息。
[0213](8)—种信息处理方法，所述信息处理方法包括:
[0214]从成像装置获取将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像；以及
[0215]使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0216](9)—种致使计算机执行以下处理的计算机程序:
[0217]从成像装置获取将建筑物成像时的成像位置信息，所述成像装置被构造成基于特定飞行信息在所述建筑物的周边上方飞行，以将所述建筑物成像；以及
[0218]使用通过所述成像装置成像的所述建筑物的所拍摄图像和所述成像位置信息并且生成与所述建筑物的损害相关的数据，所述数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。
[0219]参考符号列表
[0220]10检查系统
[0221]100悬停相机
[0222]101成像装置
[0223]104a至 104d 旋翼
[0224]108a至 108d 电机
[0225]HO控制单元
[0226]120通信单元
[0227]130传感器单元
[0228]132位置信息获取单元
[0229]140存储单元
[0230]150 电池[0231 ] 200控制终端
[0232]300信息处理装置
[0233]400无线中继节点
[0234]500位置估计节点
[0235]600 基站
[0236]700充电站
【主权项】
1.一种信息处理装置，包括: 成像位置信息获取单元，其被构造成获取由成像装置获取的、对建筑物成像时的成像位置信息，所述成像装置被构造成基于一定的飞行信息在所述建筑物的周边飞行，以对所述建筑物成像；以及 损害数据生成单元，其被构造成使用通过所述成像装置成像的所述建筑物的拍摄图像和所述成像位置信息以生成与建筑物的损害相关的数据，所述与建筑物的损害相关的数据包括所述所拍摄图像中包括的所述建筑物的损害的位置信息。2.根据权利要求1所述的信息处理装置，还包括损害位置计算单元，所述损害位置计算单元被构造成计算所述拍摄图像中包括的所述建筑物的损害的位置。3.根据权利要求2所述的信息处理装置，还包括图像合成单元，所述图像合成单元被构造成生成将多个拍摄图像拼接而成的合成图像， 其中，所述损害位置计算单元使用用作所述图像合成单元将要生成的图像的基础的拍摄图像中、与具有相对高位置精度的成像位置信息关联的拍摄图像的成像位置信息，计算包括在拍摄图像中的所述建筑物的损害的位置。4.根据权利要求3所述的信息处理装置，其中，所述损害位置计算单元使用与合成图像的角落部分对应的拍摄图像的成像位置信息作为具有相对高位置精度的成像位置，计算包括在所述拍摄图像中的所述建筑物的损害的位置。5.根据权利要求2所述的信息处理装置，其中，所述损害数据生成单元使用通过所述损害位置计算单元计算出的所述建筑物的损害的位置，生成与所述建筑物的损害相关的数据。6.根据权利要求2所述的信息处理装置，其中，所述损害位置计算单元计算包括在所述拍摄图像的所述建筑物的损害的绝对位置。7.根据权利要求1所述的信息处理装置，还包括飞行信息生成单元，所述飞行信息生成单元被构造成使用所述损害数据生成单元所生成的数据来生成用于使所述成像装置对对应于所述数据的损害的位置成像的飞行信息。8.—种信息处理方法，包括: 从成像装置获取对建筑物成像时的成像位置信息，所述成像装置被构造成基于一定飞行信息在所述建筑物的周边飞行，以对所述建筑物成像；以及 使用通过所述成像装置成像的所述建筑物的拍摄图像和所述成像位置信息，以生成与建筑物的损害相关的数据，所述与建筑物的损害相关的数据包括所述拍摄图像中包括的所述建筑物的损害的位置信息。9.一种致使计算机执行以下处理的计算机程序: 从成像装置获取对建筑物成像时的成像位置信息，所述成像装置被构造成基于一定飞行信息在所述建筑物的周边飞行，以对所述建筑物成像；以及 使用通过所述成像装置成像的所述建筑物的拍摄图像和所述成像位置信息，以生成与建筑物的损害相关的数据，所述与建筑物的损害相关的数据包括所述拍摄图像中包括的所述建筑物的损害的位置信息。
【文档编号】G01N21/95GK106062510SQ201580011478
【公开日】2016年10月26日
【申请日】2015年4月2日 公开号201580011478.7, CN 106062510 A, CN 106062510A, CN 201580011478, CN-A-106062510, CN106062510 A, CN106062510A, CN201580011478, CN201580011478.7, PCT/2015/60511, PCT/JP/15/060511, PCT/JP/15/60511, PCT/JP/2015/060511, PCT/JP/2015/60511, PCT/JP15/060511, PCT/JP15/60511, PCT/JP15060511, PCT/JP1560511, PCT/JP2015/060511, PCT/JP2015/60511, PCT/JP2015060511, PCT/JP201560511
【发明人】田中佳世子, 佐部浩太郎, 泽田务, 清水悟, 铃木康辅, P·杜尔, 涉谷美纪, 水村弘也
【申请人】索尼公司