控制装置、控制方法和计算机程序的制作方法

控制装置、控制方法和计算机程序的制作方法
【专利摘要】本发明涉及控制装置、控制方法和计算机程序。提供了一种控制装置，包括：图像显示单元，被构造为从飞行体获取由设置在飞行体中的成像装置捕捉的图像并且显示该图像；和飞行指令产生单元，被构造为基于针对由成像装置捕捉并且由图像显示单元显示的图像执行的操作的内容，产生飞行体的飞行指令。
【专利说明】控制装置、控制方法和计算机程序
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年4月19日提交的日本优先权专利申请JP2013-088456的权 益，其全部内容通过引用包含于此。

【技术领域】
[0003] 本公开涉及一种控制装置、控制方法和计算机程序。

【背景技术】
[0004] 已公开一种与用于使用安装在无线电控制的飞行体中的照相机拍摄照片的方法 相关的技术（例如，参见JP2006-27448A)。使用安装在这种飞行体中的照相机，可从天空或 难以设置三脚架的位置拍摄照片。与当使用真正的飞机或直升机时的情况相比，使用安装 在飞行体中的照相机拍摄带来各种优点：能够抑制成本，并且可实现安全拍摄、在低空或者 在狭窄场所拍摄、靠近目标拍摄等。


【发明内容】

[0005] 为了执行上述成像方法，需要使用比例控制系统（Propo)等操纵飞行体，然后操 纵照相机。因此，为了执行上述成像方法，为了自由操纵飞行体需要大量训练，另外，用于操 纵安装在飞行体中的照相机的训练也是不可缺少的。
[0006] 因此，希望提供一种能够通过直观的操作来操控安装有照相机的飞行体的新的改 进的控制装置、控制方法和计算机程序。
[0007] 根据本公开的实施例，提供一种控制装置，包括：图像显示单元，被构造为从飞行 体获取由布置在飞行体中的成像装置捕捉的图像并且显示该图像；和飞行指令产生单元， 被构造为基于针对由成像装置捕捉并且由图像显示单元显示的图像执行的操作的内容，产 生飞行体的飞行指令。
[0008] 根据本公开的实施例，提供一种控制方法，包括：从飞行体获取由布置在飞行体中 的成像装置捕捉的图像并且显示该图像；以及把针对由成像装置捕捉并且在显示的步骤中 显示的图像执行的操作的内容转换成飞行体的飞行指令。
[0009] 根据本公开的实施例，提供一种计算机程序，该计算机程序使计算机执行：从飞行 体获取由布置在飞行体中的成像装置捕捉的图像并且显示该图像；以及把针对由成像装置 捕捉并且在显示的步骤中显示的图像执行的操作的内容转换成飞行体的飞行指令。
[0010] 根据上述本公开的实施例，可提供一种能够通过直观的操作来操控安装有照相机 的飞行体的新的改进的控制装置、控制方法和计算机程序。

【专利附图】

【附图说明】
[0011] 图1是显示根据本公开的实施例的成像系统的外观例子的说明图；
[0012] 图2是显示根据本公开的实施例的成像系统的外观例子的说明图；
[0013] 图3是显示根据本公开的实施例的成像系统的外观例子的说明图；
[0014] 图4是显示构成根据本公开的实施例的成像系统10的飞行装置100的外观例子 的说明图；
[0015] 图5是显示构成根据本公开的实施例的成像系统10的飞行装置100的外观例子 的说明图；
[0016] 图6是显示根据本公开的实施例的飞行装置的变型例的说明图；
[0017] 图7是显示根据本公开的实施例的飞行装置的变型例的说明图；
[0018] 图8是显示支撑转子盖102a至102d的支柱111的结构例子的说明图；
[0019] 图9是显示沿着支柱111的狭缝部分112转动的转子盖102a的外观的说明图；
[0020] 图10是显示沿着支柱111的狭缝部分112转动的转子盖102a的外观的说明图；
[0021] 图11是显示用户使用控制器200控制飞行装置100的操作的外观的说明图；
[0022] 图12是显示根据本公开的实施例的飞行装置100和控制器200的功能结构例子 的说明图；
[0023] 图13是显示根据本公开的实施例的成像系统10的操作例子的流程图；
[0024] 图14是显示根据本公开的实施例的控制器200的显示单元210上显示的信息的 例子的说明图；
[0025] 图15是显示根据本公开的实施例的控制器200的显示单元210上显示的信息的 例子的说明图；
[0026] 图16是显示根据本公开的实施例的控制器200的显示单元210上显示的信息的 例子的说明图；
[0027] 图17是当用户想要把使用轻敲指定的位置设置在图像的中央时的显示单元210 的信息显示例子；
[0028] 图18是当用户想要把使用轻敲指定的位置设置在图像的中央时的显示单元210 的信息显示例子；
[0029] 图19是显示用户在显示单元210上执行拖动操作的状态的说明图；
[0030] 图20是显示在用户在显示单元210上执行拖动操作后的状态的说明图；
[0031] 图21是显示用户在显示单元210上执行捏拉（pinch)操作的状态的说明图；
[0032] 图22是显示使用图像反馈的飞行装置100的飞行的控制的说明图；
[0033] 图23是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图；
[0034] 图24是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图；
[0035] 图25是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图；
[0036] 图26是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图；
[0037] 图27是显示控制器200的显示单元210上显示的信息的例子的说明图；
[0038] 图28是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图；
[0039] 图29是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的另一例子的说明图；
[0040] 图30是显示位于以初始位置20作为其中心的预定飞行范围21内侧的飞行装置 100的状态的说明图；
[0041] 图31是显示飞行装置100尝试飞行超出以初始位置20作为其中心的预定飞行范 围21的状态的说明图；
[0042] 图32是显示飞行装置100尝试自动着陆的状态的说明图；
[0043] 图33是显示飞行装置100的操作的概要的说明图；
[0044] 图34是显示根据本公开的实施例的成像系统10的操作例子的流程图；
[0045] 图35是显示基于图像识别的飞行装置100的位置和姿态的控制例子的说明图；
[0046] 图36是显示基于图像识别的飞行装置100的位置和姿态的控制例子的说明图；
[0047] 图37是显示基于图像识别的飞行装置100的位置和姿态的控制例子的说明图；以 及
[0048] 图38是显示基于图像识别的飞行装置100的位置和姿态的控制例子的说明图。

【具体实施方式】
[0049] 以下，将参照附图详细描述本公开的优选实施例。要注意的是，在本说明书和附图 中，具有基本上相同的功能和结构的构成要素由相同的标号表示，并且省略这些构成要素 的重复解释。
[0050] 要注意的是，将按照下面的次序进行描述。
[0051] 〈1.本公开的实施例〉
[0052] [成像系统的外观例子]
[0053] [成像系统的功能结构例子]
[0054] [飞行装置和控制器的操作例子]
[0055] [2.结论]
[0056] 〈1.本公开的实施例〉
[0057] [成像系统的外观例子]
[0058] 首先，将参照附图描述根据本公开的实施例的成像系统的外观例子。图1至3是 显示根据本技术的实施例的成像系统的外观例子的说明图。以下，将使用图1至3描述根 据本公开的实施例的成像系统的外观例子。
[0059] 图1的附图显示以透视图示出根据本公开的实施例的成像系统10的外观例子的 说明图，并且图2中示出的附图是以从图1中示出的透视图的相反侧获得的透视图示出根 据本公开的实施例的成像系统10的外观例子的说明图。另外，图3中示出的附图是以从下 方获得的透视图示出根据本公开的实施例的成像系统10的外观例子的说明图。
[0060] 根据本公开的实施例的成像系统10被构造为包括飞行装置100和控制飞行装置 100的控制器200。飞行装置100能够在控制器200的控制下通过使转子旋转而飞行。然 而，当飞行装置100不飞行时，控制器200被构造为能够把转子收纳在其中，如图1至3中 所示。
[0061] 图1至3中示出的飞行装置100能够使用四个转子飞行。在图1至3中，示出保 护每个转子的转子盖102a至102d。当飞行装置100不飞行时，根据本公开的实施例的成像 系统10能够在控制器200内部收纳转子盖102a至102d，如图1至3中所示。
[0062] 根据本公开的实施例的成像系统10被配置为使得控制器200可沿图1的方向A 滑动。根据本公开的实施例的成像系统10被配置为使得当控制器200沿图1的方向A滑 动时控制器200被从飞行装置100分离。
[0063] 飞行装置100包括捕捉静止图像或运动图像的成像装置101。成像装置101由镜 头、图像传感器（诸如，CCD (电荷耦合器件）图像传感器或CMOS (互补金属氧化物半导体） 图像传感器）等构成。飞行装置100中包括的成像装置101在控制器200的控制下执行静 止图像或运动图像的捕捉，并且把捕捉的图像提供给控制器200。
[0064] 控制器200控制飞行装置100的飞行状态和由飞行装置100中包括的成像装置 101执行的图像捕捉。控制器200通过无线通信执行飞行状态和图像的控制。如图1中所 示，控制器200包括显示单元210。稍后将详细描述用于控制飞行装置100的飞行状态和飞 行装置100中包括的成像装置101执行的图像捕捉的控制器200的功能结构。
[0065] 显示单元210被构造为例如平板显示装置（诸如,液晶显示装置或有机EL显示装 置），并且能够显示由成像装置101捕捉的图像和用于控制成像装置101的操作的信息。显 示单元210包括触摸面板，并且用户能够通过用手指等触摸显示单元210来针对显示单元 210上显示的信息执行直接操作。
[0066] 到目前为止，已使用图1至3描述了根据本公开的实施例的成像系统10的外观例 子。接下来，将更详细地描述飞行装置1〇〇的外观例子。
[0067] 图4是显示构成根据本公开的实施例的成像系统10的飞行装置100的外观例子 的说明图。以下，将使用图4描述飞行装置100的外观例子。
[0068] 图4显示从其拆下了控制器200的图1中示出的根据本公开的实施例的成像系统 10的状态。除了图1至3中示出的成像装置101和转子盖102a至102d之外，图4还显示 弹簧部分l〇3a至103d。弹簧部分103a至103d中的每一个缠绕在飞行装置100的四个角 的支柱上，并且使用支柱作为轴使转子盖l〇2a至102d旋转。
[0069] 图4的附图显示由用户把转子盖102a至102d收纳在飞行装置100内部的状态。 当控制器200在图4中示出的飞行装置100的形态的状态下覆盖飞行装置100时，根据本 公开的实施例的成像系统10具有如图1至3中所示的形态。当控制器200覆盖飞行装置 100时，控制器200抑制转子盖102a至102d的转动。
[0070] 图4显示布置在飞行装置100的中央的支柱105、布置在支柱105中的转子106和 多个通气孔107。转子106在控制器200的控制下使用支柱105作为轴执行旋转运动。另 夕卜，通气孔107能够被布置为与转子106的旋转运动的范围对应。由于飞行装置100具有 转子106,所以即使当难以仅从由转子盖102a至102d保护的转子的旋转运动获得足够的升 力时，升力也能够由于转子106的旋转运动而增加。
[0071] 图5是显示构成根据本公开的实施例的成像系统10的飞行装置100的外观例子 的说明图。图5的附图显示通过从图1中示出的状态沿图1的方向A滑动控制器200而拆 下控制器200的状态。当从图1中示出的状态沿图1的方向A滑动控制器200并且随后拆 下控制器200时，转动被控制器200所抑制的转子盖102a至102d由于弹簧部分103a至 103d的动作而如图5中所示转动。
[0072] 图5显示由转子盖102a至102d保护的转子104a至104d。转子104a至104d通 过根据控制器200的控制独立地执行旋转运动而使飞行装置100升起。
[0073] 在飞行装置100中，由转子盖102a至102d保护的转子104a至104d设置有预定水 平差，如图4和5中所示。通过以这种方式提供具有所述预定水平差的转子104a至104d， 当转子应被收纳在飞行装置1〇〇中时，飞行装置1〇〇能够紧凑地收纳转子l〇4a至104d。
[0074] 由于已有的飞行装置具有固定到该飞行装置的输出推力的单元，所以其便携性降 低。由于构成根据本公开的实施例的成像系统10的飞行装置1〇〇被构造为能够如图4和 5中所示把转子104a至104d收纳在它内部，所以其便携性可以显著提高。
[0075] 另外，由于在控制器200被从飞行装置100拆下的状态下转子盖102a至102d转 动以使得转子盖从飞行装置1〇〇弹出，所以与转子盖l〇2a至102d被收纳的状态相比，重心 与转子104a至104d的中心之间的距离能够变长，并且能够稳定在飞行装置100的飞行期 间的姿态。
[0076] 这里，将描述飞行装置100的飞行原理。针对飞行装置100,可实现使用其旋转速 度可独立控制的转子104a至104d的上浮、移动、静止、着陆等的操作。转子104a和104c 的旋转方向与转子l〇4b和104d的旋转方向正相反，并且如果通过把转子104a和104c的 旋转方向设置为与转子l〇4b和104d的旋转方向正相反而使所有转子以一致速度旋转，则 飞行装置100上升或下降。
[0077] 另外，例如，当在飞行装置100上升的状态下转子104a和104b的旋转速度低于转 子104c和104d的旋转速度时，飞行装置100能够在上升状态下沿转子104a和104b的方 向移动。另外，例如，当在飞行装置1〇〇上升的状态下转子l〇4a和104c的旋转速度低于转 子104b和104d的旋转速度时，飞行装置100能够在上升状态下沿水平方向顺时针或逆时 针旋转。
[0078] 以这种方式，通过合适地改变转子104a至104d的旋转速度，能够执行包括升起、 水平移动、静止、着陆等的飞行装置1〇〇的操作。另外，在本实施例中，能够通过针对由成像 装置101捕捉的图像的操作而非针对飞行装置100的操纵来执行利用转子l〇4a至104d的 旋转速度的变化的飞行装置100的移动的这种控制。
[0079] 以这种方式，能够通过控制转子104a至104d的旋转速度来自由地改变飞行装置 100的位置和姿态，但希望确定装置自己的位置和相对于环境中的成像目标的相对位置，以 便除了转子l〇4a至104d的旋转速度的控制之外还使用成像装置101执行成像。
[0080] 用于确定装置自己的位置和相对于环境中的成像目标的相对位置的方法包括例 如使用加速度传感器、陀螺仪传感器或其它惯性传感器的方法、通过使用图像传感器等识 别环境中的特征点或物体基于多个对象点的移动量由装置自己估计装置的位置的方法。
[0081] 例如，通过使用惯性传感器（诸如，加速度传感器或陀螺仪传感器）测量装置自己 的加速度和角速度，能够从位置和姿态的变化量获得当前位置和姿态。另外，在通过使用气 压传感器测量方向、高度等的绝对量来校正由所述变化量的积分引起的误差的同时，能够 获得装置自己的位置和姿态。
[0082] 另外，例如，通过使用图像传感器等识别环境中的特征点或物体，基于多个对象点 的移动量能够估计装置自己的位置。这种技术被称为SLAM (Simultaneous Localization And Mapping，同时定位与建图）。通过当应该使用SLAM时根据从上述惯性传感器获得的移 动量使用SLAM，能够增加位置识别的精度。
[0083] 利用这种控制，飞行装置100能够在飞行装置尝试执行成像的环境下合适地确定 它的位置，并且能够利用反馈控制自动地执行至合适位置的移动和静止。
[0084] 要注意的是，虽然除了布置在飞行装置100的中央的转子106之外在上述例子中 描述了提供四个转子的情况，但转子的数量不限于该例子。例如，飞行装置可具有八个转 子。
[0085] 图6和7是显示根据本公开的实施例的飞行装置的变型例的说明图。图6和7是 显示具有八个转子的飞行装置1〇〇的外观例子的说明图。在图6和7中，示出具有转子盖 102a'至102h'的飞行装置100。也可提供具有八个转子的飞行装置100,作为本公开的实 施例的变型例，如图6和7中所示。
[0086] 在上述例子中，虽然弹簧部分103a至103d的动作使转子盖102a至102d转动，但 本公开不限于该例子。例如，在转子盖102a至102d所在的每个支柱中可设置狭缝，以使得 转子盖102a至102d沿着狭缝转动。
[0087] 图8是显示支撑转子盖102a至102d的支柱111的结构例子的说明图。图8中示 出的支柱111设置有狭缝部分112,狭缝部分112使转子盖102a至102d围绕支柱111转 动。通过使转子盖l〇2a至102d沿着狭缝部分112转动，当转子盖102a至102d朝着飞行 装置100的外面打开时，所有的转子盖102a至102d能够位于相同高度。
[0088] 图9和10是显示沿着支柱111的狭缝部分112转动的转子盖102a的样子的说明 图。
[0089] 以上，已使用图4和5描述了飞行装置100的外观例子。接下来，将描述控制飞行 装置100的操作的控制器200。
[0090] 图11是显示用户使用控制器200控制飞行装置100的操作的样子的例子的说明 图。当控制器200被从飞行装置100分离时，控制器用作能够远程操纵飞行装置100的装 置，如图11中所示。当用户使用控制器200时，能够控制飞行装置100的起飞、飞行和着陆。
[0091] 另外，根据本公开的实施例的成像系统10能够实时地把由布置在飞行装置100中 的成像装置101捕捉的图像发送给控制器200,并且能够通过接收针对由成像装置101捕捉 并且显示在控制器200的显示单元210上的图像的操作，来控制飞行装置100的操作。换 句话说，用户能够利用针对由成像装置101捕捉的图像的操作，而非针对飞行装置100的操 纵，来控制飞行装置100的操作。
[0092] 以上，已描述根据本公开的实施例的成像系统的外观例子。接下来，将描述根据本 公开的实施例的成像系统的功能结构例子。
[0093] [成像系统的功能结构例子]
[0094] 图12是显示根据本公开的实施例的飞行装置100和控制器200的功能结构例子 的说明图。以下，将使用图12描述根据本公开的实施例的飞行装置100和控制器200的功 能结构例子。
[0095] 如图12中所示，根据本公开的实施例的飞行装置100被构造为包括成像装置101、 转子104a至104d、电机108a至108d、控制单元110、通信单元120、传感器单元130、位置信 息获取单元132、警报发出单元140和电池150。
[0096] 另外，如图12中所示，根据本公开的实施例的控制器200被构造为包括显示单元 210、通信单元220、控制单元230、位置信息获取单元240、电池242和供电单元244。另外， 控制单元230被构造为包括飞行指令产生单元232和显示控制单元234。
[0097] 控制单元110控制飞行装置100的操作。例如，控制单元110能够控制根据电机 108a至108d的旋转速度的调整的转子104a至104d的旋转速度的调整、由成像装置101执 行的成像过程、经通信单元120与另一装置（例如，控制器200)的信息的发送和接收过程、 由警报发出单元140执行的警报发出过程等。
[0098] 如上所述，成像装置101包括镜头、图像传感器（诸如，(XD图像传感器或CMOS图 像传感器）等。飞行装置100中包括的成像装置101在控制器200的控制下执行静止图像 或运动图像的成像。由成像装置101捕捉的图像被从通信单元120发送给控制器200。
[0099] 转子104a至104d通过从旋转产生升力使飞行装置100飞行。转子104a至104d 的旋转由电机l〇8a至108d的旋转引起。电机108a至108d使转子104a至104d旋转。电 机108a至108d的旋转能够由控制单元110控制。
[0100] 通信单元120通过无线通信执行与控制器200的信息的发送和接收处理。飞行装 置100把由成像装置101捕捉的图像从通信单元120发送给控制器200。另外，飞行装置 100使用通信单元120从控制器200接收与飞行相关的指令。
[0101] 传感器单元130是获取飞行装置100的状态的一组装置，并且能够包括例如加速 度传感器、陀螺仪传感器、超声波传感器、气压传感器等。传感器单元130能够把获取的飞 行装置100的状态转换成预定信号，并且根据需要把该信号提供给控制单元110。位置信息 获取单元132使用例如GPS(全球定位系统）等获取飞行装置100的当前位置的信息。位 置信息获取单元132能够根据需要把获取的飞行装置100的当前位置的信息提供给控制单 元 110。
[0102] 当飞行装置100尝试飞行超出预设的飞行范围时，警报发出单元140基于控制单 元110的控制使用声音、光等产生警报。
[0103] 电池150存储用于操作飞行装置100的电力。电池150可以是仅能够执行放电的 一次电池，或者可以是还能够执行充电的二次电池。当电池150是二次电池并且如例如图1 等中所示飞行装置1〇〇与控制器200结合在一起时，电池150能够从控制器200接收电力 的供给。
[0104] 如上所述，显示单元210包括平板显示装置，例如液晶显示装置、有机EL显示装置 等。显示单元210能够显示例如由成像装置101捕捉的图像或用于控制飞行装置100的操 作的信息。显示单元210设置有触摸面板，因此，用户能够通过利用他或她的手指等触摸显 示单元210,针对显示单元210上显示的信息执行直接操作。
[0105] 通信单元220通过无线通信针对飞行装置100发送和接收信息。控制器200使用 通信单元220从飞行装置100接收由成像装置101捕捉的图像。另外，控制器200把与飞 行装置100的飞行相关的指令从通信单元220发送给飞行装置100。与飞行装置100的飞 行相关的命令能够由控制单元230产生。
[0106] 控制单元230控制控制器200的操作。例如，控制单元230能够控制显示单元210 上的文字、图形、图像和其它信息的显示处理、经通信单元220与另一装置（例如，飞行装置 100)的信息的发送和接收处理、由供电单元244针对飞行装置100执行的供电处理等。
[0107] 飞行指令产生单元232产生与飞行装置100的飞行相关的指令。在本实施例中， 飞行指令产生单元232基于针对由成像装置101捕捉的图像的操作，产生与飞行装置100 的飞行相关的指令。因为飞行指令产生单元232基于针对由成像装置101捕捉的图像的操 作产生与飞行装置100的飞行相关的指令，所以控制器200能够使对操控飞行装置100不 熟练的用户容易地操控飞行装置100。另外，因为飞行指令产生单元232基于针对由成像装 置101捕捉的图像的操作产生与飞行装置100的飞行相关的指令，所以能够产生用于使飞 行装置100按用户期望的构图飞行的飞行指令。要注意的是，将在稍后描述由飞行指令产 生单元232产生与飞行装置100的飞行相关的指令的处理的具体例子。
[0108] 显示控制单元234控制显示单元210上的文字、图形、图像和其它信息的显示。假 定将在稍后描述中提及的附图中的显示单元210上的文字、图形、符号、图像和其它信息的 显示由显示控制单元234控制。
[0109] 位置信息获取单元240使用例如GPS (全球定位系统）等获取控制器200的当前 位置的信息。位置信息获取单元240能够根据需要把获取的控制器200的当前位置的信息 提供给控制单元230。
[0110] 电池242存储用于操作控制器200的电力。电池242可以是仅能够执行放电的一 次电池，或者可以是还能够执行充电的二次电池。当如例如图1等中所示飞行装置100与 控制器200结合在一起时，电池242能够经供电单元244执行对飞行装置100的电力供给。 当如例如图1等中所示飞行装置100与控制器200结合在一起时，供电单元244在控制单 元230的控制下把储存在电池242中的电力提供给飞行装置100。
[0111] 构成根据本公开的实施例的成像系统1〇的飞行装置100和控制器200具有如图 12中所示的结构，因此，能够基于由成像装置101捕捉并且显示在控制器200的显示单元 210上的图像的操作实现对飞行装置100的操控。换句话说，用户能够利用由成像装置101 捕捉的图像的操作而非飞行装置100的操纵来控制飞行装置100的操作。
[0112] 能够基于IEEE802. 11、IEEE802. 15. 1等标准，使用例如2. 4GHz、5GHz等的频带，通 过无线通信在飞行装置100和控制器200之间发送和接收信息。
[0113] 以上，已使用图12描述根据本公开的实施例的飞行装置100和控制器200的功能 结构例子。接下来，将描述根据本公开的实施例的成像系统10的操作例子。
[0114] [成像系统的操作例子]
[0115] 图13是显示根据本公开的实施例的成像系统10的操作例子的流程图。特别地， 该附图是显示构成成像系统10的控制器200的操作例子的流程图。图13中示出的附图是 当用户把飞行装置100与控制器200拆开并且使用控制器200操控飞行装置100时执行的 操作的例子。以下，将使用图13描述根据本公开的实施例的成像系统10的操作例子。
[0116] 首先，控制器200基于用户操纵把起飞指令发送给在静止状态下放置在桌子或用 户的手掌上的飞行装置100 (步骤S101)。当飞行指令产生单元232检测到已在具有触摸面 板的显示单元210上执行了与起飞指令对应的预定操纵时，控制器200使飞行指令产生单 元232产生飞行装置100的起飞指令并且通过无线通信把产生的起飞指令发送给飞行装置 100。
[0117] 当飞行装置100从控制器200接收到起飞指令时，控制单元110使电机108a至 108d旋转。然后，飞行装置100利用从由电机108a至108d的旋转引起的转子104a至104d 的旋转产生的升力上升。
[0118] 然后，控制器200通过无线通信接收由布置在飞行装置100中的成像装置101捕 捉的图像，然后使该图像显示在显示单元210上（步骤S102)。当由成像装置101捕捉的图 像被显示在显示单元210上时,控制器200待机直至针对显示单元210上显示的图像的操 作被执行（步骤S103)。
[0119] 例如，当用户通过触摸显示单元210等针对显示单元210上显示的图像执行操作 时，控制器200随后在飞行指令产生单元232中检测针对显示单元210上显示的图像的操 作的内容（步骤S104)。当检测到针对显示单元210上显示的图像的操作的内容时，控制器 200随后在飞行指令产生单元232中把该操作的内容转换成飞行装置100的飞行指令（步 骤 S105)。
[0120] 将在稍后详细描述具体例子，例如，当在步骤S104中检测到的操作的内容是使用 户指定的被摄体位于由成像装置101捕捉的图像的中心时，飞行指令产生单元232把由用 户执行的操作转换成飞行装置100的飞行指令。
[0121] 当在上述步骤S105中把操作的内容转换成飞行装置100的飞行指令时，控制器 200随后通过无线通信把在上述步骤S105中获得的飞行指令发送给飞行装置100 (步骤 S106)。飞行装置100基于从控制器200发送的飞行指令，使用控制单元110控制电机108a 至108d的旋转。
[0122] 当如上所述操作控制器200时，根据本公开的实施例的成像系统10能够基于针对 由成像装置101捕捉并且显示在控制器200的显示单元210上的图像的操作，实现对飞行 装置100的操控。换句话说，用户能够利用针对由成像装置101捕捉的图像的操作而非针 对飞行装置100的操纵来控制飞行装置100的操作。
[0123] 当用户观看由成像装置101捕捉并且显示在显示单元210上的图像并且想出期望 构图时，用户使用控制器200把成像指令发送给成像装置101。飞行装置100基于从控制器 200发送的成像指令，把成像指令从控制单元110发送给成像装置101。成像装置101基于 从控制单元110传送的成像指令执行成像处理。然后，飞行装置100把从成像装置101的 成像处理获得的图像发送给控制器200。
[0124] 以上，已描述根据本公开的实施例的成像系统10的操作例子。接下来，将描述构 成根据本公开的实施例的成像系统10的控制器200的显示单元210上显示的信息的例子。
[0125] 图14是显示根据本公开的实施例的控制器200的显示单元210上显示的信息的 例子的说明图。以下，将使用图14描述控制器200的显示单元210上显示的信息的例子。
[0126] 在图14中，在由成像装置101捕捉的图像上叠加地示出显示起飞和着陆按钮vll 以及成像按钮vl2的状态。起飞和着陆按钮vll是用于使飞行装置100起飞或着陆的按钮。 用户能够通过触摸起飞和着陆按钮vll，使飞行装置100起飞或着陆。当转子l〇4a至104d 不旋转时，起飞和着陆按钮vll用作用于使飞行装置100起飞的按钮，并且当转子104a至 l〇4d中的至少一个旋转时，起飞和着陆按钮vll用作用于使飞行装置100着陆的按钮。
[0127] 成像按钮vl2是用于使成像装置101执行成像处理的按钮。用户能够通过触摸成 像按钮vl2使成像装置101执行成像处理，从而使成像装置101捕捉静止图像或运动图像。
[0128] 另外，在图14中，在由成像装置101捕捉的图像上叠加地示出显示对象框vl3、目 标位置vl4和移动箭头vl5的状态。对象框vl3具有指示用户的操作所指定的区域的功能。 目标位置vl4具有显示由对象框vl3指示的区域在捕捉的图像中的目标位置的功能。移动 箭头vl5具有指示对象框vl3要到达目标位置vl4的直线路线的功能。
[0129] 当用户在由成像装置101捕捉的图像上执行操作以使由对象框vl3包围的区域到 达目标位置vl4时，飞行装置100控制它自己的位置和姿态以使得由对象框vl3包围的区 域到达目标位置vl4。另外，控制器200通过使移动箭头vl5显示在显示单元210上向用户 通知飞行装置100正在改变位置和姿态的事实，直至由对象框vl3包围的区域到达目标位 置 vl4。
[0130] 将更详细地描述显示单元210的具体信息显示例子。首先，将描述当用户想要把 他或她指定的位置设置在图像的中央时的显示单元210的信息显示例子。
[0131] 图15和16是显示根据本公开的实施例的控制器200的显示单元210上显示的信 息的例子的说明图。图15和16中示出的附图是当用户想要把他或她指定的位置设置在图 像的中央时的显示单元210的信息显示例子。以下，将使用图15和16描述控制器200的 显示单元210上显示的信息的例子。
[0132] 当用户想要把他或她指定的位置设置在图像的中央时，控制器200使用户执行例 如轻敲指定位置一次的操作。图15显示用户执行轻敲显示单元210的给定点一次的操作。 当用户轻敲显示单元210的给定点一次时，控制器200使对象框vl3和目标位置vl4显示 在显示单元210上。显示控制单元234执行显示单元210的显示处理。
[0133] 当用户轻敲显示单元210的给定点一次并且飞行指令产生单元232检测到该轻敲 时，飞行指令产生单元232产生飞行指令，该飞行指令使飞行装置100飞行从而使得由对象 框vl3包围的区域位于目标位置vl4。另外，当用户轻敲显示单元210的给定点一次并且飞 行指令产生单元232检测到该轻敲时，显示控制单元234执行显示控制以使得连接对象框 vl3和目标位置vl4的移动箭头vl5显示在显示单元210上。
[0134] 图16显示在用户执行轻敲显示单元210的给定点一次的操作后的状态。如图16 中所示，当用户执行轻敲显示单元210的给定点一次的操作时，显示控制单元234使连接对 象框vl3和目标位置vl4的移动箭头vl5显示在显示单元210上。移动箭头vl5被显示在 显示单元210上，直至对象框vl3到达目标位置vl4。
[0135] 图17和18显示当用户想要把使用轻敲指定的位置设置在图像的中央时的显示单 元210的信息显示例子。如图17中所示，当用户轻敲显示单元210的给定点一次时，对象 框vl3、目标位置vl4和移动箭头vl5被显示在显示单元210上。然后，当飞行装置100到 达期望位置时，执行用户使用轻敲指定的位置被设置在图像的中央的居中处理（centering process)，如图18中所示。
[0136] 当用户想要把他或她指定的位置设置在期望位置时，控制器200使用户在显示单 元210上执行例如拖动指定的位置的操作。图19是显示用户在显示单元210上执行拖动 操作的状态的说明图。当用户执行触摸显示单元210的给定点并且在触摸该点的同时在显 示单元210上移动他或她的手指的拖动操作时，控制器200使对象框vl3和目标位置vl4 显示在显示单元210上。显示控制单元234执行显示单元210的显示处理。
[0137] 当飞行指令产生单元232检测到用户的拖动操作时，飞行指令产生单元232产生 飞行指令，该飞行指令使飞行装置100飞行以使得由对象框V13包围的区域位于目标位置 vl4。另外，当飞行指令产生单元232检测到用户的拖动操作时，显示控制单元234执行显 示控制以使得连接对象框vl3和目标位置vl4的移动箭头vl5显示在显示单元210上。
[0138] 图20是显示在用户在显示单元210上执行拖动操作后的状态的说明图。如图20 中所示，当用户在显示单元210上执行拖动操作时，显示控制单元234使连接对象框vl3和 目标位置vl4的移动箭头vl5显示在显示单元210上。移动箭头vl5被显示在显示单元 210上，直至对象框vl3到达目标位置vl4。
[0139] 当用户想要改变图像的倍率时，控制器200使用户在显示单元210上执行例如展 开或闭合两个手指的操作，也就是说，所谓的捏拉（pinch)操作。图21是显示用户在显示 单元210上执行捏拉操作的状态的说明图。当用户在所谓的捏拉操作中执行用两个手指触 摸显示单元210的给定点并且在使手指与该点接触的同时在显示单元210上展开或闭合手 指的操作时，控制器200使对象框vl3和目标位置vl4显示在显示单元210上。显示控制 单元234执行显示单元210的显示处理。
[0140] 当用户已在显示单元210上执行捏拉操作时，显示控制单元234决定以两个手指 的中点作为其中心的对象框vl3并且使该对象框显示在显示单元210上。另外，当用户已 在显示单元210上执行捏拉操作时，显示控制单元234基于到从用户的手指开始接触的位 置离开的位置的移动量，决定目标位置vl4,并且使该目标位置显示在显示单元210上。
[0141] 如上所述，已检测到对由成像装置101捕捉并且显示在显示单元210上的图像执 行的用户操作的控制器200使得产生与用户操作对应的飞行指令并且使该飞行指令被发 送给飞行装置100。这里，将更详细地描述由控制器200执行的飞行指令的产生。
[0142] 通过给出图像反馈由控制器200控制飞行装置100的飞行，以使得由成像装置101 捕捉的图像处于用户期望的状态。图22是显示使用图像反馈的飞行装置100的飞行的控 制的说明图。
[0143] 当如图22的左侧所示用户触摸具有触摸面板的显示单元210时，飞行指令产生单 元232检测到该时刻，并且登记以用户用他或她的手指触摸的位置作为中心的预定尺寸的 区域，作为参考图像251。由于在由屏幕上的轻敲操作引起的上述居中处理期间目标位置位 于图像的中央，所以飞行指令产生单元232计算从用户用他的或她的手指触摸的位置到目 标位置的图像移动量。然后，飞行指令产生单元232基于计算的图像移动量计算飞行控制 命令，然后把该命令发送给飞行装置100。
[0144] 在下一帧中，由成像装置101捕捉的图像由于飞行装置100的姿态的变化而变化。 因此，飞行指令产生单元232使用模板匹配在前一帧中的参考图像251的位置附近执行图 像搜索，然后获得与参考图像251的区域最相似的区域的位置，如图22的右侧所示。然后， 飞行指令产生单元232计算从获得的区域的位置到目标位置的移动量，由此再计算飞行控 制命令，然后把命令发送给飞行装置100。重复这个处理，直至参考图像251的区域（或与 参考图像251的区域最相似的区域）足够接近目标位置。
[0145] 在显示单元210上的拖动操作期间，飞行指令产生单元232检测用户用他或她的 手指触摸显示单元210的时刻，然后登记以用户用他或她的手指触摸的位置作为中心的预 定尺寸的区域作为参考图像251。然后，飞行指令产生单元232保持更新用户的手指在最新 图像上的位置作为目标位置，直至用户把他或她的手指与显示单元210分开。然后，当用户 把他或她的手指与显示单元210分开时，飞行指令产生单元232把用户用他或她的手指触 摸的最后位置原样地设置为目标位置。
[0146] 飞行指令产生单元232能够通过改变搜索范围（比例）来执行搜索与参考图像 251最相似的图像。即使参考图像251的区域的尺寸改变，飞行指令产生单元232也能够通 过利用改变的比例执行搜索图像来计算从当前尺寸到目标尺寸的移动量作为位置的控制， 并且把该量转换成飞行控制命令。
[0147] 控制器200能够基于由用户通过触摸显示单元210指定的信息使得产生飞行控 制命令，由此控制飞行装置100的飞行状态。当在控制器200基于用户操作控制飞行装置 100的飞行状态的同时用户新触摸显示单元210的另一点时，控制器能够迅速地替换控制 目标，然后控制飞行装置1〇〇的飞行状态。
[0148] 将描述由成像装置101捕捉的图像上的用户操作和飞行装置100的移动之间的对 应关系。图23至26是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置 100的移动之间的对应关系的例子的说明图。
[0149] 图23显示当用户执行沿左方向移动由成像装置101捕捉的图像的操作时的用户 操作和飞行装置100的移动之间的对应关系。如图23中所示，当用户执行沿左方向移动由 成像装置101捕捉的图像的操作时，控制器200使得产生使飞行装置100水平地顺时针旋 转的飞行控制命令并且随后使得该命令被发送给飞行装置100。
[0150] 当飞行装置100从控制器200接收到使飞行装置水平地顺时针旋转的飞行控制命 令时，控制转子104a至104d的旋转以使得飞行装置在水平地顺时针旋转的同时飞行，如图 23中所示。当如上所述飞行装置100在水平地顺时针旋转的同时飞行时，飞行装置能够按 以用户期望的构图捕捉图像的位置来改变其位置和姿态。
[0151] 图24显示当用户执行沿向下方向移动由成像装置101捕捉的图像的操作时的用 户操作和飞行装置100的移动之间的对应关系。如图24中所示，当用户执行沿向下方向移 动由成像装置101捕捉的图像的操作时，控制器200使得产生使飞行装置100上升的飞行 控制命令并且随后使得该命令被发送给飞行装置1〇〇。
[0152] 当飞行装置100从控制器200接收到使飞行装置上升的飞行控制命令时，控制转 子104a至104d的旋转以使得飞行装置向上飞行，如图24中所示。通过向上飞行，飞行装 置100能够按以用户期望的构图捕捉图像的位置来改变其位置和姿态。
[0153] 图25显示当用户在由成像装置101捕捉的图像上执行捏拉操作以减小图像时的 用户操作和飞行装置100的移动之间的对应关系。如图25中所示，当用户在由成像装置 101捕捉的图像上执行捏拉操作以减小图像时，控制器200使得产生使飞行装置100后退的 飞行控制命令并且随后使得该命令被发送给飞行装置100。要注意的是，这里，在假设成像 装置101所在的一侧是飞行装置100的前方的情况下进行描述。
[0154] 当飞行装置100从控制器200接收到使飞行装置后退的飞行控制命令时，飞行装 置控制转子104a至104d的旋转以向后飞行，如图25中所示。通过如上所述向后飞行，飞行 装置100能够通过捏拉操作，按以用户期望的尺寸捕捉图像的位置来改变其位置和姿态。
[0155] 图26显示当用户在由成像装置101捕捉的图像上执行捏拉操作以放大图像时的 用户操作和飞行装置1〇〇的移动之间的对应关系。如图26中所示，当用户在由成像装置 101捕捉的图像上执行捏拉操作以放大图像时，控制器200使得产生使飞行装置100前进的 飞行控制命令并且随后使得该命令被发送给飞行装置100。要注意的是，这里，在假设成像 装置101所在的一侧是飞行装置100的前方的情况下进行描述。
[0156] 当飞行装置100从控制器200接收到使飞行装置前进的飞行控制命令时，飞行装 置控制转子104a至104d的旋转以向前飞行，如图26中所示。通过如上所述向前飞行，飞行 装置100能够通过捏拉操作，按以用户期望的尺寸捕捉图像的位置来改变其位置和姿态。
[0157] 如上所述，控制器200能够把在由成像装置101捕捉的图像上执行的用户操作转 换成飞行装置100的飞行控制命令，然后把飞行控制命令发送给飞行装置100。另外，飞行 装置100能够根据在由成像装置101捕捉的图像上执行的用户操作改变其位置和姿态。
[0158] 如图12中所示，飞行装置100包括传感器单元130。由于飞行装置100包括传感 器单元130,所以飞行装置能够检测周围障碍物。例如，如果飞行装置100包括超声波传感 器作为传感器单元130,则飞行装置100能够在其飞行期间估计从地板到天花板的距离。另 夕卜，如果例如飞行装置100包括图像传感器作为传感器单元130,则飞行装置100能够基于 使用成像装置101的环境识别，估计到周围墙壁等的距离。
[0159] 另外，考虑这样的情况：当飞行装置基于针对由成像装置101捕捉的图像的用户 操作移动以创建指定的构图时，飞行装置100与周围障碍物接触。在这种情况下，控制器 200可基于从飞行装置100提供的信息使移动限制被显示在显示单元210上。
[0160] 图27是显示构成根据本公开的实施例的成像系统10的控制器200的显示单元 210上显示的信息的例子的说明图。图27显示指示滑动操作的限制的限制范围vl7被显示 在显示单元210上的状态。当通过指定限制范围vl7的内侧来执行滑动时，限制范围vl7 向用户通知：飞行装置100可能与障碍物（诸如，天花板等）碰撞。控制器200能够通过以 闪烁方式显示限制范围vl7来向用户通知：飞行装置100可能与障碍物（诸如，天花板）碰 撞。
[0161] 另外，控制器200可以控制显示单元210的显示以通过使移动箭头vl5以不同于 正常颜色的颜色（例如，红色）闪烁来向用户通知难以改变到期望构图，如图27中所示。
[0162] 飞行装置100中包括的成像装置101能够执行利用变焦透镜的移动的光学变焦、 利用图像转换的数字变焦、或者通过实际接近被摄体或从被摄体后退的变焦。当成像装置 101具有这种变焦功能并且例如如图21中所示通过用户执行捏拉操作来指定构图时，飞行 装置100难以确定哪种变焦功能对于变焦而言更好。
[0163] 因此，通常，飞行装置100能够优选地执行光学变焦以避免由移动引起的碰撞的 风险。然而，由于光学变焦确实在其变焦范围方面具有限制，所以当难以仅使用光学变焦产 生由用户指定的构图时，飞行装置100能够首先操作成像装置101的变焦透镜，然后飞向或 飞离被摄体。
[0164] 另外，考虑这样的情况：在如图22中所示的飞行装置100的飞行控制期间，由于风 等的影响而发生目标尺寸的变动。当发生这种目标尺寸的变动时，飞行装置100执行飞行 控制以使得通过移动来校正目标尺寸的变动。当由成像装置101执行成像的位置变动时， 控制用于校正目标尺寸的变动的飞行控制，由此利用使用变焦的校正来防止增加的相对于 原始位置的变动。换句话说，飞行装置100可在如图21中所示明确地指定尺寸的变化时使 用光学变焦实现尺寸的变化，或者对于其它控制可通过移动来调整它的位置。
[0165] 为了进一步方便飞行装置100的飞行控制，可由控制器200产生使飞行装置100 仅沿一个方向移动的飞行控制命令。例如，当在上述例子中使用户轻敲显示单元210 -次 时，控制器200执行使得轻敲的位置位于捕捉的图像的中央的、使用图像反馈的飞行装置 100的飞行控制。
[0166] 然而，各种操作（诸如，以下示出的操作）可被提供给用户以进一步方便飞行装置 100的飞行控制。例如，当使用户轻敲显示单元210 -次并且随后使用户从轻敲的位置执行 拖动操作时，控制器200能够执行使得飞行装置100执行偏航轴旋转的飞行控制。
[0167] 图28是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的例子的说明图。图28显示当使用户轻敲显示单元210并且随后从 轻敲的位置执行拖动操作时的例子。
[0168] 如图28中所示，基于成像装置101和轻敲的物体的三维位置，获得这样的坐标系： 物体的中心被设置为原点，成像装置的光轴的朝向被设置为X轴，并且与X轴正交的两个轴 被设置为Y轴和Z轴。当使用户轻敲显示单元210 -次并且随后从轻敲的位置执行拖动操 作时，控制器200能够执行飞行控制以使得飞行装置100在该坐标系中围绕Z轴执行偏航 轴旋转。因此，飞行装置100的操纵变得更容易，并且当飞行装置100围绕物体飞行时，由 成像装置101捕捉图像，并且飞行装置100能够捕捉具有全景成像的效果的图像。
[0169] 另外，当使用户轻敲显示单元210 -次并且随后从轻敲的位置执行捏拉操作时， 控制器200能够执行飞行控制以使得飞行装置100飞向或飞离被摄体。
[0170] 图29是显示针对由成像装置101捕捉的图像执行的用户操作和飞行装置100的 移动之间的对应关系的另一例子的说明图。图29显示当使用户轻敲显示单元210 -次并 且随后在轻敲的位置执行捏拉操作时的例子。
[0171] 如图29中所示，当使用户轻敲显示单元210 -次并且随后在轻敲的位置执行捏拉 操作时，控制器200能够执行飞行控制以使得飞行装置100沿着X轴向前或向后飞行。以 与图28中相同的方式，基于成像装置101和轻敲的物体的三维位置决定在这种情况下的坐 标系。通过在飞行装置100如上所述飞行的同时利用成像装置101捕捉图像，飞行装置100 能够以用户期望的尺寸捕捉被摄体的图像。
[0172] 如上所述，根据本公开的实施例的成像系统10使用户通过控制器200在由飞行装 置100中包括的成像装置101捕捉的图像上执行操作，而非执行飞行装置100的直接操纵。 基于针对由成像装置101捕捉的图像执行的操作，控制器200使得产生飞行装置100的飞 行控制命令，然后基于产生的飞行控制命令控制飞行装置100的飞行。
[0173] 以这种方式，通过经控制器200在由飞行装置100中包括的成像装置101捕捉的 图像上执行操作，即使当用户对操控飞行装置1〇〇不熟练时，用户也能够享受操控飞行装 置100。另外，通过使用飞行装置100中包括的成像装置101捕捉图像，用户能够容易地捕 捉航拍图像。
[0174] 根据本公开的实施例的成像系统10能够允许用户非常容易地操控飞行装置100。 另一方面，当使用飞行装置100执行成像时，用户不必握住照相机，并且考虑由于意外干扰 (诸如，突然的一阵风等）而难以按照用户意图控制飞行装置100的情况。当难以按照用户 意图控制飞行装置100时，可能存在与环境元素（诸如，人、墙壁、天花板等）碰撞的风险。
[0175] 考虑到这种情况，构成根据本公开的实施例的成像系统10的飞行装置100包括如 图12中所示的警报发出单元140。当飞行装置100尝试飞行超出预设的飞行范围时，警报 发出单元140基于控制单元110的控制使用声音、光等产生警报。当飞行装置100尝试飞 行超出预设的飞行范围时，警报发出单元140产生警报，由此飞行装置100能够自动警告用 户或附近的人。
[0176] 图30是显示位于以初始位置20作为其中心的预定飞行范围21内部的飞行装置 100的状态的说明图。当在这种状态下发生意外干扰（诸如，突然的一阵风等）时，存在飞 行装置100飞行超出飞行范围21的担心。图31是显示飞行装置100尝试飞行超出以初始 位置20作为其中心的预定飞行范围21的状态的说明图。
[0177] 这里，可通过控制单元110比较例如由飞行装置100中包括的位置信息获取单元 132获取的位置信息与由控制器200中包括的位置信息获取单元240获取的位置信息，来 确定是否超出了预设的飞行范围。当基于位置信息的比较进行确定时，能够执行飞行装置 100和控制器200之间的位置信息的定期发送和接收。
[0178] 当即使警报发出单元140已产生警报但经过另一预定时间段而未从由用户操纵 的控制器200发送指令时，飞行装置100能够通过控制电机108a至108d的旋转以使转子 104a至104d的旋转变慢或停止来自动着陆。由控制单元110确定在警报发出单元140已 产生警报之后是否已从控制器200发送了指令。图32是显示当即使在警报发出单元140已 产生警报之后仍未从控制器200发送指令时飞行装置100尝试自动着陆的状态的说明图。
[0179] 如上所述，即使当由于用户的操控错误或意外干扰（诸如，突然的一阵风等）而发 生难以按照用户意图控制飞行装置100的情况时，飞行装置100也能够通过发出该装置已 超出它的预设飞行范围的警报来警告附近的人。另外，当即使在已发出警报时也未从控制 器200给出指令时，飞行装置100能够执行自动着陆，以避免与人或环境元素的碰撞。利用 如上所述的操作，飞行装置100能够显著减小与人或环境元素碰撞的可能性。
[0180] 由于飞行装置100包括成像装置101，所以根据本公开的实施例的成像系统10能 够实现这样的操作：使飞行装置100从用户的手掌起飞，利用成像装置101执行成像，然后 使飞行装置100自动返回到用户。以下，将描述飞行装置100的这种操作。
[0181] 图33是显示使用根据本公开的实施例的成像系统10使飞行装置100执行自动从 用户起飞、成像和返回到用户的操作的概要的说明图。如图33中所示，当位于用户手中的 飞行装置100最初基于例如来自控制器200的起飞指令开始起飞时，飞行装置自动飞行到 能够以预设构图对用户的外表成像的位置。然后，在执行按设置的构图对用户的成像之后， 飞行装置100自动返回到用户。
[0182] 由于飞行装置100如上所述飞行，所以即使在例如难以设置三脚架的场所，根据 本公开的实施例的成像系统10也能够使用飞行装置100捕捉与使用三脚架捕捉的图像相 似的图像。
[0183] 存在用于实现如上所述的自动飞行、成像和返回的各种技术，但在以下的描述中， 将公开一种基于图像识别实现自动飞行、成像和返回的技术。
[0184] 图34是显示根据本公开的实施例的成像系统10的操作例子的流程图。图34的 附图是当执行基于图像识别的飞行装置100的自动飞行、成像和返回时的成像系统10的操 作例子。以下，将使用图34描述根据本公开的实施例的成像系统10的操作例子。
[0185] 首先，用户在成像系统10中设置期望构图（步骤S201)。成像系统10存储在步骤 S201中设置的构图（步骤S202)。各种方法能够被用于设置构图，但用于设置构图的方法 的例子如下。例如，成像系统10可通过允许用户触摸显示单元210以指定面部的期望位置 和大小来允许用户设置构图。
[0186] 另外，成像系统10可使在步骤S201中设置的构图被存储在飞行装置100或控制 器200中的任何一个中。另外，成像系统10可使在步骤S201中设置的构图被存储在另一 装置（例如，连接到互联网的外部服务器装置）中，而非存储在飞行装置100或控制器200 中的任何一个中。
[0187] 当在成像系统10中设置了期望构图时，用户随后使成像系统10记住作为利用成 像装置101捕捉图像的成像目标的面部（步骤S203)。成像系统10创建用于使用由成像装 置101捕捉的面部的图像来识别面部的面部识别字典（步骤S204)。
[0188] 成像系统10可在飞行装置100或控制器200中的任何一个中创建面部识别字典。 另外，成像系统10可使创建的面部识别字典存储在另一装置（例如，连接到互联网的外部 服务器装置）中，而非存储在飞行装置100或控制器200中的任何一个中。
[0189] 当用户已使成像系统10记住成像目标的面部时，用户随后操纵控制器200以使飞 行装置100起飞（步骤S205)。已起飞的飞行装置100在利用成像装置101捕捉图像的同 时飞行。然后，飞行装置100在控制它的位置的同时飞行，以使得由成像装置101捕捉的图 像中的面部的存储的位置和大小满足由用户设置的构图（步骤S206)。
[0190] 能够根据例如存储的面部是否被包括在由成像装置101捕捉的图像中执行步骤 S206中的位置的控制，或者如果包括存储的面部，则根据该面部的位置和大小以及由用户 指定的位置和大小之间的关系执行步骤S206中的位置的控制。
[0191] 当飞行装置100确定由成像装置101捕捉的图像中的面部的存储的位置和大小满 足由用户设置的构图时，成像装置101捕捉该图像（步骤S207)。
[0192] 当在步骤S207中捕捉了图像时，飞行装置100在执行位置控制以使得由成像装 置101捕捉的图像中存储的面部位于近距离并且位于其前侧的同时飞行，以便返回到用户 (步骤S208)。能够以与步骤S206中的位置控制相同的方式执行步骤S208中的位置控制。
[0193] 当飞行装置100足够接近用户时，用户在飞行装置100下方伸出他或她的手掌 (步骤S209)。当飞行装置100使用传感器单元130检测到用户的手掌伸出时，飞行装置逐 渐减慢转子l〇4a至104d的旋转，并且着陆在用户的伸出的手掌上（步骤S210)。
[0194] 利用上述飞行装置100和控制器200的操作，根据本公开的实施例的成像系统10 能够实现飞行装置100的自动飞行、成像和返回。通过如上所述使飞行装置100飞行，根据 本公开的实施例的成像系统10能够表现出这样的效果：即使在例如难以设置三脚架的地 点，也能够使用飞行装置100捕捉与使用三脚架捕捉的图像相似的图像。
[0195] 图35至38是显示基于图像识别的飞行装置100的位置和姿态的控制例子的说明 图。图35显示这样的情况：由成像装置101捕捉的图像中存储的面部位置v21被设置为沿 着X轴与由用户设置的面部位置v22分离。当面部位置v21的坐标被设置为Xf并且面部 位置v22的坐标被设置为Xt时，利用下面的公式获得每单位时间的飞行装置100的移动量 V Θ。
[0196] V θ =Κ θ X (Xf-Xt)
[0197] 其中Κ Θ是系数。
[0198] 图36显示这样的情况：由成像装置101捕捉的图像中存储的面部位置v21被设置 为沿着Y轴与由用户设置的面部位置V22分开。当面部位置V21的坐标被设置为Yf并且 面部位置v22的坐标被设置为Yt时，利用下面的公式获得每单位时间的飞行装置100的移 动量Vy。
[0199] Vy=KyX (Yf-Yt)
[0200] 其中Ky是系数。
[0201] 图37显示这样的情况：由成像装置101捕捉的图像中存储的面部位置v21的面部 朝向不同于由用户设置的面部朝向。当面部位置v21的面部朝向被设置为0f并且由用户 设置的面部朝向被设置为Θ t时，利用下面的公式获得每单位时间的飞行装置100的移动 量Vx。
[0202] Vx=Kx X ( Θ f- Θ t)
[0203] 其中Kx是系数。
[0204] 图38显示这样的情况：由成像装置101捕捉的图像中存储的面部位置v21的面部 大小不同于由用户设置的面部位置v22的面部大小。当面部位置v21的面部大小被设置为 Syf并且由用户设置的面部大小被设置为Syt时，利用下面的公式获得每单位时间的飞行 装置100的移动量Vz。
[0205] Vz=Kz X (Syf-Syt)
[0206] 其中Kz是系数。
[0207] 如上所述，根据本公开的实施例的成像系统10能够通过识别由成像装置101捕捉 的图像来控制飞行装置1〇〇的位置和姿态。
[0208] 虽然在上述例子中实现基于图像识别的飞行装置100的自动返回，但本公开不限 于此。例如，通过比较由飞行装置100的位置信息获取单元132获取的位置信息与由控制 器200的位置信息获取单元240获取的位置信息，飞行装置100可执行接近控制器200的 位置的飞行控制。当基于通过比较位置信息进行的确定来实现飞行装置100的返回时，能 够在飞行装置100和控制器200之间执行位置信息的定期发送和接收。
[0209] 〈2.结论〉
[0210] 根据上述本公开的实施例，提供能够利用简单的操作来操控利用多个转子飞行的 飞行装置100的控制器200。控制器200使得显示由布置在飞行装置100中的成像装置 101捕捉的图像，并且把由用户针对所述图像执行的操作转换成用于操控飞行装置100的 命令。
[0211] 根据本公开的实施例的控制器200把用户针对由成像装置101捕捉的图像执行的 操作转换成用于操控飞行装置100的命令，然后把命令发送给飞行装置100。因此，根据本 公开的实施例的控制器200能够使用户利用直观的操作来操控飞行装置100。
[0212] 虽然已在上述实施例中举例说明了通过结合控制器200和飞行装置100获得的成 像系统10,但本公开当然不限于此。例如，即使当难以把控制器200与飞行装置100结合在 一起时，例如智能电话、平板型移动终端等也可用作控制器200。
[0213] 不必按照如序列图或流程图描述的次序按照时间顺序执行由本说明书的各个装 置执行的处理的各个步骤。例如，可按照与如流程图描述的次序不同的次序执行由各个装 置执行的处理的各个步骤，或者可并行地执行由各个装置执行的处理的各个步骤。
[0214] 另外，还能够创建用于使安装在各个装置中的硬件（诸如，CPU、ROM和RAM)表现 出与上述各个装置的功能等同的功能的计算机程序。另外，还能够提供存储有这种计算机 程序的存储介质。另外，通过把功能框图中示出的各个功能框构成为硬件，还能够使用硬件 实现一系列处理。
[0215] 以上，虽然已参照附图详细描述了本公开的优选实施例，但本公开不限于此。很明 显地，具有本公开所属【技术领域】的一般知识的人能够在权利要求中描述的技术主旨的范围 内想出各种变型例或修正例，并且应该理解，这种例子当然也属于本公开的技术范围。
[0216] 例如，虽然在上述实施例中显示由布置在飞行装置100中的成像装置101捕捉的 图像并且用户针对该图像执行的操作被转换成用于操控飞行装置100的命令，但本公开不 限于此。当成像装置101具有例如平摇功能或倾斜功能时，控制器200可把用户针对由成像 装置101捕捉的图像执行的操作转换成用于成像装置101的平摇操作或倾斜操作的命令， 然后把命令发送给飞行装置100。
[0217] 另外，控制器200可以控制飞行装置100以便能够通过组合从用户针对由成像装 置101捕捉的图像执行的操作产生的用于操控飞行装置100的命令与用于成像装置101的 平摇操作或倾斜操作的命令来捕捉用户期望的图像。
[0218] 另外，本技术也可如下构成。
[0219] (1) 一种控制装置，包括：
[0220] 图像显示单元，被构造为从飞行体获取由设置在飞行体中的成像装置捕捉的图像 并且显示该图像；和
[0221] 飞行指令产生单元，被构造为基于针对由成像装置捕捉并且由图像显示单元显示 的图像执行的操作的内容，产生飞行体的飞行指令。
[0222] (2)如（1)所述的控制装置，其中所述飞行指令产生单元基于针对显示由成像装 置捕捉的图像的图像显示单元执行的操作的内容，产生飞行体的飞行指令。
[0223] (3)如（2)所述的控制装置，其中所述飞行指令产生单元产生用于使成像装置以 与针对图像显示单元执行的操作对应的构图执行成像的飞行体的飞行指令。
[0224] (4)如⑶所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围位于由成像装置捕捉的图像的中央的飞行体的飞 行指令。
[0225] (5)如⑶所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围位于由成像装置捕捉的图像中的用户期望的位置 的飞行体的飞行指令。
[0226] (6)如⑶所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围在由成像装置捕捉的图像中具有用户期望的大小 的飞行体的飞行指令。
[0227] (7)如⑶所述的控制装置，还包括：
[0228] 显示控制单元，被构造为控制图像显示单元的显示，
[0229] 其中所述显示控制单元使图像显示单元显示直至飞行体位于使成像装置能够以 与针对图像显示单元执行的操作对应的构图执行成像的位置之前的移动路线。
[0230] (8)如（3)所述的控制装置，其中当针对图像显示单元执行的操作是放大图像的 操作时，飞行指令产生单元产生指示飞行体前进的飞行指令。
[0231] (9)如（8)所述的控制装置，其中所述放大图像的操作是针对图像显示单元执行 的捏拉操作。
[0232] (10)如⑶所述的控制装置，其中当针对图像显示单元执行的操作是缩小图像的 操作时，飞行指令产生单元产生指示飞行体后退的飞行指令。
[0233] (11)如（10)所述的控制装置，其中所述缩小图像的操作是针对图像显示单元执 行的捏拉操作。
[0234] (12)如⑶所述的控制装置，其中当针对图像显示单元执行的操作是使图像滑动 的操作时，飞行指令产生单元产生指示飞行体沿水平方向移动的飞行指令。
[0235] (13)如⑶所述的控制装置，其中当针对图像显示单元执行的操作是把指定的位 置设置在图像的中央的操作时，飞行指令产生单元产生指示飞行体移动以使得由成像装置 捕捉的图像的中央位于该指定的位置的飞行指令。
[0236] (14)如（13)所述的控制装置，其中所述把指定的位置设置在图像的中央的操作 是针对图像显示单元执行的轻敲操作。
[0237] (15)如⑴所述的控制装置，其中在飞行体基于由飞行指令产生单元产生的飞行 指令移动的同时，图像显示单元显示至目标位置的飞行体的路径。
[0238] (16)如（1)所述的控制装置，其中所述图像显示单元在针对图像显示单元执行的 操作中以叠加方式在图像上显示飞行体能够移动的界限范围。
[0239] (17) -种控制方法，包括：
[0240] 从飞行体获取由设置在飞行体中的成像装置捕捉的图像并且显示该图像；以及
[0241] 把针对由成像装置捕捉并且在显示的步骤中显示的图像执行的操作的内容转换 成飞行体的飞行指令。
[0242] (18) -种计算机程序，使计算机执行：
[0243] 从飞行体获取由设置在飞行体中的成像装置捕捉的图像并且显示该图像；以及
[0244] 把针对由成像装置捕捉并且在显示的步骤中显示的图像执行的操作的内容转换 成飞行体的飞行指令。
【权利要求】
1. 一种控制装置，包括： 图像显示单元，被构造为从飞行体获取由设置在飞行体中的成像装置捕捉的图像并且 显示该图像；和 飞行指令产生单元，被构造为基于针对由成像装置捕捉并且由图像显示单元显示的图 像执行的操作的内容，产生飞行体的飞行指令。
2. 如权利要求1所述的控制装置，其中所述飞行指令产生单元基于针对显示由成像装 置捕捉的图像的图像显示单元执行的操作的内容，产生飞行体的飞行指令。
3. 如权利要求2所述的控制装置，其中所述飞行指令产生单元产生用于使成像装置以 与针对图像显示单元执行的操作对应的构图执行成像的飞行体的飞行指令。
4. 如权利要求3所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围位于由成像装置捕捉的图像的中央的飞行体的飞 行指令。
5. 如权利要求3所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围位于由成像装置捕捉的图像中的用户期望的位置 的飞行体的飞行指令。
6. 如权利要求3所述的控制装置，其中所述飞行指令产生单元产生指示使在针对图像 显示单元执行的操作中指定的预定范围在由成像装置捕捉的图像中具有用户期望的大小 的飞行体的飞行指令。
7. 如权利要求3所述的控制装置，还包括： 显示控制单元，被构造为控制图像显示单元的显示， 其中所述显示控制单元使图像显示单元显示直至飞行体位于使成像装置能够以与针 对图像显示单元执行的操作对应的构图执行成像的位置之前的移动路线。
8. 如权利要求3所述的控制装置，其中当针对图像显示单元执行的操作是放大图像的 操作时，飞行指令产生单元产生指示飞行体前进的飞行指令。
9. 如权利要求8所述的控制装置，其中所述放大图像的操作是针对图像显示单元执行 的捏拉操作。
10. 如权利要求3所述的控制装置，其中当针对图像显示单元执行的操作是缩小图像 的操作时，飞行指令产生单元产生指示飞行体后退的飞行指令。
11. 如权利要求10所述的控制装置，其中所述缩小图像的操作是针对图像显示单元执 行的捏拉操作。
12. 如权利要求3所述的控制装置，其中当针对图像显示单元执行的操作是使图像滑 动的操作时，飞行指令产生单元产生指示飞行体沿水平方向移动的飞行指令。
13. 如权利要求3所述的控制装置，其中当针对图像显示单元执行的操作是把指定的 位置设置在图像的中央的操作时，飞行指令产生单元产生指示飞行体移动以使得由成像装 置捕捉的图像的中央位于该指定的位置的飞行指令。
14. 如权利要求13所述的控制装置，其中所述把指定的位置设置在图像的中央的操作 是针对图像显示单元执行的轻敲操作。
15. 如权利要求1所述的控制装置，其中在飞行体基于由飞行指令产生单元产生的飞 行指令移动的同时，图像显示单元显示至目标位置的轨迹。
16. 如权利要求1所述的控制装置，其中所述图像显示单元在针对图像显示单元执行 的操作中以叠加方式在图像上显示飞行体能够移动的界限范围。
17. -种控制方法，包括： 从飞行体获取由设置在飞行体中的成像装置捕捉的图像并且显示该图像；以及 把针对由成像装置捕捉并且在显示的步骤中显示的图像执行的操作的内容转换成飞 行体的飞行指令。
【文档编号】G05D1/12GK104111659SQ201410145463
【公开日】2014年10月22日 申请日期:2014年4月11日 优先权日:2013年4月19日
【发明者】佐部浩太郎, 川浪康範, 河本献太, 泽田务, 清水悟, M·杜尔, 山本祐辉 申请人:索尼公司