摄像方法与流程

[0001]
本发明涉及一种摄像方法，尤其涉及一种利用多个飞行器对被摄物体进行拍摄的摄像方法。


背景技术：

[0002]
近年来，利用以用于各种用途的无人机(drone)为代表的无人飞行器(uav:unmanned aerial vehicle)等飞行器和旋翼机(以下，总称为“飞行器”)来提供各种服务。
[0003]
另一方面，在专利文献1中，公开了一种系统，其通过使多个飞行器协同作业来实现特定目的(气体检测)。
[0004]
在先技术文献
[0005]
专利文献
[0006]
专利文献1：日本特开2016-200700号公报


技术实现要素：

[0007]
专利文献1中的飞行装置是通过多个飞行器的传感器来检测特定区域内气体泄漏的技术。
[0008]
本发明提供一种系统，其通过使多个飞行器协同作业来实现新功能。
[0009]
根据本发明，
[0010]
一种摄像方法，
[0011]
具体是一种通过具备摄像部的多个飞行器对被摄物体进行拍摄的摄像方法，其包括以下步骤：
[0012]
排序步骤，对所述飞行器中的每一个设置预定的排序；
[0013]
控制步骤，基于所述排序进行控制；
[0014]
以及摄像步骤，通过所述控制使所述飞行器移动的同时，通过所述摄像部对所述目标物进行拍摄。
[0015]
发明效果
[0016]
根据本发明，可以获得一种使多个飞行器协同作业的新的航空摄影方法。
附图说明
[0017]
图1是本发明的摄像系统的结构图。
[0018]
图2是表示图1中管理端末的构成的功能框图。
[0019]
图3是表示图1中飞行器的构成的功能框图。
[0020]
图4是本发明的摄像系统的另一结构图。
[0021]
图5是示出图4构成中的信息移动的图。
[0022]
图6是示出使用图1的系统的各个飞行器的控制的图。
[0023]
图7是示出使用图1的系统的各个飞行器的控制的另一图。
[0024]
图8是示出使用图1的系统的各个飞行器的控制的又一图。
具体实施方式
[0025]
将列举本发明的实施方式的内容进行说明。根据本发明中实施方式的摄像方法具备以下构成。
[0026]
[项目1]
[0027]
一种摄像方法，具体是一种通过具备摄像部的多个飞行器对被摄物体进行拍摄的摄像方法，
[0028]
其包括以下步骤：
[0029]
排序步骤，对所述飞行器中的每一个设置预定的排序；
[0030]
控制步骤，基于所述排序进行控制；
[0031]
以及摄像步骤，通过所述控制使所述飞行器移动的同时，通过所述摄像部对所述目标物进行拍摄。
[0032]
[项目2]
[0033]
根据项目1所述的摄像方法，
[0034]
在摄像方法中，
[0035]
所述排序步骤还具备以下步骤：
[0036]
从多个所述飞行器中设定母机和至少一个以上的子机；
[0037]
所述子机根据所述母机的飞行状态来控制飞行。
[0038]
[项目3]
[0039]
根据项目1所述的摄像方法，
[0040]
在摄像方法中，
[0041]
所述排序步骤还具备以下步骤：
[0042]
从多个所述飞行器中设定多个母机和与一个所述母机相对应的至少一个以上的子机；
[0043]
所述子机根据所述母机的飞行状态来控制飞行。
[0044]
[项目4]
[0045]
根据项目1所述的摄像方法，
[0046]
在摄像方法中，
[0047]
所述排序步骤还具备以下步骤：
[0048]
对多个所述飞行器设定相同的排序；
[0049]
所述飞行器中的每一个根据彼此的飞行状态来控制飞行。
[0050]
[项目5]
[0051]
根据项目2至4中任意一项所述的摄像方法，
[0052]
在摄像方法中，
[0053]
所述排序步骤还具备以下步骤：
[0054]
第1排序步骤，其将所述飞行器的排序设定为第1状态，
[0055]
以及第2排序步骤，其将所述飞行器的排序设定为不同于所述第1状态的第2状态。
[0056]
[项目6]
[0057]
根据项目1至5中任意一项所述的摄像方法，
[0058]
摄像方法具备以下步骤：
[0059]
接受对多个所述飞行器中至少一个以上的飞行器的操作，
[0060]
根据所述操作来控制所述飞行器。
[0061]
[项目7]
[0062]
根据项目1至6中任意一项所述的摄像方法，
[0063]
在摄像方法中，
[0064]
所述摄像步骤根据多个所述飞行器的相对位置来控制移动。
[0065]
[项目8]
[0066]
根据项目1至7中任意一项所述的摄像方法，
[0067]
在摄像方法中，
[0068]
所述摄像步骤根据多个所述飞行器的移动路径来控制移动。
[0069]
[项目9]
[0070]
根据项目1至8中任意一项所述的摄像方法，
[0071]
在摄像方法中，
[0072]
所述摄像步骤根据一个所述飞行器的所述摄像部的朝向来控制其他所述飞行器的飞行。
[0073]
[项目10]
[0074]
根据项目1至9中任意一项所述的摄像方法，
[0075]
在摄像方法中，
[0076]
所述摄像步骤根据一个所述飞行器的所述摄像部的启动状态来控制其他所述飞行器的飞行。
[0077]
[项目11]
[0078]
根据项目10所述的摄像方法，
[0079]
在摄像方法中，
[0080]
所述摄像步骤根据一个所述飞行器的所述摄像部的摄像范围来控制其他所述飞行器的飞行。
[0081]
[项目12]
[0082]
根据项目1至11中任意一项所述的摄像方法，
[0083]
在摄像方法中，
[0084]
所述摄像步骤根据一个所述飞行器的所述摄像部的摄像范围来控制其他所述飞行器的飞行。
[0085]
<本发明的实施方式的细节>
[0086]
下面，将参照附图对本发明的实施方式的摄像方法进行说明。另外，以下所示的实施方式仅仅是示例，根据其用途、目的或规模等，可以采用其他已知的要素或替代方案。
[0087]
<本发明的构成>
[0088]
如图1所示，将本发明的摄像方法具体化的摄像系统具有管理端末10、中继器20、飞行器30m和飞行器30s(有时也将飞行器30m和飞行器30s统称为“飞行器30”)。为了便于说明，图中示出的飞行器的数量为3台，但是台数并没有限定。
[0089]
各个飞行器30m、飞行器30s的飞行信息(后述)通过中继器20发送到管理端末10。另外，在本实施方式中，飞行器30和管理端末10经由中继器20连接，但是飞行信息也可以直接从飞行器30发送到管理端末10。此外，可以通过使一个飞机器起到所谓的枢纽作用等，从而将其他所有飞行器的飞行信息集中地发送到管理端末10。
[0090]
<硬件构成：管理端末>
[0091]
图2是示出管理端末10的硬件构成的图。另外，图中所示的构成是示例，也可以具有除此之外的其他构成。
[0092]
如图所示，管理端末10连接到数据库3并构成系统的一部分。管理端末10可以是例如工作站或个人计算机那样的通用计算机，或者也可以通过云计算在逻辑上实现。
[0093]
管理端末10至少具备处理器10、内存11、存储器12、发送接收部13、输入输出部14等，并且它们通过总线15彼此电气连接。
[0094]
处理器10控制整个管理端末10的操作，是控制各个要素之间的数据的发送和接收，并且为执行和认证处理应用程序而进行所需信息处理等的运算装置。例如，处理器10是cpu(central processing unit)，并且通过执行存储在存储器12中并且在内存11中扩展的程序等来执行各个信息处理。
[0095]
内存11包括由dram(dynamic random access memory)等易失性存储装置构成的主存储器和由闪存和hdd(hard disc drive)等非易失性存储装置所构成的辅助存储器。内存11用作处理器10的工作区域等，并且还存储在启动管理端末10时所执行的bios(basic input/output system)、以及各种设定信息等
[0096]
存储器12存储应用程序等各种程序。也可以在存储器12中建立存储用于各个处理的数据的数据库。
[0097]
发送接收部13也可以将管理端末10连接到网络。另外，发送接收部13也可以具备bluetooth(注册商标)和ble(bluetooth low energy)的近距离通信接口。
[0098]
输入输出部14是键盘和鼠标类等信息输入设备、以及显示器等输出设备。
[0099]
总线15与上述各个要素共同连接，并发送例如地址信号、数据信号和各种控制信号。
[0100]
<硬件构成：飞行器>
[0101]
本实施方式中的飞行器30有时被称为无人机(drone)、多轴直升机(multi copter)、无人飞行器(unmanned aerial vehicle:uav)、rpas(remote piloted aircraft systems)、或uas(unmanned aircraft systems)等。
[0102]
飞行器30具有图3所示的功能块。另外，图2中的功能块是最低限度的参考构成。
[0103]
飞行控制器是所谓的处理单元。处理单元可以具有可编程处理器(例如，中央处理单元(cpu))等一个以上的处理器。处理单元具有内存22，并且可以访问该内存。内存22存储为了执行一个以上的步骤而由处理单元执行的逻辑、代码和/或程序指令。内存可以包括例如sd卡或随机存取存储器(ram)等可分离介质或外部存储装置。从摄像机和传感器类27获取的数据可以直接发送并存储在内存22中。例如，由摄像机等拍摄的静止图像
·
视频数据被记录在内置内存或外部内存中。
[0104]
处理单元包括被配置为控制飞行器状态的控制模块。例如，控制模块为了调节具有6个自由度(并行运动x，y和z，以及旋转运动θx、θy和θz)的飞行器的空间配置、速度和/或
加速度，控制飞行器的推进机构(电机等)。控制模块可以控制搭载部、传感器类的状态中的一种以上。
[0105]
处理单元可以与被配置为从一个以上的外部设备(例如，端末、显示装置或其他远程控制器)发送和/或接收数据的发送接收部通信。发送接收部可以使用有线通信或无线通信等任意合适的通信方式。例如，发送接收部可以使用局域网(lan)、广域网(wan)、红外线、无线、wifi、点对点(p2p)网络、电信网络、云通信等中的一种以上。发送接收部可以发送和/或接收由传感器类获取的数据、由处理单元生成的处理结果、预定的控制数据、来自端末或远程控制器的用户命令等中的一个以上。
[0106]
根据本实施方式的传感器类可以包括惯性传感器(加速度传感器、陀螺仪传感器)、gps传感器、接近传感器(例如，激光)、或者视觉/图像传感器(例如，摄像机)。
[0107]
<硬件构成：中继器>
[0108]
在本实施方式中，中继器20设置在飞行器30和管理端末10之间。即，表示从各个飞行器30输入到管理端末10的飞行状态的信号和从管理端末10输出到各个飞行器30的控制信号全部经由中继器20发送。然而，本实施方式的构成并不受限于此。例如，(部分或全部的)飞行器30和管理端末10可以直接进行通信。此外，通信方式并不受限于基于ip的计算机网络，也可以适用于移动电话和智能手机等的运营商网络(可以使用4g-lte、5g等的通信方式等)和lpwa网络(sigfox、lora(lora wan)、wi-fi halow、wi-sun、rpma、flexnet、im920、cat.m1、cat.nb1等标准)的频段(单独或组合使用)。
[0109]
<数据：飞行信息>
[0110]
在本实施方式中，作为从飞行器获得的数据，包括能够从位置信息、高度信息、速度信息、电池剩余电量、信号强度、摄像机图像信息、摄像机方向、放大/缩小等飞行器30所具备的传感器获取的所有数据。
[0111]
此外，各个飞行器30具有与自身排序(主从)相关的信息。排序较低的飞行器30根据排序较高的飞机器30飞行，而从属飞行器30根据主飞行器30飞行。另外，排序由用户来设定。此外，它可以从一开始就被固定，或者也可以通过某些触发条件来改变或者由用户手动改变。
[0112]
<控制示例1>
[0113]
下面，参照图4和图5对根据本实施方式的飞行的控制示例1进行说明。在本控制示例中，如图4所示，将飞行器30m作为母机、将2个飞行器30s作为子机进行排序。
[0114]
此外，在图中示出的示例中，飞行器30m由用户使用无线电遥控器等手动飞行。控制飞行器30s以使其根据飞行器30m保持等距离。换句话说，飞行器30m和飞行器30s在维持初始的三维相对位置关系的状态下，可以作为一组飞行。下面，在说明时，将“飞行器30m”称为“母机30m”，将“飞行器30s”称为“子机30s”。
[0115]
更具体地说，如图5所示，用户通过手边的无线电遥控器来控制母机30m。通过这种控制，控制信号从无线电遥控器发送到母机30m(sq01)的同时，与移动相关的坐标信息经由中继器20输入到端末10(sq02，sq03)。管理端末10生成用于向子机30s_1和子机30s_2发送的信号，并且作为飞行指令(sq04)经由中继器20(进而，经由子机30s_1和子机30s_2的无线电遥控器)将控制信号发送给各个子机30s_1和子机30s_2(sq05_1和sq05-2)。
[0116]
另外，在本实施方式的飞行器30的控制中，与施加给母机30m的移动控制相同的控
制也适用于子机30s。然而，子机30s的移动量不一定与母机30m完全相同。例如，也可以通过在母机30m的移动量上附加预定参数并进行控制，根据子机的移动量的增加/减少、基于母机的移动量而应用预定的移动参数等、基于母机的移动量和位置信息来读取并计算一些标准，从而进行子机的移动控制。
[0117]
如图6所示，通过上述控制信号，操作母机30m从初始位置p00移动到p01。此时，如果将母机30m的初始位置p00处的空间坐标表示为(x0，y0，z0)，则用户移动后的位置坐标可以表示为p01(xa，yb，zc)。另外，从初始位置p00到移动目的地p01的坐标变化量为(+a，+b，+c)。
[0118]
当母机30m以这种方式移动时，接收到控制信号的子机30s_1从初始位置p10(xα，yβ，zγ)移动到p11(xα+a，yβ+b，zγ+c)。此外，子机30s_2从初始位置p20(xp，yq，zr)移动到p21(xp+a，yq+b，zr+c)。
[0119]
根据这样的配置，用户可以通过仅仅控制母机就能够在维持初始状态下的母机和子机的相对位置关系的状态下进行拍摄。另外，作为根据本实施方式的子机的控制方法的见解，也对子机进行与母机的控制相同控制的路径规划。此外，子机30s_1和子机30s_2几乎没有延迟地以相同的时间进行母机30m的移动控制，但是也可以设定预定的时间差，或者也可以改变飞行速度。
[0120]
<控制2>
[0121]
接下来，参照图7对另一控制示例进行说明。与上述示例相同，在本控制示例中，母机30m也是通过手动进行控制的。如图所示，母机30m移动，以便根据该移动将滑雪者的左侧从后方(p00)移动到前方(p01)。
[0122]
与此相应地，子机30s根据该移动与母机30m对称地将滑雪者的右侧从后方(p00)移动到前方(p01)。
[0123]
<控制3>
[0124]
在上述控制2的控制示例中，根据母机30m和子机30s的高度以及摄像机的朝向，可能会拍摄到对面的飞行器。因此，例如，当移动母机30m时，子机位于移动目的地处的拍摄范围内的情况下，执行控制以使该子机移动到拍摄范围之外。
[0125]
具体而言，如图8所示，以利用飞行器30m和飞行器30s拍摄滑雪者a和b的情况为例进行说明。在本控制示例中，各个飞行器30由不同的用户手动控制。当多个用户以这种方式操作飞行器时，各个用户很难在考虑另一个飞行器30的同时进行拍摄。
[0126]
如图所示，当试图将用于拍摄滑雪者a的飞行器30m从p01移动到p02时，并且试图将用于拍摄滑雪者b的飞行器30s从p10移动到p11时，则在飞行器30m移动之后的p02位置处，有可能将位于p11处的飞行器30s拍摄至该飞行器30m的拍摄范围v内。
[0127]
在这种情况下，管理端末10(参照图5)获取与各个飞行器的拍摄范围相关的信息，并且当另一飞行器有可能进入各个飞行器的拍摄范围内时，进行控制以使该飞行器不进入拍摄范围。在图中所示的示例中，飞行器30s停止在p11前面的p12位置处，以使飞行器30s不进入拍摄范围v内。
[0128]
如上所述，根据本实施方式，通过将飞行器作为一组进行控制，即使是一个被摄体也可以从各个角度同时进行拍摄。
[0129]
另外，例如，也可以根据预定条件(例如，被摄体赛事排名、关注度等)适当地改变
母机和子机之间的关系。
[0130]
除此之外，特别是作为子机30s的自动飞行控制的示例，可以根据彼此的飞行路径、摄像机的朝向以及是否正在录制、拍摄范围等来执行。
[0131]
另外，也可以将母机和子机中的至少一个设置为自动飞行控制。在这种情况下，只要预先向管理端末10输入路径(飞行路径)的信息即可。
[0132]
此外，任何一个飞行器30可以负责管理端末10的功能的一部分或全部(单独或分散)，或者也可以在各个飞行器30之间进行通信。
[0133]
上述实施方式只不过是用于易于理解本发明的例示，并非用于限定本发明的范围。本发明能够在不脱离其主旨的情况下进行变更或改良，并且本发明还包含其等效物。
[0134]
符号说明
[0135]
10
ꢀꢀꢀꢀꢀ
管理端末
[0136]
20
ꢀꢀꢀꢀꢀ
中继器
[0137]
30,30m,30s 飞行器