信息处理设备、信息处理方法和信息处理程序与流程

1.本技术涉及信息处理设备、信息处理方法和信息处理程序。


背景技术：

2.在相机摄影技术中，传统地提出了用于根据用户打算拍摄的场景、对象等呈现最佳构图的技术(ptl 1)。
3.此外，近年来，诸如无人机之类的自主移动体等已变得司空见惯，在自主移动体上安装相机和执行摄影的方法也变得司空见惯。
4.[引文列表]
[0005]
[专利文献]
[0006]
[ptl 1]
[0007]
jp 2011-135527 a


技术实现要素：

[0008]
[技术问题]
[0009]
ptl 1中描述的技术涉及相机位置固定的通常摄影，并且通过安装在自主行进的自主移动体上的相机优化摄影构图是未解决的问题。
[0010]
本技术正是基于这样的观点提出的，其一个目的是提供一种信息处理设备、信息处理方法和信息处理程序，该信息处理设备、信息处理方法和信息处理程序使移动体能够在自主行进时决定用于以期望构图进行摄影的行进路线。
[0011]
[针对问题的解决方案]
[0012]
为了解决上述问题，第一技术是一种信息处理设备，包括：地图创建单元，地图创建单元创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；形状提取单元，形状提取单元提取地图中存在的形状；构图设定单元，构图设定单元设定要由图像拍摄设备摄影的图像的构图；以及路线决定单元，路线决定单元基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
[0013]
另外，第二技术是一种信息处理方法，包括：创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；提取地图中存在的形状；设定要由图像拍摄设备摄影的图像的构图；以及基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
[0014]
另外，第三技术是一种信息处理程序，所述信息处理程序使计算机执行以下信息处理方法：创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；提取地图中存在的形状；设定要由图像拍摄设备摄影的图像的构图；以及基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
附图说明
[0015]
图1是示出摄影系统10的配置的整体视图。
[0016]
图2是示出移动体100的配置的外部视图。
[0017]
图3是示出移动体100的配置的框图。
[0018]
图4是示出图像拍摄设备200的配置的框图。
[0019]
图5是示出终端设备300的配置的框图。
[0020]
图6是示出信息处理设备400的配置的框图。
[0021]
图7是示出行进路线决定的整体流程的流程图。
[0022]
图8是示出语义图的示例的图。
[0023]
图9是从语义图中提取形状的说明图。
[0024]
图10是示出语义图创建处理的流程图。
[0025]
图11是设定地图创建范围的说明图。
[0026]
图12是示出行进路线决定处理的流程图。
[0027]
图13是路点(waypoint)设定的说明图。
[0028]
图14是示出局部行进路线决定处理的流程图。
[0029]
图15是示出关于行进路线的成本计算处理的流程图。
[0030]
图16是用于成本计算的说明图，其中图16a是语义图的示例，图16b是构图的示例。
[0031]
图17是成本计算的说明图，并且是示出语义图和构图重叠的状态的图。
[0032]
图18是其中在每个路点之间设定构图的修改的说明图。
具体实施方式
[0033]
下面将参考附图描述本技术的实施例。请注意，将按照以下顺序进行说明。
[0034]
《1.实施例》
[0035]
[1-1.摄影系统10的配置]
[0036]
[1-2.移动体100的配置]
[0037]
[1-3.图像拍摄设备200的配置]
[0038]
[1-4.终端设备300和信息处理设备400的配置]
[0039]
[1-5.由信息处理设备400进行的处理]
[0040]
[1-5-1.整体处理]
[0041]
[1-5-2.语义图创建处理]
[0042]
[1-5-3.行进路线决定处理]
[0043]
《2.修改》
[0044]
《1.实施例》
[0045]
[1-1.摄影系统10的配置]
[0046]
首先，将参考图1描述摄影系统10的配置。摄影系统10由移动体100、图像拍摄设备200和具有信息处理设备400的功能的终端设备300构成。
[0047]
根据本实施例的移动体100是称为无人机的电动小型航空器(无人航空器)。图像拍摄设备200通过万向节(gimbal)500安装到移动体100，并且在移动体100自主行进时，通过根据预先设定的构图执行自主摄影来获取静止图像/运动图像。
[0048]
终端设备300是地面上使用摄影系统10的用户使用的诸如智能电话等之类的计算机，并且在终端设备300中运行的信息处理设备400执行摄影构图的设定、移动体100的行进路线的创建等。
[0049]
移动体100能够通过有线或无线连接与图像拍摄设备200通信。此外，终端设备300和移动体100以及图像拍摄设备200能够通过无线连接进行通信。
[0050]
[1-2.移动体100的配置]
[0051]
将参考图2和图3描述移动体100的配置。图2a是移动体100的外部平面图，图2b是移动体100的外部正面图。机身由例如以圆柱形或多边形管形为中心部分的躯体1和固定在躯体1的上部的支持轴2a至2f组成。作为一个示例，躯体1是六角管，其具有从躯体1的中心以相等的间隔径向延伸的六个支持轴2a至2f。躯体1和支持轴2a至2f由轻质且坚固的材料构成。
[0052]
此外，由躯体1和支持轴2a至2f组成的机身的各种部件的形状、布局等被设计成使得重心位于穿过支持轴2a至2f的中心的垂直线上。此外，在躯体1内设置电路单元5和电池6，以便重心位于该垂直线上。
[0053]
在图2中的示例中，螺旋桨和马达的数量为六个。然而，可以作出螺旋桨和马达的数量为4的配置，或者具有8个或更多螺旋桨和马达的配置。
[0054]
用作螺旋桨的驱动源的马达3a至3f分别附接至支持轴2a至2f的前端部。螺旋桨4a至4f附接至马达3a至3f的旋转轴。包括用于控制马达的uav控制单元101等的电路单元5被附接到支持轴2a至2f相交的中心部分。
[0055]
马达3a和螺旋桨4a以及马达3d和螺旋桨4d组成一对。同样，(马达3b，螺旋桨4b)和(马达3e，螺旋桨4e)组成一对，(马达3c，螺旋桨4c)和(马达3f，螺旋桨4f)组成一对。
[0056]
用作电源的电池6安置在躯体1内的底面上。电池6具有例如锂离子二次电池和控制充电和放电的电池控制电路。电池6可拆卸地附接在躯体1内。将电池6的重心与机身的重心相匹配提高重心的稳定性。
[0057]
通常被称为无人机的电动小型航空器通过控制马达的输出来实现所需的飞行。例如，在空气中静止的悬停状态下，使用安装在机身中的陀螺传感器检测倾斜，并且通过增加机身的较低一侧的马达输出并且降低较高一侧的马达输出来保持机身水平。此外，当前进时，减小行进方向上的马达输出，并且增大相反方向上的马达输出，以呈现向前倾斜的姿态，从而产生行进方向上的推进力。在这种电动小型航空器的姿态控制和推进控制中，上述电池6的安装位置实现了机身稳定性和易于控制之间的平衡。
[0058]
图3是示出移动体100的配置的框图。移动体100被配置为包括uav(无人航空器)控制单元101、通信单元102、自身位置估计单元103、三维测距单元104、万向节控制单元105、传感器单元106、电池6和马达3a至3f。注意，将省略上面在移动体100的配置的外部视图中描述的支持轴、螺旋桨等。uav控制单元101、通信单元102、自身位置估计单元103、三维测距单元104、万向节控制单元105和传感器单元106包括在图2中的移动体100的外部视图中所示的电路单元5中。
[0059]
uav控制单元101由cpu(中央处理器)、ram(随机存取存储器)和rom(只读存储器)等构成。rom存储由cpu读取和运行的程序等。ram用作cpu的工作存储器。cpu通过按照存储在rom中的程序执行各种类型的处理并发出命令来控制整个移动体100和各个部件。uav控
制单元101还通过控制马达3a到3f的输出来控制移动体100的飞行。
[0060]
通信单元102是用于与终端设备300和图像拍摄设备200交换数据的各种类型的通信终端或通信模块。通过诸如无线lan(局域网)或wan(广域网)、wi-fi(无线保真度)、4g(第四代移动通信系统)、5g(第四代移动通信系统)、蓝牙(注册商标)、zigbee(注册商标)等之类的无线通信来执行与终端设备300的通信。除了无线通信之外，与图像拍摄设备200的通信可以是有线通信，例如usb(通用串行总线)通信等。移动体100通过通信单元接收由终端设备300的信息处理设备400创建的行进路线信息，并沿着行进路线自主行进和执行摄影。
[0061]
自我位置估计单元103基于传感器单元106获取的各种类型的传感器信息，执行估计移动体100的当前位置的处理。
[0062]
三维测距单元104基于传感器单元106获取的各种类型的传感器信息执行三维测距处理。
[0063]
万向节控制单元105是控制万向节500的动作的处理单元，万向节500可旋转地将图像拍摄设备200安装在移动体100上。通过由万向节控制单元105控制万向节500的轴的旋转，可以自由调整图像拍摄设备200的取向。因此，可以根据设定的构图来调整图像拍摄设备200的取向以执行摄影。
[0064]
传感器单元106是可以测量距离的传感器，例如立体相机、lidar(激光成像检测和测距)等。立体相机是一种测距传感器，是由左右两个相机组成的应用人类观察物体时的三角测量原理的立体系统相机。使用由立体相机拍摄的图像数据生成视差数据，并且可以测量相机(透镜)与物体表面之间的距离。lidar测量关于脉冲激光发射的散射光，并分析到远距离处的物体的距离和物体的性质。由传感器单元106获取的传感器信息被提供给移动体100的自身位置估计单元103和三维测距单元104。
[0065]
传感器单元106还可以包括gps(全球定位系统)模块或imu(惯性测量单元)模块。gps模块获取移动体100的当前位置(纬度和经度信息)，并将其提供给uav控制单元101、自身位置估计单元103等。imu模块是惯性测量设备，其通过利用关于双轴或三轴方向的加速度传感器、角速度传感器、陀螺仪传感器等找出三维角速度和加速度，来检测移动体100的姿态、倾斜、转动时的角速度、关于y轴方向的角速度等，其被提供给uav控制单元101等。
[0066]
传感器单元106还可以包括高度计、罗盘等。高度计测量移动体100所在的高度，并将高度数据提供给uav控制单元101。存在气压高度计、无线电高度计等等。罗盘利用磁体的功能来检测移动体100的行进方向，其被提供给uav控制单元101等。
[0067]
在本实施例中，图像拍摄设备200通过万向节500安装在移动体100的下部。万向节500是一种旋转例如支持在双轴或三轴上的物体(本实施例中的图像拍摄设备200)的旋转装置(swivel)。
[0068]
[1-3.图像拍摄设备200的配置]
[0069]
如图2b所示，图像拍摄设备200安装于移动体100的躯体1的底面，由万向节500悬置。图像拍摄设备200可以通过驱动万向节500，将透镜指向从360度水平方向到垂直方向的所有方向来执行摄影。这使得能够根据一组构图进行摄影。注意，万向节500的驱动控制由万向节控制单元105执行。
[0070]
将参考图4中的框图来描述图像拍摄设备200的配置。图像拍摄设备200被配置为包括控制单元201、光学图像拍摄系统202、透镜驱动驱动器203、图像拍摄元件204、图像信
号处理单元205、图像存储器206、存储单元207和通信单元208。
[0071]
光学图像拍摄系统202由将来自对象的光收集在图像拍摄元件204上的图像拍摄透镜、移动图像拍摄透镜以执行聚焦和变焦的驱动机构、快门机构、光阑机构等构成。它们基于来自图像拍摄设备200的透镜驱动驱动器203和控制单元201的控制信号被驱动。通过光学图像拍摄系统202获得的对象的光图像被成像在图像拍摄设备200配备的图像拍摄元件204上。
[0072]
透镜驱动驱动器203例如由微控制器等构成，并且在控制单元201的控制下，通过沿光轴方向将图像拍摄透镜移动预定量来执行自动聚焦以便聚焦在目标对象上。在控制单元201的控制下，还由此执行对光学图像拍摄系统202的驱动机构、快门机构、光阑机构等的操作的控制。因此，执行曝光时间(快门速度)的调整、光圈值(f数)的调整等。
[0073]
图像拍摄元件204通过光电转换将来自对象的入射光转换为电荷量，并输出像素信号。然后，图像拍摄元件204将像素信号输出到图像信号处理单元205。ccd(电荷耦合器件)、cmos(互补金属氧化物半导体)等用作图像拍摄元件204。
[0074]
图像信号处理单元205对从图像拍摄元件204输出的图像拍摄信号执行cds(相关双采样)采样和保持处理以维持良好的s/n(信号/噪声)比、agc(自动增益控制)处理、a/d(模拟/数字)转换等，并创建图像信号。
[0075]
图像存储器206是例如由易失性存储器(例如dram(动态随机存取存储器))配置的缓冲存储器。图像存储器206用于临时存储经过图像信号处理单元205的预定处理的图像数据。
[0076]
存储单元207例如是大容量存储介质，例如硬盘、usb闪存、sd存储器卡等。基于诸如jpeg(联合摄影专家组)等之类的标准，在压缩状态或非压缩状态下保存拍摄图像。此外，还与图像相关地保存包括所传递信息(例如与保存的图像相关的信息、指示图像拍摄位置的图像拍摄位置信息、指示图像拍摄日期和时间的图像拍摄时间信息)的exif(可交换图像文件格式)数据。
[0077]
通信单元208是各种类型的通信终端或通信模块，用于与移动体100和终端设备300交换数据。通信可以是有线通信，例如usb通信等，或者无线通信，例如无线lan、wan、wi-fi、4g、5g、蓝牙(注册商标)、zigbee(注册商标)等。
[0078]
[1-4.终端设备300和信息处理设备400的配置]
[0079]
终端设备300是诸如智能电话之类的计算机等，并且配备有信息处理设备400的功能。注意，终端设备300可以是除智能电话之外的任何类型的设备，例如个人计算机、平板电脑终端、服务器设备等，只要能够配备有信息处理设备400的功能即可。
[0080]
将参考图5描述终端设备300的配置。终端设备300被配置为具有控制单元301、存储单元302、通信单元303、输入单元304、显示单元305和信息处理设备400。
[0081]
控制单元301由cpu、ram和rom等构成。cpu通过按照在rom中存储的程序执行各种类型的处理并发出命令，来控制整个终端设备300及其各个部分。
[0082]
存储单元302例如是诸如硬盘、闪存等之类的大容量存储介质。存储单元302存储终端设备300使用的各种类型的应用、数据等。
[0083]
通信单元303是用于与移动体100和图像拍摄设备200交换数据和各种类型的信息的通信模块。通信可以是任何种类的系统，只要是诸如无线lan、wan、wi-fi、4g、5g、蓝牙(注
册商标)、zigbee(注册商标)等之类的无线通信即可，只要能够与移动体100和图像拍摄设备200远距离通信即可。
[0084]
输入单元304用于用户执行构图设定的输入、诸如设定路点之类的各种类型的输入、指令的输入等。当用户向输入单元304进行输入时，生成与输入相对应的控制信号并将其提供给控制单元301。然后，控制单元301执行与控制信号对应的各种类型的处理。除了物理按钮之外，输入单元304可以是其中集成配置了触摸面板和监视器的触摸屏、通过语音识别的音频输入等。
[0085]
显示单元305是显示设备，例如显示图像/视频、gui(图形用户界面)等的显示器。在本实施例中，在显示单元305上显示语义图创建范围设定ui、路点输入ui、行进路线呈现ui等。注意，终端设备300可以配备有输出音频的扬声器等，作为显示单元305以外的输出装置。
[0086]
接下来，将描述信息处理设备400的配置。信息处理设备400执行设定构图和决定行进路线的处理，以便能够通过移动体100和图像拍摄设备200执行自主行进和具有指定构图的自主摄影。如图6所示，信息处理设备400被配置为包括地图创建单元401、形状提取单元402、构图设定单元403、路点设定单元404和路线决定单元405。
[0087]
地图创建单元401创建语义图。语义被翻译为“意义的、词的意义的、语义的、语义学的”，语义图是一种地图，它包括作为用于区分和识别地图中存在的对象的含义的信息，以及具有含义的对象和对象之间的边界线的信息。
[0088]
地图创建单元401创建关于在二维地图数据上设定的范围的语义图。创建该语义图的范围是配备有图像拍摄设备200的移动体100在执行摄影时行进的范围，并且相当于权利要求中的“行进范围”。
[0089]
形状提取单元402执行从语义图提取特定形状(直线、曲线等)的处理。形状提取单元402例如通过霍夫变换执行形状提取。指示提取的形状的形状信息被提供给路线决定单元405。霍夫变换是一种从图像中提取形状的技术，形状是预先设定的模板，例如带角度的直线、圆等。
[0090]
构图设定单元403执行设定要由图像拍摄设备200摄影的图像的构图的处理。构图的第一设定方法是预先保持多个构图数据，通过在终端设备300的显示单元305上显示而将其呈现给用户，并将由用户选择的构图设定为用于摄影的构图。存在要在构图设定单元403中预先保持的各种构图，例如，传统上广泛用于摄影的中间放置构图、2分割构图、3分割构图、对角构图、对称构图、放射线构图、三角构图等。
[0091]
另外，作为第二方法，存在一种方法，其中通过用户输入的绘图来设定构图，而不是现有构图。例如，在终端设备300的显示单元305上显示绘制ui，用户使用绘制工具绘制指示构图的线，并且由线表示的形状成为构图。
[0092]
此外，作为第三方法，存在路线决定单元405向用户提议用于摄影的最佳构图的方法。这是如下的方法：利用由形状提取单元402提取的形状的信息，比较提取的形状和预先保持的多个构图数据，向用户呈现并提议具有高度相似性的构图，并且将用户决定的构图设定为构图。
[0093]
路点设定单元404设定构成移动体100的行进路线的路点。路点是供移动体100决定行进路线的路线点，指示移动体100将如何行进。由于行进路线由多个路点决定，因此设
定多个路点，并且对其数量没有特别限制，只要多个即可。例如，在终端设备300的显示单元305上显示二维地图数据，并且将由用户指定的点设定为地图上的路点。路点可以在语义图上被设定，或者可以在指示语义图创建范围的二维地图数据上被设定。此外，可在通过将语义图转换为二维鸟瞰图而获得的地图上指定路点。
[0094]
路线决定单元405决定移动体100在语义图创建范围内行进的路线，以根据设定的构图由图像拍摄设备200执行摄影。行进路线包括一条通过语义图创建范围中设定的所有路点的全局行进路线，以及作为每个路点之间的行进路线的局部行进路线。
[0095]
如上所述配置终端设备300和信息处理设备400。注意，信息处理设备400可以通过执行程序来实现，并且该程序可以预先安装在终端设备300内，或者可以通过下载、存储介质等方式分发，并由用户自己安装。此外，信息处理设备400可以通过作为具有其功能的硬件的专用设备、电路等的组合来实现，而不是通过程序来实现。
[0096]
[1-5.由信息处理设备400进行的处理]
[0097]
[1-5-1.整体处理]
[0098]
接下来将描述由信息处理设备400进行的整体处理。图7是示出信息处理设备400的总体流程的流程图。首先，在步骤s101中，由地图创建单元401创建语义图。例如，在原始图像是图8a所示的图像的情况下，创建语义图，如图8b所示的语义图。图8b中的语义图以灰度表示，并且图中指示按亮度分类的每个区域的值指示该区域的灰度梯度的范围。图8b中的语义图还包括地图中的信息含义，例如道路、树木、天空等。稍后将参考图10中的流程图描述语义图创建的细节。所创建的语义图被提供给形状提取单元402。
[0099]
接下来，在步骤s102中，形状提取单元402从语义图提取预定形状(直线、曲线等)。例如，如图9所示，通过霍夫(hough)变换提取形状。提取的形状的信息被提供给路线决定单元405。
[0100]
接下来，在步骤s103中，通过构图设定单元403设定用于摄影的构图。通过构图设定单元403设定的构图的信息被提供给路线决定单元405。
[0101]
接下来，在步骤s104中，通过路点设定单元404设定用于决定行进路线的路点。
[0102]
接下来，在步骤s105中，由路线决定单元405决定行进路线。稍后将参考图12中的流程图来描述行进路线决定的细节。注意，步骤s103的构图设定和步骤s104的路点设定可以在步骤s101的语义图创建和步骤s102的形状提取之前执行。在步骤s105中执行路线决定时，步骤s101到步骤s104完成就足够了，无论顺序如何。
[0103]
以这种方式决定的行进路线的信息被提供给移动体100的uav控制单元101，移动体100的uav控制单元101执行控制以使移动体100沿着行进路线自主行进，并且图像拍摄设备200在行进路线上根据设定的构图执行摄影。
[0104]
[1-5-2.语义图创建处理]
[0105]
将首先参考图10中的流程图描述图7中的步骤s101中的语义图创建处理。
[0106]
首先，在步骤s201中决定用于创建语义图的范围。此语义图创建范围是基于用户在二维地图数据上指定的范围而设定的。
[0107]
例如，在如图11a所示的终端设备300的显示单元305上显示的与纬度和经度信息相关联的二维地图数据上，用户通过用矩形框进行围绕来指定用于创建语义图的范围。然后将指定范围的信息提供给地图创建单元401，并且指定范围被设定为要为其创建语义图
的范围。在设定语义图创建范围之后，如图11b所示，优选地在显示单元305的全范围上显示语义图创建范围，以便于用户在语义图创建范围中指定路点。
[0108]
注意，语义图创建范围不限于矩形，并且可以是三角形、圆形或不是任何特定形状的自由形状。此外，地图创建范围可由指示三维地图数据的范围的用户决定。
[0109]
接下来，在步骤s202中，设定移动体100要行进并到达的目的地，以便在语义图创建范围内执行传感器单元106的用于语义图创建的观测。该目的地被设定在由移动体100完成观测的已观测区域和尚未执行观测的未观测区域之间的边界上。
[0110]
接下来，在步骤s203中，控制移动体100的动作以行进到指定位置。接下来，在步骤s204中，使用移动体100配备的传感器单元106(立体相机等)，通过已知的三维形状测量技术识别三个特征点，并且在三个点之间布置网格。因此，在本实施例中，使用网格创建语义图。请注意，不仅网格，例如还可以使用体素创建语义图。
[0111]
接下来，在步骤s204中，执行语义分割。语义分割是关于构成图像的每个单独像素表示的含义对像素进行标记的处理。
[0112]
接下来，在步骤s205中，通过基于语义分割结果在三维分割图上投票来决定在步骤s203中布置的网格所属的种类或类别(道路、建筑物等)，在该三维分割图中三维形状上的二维语义标签被投影。
[0113]
接下来，在步骤s207中，进行关于语义图创建范围内是否存在未观测区域的确定。在存在未观测区域的情况下，处理前进到步骤s202，并且在步骤s202中设定新目的地。重复步骤s202至步骤s207，直到不再存在未观测区域，由此可以创建整个语义图创建范围的语义图。
[0114]
因此，语义图由地图创建单元401创建。
[0115]
[1-5-3.行进路线决定处理]
[0116]
接下来，将参考图12中的流程图来描述图7中的流程图中的步骤s103中的行进路线决定处理。行进路线由全局行进路线和局部行进路线构成。全局行进路线是从移动体100的行进的起点到终点的路线，被设定为通过所有路点，并且局部行进路线是在每个路点之间设定的行进路线。全局行进路线被配置为一系列局部行进路线。
[0117]
首先，在步骤s301中，路点设定单元404基于来自用户的输入设定语义图创建范围内的路点。路点指示移动体100的行进路线上的特定位置。例如，如图13a所示，基于用户输入设定的路点优选地由指示语义图创建范围的二维地图数据上的上述点表示。因此，用户可以容易地确认路点在哪儿。如图13a所示，在语义图创建范围上设定多个路点。注意，可以进行如下安排：可以在语义图上指定路点，或者可以在通过将语义图转换为二维鸟瞰图而获得的地图上指定路点。
[0118]
接下来，在步骤s302中，路线决定单元405设定从基准路点到最近路点的行进路线。初始基准路点是移动体100开始行进的位置，并且基于用户的输入来设定。注意，可以作出这样的安排：初始基准路点由路线决定单元405根据预定算法等来设定。
[0119]
接下来，在步骤s303中，进行关于是否已经设定了行进路线以通过所有路点的确定。在未经过所有路点的情况下，处理前进到步骤s304(步骤s303中为否)。
[0120]
接下来，在步骤s304中，将步骤s302中为行进路线设定的最近路点设定为下一个要设定的路线上的基准路点。然后，处理进入步骤s302，并且在步骤s304中，从新设定的基
准路点到最近的路点设定行进路线。
[0121]
如图13b所示，可以通过在这里重复步骤s302到步骤s304来设定通过所有路点的全局行进路线。因此，创建全局行进路线，以便通过所有路点。
[0122]
接下来，将参考图14中的流程图描述设定作为两个路点之间的行进路线的局部行进路线的处理。
[0123]
首先，在步骤s401中，从所有路点决定要为其决定局部行进路线的两个路点。要为其决定局部行进路线的两个路点可以根据用户输入决定，或者可以按照与全局行进路线的起点到终点对应的路点的顺序自动决定。
[0124]
接下来，在步骤s402中，路线决定单元405在两个路点之间设定多条暂定行进路线。决定暂定行进路线的方式可以是关于机器人、自主车辆、自主移动体等的行进存在的已知的技术和已知的算法，它们是高效的安排、寻找最佳路线的安排等，并且可以视情况而定酌情使用它们。这些已知技术通常可分为两类，即评估所有可想到的路线和从多个随机生成的路线中选择。
[0125]
接下来，在步骤s403中，输入移动体100在暂定行进路线上的位置和姿态。在以下处理中计算移动体100的该输入位置和姿态的成本。
[0126]
接下来，在步骤s404中，计算多条暂定行进路线中的一条暂定行进路线的成本。通过将通过标准化暂定行进路线本身的距离而获得的值、标准化到障碍物的距离的值和标准化与构图的相似性的值相加的结果通过计算获得该成本，每个值都被加权。成本最低的行进路线是移动体100的最佳行进路线，并且最终将包括在全局行进路线中。成本计算的细节将在后面描述。
[0127]
接下来，在步骤s405中，确定是否已经为所有暂定行进路线计算了成本。在尚未针对所有暂定行进路线计算成本的情况下，处理前进到步骤s403(步骤s405中为否)，并且重复所有步骤s403到步骤s405，直到针对所有暂定行进路线计算了成本为止。
[0128]
在已经为所有暂定行进路线计算了成本的情况下，处理随后前进到步骤s406，并且从所有暂定行进路线中决定成本最低的暂定行进路线作为包括在路线计划中的行进路线。成本最低且最优的行进路线是路线本身的距离较短且与语义图的构图的相似性较高的行进路线。
[0129]
接下来，将参考图15中的流程图描述关于暂定行进路线的成本的计算。图15中的处理用于计算每个暂定行进路线的成本，并在实际摄影之前，将多个暂定行进路线中成本最低的暂定行进路线决定为最佳局部行进路线。
[0130]
首先，在步骤s501中，关于多条暂定行进路线中的一条暂定行进路线，找到在使用设定构图执行摄影的情况下移动体100的位置和姿态。
[0131]
接下来，在步骤s502中，关于所述一条暂定行进路线，找到在使用设定的构图执行摄影的情况下图像拍摄设备200的位置和姿态。注意，可以作为万向节500的位置和姿态找到图像拍摄设备200的位置和姿态。
[0132]
接下来，在步骤s503中，基于在步骤s501中计算的移动体100的位置和姿态以及在步骤s502中计算的图像拍摄设备200的位置和姿态，从语义图获取可以认为能够由图像拍摄设备200拍摄的拍摄图像。该处理可以说是这样的处理，其中当在三维语义图上被设置于移动体100的图像拍摄设备200执行摄影时可以在三维空间中拍摄什么类型的图像被二维
地表示，并被转换为认为能够由图像拍摄设备200拍摄语义图的拍摄图像，即，将语义图投影到二维图像上作为拍摄图像的处理。
[0133]
将在移动体100处于沿着暂定行进路线的特定位置和姿态，并且因此设置于移动体100的图像拍摄设备200也处于特定位置和姿态的情况下，预测要拍摄的二维图像与三维地图进行比较和计算。该步骤s503中的处理不是实际使用图像拍摄设备200执行摄影，而是通过在信息处理设备400内进行处理，基于语义图、移动体100的位置信息和姿态信息以及图像拍摄设备200的位置信息和姿态信息进行计算。
[0134]
接下来，在步骤s504中，计算暂定行进路线的成本。根据以下表达式1计算作为与语义图和构图相关的成本的costcomp k，其是构成集合构图的线段与在语义图中提取的形状(直线、曲线等)之间的差。
[0135]
例如，如图16a所示的语义图中提取的形状与构成如图16b所示的集合构图的线段之间的图17所示的差值被计算为成本。图17是语义图和构图重叠的状态。在语义图中提取的形状与构成构图的线段之间的差值理想地为0的情况下，差值为0，可以执行与构图匹配的图像的摄影。然而，在现实中，使差值为0是困难的，因此需要最大限度地减小差值(降低成本)，以便拍摄接近设定构图的图像。因此，需要执行调整，使得构成构图的线段与语义图中与其最近的形状之间的差最小。
[0136]
[数学式1]
[0137][0138]
然后，通过以下表达式2计算作为暂定行进路线的成本的cost
path
。
[0139]
[数学式2]
[0140][0141]
表达式1和表达式2中使用的变量如下。
[0142]
构图中包含的线段数：n
[0143]
通过霍夫变换检测到的第一条直线：a1+b1+c1＝0
[0144]
第i条线段上的可选点：(xi，yi)
[0145]
从特定路线上的位置和姿态k获得的成本:cost
comp k
[0146]
路线上的位置和姿态的数量：p
[0147]
从到目的地(路点)的距离获得的成本：cost
dist
[0148]
从到障碍物的距离获得的成本：cost
obs
[0149]
权重：w1、w2、w3
[0150]
接下来，在步骤s505中，确定计算出的成本是否不大于预定阈值。成本优选地较低，并且相应地，在成本不大于阈值的情况下，处理前进到步骤s506(步骤s505中为是)，并且暂定行进路线被决定为最佳局部行进路线。
[0151]
注意，在存在多条成本不大于阈值的暂定行进路线的情况下，优选地将其成本最低的暂定行进路线决定为最佳局部行进路线。
[0152]
相反，在成本大于阈值的情况下，处理前进到步骤s507(步骤s505中为否)，并且由
于成本大，所以将暂定行进路线决定为不是最佳局部行进路线。
[0153]
各路点之间的局部行进路线都可以通过这种方式来决定。全局行进路线由多个局部行进路线组成，因此，一旦决定了所有局部行进路线，这意味着已经决定了移动体100执行摄影的整个路线。然后，信息处理设备400将所决定的行进路线的信息发送到移动体100。当接收到行进路线信息时，移动体100的uav控制单元101按照行进路线信息控制移动体100的动作，并且进而，万向节控制单元105控制万向节500的动作，由此，可以通过移动体100和图像拍摄设备200的自主摄影来执行指定构图的摄影。此外，通过在终端设备300的显示单元305上显示所创建的行进路线以呈现给用户，用户可以理解移动体100将要经过哪种行进路线来执行摄影。
[0154]
根据本技术，不需要高技能操作员，这在使用诸如无人机之类的移动体100进行摄影时通常是必需的。
[0155]
《2.修改》
[0156]
尽管上面已经详细描述了本技术的实施例，但是本技术不限于上述实施例，并且可以基于本技术的技术精神进行各种类型的修改。
[0157]
用作移动体100的无人机不限于具有如实施例中所述的螺旋桨的布置，并且可以是所谓的固定翼类型。
[0158]
根据本技术的移动体100不限于无人机，并且可以是能够在不接收人类操作的情况下自动行进的汽车、船舶、机器人等。
[0159]
在图像拍摄设备200没有通过具有万向节500的功能的相机安装座安装在移动体100上并且固定在恒定状态的情况下，移动体100的姿态和图像拍摄设备200的姿态是相同的。在这种情况下，可以通过调整移动体100的倾斜来执行设定构图的摄影。
[0160]
尽管在本实施例中移动体100和图像拍摄设备200被配置为单独的设备，但是移动体100和图像拍摄设备200可以被配置为集成设备。
[0161]
任何种类的装备可以用作图像拍摄设备200，只要其具有图像拍摄功能并且可以安装在移动体100上即可，例如数字相机、智能电话、蜂窝电话、移动游戏设备、膝上型计算机、平板终端等。
[0162]
图像拍摄设备200可以具有输入单元304、显示单元305等。此外，图像拍摄设备200可以是当不连接到移动体100时可以单独用作图像拍摄设备200的布置。
[0163]
此外，用于语义图创建的三维地图数据可以从外部服务器或云获取，或者可以使用互联网上公众可用的数据。
[0164]
此外，语义图创建可以由安装了传感器单元106的汽车、机器人或船舶执行，或者可以由保持传感器设备的用户步行执行，而不是由无人机执行。
[0165]
可以将信息处理设备400设置于移动体100而不是终端设备300。
[0166]
此外，可以作出这样的安排，在例如在构图的设定中的诸如“想要以人为中心拍摄”之类的文本输入或音频输入的情况下，执行对其的分析，并且可以设定或提议构图(例如，以人为中心的中间放置构图等)。
[0167]
此外，可以根据从语义图和构图获得的对象的信息来调整诸如曝光之类的摄影条件等。一个示例是改变可理解为天空等的对象范围的曝光。
[0168]
尽管在本实施例中设定了一个构图，并且决定了用于通过该构图执行摄影的行进
路线，但是可以进行如下安排，其中可以为每个局部行进路线(路点之间的每个跨距)或每个可选位置设定不同的构图，如图18所示。注意，图18中所示的构图仅为示例性的，并且这些构图不是限制性的。
[0169]
构图设定单元403可以参考已经完成拍摄的运动图像和静止图像，从参考运动图像/静止图像中提取构图，并且自动设定与运动图像和静止图像中相同的构图。
[0170]
本技术还可以采用以下配置。
[0171]
(1)一种信息处理设备，包括：
[0172]
地图创建单元，地图创建单元创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；
[0173]
形状提取单元，形状提取单元提取地图中存在的形状；
[0174]
构图设定单元，构图设定单元设定要由图像拍摄设备摄影的图像的构图；以及
[0175]
路线决定单元，路线决定单元基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
[0176]
(2)根据(1)所述的信息处理设备，其中所述地图是语义图。
[0177]
(3)根据(1)或(2)所述的信息处理设备，其中，路线决定单元决定全局行进路线，该全局行进路线是通过在行进范围内设定的多个路点中的所有路点的行进路线。
[0178]
(4)根据(3)所述的信息处理设备，其中，所述路线决定单元基于关于所述构图和所述行进路线计算的成本来决定作为所述路点之间的行进路线的局部行进路线。
[0179]
(5)根据(4)的信息处理设备，其中，路线决定单元在所述多个路点中的每一个之间设定多条暂定行进路线，计算所述多条暂定行进路线中的每一条的成本，并将成本低的暂定行进路线决定为局部行进路线。
[0180]
(6)根据(4)所述的信息处理设备，其中所述成本基于由所述形状提取单元从所述地图提取的形状与构成所述构图的线段之间的差。
[0181]
(7)根据(4)所述的信息处理设备，其中所述成本基于路点之间从一端侧的路点到另一端侧的路点的距离。
[0182]
(8)根据(4)所述的信息处理设备，其中所述成本基于与从路点之间的一端侧的路点到另一端侧的路点的障碍物的距离。
[0183]
(9)根据(1)到(8)中任一项的信息处理设备，其中构图设定单元基于来自用户的输入设定所述构图。
[0184]
(10)根据权利要求9所述的信息处理设备，其中，通过用户输入从预先设定的多个构图数据中选择的构图被设定为所述构图。
[0185]
(11)根据权利要求9所述的信息处理设备，其中，将用户通过绘图输入的形状设定为所述构图。
[0186]
(12)根据权利要求9所述的信息处理设备，其中，向用户呈现类似于由形状提取单元从地图中提取的形状的构图数据，并且将通过用户的输入决定的构图数据设定为所述构图。
[0187]
(13)根据(1)至(12)中任一项所述的信息处理设备，
[0188]
其中，构图设定单元基于从地图提取的形状来决定所述构图。
[0189]
(14)根据(3)所述的信息处理设备，其中能够在每个路点之间设定所述构图。
[0190]
(15)根据(1)至(13)中任一项所述的信息处理设备，
[0191]
其中，形状提取单元通过霍夫变换提取地图中存在的形状。
[0192]
(16)一种信息处理方法，包括：
[0193]
创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；
[0194]
提取地图中存在的形状；
[0195]
设定要由图像拍摄设备摄影的图像的构图；以及
[0196]
基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
[0197]
(17)一种信息处理程序，所述信息处理程序使计算机执行以下信息处理方法：
[0198]
创建行进范围的地图，行进范围是具有图像拍摄设备的移动体在行进时执行摄影的范围；
[0199]
提取地图中存在的形状；
[0200]
设定要由图像拍摄设备摄影的图像的构图；以及
[0201]
基于所述形状和所述构图决定所述移动体的行进范围内的行进路线。
[0202]
[标符列表]
[0203]
100移动体
[0204]
200图像拍摄设备
[0205]
400信息处理设备
[0206]
401地图创建单元
[0207]
402形状提取单元
[0208]
403构图设定单元
[0209]
405路线决定单元