信息处理装置、信息处理方法和程序与流程

文档序号:28735104发布日期:2022-02-01 09:27阅读:115来源:国知局
信息处理装置、信息处理方法和程序与流程

本技术涉及信息处理装置、信息处理方法和程序,并且例如涉及能够在运输预定对象时搜索适当路线并将该路线呈现给用户的信息处理装置、信息处理方法和程序。

背景技术

自主机器人装置可以根据机器人的周围外部环境或内部的状态自主地操作。例如,机器人装置可以通过检测外部障碍物并避开障碍物来规划路线而自主地移动。专利文献1提出了与路线规划相关的技术。

引用列表

专利文献

专利文献1:日本专利申请特开第2006-239844号



技术实现要素:

本发明要解决的问题

路线被规划以便不撞到障碍物。由于不管障碍物的类型如何,路线都被规划以避开任何障碍物,因此存在路线不是最佳路线的可能性。

本技术已被开发以解决上述这样的问题,并且考虑障碍物的类型实现对更佳路线的搜索。

问题的解决方案

根据本技术的一个方面的信息处理装置包括处理单元,所述处理单元生成包括要被运输的对象和运输对象的运输执行对象的移动对象模型、以及对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像;在三维形状地图上,将指示安装在所述场所的安装对象的性质的标签分配给与安装对象对应的位置;并且基于移动对象模型、三维形状地图和标签来搜索要在其上运输对象的路线。

根据本技术的一个方面的信息处理方法包括:生成包括要被运输的对象和运输对象的运输执行对象的移动对象模型、以及对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像;在三维形状地图上,将指示安装在所述场所的安装对象的性质的标签分配给与安装对象对应的位置;并且基于移动对象模型、三维形状地图和标签来搜索要在其上运输对象的路线。

根据本技术的一个方面的程序允许执行处理,所述处理包括:生成包括要被运输的对象和运输对象的运输执行对象的移动对象模型、以及对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像;在三维形状地图上,将指示安装在所述场所的安装对象的性质的标签分配给与安装对象对应的位置;并且基于移动对象模型、三维形状地图和标签来搜索要在其上运输对象的路线。

利用根据本技术的一个方面的信息处理装置、信息处理方法和程序,生成包括要被运输的对象和运输对象的运输执行对象的移动对象模型,基于对象要被运输到的场所的捕获图像生成具有三维形状的三维形状地图,标签被附接至安装在所述场所的安装对象上,并且通过使用移动对象模型、三维形状地图和标签来搜索要在其上运输对象的路线。

注意,信息处理装置可以是独立装置或者可以是包括一个装置的内部块。

此外,程序可以通过经由传输介质传输或者通过记录在记录介质上来提供。

附图说明

图1是示出应用了本技术的信息处理系统的实施方式的配置的图。

图2是用于描述由信息处理系统执行的处理的图。

图3是示出终端的功能配置示例的图。

图4是用于描述终端的功能的图。

图5是示出终端的另一功能配置示例的图。

图6是示出终端的另一功能配置示例的图。

图7是示出终端的另一功能配置示例的图。

图8是示出终端的另一功能配置示例的图。

图9是示出终端的另一功能配置示例的图。

图10是用于描述第一实施方式中的终端的操作的流程图。

图11是示出当生成移动对象模型时显示的屏幕的示例的图。

图12是用于描述移动对象模型的图。

图13是用于描述移动对象模型的图。

图14是用于描述将2D标签转换为3D标签的方法的图。

图15是用于描述如何设置2D标签的图。

图16是用于描述如何设置3D标签的图。

图17是用于描述如何设置开始位置的图。

图18是用于描述如何设置开始位置的图。

图19是用于描述3D形状地图的图。

图20是用于描述3D形状地图的图。

图21是用于描述3D形状地图的图。

图22是用于描述在人的情况下高度限制的图。

图23是示出在人的情况下显示路线搜索结果的示例的图。

图24是用于描述在无人机的情况下高度限制的图。

图25是示出在无人机的情况下显示路线搜索结果的示例的图。

图26是用于描述在安装对象的情况下路线搜索的图。

图27是用于描述在可运输对象的情况下路线搜索的图。

图28是用于描述与可运输对象级别对应的路线搜索的图。

图29是用于描述与可运输对象级别对应的路线搜索的图。

图30是用于描述在贵重物品的情况下设置的NG区域的图。

图31是用于描述与贵重物品级别对应的NG区域的图。

图32是用于描述移动对象模型的图。

图33是示出在移动对象模型由于路线而改变的情况下显示路线搜索结果的示例的图。

图34是用于描述在移动对象模型由于路线而改变的情况下路线搜索结果的图。

图35是用于描述在移动对象模型由于路线而改变的情况下路线搜索结果的图。

图36是用于描述在移动对象模型由于路线而改变的情况下路线搜索结果的图。

图37是用于描述如何设置禁止进入区域的图。

图38是用于描述在设置了禁止进入区域的情况下路线搜索的图。

图39是用于描述如何设置结束位置的图。

图40是用于描述第二实施方式中的终端的操作的流程图。

图41是示出信息处理系统的另一配置的图。

图42是用于描述记录介质的图。

具体实施方式

下面将描述用于实施本技术的方式(在下文中称为实施方式)。

<系统的配置示例>

图1是示出应用了本技术的信息处理系统的实施方式的配置示例的图。信息处理系统包括网络11、服务器12和终端13。

网络11是支持例如家庭网络、局域网(LAN)、广域网(WAN)、诸如因特网的广域网等的有线或无线网络。服务器12和终端13被配置成能够经由网络11交换数据。

将描述由图1所示的信息处理系统执行的处理的概要。信息处理系统创建如图2所示的三维地图(在下文中描述为3D地图),搜索适合于运输预定尺寸的对象的路线,并将搜索到的路线呈现给用户。

图2所示的3D地图包括房间A、房间B和房间C,并且示出了房间A中的预定位置被设置为开始位置(在图中由S表示的位置)并且房间C中的预定位置被设置为结束位置(在图中由G表示的位置)的状态。通过使用由终端13中包括的传感器获取的信息来创建3D地图。

开始位置和结束位置由终端13的用户用预定方法指定。搜索适合于将预定对象从开始位置运输到结束位置的路线。在搜索路线时,考虑预定对象的尺寸和搬运该对象的人的尺寸,并且搜索对象或人不会撞到墙壁、已经放置的对象等的路线。

在图2所示的示例中,在房间B中安装了桌子和椅子。搜索避开桌子和椅子的路线。此外,在安装对象是如果被运输则允许通过的可运输对象的情况下,可以选择这样的路线。

搜索到的路线例如由如图2所示的连接开始位置和结束位置的线表示,并且呈现给用户。由信息处理系统中包括的服务器12和终端13执行与路线的搜索和显示等相关的处理。在下文中,将描述服务器12和终端13的配置和处理。

<服务器和终端的配置>

图3是示出应用了本技术的服务器12和终端13的功能配置示例的图。服务器12包括通信单元51和数据库52。通信单元51经由网络11与终端13通信。数据库52存储关于要运输的预定对象的重量、尺寸等的信息。

终端13包括通信单元71、用户接口72、传感器73、对象识别单元74、深度估计单元75、自身位置估计单元76、移动对象模型生成单元77、开始/结束位置指定单元78、2D标签指定单元79、标签信息生成单元80、地图生成单元81、3D标签指定单元82、标签3D转换单元83、标记单元84、路线规划生成单元85、显示数据生成单元86和显示单元87。

将参照图4描述终端13中的各个单元的功能。通信单元71经由网络11与服务器12通信。通信单元71获取服务器12的数据库52中存储的对象性质数据,并将对象性质数据提供给标签信息生成单元80。例如,对象性质数据是指示放置在房间中的对象是否是可运输的信息,或者是指示对象是否是贵重物品的信息。

此外,通信单元51获取服务器12的数据库52中存储的移动对象尺寸信息,并将移动对象尺寸信息提供给移动对象模型生成单元77。移动对象尺寸信息是关于要运输的对象的尺寸或重量的信息。

用户接口72是用于输入来自用户侧的指示的接口,并且例如是物理按钮、键盘、鼠标、触摸面板等。经由用户接口72提供给终端13的UI信息被提供给2D标签指定单元79。提供给2D标签指定单元79的UI信息是与用户将预定对象设置为可运输对象、贵重物品等的上述对象性质数据相对应的数据。

此外,经由用户接口72提供给终端13的UI信息也被提供给移动对象模型生成单元77。提供给移动对象模型生成单元77的UI信息是指示要运输的对象被运输、有多少人运输对象等的信息,并且是由用户指示的信息。

此外,经由用户接口72提供给终端13的UI信息也被提供给开始/结束位置指定单元78。提供给开始/结束位置指定单元78的UI信息是关于要运输的对象的运输开始位置和运输结束位置的信息,并且是由用户指示的信息。

此外,经由用户接口72提供给终端13的UI信息被提供给3D标签指定单元82。提供给3D标签指定单元82的UI信息是关于用户何时指定3D标签的信息。尽管稍后将描述3D标签,3D标签是附加至体素栅格的2D标签。2D标签是描述设置给预定对象的信息的标签,该信息指示对象是可运输对象、贵重物品等。

传感器73捕获要运输的对象的图像或获取创建3D地图所需的信息。传感器73的示例是在使用同时定位和映射(SLAM)技术的情况下的单目相机,SLAM能够通过使用单目相机同时估计相机的位置和取向以及出现在输入图像中的对象的特征点的位置。此外,传感器73可以是立体相机、距离测量传感器等。尽管传感器73被描述为一个传感器,当然可以包括多个传感器。

由传感器73获取的传感器数据被提供给对象识别单元74、深度估计单元75、自身位置估计单元76和2D标签指定单元79。

对象识别单元74分析由传感器73获取的数据并识别对象。所识别的对象是已经安装在房间中的预定对象,并且在参照图2描述的情况下是桌子、椅子等。从传感器73提供给对象识别单元74的传感器数据例如是由图像传感器捕获的图像数据,并且通过分析图像数据来识别对象诸如桌子或椅子。分析图像数据的手段的示例包括记录在服务器12中的图像数据与从传感器73获取的图像数据之间的图像匹配。对象识别单元74将关于所识别的对象的信息作为所识别的对象信息提供给标签信息生成单元80。

深度估计单元75分析由传感器73获取的数据,估计深度,并生成深度图像。来自深度估计单元75的深度图像被提供给地图生成单元81和标签3D转换单元。

自身位置估计单元76分析由传感器73获取的数据,并估计自身位置(终端13的位置)。来自自身位置估计单元76的自身位置被提供给地图生成单元81和标签3D转换单元。

地图生成单元81通过使用来自深度估计单元75的深度图像和来自自身位置估计单元76的自身位置来生成3D形状地图(三维形状地图),并将3D形状地图提供给标记单元84、3D标签指定单元82和开始/结束位置指定单元78。

2D标签指定单元79生成2D标签,该2D标签对指示放置在房间中的对象是否是可运输的信息或指示对象是否是贵重物品的信息进行描述。2D标签指定单元79通过分析来自传感器73的传感器数据来生成2D标签,或者基于来自用户接口72的UI信息来生成2D标签。

由2D标签指定单元79生成的2D标签被提供给标签3D转换单元83。来自深度估计单元75的深度图像和来自自身位置估计单元76的自身位置也被提供给标签3D转换单元83。标签3D转换单元83将2D标签转换为3D坐标系中的3D标签。

由标签3D转换单元83生成的3D标签被提供给标记单元84。标记单元84还被提供有来自地图生成单元81的3D形状地图和来自3D标签指定单元82的3D标签。标记单元84被提供有来自标签3D转换单元83的3D标签和来自3D标签指定单元82的3D标签。

从标签3D转换单元83提供的3D标签是根据从传感器73获得的数据生成的标签,并且从3D标签指定单元82提供的3D标签是根据来自用户的指示生成的标签。

3D标签指定单元82被提供有来自地图生成单元81的3D形状地图和来自用户接口72的UI信息。3D标签指定单元82生成用于3D形状地图上的对象、与由用户指示的对象相对应的对象的3D标签,并将3D标签提供给标记单元84。

标记单元84将从标签3D转换单元83提供的3D标签或从3D标签指定单元82提供的3D标签附加至3D形状地图上的对象。

3D形状标记地图由标记单元84生成并被提供给路线规划生成单元85。路线规划生成单元85还被提供有来自开始/结束位置指定单元78的关于开始位置和结束位置的信息以及来自移动对象模型生成单元77的关于移动对象模型的信息。

开始/结束位置指定单元78被提供有来自用户接口72的UI信息和来自地图生成单元81的3D形状地图。在3D形状地图上,开始/结束位置指定单元78指定由用户指定的运输开始位置(在图2中由S指示的位置)和运输结束位置(在图2中由G指示的位置)。关于指定的开始位置和结束位置的信息被提供给路线规划生成单元85和显示数据生成单元86。

移动对象模型生成单元77被提供有经由通信单元71从服务器12提供的移动对象尺寸信息和来自用户接口72的UI信息。移动对象模型生成单元77生成具有如下尺寸的移动对象模型:该尺寸考虑参照图2描述的要运输的对象的尺寸和作为执行运输的运输执行对象的示例的人的尺寸。所生成的移动对象模型被提供给路线规划生成单元85和显示数据生成单元86。

路线规划生成单元85用作搜索单元,该搜索单元搜索从移动对象模型生成单元77提供的移动对象模型可以从开始位置移动到结束位置的路线,所述开始位置和结束位置由开始/结束位置指定单元78提供。在搜索时,在从标记单元84提供的3D标记地图上,搜索避开附加有3D标签的区域的路线。注意,如稍后将描述的,根据3D标签中描述的信息,设置要避开的区域的面积,或者搜索要通过而不被避开的路线。

路线规划生成单元85生成并向显示数据生成单元86提供移动路线和未知区域结果。有两种类型的3D形状地图,即已知区域和未知区域。已知区域是扫描区域,未知区域是未扫描区域。例如,用户在确认所呈现的路线时可能会认为可能还有另一条不错的路线。在这样的情况下,存在可以通过另外地扫描未扫描区域来呈现新路线的可能性。

因此,可以将未知区域呈现给用户,并根据需要提示用户进行附加扫描。从路线规划生成单元85输出的未知区域结果可以总是与移动路线一起输出,或者可以在从用户提供指示时、在满足预定条件时等输出。

显示数据生成单元86被提供有来自路线规划生成单元85的移动路线和未知区域结果、来自开始/结束位置指定单元78的关于指定的开始位置和结束位置的信息以及来自移动对象模型生成单元77的移动对象模型。显示数据生成单元86生成用于在显示单元87上显示在3D地图上绘制了路线、开始位置和结束位置的图像的显示数据。

生成在显示单元87上显示如图2所示的图像的显示数据。也可以如图2所示的显示移动对象模型的示例那样显示移动对象模型。此外,还可以根据需要显示未知区域。

终端13具有如图3和图4所示的功能,并且通过执行处理来向用户呈现路线。如图5至图9所示,尽管在以下描述中假设终端13具有图3所示的主要功能来继续进行描述,但是本技术也可以应用于服务器12包括一些功能的配置。

图5是示出服务器12和终端13的另一配置示例的图。图5所示的配置与图3所示的配置的不同之处在于:包括在图2所示的配置中的终端13中的路线规划生成单元85包括在图5所示的配置中的服务器12中。

由于存在处理量增加的可能性,因此由路线规划生成单元85执行的处理可以由具有高处理能力的装置(在这种情况下为服务器12)执行。此外,由于要存储的信息量根据处理量而增加,因此服务器12可以包括需要存储容量的功能。

图6是示出在服务器12包括可能增加处理量和需要大存储容量的功能的情况下服务器12和终端13的配置示例的图。除了通信单元51、数据库52和路线规划生成单元85之外,图6所示的服务器12还包括地图生成单元81、3D标签指定单元82、标签3D转换单元83、标记单元84和显示数据生成单元86。

由于存在由地图生成单元81进行的处理和后续处理需要大量内存的可能性,因此具有比终端13的存储容量大的存储容量的服务器12可以包括执行由地图生成单元81进行的处理和后续处理的功能。

此外,服务器12可以包括终端13的功能。因为终端13由用户携带并且在对路线期望被搜索的地方进行扫描时或在捕获要运输的对象的图像时使用,并且因为终端13在向用户呈现搜索到的路线时使用,所以终端13可以被配置成主要具有这样的功能。

图7是示出服务器12和终端13的另一配置示例的图。图7所示的终端13的配置是其中传感器73和处理由传感器73获得的传感器数据的功能留在终端13上的配置。终端13包括通信单元71、用户接口72、传感器73、对象识别单元74、深度估计单元75、自身位置估计单元76、2D标签指定单元79和显示单元87。

服务器12包括通信单元51、数据库52、移动对象模型生成单元77、开始/结束位置指定单元78、标签信息生成单元80、地图生成单元81、3D标签指定单元82、标签3D转换单元83、标记单元84、路线规划生成单元85和显示数据生成单元86。

此外,如图8所示,服务器12可以具有主要功能。服务器12包括通信单元51、数据库52、对象识别单元74、深度估计单元75、自身位置估计单元76、移动对象模型生成单元77、开始/结束位置指定单元78、2D标签指定单元79、标签信息生成单元80、地图生成单元81、3D标签指定单元82、标签3D转换单元83、标记单元84、路线规划生成单元85和显示数据生成单元86。

终端13包括通信单元71、用户接口72、传感器73和显示单元87。终端13的这种配置是还具有便携式终端诸如智能手机的功能,并且现有的智能手机可以使用本技术执行部分处理。换言之,本技术可以作为云服务提供,并且在本技术作为云服务提供的情况下,现有装置诸如智能手机可以用作系统的一部分。

注意,尽管在此作为示例已经描述了服务器12和终端13的配置,但是可以在服务器12与终端13之间插入诸如个人计算机(PC)的装置。例如,如下系统配置是可能的,其中终端13具有如图8所示的功能,服务器12具有如图3所示的配置(包括通信单元51和数据库52的配置),并且PC具有其他功能。

在这种情况下,终端13和PC彼此通信,并且PC根据需要与服务器12通信。也就是说,在此,尽管通过以终端13被配置为一个装置的情况为示例来继续描述,但是终端13可以是包括多个装置的装置。

此外,尽管在图5至图8中作为示例已经描述了服务器12包括终端13的功能的一部分的情况,但是终端13可以具有服务器12的功能。尽管未示出,但是终端13可以具有包括在服务器12中的数据库52。

此外,终端13可以具有如图9所示的配置。图9所示的终端13包括多个传感器73和处理由每个传感器73获得的数据的功能。具体地,图9所示的终端13包括两组传感器73、对象识别单元74、深度估计单元75和自身位置估计单元76。

图9所示的终端13包括传感器73-1、处理由传感器73-1获得的传感器数据的对象识别单元74-1、深度估计单元75-1和自身位置估计单元76-1。此外,图9所示的终端13包括传感器73-2、处理由传感器73-2获得的传感器数据的对象识别单元74-2、深度估计单元75-2和自身位置估计单元76-2。

因此,终端13可以包括多个传感器73,并且被配置成处理由各个传感器73获得的数据。例如,通过包括多个传感器73,可以同时捕获和处理前部和后部的图像。此外,例如,可以同时捕获和处理左方向和右方向的宽区域的图像。

此外,传感器73-1和传感器73-2可以是不同类型的传感器,并且终端13可以被配置成处理由各个传感器73获得的数据。例如,传感器73-1可以用作获取到对象的距离的距离测量传感器,并且传感器73-2可以用作获取自己位置的全球定位系统(GPS)。

在此示出的服务器12和终端13的配置仅仅是示例,而不是指示限制的描述。在以下描述中,将以图3所示的服务器12和终端13的配置为示例给出描述。

<由终端进行的处理>

将参照图10中的流程图描述与终端13执行的路线搜索相关的处理。

在步骤S101中,指定关于要运输的对象的信息,并且生成移动对象模型。关于要运输的对象的信息是尺寸(长度、宽度和深度的尺寸)、重量、附带信息等。附带信息例如为指示在运输期间禁止对象被倒置、对象是易碎对象等的信息。

关于要运输的对象(在下文中适当地描述为运输目标对象)的信息例如通过传感器73捕获运输目标对象的图像并对所捕获的图像数据进行分析来获取。

用户通过使用终端13捕获运输目标对象的图像。由移动对象模型生成单元77分析所捕获的图像的图像数据。移动对象模型生成单元77经由通信单元71向服务器12发送关于由于分析而识别出的运输目标对象的信息。在服务器12接收关于运输目标对象的信息的情况下,服务器12从数据库52读取与关于运输目标对象的信息相匹配的信息。

数据库52将运输目标对象与运输目标对象的尺寸、重量、附带信息彼此相关联地存储。服务器12将从数据库52读取的信息发送到终端13。终端13通过从服务器12接收信息来获取关于运输目标对象的信息。

服务器12可以是搜索站点的服务器。在服务器12中,可以通过图像检索来识别在其上发布有运输目标对象的网站页面,并且关于运输目标对象的信息可以通过从页面中提取来获取。

可以在终端13的显示单元87中显示运输目标对象的选项,并且可以由用户从选项中选择运输目标对象来指定运输目标对象。例如,可以以列表形式显示运输目标对象,并且可以由用户搜索列表或输入名称来指定运输目标对象。

此外,关于运输目标对象的尺寸、重量等的信息可以通过由用户输入来获取。

当获取关于运输目标对象的信息时,生成移动对象模型。将参照图11描述在生成移动对象模型时的用户接口。

图11是示出在生成移动对象模型时在显示单元87中显示的用户接口(在下文中适当地描述为UI屏幕)的示例的图。在UI屏幕的上部,显示运输目标对象信息显示栏111,其显示关于运输目标对象的信息。运输目标对象信息显示栏111显示关于运输目标对象的尺寸(例如,竖直宽度、水平宽度或深度)的信息以及表示运输目标对象的图片。图11所示的UI屏幕例示了运输目标对象是箱子的情况。

在运输目标对象信息显示栏111下方显示运输目标对象显示栏112,其显示执行运输目标对象的运输的运输执行对象。运输执行对象显示栏112被提供为用于选择实际执行运输的运输执行对象的栏。图11所示的运输执行对象显示栏112显示表示人、无人机、机器人和起重机作为运输执行对象的图片。移动对象模型的示例包括如图11中示出的显示栏112所示的人、无人机、机器人、起重机等。

工作栏113设置在运输执行对象显示栏112下方。工作栏113显示表示运输目标对象(描述为3D模型)的图片。图11所示的UI屏幕将箱子的图片显示为3D模型。用户例如通过拖放来选择在运输执行对象显示栏112中显示的运输执行对象。图11所示的UI屏幕示出了选择人作为运输执行对象的情况。

消息显示栏114设置在在工作栏113下方。在消息显示栏114中,根据需要显示消息。例如,当未选择运输执行对象时,显示消息“选择运输执行对象”。

此外,当判断使用所选择的运输执行对象进行运输困难时,显示通知用户该事实的消息。例如,在图11所示的示例中,显示消息“负载太重无法抬起,添加或更改运输执行对象”。在将运输目标对象的重量与运输执行对象可以搬运的最大负载进行比较之后,当判断运输目标对象比运输执行对象可以搬运的最大负载重时,显示这样的消息。

为了显示这样的判断或消息,获取运输目标对象的重量。此外,运输执行对象可以搬运的最大负载也可以从数据库52获取,或者可以被预先设置(由移动对象模型生成单元77保存)。

此外,在选择运输执行对象之后,可以显示消息“您确定这样行吗”和“完成”按钮。针对每个运输目标对象执行用于设置这样的移动对象模型的处理。

将参照图12描述移动对象模型。图12所示的示例表示在通过使用图11所示的UI图像来设置运输执行对象的情况下生成的移动对象模型。移动对象模型是具有如下尺寸的模型:该尺寸考虑运输目标对象的尺寸和执行运输的运输执行对象的尺寸。

图12所示的示例示出了运输目标对象是箱子并且运输执行对象是人的情况。此外,图11所示的UI图像示出了对应于消息“添加或更改运输执行对象”的用户添加了人的情况。也就是说,示出了选择两个人作为运输执行对象的情况。

图12所示的情况下的移动对象模型的尺寸是通过将运输目标对象A、人B和人C的尺寸相加而获得的尺寸。移动对象模型的水平宽度E也是通过将运输目标对象A的水平宽度A、人B在面向抬起箱子时的方向(在这种情况下为侧向)的宽度B以及人C的宽度C相加而获得的值。

此外,移动对象模型的竖直宽度F是人B和人C抬起运输目标对象A时的尺寸。例如,在图11所示的UI屏幕上,在设置运输执行对象之后,用户在垂直方向上移动所显示的运输目标对象的3D模型,以设置人将托住负载的哪些部分。基于所设置的状态,可以设置竖直宽度F。

可替选地,如图12所示,移动对象模型生成单元77可以创建人正抬起箱子的状态,并且可以设置竖直宽度F。如图12所示的人与运输目标对象之间的相对位置关系可以由用户设置,或者可以由移动对象模型生成单元77设置。

虽然在图12中示出了水平宽度E和竖直宽度F,但是以与设置水平宽度E和竖直宽度F相同的方式设置深度G。因此,移动对象模型是具有如下尺寸的模型:该尺寸考虑运输目标对象的尺寸和运输执行对象的尺寸。在这种情况下,移动对象模型可以被定义为具有水平宽度E、竖直宽度F和深度G的立方体。

如再次参考图11所示的UI屏幕,运输执行对象显示栏112显示除人之外的无人机、机器人等。图13示出了在从运输执行对象显示栏112中选择无人机时的移动对象模型。

参照图13,获取无人机的3D模型和运输目标对象的3D模型作为移动对象尺寸信息。移动对象模型生成单元77创建无人机抓住运输目标对象的状态,模拟地创建围绕无人机抓住运输目标物体的状态的立方体,并将立方体的尺寸设置为移动对象模型的尺寸。

描述将返回到参照图10所示的流程图的描述。当在步骤S101中生成移动对象模型时,处理进行到步骤S102。

在步骤S102中,开始地图的创建。例如,当用户移动到运输开始位置附近并指示在运输开始位置附近开始创建地图(搜索路线)时,开始地图的创建。

在步骤S103中,创建3D形状地图。3D形状地图由地图生成单元81生成。如再次参照图4,地图生成单元81通过使用从深度估计单元75提供的深度图像和从自身位置估计单元76提供的自身位置来生成3D形状地图。

例如,在传感器73是立体相机的情况下,可以根据从立体相机获得的深度图像和通过SLAM的相机位置(估计的自身位置)来创建三维形状地图。

SLAM是基于从各种传感器获取的信息同时执行自身位置估计和地图创建的技术,并且是供自主移动机器人等利用的技术。通过使用SLAM,可以进行自身位置估计和地图创建,并且可以通过组合所创建的地图和深度图像来生成3D形状地图。

对于自身位置估计,以下文献1中描述的方法可以应用于本技术。此外,为了创建3D形状地图,以下文献2中描述的方法可以应用于本技术。

文献1:Raul Mur-Artal和Juan D.Tardos,ORB-SLAM2:an Open-Source SLAM System for Monocular,Stereo and RGB-D Cameras,IEEE机器人科学汇刊,第33卷,第5期,第1255至1262页,2017年。

文献2:Andert,Franz,“Drawing stereo disparity images into occupancy grids:Measurement model and fast implementation”,智能机器人和系统,2009年。IROS 2009,IEEE/RSJ国际会议,IEEE,2009年。

注意,除了SLAM之外的方法可以用于自身位置估计,或者除了文献2中描述的方法之外的方法可以用于创建3D形状地图,并且本技术可以被应用而不限于这些方法。

用户携带终端13并在捕获运输目标对象被期望要运输到的场所的图像的同时四处移动。通过捕获图像,传感器73获得传感器数据,深度估计单元75通过使用传感器数据生成深度图像,并且自身位置估计单元76估计自身位置。

例如,用户对开始图像捕获的图像捕获按钮的操作可以用作在步骤S102中开始地图创建的触发器。

在步骤S104中,执行自动标记处理。在此,“自动”是指处理不是基于来自用户的指示执行而是在终端13中执行,并且是“手动”的反义词。

在本实施方式中,标记是由终端13在没有来自用户的指示的情况下执行的处理,或者是基于来自用户的指示执行的处理。此外,本实施方式还被配置成使得一旦附上标签,用户就可以改变或修正标签。

在步骤S104中执行的自动标记处理由标签信息生成单元80、标签3D转换单元83和标记单元84执行。再次参照图4,标签信息生成单元80通过使用由对象识别单元74识别的所识别的对象信息和经由通信单元71从服务器12发送的对象性质数据来生成2D标签。

2D标签是在其上描述了指示所识别的对象是可运输对象、贵重物品等的信息的标签。此外,也可以写入所识别的对象的名称等。由于所识别的对象是安装在运输目标对象将被运输到的地方(例如,房间等)中的对象,因此在下文中该对象将被适当地描述为安装对象。

可运输对象是安装在房间中的安装对象,例如家具或家用电器,并且是可移动的安装对象。在可运输对象中,不同之处在于重的或大的对象难以移动,而轻的或小的对象则易于移动。因此,根据可运输对象的可运输性来设置可运输对象的级别。尽管在此将假设具有较高级别的对象更易于运输即更易于移动来继续描述,但是本技术的范围还包括具有较低级别的对象更易于运输的情况。

贵重物品是不期望被破坏、损坏等的安装对象。也可以为贵重物品设置级别。如稍后将描述的,当搜索路线时,搜索远离设置为贵重物品的安装对象的路线。在搜索时,级别被称为用于设置贵重物品和路线彼此相距多远的条件。在此,将假设针对较高级别在较远位置搜索路线来继续描述。

尽管在此将通过举例说明存在可运输对象的信息和贵重物品的信息作为关于2D标签的信息的情况来继续描述,当然也可以设置另一条信息。

描述将返回到参照图10中的流程图的描述。在步骤S104中,执行自动标记处理,如上所述通过自动标记处理针对安装对象生成2D标签。此外,执行将所生成的2D标签附加至3D形状地图上的相应安装对象的处理。例如,如图14所示,在椅子是安装对象131的情况下,以多个体素为单位识别安装对象131。

使用由立体相机(传感器73)获得的深度图像和终端13的自身位置的估计结果来确定安装对象131的尺寸,并且具有该尺寸的立方体被划分为体素。例如,在图14所示的示例中,椅子被划分为九个体素。2D标签被附加至九个体素中的每一个。

例如,由于椅子是可运输对象,因此诸如“可运输对象”的信息被描述为关于2D标签的信息。可以通过将描述了可运输对象信息的2D标签附加至体素来指示该体素是可运输对象。体素被布置在竖直方向、水平方向和深度方向的三个维度上,因此,例如如图14所示,通过将2D标签附加至九个体素,由九个体素表示的对象被标记为可运输对象。这样的处理是将二维标签的2D标签转换为三维标签的3D标签的处理。

因此,执行将2D标签转换为3D标签的处理。标签3D转换单元83通过使用来自深度估计单元75的深度图像、来自自身位置估计单元76的自身位置和来自2D标签指定单元79的2D标签来生成在三维坐标系中指示可运输对象或贵重物品的3D标签。所生成的3D标签被提供给标记单元84。

标记单元84通过整合从地图生成单元81提供的3D形状地图和从标签3D转换单元83提供的3D标签来生成3D标记地图。标记单元84识别安装对象131在3D形状地图上的位置,并通过将3D标签在所识别的位置处附加至安装对象131来生成3D标记地图。

因此,当用户通过使用传感器73(相机)捕获运输目标对象被期望要运输到的场所的图像时,生成3D形状地图。此外,当安装对象131出现在所捕获的图像中时,生成2D标签,并且所生成的2D标签与安装对象131相关联。3D标记地图是3D形状的地图,并且是分配有诸如安装对象是可运输对象还是贵重物品的信息的地图。

在步骤S104(图10)中执行自动标记处理之后,处理进行到步骤S105。在步骤S105中,执行手动2D标记处理。此外,在步骤S106中,执行手动3D标记处理。在步骤S105和S106中执行的手动2D标记处理和手动3D标记处理是当在步骤S104中基于来自用户的指示执行等同于自动标记处理的处理时执行的处理。

在在步骤S104中以高精度执行自动标记处理、在没有来自用户的指示等的情况下,可以省略步骤S105和S106中的处理。此外,它可以是在用户改变(修正)步骤S104中的自动标记处理中附上的标签的情况下执行的处理,并且可以是中断处理。

在步骤S105中,2D标签指定单元79基于来自用户接口72的UI信息指定2D标签。将参照图15描述执行该处理时的用户接口72。

用户通过使用终端13捕获安装对象131的图像。此时,安装对象131显示在终端13的显示单元87上。用户执行预定操作,例如触摸显示在屏幕上的安装对象131。也就是说,当显示单元87捕获安装对象131的图像时,或者当用户希望向安装对象131添加诸如安装对象是可运输对象还是贵重物品的信息时,用户触摸所显示的安装对象131。

当安装对象131被触摸时,显示围绕安装对象131的框151。框151可以被配置成由用户改变尺寸。此外,当显示框151时,可以如图15所示显示“可运输对象”。

当用户选择安装对象131,确定该选择是用于设置该对象是可运输对象还是贵重物品的选择时,提供一种机制,在该机制中用户可以选择诸如“可运输对象”或“贵重物品”的选项。

因此,用户设置对应于可运输对象或贵重物品的安装对象131。也就是说,2D标签由用户设置。2D标签指定单元79通过分析通过用户的这种操作获得的UI信息来生成2D标签,并且将所生成的2D标签提供给标签3D转换单元83。

与上述步骤S104中的自动标记处理的情况一样,标签3D转换单元83执行将2D标签转换为3D标签的处理,并将3D标签提供给标记单元84。与上述情况一样,标记单元84执行整合3D形状地图和3D标签的处理,生成3D形状标记地图并将3D形状标记地图提供给路线规划生成单元85。

因此,2D标签可以由用户指定。此外,可以基于由用户指定的2D标记来生成3D形状标记地图。

在步骤S105中执行的手动2D标记处理是在例如创建3D形状地图时以及当捕获运输目标对象被期望要运输到的场所的图像时在拍摄屏幕中附上2D标签的情况。此外,基于附上的2D标签生成3D形状标记地图。

接下来描述的步骤S106中执行的手动3D标记处理与步骤S105中的处理的不同之处在于用户在查看所生成的3D形状地图时选择要对其附上标签的安装对象,尽管基本上基于来自用户的指示生成相当于3D形状标记地图。

在步骤S106中,执行手动3D标记处理。在步骤S106中,3D标签指定单元82基于来自用户接口72的UI信息指定3D标签。将参照图16描述执行该处理时的用户接口72。

图16是示出当用户指定3D标签时在终端13的显示单元87上显示的屏幕的示例的图。显示单元87显示在该时间点创建的3D形状地图。此外,桌子和椅子被显示为安装对象141。用户执行预定操作,例如触摸屏幕上显示的安装对象141。也就是说,当显示单元87捕获安装对象141的图像时,或者当用户希望向安装对象141添加诸如安装对象是可运输对象还是贵重物品的信息时,用户触摸所显示的安装对象141。

当安装对象141被触摸时,显示围绕安装对象141的框161。框161可以被配置成由用户改变尺寸。此外,当显示框161时,可以如图16所示显示“可运输对象”。当用户选择安装对象141,确定该选择是用于设置该对象是可运输对象还是贵重物品的选择时,提供一种机制,在该机制中用户可以选择诸如“可运输对象”或“贵重物品”的选项。

因此,用户设置对应于可运输对象或贵重物品的安装对象141。也就是说,3D标签由用户设置。3D标签指定单元82通过分析通过用户的这种操作获得的UI信息来生成3D标签,并将所生成的3D标签提供给标记单元84。

与上述情况一样,标记单元84执行整合3D形状地图和3D标签的处理,生成3D形状标记地图并将3D形状标记地图提供给路线规划生成单元85。

因此,3D标签可以由用户指定。

因此,用户可以在参考所捕获的图像时设置2D标签。此外,用户还可以在参考所生成的3D形状地图时设置3D标签。

在步骤S107(图10)中,确定是否已经指定了开始位置。例如,如图17所示,开始位置由用户指定。

通过使用终端13,用户捕获包括期望作为开始位置的位置的场所的图像。此时,终端13的显示单元87显示房间的一部分,例如地板或墙壁。用户执行预定操作,例如触摸屏幕上显示的地板。也就是说,当期望作为开始位置的位置的图像被捕获在显示单元87上时,用户触摸期望作为开始位置的显示位置(地板)。

当预定位置(地板)被触摸时,例如,在该位置处显示星形标记171。用户可以改变星形标记171的位置,并且可以调整开始位置。

当显示星形标记171时,可以如图17所示显示“开始位置”。也就是说,可以在显示星形标记171的位置处显示用于使用户识别已经设置了开始位置的显示。

通过用户的这种操作,在步骤S107中确定是否已经设置了开始位置。在步骤S107中确定未指定开始位置的情况下,处理进行到步骤S108。

在步骤S108中,确定是否存在开始位置附近的3D形状地图。即使已经指示了开始位置,除非生成3D形状地图,否则无法在3D形状地图上指定开始位置。因此,确定是否已经生成3D形状地图。

在步骤S108中确定尚未生成开始位置附近的3D形状地图的情况下,处理返回到步骤S103,并且重复后续处理。

通过将处理返回到步骤S103,生成3D形状地图。

同时,在步骤S108中确定存在开始位置附近的3D形状地图的情况下,处理进行到步骤S109。在步骤S109中,指定运输开始位置。如参照图17所描述的,当用户通过用户接口72指定开始位置时,关于指定位置的UI信息被提供给开始/结束位置指定单元78。

当用户指定开始位置时,由于3D形状地图从地图生成单元81提供给开始/结束位置指定单元78,可以确定是否已经生成了指定开始位置附近的3D形状地图(步骤S108中的确定)。然后,在存在3D形状地图的情况下,在3D地图上,开始/结束位置指定单元78生成关于用户指示的开始位置的信息,例如,三维坐标系中的坐标,并将该信息提供给路线规划生成单元85。

以这种方式,在步骤S109中指定了开始位置的情况下,或者在步骤S107中确定已经指定了开始位置的情况下,处理进行到步骤S110。

在步骤S110中,确定是否已经指定了结束位置。在步骤S110中确定没有指定结束位置的情况下,处理进行到步骤S111。在步骤S111中,确定是否存在结束位置附近的3D形状地图。在步骤S111中确定不存在结束位置附近的3D形状地图的情况下,处理返回到步骤S103,并且重复后续处理。

同时,在步骤S111中确定存在结束位置附近的3D形状地图的情况下,处理进行到步骤S112。在步骤S112中,指定运输结束位置。

步骤S110至S112中的处理基本上类似于在步骤S107至S109中指定开始位置的情况下的处理。因此,如参照图17所描述的,当通过使用终端13捕获包括结束位置的场所的图像时,用户可以通过执行预定操作来指定结束位置,例如在显示单元87上显示的图像中触摸期望被指定为结束位置的位置。

此外,如图18所示,可以指定开始位置或/和结束位置。图18是示出当用户指定开始位置或/和结束位置时在终端13的显示单元87上显示的屏幕的示例的图。显示单元87显示在该时间点创建的3D形状地图。

当触摸3D形状地图中的预定位置时,在该位置处显示星形标记171或星形标记172。在开始位置处显示星形标记171,并且在结束位置处显示星形标记172。为了使用户更容易地识别开始位置或结束位置中的哪一个,如图18所示,可以在星形标记171附近显示诸如“开始位置”的显示,并且可以在星形标记172附近显示诸如“结束位置”的显示。

可以如参考图17所描述的那样设置开始位置,并且可以如参考图18所描述的那样设置结束位置。

因此,用户可以在参考所捕获的图像时设置开始位置或结束位置。此外,用户还可以在参考所生成的3D形状地图时设置开始位置或结束位置。

以这种方式,在步骤S112中指定了结束位置的情况下,或者在步骤S110中确定已经指定了结束位置的情况下,处理进行到步骤S113。

在此,将参照图19至图21描述通过执行步骤S103至S112中的处理而生成的3D形状地图。

图19是初始状态下的3D形状地图。初始状态下的3D地图是未知区域被指定给整体体素的状态。体素与激活时终端13的位置之间的关联可以针对每种模式切换并且取决于实现方式。例如,在诸如单个通道的路线的情况下,激活时终端13的位置可以与体素的左端相关联。此外,例如,在没有限制等的情况下,体素的中心可以被指定为激活时终端13的位置。

从初始状态下的这种3D形状地图执行诸如3D形状地图的生成或3D标签的生成的处理。图20是示出生成开始位置附近的3D形状地图的状态的图。当开始地图的生成时,标记空白区域和障碍物区域。空白区域是没有障碍物的区域,而障碍物区域是有障碍物的区域。假设障碍物是不可移动对象,例如墙壁。在图20中,以黑色示出障碍物区域。

如图20所示,当指定开始位置171时,如果已经生成开始位置171附近的3D形状地图,则可以在3D形状地图上设置开始位置171。然而,当指定开始位置171时,如果没有生成开始位置171附近的3D形状地图,例如在开始位置171附近是如图19所示的未知区域的情况下,则无法在3D形状地图上设置开始位置。因此,在步骤S108(图10)中,当指定开始位置时,确定是否存在开始位置附近的3D形状地图。

结束位置172的情况类似于开始位置171的情况,并且当指定结束位置172时,如果没有生成结束位置172附近的3D形状地图,则无法在3D形状地图上设置结束位置172,因此,当在步骤S111(图10)中指定结束位置时,确定是否存在结束位置附近的3D形状地图。

通过重复步骤S103至S112中的处理,分配障碍物区域和空白区域,并且当检测到安装对象时,将3D标签附加至安装对象。图21示出了生成3D形状地图的状态。图21所示的3D形状地图是设置了开始位置171、检测到障碍物和安装对象并附上标签的状态。通过重复步骤S103至S112中的处理来生成这样的3D形状地图(3D标记地图)。

因此,未知区域被分配给空白区域、障碍物区域或安装对象。可以在将搜索到的路线呈现给用户时呈现在设置结束位置时剩余的未知区域。

当如稍后将描述的执行路线搜索并且将路线呈现给用户时,未知区域也可以呈现给用户。例如,向用户呈现未知区域允许用户判断对未知区域的附加扫描可以搜索更好的路线。

描述将返回到参照图10中的流程图的描述。在步骤S113中,确定是否要开始路线规划。在此,路线规划是用于对运输目标对象进行运输而采取行动的规划,并且将搜索作为规划的一部分的运输路线。

当满足以下四个条件时,确定开始路线规划。第一个条件是已经生成移动对象模型。第二个条件是已经生成3D形状标记地图。

第三个条件是指定开始位置。第四个条件是指定结束位置。当满足这四个条件时,在步骤S113中确定要开始路线规划。

在步骤S113中确定不开始路线规划的情况下,处理返回到步骤S103,并且重复后续处理。另一方面,在步骤S113中确定要开始路线规划的情况下,处理进行到步骤S114。

在步骤S114中,创建路线规划。规划的(搜索的)路线是移动对象模型可以通过的路线,并且是移动对象模型可以通过而不会撞到墙壁、地板、安装对象等的路线。

用于搜索路线的算法是考虑到移动对象模型的尺寸来判断是否会撞到墙壁、地板、安装对象等并搜索从运输开始位置到结束位置的路线的算法。该算法可以用图搜索算法构造。例如,可以应用A*搜索算法。作为A*搜索算法,可以应用在以下文献3中描述的方法。

文献3:Peter E.Hart;Nils J.Nilsson;Bertram Raphael(1968年7月),“A Formal Basis for the Heuristic Determination of Minimal Cost Paths”,IEEE系统科学和控制论汇刊4(2):100-107,doi:10.1109/TSSC.1968.300136,ISSN 0536-1567。

A*搜索算法是通过在搜索中从关注点的中心搜索相邻点来搜索路线的算法。路线搜索算法可以在具有X轴、Y轴和Z轴的三维空间中搜索路线。在以下描述中,将假设包括X轴和Y轴的X-Y平面对应于地板表面并且垂直于地板表面的方向是Z轴方向(高度方向)来继续描述。

在路线搜索中,相应的X轴、Y轴和Z轴被同等处理,而不是在水平方向或垂直方向上划分。然而,对于每个移动对象,在垂直方向(Z轴方向)上存在可移动区域限制,并且在限制范围内执行搜索。将描述Z轴方向上的限制。

参照图22,将描述在人对运输目标对象进行运输的情况下的高度方向上的限制。图22示出了X-Z平面、在图下侧上的地板表面以及安装在地板表面上的安装对象141。在人对运输目标对象进行运输的情况下,因为人通过行走而移动,所以人无法在离开地板表面一定距离或更远距离的位置处移动。例如,在图22所示的垂直方向上布置的两个方块被设置为人在垂直方向上的移动区域。

在图22中,在人的移动区域之外的部分用阴影表示。在搜索路线时,设置成不在移动区域之外搜索路线。因此,例如,因为人的移动区域在安装对象141处不连续,所以不在Z轴方向上执行路线搜索,而在人的移动区域在X轴方向和Y轴方向上连续的方向上执行路线搜索。

因此,例如,搜索到如图23所示的路线并将其呈现给用户。图23是示出在显示单元87上显示的路线搜索结果的示例的图。在路线搜索结果的屏幕上显示3D形状地图和安装对象141。然后,连接开始位置171和结束位置172的线被显示为路线。

从图23所示的屏幕可以看出,搜索避开安装对象141的路线。在人对运输目标对象进行运输的情况下,由于人在地板上行走,即人不能越过安装对象141,因此搜索避开安装对象141(例如,桌子和椅子)的路线。

注意,路线是示例,并且如稍后将描述的,可以在安装对象附有诸如可运输对象或贵重物品的标签的情况下设置另一条路线,并且搜索更适合于用户的路线。

参照图24,将描述在无人机对运输目标对象进行运输的情况下高度方向上的限制。图24示出了X-Z平面、在图下侧上的地板表面以及安装在地板表面上的安装对象141。这种情况类似于图22中所示的情况。

在无人机对运输目标对象进行运输的情况下,因为无人机通过在空中飞行来移动,所以无人机甚至可以在离开地板表面一定距离或更远距离的位置处移动。因此,对于无人机而言,假设在垂直方向上基本上没有移动区域限制的情况下来设置路线。与示出人的移动区域之外的区域的图23相比,在图24中没有阴影区域,因为没有无人机的移动区域之外的区域。

在搜索路线时,设置成不在移动区域之外搜索路线。例如,在无人机的情况下,因为无人机的移动区域在安装对象141处连续,所以以与在X轴方向或Y轴方向上执行路线搜索类似的方式执行Z轴方向上的路线搜索。因此,在Z轴方向上的路线比X轴方向或Y轴方向上的路线更合适的情况下,如图24所示,即使路线在安装对象141上方,也搜索Z轴方向上的路线。

因此,例如,搜索到如图25所示的路线并将其呈现给用户。图25是示出在显示单元87上显示的路线搜索结果的示例的图。在路线搜索结果的屏幕上显示3D形状地图和安装对象141。然后,连接开始位置171和结束位置172的线被显示为路线。

从图25所示的屏幕可以看出,搜索到越过安装对象141的路线。在无人机对运输目标对象进行运输的情况下,由于无人机飞行,即无人机可以越过安装对象141,因此可以搜索到越过安装对象141(例如,桌子和椅子)的路线。

注意,在安装对象141上方有灯等并且没有足够空间供无人机通过的情况下,不搜索在安装对象141上方飞行的路线。尽管为了便于描述而不描述天花板侧上的安装对象,但是在生成3D形状地图或3D形状标记地图时生成天花板侧的地图,并且考虑到安装在天花板侧上的安装对象来执行路线搜索。

因此,当执行路线搜索时,考虑到取决于对运输目标对象进行运输的运输执行对象的移动区域来执行搜索。注意,也可以由用户设置在Z轴方向(高度方向)上的这种限制。例如,在运输目标对象是精密设备并因此期望不会上下晃动地被运输时,可以将垂直方向(高度方向)上的移动区域设置得较窄。

在路线搜索中,确定不撞到墙壁、地板、安装对象等的路线。将描述不撞到安装对象的路线的搜索。作为示例,考虑如图26所示的情况。尽管将在图26和后续图中描述对X-Y平面上的路线的搜索,但是如上所述,通过在高度限制区域等内执行搜索,与X轴方向和Y轴方向上的搜索类似地执行Z轴方向上的搜索。

图26是3D形状地图的示例,并且示出了安装对象141、障碍物142和障碍物143分别安装在中央部、右上方和左下方的情况。当执行路线搜索时,搜索避开(不撞到)安装对象141、障碍物142和障碍物143的路线。此外,基本上搜索较短距离的路线作为搜索到的路线。

因此,如图26中的黑线所示,在搜索从开始位置171到结束位置172的路线的情况下,设置避开安装对象141、障碍物142和障碍物143的路线。尽管就距离而言最短路线是用直线连接开始位置171和结束位置172的路线,但是在这样的路线上存在安装对象141,因此搜索避开安装对象141的路线。

尽管基本上以这种方式搜索避开安装对象的路线,但是可以根据本技术搜索不避开安装对象的短路线。在通过应用本技术生成的3D标记地图中,指示安装对象是否是可运输对象的信息被附加至安装对象。

由于可运输对象可以被运输,因此如果可运输对象被运输,则可以通过可运输对象的位置。因此,由于由3D标记指示为可运输对象的安装对象的位置在移动安装对象之后变成没有安装对象的区域(空白区域),因此该位置可以与没有安装对象的区域被同等地处理。

参照图27。与图26类似,图27是3D形状地图的示例,并且示出了安装对象141、障碍物142和障碍物143分别安装在中央部、右上方和左下方的情况。安装对象141是在3D标签上被描述为可运输对象的安装对象。

在如图27所示的情况下,就距离而言最短的路线是用直线连接开始位置171和结束位置172的路线。然后,尽管安装对象141安装在路线上,但是由于指示可运输对象的3D标签被附上,因此处理成不存在安装对象,并且因此,如图27所示,用直线连接开始位置171和结束位置172的路线被视为搜索结果。

因此,通过应用本技术,甚至可以搜索到常规上未被搜索的路线。

此外,除了指示可运输对象的信息之外,3D标签还可以包括关于可运输对象的级别的信息。如上所述,根据可运输对象的可运输性来设置可运输对象的级别。在此,将假设具有较高级别的对象更易于运输即更易于移动来继续描述。例如,可运输对象级别2表示比可运输对象级别1更易于移动。

例如,可运输对象级别1用于一件沉重的家具,例如箱子,可运输对象级别2用于可移动但不经常移动的一件家具,例如餐桌,并且可运输对象级别3是易于移动的一件家具,例如椅子。

用户能够经由用户接口72(图3)指定可运输对象级别。此外,可以基于预先准备的数据库52(图3)与来自对象识别单元74(图3)的结果之间的对照来指定可运输对象级别。可以存在在终端13中指定之后由用户改变的机制。

图28是示出3D形状标记地图的示例的图。在图中,黑色方块指示障碍物的区域,例如无法通过的墙。在图28所示的示例中,安装对象145、安装对象146和安装对象147安装在每个房间中。指示可运输对象的3D标签被附加至这些安装对象145至147。

可运输对象145的可运输对象级别被设置为“3”,可运输对象146的可运输对象级别被设置为“2”,并且可运输对象147的可运输对象级别被设置为“1”。可以根据可运输对象级别确定是否在作为可运输对象的安装对象上绘制路线,并且用于该确定的可运输对象级别的设置可以被默认设置或者可以由用户设置。

图28示出了在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为可运输对象级别3的情况。换言之,在满足处于可运输对象级别3或更高的条件的情况下,作为可运输对象的设置对象被视为不存在于路线搜索中。如参照图28,在搜索从开始位置171到结束位置172的移动路线时,最短路线是线性连接开始位置171和结束位置172的路线。安装对象145、安装对象146和安装对象147安装在这样的线性路线上。

因为安装对象145的可运输对象级别是可运输对象级别3,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别3,因此安装对象145被视为不存在(视为空白区域),并且还搜索通过安装对象145的路线。

注意,安装对象145仅被视为不存在,并且安装对象145存在的区域仅是要搜索路线的目标区域,并且该描述并不意味着总是在安装对象145上绘制路线。在通过安装对象145的路线最佳的情况下,在安装对象145上绘制路线,而在避开安装对象145的路线最佳的情况下,即使安装对象145处于可运输对象级别3,也搜索避开安装对象的路线。这也适用于上述实施方式和下面描述的实施方式。

因为安装对象146的可运输对象级别是可运输对象级别2,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别3,因此搜索避开安装对象146的路线。

因为安装对象147的可运输对象级别是可运输对象级别1,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别3,因此搜索避开安装对象147的路线。

因此,根据可运输对象级别,搜索通过安装对象的路线或者搜索避开安装对象的路线。

在图28所示的状态下,在作为可运输对象的安装对象上绘制路线的可运输对象级别降低至可运输对象级别2的情况下,绘制如图29所示的路线。

因为安装对象145的可运输对象级别是可运输对象级别3,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别2,所以安装对象145被视为不存在(被视为空白区域),并且还搜索通过安装对象145的路线。

因为安装对象146的可运输对象级别是可运输对象级别2,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别2,所以安装对象146也被视为不存在(被视为空白区域),并且还搜索通过安装对象146的路线。

因为安装对象147的可运输对象级别是可运输对象级别1,并且在作为可运输对象的安装对象上绘制路线的可运输对象级别被设置为等于或高于可运输对象级别2,因此搜索避开安装对象147的路线。

因此,根据可运输对象级别,搜索通过安装对象的路线或者搜索避开安装对象的路线。

在安装对象是贵重物品的情况下,在3D标签上描述指示安装对象是贵重物品的信息。贵重物品是不期望被破坏、损坏等的安装对象。因此,搜索距离带有贵重物品的3D标签的安装对象至少预定距离的路线。将参照图30给出描述。

图30示出了3D标记地图的示例,以及带有贵重物品的3D标签的安装对象148被安装在中心的状态。当执行路线搜索时,搜索避开(不撞到)带有贵重物品的3D标签的安装对象148的路线。此外,在存在对其附上贵重物品的3D标签的安装对象148的情况下,以不在以安装对象148为中心的预定区域上绘制路线的方式搜索路线。

在图30所示的示例中,带有贵重物品的3D标签的安装对象148周围的两个方块(2个体素,其中1个方块是1个体素)内的区域,即5×5个方块(5×5个体素)的区域被设置为不能绘制路线的NG区域。

由于较短距离的路线基本上被搜索作为搜索到的路线,因此如果不存在安装对象148,则搜索线性连接开始位置171和结束位置172的路线。然而,由于NG区域设置在线性连接开始位置171和结束位置172的路线上,因此搜索通过NG区域外部的路线。因此,如图30中的线所示,搜索绕过NG区域的路线。

还可以为贵重物品设置级别。如上所述,当搜索路线时,搜索远离设置为贵重物品的安装对象的路线。在搜索时,级别(在下文中被描述为贵重物品级别)可以被称为用于设置贵重物品和路线彼此相距多远的条件。在此,假设为较高的贵重物品级别设置较大的NG区域来继续描述。

贵重物品级别不仅通过价值设置,而且通过易碎性、用户的感觉等设置。与安装对象相关联的贵重物品级别可以预先存储在数据库52中,并且所存储的值可以被设置,或者可以由用户设置。

图31是用于描述与贵重物品级别对应的NG区域的尺寸的图。图中的左侧示出了贵重物品级别处于低级别的情况,并且图中的右侧示出了贵重物品级别处于高级别的情况。

图31中的左侧所示的贵重物品级别是贵重物品级别1。在贵重物品级别1的情况下,NG区域是安装对象148周围的一个方块(1体素)内的区域,即,3×3方块(3×3体素)的区域。

图31中的中心所示的贵重物品级别是贵重物品级别2。在贵重物品级别2的情况下,NG区域是安装对象148周围的两个方块(2个体素)内的区域,即,5×5方块(5×5体素)的区域。

图31中的右侧所示的贵重物品级别是贵重物品级别3。在贵重物品级别3的情况下,NG区域是安装对象148周围的三个方块(3个体素)内的区域,即,7×7方块(7×7体素)的区域。

因此,根据贵重物品级别来设置距作为贵重物品的安装对象的距离,并且搜索远离设置距离或更大距离的路线。

在上述路线搜索中,搜索移动对象模型可以移动的路线。如参照图12和图13所描述的,移动对象模型是具有如下尺寸的模型:该尺寸考虑运输目标对象的尺寸和执行运输目标对象的运输的运输执行对象的尺寸。例如,在运输执行对象是人的情况下,在人抬起运输目标对象时运输目标对象和人所占用的体积是移动对象模型的尺寸。

移动对象模型的尺寸可以根据如何保持运输目标对象而改变。例如,如图32所示,考虑其中运输目标对象是桌子181并且运输执行对象是人182和人183的情况。

移动对象模型A1是当人182和人183在水平方向上保持和运输桌子181时的移动对象模型。移动对象模型A2是当人182和人183在竖直方向上保持和运输桌子181时的移动对象模型。在移动对象模型A1的水平宽度是水平宽度A1并且移动对象模型A2的水平宽度是水平宽度A2的情况下,水平宽度A1比水平宽度A2长。

因此,由于移动对象模型的尺寸可以根据如何保持运输目标对象而改变,因此可以生成具有保持运输目标对象的各种方式的多个移动对象模型,并且在路线搜索时,可以从多个移动对象模型中选择适当的移动对象模型来搜索路线。

例如,在作为标准的移动对象模型A1难以通过路线的情况下,移动对象模型A2被规划通过该路线。将参照图33描述示例。

当搜索从开始位置171到结束位置172的路线时,搜索移动对象模型A1可以通过的路线。在途中,存在被障碍物变窄的部分(在图中以黑色示出的部分)。确定移动对象模型A1难以通过狭窄部分,并且可能撞到障碍物。

在这样的情况下,确定移动对象模型A2是否可以通过。因为移动对象模型A2的水平宽度比移动对象模型A1的水平宽度窄,所以移动对象模型A2比移动对象模型A1更适合通过狭窄的地方。在移动对象模型A2可以通过而不撞到障碍物的情况下,该路线被设置为移动对象模型A2通过的路线。

在通过狭窄的地方之后,执行针对移动对象模型A1的路线搜索。在执行这样的搜索的情况下,提供允许用户理解该搜索的显示。例如,如图33所示,移动对象模型A1和移动对象模型A2由图片表示。图片显示在推荐运输目标对象通过如图片所示的那样被保持来被运输的路线上。

此外,在图33所示的示例中,用比推荐运输移动对象模型A1的路线的线粗的线来显示推荐运输移动对象模型A2的路线。注意,可以执行除本文中描述的显示示例之外的显示,例如以不同颜色显示。

在以这种方式设置路线的情况下,通过参照图34至图36描述的流程来执行处理。如图34所示,设置开始位置171-1和结束位置172-1。开始位置171-1是被设置为由用户设置的运输开始位置的位置。结束位置172-1是搜索针对移动对象模型A1的路线时的临时结束位置。临时结束位置指示该位置不是由用户设置的结束位置。

以与上述情况类似的方式执行从开始位置171-1到结束位置172-1的路线搜索。尽管未示出,但是在存在被标记为可运输对象的安装对象的情况下,根据可运输对象级别来搜索路线,并且在存在被标记为贵重物品的安装对象的情况下,根据贵重物品级别来设置NG区域,并且搜索路线。

当搜索到至结束位置172-1的路线时,如图35所示,结束位置172-1被设置为新的临时开始位置171-2,并且搜索从开始位置171-2开始的路线。执行路线搜索直至移动对象模型A2移动时设置的临时结束位置172-2。以与上述情况类似的方式执行从开始位置171-2到结束位置172-2的路线搜索。

当搜索到至结束位置172-2的路线时,如图36所示,结束位置172-2被设置为新的临时开始位置171-3,并且搜索从临时开始位置171-3开始的路线。执行路线搜索直至移动对象模型A1移动时设置的结束位置172-3。结束位置172-3为由用户设置的结束位置。以与上述情况类似的方式执行从开始位置171-3到结束位置172-3的路线搜索。

以这种方式,每当移动对象模型的形式改变时,在设置针对路线搜索的开始位置和结束位置时搜索路线。

当搜索路线时,可以考虑由用户设置的另一条信息来执行搜索。由用户设置的另一条信息例如是禁止进入区域的设置。

禁止进入区域是由于例如在运输期间通过其是危险的湿滑地板而不适合作为运输路线的区域。此外,禁止进入区域是不能用作运输路线的私用区域。

这样的区域可以由用户来设置,并且可以执行路线搜索以使得在设置的区域上不绘制路线。

将参照图37以湿滑地板被设置为禁止进入区域的情况为例进行描述。在如图37的A所示的情况下,假设远侧的地板是湿滑地板201。如果用户没有将地板201设置为禁止进入区域,则存在在路线搜索时在地板201上绘制路线的可能性,如图37的B所示。

例如,当在显示单元87上显示如图37的A所示的屏幕时,用户可以通过执行诸如触摸地板201的四个角的预定操作来设置禁止进入区域。在用户将地板201设置为禁止进入区域的情况下,如图38的A所示,设置虚拟墙202以防止进入禁止进入区域。

指示禁止进入的3D标签被附加至虚拟墙202。通过设置这样的墙202,如图37的B所示,执行路线搜索以使得不在地板201上绘制路线。

因此,用户可以设置其中不期望路线设置的区域,并且可以执行控制以使得不在这样的区域上绘制路线。

路线规划生成单元85(图3和图4)考虑到这样的各种条件来搜索路线,并向显示数据生成单元86提供移动路线。以这种方式,当在步骤S114(图10)中创建路线规划时,处理进行到步骤S115。

在步骤S115中,创建路线规划创建等的CG视图。

例如,显示数据生成单元86生成用于在显示单元87上显示将搜索到的路线叠加在如图2所示的3D地图上的屏幕的显示数据,并且显示单元87基于该显示数据执行显示。

在显示单元87上显示3D形状地图、3D形状地图上的运输开始位置和结束位置以及路线规划结果。此外,还可以显示可运输对象级别或贵重物品级别。

此外,可以同时显示多条路线。例如,可以同时呈现避开可运输对象的路线以及可以通过移动可运输对象而通过的路线,以允许用户进行比较。

此外,还可以显示未知区域。未知区域可以在确定无法搜索到最佳路线等的情况下被显示,并且可以设置为不总是显示。可以显示未知区域以提示用户执行再扫描。

因此,根据本技术,可以搜索用于对运输目标对象进行运输的最佳路线并向用户呈现路线。此外,可以考虑可运输对象来搜索路线,并且甚至向用户呈现可以通过移动可运输对象而通过的路线。

此外,可以考虑贵重物品来搜索路线,并且可以搜索并向用户呈现与贵重物品保持预定距离的路线。此外,通过改变保持运输目标对象的方式,可以搜索并向用户呈现运输目标对象可以通过的地方作为路线等。

<用于路线搜索和呈现的另一种方法>

将描述与路线搜索和搜索到的路线的呈现相关的另一种方法(被称为第二实施方式)。

在基于图10所示的流程图的处理(被称为第一实施方式)中,在设置结束位置之后开始路线规划,因此在设置结束位置之后向用户呈现路线。作为第二实施方式,将描述当用户正在执行扫描时呈现路线的情况。

将参照图39给出描述。与上述第一实施方式的情况一样,用户通过使用终端13捕获运输目标对象要被运输到的场所的图像。此时,终端13的显示单元87显示到该时间点为止已经搜索到的路线(由图中的黑线指示的路线),该路线被叠加在所捕获的图像上。此外,为了指示该路线是针对暂时确定的结束位置搜索的路线,还显示指示暂时确定的结束位置的标记231。

当在与终端13的传感器73(相机)的光轴平行的方向上距离终端13的位置X m是点P1时,结束位置是在点P1正下方的体素的位置。点P1的位置,即,距离终端13的位置X m可以由用户设置,或者可以使用预设值。例如,X m被设置为1m、2m等。

因此,可以针对暂时确定的结束位置搜索路线,并且可以向用户呈现搜索结果。在这种情况下,用户可以在扫描期间实时确认路线。

因此,在搜索或呈现路线的情况下的终端13和服务器12的配置可以是图3至图9中的任何一个所示的配置。此外,可以基于图40所示的流程图执行处理。

将参照图40中所示的流程图。由于可以以与步骤S101至S109(图10)中的处理相同的方式执行步骤S201至S209中的每个处理,因此在此将省略其描述以避免重叠。

在步骤S207中确定已经指定了开始位置或者在步骤S209中指定了开始位置的情况下,处理进行到步骤S210。

在步骤S210中,将结束位置暂时确定为距离自身位置的指定偏移位置。也就是说,如参照图39所描述的,当在与终端13的传感器73(相机)的光轴平行的方向上距离终端13的位置X m是点P1时,点P1正下方的体素的位置被暂时确定为结束位置。

当暂时确定结束位置时,处理进行到步骤S211,并且创建路线规划。然后,在步骤S212中,创建路线规划创建等的CG视图。由于可以以与步骤S114和S115(图10)中的处理相同的方式执行步骤S211和S212中的处理,因此在此将省略其描述以避免重叠。

根据第二实施方式,除了在第一实施方式中获得的效果之外,还可以获得用户可以执行扫描同时保持确认路线的效果。因此,当检查路线时,可以仅扫描检查路线所需的位置同时确认路线,并且可以减少不必要的扫描。

<信息处理系统的另一配置示例>

在上述实施方式中,例如,如图3所示,以一个终端13主要执行处理的情况为例进行描述。可以通过使用多个终端13来执行处理。

例如,在针对其期望路线搜索的区域宽的情况下,难以由一个终端13(一个用户)执行扫描。下面描述的是在这样的情况下允许由多个终端13(多个用户)进行扫描的系统,该系统能够整合由多个终端13获得的结果并搜索路线,并且将路线呈现给用户。

图41是示出包括多个终端13和服务器12的信息处理系统的配置示例的图。尽管在图41中两个终端13-1和13-2被示为多个终端13,但是终端的数量可以是两个或更多个。

终端13-1和终端13-2具有类似的配置。此外,例如,终端13-1和终端13-2具有与图5所示的终端13基本相同的配置。

终端13-1包括通信单元71-1、用户接口72-1、传感器73-1、对象识别单元74-1、深度估计单元75-1、自身位置估计单元76-1、移动对象模型生成单元77-1、开始/结束位置指定单元78-1、2D标签指定单元79-1、标签信息生成单元80-1、地图生成单元81-1、3D标签指定单元82-1、标签3D转换单元83-1、标记单元84-1和显示单元87-1。

类似地,终端13-2包括通信单元71-2、用户接口72-2、传感器73-2、对象识别单元74-2、深度估计单元75-2、自身位置估计单元76-2、移动对象模型生成单元77-2、开始/结束位置指定单元78-2、2D标签指定单元79-2、标签信息生成单元80-2、地图生成单元81-2、3D标签指定单元82-2、标签3D转换单元83-2、标记单元84-2和显示单元87-2。

与图5所示的服务器12类似,服务器12包括通信单元51、数据库52和路线规划生成单元85。此外,图41所示的服务器12包括显示数据生成单元86和地图整合单元301。

服务器12执行对来自多个终端13的数据进行整合的处理。服务器12的地图整合单元301通过整合由终端13-1的标记单元84-1生成的3D形状标记地图和由终端13-2的标记单元84-2生成的3D形状标记地图来生成一个3D形状标记地图。

对于由地图整合单元301执行的地图整合,可以应用本申请人提交的以下文献4中描述的技术。

文献4:日本专利第5471626号

服务器12的路线规划生成单元85通过使用如下来搜索路线:由地图整合单元301整合的3D形状标记地图、来自终端13-1的移动对象模型生成单元77-1的移动对象模型、来自终端13-1的开始/结束位置指定单元78-1的开始/结束位置、来自终端13-2的移动对象模型生成单元77-2的移动对象模型、以及来自终端13-2的开始/结束位置指定单元78-2的开始/结束位置。

以与上述情况类似的方式执行由路线规划生成单元85执行的路线搜索。由路线规划生成单元85生成的关于路线等的信息被提供给显示数据生成单元86。还以与上述情况类似的方式执行显示数据生成单元86中的处理。

由显示数据生成单元86生成的显示数据被提供给监视器311。监视器311可以是终端13-1的显示单元87-1或终端13-2的显示单元87-2。在监视器311上,显示基于从终端13-1和终端13-2获得的数据生成的3D形状地图、搜索到的路线等。

本技术还可以应用于使用多个终端13的这样的情况。通过使用多个终端13,可以减少使用终端13执行处理的用户进行的处理。此外,可以减少由各个终端13执行的处理。

注意,本技术不仅可以应用于当然如上所述的在运输目标对象被运输时搜索路线的情况,而且可以应用于例如自主机器人创建路线规划并基于该路线规划采取行动的情况。例如,本技术还可以应用于自主机器人从预定位置移动到预定位置时搜索路线的情况等。

<通过软件执行的示例>

顺便提及,上述一系列处理可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下,将包括在软件中的程序从记录介质安装到并入专用硬件中的计算机,例如能够通过安装各种程序来执行各种功能的通用计算机等。

图42示出了通用计算机的配置示例。个人计算机具有内置的中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。

输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接至输入/输出接口1005,输入单元1006包括用户通过其输入操作命令的输入设备,例如键盘或鼠标,输出单元1007向显示设备输出处理操作屏幕或处理结果的图像,存储单元1008包括存储程序或各种数据的硬盘驱动器等,通信单元1009包括局域网(LAN)适配器等并经由由因特网表示的网络执行通信处理。此外,连接从诸如磁盘(包括软盘)、光盘(包括压缩光盘只读存储器(CD-ROM)和数字通用光盘(DVD))、磁光盘(包括小型光盘(MD))或半导体存储器的可移动存储介质1011读取数据以及将数据写入到可移动存储介质1011的驱动器1010。

CPU 1001根据存储在ROM 1002中的程序或者从可移动存储介质1011(例如磁盘、光盘、磁光盘或半导体存储器)读取的、被安装在存储单元1008中并且从存储单元1008被加载至RAM 1003的程序来执行各种处理。适当时,RAM 1003还存储CPU 1001用于执行各种处理所需的数据。

在如上配置的计算机中,例如通过使CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载至RAM 1003中并执行该程序来执行上述一系列处理。

例如,可以通过将由计算机(CPU 1001)执行的程序记录在作为封装介质等的可移动存储介质1011上来提供该程序。此外,可以经由有线或无线传输介质(例如局域网、因特网或数字卫星广播)来提供该程序。

在计算机中,通过将可移动存储介质1011附加至驱动器1010,可以经由输入/输出接口1005将程序安装到存储单元1008。此外,程序可以被通信单元1009经由有线或无线传输介质接收并被安装在存储单元1008上。此外,程序可以被预先安装在ROM 1002或存储单元1008上。

注意,由计算机执行的程序可以是以本说明书中描述的顺序按时间序列处理的程序,或者可以是并行地或在必要定时(例如,当进行调用时)处理的程序。

此外,在本说明书中,系统表示包括多个装置的整个装置。

注意,本文中描述的效果仅是示例,并且本技术的效果不限于这些效果。还可以获得另外的效果。

注意,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的范围的情况下可以进行各种改变。

注意,本技术可以具有以下配置。

(1)

一种信息处理装置,包括处理单元,所述处理单元进行以下操作:

生成包括要被运输的对象和运输所述对象的运输执行对象的移动对象模型、以及所述对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像,

在所述三维形状地图上,将指示安装在所述场所的安装对象的性质的标签分配给与所述安装对象对应的位置,并且

基于所述移动对象模型、所述三维形状地图和所述标签来搜索要在其上运输所述对象的路线。

(2)

根据(1)所述的信息处理装置,

其中,所述处理单元根据所述标签搜索避开所述安装对象的路线或者在不避开所述安装对象的情况下经过的路线。

(3)

根据(1)或(2)所述的信息处理装置,

其中,所述标签包括指示可运输对象的标签,并且

在所述安装对象附有的标签指示可运输对象的情况下,所述处理单元在假设所述安装对象不存在的情况下搜索路线。

(4)

根据(3)所述的信息处理装置,

其中,所述标签包括关于表示所述可运输对象的可运输性的级别的信息,并且

所述处理单元根据有所述安装对象附有的标签指示的级别在假设所述安装对象不存在的情况下搜索路线,或者搜索避开所述安装对象的路线。

(5)

根据(4)所述的信息处理装置,

其中,所述处理单元搜索从开始所述对象的运输的开始位置到结束所述对象的运输的结束位置的路线,并且

在搜索期间存在附有指示可运输对象的标签的安装对象的情况下,或者在所述级别满足设置条件的情况下,也在假设所述安装对象不存在的情况下搜索所述安装对象上的路线。

(6)

根据(1)至(5)中任一项所述的信息处理装置,

其中,所述标签包括指示贵重物品的标签,并且

在所述安装对象附有的标签指示贵重物品的情况下,所述处理单元不在所述三维形状地图上的所述标签被分配给的位置上搜索路线,并且在以所述安装对象为中心的预定区域外部搜索路线。

(7)

根据(6)所述的信息处理装置,

其中,所述标签还具有指示贵重物品的级别的信息,并且

所述处理单元根据所述级别设置所述预定区域。

(8)

根据(7)所述的信息处理装置,

其中,所述处理单元搜索从开始所述对象的运输的开始位置到结束所述对象的运输的结束位置的路线,并且

在在搜索期间存在附有指示贵重物品的标签的安装对象的情况下,设置与所述级别对应的区域,并搜索通过所设置的区域外部的路线。

(9)

根据(1)至(8)中任一项所述的信息处理装置,

其中,所述移动对象模型包括具有通过将所述运输执行对象运输所述对象时所述运输执行对象的尺寸和所述对象的尺寸相加而获得的尺寸的模型。

(10)

根据(1)至(9)中任一项所述的信息处理装置,

其中,所述移动对象模型中包括的所述运输执行对象的数量根据所述对象的重量而变化。

(11)

根据(1)至(10)中任一项所述的信息处理装置,

其中,根据所述运输执行对象支承所述对象的方法生成多个移动对象模型。

(12)

根据(11)所述的信息处理装置,

其中,所述处理单元从所述多个移动对象模型中选择适合于要搜索的路线的移动对象模型,并搜索路线。

(13)

根据(1)至(12)中任一项所述的信息处理装置,在设置了在其中不搜索路线的区域的情况下,所述信息处理装置向所述区域附加指示虚拟墙的标签,

其中,所述处理单元不在具有指示虚拟墙的标签的区域中搜索路线。

(14)

根据(1)至(13)中任一项所述的信息处理装置,

其中,所述处理单元将距所述处理单元的位置预定距离的位置设置为结束所述对象的运输的结束位置,并搜索到所述结束位置的路线。

(15)

根据(1)至(14)中任一项所述的信息处理装置,

其中,开始所述对象的运输的开始位置包括由用户通过所述对象要被运输到的场所的捕获图像指示的位置,或者由所述用户通过显示的三维形状地图指定的位置。

(16)

根据(1)至(15)中任一项所述的信息处理装置,

其中,所述标签被附加至由所述用户通过所述对象要被运输到的场所的捕获图像指示的安装对象,或者被附加至由所述用户通过显示的三维形状地图指定的安装对象。

(17)

根据(1)至(16)中任一项所述的信息处理装置,当所述处理单元向用户呈现搜索到的路线时,所述信息处理装置还呈现未生成所述三维形状地图的区域。

(18)

一种信息处理方法,包括:

通过搜索路线的信息处理装置进行以下操作:

生成包括要被运输的对象和运输所述对象的运输执行对象的移动对象模型、以及所述对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像,

在所述三维形状地图上将指示安装在所述场所的安装对象的性质的标签分配给与所述安装对象对应的位置,并且

基于所述移动对象模型、所述三维形状地图和所述标签来搜索要在其上运输所述对象的路线。

(19)

一种用于使计算机执行处理的程序,所述计算机控制搜索路线的信息处理装置进行以下操作:

生成包括要被运输的对象和运输所述对象的运输执行对象的移动对象模型、以及所述对象要被运输到的场所的三维形状地图,所述三维形状地图基于所述场所的捕获图像,

在所述三维形状地图上,将指示安装在所述场所的安装对象的性质的标签分配给与所述安装对象对应的位置,并且

基于所述移动对象模型、所述三维形状地图和所述标签来搜索要在其上运输所述对象的路线。

附图标记列表

11 网络

12 服务器

13 终端

51 通信单元

52 数据库

71 通信单元

72 用户接口

73 传感器

74 对象识别单元

75 深度估计单元

76 自身位置估计单元

77 移动对象模型生成单元

78 开始/结束位置指定单元

79 2D标签指定单元

80 标签信息生成单元

81 地图生成单元

82 3D标签指定单元

83 标签3D转换单元

84 标记单元

85 路线规划生成单元

86 显示数据生成单元

87 显示单元

111 运输目标对象信息显示栏

113 工作栏

114 消息显示栏

131 安装对象

141 安装对象

142 障碍物

143 障碍物

151 框

161 框

171 开始位置

172 结束位置

231 标记

301 地图整合单元

311 监视器

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1