移动体控制系统、移动体及移动体控制方法与流程

本发明涉及移动体控制系统、移动体及移动体控制方法。

背景技术：

目前，已知有利用车载的摄像单元拍摄由连设的盲道砖形成的引导路径并基于该拍摄图像控制车辆行驶的行驶系统(例如，专利文献1)。根据该行驶系统，能够基于拍摄图像引导车辆，因此，能够简化系统自身。

现有技术文献

专利文献

专利文献1：日本特开2017－102601号公报

然而，在这种行驶系统中，作为车辆而假定为轮椅时，不得已地要在特别是如室内等那种狭窄的环境下行驶移动。因此，在现有的行驶系统(例如参照专利文献1)中，为了以使行驶中的轮椅不与周围发生碰撞的方式使动作中心位于可行驶路径的中心，有抑制轮椅的晃动的要求。另外，期望一种与现有的行驶系统不同的、在不具有盲道砖的环境下也能够应用的行驶系统。

技术实现要素：

因此，本发明的技术问题在于，提供一种能够抑制行驶中的晃动、且具有比以往的范围广的使用环境应用性的移动体控制系统、移动体及移动体控制方法。

解决上述技术问题的本发明的移动体控制系统的特征在于，具有：摄像单元，其搭载于移动体；虚拟线生成单元，其基于所述摄像单元拍摄到的拍摄图像而生成对所述移动体沿着规定的行驶路径进行引导的平滑的虚拟线；和行驶控制单元，其以使所述移动体沿着所述虚拟线行驶的方式进行控制。

另外，本发明的移动体的特征在于，具备这种移动体控制系统。

另外，本发明的移动体控制方法的特征在于，具有：虚拟线生成工序，基于摄像单元拍摄到的拍摄图像生成对移动体沿着规定的行驶路径进行引导的平滑的虚拟线；和行驶控制工序，以使所述移动体沿着所述虚拟线行驶的方式进行控制。

发明效果

根据本发明的移动体控制系统及具备该移动体控制系统的移动体以及移动体控制方法，能够设定确保乘员的舒适性的行驶路径。

附图说明

图1是本发明实施方式的移动体控制系统的概略图。

图2是本发明实施方式的移动体的整体立体图。

图3是本发明实施方式的移动体控制系统的框图。

图4是示例应用本发明实施方式的移动体控制系统的区域的地图。

图5是表示本发明实施方式的移动体控制系统的移动体的行驶控制处理的顺序的流程图。

图6的(a)～(c)是由移动体的摄像单元拍摄的行驶路径的拍摄图像。

附图标记说明

10拍摄图像

11可行驶区域

13触摸面板开关

14虚拟线

100移动体控制系统

102移动体

106信标发送器

107ar标记

108移动体控制装置

110服务器

208摄像单元

210终端(移动终端)

212输入单元

214显示单元

216地磁检测单元

370可行驶区域提取单元

380虚拟线生成单元

390行驶控制单元

lar线

r路径

具体实施方式

对实施本发明的方式(本实施方式)的移动体控制系统、移动体及移动体控制方法进行详细说明。

以下，以将作为移动体的电动轮椅在规定的设施内从当前位置引导到目的地为例详细说明本实施方式。

本实施方式的移动体控制系统为使电动轮椅沿着由搭载于电动轮椅的摄像单元拍摄到的拍摄图像形成的平滑的虚拟线行驶的结构。

＜移动体控制系统整体结构＞

如作为概略图的图1所示，本实施方式的移动体控制系统100具有作为电动轮椅的移动体102、设置于移动体102的行驶路104的周边的多个信标发送器106及ar(augmentedreality：增强现实)标记107、服务器110。

另外，移动体102还具备与服务器110可通信地连接的移动体控制装置108、和与该移动体控制装置108可通信地连接的终端210(参照图2)。

信标发送器106以至少在彼此的电波的到达范围重叠的范围内分别具有不同频率的方式设定了其发送频率及设置位置。

ar标记107以能够通过在行驶路104行驶的移动体102上所搭载的后述的摄像单元208(参照图3)来进行拍摄的方式沿着行驶路104配置有多个。

在本实施方式的移动体控制系统100中，当ar标记107映入摄像单元208(参照图3)的拍摄图像的像角内时，与在终端210的显示单元214(参照图3)映出的拍摄图像重合，映出朝向目的地的行驶路径。另外，ar标记107的绝对位置(坐标)被事先存储于服务器110。由此，如后述，服务器110基于ar标记107的拍摄图像来确定对其进行拍摄得到的移动体102的当前位置。

另外，该ar标记107能够由事先规定的文字、图形、记号或由它们的组合形成的标识构成。另外，ar标记107还能够由周边的椅子、桌子、摆设等日常用品的外形、色彩、特征性路面地花纹等视觉要素构成。另外，ar标记107还能够由通过墙、底面及天花板区隔开的特征性空间形状(通路形状)构成。而且，这种ar标记能够与后述的信标一同构成本实施方式中的位置传递标识。

移动体控制装置108将从在信标发送器106或移动体102上搭载的后述的终端210(参照图3)输出的各种信息数据发送到服务器110。另外，移动体控制装置108从服务器110接收目标车速及目标转向角的信息而进行移动体102的行驶控制。

关于这些移动体控制装置108及服务器110在后进行详细说明。

图2是移动体102(电动轮椅)的整体立体图。

如图2所示，移动体102(电动轮椅)具有在两侧分别具有驱动轮103a、103a(图中一侧驱动轮未图示)的轮椅主体103和独立驱动各驱动轮103a、103a的致动器204。另外，在轮椅主体103上安装有上述的移动体控制装置108。

另外，在轮椅主体103的框架103b上，经由支承臂103c安装有终端保持架103d。在该终端保持架103d上装拆自如地安装有终端210。

此外，图中未图示，但在各驱动轮103a、103a上配置有每当旋转规定的旋转角时输出信号脉冲(旋转信号脉冲)的旋转角度传感器。该旋转角度传感器与移动体控制装置108的后述的测距信息处理单元360(参照图3)协作。

图3是移动体控制系统100(参照图1)的框图。

如上所述，移动体控制系统100主要具备终端210、移动体控制装置108、服务器110而构成。

《终端》

如图3所示，终端210(移动终端)具备与移动体控制装置108通信的通信器200、相对于该终端210输入目的地等信息的输入单元212、拍摄移动体102的前方的环境的摄像单元208、显示后述的虚拟线14(参照图6的(c))等的显示单元214、测定移动体102所在点的地磁并进行输出的地磁检测单元216。

本实施方式中的终端210被假定为作为移动终端的平板，但如之后详细说明的那样，只要能够在与移动体控制装置108之间进行相互通信即可，没有特别限定。因此，终端210例如还可以是智能手机、笔记本电脑等。此外，关于该终端210，之后以与移动体控制装置108的关系进行更详细说明。

《移动体控制装置》

移动体控制装置108主要具备通信器300、处理装置304、可行驶区域提取单元370、虚拟线生成单元380、行驶控制单元390而构成。

通信器300进行终端210与服务器110之间的通信。

本实施方式中的处理装置304将所输入的上述各种信息数据经由通信器300向服务器110输出。

具体而言，处理装置304主要具备输入信息处理单元310、信标处理单元320、ar标记处理单元340、地磁处理单元350、图像处理单元330、测距信息处理单元360而构成。

输入信息处理单元310与终端210的输入单元212协作。

具体而言，探测到用户接通输入单元212的规定开关(图示省略)的输入信息处理单元310根据各开关，将后述的行驶控制开始要求信号、目的地信息等与识别id一同发送到服务器110。

另外，如后述那样，输入信息处理单元310根据用户经由输入单元212进行的选择，将使服务器110是基于信标、ar(augmentedreality：增强现实)标记、及地磁中哪一要素来进行移动体102的路径决定的请求信号发送到服务器110。

另外，在本实施方式的移动体控制系统100中，如后述那样，假定是通过信标、ar(augmentedreality：增强现实)标记、及地磁中的某一个要素进行路径决定的结构。但是，在本实施方式中，也能够以选择两个以上的要素设定最佳的路径决定的方式构成服务器110。

信标处理单元320测定从移动体102(参照图1)的周围的各信标发送器106(参照图1)接收到的信标电波的接收强度。

信标处理单元320将包含该测定值和信标电波的频率在内的信标接收信息经由通信器300发送到服务器110。

此外，信标处理单元320对信标电波的接收是经由内置于信标处理单元320的信标接收器(图示省略)进行的。另外，信标电波的接收强度以规定的时间间隔针对每个信标电波(即，按接收到的信标电波的频率)进行测定。然后，信标处理单元320将这种信标接收信息以规定的时间间隔发送到服务器110。

图像处理单元330将通过终端210的摄像单元208获取的拍摄图像的数据与识别id一同发送到服务器110。另外，该拍摄图像的数据与以下说明的ar标记处理单元340、可行驶区域提取单元370及虚拟线生成单元380共用。

ar标记处理单元340从终端210的摄像单元208的拍摄图像中提取映入到该拍摄图像中的ar标记107(参照图1)。ar标记处理单元340将所提取的ar标记107的拍摄图像的数据与识别id一同发送到服务器110。

向地磁处理单元350输入有通过终端210的地磁检测单元216检测到的地磁信息(磁方位、磁通密度等)，该地磁处理单元350将该检测到的地磁信息与识别id一同发送到服务器110。另外，假定本实施方式中的地磁检测单元216作为选用单元而搭载于上述的平板等终端210上。这种地磁检测单元216能够通过构建运用了终端210的os(操作系统)所公开的api(applicationprogramminginterface：应用程序编程接口)的磁方位传感器而容易地实现。

测距信息处理单元360检测来自配置于与移动体102的致动器204连动的各驱动轮103a、103a(参照图2)的上述旋转角度传感器(图示省略)的旋转信号脉冲。测距信息处理单元360将基于旋转信号脉冲的产生个数换算出的驱动轮103a、103a的各自的行驶距离作为测距信息发送到服务器110。

可行驶区域提取单元370从终端210的摄像单元208的拍摄图像中提取移动体102可行驶的区域。

具体而言，可行驶区域提取单元370通过基于拍摄图像的图像判定算出地面与墙面的边界线，将比该边界线靠地面一侧设定为可行驶区域。此时，在妨碍移动体102的行驶的障碍物映入拍摄图像内的情况下，通过图像判定，以避开障碍物的方式设定可行驶区域。

虚拟线生成单元380在上述可行驶区域内生成虚拟线14(参照图6的(c))。该虚拟线14是基于从服务器110发送来的后述的行驶指令和从终端210的摄像单元208发送来的拍摄图像生成的。如后述那样，虚拟线生成单元380通过例如贝塞尔曲线法来生成。

行驶控制单元390以使移动体102沿着虚拟线14(参照图6的(c))行驶的方式控制独立驱动各驱动轮103a、103a(参照图2)的致动器204。

如上述的移动体控制装置108能够由cpu(centralprocessingunit：中央处理器)等处理器、写入有程序的rom(readonlymemory：只读存储器)、用于临时存储数据的ram(randomaccessmemory：随机存储器)等构成。

《服务器》

如图3所示，服务器110具备通信器400、处理装置402、存储装置404。作为本实施方式中的服务器110，例如可举出经由无线网络与移动体控制装置108连接的云服务器、具备移动体102的行驶路104的设施内的服务器等。

通信器400进行服务器110与移动体控制装置108之间的通信。

存储装置404例如由硬盘装置、dvd、cdrom等计算机可读取的装置构成。

该存储装置404主要由地图信息数据库450、ar标记信息数据库451、信标信息数据库452、地磁图信息数据库453构成。

在地图信息数据库450中存储有标识移动体102(参照图1)的行驶路104(参照图1)的路线、形状、及行驶路104的周边的状况的地图。

在ar标记信息数据库451中存储有各ar标记107(参照图1)的嵌入信息和设置位置坐标(例如纬度、经度)。

在信标信息数据库452中存储有各信标发送器106(参照图1)的发送频率和设置位置坐标(例如纬度、经度)。另外，在信标信息数据库452中，与存储于地图信息数据库450的地图相对应地存储有将各地图划分成例如100×100分并对应这些分的每一分的各信标发送器106(参照图1)的信标信息(信标电波的接收强度及频率)。另外，各地图的信标信息事先针对每一分进行了测定。这些每一分的信标信息互不相同，通过特定信标信息，使得对其测定的地图上的位置变得明了。此外，地图的划分不限于上述的100×100，能够根据地图的大小适宜设定。

在地磁图信息数据库453中，与存储于地图信息数据库450的地图相对应地存储有将各地图划分成例如100×100分并对应这些分的每一分的地磁。而且，各地图的地磁事先针对每一分进行了测定。这些每一分的地磁互不相同，通过特定地磁，使得对其测定的地图上的位置变得明了。此外，地图的划分不限于上述的100×100，能够根据地图的大小适宜设定。

本实施方式中的处理装置402经由通信器400输入有移动体控制装置108发送来的各种信息数据。另外，处理装置402基于所输入的各种信息数据，参照存储装置404，决定移动体102从当前位置移动至目的地的路径。然后，处理装置402将所决定的路径经由通信器400发送到移动体控制装置108。

具体而言，处理装置402具备当前位置特定单元410、目的地特定单元412、路径决定单元414。

当前位置特定单元410基于来自移动体控制装置108的各种信息数据，参照存储装置404，来计算移动体102的当前位置。

具体而言，在来自移动体控制装置108的信息数据为移动体102在当前位置拍摄到的ar标记107的拍摄图像的数据的情况下，当前位置特定单元410参照存储装置404的ar标记信息数据库451。由此，当前位置特定单元410特定移动体102的当前位置即拍摄图像的ar标记107(参照图1)的坐标。

另外，在来自移动体控制装置108的信息数据为信标信息(信标电波的接收强度及频率)的情况下，当前位置特定单元410参照存储装置404的信标信息数据库452。由此，当前位置特定单元410特定与信标信息对应的地图上的移动体102的当前位置。

另外，在来自移动体控制装置108的信息数据为地磁信息的情况下，当前位置特定单元410参照存储装置404的地磁图信息数据库453。由此，当前位置特定单元410特定与地磁信息对应的地磁图上的移动体102的当前位置。

目的地特定单元412基于来自移动体控制装置108的上述目的地信息，参照地图信息数据库450，特定移动体102的目的地。

路径决定单元414基于当前位置特定单元410和目的地特定单元412所特定的当前位置和目的地，参照存储装置404的地图信息数据库450，决定从当前位置至目的地的路径。该路径决定能够使用通常公开的地图的路径检索中使用的公知算法。

然后，将由路径决定单元414决定的路径经由通信器400发送到移动体控制装置108。

如上的处理装置402能够由cpu(centralprocessingunit：中央处理器)等处理器、写入有程序的rom(readonlymemory：只读存储器)、用于临时存储数据的ram(randomaccessmemory：随机存储器)等构成。

＜移动体控制系统的动作＞

接着，一边示出移动体控制系统100的控制工序，一边说明动作。

图4是例示应用本实施方式的移动体控制系统100的区域的地图。图5是表示本实施方式的移动体控制系统100进行的移动体102(参照图1)的行驶控制处理的顺序的流程图。

如图4所示，作为应用移动体控制系统100的一例的区域由1f(一层)的区域α和2f(2层)的区域β构成。

图4中的“当前位置a”是指移动体102的出发地。而且，在该图4所示的例子中，假定移动体控制系统100设定从1f(一层)的当前位置a经由电梯朝向2f(2层)的目的地b的路径r1～r7的情况。这样的路径r1～r7是基于图4中的信标、ar标记和/或图4中未图示的地磁并以如下说明的方式由移动体控制系统100来决定的。

如图5所示，移动体控制系统100的控制工序具有基于服务器110的步骤s501～步骤s503的路径决定工序、基于移动体控制装置108的步骤s505及步骤s506的虚拟线生成工序、基于移动体控制装置108的步骤s507的移动体102的行驶控制工序。

在路径决定工序中，如上所述，服务器110特定移动体102的当前位置(步骤s501)。此外，上述的图4中的“当前位置a”是指移动体102的出发地，但步骤s501中的当前位置有时也与出发地(出发地点)不同。即，移动体102从现实的出发地进入规定的路径后的当前位置不是指上述的出发地(出发地点)。

在该路径决定工序中，在终端210、移动体控制装置108、及服务器110启动的状态下，移动体102位于“当前位置”时，终端210的摄像单元208对映入有位于移动体102附近的ar标记107的拍摄图像进行拍摄。另外，终端210的地磁检测单元216检测在出发地的地磁。移动体控制装置108将来自信标发送器106的信标信息(信标电波的接收强度及频率)发送到服务器110。

另外，移动体控制装置108将来自终端210的ar标记信息和地磁信息发送到服务器110。如上所述，服务器110参照存储装置404的地图信息数据库450、ar标记信息数据库451、信标信息数据库452及地磁图信息数据库453中的至少一个。由此，服务器110基于ar标记信息、信标信息及地磁信息中的至少一个特定移动体102的“当前位置”。

此外，本实施方式中的“ar标记信息”及“信标信息”中的ar标记及信标分别构成权利要求书中记载的“位置传递标识”。

接着，移动体控制系统100通过服务器110从移动体102接收目的地信息(参照步骤s502)。

另外，假定来自移动体102的目的地信息是移动体102的用户经由终端210的输入单元212输入来的。如上所述，来自这种移动体102的目的地信息经由移动体控制装置108的输入信息处理单元310发送到服务器110。

如上所述，移动体控制系统100中的服务器110决定从当前位置至目的地的行驶路径(步骤s503)。

然后，服务器110将对移动体102向目的地的行驶指令输出到移动体控制装置108(参照步骤s504)。

输入来向目的地的行驶指令的移动体控制装置108以此为契机而基于终端210的摄像单元208的拍摄图像来提取移动体102的可行驶区域(参照步骤s505)。如上所述，该可行驶区域通过移动体控制装置108的可行驶区域提取单元370来提取。

在本实施方式的移动体控制系统100中，由移动体控制装置108提取的可行驶区域被输出到终端210并在显示单元214中进行显示。

图6的(a)～(c)是由移动体102的摄像单元208拍摄到的路径的拍摄图像10。

如图6的(a)所示，在终端210的显示单元214上，与摄像单元208拍摄到的实际的拍摄图像10重叠地显示有可行驶区域11。图6的(a)中，附图标记17是障碍物。

另外，在本实施方式的移动体控制系统100中，以使所提取的可行驶区域11的中央部沿着路径延伸的方式设定ar(augmentedreality：增强现实)线l。该ar线l在图6的(a)中由虚线箭头示出。

作为在显示单元214显示可行驶区域11的契机，可举出用户向向输入单元212输入显示请求。

另外，可行驶区域11也可以是事先加入ar标记107的信息。就这种可行驶区域11而言，在ar标记107映入到拍摄图像10中时，与拍摄图像10重叠地显示可行驶区域11。

另外，在通过ar标记107将可行驶区域11显示于显示单元214的情况下，在经过了规定时间后(例如数秒后)，切换为图6的(b)所示的选择画面12。在该选择画面12上设定有多个触摸面板开关13。然后，经由这些触摸面板开关13能够进行可行驶区域11的通断的切换、从选择画面12向通常画面的切换。此外，图6的(b)中，附图标记l为ar线l。

再次返回图5，移动体控制系统100通过移动体控制装置108在可行驶区域11(参照图6的(a))内设定上述ar线l(参照步骤s506)。该ar线l由移动体控制装置108的可行驶区域提取单元370设定在可行驶区域11的中央部。

接着，移动体控制装置108的虚拟线生成单元380对ar线l进行平滑加工，形成虚拟线14(参照步骤s507)。

作为这里的“平滑加工”，只要是使ar线l的角部带圆角的加工法即可，就没有特别限定，例如，可举出样条曲线法、贝塞尔曲线法等。其中，优选贝塞尔曲线法。

图6的(c)中，示出通过贝塞尔曲线法形成的平滑的虚拟线14。

服务器110设定的图4所示的路径r1～r7(以下，称为目的路径r)在朝向目的地的分支路15上形成角部。

对此，虚拟线生成单元380在基于图6的(c)所示的拍摄图像10对分支路15进行图像判定时，将至此为止基于目的路径r行驶的行驶轨迹的最后的通过点16设定为贝塞尔曲线法的控制点b0。另外，虚拟线生成单元380将例如朝向分支路15的进入口的目的路径r中的远离角部的任意点设定为贝塞尔曲线法的控制点b2。然后，虚拟线生成单元380将在控制点b0和控制点b2之间延伸的目的路径r上的任意点设定为贝塞尔曲线法的控制点b1。

本实施方式中的虚拟线生成单元380将基于控制点b0～b2的2次贝塞尔曲线作为虚拟线14。该贝塞尔曲线也可以为3次以上。

另外，以控制点为b0、b1、……bn－1的n次贝塞尔曲线通过如下数学式表现。

【数学式1】

另外，在此，jni(t)是混合(blending)函数，由下式表示。

【数学式2】

另外，即使在宏观上看作是直线的目的路径r，在微观下是以折线状形成的。本实施方式中的虚拟线生成单元380在微观下以折线状形成的目的路径r中，也能够通过贝塞尔曲线法形成平滑的虚拟线14。

再次返回图5，移动体控制系统100通过移动体控制装置108，以使移动体102沿着虚拟线14的方式控制移动体102的行驶(参照步骤s508)。

然后，移动体控制系统100通过服务器110特定移动体102的当前位置(参照步骤s509)。该移动体102的当前位置的特定能够在与步骤s501同样的工序中进行。

接着，服务器110判断特定出的当前位置是否是包含目的地的区域(参照步骤s510)。然后，在当前位置不是包含目的地的区域的情况下(步骤s510中判断为否)，返回步骤s504，继续执行由服务器110向目的地的行驶指令。

与之相对，在当前位置是包含目的地的区域的情况下(步骤s510中判断为是)，服务器110将向移动体102的停止指令发送到移动体控制装置108(步骤s511)。然后，移动体控制装置108等待从移动体102接收行驶控制结束请求信号(步骤s512中判断为是)，结束移动体102的行驶控制处理。

＜作用效果＞

接着，说明本实施方式实现的作用效果。

根据本实施方式，由于沿着平滑的虚拟线14控制移动体102的行驶，所以避免移动体102在操纵中晃动、或操纵行动急速变化。由此，移动体控制系统100与现有的行驶系统不同，不需要盲道砖等就能够确保对移动体102的用户的舒适性。然后，通过控制该晃动，即使在如室内那样狭窄的环境，移动体102也不会与存在于周围的物品发生碰撞。

另外，根据本实施方式，在可行驶区域11设定虚拟线14，因此，移动体的行驶在中途不会受到妨碍。由此，移动体102能够更顺畅地移动到出发地或目的地，移动体102的舒适性得到进一步提高。

另外，根据本实施方式，利用终端210的显示单元214能够视觉上确认虚拟线14。即，移动体102的用户能够事先确认移动路径。由此，针对移动体控制系统100的可靠性得到提高。

另外，根据本实施方式，能够利用信标准确地掌握行驶中的移动体102的位置。由此，移动体102能够更准确地在目的路径上无晃动地准确行驶。

另外，根据本实施方式，例如通过贝塞尔曲线法等生成虚拟线14，因此，能够形成更顺畅的行驶路径。由此，移动体102的舒适性得到更进一步提高。

另外，根据本实施方式，通过对照测定到的地磁和地磁图，能够特定移动体102的位置。也就是说，通过应用场所所固有的地磁，使得移动体控制系统100能够更准确地特定移动体102的位置。

另外，根据本实施方式，由于经地磁检测单元216嵌入在终端210中，所以与另行具备地磁检测单元216相比，能够简化移动体控制系统100及移动体102的结构。

以上说明了本发明的实施方式，但本发明不限于上述实施方式，能够以各种方式实施。

在上述实施方式中，对在规定的设施内控制电动轮椅的行驶的移动体控制系统100进行了说明，但本发明还能够应用于在工厂内控制电动运输车的移动体控制系统。另外，本发明还能够应用于在室外区域控制汽车的行驶的移动体控制系统。

另外，在上述实施方式中，对服务器110基于信标信息、ar标记信息和/或地磁信息设定目的路径r进行了说明，但本发明的目的路径r的设定不限于此。

因此，作为本发明中的其它目的路径r，例如，可举出将在拍摄图像中通过图像判定检测到的沿着路上的白线等的基准线作为目的路径r。在该情况下，目的路径r为用于通过贝塞尔曲线法生成虚拟线的对象。

另外，在上述实施方式中，为移动体102和服务器110分离的结构，但服务器110也能够搭载于移动体102。