位置指示方法、终端装置、自行式装置以及程序与流程

文档序号:11176433阅读:632来源:国知局
位置指示方法、终端装置、自行式装置以及程序与流程

本公开涉及位置指示方法、终端装置、自行式装置以及程序。



背景技术:

作为一种自主行驶的自行式装置,已知有自行式机器人。在使自行式机器人行驶时,用户例如使用遥控器等对自行式机器人指示移动目的地。

在先技术文献

专利文献

专利文献1:日本专利第5221939号公报



技术实现要素:

发明要解决的问题

然而,在上述现有技术中,需要进一步的改善。

用于解决问题的手段

本公开的一个技术方案涉及的位置指示方法是一种在控制器中控制二维地行驶的自行式装置的方法,在作为所述自行式装置的移动目的地的第一位置,取得包含对象物的第一图像,所述对象物存在于所述第一位置的上方,根据所述第一图像算出第一特征量,所述第一特征量表示所述第一图像的预定的特征,参照表示坐标信息与第二特征量的对应关系的地图信息,确定与所述第一特征量的一致度为预定值以上的所述第二特征量所对应的第二位置,所述坐标信息表示所述自行式装置的行驶区域所包含的各位置的坐标,所述第二特征量表示根据在所述各位置拍摄所述各位置的上方得到的各第二图像算出的所述各第二图像的所述预定的特征,基于与所述第二位置对应的坐标信息,生成用于使所述自行式装置向所述第二位置移动的命令,将所述命令发送给所述自行式装置。

此外,这些总括或具体技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的cd-rom(compactdisc-readonlymemory:紧凑型光盘只读存储器)等记录介质来实现,也可以用系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明的效果

根据本公开的一个技术方案涉及的位置指示方法,能够指示自行式装置向任意位置移动。

附图说明

图1是示意地表示用于实现实施方式涉及的位置指示方法的系统的整体构成的框图。

图2是表示实施方式涉及的自行式扫除机的硬件构成的框图。

图3是表示实施方式涉及的自行式扫除机的功能构成的框图。

图4是表示图像取得部取得的天花板图像的一例的图。

图5是表示从图4的天花板图像中提取出的多个特征点的一例的图。

图6是表示使用orb算法算出的特征量的一例的图。

图7是表示地图生成部生成的地图信息的一例的图。

图8是表示实施方式涉及的位置指示装置的功能构成的框图。

图9是表示保存在地图数据库中的地图信息的一例的图。

图10是表示实施方式涉及的信息终端的正面侧的图。

图11是用于说明实施方式涉及的系统的工作的概要的图。

图12是表示实施方式涉及的自行式扫除机生成和上传地图信息的流程的流程图。

图13是具体地表示图12的步骤s13的内容的流程图。

图14是具体地表示图12的步骤s18的内容的时序图。

图15是表示向实施方式涉及的自行式扫除机指示移动目的地的流程的时序图。

图16是具体地表示图15的步骤s35的内容的流程图。

图17是用于说明根据三角测量的原理确定第二位置的方法的图。

图18是具体地表示图15的步骤s41的内容的流程图。

图19是用于说明实施方式的变形例涉及的系统的工作的图。

标号说明

2系统

4自行式扫除机

6信息终端

8位置指示装置

10互联网

12建筑物

14房间

16地面

18路由器

20天花板

22服务器装置

24地图数据库

26行驶控制部

28集尘部

30电池

32cpu

34云通信部

36摄像头

38ram

40rom

42马达

44车轮

46行驶路径指示部

48地图生成部

50图像取得部

52地图数据库

54地图信息上传部

56位置信息接收部

58云连接部

60车轮控制部

62、106天花板图像

66照明器具

68家具

70a、70b、70c、70d、70e特征点

72、74、76、78、94、96列

80、82行

84取得部

86算出部

88提取部

90确定部

92通知部

98显示部

100内摄像头

102充电台

104消息框

108外极线

110外摄像头

112地面图像

具体实施方式

(成为本公开的基础的见解)

在上述专利文献1记载的技术中,用户能够通过从预先登记为自行式机器人的移动目的地的多个位置之中选择期望的位置,指示自行式机器人移动到该选择的位置。然而,在这样的自行式机器人中,不能够指示自行式机器人移动到预先登记的多个位置以外的位置。

因此,本发明人研究了以下的改善方法。

(1)本公开的一个技术方案涉及的方法是一种在控制器中控制二维地行驶的自行式装置的方法,在作为所述自行式装置的移动目的地的第一位置,取得包括对象物的第一图像,所述对象物存在于所述第一位置的上方,根据所述第一图像算出第一特征量,所述第一特征量表示所述第一图像的预定的特征,参照表示坐标信息与第二特征量的对应关系的地图信息,确定与所述第一特征量的一致度为预定值以上的所述第二特征量所对应的第二位置,所述坐标信息表示所述自行式装置的行驶区域所包含的各位置的坐标,所述第二特征量表示根据在所述各位置拍摄所述各位置的上方得到的各第二图像算出的所述各第二图像的所述预定的特征,基于与所述第二位置对应的坐标信息,生成用于使所述自行式装置向所述第二位置移动的命令,将所述命令发送给所述自行式装置。

根据本技术方案,用户通过拍摄存在于任意位置的对象物的对象物图像这一简单的操作,能够容易地指示自行式装置向该任意位置(或其附近的位置)移动。

(2)在上述技术方案中,也可以是,根据所述各第二图像算出的所述第二特征量包括与所述各第二图像所包含的多个特征点对应的多个第二特征量。

根据本技术方案,能够更正确地确定第二位置。

(3)在上述技术方案中,也可以是,所述行驶区域包括房间的地面,所述对象物包括所述房间的天花板,所述第二图像是所述自行式装置一边在所述地面上行驶,一边利用所述自行式装置以包括所述天花板的方式拍摄到的图像。

根据本技术方案,能够利用自行式装置生成地图信息。

(4)在上述技术方案中,也可以是,所述地图信息是所述自行式装置使用slam即同步定位与地图创建制作而成的信息。

根据本技术方案,能够容易地使用slam生成地图信息。

(5)在上述技术方案中,也可以是,所述第一图像由拍摄装置拍摄,所述拍摄装置经由网络与所述自行式装置连接。

根据本技术方案,能够使用拍摄装置,在任意的位置拍摄对象物图像。

(6)在上述技术方案中,也可以是,所述拍摄装置具备:拍摄第一方向的第一摄像头;和拍摄第二方向的第二摄像头,所述第二方向是与所述第一方向相反的方向,所述第一图像是在所述第一位置将所述第二摄像头朝向所述第一位置并由所述第一摄像头拍摄到的图像。

根据本技术方案,例如,由于在由第一摄像头将房间的天花板作为对象物图像进行拍摄时,使通过第二摄像头拍到的房间的地面显示在显示器上,所以用户能够直观地掌握想使自行式装置扫除的扫除位置。

(7)在上述技术方案中,也可以是,所述拍摄装置具备显示器,所述方法还包括:使所述显示器显示表示所述第二位置的信息。

根据本技术方案,例如用户能够通过观察显示在拍摄装置的显示器上的信息,认识到已确定第二位置这一情况。

(8)在上述技术方案中,也可以是,所述第一特征量和所述第二特征量使用orb即快速的二进制描述符、sift即尺度不变特征变换以及surf即加速鲁棒特征中的任一种算法算出。

根据本技术方案,能够容易地使用orb、sift以及surf中的任一个算法算出第二特征量。

(9)也可以是,在上述技术方案中,所述行驶区域包括房间的地面,所述自行式装置是一边自主地在所述地面上行驶,一边扫除所述地面的自行式扫除机。

(10)本公开的一个技术方案涉及的终端装置是一种控制二维地行驶的自行式装置的终端装置,具备摄像头;显示器;以及处理器,所述处理器执行:使所述摄像头在作为所述自行式装置的移动目的地的第一位置,拍摄包括对象物的第一图像,所述对象物存在于所述第一位置的上方,接收表示第二位置的信息,所述第二位置基于地图信息确定,所述地图信息表示第一特征量与第二特征量的对应关系,所述第一特征量表示根据所述第一图像算出的所述第一图像的预定的特征,所述第二特征量表示根据在所述各位置拍摄所述各位置的上方得到的各第二图像算出的所述各第二图像的所述预定的特征,所述第二位置对应于与所述第一特征量的一致度为预定值以上的所述第二特征量,使所述信息显示在所述显示器上。

根据本技术方案,用户能够通过拍摄存在于任意位置的对象物的对象物图像这样的简单操作,容易地指示自行式装置向该任意位置(或其附近的位置)移动。

(11)在上述技术方案中,也可以是,所述处理器还向服务器发送所述第一图像,所述服务器经由网络与所述终端装置连接,所述第二位置由所述服务器确定,所述处理器从所述服务器接收所述信息。

此外,这些总括或具体的技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质实现,也可以用系统、方法、集成电路、计算机程序或记录介质的任意组合实现。

以下,参照附图,具体地说明实施方式。

此外,以下说明的实施方式均为示出总括或具体的例子的实施方式。在以下实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一例,并不意图限定本公开。另外,关于以下实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,作为任意的构成要素进行说明。

(实施方式)

[1.系统的整体构成]

首先,参照图1,说明用于实现实施方式涉及的位置指示方法的系统2的整体构成。图1是示意地表示用于实现实施方式涉及的位置指示方法的系统2的整体构成的框图。

如图1所示,实施方式涉及的系统2具备自行式扫除机4(自行式装置的一例)、信息终端6(拍摄装置的一例)以及位置指示装置8。这些自行式扫除机4、信息终端6以及位置指示装置8经由互联网10(网络的一例)相互连接。

自行式扫除机4例如是一边在一般房屋等建筑物12内的房间14的地面16(行驶区域的一例)上自主地行驶,一边扫除的机器人型扫除机。自行式扫除机4通过使用摄像头或激光测距机(laserrangefinder)等传感器观测房间14的状况,自主地判断以哪个路径行驶并扫除房间14的地面16。自行式扫除机4经由路由器18与互联网10连接。此外,在本说明书中,房间14既可以是建筑物12内的一个分区,也可以是统合了建筑物12内的多个分区而成的总称。

信息终端6是具有受理用户操作的用户界面的移动终端,例如是智能手机。此外,信息终端6的用户界面例如由触摸面板、语音对话或姿势(gesture)识别等构成。信息终端6具有拍摄图像的功能。如后面所述,在用户想使自行式扫除机4扫除房间14内的任意的第一位置的情况下,利用信息终端6拍摄存在于该第一位置的天花板20(对象物的一例)的图像(以下,也称为“天花板图像”)(对象物图像的一例)。拍摄到的天花板图像经由互联网10被从信息终端6发送给位置指示装置8。

位置指示装置8是用于基于从信息终端6接收到的天花板图像,确定与上述第一位置对应的第二位置,并指示自行式扫除机4移动到所确定的第二位置的装置。

位置指示装置8具有服务器装置22和地图数据库(db)24(存储部的一例)。服务器装置22例如是设置在云上的物理或虚拟的计算机。地图数据库24例如是保存了从各家庭拥有的自行式扫除机4收集到的地图信息(后述)的数据库。

以下,详细说明上述系统2的各构成要素。

[2.自行式扫除机的构成]

参照图2,说明自行式扫除机4的硬件构成。图2是表示实施方式涉及的自行式扫除机4的硬件构成的框图。

如图2所示,作为硬件构成,自行式扫除机4具有:控制自行式扫除机4的行驶的行驶控制部26、捕集房间14(参照图1)的地面16上的尘埃等的集尘部28以及向行驶控制部26和集尘部28供给电力的电池30。

行驶控制部26具有:cpu(centralprocessingunit:中央处理单元)32、云通信部34、摄像头36、ram(randomaccessmemory:随机存取存储器)38、rom(readonlymemory:只读存储器)40、马达42以及车轮44。

cpu32是执行行驶控制软件的运算单元。云通信部34是用于进行wi-fi(注册商标)或bluetooth(注册商标)等无线通信的通信模块。摄像头36是拍摄配置了自行式扫除机4的房间14的天花板20的图像(以下,也称为“天花板图像”)的摄像头模块。此外,摄像头36例如以铅垂向上的姿势设置,以能够拍摄房间14的天花板20的图像。ram38是存储行驶控制软件的执行时数据等的易失性存储。rom40是存储行驶控制软件和地图信息(后述)等的非易失性存储器。马达42通过使车轮44旋转,使自行式扫除机4前进、后退或转弯。

此外,行驶控制部26和集尘部28既可以分别安装在独立的两块基板上,也可以安装在同一基板上。

接着,参照图3,说明用于实现自行式扫除机4的行驶控制软件的功能构成。图3是表示实施方式涉及的自行式扫除机4的功能构成的框图。

如图3所示,作为功能构成,自行式扫除机4具有:行驶路径指示部46、地图生成部48、图像取得部50、地图数据库(db)52、地图信息上传部54、位置信息接收部56、云连接部58以及车轮控制部60。

行驶路径指示部46是用于向车轮控制部60指示自行式扫除机4的行驶路径的软件模块。更具体而言,行驶路径指示部46基于地图生成部48生成的建筑物12(参照图1)的布局信息(后述)、自行式扫除机4的当前位置和移动方向,算出尚未完成扫除的建筑物12内的分区信息。由此,行驶路径指示部46决定建筑物12内的最佳行驶路径,向车轮控制部60指示自行式扫除机4的移动目的地和移动速度等。

地图生成部48基于图像取得部50取得的天花板图像,推定配置了自行式扫除机4的建筑物12的布局、建筑物12内的自行式扫除机4的当前位置和移动方向等。由此,地图生成部48生成表示建筑物12的布局的布局信息和地图信息,并将这些信息存储在地图数据库52中。在上述的推定处理中,例如可使用slam(simultaneouslocationandmapping:同步定位与地图创建)。

此外,在本实施方式中,说明仅使用由摄像头36拍摄到的天花板图像进行上述的推定处理的方法,但是除了天花板图像以外,还可以使用来自自行式扫除机4具备的陀螺仪传感器(未图示)或轮编码器(未图示)等的检测结果进行推定处理。由此,能够进行精度更高的推定处理。

图像取得部50是取得由摄像头36拍摄到的天花板图像的软件模块。

地图数据库52是保存了地图生成部48生成的布局信息和地图信息等的数据库。将在后面详细说明地图信息的数据结构。

地图信息上传部54是通过云连接部58,向服务器装置22发送存储在地图数据库52中的地图信息的软件模块。

位置信息接收部56是通过云连接部58从服务器装置22接收与用户希望扫除的位置(即,作为自行式扫除机4的移动目的地的第二位置)相关的位置信息的软件模块。位置信息接收部56向行驶路径指示部46输出从服务器装置22接收到的位置信息。由此,行驶路径指示部46对车轮控制部60输出使自行式扫除机4向接收到的位置信息表示的第二位置移动的指示。

云连接部58是用于使用云通信部34,在服务器装置22与自行式扫除机4之间进行双向通信的软件模块。

车轮控制部60通过基于来自行驶路径指示部46的指示,控制马达42的驱动,从而使自行式扫除机4向预定的位置移动。

在这里,参照图4~图7,说明地图生成部48生成的地图信息。图4是表示图像取得部50取得的天花板图像62的一例的图。图5是表示从图4的天花板图像62中提取出的多个特征点70a、70b、70c、70d以及70e的一例的图。图6是表示使用orb算法算出的特征量的一例的图。图7是表示地图生成部48生成的地图信息的一例的图。

如图4所示,在图像取得部50取得的天花板图像62中,例如拍摄有房间14的天花板20、设置于天花板20的照明器具66以及设置于房间14的地面16的家具68。如图5所示,地图生成部48从这样的天花板图像62具有的多个像素中提取作为与周围的像素相比辉度或颜色的变化量较大的像素的多个特征点70a、70b、70c、70d以及70e。地图生成部48从一个天花板图像62中提取多个特征点70a~70e。在特征点70a~70e的提取中,例如可使用fast(featuresfromacceleratedsegmenttest:加速分割检测特征)算法等。

另外,为了将某特征点与另一特征点相区分,地图生成部48对各特征点算出被称为特征量的信息。在特征量的算出中,例如可使用orb(orientedfastandrotatedbrief(binaryrobustindependentelementaryfeatures:基于二进制的鲁棒性独立基本特征):定向fast和旋转brief)、sift(scale-invariantfeaturetransform:尺度不变特征变换)或surf(speededuprobustfeatures:加速鲁棒特征)等算法。如图6所示,例如在使用了orb算法的情况下,地图生成部48算出特征量作为32字节的二进制列。

地图生成部48能够通过使用按上述方式算出的特征量,基于在第一拍摄位置拍摄到的第一天花板图像、和在与第一拍摄位置不同的第二拍摄位置拍摄到的第二天花板图像,推定第一拍摄位置与第二拍摄位置之间的自行式扫除机4的移动量和移动方向。更具体而言,地图生成部48从第一天花板图像和第二天花板图像各自所包含的多个特征点之中提取特征量一致的特征点对,并基于提取出的对的特征点在天花板图像上的位置的变化量,利用三角测量的原理算出自行式扫除机4的移动量和移动方向。进而,地图生成部48也能够基于第一拍摄位置与第二拍摄位置之间的自行式扫除机4的移动量和移动方向的推定结果,利用三角测量的原理算出在各天花板图像中拍摄出的特征点的坐标。地图生成部48能够通过定期地从图像取得部50取得新的天花板图像并反复进行上述的推定处理,算出拍摄各天花板图像时的自行式扫除机4的位置、和能够从该位置观测的特征点的坐标。

地图生成部48基于按上述方式算出的特征量生成地图信息。如图7所示,地图信息是将与建筑物12内的房间14中的位置相关的位置信息、和根据在该位置拍摄到的天花板图像算出的特征量进行了关联而得到的信息。在图7中图示有例如包括两个地图信息的表。

在图7所示的表中,列72是用于识别图像取得部50取得的天花板图像的识别符,例如每当图像取得部50取得新的图像时以连号赋予。即,列72所示的识别符也是用于识别地图信息的识别符。列74是表示拍摄各天花板图像时的自行式扫除机4的位置(推定位置)的xy坐标系(预定坐标系的一例)中的二维坐标(位置信息的一例)。列76是各天花板图像所包含的特征点的特征量(第一特征量的一例)。列78是表示各特征点的位置的xyz坐标系中的三维坐标(推定坐标)。上述xy坐标系和xyz坐标系的每一个分别是以充电台102(参照后述的图11)为原点的坐标系。此外,列78也可以是xy坐标系中的二维坐标。另外,行80和行82的每一个分别是将自行式扫除机4行驶过的各位置的坐标、和在该位置拍摄到的天花板图像所包含的特征点的特征量和坐标进行了关联而得到的地图信息(以下,也称为“关键帧”)。

在图7所示的例子中,在识别符“1”的地图信息中,自行式扫除机4的位置是(x,y)=(20,0),特征量a的位置是(x,y,z)=(10,20,200),特征量b的位置是(x,y,z)=(100,-20,200),特征量c的位置是(x,y,z)=(500,70,200)。

[3.位置指示装置的构成]

接着,参照图8和图9,说明位置指示装置8的功能构成。图8是表示实施方式涉及的位置指示装置8的功能构成的框图。图9是表示保存在地图数据库24中的地图信息的一例的图。

如图8所示,作为功能构成,位置指示装置8的服务器装置22具有:取得部84、算出部86、提取部88、确定部90以及通知部92。

取得部84取得由信息终端6拍摄到的、存在于房间14(参照图1)内的第一位置的天花板20的天花板图像。

算出部86根据由取得部84取得的天花板图像算出第二特征量。

提取部88从地图数据库24中提取包括与第二特征量一致的第一特征量的地图信息。

确定部90基于由提取部88提取出的地图信息,确定与第一位置对应的第二位置。此外,确定部90确定表示xy坐标系中的第二位置的二维坐标来作为第二位置。

通知部92向自行式扫除机4通知用于使自行式扫除机4移动到由确定部90确定的第二位置的指示。

如图9所示,在位置指示装置8的地图数据库24中,例如保存有由sql(structuredquerylanguage:结构化查询语言)或rdb(relationaldatabase:关系数据库)等构成的地图信息的数据库。

在图9中图示有例如包括两个地图信息的表。在图9所示的表中,列94是表示用于识别各家庭拥有的自行式扫除机4的识别符的设备id。作为该设备id,例如能够使用赋予给云通信部34的mac(mediaaccesscontrol:介质访问控制)地址、自行式扫除机4的制造供应商用独自的规则赋予的编号等。由于列96与图7所示的列72、列74、列76以及列78相同,所以省略其说明。这样,服务器装置22在地图数据库24上将由各家庭拥有的自行式扫除机4生成的地图信息和自行式扫除机4的设备id绑定并管理。

[4.信息终端的构成]

接着,参照图10,说明信息终端6的构成。图10是表示实施方式涉及的信息终端6的正面侧的图。

如图10所示,信息终端6具有显示部98和内摄像头100(第一拍摄部的一例)。

显示部98配置在信息终端6的正面侧。显示部98例如是液晶面板,显示各种画面。另外,显示部98也是作为受理用户的各种指示的用户界面的触摸面板。

内摄像头100配置在信息终端6的正面侧,拍摄信息终端6的正面方向(第一方向的一例)。

[5.系统的工作]

[5-1.系统的工作的概要]

接着,参照图11,说明上述系统2的工作的概要。图11是用于说明实施方式涉及的系统2的工作的概要的图。

如图11所示,首先,自行式扫除机4一边在建筑物12内的房间14的地面16上行驶,一边拍摄房间14的天花板20(参照图1)的天花板图像,并基于拍摄到的天花板图像生成地图信息。所生成的地图信息被经由互联网10(参照图1)从自行式扫除机4上传到位置指示装置8(s1)。

之后,在用户想使自行式扫除机4扫除房间14内的任意的第一位置p1的情况下,利用信息终端6拍摄存在于该第一位置p1的天花板20的天花板图像。拍摄到的天花板图像经由互联网10被从信息终端6发送给位置指示装置8(s2)。

之后,位置指示装置8基于从信息终端6接收到的天花板图像,确定与上述第一位置p1对应的第二位置p2。此外,所确定的第二位置p2既可以是与第一位置p1相同的位置,也可以是第一位置p1附近的位置。

之后,位置指示装置8指示自行式扫除机4移动到所确定的第二位置p2(s4)。

之后,自行式扫除机4基于来自位置指示装置8的指示,从配置在房间14内的充电台102移动到第二位置p2(s5)。

以下,详细说明上述步骤s1~s4的各处理。

[5-2.步骤s1的处理]

参照图12~图14,详细说明图11的步骤s1的处理。图12是表示实施方式涉及的自行式扫除机4生成和上传地图信息的流程的流程图。图13是具体地表示图12的步骤s13的内容的流程图。图14是具体地表示图12的步骤s18的内容的时序图。

例如,通过用户按下自行式扫除机4的主体按钮或遥控器按钮,自行式扫除机4受理开始扫除的指示。由此,自行式扫除机4一边沿着预定的行驶路径行驶,一边扫除房间14的地面16。此时,自行式扫除机4在行驶期间用摄像头36拍摄房间14的天花板20的天花板图像。

如图12所示,行驶路径指示部46启动地图生成部48(s11)。接着,自行式扫除机4反复进行步骤s13和s14的各处理直到扫除完成(s12,s15)。在这里,作为扫除完成的场合,例如可以预料以下场合:a)判断为在由地图生成部48生成的布局信息表示的布局中,没有未扫除的分区,b)通过用户的操作(主体按钮或遥控器按钮的按下等)指示扫除的停止,或者,c)电池30的剩余量成为预定的值以下等。

在步骤s13中,地图生成部48通过基于从图像取得部50取得的天花板图像,推定自行式扫除机4的当前位置和天花板图像所包含的特征点的坐标,从而生成地图信息。

在这里,参照图13,具体地说明步骤s13的处理。如图13所示,地图生成部48从图像取得部50取得天花板图像(s131),并从所取得的天花板图像中提取多个特征点(s132)。之后,地图生成部48算出提取出的多个特征点各自的特征量(s133)。

之后,地图生成部48基于在步骤s131中取得的天花板图像所包含的特征点、在最近的步骤s12~步骤s15的循环中取得的天花板图像所包含的特征点,算出(推定)在这期间自行式扫除机4移动的方向、距离以及当前位置(s134)。之后,地图生成部48算出(推定)在步骤s131中取得的天花板图像所包含的特征点的坐标(s135)。这样一来,地图生成部48生成地图信息。

之后,地图生成部48判断在步骤s135中生成的地图信息是否与保存在地图数据库52内的既存的地图信息类似(s136)。此时,地图生成部48在两地图信息所包含的特征点中、特征量一致的特征点对包含有预定比例以上的情况下,判断为两地图信息类似。

在判断为两地图信息并不类似的情况下(在s136中为否),地图生成部48将所生成的地图信息存储在地图数据库52中(s137),并反复执行上述步骤s131~s136的各处理。另一方面,在判断为两地图信息类似的情况下(在s136中为是),地图生成部48不将所生成的地图信息存储在地图数据库52中而反复执行上述步骤s131~s136的各处理。由此,能够使地图数据库52的数据量减小。

返回图12,在步骤s13之后,行驶路径指示部46基于在步骤s13中生成的地图信息,根据自行式扫除机4的当前位置和目的地算出移动方向和移动速度,并向车轮控制部60指示算出的移动方向和移动速度。由此,自行式扫除机4以所指示的移动方向和移动速度行驶。

之后,在判断为扫除完成的情况下(s12,s15),自行式扫除机4返回到充电台102(s16)。之后,行驶路径指示部46使地图生成部48停止(s17),并执行地图信息的上传处理(s18)。

在这里,参照图14,具体地说明步骤s18的处理。如图14所示,服务器装置22等待与各家庭拥有的自行式扫除机4的连接(s181)。自行式扫除机4的地图信息上传部54通过云连接部58建立向服务器装置22的连接(s182)。此外,在地图信息上传部54和服务器装置22的连接中,例如能够使用http(hypertexttransportprotocol:超文本传输协议)或websocket等协议。或者,在地图信息上传部54与服务器装置22之间进行双向或单向的认证,例如可以进行ssl(securesocketslayer:安全套接层)等加密通信。

在建立了连接之后,地图信息上传部54向服务器装置22发送地图信息和自行式扫除机4的设备id(s183)。服务器装置22接收来自地图信息上传部54的地图信息和设备id(s184),并将它们保存到地图数据库24(s185)。如以上所述,能够向服务器装置22上传各家庭的自行式扫除机4生成的地图信息。

[5-3.步骤s2~s5的各处理]

接着,参照图10和图15~图18,详细说明图11的步骤s2~s5的各处理。图15是表示向实施方式涉及的自行式扫除机4指示移动目的地的流程的时序图。图16是具体地表示图15的步骤s35的内容的流程图。图17是用于说明根据三角测量的原理确定第二位置p2的方法的图。图18是具体地表示图15的步骤s41的内容的流程图。

如图15所示,首先,用户启动安装在信息终端6上的、用于指示扫除位置的应用(s31)。之后,应用向用户指示拍摄想扫除的位置的天花板20(s32)。此时,例如,如图10所示,在信息终端6的显示部98上显示消息框104,所述消息框104向用户指示拍摄想扫除的位置的天花板20。用户在站立于想扫除的房间14内的第一位置p1(参照图11)的状态下,把持信息终端6以使得内摄像头100朝向天花板20侧(铅垂上方),用内摄像头100拍摄天花板图像106(参照图10)(s33)。此时,如图10所示,在信息终端6的显示部98上,显示由内摄像头100拍摄到的天花板图像106。

之后,用户通过操作信息终端6,将拍摄到的天花板图像106与用户拥有的自行式扫除机4的设备id一起发送给服务器装置22(s33)。此外,自行式扫除机4的设备id例如通过用户用信息终端6读取表示设备id的qr码等,从而预先设定在上述应用中。

之后,服务器装置22的取得部84取得(接收)来自信息终端6的天花板图像106(s34)。之后,服务器装置22基于接收到的天花板图像106,执行确定扫除位置的处理(s35)。

在这里,参照图16,具体地说明步骤s35的处理。如图16所示,首先,服务器装置22的提取部88从地图数据库24中提取与从信息终端6发送来的设备id一致的设备id所关联的全部地图信息(关键帧)(s351)。

之后,服务器装置22的算出部86算出从信息终端6发送来的天花板图像106所包含的多个特征点各自的第二特征量(s352)。第二特征量的算出方法与在图13的步骤s133中说明的算出方法同样。

之后,服务器装置22的提取部88从地图数据库24中,从在步骤s351中提取出的多个地图信息中,检索具有与在步骤s352中算出的多个第二特征量最一致的多个第一特征量的地图信息(s353)。

之后,服务器装置22的提取部88判定在步骤s352中算出的多个第二特征量与在步骤s353中检索到的地图信息的多个第一特征量的一致度是否为预定阈值(例如90%)以下(s354)。在一致度超过预定阈值的情况下(在s354中为否),提取在步骤s353中检索到的地图信息(s355)。另一方面,在一致度为预定的阈值以下的情况下(在s354中为是),不提取在步骤s353中检索到的地图信息而结束处理。

在步骤s355之后,服务器装置22的确定部90基于在步骤s355中提取出的多个地图信息所分别包含的多个位置信息,利用三角测量的原理确定第二位置p2(s356)。如上所述,第二位置p2是表示xy坐标系中的与第一位置p1对应的位置的二维坐标。

在这里,参照图17,说明利用三角测量的原理确定第二位置p2的方法。在图17的(a)中,拍摄位置1和2是摄像头36在各自的位置处的镜头中心,位置p11是在拍摄位置1拍摄到的天花板图像中的第二位置p2的坐标,位置p12是在拍摄位置2拍摄到的天花板图像中的第二位置p2的坐标。此外,与分别在拍摄位置1和2拍摄到的天花板图像相关的地图信息预先保存在地图数据库24中,且拍摄位置1和2处的摄像头36的镜头的姿势(方向和位置)是已知的。在第一位置p1拍摄到的天花板图像中,包含有与分别在拍摄位置1和2拍摄到的天花板图像所包含的特征点相同的特征点。通过参照保存在地图数据库24中的地图信息(参照图9),首先,确定在第一位置p1拍摄到的天花板图像所包含的特征点的特征量的坐标,之后,确定拍摄到包含该特征点的图像的拍摄位置1和2的各坐标。之后,如图17的(a)所示,将连结拍摄位置1、位置p11的直线与连结拍摄位置2、位置p12的直线的交点确定为第二位置p2的坐标。

此外,在拍摄位置1的坐标、第二位置p2的坐标以及拍摄位置1处的摄像头36的镜头的姿势分别是已知的情况下,能够按以下方式算出拍摄位置2的坐标和拍摄位置2处的摄像头36的镜头的姿势。如在图17的(b)中虚线所示,连结拍摄位置1、位置p11的直线在拍摄位置2拍摄到的天花板图像上被投影为直线状的极(epipolar)线108。基于在极线108上观测位置p12这样的几何学特性,能够算出拍摄位置2的坐标和拍摄位置2处的摄像头36的镜头的姿势。

返回图15,在步骤s35之后,服务器装置22向信息终端6发送扫除位置的确定结果(与已确定的第二位置相关的信息)(s36)。信息终端6接收来自服务器装置22的确定结果(s37),并使接收到的确定结果显示在显示部98上(s38)。此时,作为确定结果,例如在显示部98上显示“已确定扫除位置”等消息。用户通过观察显示在显示部98上的确定结果,能够认识到已确定扫除位置这一情况。

此外,也可以是,在步骤s35中扫除位置确定处理失败的情况下,使催促用户再次执行天花板20的拍摄的消息框104(参照图10)显示在显示部98上。在该情况下,再次执行上述步骤s32~s35的各处理。

之后,服务器装置22的通知部92将扫除开始请求发送给自行式扫除机4(s39)。即,通知部92对自行式扫除机4通知用于使自行式扫除机4移动到已确定的第二位置p2的指示。之后,自行式扫除机4接收来自服务器装置22的扫除开始请求(s40),并执行扫除操作处理(s41)。

在这里,参照图18,具体地说明步骤s41的处理。如图18所示,位置信息接收部56从服务器装置22取得表示第二位置p2的坐标的位置信息(s411)。之后,位置信息接收部56向行驶路径指示部46通知该位置信息(s412)。之后,行驶路径指示部46算出去往所通知的位置信息的坐标的行驶路径(s413)。之后,行驶路径指示部46通过控制车轮控制部60,使自行式扫除机4向第二位置p2移动(s414)。此时,也可以是,在电池30的剩余量为预定的值以下的情况下,行驶路径指示部46等待电池30的剩余量利用来自充电台102的电力而恢复这一情况,然后开始自行式扫除机4的向第二位置p2的移动。

[6.效果]

如上所述,能够通过用信息终端6拍摄存在于用户想扫除的任意位置的天花板20这样的简单操作,容易指示自行式扫除机4向该任意位置(或其附近的位置)移动。

(变形例)

接着,参照图19,说明实施方式的变形例涉及的系统的工作。图19是用于说明实施方式的变形例涉及的系统的工作的图。图19的(a)是表示信息终端6的背面侧的立体图,图19的(b)是表示用户用信息终端6拍摄天花板图像的情形的立体图。

如图19的(a)所示,信息终端6除了上述内摄像头100以外,还具有外摄像头110(第二拍摄部的一例)。外摄像头110配置在信息终端6的背面侧,拍摄信息终端6的背面方向(作为与上述第一方向相反的方向的第二方向的一例)。

在本变形例中,在上述图15的步骤s32中,应用向用户指示拍摄想扫除的房间14内的位置的地面16。此时,例如,在信息终端6的显示部98上显示向用户指示拍摄地面16的消息框。用户在站立于想扫除的房间14内的第一位置p1(参照图11)的状态下,把持信息终端6以使得内摄像头100朝向天花板20(参照图1)侧。此时,如图19的(b)所示,在信息终端6的显示部98上,显示通过外摄像头110拍到的地面16的地面图像112。

在上述图15的步骤s33中,当用户按下信息终端6的快门按钮(未图示)时,利用内摄像头100拍摄天花板20的天花板图像。拍摄到的天花板图像被从信息终端6发送给服务器装置22(参照图1)。此时,地面图像112仅显示在信息终端6的显示部98上,并不利用外摄像头110进行拍摄。

如上所述,通过在拍摄天花板图像时使地面图像112显示在信息终端6的显示部98上,用户能够直观地掌握想使自行式扫除机4扫除的扫除位置。

(其他变形例)

以上,基于上述实施方式和变形例说明了一个或多个技术方案涉及的位置指示方法等,但本发明不限定于这些实施方式和变形例。只要不脱离本发明的宗旨,对实施方式和变形例实施了本领域的技术人员能够想到的各种变形而得到实施方式、以及组合不同的实施方式或变形例中的构成要素而构筑的实施方式均包括在一个或多个技术方案的范围内。例如,也可以将上述实施方式和变形例分别组合。

例如,在上述实施方式等中,用智能手机构成了作为拍摄装置的信息终端6,但不限定于此,例如也可以用平板终端等构成。

例如,在上述实施方式等中,说明了自行式装置为自行式扫除机4的情况,但不限定于此,自行式装置例如也可以是一边自主地行驶一边搬运物品的自行式搬运机器人等。

例如,在上述实施方式等中,在图15的步骤s38中,使确定结果显示在信息终端6的显示部98上,但也可以将显示了第二位置p2的房间14的地图画面作为确定结果显示在显示部98上。此时,例如在第一位置p1与第二位置p2的偏离大的情况下,用户可以通过操作显示部98的触摸面板,在地图画面上对第二位置p2的位置进行微调整。由此,从信息终端6向服务器装置22发送与微调整后的第二位置p2相关的位置信息,并在服务器装置22侧再次确定微调整后的第二位置p2。

构成上述各装置的构成要素的一部分或全部可以由可拆装于各装置的ic卡或单个模块构成。所述ic卡或所述模块是由微处理器、rom以及ram等构成的计算机系统。所述ic卡或所述模块也可以包括上述的超多功能lsi。通过微处理器按照计算机程序工作,所述ic卡或所述模块实现该功能。该ic卡或该模块也可以具有防篡改性。

本公开也可以是上述所示的方法。另外,既可以是利用计算机实现这些方法的计算机程序,也可以是由所述计算机程序构成的数字信号。另外,本公开也可以将所述计算机程序或所述数字信号记录于计算机可读的记录介质,例如软盘、硬盘、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注册商标)disc)以及半导体存储器等。另外,也可以是记录在这些记录介质中的所述数字信号。另外,本公开也可以经由电通信线路、无线或有线通信线路、以互联网为代表的网络以及数据广播等输送所述计算机程序或所述数字信号。另外,本公开可以是具备微处理器和存储器的计算机系统,所述存储器存储有上述计算机程序,所述微处理器按照所述计算机程序工作。另外,也可以将所述程序或所述数字信号记录于所述记录介质并移送,或经由所述网络等移送所述程序或所述数字信号,由此利用其他独立的计算机系统实施。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1