清扫机系统、清扫机、存储介质以及脏污判定方法与流程

1.本公开涉及一种具备信息处理装置以及能够在住所内、公共设施、办公楼的走廊等公共部分等处自主行走来进行扫除的清扫机的清扫机系统、清扫机系统中使用的清扫机、以及脏污判定程序。


背景技术：

2.以往，关于自主行走式的清扫机，已知如下一种清扫机：通过获取热图像或测定气体浓度来检测来自位于地面上的生物的排泄物，并切换运转模式(例如，参照专利文献1)。
3.另一方面，有时由于地面的图案等而难以检测到沉降后堆积在地面上尘埃、被鞋等带到地面上的沙石等附着于包括地毯在内的地面的脏污。
4.现有技术文献
5.专利文献
6.专利文献1：日本特表2018-515191号公报


技术实现要素：

7.本公开提供一种能够适当地判定地面的脏污的清扫机系统、清扫机以及脏污判定程序。
8.作为本公开之一的清扫机系统具备：自主行走型的清扫机，其自主地行走来进行地面的扫除；以及信息处理装置，其处理与地面的脏污有关的信息。信息处理装置具备第一信息生成部，所述第一信息生成部生成基于表示地面的多个图像数据得到的与脏污有关的第一信息。清扫机具备拍摄地面的摄像装置，清扫机系统具备：第二信息生成部，其基于从摄像装置得到的图像数据来生成第二信息；判定部，其基于第一信息来判定第二信息是否表示出脏污并生成判定结果；以及扫除控制部，其基于判定部的判定结果来变更针对被获取了第二信息的地面的扫除动作。
9.另外，作为本公开的另一个的清扫机具备：摄像装置，其拍摄地面；信息获取部，其获取基于表示地面的多个图像数据得到的与脏污有关的第一信息、以及利用第一信息训练的判定模型；第二信息生成部，其基于从摄像装置得到的图像数据来生成第二信息；判定部，其基于第一信息或者使用基于第一信息训练出的判定模型，来判定第二信息是否表示出脏污，并生成判定结果；以及扫除控制部，其基于判定部的判定结果来变更针对被获取了第二信息的地面的扫除动作。
10.另外，作为本公开的另一个的脏污判定程序使用于清扫机系统，清扫机系统具备：自主行走型的清扫机，其自主地行走来进行地面的扫除；以及信息处理装置，其处理与地面的脏污有关的信息。通过由处理器执行脏污判定程序来实现以下各部：第一信息生成部，其生成基于表示地面的多个图像数据得到的与脏污有关的第一信息，第二信息生成部，其基于表示地面的图像数据来生成第二信息；判定部，其基于第一信息来判定第二信息是否表示出脏污并生成判定结果；以及扫除控制部，其基于判定部的判定结果来变更针对被获取
了第二信息的地面的扫除动作。
11.根据本公开，能够提供能够抑制地面的脏污的误判定、适当地扫除地面的清扫机系统、清扫机以及脏污判定程序。
附图说明
12.图1是表示实施方式中的清扫机系统的各功能部的框图。
13.图2是表示实施方式中的清扫机的外观的侧视图。
14.图3是表示实施方式中的清扫机的外观的仰视图。
15.图4是表示实施方式中的生成第一信息时的动作的流程的流程图。
16.图5是表示实施方式中的清扫机进行扫除时的动作的流程的流程图。
17.附图标记说明
18.100：清扫机系统；103：显示部；110：信息处理装置；111：数据获取部；112：第一信息生成部；113：模型训练部；114：第一地面种类分类部；130：清扫机；131：主体；132：行走部；133：扫除部；134：侧刷；135：控制单元；136：位置传感器；137：摄像装置；138：吸入口；139：保险杠；140：轮毂；141：主刷；142：脚轮；143：尘埃保持部；145：障碍物传感器；146：清扫构件；171：第二信息生成部；172：判定部；173：扫除控制部；174：通知部；175：障碍物探测部；176：行走控制部；177：比较信息获取部；178：第二地面种类分类部。
具体实施方式
19.下面，参照附图来说明本公开所涉及的清扫机系统、清扫机以及脏污判定程序的实施方式。此外，下面的实施方式为了说明本公开而例示了一个例子，其宗旨并不在于限定本公开。例如，下面的实施方式中示出的形状、构造、材料、结构要素、相对位置关系、连接状态、数值、数式、方法中的各阶段的内容、各阶段的顺序等是一个例子，有时包括下面没有记载的内容。另外，有时使用平行、正交等几何学表达，但是这些表达包含实质上容许的误差、偏差等，而不表示数学上的严谨性。另外，同时、同一等表达也包含实质上容许的范围。
20.另外，附图是为了说明本公开而适当进行了强调、省略或比率的调整的示意性的图，与实际的形状、位置关系以及比率不同。
21.另外，下面有时将多个技术方案作为一个实施方式总括性地进行说明。另外，将下面记载的内容的一部分作为与本公开有关的任意的结构要素来进行说明。
22.(实施方式)
23.图1是表示实施方式中的清扫机系统的各功能部的框图。清扫机系统100是以下的系统：生成与住所、旅馆、租户楼、工厂等的地面对应的扫除计划，使清扫机130按照所生成的扫除计划自主地行走并进行扫除。在本实施方式的情况下，清扫机系统100具备信息处理装置110和清扫机130。
24.信息处理装置110是处理与地面的脏污有关的信息并向清扫机130提供处理后的信息的装置，能够经由网络来与清扫机130之间进行信息的发送和接收。在本实施方式的情况下，信息处理装置110是具备处理器、存储装置、各种接口等的所谓的服务器。信息处理装置110具备数据获取部111和第一信息生成部112，作为通过由处理器执行程序来实现的处理部。在本实施方式的情况下，信息处理装置110具备模型训练部113和第一地面种类分类
部114。
25.数据获取部111是获取表示地面的图像数据的处理部。关于图像数据的获取源没有特别限定，例如能够经由网络从智能手机、平板终端等便携终端、清扫机130、数字摄像机等获取，或者直接获取。
26.第一信息生成部112是基于表示地面的图像数据的、表示地面和地面上的脏污的状态的信息。具体地说，作为第一信息，能够例示将色相、饱和度以及亮度中的至少一种在图像数据内的配置(图案、样式)等进行数值化所得到的特征量。关于第一信息生成部112基于图像数据来生成作为特征量的第一信息的方法没有特别限定，例如也可以使用人工智能来生成第一信息。此外，第一信息生成部112也可以通过图像分析等将与地面不同的、地面上的障碍物从获取到的图像数据排除。由此，能够生成可靠性高的第一信息。
27.第一地面种类分类部114是对数据获取部111获取到的图像数据所表示的地面的种类进行分类的处理部。第一地面种类分类部114例如根据图像数据来检测地面的种类如地板、瓷砖、短毛地毯、长毛地毯、榻榻米等并进行分类，将图像数据与表示地面的种类的数据关联起来。此外，第一地面种类分类部114也可以针对地面所呈现的色相、饱和度、亮度、图案等进行分类。另外，也可以基于使用者的输入来对地面的种类进行分类。
28.模型训练部113获取多个不同的第一信息来作为特征量，针对图像数据化后得到的地面的脏污的状态，根据人的评价或通过其它方法得到的评价以及第一信息来训练判定模型。判定模型是用于深度学习、机器学习等的非线性回归模型。
29.在本实施方式的情况下，通过第一地面种类分类部114将根据图像数据生成的第一信息与地面的种类关联起来，因此模型训练部113训练出按分类出的每种地面训练出的多个判定模型。训练出的判定模型经由网络等被提供到清扫机130。
30.图2是表示实施方式中的清扫机的外观的侧视图。图3是表示实施方式中的清扫机的外观的仰视图。如这些图所示，实施方式所涉及的清扫机130是在地面的既定的扫除区域自主地行走并吸引垃圾的机器人型的清扫机130。
31.根据本实施方式，清扫机130具备：用于搭载各种结构要素的主体131、使主体131移动的行走部132、对存在于地面的垃圾进行扫除的扫除部133、行走部132、扫除部133、摄像装置137、控制单元135、位置传感器136以及障碍物传感器145。
32.主体131是收容行走部132和控制单元135等的壳体。主体131为上部能够相对于下部卸下的结构。在主体131的外周部安装有能够相对于主体131移位的保险杠139。另外，如图3所示，主体131设置有用于将垃圾吸引到主体131的内部的吸入口138。
33.行走部132是基于来自控制单元135的指示来使清扫机130行走的装置。在本实施方式的情况下，清扫机130具备位置传感器136，行走部132还作为使位置传感器136移动的装置发挥功能。行走部132具有在地面上行走的轮毂140、对轮毂140提供转矩的行走用马达(未图示)。在主体131的底面具备脚轮142来作为辅助轮。清扫机130通过独立地控制两个轮毂140的旋转，能够自如地行走，如前进、后退、左转、右转等。
34.扫除部133是从吸入口138吸入尘埃并保持被吸入到主体131的内部的尘埃的单元，该扫除部133具有电动风扇(未图示)和尘埃保持部143。电动风扇通过吸引尘埃保持部143的内部的空气并向主体131的外方喷出空气来从吸入口138吸入垃圾，将垃圾收容到尘埃保持部143内。扫除部133具备主刷141和侧刷134，该主刷141将尘埃等从地面卷起到吸入
口138，该侧刷134用于扫集尘埃来使得从吸入口138吸入垃圾。
35.扫除部133具备清扫构件146。关于清扫构件146没有特别限定，在本实施方式的情况下，能够是将能够进行擦拭扫除的可更换式的薄布按在地面上。此外，扫除部133也可以具备向地面喷洒洗剂的洗剂涂布装置、使清扫构件146浸润洗剂的浸润装置。
36.位置传感器136检测位置关系，该位置关系包括清扫机130与存在于清扫机130的周缘的包括墙壁等在内的物体之间的在地面上的距离和方向。另外，也能够根据位置传感器136检测出的方向和距离的信息来掌握清扫机130的自己位置。关于位置传感器136的种类没有特别限定，例如能够例示基于放射出光后被障碍物反射而返回的光来检测位置和距离的lidar(light detection and ranging：光探测与测距)、tof(time of flight：飞行时间)摄像机等。另外，作为位置传感器136，能够例示获取由障碍物反射后的照明光或自然光来作为像并基于视差来获取位置和距离的复眼摄像机等。
37.障碍物传感器145是用于探测载置在地面上的障碍物的传感器。在本实施方式的情况下，障碍物传感器145是能够探测载置在地面上的纸、布、来自生物的排泄物等相对于地面的高度不那么高的障碍物的传感器。
38.此外，清扫机130还可以除了具备位置传感器136、障碍物传感器145以外的传感器。例如，也可以具备地面传感器，该地面传感器配置于主体131的底面的多个部位，用于检测是否存在台阶等高度差。另外，也可以具备编码器，该编码器设置于行走部132，用于检测通过行走用马达而旋转的一对轮毂140各自的旋转角。另外，也可以具备检测清扫机130行走时的加速度的加速度传感器、检测清扫机130转弯时的角速度的角速度传感器。也可以具备检测保险杠139的位移来检测到撞击了障碍物这一情况的接触传感器。
39.摄像装置137是拍摄地面的装置。关于摄像装置137的种类没有特别限定，在本实施方式的情况下，清扫机130具备数字摄像机来作为摄像装置137，该数字摄像机具备光学系统和摄像元件。
40.清扫机130具备第二信息生成部171、判定部172以及扫除控制部173，来作为通过由控制单元135具备的处理器执行程序来实现的处理部。在本实施方式的情况下，清扫机130还具备通知部174、障碍物探测部175、行走控制部176、比较信息获取部177以及第二地面种类分类部178。
41.第二信息生成部171基于从摄像装置137得到的图像数据来生成第二信息。在本实施方式的情况下，第二信息生成部171采用与信息处理装置110的第一信息生成部112生成第一信息的手法相同的手法，根据图像数据来生成特征量来作为第二信息。第二信息是表示从摄像装置137得到的图像所表示的地面以及地面上的脏污的状态的信息。此外，第二信息生成部171也可以根据排除由障碍物探测部175探测出的障碍物后的图像数据来生成第二信息。由此，能够抑制用于生成第二信息的图像数据的数据量，能够高精度、高速地获取第二信息。
42.此外，第二信息生成部171也可以将基于位置传感器136得到的清扫机130的自己位置与基于图像数据生成的第二信息关联起来。
43.第二地面种类分类部178是对摄像装置137拍摄得的图像数据所表示的地面的种类进行分类的处理部。第二地面种类分类部178例如根据图像数据来检测地面的种类、如与第一地面种类分类部114同样的地板、瓷砖、短毛地毯、长毛地毯、榻榻米等，并进行分类，将
第二信息与表示地面的种类的数据关联起来。
44.关于第二地面种类分类部178的分类方法没有特别限定，例如也可以通过对从摄像装置137得到的图像数据进行分析来对地面的种类进行分类。另外，也可以根据在拍摄地面时基于位置传感器136得到的位置的信息来对地面的种类进行分类。另外，也可以基于来自使用者的输入来对地面的种类进行分类。
45.判定部172基于从信息处理装置110获取到的第一信息来判定第二信息生成部171生成的第二信息是否表示出脏污，并生成判定结果。在本实施方式的情况下，通过比较信息获取部177来获取在信息处理装置110中基于第一信息训练出的判定模型，判定部172使用获取到的判定模型，来判定第二信息是否表示出脏污并生成判定结果。
46.在本实施方式的情况下，信息处理装置110的模型训练部113训练出与地面的多个种类分别相应的多个判定模型，比较信息获取部177获取多个种类的训练模型。判定部172向通过第二地面种类分类部178进行了分类的第二信息所对应的判定模型输入第二信息，生成示出第二信息所表示的脏污的种类、脏污的程度等的判定结果。通过使用与地面的种类相应的判定模型来进行脏污的判定，能够实现判定精度的提高。
47.此外，判定部172也可以不使用训练模型，而是将多个第一信息与所生成的第二信息进行比较，基于与第二信息类似的第一信息来判定脏污的程度并生成判定结果。
48.扫除控制部173根据判定部172的判定结果来变更针对被获取了第二信息的地面的扫除动作。在本实施方式的情况下，扫除控制部173使扫除部133大致上基于扫除计划来执行与自己位置对应的扫除，但是根据判定部172的判定结果来变更有无吸引力、刷的旋转、清扫构件146的使用等。例如，在判定部172将地面的脏污的状况判定为附着在短毛地毯上的在日常生活中产生的尘埃的情况下，扫除控制部173使扫除部133执行以下动作：使主刷141和侧刷134动作，扫集尘埃并从吸入口138吸入尘埃。另外，在判定部172将地面的脏污的状况判定为积存在地面上的液体的情况下，扫除控制部173使主刷141、侧刷134以及从吸入口138的吸引停止，并使扫除部133和行走部132执行以下动作：使清扫构件146以被按在地面上的方式移动，使清扫构件146在液体上移动。此外，也可以是，在判定部172另外基于来自障碍物传感器145的信息而判定为脏污是清扫机130无法应对的脏污的情况下，扫除控制部173将脏污视作障碍物，控制行走部132使得避开障碍物。
49.通知部174通知判定部172的判定结果。例如，通知地面上的脏污的状态、脏污的种类、地面存在清扫机130无法处理的脏污的意思等。关于通知部174的通知方法没有特别限定，能够例示使显示部103显示包含文本的图像、输出包括旋律、警告音等在内的声音等。
50.接着，说明清扫机系统100的动作。
51.首先，说明用于生成第一信息的动作的流程。图4是表示生成第一信息时的动作的流程的流程图。在第一次引入清扫机130时、变更扫除场所时，在改变地面的包括图案在内的种类的情况下，清扫机130使用摄像装置137来获取用于使信息处理装置110生成第一信息的图像数据。具体地说，在比较干净的地面上，将清扫机130设定为登记模式(s101)。
52.接着，使清扫机130按照预先设定的扫除计划行走，使用摄像装置137来以规定的间隔拍摄地面(s102)。将拍摄到的图像数据与由位置传感器136得到的清扫机130的自己位置信息、清扫机130根据传感器、使用者的输入而获取到的地面的种类的信息等关联起来并发送到信息处理装置110(s103)。此外，清扫机130也可以基于障碍物传感器145的信息从图
像数据中排除障碍物并输出图像数据。
53.信息处理装置110的第一信息生成部112基于获取到的图像数据来生成作为特征量的第一信息(s104)。模型训练部113基于所生成的第一信息以及在比较干净的地面上拍摄到的图像数据这一信息，来训练判定模型(s105)。将训练出的判定模型登记到信息处理装置110所具备的存储装置(s106)。
54.此外，判定模型也可以与从清扫机获取到的表示进行了拍摄的位置的自己位置信息、拍摄到的地面的种类的信息等关联起来并进行登记。另外，例示了登记判定模型的情况，但是也可以将第一信息登记到存储装置，而不使用判定模型。也可以对第一信息关联自己位置信息、地面的信息等。另外，信息处理装置110也可以从多台清扫机130、智能手机等便携终端等获取图像数据来生成第一信息，训练判定模型。
55.接着，说明通过清扫机130进行的扫除动作的流程。图5是表示清扫机扫除时的动作的流程的流程图。在使用自主地行走的清扫机130来对地面进行扫除的情况下，将清扫机130设定为登记模式(s201)。
56.使清扫机130按照预先设定的扫除计划行走，执行地面的扫除，同时使用摄像装置137来以规定的间隔拍摄清扫机130的行进方向上的前侧的地面(s202)。第二信息生成部171基于拍摄到的图像数据来生成第二信息(s203)。
57.判定部172生成通过将第一信息与第二信息进行比较或者通过将第二信息输入到判定模型而生成的表示第二信息是否表示出脏污的判定结果(s204)。此外，在比较信息获取部177获取到的第一信息或判定模型被关联了位置信息、表示地面的种类的信息等的情况下，判定部172选定与第二地面种类分类部178分类到的地面的种类所对应的信息相关联的第一信息或判定模型，来生成判定结果。
58.扫除控制部173根据判定部172的判定结果来变更针对被获取了第二信息的地面的扫除动作(s205)。此外，根据判定结果不同，也有时不变更扫除动作。清扫机130重复从拍摄地面(s202)到变更扫除动作(s205)的动作，直到扫除结束为止(s206)。
59.根据本实施方式的清扫机系统100，能够基于所储存的第一信息或利用第一信息训练出的判定模型，根据基于由清扫机130所具备的摄像装置137得到的图像的第二信息，来判定实际的地面的状况，根据判定结果来变更扫除动作。因而，能够抑制因地面的图案等引起的脏污的误探测，适当地对地面进行扫除。
60.另外，根据地面的种类来变更用于判定的数据，由此能够提高脏污的探测精度。
61.另外，通过识别障碍物，能够提高地面的脏污的判定精度，能够变更为与障碍物的种类相应的包括避开动作在内的适当的扫除动作。
62.此外，本公开不限定于上述实施方式。例如，也可以将在本说明书中记载的结构要素任意地进行组合，另外，也可以将去除几个结构要素来实现的另一实施方式作为本公开的实施方式。另外，在不脱离本公开的主旨、即不脱离权利要求书所记载的语句所表示的含义的范围内对上述实施方式实施本领域技术人员想到的各种变形而得到的变形例也包含于本公开。
63.例如，将用于生成第一信息的图像数据设为拍摄作为清扫机130进行扫除的对象的地面而得到的与特定区域有关的图像数据来进行了说明，但是图像数据也可以是拍摄多个位置的不特定的区域而得到的所谓的大数据。
64.另外，也可以是，在转变为扫除模式之前，执行扫除准备模式。具体地说，也可以是，不进行扫除动作，而是使清扫机130按照扫除计划或以任意的路径行走并执行多次拍摄，生成多个位置的第二信息。然后，也可以根据该第二信息和第一信息来更新或生成与地面的脏污相应的扫除计划。
65.另外，将清扫机130和信息处理装置110作为相分别的个体来进行了说明，但是也可以是，清扫机130具备信息处理装置110。
66.另外，被描述为由清扫机130具备的第二信息生成部171、第二地面种类分类部178以及判定部172中的至少一方可以在信息处理装置110中实现。另外，被描述为由信息处理装置110具备的数据获取部111、第一信息生成部112、第一地面种类分类部114以及模型训练部113中的至少一方可以在清扫机130中实现。
67.另外，说明了按地面的种类对第一信息、第二信息以及判定模型进行分类、按地面的种类进行判定的情况，但是也可以是，在第一信息、第二信息中包含作为参数的地面的种类，另外，利用基于包含地面的种类的第一信息而训练出的一个判定模型来判定地面的脏污。
68.产业上的可利用性
69.本公开能够利用于具备自主行走型的清扫机的清扫机系统。