一种用于智能割草设备的遥控及警示方法与流程

1.本发明涉及花园工具领域，具体而言涉及一种用于智能割草设备的遥控及警示方法。


背景技术：

2.割草机器人是一种常见的能够在户外连续的、实时的自主移动的自动行走设备。智能割草机器人作为自动行走设备的一种，适用于清理丘陵、梯田、平原等地块的植被，以及草坪之内的杂草。其具有操作简单，工作效率高的优势。我们常见的学校，以及街道绿地的美化，都是用这些自动行走设备来完成的。在国外，许多家庭用自动行走设备来为自己的花园除草。
3.一些割草机器人采用了摄像装置，实时记录前方图像，并传递给使用者手中的终端或者其他遥控装置、app中，使用者利用实时图像，了解割草机器人运行状态与实时位置，完成控制割草机器人行走的工作。
4.使用者在使用遥控设备对割草机器人进行控制的情况下，仅仅通过实时图像，不能准确的获知割草机器人周围障碍物的情况，且由于割草机器人运行时，图像采集设备具有一定的盲区，导致一些障碍物可能无法显示在实时图像中，影响使用者对割草机器人工作环境的判断。


技术实现要素：

5.本发明针对现有技术的不足，提供一种用于智能割草设备的遥控及警示方法，可以对使用者提供警示，便于使用者更好的进行遥控操作。
6.首先，为实现上述目的，提出一种用于智能割草设备的遥控及警示方法，所述自行走设备包括图像获取部件，用于采集图像；遥控终端，通过无线通讯方式连接自行走设备并可操纵自行走设备；所述遥控终端包括显示部件，用于显示图像获取部件所采集的图像；其特征在于，所述显示部件所显示图像中，包括工况标识，用于显示机器运行参数；控制引导标识，用于引导使用者控制机器；警告标识和紧急停止标识，用于警示使用者。
7.作为本方案的一种改进，所述控制引导标识包括通行标识、提醒标识和警示标识；所述控制方法包括如下步骤：a、每间隔规定时间，获取机器上障碍物传感器采集的数据，获取距离机器最近的障碍物与机器之间的距离数据；b、当所述距离数据大于第一预设数值时，显示通行标识；当所述距离数据小于等
于第一预设数值且大于第二预设数值时，显示提醒标识；当所述距离数据小于等于第二预设数值时，显示警示标识；当所述距离数据小于等于第三预设数值时，显示警告标识；当时所述距离数据等于或小于第四预设数值时，机器停止，并显示紧急停止标识，同时机器记录停止前机器航向，机器不能执行遥控终端发出的朝与所记录机器航向相同方向运行的控制指令。
8.作为本方案的一种改进，第一预设数值》第二预设数值》第三预设数值》第四预设数值。
9.作为本方案的一种改进，所述第一预设数值不小于机器长度，所述第四预设数值不大于机器最大宽度同时不小于机器最小转弯半径。
10.作为本方案的一种改进，所述通行标识、提醒标识和警示标识使用不同形状和/或颜色进行区分。
11.作为本方案的一种改进，所述显示部件所显示图像包括：实时图像区，用于显示图像获取部件所采集的实时图像；虚拟图像区，用于显示由实时图像参数生成的虚拟补充图像或者由历史图像生成的延时图像；所述历史图像由图像获取部件所采集的图像数据中获取。
12.作为本方案的一种改进，所述虚拟图像区至少包括实时图像区一侧边缘向外延伸的区域。
13.作为本方案的一种改进，所述工况标识，位于虚拟图像区内；所述控制引导标识、警告标识和紧急停止标识，位于实时图像区内。
14.作为本方案的一种改进，图像获取部件对获取到的每一帧图像，附加有时间戳数据，根据实时图像区所显示的实时图像的时间戳信息，选取包含一定时间间隔之前的时间戳信息的历史图像作为延时图像。
15.作为本方案的一种改进，所述虚拟补充图像利用实时图像边缘处或者边缘处一定区域内的像素信息进行生成。
16.作为本方案的一种改进，所述延时图像采用如下方法获得：s1、机器启动，图像获取单元启动并开始记录图像，每帧图像上记录时间戳和路程数据，图像获取单元启动后获取的第一帧图像的路程数据为0，每帧图像的路程数据为机器启动开始的累计实际行驶路程数据；s2、获取实时图像中所记录的路程数据，在虚拟图像区中采用对应历史图像进行填充，对应历史图像中的路程数据为实时图像中路程数据减去虚拟图像区内所显示图像对应环境中的具体长度。
17.作为本方案的一种改进，所述延时图像为历史图像中截取自下边缘开始，与虚拟图像区等像素高度和宽度的图像。
18.作为本方案的一种改进，机器开始运行时，采用虚拟补充图像对虚拟图像区进行填充，当具有满足使用条件的历史图像之后，采用延图像对虚拟图像区进行填充。
19.作为本方案的一种改进，实时图像区下方的虚拟图像区采用延时图像进行填充，虚拟图像区其他位置的区域，采用虚拟补充图像进行填充。
20.作为本方案的一种改进，虚拟图像区和实时图像区交界处，对实时图像区和/或虚
拟图像区内的图像可以进行模糊、柔化等操作处理。
21.作为本方案的一种改进，还包括基准标识，用于指示机器相对于显示部件所显示图像中环境的相对位置；所述基准标识为虚拟图像且位于虚拟图像区内。
22.一种自行走设备，使用上述的遥控及警示方法，其遥控终端包括：用户情况采集部件，所述用户情况采集部件可以使摄像头等元件，用来采集用户数据，所述用户数据包括人脸数据、眼球数据、瞳孔数据。
23.作为本方案的一种改进，当摄像头元件无法采集到人脸数据或者采集到人脸数据但无法采集到眼球数据/瞳孔数据时，无法通过遥控终端改变机器运行状态，且此时如果遥控终端中操纵部件被触碰，机器进入停止状态。
24.作为本方案的一种改进，使用遥控终端进行操控机器时，遥控终端比对显示部件所显示的实时图像的时间戳数据与遥控终端内部时钟/网络时钟之间的时间差，当时间差超过预设时间，或者实时图像的时间戳数据超过规定时间没有变化时，停止机器，且无法通过遥控终端改变机器运行状态。。
25.有益效果本发明提供一种用于智能割草设备的遥控及警示方法，通过在显示部件中提供指示的方式，帮助使用者清楚了解割草机器人的实时工作情况，同时引导使用者对机器进行控制。
26.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
27.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：图1是所述控制终端示意图。
28.图2是所述图像获取单元获取图像示意图。
29.图3是本发明所述警示方法示意图。
30.图4是所述控制引导标识示意图。
31.图5是所述实时图像区与所述虚拟图像区示意图。
32.图6是所述基准标识示意图。
33.图7是所述机器实际位置示意图。
34.图8是所述实时图像区和虚拟图像区示意图一。
35.图9是所述实时图像区和虚拟图像区示意图二。
36.图10是所述实时图像区和虚拟图像区示意图三。
37.图11是所述指示标识示意图。
38.图12是所述指示标识位置示意图。
39.图13是所示带有用户情况采集部件的遥控终端示意图。
40.附图标记为：100、机器；200、图像获取部件；
300、遥控终端；301、操纵部件；400、显示部件；401、实时图像区；402、虚拟图像区；403、航速标识；404、航向标识；405、割草转速标识；406、警告标识；407、紧急停止标识；408、电量标识；500、基准标识；500’、机器实际位置；600、控制引导标识；601、通行标识；602、提醒标识；603、警示标识；700、用户情况采集部件。
具体实施方式
41.为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
43.本发明中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
44.本发明中所述的“内、外”的含义指的是相对于信号线本身而言，由信号线指向工作区域内部的方向为内，反之为外；而非对本发明的装置机构的特定限定。
45.本发明中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
46.如图1所示，现有的遥控设备中，遥控终端300上设置有操纵部件301和显示部件 400，显示部件 400显示的图像为机器100上图像获取部件200所获取的图像/视频等。
47.如图2所示，图像获取部件200通常设置于机器100上，由于图像获取部件200视角的问题，其获取的图像中，机器100的机身通常处于盲区中，使用者通过显示部件 400所看到的图像通常不包含机器100的机身，使用者在以显示部件 400所显示的图像进行操作时，由于缺少机身的参照，以及由于盲区的存在，部分障碍物无法显示在实时图像中，可能导致操作不准确等问题。
48.为解决上述问题，如图3所示，在显示部件 400上，还设置有显示机器100工况的其他虚拟标识，包括显示机器100运行速度的航速标识403、显示机器100转向方向的航向标识404、显示机器100割草刀盘转速的割草转速标识405和显示机器100电池电量的电量标识408。机器100运行速度可以通过机器100驱动电机转速及轮径获得，机器100转向方向可以通过机器100两个驱动电机之间的转速差值获得，机器100割草刀盘转速可以通过机器100割草电机的转速获得。
49.机器100显示部件 400上，还包括有控制引导标识600、警告标识406和紧急停止标识407，用于提示使用者操纵机器100运行。所述控制引导标识600包括通行标识601、提醒标识602和警示标识603，上述利用控制引导标识600、警告标识406和紧急停止标识407实现的
提示使用者操纵机器100运行的控制方法包括如下步骤：a、每间隔规定时间，获取机器100上障碍物传感器采集的数据，获取距离机器100最近的障碍物与机器100之间的距离数据；b、当所述距离数据大于第一预设数值时，显示通行标识601；当所述距离数据小于等于第一预设数值且大于第二预设数值时，显示提醒标识602；当所述距离数据小于等于第二预设数值时，显示警示标识603；当所述距离数据小于等于第三预设数值时，显示警告标识406；当时所述距离数据等于或小于第四预设数值时，机器100停止，并显示紧急停止标识407，同时机器100记录停止前机器100航向，机器100不能执行遥控终端300发出的朝与所记录机器100航向相同方向运行的控制指令。
50.各个预设数值之间的大小关系如下：第一预设数值》第二预设数值》第三预设数值》第四预设数值。
51.所述第一预设数值不小于机器100长度，所述第四预设数值不大于机器100最大宽度同时不小于机器100最小转弯半径。第四预设数值不小于机器100最小转弯半径的目的在于，在一个比较常见的遥控机器100划定边界行走的场景中，由于机器100需要沿连续线路进行行驶并沿途记录数据，在行驶过程中，我们不希望机器100发生后退等动作，因此，当机器100检测到障碍物距离小于第四预设数值时，机器100停止，由于第四预设数值不小于机器100最小转弯半径，因此，此时机器100可以采取转弯的方式避开障碍物并继续行进，避免由于距离障碍过近，机器100必须执行后退动作才可避开障碍物继续行驶。同时，由于此时使用者并不在机器100运行的现场，而是通过观看图像获取设备采集的图像了解机器100运行现场的状况，第四预设数值所选取的数值也可以给用户提供足够的操作空间，便于用户遥控机器100进行工作。
52.通行标识601、提醒标识602和警示标识603可以采用不同的颜色进行指示，例如通行标识601采用绿色，提醒标识602采用黄色，警示标识603采用红色。
53.如图5所示，显示部件400所显示的图像可以分为实时图像区401和虚拟图像区402，实时图像区401显示图像获取部件200实时获取的图像，虚拟图像区402可以显示虚拟图像，工况标识（即航速标识403、航向标识404、割草转速标识405和电量标识408），位于虚拟图像区内；控制引导标识600、警告标识406和紧急停止标识407，位于实时图像区内。上述排布方式，将机器工况设置于实时图像区外，使实时图像区内的图像尽可能的不被遮挡。将控制引导标识600、警告标识406和紧急停止标识407设置于实时图像区内，保证使用者在观看显示部件400进行操作时，能及时看到用于引导的标识，能够及时了解警示和引导信息，及时进行应对。
54.为了解决没有机身参照，无法清楚了解机器相对于实时图像中所显示的环境的具体位置的问题，如图6所示，在显示部件 400所显示的图像下部增加基准标识500，用来给使用者提供机器100相对于图像中所显示环境的位置参考。使用者根据基准标识500，可以比较直观且准确的了解到机器100在图像所显示环境中的位置，为后续控制提供了基准。
55.但是，如图2所示，机器100上图像获取部件200所采集的图像，通常是成像区所内的实时图像，显示部件 400中显示给使用者的同样是上述实时图像，由于盲区的存在，相比于实时图像所展示的环境，机器100实际位置应位于图像所展示的环境之外，具体的，机器100实际位置应位于图像所展示的环境下方位置，如图7所示。所以，如果仅在显示部件 400
所显示的图像下部增加基准标识500，使用者利用此基准标识500作为基准的话，可能会产生一定的位置误差。
56.为了解决上述问题，提供如下图像显示技术。
57.如图8所示，显示部件 400的显示区内，包括实时图像区401和虚拟图像区402，所述虚拟图像区402为在实时图像区401边缘向外延伸的区域，虚拟图像区402至少包括由实时图像区401下方边缘向外延伸的区域。如图6和7所示展示了虚拟图像区402分别由实时图像区401四周边缘向外延伸的情况和虚拟图像区402由实时图像区401下方及侧部边缘向外延伸的情况。
58.实时图像区401内显示的为图像获取部件200所采集的实时图像，所述虚拟图像区402内显示的图像为虚拟补充图像或者延时图像，基准标识500位于虚拟图像区402内。基于上述图像显示技术，可以更加准确和客观的显示机器100相对于实时图像所显示环境的具体位置。
59.针对虚拟图像区402，当其显示的图像为虚拟补充图像时，虚拟补充图像利用实时图像区401内的实时图像数据生成。具体的，利用实时图像边缘处或者边缘处一定区域内的像素信息进行生成。 例如，如图8所示，虚拟图像区402位于实时图像区401下方，虚拟图像区402内图像通过实时图像区401下边缘或者下边缘若干个像素长度区域内的像素信息进行生成，具体的，是使用像素的颜色信息生成。由于割草机器100人通常行驶环境为草地环境，其实时图像区401下部主要为草地，虚拟图像区402内利用实时图像区401下方的图像信息，模拟出草地图像，并与实时图像区401进行拼合。
60.在另一种实现方式下，虚拟图像区402内的图像，利用图像获取部件200所采集的历史图像进行填充。一般情况下，图像获取部件200对获取到的每一帧图像，均会附加时间戳数据，根据实时图像区401所显示的实时图像的时间戳信息，选取包含一定时间间隔之前的时间戳信息的历史图像，将历史图像中部分图像信息填充至虚拟图像区402内进行显示。历史图像中截取自下边缘开始，与虚拟图像区402等像素高度和宽度的图像，填充至虚拟图像区402内。
61.具体的时间间隔，可以是人为设定的固定时间间隔，例如在机器100设计阶段确定并保存在机器100主控程序中的时间间隔，对于一些行驶速度固定的割草机器100人，可以采用这种手段。
62.或者，时间间隔可以是根据机器100行驶速度和虚拟图像区402内所显示图像对应环境中的具体长度综合计算获得。具体的，虚拟图像区402的长度是固定的，虚拟图像区402内所显示的环境图像在实际环境中的实际长度是可以通过实验、计算等方式获得的，其可能跟摄像头视角、放置位置相关。在获得虚拟图像区402内所显示的环境图像在实际环境中的实际长度后，根据机器100实际行驶速度，计算出对应的时间间隔。如果行驶速度是变化的，可以通过分段计算或者通过下面方法获得时间间隔：1、机器100启动，图像获取单元启动并开始记录图像，每帧图像上记录时间戳和路程数据，图像获取单元启动后获取的第一帧图像的路程数据为0，每帧图像的路程数据为机器100启动开始的累计实际行驶路程数据；2、获取实时图像中所记录的路程数据，在虚拟图像区402中采用对应历史图像进行填充，对应历史图像中的路程数据为实时图像中路程数据减去虚拟图像区402内所显示
图像对应环境中的具体长度。
63.所述累计实际行驶路程数据可以根据电机转动圈数和驱动轮轮径计算获得。
64.在上述两种实现方式下，虚拟图像区402和实时图像区401交界处，可以对实时图像区401和/或虚拟图像区402内的图像可以进行模糊、柔化等操作处理，使实时图像区401向虚拟图像区402之间过渡较为平缓，使用者在观看显示部件 400所显示的图像时，不会由于实时图像区401和虚拟图像区402有明显差异，导致视觉效果不好等。
65.如图9和10所示的情况中，虚拟图像区402中包括有实时图像区401多个边缘区域的延伸，在实际使用过程中，除了实时图像区401下方的虚拟图像区402可以采用历史图像的数据进行填充外，虚拟图像区402其他位置的区域，需要采用虚拟补充图像进行填充。
66.由于机器100在刚开始启动阶段，没有足够的历史图像数据提供给虚拟图像区402进行使用，因此，当机器100开始阶段，均采用虚拟补充图像进行填充，当具有满足使用条件的历史图像之后，采用历史图像对虚拟图像区402进行填充。
67.由于图像获取单元可能是可以发生位置变动的，例如发生转动，上下摆动等，当图像获取单元位置发生变动时，虚拟图像区402所显示环境的具体长度发生相应变化，机器100实际位置相对于实时图像下边缘的具体位置发生变化，上述变化将实时反映到虚拟图像区402的成像中。机器100实际位置相对于实时图像下边缘的具体距离可以通过图像获取单元的视角、安装位置和安装角度获得。
68.所述遥控终端300上还设置有用户情况采集部件，所述用户情况采集部件可以使摄像头等元件，用来采集用户数据，用户数据包括人脸数据、眼球数据、瞳孔数据等。当摄像头元件无法采集到人脸数据或者采集到人脸数据但无法采集到眼球数据/瞳孔数据时，无法通过遥控终端300改变机器100运行状态，且此时如果遥控终端300中操纵部件301被触碰，机器100进入停止状态。
69.如图13所示，在用户使用遥控终端300进行操控机器100时，遥控终端300比对显示部件 400所显示的实时图像的时间戳数据与遥控终端300内部时钟/网络时钟之间的时间差，当时间差超过预设时间，或者实时图像的时间戳数据超过规定时间没有变化时，停止机器100，且无法通过遥控终端300改变机器100运行状态。
70.上述两种手段，均是为了避免使用者在不观察显示部件 400时通过遥控终端300操作机器100，减小危险发生的可能，同时也可以避免使用者误触遥控终端300，导致机器100误操作。
71.以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。