远程同屏控制多台机器人方法、装置、终端及存储介质与流程

远程同屏控制多台机器人方法、装置、终端及存储介质
【技术领域】
1.本发明涉及机器人技术领域，尤其涉及一种远程同屏控制多台机器人方法、装置、终端及存储介质。


背景技术：

2.随着机器人技术的发展，现在具有自主移动能力的机器人已经越来越趋向无人化、自动化、远程化等。然而，当机器人在楼宇中执行任务时，会遇到各种情况。例如，多台机器人在同一个窄道拥堵停止不前，导致多个机器人长时间都不能正常运作；又例如，当机器人摄像头不能正常工作时，无法判断前后方是否有其他机器人存在，从而导致可能发生碰撞；再例如，当同楼层多个机器人乱停时，后台的技术人员无法同时操作多台机器人。因此，如何对多台机器人进行快速简便的远程操控成为亟需解决的问题。
3.鉴于此，实有必要提供一种远程同屏控制多台机器人方法、装置、终端及存储介质以克服上述缺陷。


技术实现要素：

4.本发明的目的是提供一种远程同屏控制多台机器人方法、装置、终端及存储介质，旨在改善如何对多台机器人进行快速简便的远程操控的问题，使得技术人员能够在后台的显示界面对多台机器人进行快速操控，恢复机器人在拥堵时的正常运行。
5.为了实现上述目的，本发明第一方面提供一种远程同屏控制多台机器人方法，包括以下步骤：
6.分别建立与多台机器人的远程网络连接；
7.获取所述多台机器人的当前定位信息，并根据所述当前定位信息在显示界面的预设地图上实时显示所述多台机器人的当前位置；
8.接收对于单个机器人的选定指令，并向所述单个机器人发送遥控开启指令；
9.控制所述机器人开启遥控模式，并向所述机器人发送控制指令；其中，所述控制指令包括碰撞保护与运动控制。
10.在一个优选实施方式中，所述分别建立与多台机器人的远程网络连接步骤中包括以下步骤：
11.接收待控制机器人的定位信息；其中，所述定位信息包括所述待控制机器人所处的当前楼层或区域；
12.获取并筛选位于所述当前楼层或者所述区域预定范围内的多台机器人的信息；
13.与所述待控制机器人与所述多台机器人建立远程网络连接。
14.在一个优选实施方式中，所述遥控模式还包括直控模式；其中，所述直控模式包括：
15.在所述显示界面获取对单个机器人的图标的选定指令；
16.响应所述选定指令，并在所述单个机器人的图标的周围生成预设的多个控制选
项；
17.获取技术人员在所述显示界面中对所述控制选项的选择指令，并生成相应的控制指令发送至所述单个机器人。
18.在一个优选实施方式中，所述碰撞保护包括以下步骤：
19.根据所述多台机器人的当前定位信息计算两两之间的相对距离；
20.判断所述相对距离是否超过预设的距离阈值，若结果为否，则控制机器人停止向靠近相邻机器人方向移动。
21.本发明第二方面提供了一种远程同屏控制多台机器人装置，包括：
22.网络连接模块，用于分别建立与多台机器人的远程网络连接；
23.位置显示模块，用于获取所述多台机器人的当前定位信息，并根据所述当前定位信息在显示界面的预设地图上实时显示所述多台机器人的当前位置；
24.遥控开启模块，用于接收对于单个机器人的选定指令，并向所述单个机器人发送遥控开启指令；
25.指令发送模块，用于控制所述机器人开启遥控模式，并向所述机器人发送控制指令；其中，所述控制指令包括碰撞保护与运动控制。
26.在一个优选实施方式中，所述网络连接模块包括：
27.定位接收单元，用于接收待控制机器人的定位信息；其中，所述定位信息包括所述待控制机器人所处的当前楼层或区域；
28.机器人筛选单元，用于获取并筛选位于所述当前楼层或者所述区域预定范围内的多台机器人的信息；
29.网络连接单元，用于与所述待控制机器人与所述多台机器人建立远程网络连接。
30.在一个优选实施方式中，所述遥控模式还包括直控模式；其中，所述直控模式通过以下单元实现：
31.图标选定单元，用于在所述显示界面获取对单个机器人的图标的选定指令；
32.选项生成单元，用于响应所述选定指令，并在所述单个机器人的图标的周围生成预设的多个控制选项；
33.指令获取单元，用于获取技术人员在所述显示界面中对所述控制选项的选择指令，并生成相应的控制指令发送至所述单个机器人。
34.在一个优选实施方式中，所述碰撞保护中通过以下单元实现：
35.距离计算单元，用于根据所述多台机器人的当前定位信息计算两两之间的相对距离；
36.距离判断单元，用于判断所述相对距离是否超过预设的距离阈值，若结果为否，则控制机器人停止向靠近相邻机器人方向移动。
37.本发明第三方面提供了一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的远程同屏控制多台机器人程序，所述远程同屏控制多台机器人程序被所述处理器执行时实现如上述实施方式中任一项所述的远程同屏控制多台机器人方法的各个步骤。
38.本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有远程同屏控制多台机器人程序，所述远程同屏控制多台机器人程序被处理器执行时实现
如上述实施方式任一项所述的远程同屏控制多台机器人方法的各个步骤。
39.本发明提供的远程同屏控制多台机器人方法，与多台机器人分别建立远程连接，然后通过机器人的定位信息将多台机器人的位置同时显示在同一预设地图上，从而使得技术人员能够通过显示界面的地图直观的了解每个机器人的位置，然后选定所要控制运行的机器人，发送遥控指令，进而实现了分别对每台机器人的远程控制，使得多台机器人在窄道中不再拥堵，同时当机器人的摄像头故障时也可对前后的其他机器人进行及时避让，同屏操作操作简便。
【附图说明】
40.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
41.图1为本发明提供的远程同屏控制多台机器人方法的流程图；
42.图2为本发明提供的远程同屏控制多台机器人装置的框架图。
【具体实施方式】
43.为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
44.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
45.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
46.在本发明的实施例中，第一方面提供一种远程同屏控制多台机器人方法，用于在显示装置的显示界面直观化的对多台机器人进行遥控，降低操作难度，避免多台机器人拥堵情形的发生。
47.如图1所示，远程同屏控制多台机器人方法包括以下步骤s11
‑
s14。
48.步骤s11，分别建立与多台机器人的远程网络连接。在本步骤中，对于多台机器人的遥控首先对待控制机器人及其附近的其他机器人进行位置确认，然后建立连接，从而使得技术人员能够通过具有显示界面的终端设备对多台机器人进行操控。其中，步骤s11包括以下步骤：
49.首先，接收待控制机器人的定位信息；其中，定位信息包括待控制机器人所处的当前楼层或区域。具体的，当技术人员通过远程监测系统或者机器人定时或实时发送的定位信息来获取待控制机器人的位置，并提取定位信息中的楼宇楼层信息或在楼宇外的区域信息。
50.然后，获取并筛选位于当前楼层或者区域预定范围内的多台机器人的信息。具体的，接收在该预定区域内活动的所有机器人的定位信息，然后提取每台机器人的楼宇楼层
信息或在楼宇外的区域信息，从而根据楼宇楼层信息进行匹配，或者当机器人在楼宇外时，对所有机器人与待控制机器人的距离进行分别计算，若计算得到的相对距离小于预设的距离阈值，则说明该机器人位于待控制机器人的预定范围内。
51.最后与所待控制机器人与以及在同楼层或者楼宇外预定范围内的多台机器人建立远程网络连接。其中，技术人员可通过操作端与机器人建立远程连接。其中，操作端可以是web(world wide web，万维网)平台，也可以是app、小程序等。操作端可以依托与计算机、笔记本电脑、手机、平板电脑等终端设备上，技术人员则可通过终端设备的显示界面进行相应的操作。举例来说，技术人员在操作端通过websocket(基于tcp的全双工通信协议)、http或者https(hyper text transferprotocol over securesocket layer，超文本传输安全协议)等通信协议与机器人的通信装置建立远程网络连接，从而使得操作端与机器人之间可进行双向数据的传输。其中，操作端包括但不限于：台式计算机、笔记本电脑、手机、平板电脑及其他具有web浏览功能的电子设备，且操作端具有一个可显示信息的显示界面。具体的，包括以下步骤：
52.首先，建立操作端与云端的网络连接。具体的，通过技术人员在操作端经过权限验证后与云端服务器连接，并进入到云端服务器对应的控制中心内。然后，通过云端建立云端与机器人的网络连接。具体的，用户通过云端服务器的控制中心可与一个或者多个机器人同时建立远程连接，这其中，云端服务器起到了一个代理连接的作用。因此，通过将云端作为操作端与机器人之间的连接代理层，实现数据在云端的中转传输与同步。避免当多个操作端分多次的与同一个机器人连接时，该机器人需要与每一个操作端都建立连接，从而造成数据同步浪费。因此，通过云端作为中转，具有至少两个优点：一是减少了机器人与多方操作端建立连接数据同步浪费的问题；二是由云端进行权限控制，使得机器人与外界设备的网络连接更为安全。
53.进一步的，还包括步骤：判断操作端与机器人的网络连接是否成功，若未连接成功，则通过内网建立操作端与机器人的直联。具体的，当出现云端服务器不能建立连接时，包括但不限于操作端与云端的权限验证失败以及云端网络不能连接的情形。此时，可使用操作端内网服务直联机器人，实现远程操作机器人的功能。当然，在内网的连接中，也可设置于机器人连接的权限设置。
54.步骤s12，获取多台机器人的当前定位信息，并根据当前定位信息在显示界面的预设地图上实时显示多台机器人的当前位置。
55.具体的，当确定了需要进行遥控的多台机器人之后，通过网络连接直接同步获取机器人的当前定位信息，无需再通过机器人发送定位信息。其中，可由云端定时轮训或云端实时推送机器人的当前定位(地图id、x、y、角度值)至终端，并且根据坐标值在显示界面的预设地图上进行位置显示，即在地图上形成多个与多台机器人一一对应的标记或者图标，以代表该机器人当前处于楼层中对应的位置。
56.步骤s13，接收对于单个机器人的选定指令，并向单个机器人发送遥控开启指令。
57.在本步骤中，技术人员可通过在显示界面上直接点击机器人对应的标记或图标，从而完成对某一机器人的选定，并同步对该单个机器人发送遥控开启指令，从而实现通过显示界面对机器人的遥控。此时，该单个机器人接收到操作端发送的选定指令与遥控开启指令后，响应遥控开启指令从而可被技术人员通过操作端进行控制。
58.步骤s14，控制机器人开启遥控模式，并向机器人发送控制指令；其中，控制指令包括碰撞保护与运动控制。
59.当机器人开启遥控模式后，技术人员通过在显示界面发送指令的方式直接操作机器人，取代机器人当前的自主移动模式。在显示界面中，遥控模式包括多种操作方式与功能，例如碰撞保护与运动控制。其中，运动控制包括但不限于前进、后退、左转、右转、运行参数(例如速度、距离、角度)设置、定位更新、停止(禁止状态)与使能(是否可运行状态)等。
60.其中，碰撞保护包括以下步骤：
61.首先，根据多台机器人的当前定位信息计算两两之间的相对距离。具体的，对于同楼层的多台机器人，根据地图上的标记或图标相对应的坐标来计算同楼层中多台机器人两两之间的距离。例如，可在地图上根据坐标直接测出机器人之间的距离，然后根据地图的比例尺对机器人之间的相对距离进行换算。
62.然后，判断相对距离是否超过预设的距离阈值(例如可设为50cm)，若结果为否，表明两个机器人之间的距离过近，具有互相碰撞的风险，因此，则控制机器人停止向靠近相邻机器人方向移动，从而降低机器人的碰撞风险，当机器人的摄像头出现故障时，可通过碰撞保护功能来避免机器人之间发生碰撞。
63.进一步的，遥控模式还包括直控模式，即技术人员可直接在显示界面上的虚拟按键对选定的机器人进行直接操控。其中，直控模式包括：
64.首先，在显示界面获取对单个机器人的图标的选定指令。具体的，技术人员选择需要操作的机器人，在显示界面的地图上点击该机器人的标记或图标，从而实现对机器人的选定。
65.其次，响应选定指令，并在单个机器人的图标的周围生成预设的多个控制选项。当接收到技术人员对于某一个机器人的标记或图标的点击后，激活该机器人的直控模式，关闭自主移动模式。同时在显示界面的机器人的标记或图标周围生成多个虚拟交互选项，例如，在图标的周围相应的生成上下左右四个方向键以及前进、停止、加速等功能键。
66.最后，获取技术人员在显示界面中对控制选项的选择指令，并生成相应的控制指令发送至单个机器人。具体的，当技术人员在显示界面点击了虚拟选项之后，操作端自动生成相对应的控制指令，并发送到机器人端，使机器人完成相应的操作。举例来说，技术人员点击虚拟按键“上”以及“前进”，从而生成使机器人沿地图向上方向运动的控制指令，进而使机器人完成相应运动。因此，通过直控模式对机器人进行远程操作，操作过程简单。
67.综上所述，本发明提供的远程同屏控制多台机器人方法，与多台机器人分别建立远程连接，然后通过机器人的定位信息将多台机器人的位置同时显示在同一预设地图上，从而使得技术人员能够通过显示界面的地图直观的了解每个机器人的位置，然后选定所要控制运行的机器人，发送遥控指令，进而实现了分别对每台机器人的远程控制，使得多台机器人在窄道中不再拥堵，同时当机器人的摄像头故障时也可对前后的其他机器人进行及时避让，同屏操作操作简便。
68.本发明第二方面提供了一种远程同屏控制多台机器人装置100，包括具有显示界面的显示装置，用于在显示界面直观化的对多台机器人进行遥控，降低操作难度，避免多台机器人拥堵情形的发生。需要说明的是，远程同屏控制多台机器人装置100的实现原理及实施方式与上述的远程同屏控制多台机器人方法相一致，故以下不再赘述。
69.如图2所示，远程同屏控制多台机器人装置100包括：
70.网络连接模块10，用于分别建立与多台机器人的远程网络连接；
71.位置显示模块20，用于获取多台机器人的当前定位信息，并根据当前定位信息在显示界面的预设地图上实时显示多台机器人的当前位置；
72.遥控开启模块30，用于接收对于单个机器人的选定指令，并向单个机器人发送遥控开启指令；
73.指令发送模块40，用于控制机器人开启遥控模式，并向机器人发送控制指令；其中，控制指令包括碰撞保护与运动控制。
74.进一步的，网络连接模块10包括：
75.定位接收单元，用于接收待控制机器人的定位信息；其中，定位信息包括待控制机器人所处的当前楼层或区域；
76.机器人筛选单元，用于获取并筛选位于当前楼层或者区域预定范围内的多台机器人的信息；
77.网络连接单元，用于与待控制机器人与多台机器人建立远程网络连接。
78.进一步的，遥控模式还包括直控模式；其中，直控模式通过以下单元实现：
79.图标选定单元，用于在显示界面获取对单个机器人的图标的选定指令；
80.选项生成单元，用于响应选定指令，并在单个机器人的图标的周围生成预设的多个控制选项；
81.指令获取单元，用于获取技术人员在显示界面中对控制选项的选择指令，并生成相应的控制指令发送至单个机器人。
82.进一步的，碰撞保护中通过以下单元实现：
83.距离计算单元，用于根据多台机器人的当前定位信息计算两两之间的相对距离；
84.距离判断单元，用于判断相对距离是否超过预设的距离阈值，若结果为是，则控制机器人停止向靠近相邻机器人方向移动。
85.本发明第三方面提供了一种终端(图中未示出)，终端包括存储器、处理器以及存储在存储器并可在处理器上运行的远程同屏控制多台机器人程序，远程同屏控制多台机器人程序被处理器执行时实现如上述实施方式中任一项所述的远程同屏控制多台机器人方法的各个步骤。
86.本发明第四方面提供了一种计算机可读存储介质(图中未示出)，计算机可读存储介质存储有远程同屏控制多台机器人程序，远程同屏控制多台机器人程序被处理器执行时实现如上述实施方式任一项所述的远程同屏控制多台机器人方法的各个步骤。
87.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
88.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
89.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
90.在本发明所提供的实施例中，应该理解到，所揭露的系统或装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统或装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
91.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
92.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
93.本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。