自主机器人系统的制作方法

相关申请的交叉引用

本申请要求于2018年3月30递交的美国临时专利申请第62/651,023号的优先权和权益，其为2017年10月19日递交的pct申请第pct/us17/57319号的部分延续案(continuation-in-part，cip)，而且为2017年10月5日递交的美国专利申请第15/725,656号的部分延续案，该申请要求2017年7月10日递交的美国临时专利申请第62/530,744号的优先权和权益，这些申请的全部内容通过引用并入本文。

本发明总体涉及机器人科学，并且尤其涉及用于定位移动目标、跟随移动目标同时检测和避免其移动路径上障碍物的方法和设备。

背景技术：

人们经常带着一些物品、例如包或手提箱旅行。这些物品有不同的尺寸，因为其中一些可能很重且大，使它们很难处理。很多时候，人们在旅行中丢失了他们的包或手提箱，这对大多数旅行者来说是压力很大的状况。因此，人们长期以来一直在寻求一种安全和可靠地携带重或大物品旅行的解决方案。定位和跟随其用户的自主的机器人系统提供安全性，并适应不同的环境。

先前定位和跟随其用户的自主机器人系统的解决方案包括，基于摄像头视觉解决方案跟随目标，其仅在摄像头或视频覆盖区域内只有一个人时工作，因为仅依赖视觉图像的系统难以从穿着相似或长相相似的一群人中区分出目标用户。此外，通过摄像头或视频进行跟踪需要很大的计算力，并且可能会导致安全问题。跟踪目标的其他解决方案包括声音跟踪、热传感器、rfid和蓝牙技术。通过声音跟踪似乎是不切实际的，因为会需要不断发出系统程序识别的声音。当系统处于范围内有多个热源(如多于一个人或动物)的环境中时，通过热传感器进行跟踪变得不可靠。rfid和远程控制技术只在目标对装置直接可见时才起作用。蓝牙技术的目前使用的可行解决方案面临三个问题。第一，人的身体会减弱并传播蓝牙信号。第二，从蓝牙设备本身会反射大量的信号，并且信号很大程度上取决于源、例如带有蓝牙信号的手机的位置。第三，无论蓝牙设备何时改变位置，信号会改变其所有参数，使得很难确定系统和移动目标的速度，以及它们之间的距离。

技术实现要素：

一种用于识别并跟随移动电子设备的系统，在一些实施例中，该系统包括：天线，用于接收和发送信号；多个传感器，用于距离测量；处理器；以及存储器，与所述处理器通信。在一些实施例中，该存储器存储指令，当由处理器执行时，所述指令致使处理器：确定移动电子设备的速度和方向；基于移动电子设备的所确定的速度和方向调整系统的移动路径；确定移动电子设备和系统之间的距离；命令系统在所述距离的预定范围内跟随移动电子设备；识别在系统的移动路径中的障碍物；当识别出障碍物时命令系统停止预定时间段；确定障碍物在所述预定时间段之后是否仍在系统的移动路径中；当确定障碍物仍在系统的移动路径中时调整系统的移动路径；以及当确定障碍物不再在系统的移动路径中时，命令系统在预定距离范围内继续跟随移动电子设备。

一种用于通过系统识别和跟随移动电子设备的方法，该方法包括：通过处理器确定移动电子设备的速度和方向；通过处理器，基于移动电子设备的所确定的速度和方向调整系统的移动路径；通过处理器确定移动电子设备和系统之间的距离；通过处理器命令系统在所述距离的预定范围内跟随移动电子设备；通过处理器识别在系统的移动路径中的障碍物；通过处理器命令系统当识别出该障碍物时停止预定时间段；通过处理器确定障碍物在预定时间段之后是否仍在系统的移动路径中；当确定障碍物仍在系统的移动路径中时，通过处理器调整系统的移动轨迹；以及当确定障碍物不再在系统的移动路径中时，通过处理器命令系统在预定距离范围内继续跟随移动电子设备。

在一些实施例中，处理器与移动电子设备蓝牙配对，并在蓝牙配对之后仅跟随所述移动电子设备。

在一些实施例中，系统包括摄像头，以进行对象识别来识别障碍物并发送对象识别信号。

在一些实施例中，使系统停止的命令是基于系统和障碍物之间的距离的预定阈值。

在一些实施例中，系统包括控制系统移动的引擎控制器。

在一些实施例中，使系统在预定距离范围内跟随移动电子设备的命令是基于所述系统的速度和方向。

在一些实施例中，当相对地面以预定角度物理拉动系统时，系统命令系统增加该系统的速度。

在一些实施例中，当移动电子设备相对系统处于预定阈值角度时，系统命令该系统旋转系统的多个全向轮180度。

在一些实施例中，系统包括操作杆，从而控制该系统的移动。

在一些实施例中，系统包括手提箱、包、货物、推车、托架和容器中的一个或多个。

本领域技术人员会认识到，上述实施例的任何组合都在本发明的范围内。例如，系统还可以包括摄像头、操纵杆和/或引擎控制器。

附图说明

图1是根据本发明一些实施例的自主机器人系统的前视图；

图2是根据本发明一些实施例的自主机器人系统的侧视图；

图3是根据本发明一些实施例的自主机器人系统的后视图；

图4示出了根据本发明一些实施例的用于自主机器人系统定位目标的处理流程；

图5示出了根据本发明一些实施例的自主机器人系统朝固定的目标移动的处理流程；

图6示出了根据本发明一些实施例的自主机器人系统对发现的障碍物做出反应的处理流程；

图7示出了根据本发明一些实施例的自主机器人系统跟随移动目标的处理流程；

图8示出了根据本发明一些实施例的用于协助用户的自主机器人系统的跟随过程。

具体实施方式

为了促进对本发明原理的理解，现在将参考附图中所示的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解，本发明的范围并不因此而受到限定。如本发明所涉及领域的技术人员通常会想到的，可以预期所述实施例中的任何改变和进一步的更改，以及所述实施例中的任何进一步的修改和本文所述的本发明原理的任何进一步应用。

自主机器人系统、例如手提箱、包、货物、推车、托架、容器和带轮子的类似物品(“系统”)定位目标，例如由用户携带的电子设备(例如智能手机、笔记本电脑、或记事本)，并在它检测和避开在其移动路径中的障碍物时跟随目标。系统与目标、例如诸如智能手机之类的手持电子设备无线连接，并且专门与目标“配对”，以便在目标移动时跟随目标。系统导航通过大范围人群，在目标路径跟踪时识别并避开在其路上的物体。在一些方面，系统能够移动通过人群和障碍物，而不需要任何额外的外围设备。在一些方面，自主机器人系统包括允许多方向、包括垂直和水平方向移动的全向轮，以及更好的稳定性。在跟随移动目标时，系统以在目标移动速度的预定阈值内的速度移动。

系统使用摄像头或记录器巡视其环境。在一些方面，摄像头或记录器可以远程控制。在一些方面，系统包括定位识别应用，例如全球定位系统(globalpositionsystem，gps)芯片，以定向和跟踪其位置。在一些方面，gps芯片是可移动的。在一些方面，系统可包括两个附加gps芯片。在一些实施例中，系统使用人工智能(al)和机器学习来优化其移动。系统可以包括识别其环境(例如，在飞行飞机上)的集成自适应al，并相应地调整其移动。系统可以包括虚拟现实(vr)和摄像头集成，其可以用来重建系统移动路径的图像。系统还可以包括方向指示器，例如，用于引导视力受损用户的扬声器。

图1是根据本发明一些实施例的自主机器人系统、100的前视图。系统100的基本组件可以包括：定向天线102、104、106、108；测距传感器110、112、处理器和存储器114、以及轮子116、118。系统可以包括用户发射器检测模块，其包括专门设计的定向天线102、104、106、108和蓝牙低功耗模块，其包括用于数据处理的算法。定向天线102、104、106、108通过搜索目标的无线信号发射器(例如，智能手机、智能手表、或电子手环)来检测其目标。通过定向天线102、104、106、108接收到的信号的强度差被用于确定目标相对于系统的距离和角度，例如，通过扇形及差分方法。

系统还可以使用测距传感器检测目标。距离传感器的选择包括超声波测距传感器和/或激光测距传感器。此外，测距传感器还可以用于检测系统移动路径中的障碍物，例如人、固定物和建筑物。

系统可以通过其视觉识别模块在目标处于其视觉范围内时对目标进行定位。如图1所示，视觉识别模块可以包括摄像头120。在一些实施例中，系统可以包括使用人物图像识别的视觉识别和目标人物固定模块。在一些方面，该模块可以包括位于车辆顶盖中央的至少一个摄像头120。该模块输出从0°到170°的弧度，并且当人物在设定于预定距离(例如距地25厘米)和预定角度(例如45°角)的视觉范围内时激活。该模块还包括处理目标人物的图像以确定范围内的人是否是预期目标的算法。在一些方面，摄像机120配置为可移动的360度虚拟现实摄像头。

图2是根据本发明一些实施例的自主机器人系统、200的侧视图。在一些方面，该系统可以包括位于该系统前部的多个超声波测距传感器110、112，和位于该系统顶部的多个激光测距传感器202、204。系统还可以包括例如通过指纹、面部或虹膜启动的生物锁系统206。在一些方面，系统还可以包括用于手动锁的机构。

图3是根据本发明一些实施例的自主机器人系统的后视图300。该系统包括诸如指示灯和/或声音指示灯的通知模块，例如，该系统可以包括可寻址ledrgb带208。通知模块还可以包括扬声器302。ledrgb带208和扬声器302配置为提供多种光型式和声效。通知模块可以不必为自主的，它可以配置为在各种情况下激活，例如当系统从关闭状态激活时；检测到障碍物在系统的移动路径中时；不可能绕过障碍物或不能避开的障碍物时，例如当检测到台阶时；连接中断；进入转弯；围绕系统的轴线旋转；以及意外移除，例如有人尝试盗取该系统。系统的电源包括电池、太阳能板以及提供长的持久能量的其他方式，一个例子是可移动电池304，其可以无线充电。

系统还可以包括决策制定模块，而“决策”是系统“工作组件”(流水线)顺序处理的结果。在一些实施例中，决策制定过程可以包括接收与系统引擎有关的数据、例如来自里程表的数据，以及设置系统的主要移动速度和角度。决策制定的阶段可以包括识别目标，例如手持电子设备或目标人物。系统在获取目标位置信息(包括角度和距离)中与电子设备通信或利用面部识别数据。电子设备(例如，智能手机、智能手表、智能手环等)可能是移动目标。系统还计算目标的速度，并基于目标的位置校正其旋转角度并设置其移动方向。如果系统检测到自身离目标太近或太远、例如与用户完全失去连接，系统可以停止移动并向其正在跟随的电子设备发送通知。

系统搜索经预审的目标/设备列表以建立“配对”。例如，系统可以搜索特定人物的汽车、智能手机、智能手表和/或平板电脑，这些都可以是系统可能跟随的“经预审的”目标。一旦目标设备和系统的初始配对成功，配对的设备被视为受信任的设备，以及目标。从该时点起，系统将不会与任何其他目标配对，除非它收到进一步的命令。当系统或目标设备关闭时，系统和目标连接结束。

在一些方面，系统通过验证系统与服务器之间的识别码交换和初始连接期间目标的蓝牙协议来建立排他目标确定。在第一次激活系统并建立与目标的连接之后，系统进入由用户在移动应用中可选地进行选择的校准过程。不同类型的单个发射器可能具有带不同特征的不同接收和发射天线。为了与所有类型的无线信号发射器兼容，需要对每个发射器相对于系统进行初始校准，以平衡不同类型的单个信号发射器的效果，以便更好地精确确定系统相对于目标的距离和角度。

图4示出了根据本发明一些实施例的用于定位目标的自主机器人系统的处理流程。系统检测并跟随的目标可能是无线电子设备、例如智能手机，它配备了蓝牙协议以与系统配对。用户可以例如通过先前在无线电子设备上下载的移动应用来激活配对过程。在一些方面，系统自动搜索设备以建立“配对”。为了避免系统跟随错误的目标、例如与不希望的智能手机配对，目标无线电子设备被注册并验证。

因此，当系统在框402中检测到无线电子设备并且确定该设备是可能的目标时，系统通过确定该设备是否已经注册来开始验证过程。每个注册的目标/设备有唯一的序列号；只有经过验证的注册目标/设备能够控制和监视系统。设备验证过程在服务器中注册序列号，例如，保存在云中的远程用户账号。如框410所示，系统首先确定设备的序列号是否位于服务器上，然后验证与序列号相关联的设备是否已经在框412中注册。如果设备尚未注册，然后系统要求用户在框404中的初始连接期间通过寻求允许系统注册设备的许可以用于框406中的验证来进行确认。如果用户授予许可，系统将在服务器上注册设备并在框408中运行验证过程。注册方法的示例包括使用电子邮件地址和/或与智能手机关联的电话号码。用户许可包括例如蓝牙使用、访问geo数据等。在一些方面，移动应用控制面板是主要的应用控制面板，具有控制和监视设备的一套功能。移动应用还可以包括将特定系统链接到用户账号的选项，以增强对未经授权的访问和窃取的防护。系统检测目标位置并跟随用户，同时观察用户与它之间的设定距离，并保持最佳速度。作为一个选项，当系统失去与其目标的其连接时，指示警报、例如灯光或声音可以出现。

图5示出了根据本公开发明一些实施例的、自主机器人系统朝固定目标移动的处理流程(“找到我流程”)。在一些实施例中，找到我流程500在系统成功地验证目标之后开始，当目标静止在其位置时，系统自主地向目标行进，直到系统与目标之间的距离在预定阈值内。在一些方面，用户在框502中使用移动应用激活找到我流程。在找到我流程中，系统以预定的恒定速度移动。在一些方面，预定速度由系统用户设定，并且可以通过移动应用改变。在一些方面，该系统仅使用从定向天线(例如，图1中的定向天线102、104、106、108)接收到的数据进行导航。

在框500中的找到我流程开始时，在框506中，系统从里程表接收关于系统引擎的数据。在框505中，系统还接收与目标位置有关的数据。在框508中，系统使用两个数据集确定目标相对于系统的角度和距离。在框510中系统将其与目标的距离与预定阈值进行比较，以确定是否向系统引擎控制器发送命令。如果与目标的距离大于预定阈值，系统在框512中确定与目标的角度和距离，并设置它将采取的到达目标的移动路径。在向目标行进的路径上，在框514中系统可以检测一个或多个障碍物。当障碍物在移动路径中时，系统从框600中的单独操作流程中检索与障碍物位置相关的用于在框516中调整其移动路径的的数据，并向系统引擎控制器发送命令以相应地调整其移动。如果系统在向目标行进的路径上没有检测到任何障碍物，系统将通过检索与目标位置相关的数据并将该数据与框505中的先前目标数据进行比较，在框520中确定目标自第一次与系统配对以来是否已经移动。如果目标已经移动，系统在框522中接收目标运动数据，其包括与目标的角度和距离。在框524中系统分析目标运动数据并确定引擎数据。在框526中，发送给系统引擎的命令被发送到引擎，以通过调整系统轮子的旋转角度和旋转速度来设置系统的下一次移动。

当到达目标时，所述模式可自动关闭，并且负责该操作模式的操作运动管理组件进入另一模式，例如“睡眠”模式，其阻止系统移动。系统停止跟随电子设备，并等待一段时间直至障碍物消失(例如，移除)。等待的一段时间是基于系统操作的特定环境预定的。如果检测到无法克服的障碍物(坑或死角)，告警、例如警报或视觉指示(例如led灯或通知)将产生并被发送到安装在用户智能手机上的移动应用。

系统向目标行进，直到与目标的距离小于阈值。该阈值通常是最佳距离，系统在跟随运动中的目标时保持该距离，并且该距离可以由用户设置。

当系统与目标之间的距离小于阈值时，假设系统已“到达”其目标。然后系统停止。在一些方面，系统到达目标后进入待机模式。

图6示出了根据所公开的发明一些实施例的自主机器人系统对发现的障碍物作出反应的处理流程600。如果系统在框602中发现其移动路径中的障碍物，系统在框604中停止并等待一段时间。通常，障碍物是移动的对象或人，其会在短时间内移开。框604中等待时间的长度是预定的或基于系统假定放置的特定环境而用户可选的。例如，机场可能会有更多快速“移开”的临时性障碍物、例如人，而不是诸如路障的永久性障碍物。因此，在机场的用户相较于在街道人行道上的用户可以选择设置较短的等待时间。

系统确定在“暂停”之后障碍物是否已从其移动路径中移除，并在框608中在朝目标的路径上继续移动。如果障碍物仍然存在，系统向引擎控制器生成命令，在框610中通过改变轮子的转动角度和/或速度调整其移动。有时，在框612中，障碍物可能是不可克服的、例如墙壁，即使调整轮子也不能让系统穿过它移动。不可克服的障碍物也可以是无法通过系统几何图形可用的操作绕过的障碍物，例如，当系统在要求其上下楼梯的路径上时。在这种情况下，在框614中，系统停止并生成通知以例如通过发送给用户手持设备的警报或通知对用户警告该障碍物。

图7示出了根据所公开发明一些实施例的、用于跟随移动目标的自主机器人系统的处理流程(“跟随我流程”)。在系统成功验证目标后，框700中的跟随我流程开始。当目标正移动时，系统确定自身与目标之间的初始距离，并向目标加速，直到与目标在最佳距离内。系统根据移动目标保持其速度，以停留在最佳距离内。系统分析从所有内部组件(例如天线、传感器和/或摄像头)和外部源采集的数据，包括从用户移动应用采集的数据，以确定目标的移动速度和/或角度两者。在一些实施例中，跟随我流程利用al和自主移动技术，以基于目标的移动速度和/或角度确定其移动的方向和速度。

根据如图7所示的一些实施例，在框702中，用户可以使用移动应用来激活跟随我流程。跟随我流程通过在框706中从系统引擎接收里程表数据而开始。系统从框701中的天线、框703中的测距传感器和框705中的摄像头采集数据，以在框710中确定移动目标相对于系统位置的角度和距离。在一些方面，系统利用框701中的天线数据确定其自身的移动，特别是其相对于移动目标的角度和距离，并且监视其自身的行驶速度。天线检测移动方向，并且天线数据被发送到系统，在框710中，在该系统处确定轮子在其未来移动中所需的旋转角度。框703中的测距传感器检测移动目标与系统本身之间的距离。在框710中，传感器数据被发送到系统处理器，在其中确定轮子在其未来移动中所需的行驶速度。如果系统在预定阈值内，则轮子以恒定速度旋转以保持最佳距离。当距离相对于阈值过大或过小时，轮子分别加速或减速。阈值是系统在跟随目标的同时保持的与移动目标的最佳距离。在一些方面，框705中的摄像头识别目标，并获取关于目标的距离和角度的信息。摄像头数据还被发送到系统处理器，以用于基于相对于框710中目标的距离和角度确定下一移动。

根据一些实施例，系统在框710中确定移动目标的近似速度和角度，并在框712中设置移动路径，这将按次序进行，以基于框708中与目标有关的数据(例如目标距离、目标角度)以及框706中的里程表数据的分析结果跟随目标。

在跟随移动目标的移动路径上，在框714中，系统可以检测一个或多个障碍物。当在移动路径中识别出障碍物时，系统从单独的操作流程(例如图6的流程)中检索关于障碍物位置以在方框716中调整其移动路径的数据，并向系统引擎控制器发送命令以相应地调整系统的下一移动，例如，摄像头可以通过对象识别来识别障碍物。

系统检索与移动目标位置相关的目标运动数据，其中包括框718中目标的角度和距离，在框720中通过分析目标运动数据确定引擎数据。在框722中发送到系统引擎控制器的命令，通过调整系统轮子的旋转角度和旋转速度设置系统的下一移动。当用户终止目标跟随模式时，或者当目标停止行进并且系统到达与目标的预定距离(例如，系统与目标之间的距离小于1米)时，跟随我流程结束。

根据所公开发明的一些实施例，系统引擎控制器可以通过为马达驱动器生成所需工作周期(dutycycle)的脉冲宽度调制(pwm)控制信号来直接控制马达驱动器。在一些方面，系统引擎控制器在接收命令时，基于系统与其目标之间的速度和角度计算所需的轮子速度和旋转角度。在一些方面，引擎控制器可以基于系统与其目标之间角度的预定阈值(例如，当系统与其目标之间的角度为180度时)确定将轮子向后旋转，以便系统立即转向以跟随电子设备。

系统的流程还可以包括手动车辆移动模式，其使得用户能够使用移动应用中的操纵杆控制系统的移动。例如，用户可以使用移动应用激活操纵杆模式，并在多个灵敏度模式(例如，低、中、高)下操作操纵杆。在操作期间，移动应用向系统处理器发送(x-y)坐标和[0，100]的范围，在接收到坐标后，系统计算轮子的旋转角度和速度，并根据计算向系统引擎发送命令以控制轮子的移动。

图8示出了根据所公开发明一些实施例的、用于协助用户的自主机器人系统的处理流程(“协助我流程”)。当系统到达其目标时，用户可以直接获取或处理。例如，用户可以通过手柄物理地拉动系统，而不是让系统在用户行走时跟随用户。当用户正物理拉动系统时，系统的引擎可以自动增加其马力，使得用户不需要拉动系统的整个重量，这有助于用户移动可能太重而无法操纵的系统。轮子根据用户拉动系统的方向以一定角度旋转，同时根据基于系统相对于系统移动路径的倾角和系统自身重量的算法以一定速度移动。

根据图8，在框802中用户可以使用移动应用激活协助模式。系统配备有框808中的陀螺仪和框809中的内部尺度，并在框804中监测陀螺仪的数据以在框806中检测倾角。在框810中系统确定倾角是否超出预定阈值，例如系统以45度的角度向地面倾斜。如果在系统和地面之间的角度在预定阈值内，系统在框812中确定与该角度相对应的必要移动速度，这不需要用户使用过大的拉力来保持。在框814中系统确定引擎数据，并在框816中向系统引擎控制器发送命令，以通过调整系统轮子的旋转角度和旋转速度设置系统的下一移动。

在一些实施例中，系统包括外围平台。控制系统的用户移动应用还可以包括用户的注册、可选的设备验证、用户许可和控制功能。在一些方面，目标设备验证可以包括在远程服务器和/或云上注册和验证设备。

自主机器人系统可以与其他软件应用完全集成，以提供附加功能。例如，在一些方面，系统可以与能够提出旅行建议、机场信息和机场口信息的应用集成。在一些方面，可以通过机器学习持续改进自主机器人系统的功能。例如，随着操作时间的增加，自主机器人系统自动将其自身的移动数据上传到自主机器人系统应用中，以完善系统。然而，在一些方面，出于安全目的，可以选择禁用自学习功能。

在一些实施例中，自主机器人系统可以在其以水平模式自主行进时在其顶部携带更多的物品，例如，另一手提箱。在一些实施例中，自主机器人系统可以包括测量其内容物重量的内置天平。在一些方面，自主机器人系统可以包括显示其总重量的显示器。在一些方面，自主机器人系统可以包括独特的把手，它可以变成便携式桌子，这可以用于笔记本电脑、书籍、文档和其他物品。在一些方面，自主机器人系统可以包括易于接近的用于存储的单独隔室。

应当注意，上述实施例仅用于描述本发明实施例的技术解决方案，但本发明的实施例不限于此。尽管参考上述示例性实施例详细描述了本发明实施例的各个方面，但是本领域的普通技术人员应当理解，参考上述示例性实施例描述的技术方案，可以对一些其中的技术特征进行修改，或者等同替换。本领域技术人员还可以明显地看到，上述实施例是单个更广泛发明的具体示例，其范围可能大于任何单个描述，而不脱离本发明的精神和范围。