一种平衡车前置跟踪方法和系统与流程

本发明涉及平衡车控制领域，更具体的说，涉及一种平衡车前置跟踪方法和系统。

背景技术：

电动平衡车，又叫平衡车、思维车，其运作原理主要是建立在一种被称为“动态稳定”的基本原理上，利用车体内部的陀螺仪和加速度传感器，来检测车体姿态的变化，利用伺服控制系统，精确地驱动电机进行相应的调整，以保持系统的平衡。

现有的电动平衡车一般有两种，一种是车体上具有一个操作杆，使用者站在电动平衡车的脚踏平台上对操作杆进行操作，从而前进、后退及停止，这样的控制也称“手控”。另一种是车体由两部分组成，左部分和右部分之间通过转动机构实现相互转动，从而实现“脚控”。

目前很多应用场合不允许平衡车载人，用户只好手持携带，非常不方便。因此有必要提供一种自动追踪的技术，以便平衡车可以自动跟随用户行动。

现有一种在线学习的视觉跟踪算法，其需要用户在视频画面中指定跟踪目标所在的区域(该区域通常为一个矩形区域，需要用户通过画框操作画出该区域)，从而将该区域定义跟踪模板。在线学习的视觉跟踪算法对跟踪模板的精度有较高的要求，过大的跟踪模板易包含较多的干扰背景，过小的跟踪模板不具有足够的区分度。这种基于用户指定区域来定义跟踪模板的交互模式，要求在用户指定区域过程中，跟踪目标必须处于静止状态，以给用户足够的时间来准确指定该区域。但是，若跟踪目标处于运动状态，用户则没有足够的时间来准确定义跟踪目标所在的区域，也就无法获得满足要求的跟踪模板，继而无法对运动中的跟踪目标进行视觉跟踪。

专利文献CN 105931263 A于2016年9月6日公开了一种目标跟踪方法及电子设备，其通过用户主动选择跟踪目标来提高准确性。但被跟踪的用户的服装、配饰、发型等都是多变的，这就需要用户每次使用时都要设置，使用非常不便，且用户选择目标点的时候也存在选择困难，需要选择跟周围环境识别度高的区域作为目标点，才有利于提高准确性，如果目标点识别度太低，还不如计算机自主识别的方式。

技术实现要素：

本发明所要解决的技术问题是提供一种提高识别准确度且使用方便的平衡车前置跟踪方法和系统。

本发明的目的是通过以下技术方案来实现的：

根据本发明的一个方面，本发明公开一种平衡车前置跟踪方法，所述平衡车包括摄像头；所述方法包括：

获取用户的人脸图像作为目标跟踪模版；

获取用户的距离、速度和行走方向；

控制平衡车锁定跟踪模版。

进一步的，所述方法还包括当用户的人脸图像在摄像头取景框中消失时候重新定位的方法；

以消失时刻的用户位置为标的规划扫描路径；

提高平衡车行驶速度，控制平衡车按扫描路径行驶，行驶过程中控制摄像头对准标的方位直至用户的人脸图像重新回到摄像头取景框。

用户在行走过程中头部可能会频繁转动，一般情况下转动幅度不大，仍然能够为摄像头识别，但一旦转动过大，比如用户突然转身的时候，脸部会彻底跳出摄像头的取景框，让平衡车无法继续跟踪。本技术方案可以在人脸在取景框消失的时候尽快找回目标。而人脸突然变动方向的时候，用户基本上不会挪动位置，或者挪动很小，因此以消失时刻用户位置为标的，可以更快捷、准确地找回目标跟踪模版。

进一步的，所述以消失时刻的用户位置为标的规划扫描路径的方法包括：以消失时刻的用户位置为中心，规划螺旋形的扫描路径。

采用螺旋形路径，可以旋转一圈未找到对应用户的情况下进一步扩大搜寻范围，由于搜寻的中心一直是消失时刻的用户位置，这样即便用户在未跟踪的期间有所走动，也能准确搜索到。

进一步的，所述控制平衡车锁定跟踪模版的方法包括：

计算跟踪模版的类哈尔特征；

获取跟踪模版的二进制编码特征；

基于结构化输出的支持向量机及粒子滤波器建立运动模型；

利用二进制编码特征在预设的时间间隔进行全局的搜索锁定。

进一步的，所述获取用户的距离、速度和行走方向的方法包括：

平衡车根据预设的发送带有装置和时间编码的超声波信号；

云端采集超声波发射装置所发射的超声波信号；

云端根据所述装置编码查找与所述装置编码对应的超声波发射装置的位置信息以定位出平衡车的实时位置。

作为本发明的另一方面，本发明还公开一种平衡车前置跟踪系统，包括：

用于获取用户的人脸图像作为目标跟踪模版的装置；

用于获取用户的距离、速度和行走方向的装置；

用于控制平衡车锁定跟踪模版的装置。

与现有技术相比，本发明的技术效果是：现有技术都是一种后置跟踪的技术方案，而人体后背的特征并不明显，对于机器识别来说非常困难。这也就造成目前识别跟踪效果都不太理想。本发明采用了前置跟踪的技术，利用目前成熟的人脸识别技术，可以准确识别需要跟踪的用户，而获取用户的距离、速度和行走方向，可以准确判断用户的行进方向，从而锁定跟踪用户。在平衡车的应用领域，用户在需要平衡车跟随的场合一般都是在大型商场、地铁、写字楼等室内场合，活动范围较小，且用户都是徒步慢行这样平衡车有足够的反应时间对用户进行跟踪定位。本发明将人脸识别技术应用于平衡车领域，采用前置跟踪的方式，可以大幅提供用户的跟踪效果，且用户能实时看到平衡车，相互互动不容易跟丢。

附图说明

图1是本发明实施例平衡车前置跟踪方法示意图；

图2是本发明实施例应用场景示意图；

图3是平衡车螺旋形扫描路径示意图；

图4是本发明实施例平衡车前置跟踪系统示意图。

具体实施方式

本发明公开一种平衡车前置跟踪方法，所述平衡车包括摄像头；所述方法包括：

获取用户的人脸图像作为目标跟踪模版；

获取用户的距离、速度和行走方向；

控制平衡车锁定跟踪模版。

现有技术都是一种后置跟踪的技术方案，而人体后背的特征并不明显，对于机器识别来说非常困难。这也就造成目前识别跟踪效果都不太理想。本发明采用了前置跟踪的技术，利用目前成熟的人脸识别技术，可以准确识别需要跟踪的用户，而获取用户的距离、速度和行走方向，可以准确判断用户的行进方向，从而锁定跟踪用户。在平衡车的应用领域，用户在需要平衡车跟随的场合一般都是在大型商场、地铁、写字楼等室内场合，活动范围较小，且用户都是徒步慢行这样平衡车有足够的反应时间对用户进行跟踪定位。本发明将人脸识别技术应用于平衡车领域，采用前置跟踪的方式，可以大幅提供用户的跟踪效果，且用户能实时看到平衡车，相互互动不容易跟丢。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称移动智能终端(如智能手机、平板电脑、穿戴设备或智能眼镜)、计算机、AI(人工智能)、机器人、VR(虚拟现实)、AR(增强现实)、智能家居设备或智能工业控制设备等等均可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于。。。之间”相比于“直接处于。。。之间”，“与。。。邻近”相比于“与。。。直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图1～4和较佳的实施例对本发明作进一步说明。

本实施方式公开一种平衡车平衡车前置跟踪方法，所述平衡车包括摄像头；所述方法包括：

S11、获取用户的人脸图像作为目标跟踪模版；

S12、获取用户的距离、速度和行走方向；

S13、控制平衡车锁定跟踪模版。

本发明将人脸识别技术应用于平衡车领域，采用前置跟踪的方式，可以大幅提供用户的跟踪效果，且用户能实时看到平衡车，相互互动不容易跟丢。

可选的，本发明的方法还包括当用户的人脸图像在摄像头取景框中消失时候重新定位的方法；

以消失时刻的用户位置为标的规划扫描路径；

提高平衡车行驶速度，控制平衡车按扫描路径行驶，行驶过程中控制摄像头对准标的方位直至用户的人脸图像重新回到摄像头取景框。

用户在行走过程中头部可能会频繁转动，一般情况下转动幅度不大，仍然能够为摄像头识别，但一旦转动过大，比如用户突然转身的时候，脸部会彻底跳出摄像头的取景框，让平衡车无法继续跟踪。本技术方案可以在人脸在取景框消失的时候尽快找回目标。而人脸突然变动方向的时候，用户基本上不会挪动位置，或者挪动很小，因此以消失时刻用户位置为标的，可以更快捷、准确地找回目标跟踪模版。

可选的，以消失时刻的用户位置为标的规划扫描路径的方法包括：以消失时刻的用户位置为中心，规划螺旋形的扫描路径。

采用螺旋形路径，可以旋转一圈未找到对应用户的情况下进一步扩大搜寻范围，由于搜寻的中心一直是消失时刻的用户位置，这样即便用户在未跟踪的期间有所走动，也能准确搜索到。参考图3，用户人脸消失时刻在A1位置，此时平衡车以此为圆心规划螺旋形扫描路径，当在内圈B1位置时，由于用户行走离开了初始位置，导致平衡车无法捕捉到用户，平衡车自动根据螺旋形扫描路径扩大搜索范围，且加快运行速度，在旋转到B2位置时，此时用户位于A2位置，巧好在平衡车摄像头的取景框范围，平衡车利用人脸识别技术可以迅速定位用户人脸，重新锁定用户。

可选的，控制平衡车锁定跟踪模版的方法包括：

计算跟踪模版的类哈尔特征；

获取跟踪模版的二进制编码特征；

基于结构化输出的支持向量机及粒子滤波器建立运动模型；

利用二进制编码特征在预设的时间间隔进行全局的搜索锁定。

计算跟踪模版的类哈尔特征用于自适应跟踪，二进制编码特征用于重捕获跟丢的目标，分别解决目标外观变化和目标暂时性消失需重新捕获的问题，无需在跟踪目标前进行大量训练，同时，有效地把支持向量机和粒子滤波器结合，提出了有效的运动模型搜索策略，使得目标的跟踪具有尺度可变性，从而保证跟踪分类器的分类效果不受错误样本训练的影响。

可选的，所述获取用户的距离、速度和行走方向的方法包括：

平衡车根据预设的发送带有装置和时间编码的超声波信号；

云端采集超声波发射装置所发射的超声波信号；

云端根据所述装置编码查找与所述装置编码对应的超声波发射装置的位置信息以定位出平衡车的实时位置。

平衡车定位在室外可以利用GPS卫星实现定位的，但GPS卫星定位系统无法用于室内定位且精确度较低。云端利用瞬时测频算法准确地定位出超声波信号的起始位置，及时采集超声波信号。采用快速傅里叶变换，将超声波信号由时域信号转换为频域信号，并有效地滤除多余的频域信号，高效、快速、准确地还原出超声波发射装置所发射的超声波信号。同时，将还原后的超声波信号转换为二进制字符串，提取其中的装置编码及时间编码，查找所述装置编码所对应的超声波发射装置的位置信息，实现了平衡车的实时位置的准确定位。因此，采用本发明的超声波定位方式，不仅可用于室内定位，且定位精度远超GPS。

参考图4，根据本发明的另一个方面，本发明公开了一种平衡车前置跟踪系统，包括：

获取装置10：用于获取用户的人脸图像作为目标跟踪模版；

计算装置20：用于获取用户的距离、速度和行走方向；

控制装置30：用于控制平衡车锁定跟踪模版。

本发明平衡车前置跟踪系统可以用于实现本发明所述的平衡车前置跟踪方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。