基于体感交互的轮式机器人运动仿真系统与方法与流程

本发明属于体感交互领域，具体涉及一种基于体感交互的轮式机器人运动仿真系统与方法。

背景技术：

体感控制是近几年兴起的一门新兴技术，人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。体感技术主要应用于3d建模、虚拟应用、机械控制、虚拟乐器、虚拟娱乐、计算机相关应用、虚拟实验、游戏操控、健康训练等多个领域，其技术难点在于手势及体势信息的采集及采集后的数据处理分析。

一方面，基于体感技术的应用具有一定的局限性，绝大多数是中小型领域，比如游戏娱乐、机械控制等，体感技术应用于轮式移动装置上的应用几乎没有；另一方面，车辆的无人驾驶系统日趋完善，但是由于技术的限制以及不可控因素的干扰，使得无人驾驶技术存在定位不精确、无法判断复杂多变的环境、通信网络不完全可靠等安全问题。

技术实现要素：

针对现有技术中存在的不足，发明提供了一种基于体感交互的轮式机器人运动仿真系统，通过体感与虚拟实物进行积极交互，用户根据虚拟动作调整实体动作，可以通过虚拟实物精确地控制轮式机器人运动。

一种基于体感交互的轮式机器人运动仿真系统，包括体感交互系统和轮式机器人；

所述体感交互系统包括体感输入装置和输入交互装置，体感输入装置获取用户的实体动作信号，将所述实体动作信号转换为动作命令，发送至输入交互装置；输入交互装置具有控制单元和显示单元，显示单元向用户展示虚拟实物；控制单元接收所述动作命令发送至显示单元，控制对应的虚拟实物实现相应的虚拟动作，用户根据所述虚拟动作调整实体动作；

所述输入交互装置还实时将动作命令通过无线收发系统发送至轮式机器人，轮式机器人根据所述动作命令，执行相应的动作。

进一步的，所述输入交互装置的控制单元为arm服务器，所述arm服务器采用搭载有lwip轻型协议栈的arm芯片；arm服务器与无线收发系统连接并且实时进行双向数据交互。

进一步的，所述轮式机器人具有中央处理器、传感器系统、定位系统和各分支系统；所述各分支系统包括离合控制系统、油门控制系统、刹车控制系统和转向控制系统；

所述中央处理器接收并解析所述动作命令，并将解析结果发送至各分支系统，各分支系统根据解析结果控制各分支系统控制轮式机器人的整体运动；所述定位系统用于实时获取轮式机器人的位置，并通过中央处理器发送至输入交互装置，形成轮式机器人的运动轨迹；所述传感器系统用于采集轮式机器人周围路况，并通过中央处理器发送至输入交互装置，由显示单元实时显示。

进一步的，所述轮式机器人各分支系统的接口均为api接口。

进一步的，所述定位系统采用gps与惯性导航系统协调定位系统。

进一步的，所述传感器系统包括视频采集装置和激光雷达。

进一步的，所述无线收发系统具有多个，每个无线收发系统之间具有中继装置。

进一步的，获取用户的实体动作信号，采用双目视觉方法获取用户的实体动作三维动态数据；分析所述三维动态数据，得到用户的动作命令，所述动作命令分别用来控制显示单元中的虚拟实物以及轮式机器人的相应动作，虚拟实物根据所述动作命令实现相应的虚拟动作，用户根据所述虚拟动作调整实体动作；轮式机器人根据所述动作命令，实时执行相应的动作。

进一步的，实时获取轮式机器人的位置，形成轮式机器人的运动轨迹，并通过所述显示单元显示。

进一步的，实时获取轮式机器人周围路况，并通过所述显示单元显示。

本发明的有益效果：

1.本系统基于体感交互的轮式机器人运动仿真系统，通过体感与虚拟实物进行积极交互，用户根据虚拟动作调整实体动作，可以通过虚拟实物精确地控制轮式机器人运动。

2.本系统采用gps定位与惯性导航系统协同定位的方式，可以适应室内室外两种环境，同时大大提高定位的精确度。

3、本系统在轮式机器人上布置了传感器系统，可以实时获取轮式机器人的周围路况，并实时反馈，更进一步提高了用户的体验感。

附图说明

图1是体感交互系统的信息流程图

图2是arm服务器及三维实时网页端控制流程图

图3是轮式机器人的控制处理系统。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明的一种典型实施例是一种基于体感交互的轮式机器人运动仿真系统，包括体感交互系统和轮式机器人；

体感交互系统包括体感输入装置和输入交互装置，体感输入装置获取用户的实体动作信号，将所述实体动作信号转换为动作命令，发送至输入交互装置；输入交互装置具有控制单元和显示单元，显示单元向用户展示虚拟实物；控制单元接收所述动作命令发送至显示单元，控制对应的虚拟实物实现相应的虚拟动作，用户根据所述虚拟动作调整实体动作；

输入交互装置还实时将动作命令通过无线收发系统发送至轮式机器人，轮式机器人根据所述动作命令，执行相应的动作。

轮式机器人具有中央处理器、传感器系统、定位系统和各分支系统；所述各分支系统包括离合控制系统、油门控制系统、刹车控制系统和转向控制系统。

本实施例中，我们利用体感交互设备采集实体动作信息，经过体感设备处理后将实体动作信息传给pc机，pc机对实体动作信息分析后通过webserver网络平台将数据传给arm处理器，然后该arm处理器通过无线收发系统将命令发送给轮式机器人上的中央处理器，中央处理器接收并解析所述动作命令，并将解析结果发送至各分支系统，各分支系统根据解析结果控制各分支系统控制轮式机器人的整体运动。

其中图1是体感设备采集实体动作及分析流程图，主要描述的是用户实体动作的采集分析处理过程。

如图所示本系统中的体感信息的采集及分析过程主要有以下步骤：

首先用户在体感设备采集范围内做出相应实体动作。

实体动作主要包括：模拟双手握方向盘进行左转、右转操作，模拟单手握方向盘进行左转、右转操作，模拟单手进行鸣笛操作，还有油门、离合和刹车操作。

然后由双目摄像头采集图像并且按照进行实体动作分割。

其一般性流程主要包括：从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体三维大小，两点之间实际距离。其算法流程一般为：离线相机标定-矫正-双目匹配-3d距离计算。手势分割主要以时间为向量，将采集的视频信息按照设定速率分割成帧。

根据之前以时间为单位分割出的图像帧，通过算法进行实体动作的分析与跟踪，通过帧与帧之间图像的变化，便可以计算出该实体动作在该时间段的趋势，继而分析出实体动作信息。同时将实体动作信息传给pc机。

在这一步便可以计算分析出具体的实体动作操作。

本实施例通过体感技术来操作三维仿真方向盘，能够方便的直接用手势来模拟驾驶，不但省去了真实驾驶环境中的疲劳性，而且由于虚拟驾驶在室内进行，所以大大降低了驾驶员在真实驾驶环境中的各种不适感和可能出现的危险。

图2是arm服务器及三维实时网页端控制流程图，一方面，它可以接受体感设备采集的实体动作信息，并进行进一步处理；另一方面，它利用lwip协议栈、http协搭载的webserver服务器，可以将三维实时网页显示在电脑屏幕上，该网页主要作为人机交互界面以及实时视频回传的显示端。同时，它还可以根据实体动作经过分析得出的指令通过无线系统发送给中央处理器。

具体的，由体感设备采集并经过分析后的信息传入pc机，pc机进一步的识别分析后的实体动作数据。

实际上，这一步是将实体动作信息转换成控制命令，当服务器接收到这一指令后，便可以根据设定来控制三维实时网页中仿真方向盘的行为，例如：当收到的信息是双手握方向盘进行左转手势时，arm服务器便将网页中的仿真方向盘逆时针旋转一定角度。

本实施例中arm服务器的部署及主要功能实现如下所述：

通过将sics开发的开源lwip协议栈移植到arm芯片中，结合硬件设备，使其成为一个arm网站服务器，它实现的功能主要有以下几个方面：

(1)作为服务器，稳定运行搭载在他上边的代码。

(2)负责接收来自体感设备的数据信息并显示在实时网页上。

(3)负责讲指令信息通过无线收发系统发送给轮式机器人的中央处理器。

(4)网页显示实体动作操作以及显示监控视频。

本实施例的这一改进一方面可以实时显示仿真方向盘的动作以及其他离合、油门、刹车按键的状态，显示由轮式机器人的传感器系统实时传回的监控视频，另一方面，将实体动作操作状态反馈到arm网站服务器。其功能的实现主要依赖于arm服务器的稳定运行。

与此同时，arm服务器还与无线收发系统进行连接并且实时进行双向数据交互，无线通信系统是双工通信，主要负责数据的双向交互。

图2所示系统中，由于采用的是arm系列的芯片，搭载lwip轻型协议栈，所以开发成本低廉，并且稳定性较高，其采用的三维实时网页不仅可以显示手势操作，同时也可以显示车辆周边路况，避免了因特殊情况引发的危险。

图3是轮式机器人接收处理信息的一个过程，其主要功能是接受arm服务器发来的指令做出相应的动作，同时搭载gps定位系统以及惯性导航系统，可以适应室内室外不同的定位环境，传感器系统实时采集车辆周围的监控视频信息并通过无线收发系统传回arm服务器，由三维实时网页显示。

具体的，无线收发系统接收到arm服务器通过发来的指令数据，并发送至轮式机器人上的中央处理器，中央处理器接收到指令信息并作出反馈，汽车中央处理器作为核心处理器件主要的功能有：

(1)接收无线收发系统发来的指令并做出分析。

(2)将传感器系统采集的信息作出分析后，打包发给无线收发系统。

(3)搭载定位系统。

(4)根据指令控制机动系统各分支接口，继而控制油门、刹车、离合、方向盘等器件。

其中，机动系统控制各分支接口进而控制车体运动。主要的分支接口包括离合控制系统、油门控制系统、刹车控制系统、转向控制系统。这些系统分工合作，共同控制汽车的整体运动。

进一步的，该中央处理器还负责接收来自传感器系统的各种数据，来确保轮式机器人各参数的稳定以及周围情况的回传。

对于基于体感的轮式机器人无人控制来说，定位的精度无疑是一个非常重要的技术，本系统采用的是gps与惯性导航系统协调定位的模式，可以解决不同环境下的定位精度问题。

gps(globalpositioningsystem)即全球定位系统，是由美国建立的一个卫星导航定位系统，利用该系统，用户可以在全球范围内实现全天候、连续、实时的三维导航定位和测速。另外，利用该系统，用户还能够进行高精度的时间传递和高精度的精密定位，但是民用精度10米左右；而惯性导航，是利用陀螺仪和加速度计这两种惯性器件，去分别测出汽车相对于惯性空间的角运动信息和线运动信息，并在给定初始条件下，由计算机推算出汽车的状态、方向、速度、位置等导航参数的自主式导航方法，其适用于gps信号衰弱或者缺失的室内空间。

本发明的再一实施例是相对于上述系统的一种基于的体感交互的轮式机器人运动仿真方法，获取用户的实体动作信号，采用双目视觉方法获取用户的实体动作三维动态数据；分析所述三维动态数据，得到用户的动作命令，所述动作命令分别用来控制显示单元中的虚拟实物以及轮式机器人的相应动作，虚拟实物根据所述动作命令实现相应的虚拟动作，用户根据所述虚拟动作调整实体动作；轮式机器人根据所述动作命令，实时执行相应的动作。

本实施例中，还可以实时获取轮式机器人的位置，形成轮式机器人的运动轨迹，并获取轮式机器人周围路况，一并通过显示单元显示。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。