一种无人矿卡远程遥控驾驶系统及方法与流程

本发明涉及工程车辆无人驾驶技术领域，具体涉及一种无人矿卡远程遥控驾驶系统及方法。

背景技术：

自动驾驶矿用自卸卡车又称无人驾驶矿用汽车，简称无人矿卡，主要是一种能够实现自动驾驶技术的智能矿用自卸卡车。由于矿山的工作环境恶劣，粉尘浓厚，现场的工作人员在工作环境恶劣的情况下效率低下，远程遥控驾驶系统可以为上述问题提供更好的解决方案进而提高矿区劳动效率，降低成本。

现有技术中工程机械的无人驾驶普遍存在实际使用效果较差、安全及可靠性较差的缺陷，例如申请号为201610048011.6就公开了一种无人车远程无线驾驶系统中，主要涉及到的一种无人车远程无线驾驶系统，其中pc机电性连接模拟器和第一通信模块，第二通信模块电性连接工控机，然后工控机电性连接驾驶机器人，然后驾驶机器人再电性连接车辆的控制系统。然后驾驶平台与自动驾驶系统通过第一通信模块和第二通信模块以wifi或者4g的形式进行通信。

在pc控制端操作流程依次为：开始-启动页面-初始化-进入控制界面-等待消息响应-进行控制-等待传感器响应-关闭窗口则结束。其中进行控制只有转向控制部分，即对车辆进行横向控制。另外该方案还将图像信号以及监控数据通过第二模块回传到pc端，所有数据通信均通过一个通信模块通信。

首先，该专利（201610048011.6）的第二通信模块电性连接工控机、工控机电性连接驾驶机器人、驾驶机器人电性连接车辆的控制系统。在该技术方案中，设备连接繁杂，每一个设备的利用率低，而且在遥控驾驶对于控制的延迟要求较高的情况下，可能在多个设备处理后，不能很好的达到效果。其次，图像信号与监控信号同时以第二通信模块进行发送。因为图像信号的数据量较大，在通信过程中占用的带宽就很大，而且与监控信息均通过一个通信模块，这样就会存在网络本身实际负荷过大，而某种程度上会造成信道拥堵、数据丢失等问题。最后，网络以wifi或者4g作为通信方式，如果wifi满足不了要求时切换为4g。车作为移动的载体，本身不具备连接静态网络的能力，那么wifi就由某一静态位置的设备提供，首先我们知道wifi信号的范围有限，在wifi连接情况下，遥控范围就很有限，而且在切换到4g的过程中，存在信号切换时间，导致短时间内的中断情况，使得系统存在不稳定性。

技术实现要素：

为解决现有技术中的不足，本发明提供一种无人矿卡远程遥控驾驶系统及方法，解决了现有技术中无人矿卡远程遥控驾驶实际应用效果较差的技术问题。

为了实现上述目标，本发明采用如下技术方案：

一种无人矿卡远程遥控驾驶系统：包括驾驶模拟器及车辆端，

驾驶模拟器包括：

工控机：接收并处理相关数据，相关数据包括视频数据、车辆基本信息、方向盘信息、油门刹车踏板数值；

人机交互界面：显示远程遥控驾驶的相关信息并提供操作界面；

方向盘：将方向盘动作转换为数字控制信号；

油门刹车踏板：将加速、减速动作转换为数字控制信号；

档位：将车辆前进、后退操作转换为数字控制信号；

组网路由器一：将驾驶模拟器网络与车辆端网络组成可互相访问的网络；

车辆端包括：

车载通信控制器：与模拟器端设备通信，解析车辆基本数据并下发车辆控制信息；

雷达：获取车辆周围障碍物信息，并进行分析处理，并将结果发送至驾驶模拟器；

摄像头：获取车辆端周围视频画面，并将视频信息传递至驾驶模拟器；

拾音器：获取车辆端音频数据，并将音频数据传递至模拟器端；

cpe：实现无线通讯；

组网路由器二：将车辆端网络与驾驶模拟器端网络组成可互相访问的网络。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶系统：摄像头包括车辆前方主视角、左右后视视角以及车内驾驶位监控视角四个视频画面。

一种无人矿卡远程遥控驾驶方法：按照以下步骤工作：

车辆端将车辆自身数据及外部环境数据发送至驾驶模拟器；

人机交互界面显示待接管车辆的车辆自身数据及车辆外部环境数据以及车辆接管请求提示窗；

当驾驶模拟器收到接管请求或主动请求接管车辆之后，进行车辆接管前的数据同步，待数据同步完成之后，即可进行远程遥控驾驶；

数据同步包括车辆自身数据及车辆外部环境数据。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，车辆自身数据包括车辆方向盘转角、油门刹车踏板、车辆速度、档位、经纬度、航向角以及发动机转速；车辆外部环境数据包括实时视频数据，周围障碍物数据。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，视频数据通过云端发送至驾驶模拟器，驾驶模拟器与车载通讯控制器之间通过5g或/和4g连接，视频数据与云端之间通过包括5g或/和4g传输，云端与驾驶模拟器之间通过包括5g或/和4g传输。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，车载通讯控制器与驾驶模拟器之间采用udp通信协议，并采用通信冗余机制，传输数据协议根据遥控驾驶需求定义，传输数据包括车辆自身数据，传输时，将车辆自身数据与报文头、报文标识、车辆id、时间戳和校验位进行打包发送，模拟器端根据协议解析即可获取到数据信息进行处理显示。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，车辆端的远程遥控驾驶是通过车载通信控制器连接can总线连接，根据车辆的控制信号协议，车载通信控制器将模拟器端下发的控制信息解析后，得到目标转角、档位以及目标速度，将目标转角、档位以及目标速度按照控制信号协议更新到对应控制can报文对应位上进行发送，车辆控制器获取到控制信号后，实现车辆的方向盘、档位和速度的控制。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，车辆自身数据还包括车辆id，每辆车均有唯一固定的车辆id，当多辆车同时向驾驶模拟器请求接管时，驾驶模拟器根据车辆id选取需要操控的车辆。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，车辆接管前的数据同步优先将驾驶模拟器的方向盘同步到无人矿卡方向盘同一位置。

作为本发明的一种优选方案，前述的一种无人矿卡远程遥控驾驶方法，拾音器与车内摄像头进行连接，作为音频输入，在摄像头视频回传过程中，将数据流增加音频数据转换为复合流传输，驾驶模拟器进行复合流中视频数据和音频数据的解析播放。

本发明所达到的有益效果：

相对于现有技术：本发明的实际体验及可靠性更高，本发明在接管前模拟器端的方向盘会与车辆当前方向盘进行同步，确保在接管的瞬间平稳过度，安全接管。

在通讯方面，本发明对udp通信进行了冗余通信机制，在保证数据传输实时性的前提下保证数据传输的有效性，并将通信与控制集成，减少了多个设备之间的数据传输，提高了系统的工作效率，降低了因多设备数据传输带来的延迟。本发明以4g通信为基础，不受距离限制，在架设5g试验区内以5g通信作为基础，这就提高了整个系统的稳定性，同时，该技术方案不受距离限制。

本发明对于车内的监控保护视频与音频两个部分，可以使得驾驶模拟器端驾驶员有更好的沉浸式体验。

本发明具有单一模拟器监管多辆无人矿卡的能力，就使得系统具备良好的扩展性。

本发明在无人矿卡中配置了毫米波雷达，作为无人矿卡大型车辆的驾驶辅助提醒，可以让遥控系统使用人员更准确、更安全的进行远程遥控驾驶。

附图说明

图1是本发明的硬件结构连接图；

图2是本发明的操作流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示：本实施例公开了一种无人矿卡远程遥控驾驶系统：包括驾驶模拟器及车辆端，其中：

驾驶模拟器包括：

工控机：接收并处理相关数据，相关数据包括视频数据、车辆基本信息、方向盘信息、油门刹车踏板数值；

人机交互界面：作为遥控驾驶模拟器端集成显示，显示远程遥控驾驶的相关信息并提供操作界面；

方向盘：负责将驾驶员操作方向盘动作转换为数字控制信号；

油门刹车踏板：将加速、减速动作转换为数字控制信号；

档位：将车辆前进、后退操作转换为数字控制信号；

组网路由器一：将驾驶模拟器网络与车辆端网络组成可互相访问的网络；

车辆端包括：

车载通信控制器：负责与模拟器端设备通信，具备运算能力，且具备can总线通信的能力，可通过软件解析车辆基本数据和下发至车辆控制信息。

雷达：可以获取车辆周围障碍物信息，分析处理后发送至驾驶模拟器，提供模拟器端驾驶员车端感知驾驶辅助，保证驾驶员安全操作；；

摄像头：获取车辆端周围视频画面，并将视频信息传递至驾驶模拟器，提供模拟器端驾驶员操作依据；摄像头包括车辆前方主视角、左右后视视角以及车内驾驶位监控视角四个视频画面。

拾音器：获取车辆端音频数据，并将音频数据传递至模拟器端，提供驾驶员更逼真的体验；

cpe：车端网络源，包括5gcpe和4gcpe两种，用于实现无线通讯；

组网路由器二：将车辆端网络与驾驶模拟器端网络组成可互相访问的网络。

上述是本实施例的系统组成，在该系统中，包括驾驶模拟器以及无人矿卡两部分，无人矿卡将基本数据通过车载控制器通过4g/5g发送给驾驶模拟器端，同一驾驶模拟器可以对多辆进行监控而且可以随时接管。在接管中驾驶模拟器将获取的方向盘转角，以及通过油门刹车踏板获取的开度映射为对应的加速度控制量发送给车载控制器，车载控制器解析后将数据通过can总线发送给车辆，进行远程遥控驾驶。

在驾驶模拟器端将工控机连接组网路由器一，组网路由器一连接光纤等网络，应用软件将工控机的ip和监听的端口进行映射，保证车端可以访问该ip。然后运行遥控系统中的控制程序，该程序可以采集驾驶模拟器的方向盘、油门刹车踏板以及档位信息数据，并负责接收车辆上传的基本数据以及发送控制信号到指定无人矿卡车。最后运行该系统中的人机交互界面，该界面中包括显示从云端获取到的车辆视频数据，其中包括车辆前方主视角、左右后视视角以及车内驾驶位监控视角四个视频画面。界面还将从控制模块获取的车辆基本数据信息进行解析显示，比如车辆的位置显示在地图上，以及车辆的应急接管请求提示。界面还显示了将车辆端上传的由毫米波雷达采集的障碍物信息在界面中模拟出障碍物距车辆的距离并进行提示，作为无人矿卡大型车辆遥控驾驶中的遥控驾驶辅助。同时在该人机交互界面上还会提供车端的音频数据，保证模拟器端驾驶员有沉浸式体验。

在无人矿卡端则分为通信、控制和视音频回传三部分。

车载通讯控制器与驾驶模拟器之间采用udp通信协议，并采用通信冗余机制，保证数据传输的有效性，传输数据协议根据遥控驾驶需求定义，传输数据包括车辆自身数据，传输时，将车辆自身数据与报文头、报文标识、车辆id、时间戳和校验位进行打包发送，模拟器端根据协议解析即可获取到数据信息进行处理显示。

车辆自身数据还包括车辆id，在通信协议中会定义车辆id值，辆无人矿卡会同时将数据发送给驾驶模拟器，而驾驶模拟器端会根据该车辆id进行多车的数据解析显示，在遥控过程中也会根据该id进行相应车辆的控制。也就是说当多辆车同时向驾驶模拟器请求接管时，驾驶模拟器根据车辆id选取需要操控的车辆。

控制部分由车载通信控制器来完成，车载通信控制器与车辆can总线连接，根据车辆的控制信号协议，车载通信控制器将模拟器端下发的控制信息解析后，得到目标转角、档位以及目标速度（加速度/减速度），将这些控制量按照协议更新到对应控制can报文对应位上，按照规定的周期发送，车辆控制器获取到控制信号后，实现车辆的方向盘、档位和速度的控制。

视频数据通过云端发送至驾驶模拟器，驾驶模拟器与车载通讯控制器之间通过5g或/和4g连接，视频数据与云端之间通过包括5g或/和4g传输，云端与驾驶模拟器之间通过包括5g或/和4g传输。视音频部分使用的摄像头均为网络摄像头，该摄像头首先会进行初始化配置，然后会将拍摄的实时视频流发送到云端，该云端可以提供访问视频的地址，在驾驶模拟器端界面模块可以通过该地址对相应的摄像头画面进行提取显示。如果为5g网络，可以将车辆端和模拟器端的5g基站进行配置，配置后两端的设备可以互相访问，同时可以提高数据上行带宽，对视频这种对带宽要求很高的数据上传可以提供更快的支持，降低通信延迟，可大大提高系统的稳定性。拾音器与车内摄像机进行连接，作为音频输入，在摄像头视频回传过程中，将数据流增加音频数据转换为复合流传输，在模拟器端可以进行复合流中视频数据和音频数据的解析播放。

具体工作过程如下：

如图2所示：开始控制时，车辆端将车辆自身数据及外部环境数据发送至驾驶模拟器；在人机交互界面上会显示待遥控车辆视频画面（包括主视角、左右后视视角、车内监控视角）、车辆自身数据显示，车辆地图中的实时位置以及车端感知辅助和在车辆应急状态请求接管提示窗。当驾驶模拟器驾驶员收到请求接管提示或者主观想接管某辆无人矿卡时，可先进行车辆接管前的数据同步，数据同步包括车辆自身数据及车辆外部环境数据，首先将驾驶模拟器方向盘同步到无人矿卡方向盘同一位置，再进行无人矿卡远程遥控，通过视频回传的画面作为参照，以车端感知作为驾驶辅助，待数据同步完成之后，即可进行远程遥控驾驶；完成无人矿卡的远程遥控驾驶。

其中车辆自身数据包括车辆方向盘转角、油门刹车踏板、车辆速度、档位、经纬度、航向角以及发动机转速；车辆外部环境数据包括实时视频数据，周围障碍物数据。

上述中同步、接管均通过驾驶模拟器方向盘上的按键进行操作，同时当多辆车时，会在方向盘上设定不同的键值最为车辆对应的id，可根据键值进入该驾驶模拟器监管的对应无人矿卡，实现多车的监管与遥控。

其中接管前同步应当处于无人矿卡接管前，即优先将驾驶模拟器的方向盘同步到无人矿卡方向盘同一位置，首先根据车辆上传的基本信息，提取其中的方向盘转角数据，根据该值作用在驾驶模拟器方向盘上，根据周期回传回来的数据，驾驶模拟器方向盘会保证与车辆方向盘同步，这就保证了在无人矿卡接管瞬间平稳的过度，不会出现因方向盘角度偏差过大而猛打的情况。

相对于现有技术：本发明的实际体验及可靠性更高，本发明在接管前模拟器端的方向盘会与车辆当前方向盘进行同步，确保在接管的瞬间平稳过度，安全接管。

在通讯方面，本发明对udp通信进行了冗余通信机制，在保证数据传输实时性的前提下保证数据传输的有效性，并将通信与控制集成，减少了多个设备之间的数据传输，提高了系统的工作效率，降低了因多设备数据传输带来的延迟。本发明以4g通信为基础，不受距离限制，在架设5g试验区内以5g通信作为基础，这就提高了整个系统的稳定性，同时，该技术方案不受距离限制。

本发明对于车内的监控保护视频与音频两个部分，可以使得驾驶模拟器端驾驶员有更好的沉浸式体验。

本发明具有单一模拟器监管多辆无人矿卡的能力，就使得系统具备良好的扩展性。

本发明在无人矿卡中配置了毫米波雷达，作为无人矿卡大型车辆的驾驶辅助提醒，可以让遥控系统使用人员更准确、更安全的进行远程遥控驾驶。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。