本发明涉及驾驶控制领域，特别是封闭道路下输出车手个性化最佳操作的方法，提供一种拉力赛车手操作预测和路书辅助生成系统及实现方法。
背景技术：
随着汽车发动机技术和控制技术的发展和不断成熟，在汽车竞速领域中已经出现了相当多的赛事：世界一级方程式锦标赛F1，世界拉力赛锦标赛WRC，世界房车锦标赛WTCC等。为了充分表现车手的实力和增加比赛的观赏性，这些比赛或多或少都有对车辆本身的限制(例如分组，限制一些技术的使用，要求车辆量产等)，和其他限制条件的使用(例如WRC中赛前只允许使用WRC N组车辆进行墈路，并且只有两次墈路机会)。
WRC的赛道大多数为砂石、尘土赛道，蒙特卡洛、法国、西班牙、意大利等一些国家是完全的铺装路面，但基本上也全是山路。这些道路上充满盲弯，车手是看不到出弯路线的，因此需要领航员对车手的过弯路线进行引导，例如路况，弯道缓急长度等。车手和领航员共同确认进行过弯路线引导的记录责备称为路书。
路书的重要性是毋庸置疑的。WRC比赛中会有各种盲弯、飞跃等，遇到大雾或者驶过水坑视线都会受到严重的影响，甚至弯心的石头、路面上的坑，都会损坏WRC战车，葬送一个赛段。要想在这样的恶劣情况下以100公里每小时左右的时速飞奔，车手需要对领航有绝对的信任。
在WRC每站比赛开始前都会有一个墈路环节，一共两次墈路。第一次墈路车手按规定速度驾驶，领航员记录路况；第二次从射手与领航核对路书。路书的制作每个车组的表示方式都有所不同，但基本上以left/right加数字1～6表示弯道的缓急和方向，short/long表弯道的大致长度。
由于墈路的次数，驾驶车辆和驾驶速度受到限制，车手记录的只是墈路时的路况，其驾驶自己车辆参赛时的情况和应该有的操作只能根据墈路时记录的路书进行想象。因而路书的制作非常重要。
技术实现要素：
本发明的目的在于提供一种拉力赛车手操作预测和路书辅助生成系统及实现方法。
本发明可以通过采集的路面视频信息、对应的加速度计信息和车手的转向、离合换挡、给油刹车信息使用基于Caffe深度学习框架的网络训练出车手的个性化模型。然后使用车手墈路时采集的路面视频信息和加速度信息可以通过预训练的模型输出车手的个人最优化操作信息，从而辅助路书的制作和在正赛时提示车手操作。
一种拉力赛车手操作预测和路书辅助生成系统，包括车载端数据采集模块、车载端数据处理与存储模块、离线端模型训练模块以及车载端车手操作预测和路书辅助生成模块。
所述车载端数据采集模块包含RGB摄像头、IMU惯性测量单元和车辆控制数据采集单元。RGB摄像头采集车头正前方道路连续帧图像并传回视频流至车载端数据处理与存储模块；IMU惯性测量单元采集车辆三轴速度与三轴加速度值并传至车载端数据处理与存储模块；车辆控制数据采集单元获取车辆控制信息，如方向盘角度、油门刹车幅值、当前档位及升降档。
所述车载端数据处理与存储模块，将采集到的图像以唯一标识ID-三轴速度-三轴加速度-转向数值-油门数值-刹车数值-当前档位-升档-降档命名并存储，以便离线端模型训练模块训练使用。
所述离线端模型训练模块，使用Caffe搭建训练模型与预测模型。使用车载端存储的数据训练模型，并将训练好的模型搭载到车载端车手操作预测和路书辅助生成模块上。
所述车载端车手操作预测和路书辅助生成模块，根据车载端数据采集模块采集到的数据，将其加载到预测模型中得到车手个性化操作预测和路书。在结束墈路后由车手和领航员对得到的操作进一步细化和明确得到正赛时需要的路书。
进一步地，所述车载端数据采集模块中RGB摄像头采用GoPro hero6 black，支持4k60帧摄像；所述IMU惯性测量单元使用Razor IMU-AHRS compatib，该9自由度IMU采用三个传感器ITG3200(MEMS三轴陀螺仪)，ADXL345(三轴加速计)和HMC5883L(三轴磁力计)提供九轴惯性测量，所有传感器输出由板上的ATMEGA328进行处理和通过串行接口输出；车辆数据采集单元使用Nvidia TX1从行车电脑中获取信息。Nvidia TX1 GPU使用Maxwell架构，拥有256颗CUDA计算核心，能够搭载小型神经网络计算模型，使用4GB64位LPDDR4内存，内置16GB eMMC闪存，预留SATA接口能够扩展加载存储设备。由于Nvidia TX1具有较强的计算能力和较好的扩展性，也将其作为车载端数据处理与存储模块和车载端车手操作预测和路书辅助生成模块。
进一步地，所述离线端模型训练模块为一台具有较强计算能力的服务器，其使用X99E-WS主板，搭载1颗intel i7-7700k CPU和两张3840个CUDA核心，12GB GDDR5显存的Pascal架构显卡Titan Xp。其拥有的足够的显存能够加载并支持较大Caffe模型的参数估计，拥有足够多的CUDA和极高的1582Mhz加速频率能加速得到模型参数。
一种车手操作预测和路书辅助生成系统的实现方法，包括如下步骤：
步骤1、首先将车载端数据采集模块、车载端数据处理与存储模块安装固定到车手使用的赛车上。车载端数据采集模块的2D摄像头安置在车头引擎盖正中央，IMU惯性测量单元安置在车辆质心。车辆控制数据采集单元与行车电脑连接。初始化车载端数据采集模块。
步骤2、车辆启动，车手操作赛车运动。
步骤3、车载端数据采集模块开始采集车辆控制数据和路况数据，并将其存储至车载端存储模块中。
步骤4、数据采集模块停止采集数据，车辆停止运动。
步骤5、在离线端模型训练模块中构建模型。
步骤6、对收集到的数据进行预处理。
所述的预处理包含：
a.对2D RGB摄像头采集的数据首先使用Zhe Chen的方法检测得到道路及道路边界(由于拉力赛中的赛道往往十分狭窄，是否能充分利用赛道边界对于车手操作十分重要)，将得到的二值结果(将图像分为背景和前景)作为输入源；
b.将方向盘角度变化及油门刹车幅值变化小于5％的部分数据去除，不作为训练数据(这些数据代表的赛道路段往往是近似直线，车手的这部分操作对于路书生成而言是无用操作，即这部分数据是无用数据，需要剔除)。
步骤7、将步骤6得到的数据喂入步骤5构建的模型中，使用离线端模型训练模块训练模型。
步骤8、将步骤7得到的模型载入车载端车手操作预测和路书辅助生成模块中，模块初始化。
步骤9、车载端数据采集模块初始化，车辆启动，车载端车手操作预测和路书辅助生成模块运行，生成路书并存储。
本发明的有益效果：
(1)解决了现有的拉力赛路书制作中墈路次数受限的问题。
(2)通过学习不同车手不同的控车方式输出不同的路书，避免导航员跟车手配合不默契导致导航员记录的路书跟车手习惯的操作不符合的问题。
(3)导航员跟车手可以在本发明输出的路书基础上进一步修改路书，节省导航员跟车手时间。
附图说明
图1为本发明车手操作预测和路书辅助生成系统的系统结构图。
图2为本发明车手操作预测和路书辅助生成系统的工作流程图。
图3为本发明车手操作预测和路书辅助生成系统的训练模型及测试模型示意图。
具体实施方式
以下结合附图对本发明进一步说明。
结合图1，一种车手操作预测和路书辅助生成系统系统，包括车载端数据采集模块，车载端数据处理与存储模块，离线端模型训练模块和车载端车手操作预测和路书辅助生成模块，其中：
所述车载端数据采集模块，包含RGB摄像头，IMU惯性测量单元，车辆控制数据采集单元。RGB摄像头采集车头正前方道路连续帧图像并传回视频流至车载端数据处理与存储模块；IMU惯性测量单元采集三轴加速度值并通过连续积分得到三轴速度值并传至车载端数据处理与存储模块；车辆控制数据采集单元获取车辆控制信息如方向盘旋转角，油门刹车幅值，当前档位及升降档情况。
所述车载端数据处理与存储模块，将采集到的2D图像以唯一标识ID-三轴速度-三轴加速度-转向数值-油门数值-刹车数值-当前档位-升档-降档命名，并存储，以便离线端模型训练使用。
所述离线端模型训练模块，使用Caffe搭建训练模型与预测模型。首先筛选出车载端数据处理与存储模块保存的有用数据，接着将这些数据载入训练模型中训练，得到训练模型参数和测试模型参数，随后将训练好的模型搭载到车载端车手操作预测和路书辅助生成模块上。
所述车载端车手操作预测和路书辅助生成模块，根据车载端数据采集模块采集到的数据，将其加载到预测模型中得到车手个人操作输出。可选择在比赛时实时播报路书或在墈路时得到预测的车手操作，在结束墈路后由车手和领航员进行进一步细化和明确得到路书。
结合图2，一种车手操作预测和路书辅助生成系统，包括如下步骤：
步骤1，首先将车载端数据采集模块，车载端数据处理与存储模块安装固定到车手使用的赛车上。车载端数据采集模块的2D摄像头安置在车头引擎盖正中央，IMU惯性测量单元安置在车辆质心。车辆控制数据采集单元与行车电脑连接。部署以上模块后将模块初始化。
步骤2，车辆启动，车手对赛车输出操作控制赛车运动。
步骤3，车载端数据采集模块开始采集车辆控制数据和路况数据，并将其存储至车载端存储模块中。
步骤4，数据采集模块停止采集数据。车辆停止运动。
步骤5，对收集到的数据进行预处理。这里的预处理包含：1.对2D RGB摄像头采集的数据使用Zhe Chen[1]的方法准确检测道路及可供赛车行驶的道路边界，将得到的二值结果(将图像分为背景和前景)作为输入源；b.将方向盘角度变化及油门刹车幅值变化小于5％的部分数据去除，不作为训练数据。
步骤6：构建训练模型和预测模型，模型示意和说明见图3。将步骤5得到的训练数据喂入步骤5构建的训练模型中，使用离线端模型训练模块训练模型，继而得到训练模型参数，将得到的训练模型参数加载至预测模型中，得到预测模型。
步骤7：将上步得到的预测模型载入车载端车手操作预测和路书辅助生成模块中。
步骤8：初始化数据采集模块，数据处理与存储模块，路书生成模块。
步骤9：车辆启动，车手对赛车输入操作控制赛车运行，车载端车手操作预测和路书辅助生成模块运行，同时生成车手操作并存储。
如图3，路书生成的Caffe训练与预测模型。
输入二值图像，经过几层的卷积层conv后为了与输入数值vector后经过几层conv跟一层全连接层fc通过concat层进行拼接以进行后续操作，需在concat层之上对image blob进行pooling操作从而使concat层输入的两路数据尺寸相同。在concat层之后加上两层全连接层后接一个欧式距离损失层EuclideanLossLayer就可以得到所需数据的回归输出。每个所示网络只负责训练/输出一种所需数据，如转向幅度/油门幅值/刹车幅值/升降档。