增强信号可以如图2-7所 示，其中，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭 头旁边的数字表示车辆在各个位置状态对应的增强信号即V值，该V值也表示车辆在一个 位置状态下获得的最大累计增强信号。
[0124] 步骤205、将输出参数对应的路径作为目标行驶路径。执行步骤206。
[0125] 步骤205具体包括：根据增强信号组确定目标行驶路径。该增强信号组为步骤 2043得到的增强信号组。在步骤204的基础上，确定目标行驶路径。根据图2-7即可得 到如图2-8所示的车辆的目标行驶路径。假设初始状态车辆从图2-8中的位置状态S7出 发，由图2-8可知，车辆到达目标车位即位置状态S3的最短行驶路径即目标行驶路径可 以有多条，该目标行驶路径可以为S7-S4-S1-S2-S3,也可以为S7-S8-S9-S6-S3,还可以为 S7-S4-S5-S6-S3等。由于停车环境对应的网格的数量很多，所以车辆行驶的路线近似于光 滑曲线，如图2-3所示的行驶路线。
[0126] 步骤206、根据目标行驶路径控制本车完成停车入库动作。
[0127] 获取了目标行驶路径，即可根据目标行驶路径控制本车完成停车入库动作。
[0128] 步骤207、检测本车是否到达目标车位。若本车到达目标车位，执行步骤204,若本 车未到达目标车位，执行步骤208。
[0129] 若本车到达目标车位，则根据增强学习算法更新增强信号值，并进行下一次试验， 重新随机选取车辆的初始状态。若本车未到达目标车位，则检测本车的移动步数是否大于 预设步数。
[0130] 步骤208、检测本车的移动步数是否大于预设步数。若本车的移动步数大于预设步 数，执行步骤204,若本车的移动步数不大于预设步数，执行步骤201。
[0131] 若本车的移动步数大于预设步数，则根据增强学习算法更新增强信号值，并进行 下一次试验，重新随机选取车辆的初始状态。若本车的移动步数不大于预设步数，则执行步 骤201，根据车辆的状态信息确定第一动作控制参数。
[0132] 重复执行步骤204更新增强信号值，直到试验次数大于最大试验次数MaxTrail= 1〇〇〇。接着将最后一次更新的增强信号值即学习值移植到实际车辆中，使得实际车辆在现 实停车环境中根据该学习值完成停车入库过程。
[0133] 需要说明的是，若预设增强信号设置得比较大，如车辆到达目标车位时获得的增 强信号r= 100,则在整个试验结束之后，为了便于计算，可以将增强学习算法的输出参数 进行归一化处理，也就是使最后一次更新的增强信号值的取值单位为[0, 1]，然后将归一化 后的结果作为最终停车入库的值，并将其移植到实际车辆中，使得实际车辆在现实停车环 境中能够根据该学习值完成停车入库过程。
[0134] 本发明实施例提供的停车入库方法，解决了智能车自主停车控制算法设计的问 题，利用机器学习算法中的增强学习算法，使智能车自主与停车环境进行交互，获得相应的 增强信号，并通过增强信号值自主学习并存储停车入库经验，最终使得智能车在车位宽度、 障碍车的位置及车辆的初始位置不固定的情况下，具体更好的稳定性和自适应性。该停车 入库方法能够使智能车自主学习，实现在不同停车环境下的最优停车策略，使智能车在停 车入库时的行驶路径最少，从而使智能车自主停车具有更好的稳定性，自适应性，机动性和 灵活性。
[0135] 综上所述，本发明实施例提供的停车入库方法，能够在第一位置状态为预设状态 时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置 信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的 路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有 技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性 和灵活性。
[0136] 本发明实施例提供了一种停车入库装置，如图3-1所示，该停车入库装置可以包 括：
[0137] 第一确定单元301，用于根据本车的状态信息确定第一动作控制参数，状态信息包 括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，第一动作控制参数 包括油门或刹车的第一力度值、方向盘旋转的第一角度。
[0138] 第一控制单元302,用于根据第一动作控制参数调整本车的位置状态，调整后的本 车的位置状态为第一位置状态。
[0139] 判断单元303,用于判断第一位置状态是否为预设状态。
[0140] 第一处理单元304,用于在第一位置状态为预设状态时，将本车处于第一位置状态 时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输 入参数，得到机器学习算法的输出参数。
[0141] 第二处理单元305,用于将输出参数对应的路径作为目标行驶路径。
[0142] 第二控制单元306,用于根据目标行驶路径控制本车完成停车入库动作。
[0143] 综上所述，本发明实施例提供的停车入库装置，能够在第一位置状态为预设状态 时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置 信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的 路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有 技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活 性。
[0144] 可选的，如图3-2所示，判断单元303包括：
[0145] 判断模块3031，用于判断本车与障碍物是否发生碰撞。
[0146] 第一确定模块3032,用于在本车与障碍物发生碰撞时，确定第一位置状态为预设 状态。
[0147] 第二确定模块3033,用于在本车与障碍物未发生碰撞时，确定第一位置状态不为 预设状态。
[0148] 如图3-3所示，该停车入库装置还可以包括：
[0149] 第一检测单元307,用于在本车与障碍物未发生碰撞时，检测本车是否到达目标车 位。
[0150] 第三处理单元308,用于在本车到达目标车位时，将本车处于第一位置状态时在停 车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数， 得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径。
[0151] 第二检测单元309,用于在本车未到达目标车位时，检测本车的移动步数是否大于 预设步数，移动步数为本车移动一次所经过的网格数。停车环境划分为至少两个面积相等 的网格，每个网格对应一个位置状态，
[0152] 第四处理单元310,用于在本车的移动步数大于预设步数时，将本车处于第一位置 状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法 的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径。
[0153] 第二确定单元311，用于在本车的移动步数不大于预设步数时，根据本车的当前状 态确定第二动作控制参数，该第二动作控制参数包括油门或刹车的第二力度值、方向盘旋 转的第二角度。
[0154] 如图3-4所示，第一处理单元304,包括：
[0155] 处理模块3041，用于将本车处于第一位置状态时在停车环境中的位置信息和目标 车位在停车环境中的位置信息作为增强学习算法的输入参数，得到增强学习算法的输出参 数。
[0156] 具体的，处理模块3041用于：
[0157] 根据预设增强信号、本车处于第一位置状态时在停车环境中的位置信息、目标车 位在停车环境中的位置信息确定第一增强信号，预设增强信号用于表示本车到达目标车位 的可靠程度，第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信 号；根据增强学习算法对第一增强信号进行更新，得到第二增强信号，第二增强信号用于表 示本车在任一位置状态选择第三动作控制参数获得的增强信号，任一位置状态对应至少一 个动作控制参数，第三动作控制参数为至少一个动作控制参数中的任一参数；根据第二增 强信号确定本车在各个位置状态对应的增强信号，得到增强信号组。
[0158] 相应的，第二处理单元305用于：根据增强信号组确定目标行驶路径。
[0159] 综上所述，本发明实施例提供的停车入库装置，能够在第一位置状态为预设状态 时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置 信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的 路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有 技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性 和灵