一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法与流程

本发明涉及汽车动态控制和人工智能，特别是涉及一种基于ddpg的纯电动汽车乘员舱空调制冷控制方法。

背景技术：

1、随着科学技术的发展和人民生活水平的日益提高，汽车作为一种必不可少的交通工具正日益走进人们日常生活的方方面面。汽车空调作为影响汽车舒适性和安全性能的主要部件之一，可对汽车车厢内的空气温度进行调节以提高乘客的热舒适性，热舒适性是反映人体在密封空间的对环境热状态的主观感受，在汽车驾驶舱内，空调运行模式下，人体是否感觉到舒适影响乘员对空调系统及车内设计感知体验的评价，尤其是当乘员长时间在车内驾驶时，热舒适性同时影响人生理、心理感觉，从而影响到驾驶安全性，所以，在开发汽车空调系统时，乘客热舒适性是非常重要的研究方向。

2、传统的汽车空调的控制基本均为温度控制，即车内环境温度或蒸发器和表面温度达到目标值，这种控制方式在一定程度上忽略了人体热舒适性；传统的汽车空调控制方法如pid控制、模糊pid控制、基于pso的模糊pid控制等偏为保守，不能自动地适应复杂多变的环境情况，为实现温度控制的精准并避免能耗过高，均需要汽车空调标定工程师对控制器进行标定，所以空调控制器的标定工作量巨大，且对工程师的经验要求极高。

3、专利号为cn201310246901.4发明一种纯电动汽车空调控制方法及其控制系统，该发明专利存在的不足有：对汽车采取的控制方法为基于温度的控制，仅判别空调运行时车内温度是否可以稳定在设置温度，不考虑风速、光照、湿度对舒适性的影响；专利号为cn201820616898.9发明一种纯电动汽车空调控制系统，这两项发明共同存在的不足有：该发明只考虑空调运行时实现使用需求，并未考虑能耗因素，不能在满足使用需求的同时降低耗电量使用以达到节能效果；专利号为cn202211160279.0发明一种纯电动汽车空调控制方法，该发明存在的不足有：对汽车采取的控制方法为目标蒸发器温度控制，该控制方法需要大量的实车试验对控制策略进行标定，工作量巨大且成本很高。

4、现有纯电动汽车空调制冷系统为恒温器型控制，缺乏对人体热舒适的适应性，以至人体的热舒适感不能达到最优，因此，亟需提供一种能够很好的适应于人体热舒适性的空调制冷控制方法。

技术实现思路

1、本发明所要解决的技术问题是：为了克服现有技术中的不足，本发明提供一种基于ddpg(deep deterministic policy gradient,深度确定性策略梯度算法)的纯电动汽车乘员舱空调制冷控制方法，采取强化学习的方式来实现控制系统的制定，属于汽车动态控制和人工智能领域。

2、本发明解决其技术问题所要采用的技术方案是：一种基于ddpg的纯电动汽车乘员舱空调制冷控制方法，其技术构思为：在仿真平台对基于ddpg的强化学习模型进行训练，利用建立的虚拟环境与模型进行交互，通过设定合理的动作空间、状态空间以及奖励函数等以达到期望的控制效果，训练完成的空调控制系统可根据太阳辐射强度、车内外温度和车速自动调节压缩机转速、鼓风机转速以及风门开度，实现提高乘员舱热舒适性和降低汽车空调系统能耗的双向优化。训练完成后将代码编译烧写进纯电动汽车空调控制器内，实现对实车空调系统控制的优化。

3、该控制方法具体包括以下步骤：

4、s1：构建乘客舱人体热舒适性预测模型

5、s1.1：在三维设计软件中构建乘客舱三维模型和人体热舒适性评价模型，乘客舱三维模型和人体热舒适性评价模型构成乘客舱热流场&热舒适性模块；

6、其中，乘客舱三维模型，即乘客舱3d仿真模型，是在整车数模中提取出带有空调系统的乘客舱，进行数模简化和面格划分后导入到三维仿真软件中的模型。在三维设计软件中检查整车3d数模完整性，并提取出乘客舱有关部件，对整车3d数模进行简化，对简化后的整车3d数模进行面网格划分，加入空调假人模型，生成体网格；在体网格中设置区域并进行命名；在体网格中创建物理模型，并设置物理模型和边界条件，并在假人模型上设置多个热舒适性监测点。

7、人体热舒适性评价模型，即乘客舱热舒适性评价模型，能够模拟人体在不同温度环境的热生理调节机理，通过输入乘客重要物理特性和乘客舱cfd仿真获得的热舒适性监测点附近的空气温度、气流速度、平均辐射温度及相对湿度，而计算得到乘客热舒适性评价值。热舒适性监测点为14个，分别为乘客的头、躯干、左前臂、左上臂、左手、右前臂、右上臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。

8、关于乘客舱三维模型和人体热舒适性评价模型参见公布号为cn 114757116 a的发明申请中的乘客舱3d仿真模型以及乘客舱热舒适性评价模型的相关内容，此处不再赘述。

9、s1.2：根据深度学习神经网络训练的需求，设定乘客舱热流场&热舒适性模块的特征参数；

10、s1.3：通过乘客舱三维模型和人体热舒适性评价模型的联合仿真模拟，提取仿真结果中所述特征参数对应的数值，作为深度学习神经网络训练的数据集，对数据集进行预处理，并将数据集分为训练集和验证集；其中，训练集用于对模型进行训练，验证集用于对训练后模型的预测效果进行验证。

11、s1.4：神经网络训练，根据定义好的模型结构搭建深度学习网络，包括输入层、隐含层和输出层，初始化对应的权值和阈值，设定神经网络训练的超参数，包括优化器、学习率、迭代次数、时间步长和批次大小；利用训练集的数据对深度学习模型进行训练，采用反向传播算法更新权值和阈值；获得乘客舱人体热舒适性预测模型，并采用验证集对乘客舱人体热舒适性预测模型的预测效果进行评估。

12、s2：构建乘员舱空调制冷控制策略

13、s2.1：构建乘员舱空调制冷控制模块

14、根据汽车空调制冷系统定义强化学习模型，确定强化学习模型中mdp过程的状态s、动作a和奖励r，并根据强化学习模型确定乘员舱空调制冷控制模块。

15、s2.2：构建强化学习训练所需环境

16、强化学习训练所需环境是指为训练强化学习模型而建立的虚拟环境，包括汽车空调制冷系统一维模型和步骤s1获得的乘客舱人体热舒适性预测模型(乘客舱三维模型和热舒适性评价模型)，其中，汽车空调制冷系统一维模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、车速以及汽车空调制冷系统的控制指令，模拟汽车空调制冷系统中部件的运行，并输出蒸发器后空气速度和温度数据、车内温度数据以及空调系统的能耗数据；乘客舱人体热舒适性预测模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度数据对人体热舒适性评价结果进行预测，并将人体热舒适性评价结果反馈至乘员舱热舒适性控制模块。

17、s2.3：对乘员舱空调制冷控制模块进行强化学习训练

18、在步骤s3的强化学习训练环境中，采用基于ddpg算法的强化学习控制结构网络对步骤s2中构建的乘员舱空调制冷控制模块进行训练，在训练过程中，采集样本数据，并根据样本数据对乘员舱空调制冷控制模块进行更新和优化，待乘员舱空调制冷控制模块达到收敛状态后，即为训练完成，此时，乘员舱空调制冷控制模块的控制策略，即为目标策略——汽车空调制冷系统的乘员舱空调制冷控制策略。

19、在仿真平台对强化学习模型进行训练，强化学习模型输入动作a到训练环境中，训练环境根据动作a给强化学习模型一个状态反馈，强化学习模型根据奖励策略判断状态变化的优劣，从而对动作a的效果进行评判；为收集更多的奖励，强化学习模型将不断地探索、记录并总结出每一步的最佳行为决策。经过充分训练后的强化学习模型将替代控制器，可在各种情况下准确输出最佳执行动作。强化学习与虚拟环境的每一次交互都需要进行一次仿真循环，其中，乘客舱三维模型热流场仿真运行时间成本极高，故采用一种深度学习模型预测的方式代替乘客舱三维模型和人体热舒适性模型。考虑到汽车空调制冷系统的复杂性、非线性和耦合性，在运行过程中会产生大量的高维非线性数据，因此在本发明中采用ddpg算法构建强化学习系统。

20、s3：控制策略的应用

21、将训练好的乘员舱空调制冷控制模块的控制策略转化为代码并烧写到汽车空调控制器内，作为实车的空调制冷控制系统对乘员舱热舒适性进行控制和调节。

22、进一步的，步骤s1.2中所述的特征参数包括车室外温度、太阳辐射强度、蒸发器后空气温度、蒸发器后气流速度、各个空调出风口的空气温度、各个空调出风口的气流速度、人体各个部位表面空气温度、人体各个部位表面气流速度、人体各个部位表面平均辐射温度、人体各个部位表面相对湿度、人体热舒适性评价结果。

23、进一步的，步骤s1.3中具体还包括以下步骤：

24、数据采集：利用乘客舱三维模型和人体热舒适性评价模型仿真收集车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度等数据，以及乘客人体热舒适性评价结果的数据；

25、数据集进行预处理：对初始样本数据集去噪，消除异常值，插补缺失值；并选取min-max标准化方法进行归一化处理，具体公式如下：

26、

27、式中，y是归一化之后的数据；x是原始数据；xmin是原始数据集中的最小值；xmax是原始数据集中的最大值；

28、数据集划分：将数据集以8:2的比例划分为训练集及验证集，训练集用于训练模型，验证集用于调整模型参数。

29、进一步的，步骤s1.4中神经网络训练具体包括以下步骤：

30、s1.4.1：搭建深度学习网络：根据定义好的模型结构搭建深度学习网络，包括输入层、隐含层和输出层，其中，输入层包括6个神经元，分别对应车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度；隐含层包括4个神经元，采用relu激活函数，用于提取输入数据的特征；输出层包括1个神经元，输出乘客人体热舒适性评价结果；

31、s1.4.2：模型预处理：初始化输入层与隐含层之间的权值，隐含层与输出层之间的权值，以及隐含层的阈值和输出层的阈值；神经网络训练算法采用贝叶斯正则化(bayesianregularization)算法，优化器采用adam，学习率(learning rate)设置为0.001，选代次数epochs为200，批次大小batch为32，输入时间步长timesteps为2；

32、s1.4.3：训练模型：利用训练集的数据对深度学习模型进行训练，采用反向传播算法更新权值和阈值，将输出误差，即期望输出与实际输出之差，按原通路反传计算，通过隐含层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据；这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。

33、s1.4.4：模型评估：深度学习模型的评价方法为yearly-based和station-based验证方法，评价指标包括mse、rmse(root mean squared error)均方根误差、mae(meanabsolute error)平均绝对误差、r-squared决定系数，公式分别如下：

34、

35、

36、

37、

38、其中，为预测值，yi为真实值，为平均值，m为样本个数；

39、当r2值越大、其他指标值越小时，模型的预测效果越好。

40、进一步的，步骤s1.4中在神经网络训练时，利用贝叶斯正则化训练神经网络的代价函数使训练误差最小化，其中，代价函数为：

41、

42、式中，α1和α2是贝叶斯超参数，用于指定学习过程寻求的方向，即最小化误差或权重；n是训练样本的数量；yi为第i个实际值；yi′为神经网络的第i个预测值；m为神经网络中权重的个数，wj为第j个权重。

43、进一步的，步骤s2.1中定义强化学习模型具体包括以下过程：

44、(1)定义mdp过程的状态s

45、获取汽车空调制冷系统状态信息，定义mdp(markov decision processes，马尔可夫决策过程)过程的状态s为：s＝[s1,s2,s3,s4,s5,s6,s7]，其中，s1为车外环境温度，s2为太阳辐射强度，s3为车内温度，s4为车速，s5为空气湿度，s6为乘客热舒适性评价结果，s7为车内空调系统每分钟能耗，其中，s1,s2,s3,s4,s5为范围限定的随机输入，提供不同工况下的学习环境。

46、(2)定义mdp过程的动作a

47、根据汽车空调制冷系统的输出控制指令，定义mdp过程的动作a为：a＝[a1,a2,a3]，其中，a1为鼓风机转速，a2为压缩机转速，a3为风门开度。

48、(3)定义mdp过程的奖励r

49、根据汽车空调制冷系统的主要性能评价指标，定义mdp过程的奖励r为：r＝-e-λδt，其中，e为乘客舱热负荷平衡时汽车空调制冷系统部件每分钟能耗总和，e取负值；λ为热舒适性惩罚函系数；δt为当前热舒适性评价结果与目标热舒适性评价结果的差值。

50、考虑到汽车空调制冷主要性能评价指标为两部分：①人体热舒适性评价λδt：车内乘客热舒适性评价结果与热舒适性最佳值(0)的差值；②能耗e：乘客舱热负荷平衡时汽车空调制冷系统部件每分钟能耗总和。故将奖励部分设置为r＝-e-λδt，由于要尽可能减小能耗，所以e取负值，同时为了保证汽车对车内热舒适性控制的稳定性和有效性，附加了车内乘客热舒适性评价结果与热舒适性最佳值(0)的差值相关的惩罚函数，λ为热舒适性惩罚函系数。

51、具体的，步骤s2.3中所述ddpg算法的强化学习控制结构网络包括动作网络和评价网络，所述动作网络包括当前策略网络和目标策略网络，所述评价网络包括当前q值网络和目标q值网络，其中，前策略网络的输入信息为状态s，输出信息为动作a；目标策略网络的输入输出同当前策略网络，定期复制当前策略网络参数；当前q值网络的输入信息为状态s和动作a，输出信息为价值q；目标q值网络的输入输出同当前q值网络，定期复制当前q值网络参数。

52、具体的，步骤s2.3中的训练过程为：

53、(1)动作网络的更新

54、当前策略网络与强化学习训练环境进行交互，输入状态s到当前策略网络得到动作a，对强化学习训练环境施加动作a，强化学习训练环境会返回下一时刻的状态s’和奖励r；采集此时的样本数据(s,a,r,s’)放入经验回收池中，目标策略网络负责根据经验回收池中采样的下一状态s’选择最优下一动作a|s’，目标策略网络的网络结构与当前策略网路相同，目标策略网络的参数定期从当前策略网络参数中复制，其中，当前策略网络施加动作a到强化学习训练环境时需添加随机动作噪声以避免训练发生过大误差；

55、(2)评价网络的更新

56、当前q值网络负责价值网络参数ω的迭代更新，把(s,a,r,s’)中的s和a输入到当前q值网络中，计算当前q值网络的价值q(s,a,ω)，把(s,a,r,s’)中的s’输入到目标策略网络中，得到动作a’，并把s’和a’一起输入到目标q值网络中，计算目标q值为yi＝r+yq’(s’,a’,ω’)，其中，y为折扣因子；目标q值网络负责计算q值的q’(s’,a’,ω’)部分，网络结构与当前q值网络相同，网络参数定期从当前q值网络中复制，采用如下公式来计算当前q值网络的损失函数loss：

57、

58、参数的含义：yi为目标q值；i为循环次数；a’为目标策略网络输出的动作；ω’为价值网络的参数；q’为目标q值网络计算得到的q值。

59、其中，损失函数的作用就是描述模型的预测值与真实值之间的差距大小，指导模型在训练过程中朝着收敛的方向前进。

60、进一步的，当前策略网络施加动作a到强化学习训练环境时需添加随机动作噪声以避免训练发生过大误差。

61、现有纯电动汽车空调制冷系统为恒温器型控制，缺乏对人体热舒适的适应性，以至人体的热舒适感不能达到最优，本发明并提供了一种基于ddpg的纯电动汽车乘员舱空调制冷控制方法，本发明汽车空调制冷系统主要由膨胀阀、压缩机、鼓风机、蒸发器、前端冷却模块风扇、空调风门、太阳辐射传感器、车外温度传感器、车内温度传感器、车速传感器以及汽车空调控制器组成。本发明控制由训练后的基于ddpg的纯电动汽车乘员舱热舒适性控制代码烧写到汽车空调控制器中，控制器输入由太阳辐射传感器、车外温度传感器、车内温度传感器以及车速传感器采集到的数据，通过控制压缩机转速、鼓风机转速以及hvac中的风门开度从而调节汽车空调制冷系统的工作状态，以在各种环境情况下都可使乘客获得良好的热舒适性。

62、本发明的有益效果是：

63、1.替代传统汽车空调控制系统以温度作为控制目标，创新性的以乘客的热舒适性作为控制目标，使在各种环境状况下都可达到乘客体感上的热舒适；

64、2.将汽车空调制冷系统的各个部件的能耗纳入考虑范围内，在达到乘客热舒适性需求的同时可以有效减少能源的消耗；

65、3.创新性的将强化学习方法应用到汽车空调制冷控制系统中，强化学习的泛化性能使得空调制冷系统能够动态自适应调节，以应对各种各样的复杂环境，也可有效减少工程师的工作量。