一种基于深度Q网络的充电桩故障诊断方法

一种基于深度q网络的充电桩故障诊断方法
技术领域：
1.本发明涉及电动汽车技术领域，具体涉及充电桩故障诊断系统方法。


背景技术：

2.随着电动汽车技术的快速发展，电动汽车已经成为汽车市场不可或缺的一部分。充电桩也随着电动汽车的发展而同步发展，两者之间拥有相互依赖，然而充电桩在实际应用过程中，一般都是驾驶员自己操作进行充电，可能会由于线路接触不良、过载、人为操作失误等原因发生故障，所以迫切需要一种能够评估充电桩故障状况的诊断系统，及时断电进行检修，确保人车安全。
3.深度学习作为机器学习领域中的一个研究热点，基本思想是结合使用多层的网络结构和非线性变换，从高维的原始特征中抽取出维度较低且高度可区分的特征。因此，深度学习方法忽视了控制过程，更侧重于对事物的认知和表达。随着人工智能的飞速发展，越来越多的实际问题需要利用深度学习来提取大规模输入数据的特征，并以此特征为依据进行自我激励的学习，优化解决问题的策略。
4.强化学习强调的是一种从环境状态到动作映射的自我学习过程。智能体在每个时刻与环境交互并选择动作，环境对此动作做出反应，并到达新的状态，然后通过值函数评价每个状态或状态动作对应的好坏，最终确定到达目标状态的最有策略。
5.深度q网络是将深度学习中的神经网络和传统强化学习中求解最优动作值函数的q学习算法进行结合。深度q网络同时具有感知复杂输入和求解最优策略的能力，对具体数学模型依赖程度低，并善于从数据中学习，为充电桩实现自动化故障诊断提供了有效解决途径，其已在优化平均用户充电时间和充电行为等方面的研究起到了推进作用，但尚未涉及采用深度q网络等技术实现充电桩的故障诊断分析。目前，现有技术采用深度卷积神经网络进行数据学习，由于深度卷积神经网络只能在有限的数据集中训练模型，充电桩故障诊断的准确性有待提高。因此，如何使用深度q网络，实现充电桩的故障诊断系统分析成为该领域急需解决的重要问题。
6.技术内容
7.本发明提供一种基于深度q网络的充电桩故障诊断方法，本方法基于互联网技术，采用b/s架构搭建充电桩故障诊断平台，实时上传车辆充电参数，利用深度q网络来对数据进行拟合，形成更加准确的诊断报告，提醒充电人员采取相关措施。
8.本发明解决其技术问题采取的技术方案是：
9.一种基于深度q网络的充电桩故障诊断方法，包括步骤：通过采用b/s架构，搭建充电桩故障诊断系统，实现数据实时传输；构建充电桩故障诊断数据模型；预处理车辆实时充电参数差和故障诊断数据，获得对应的数据集{nk,pk}；设置损失函数，利用数据集{nk,pk}，通过随机梯度下降法更新深度q网络参数；确定深度q网络的学习公式，得到充电桩损坏程度值，进而给出损坏程度值相对应的诊断措施，将其显示在web界面上。
10.进一步，所述b/s架构包括web界面、web服务器、数据库。
11.进一步，所述web界面采用vue和/或mvc框架进行开发，实现输入输出功能简单化和进行数据可视化处理；所述web服务器用于执行深度q网络的算法和信息传送；所述数据库为mysql；数据层利用抽象工厂设计模式进行数据和业务的分层管理。
12.进一步，针对车辆实时充电参数，标准充电参数，构建充电桩故障诊断数据模型；所述充电桩故障诊断数据模型包括状态空间s、动作空间a、奖励函数r。
13.进一步，所述对车辆实时充电参数差和故障诊断数据进行预处理，获得对应的数据集{nk,pk}包括具体步骤：清理异常诊断数据，根据车辆实时充电参数差，保留正确的故障诊断数据；针对充电桩故障诊断数据进行对应的故障诊断方案标签，获得对应的数据集{nk,pk}。
14.进一步，所述设置损失函数，利用数据集{nk,pk}，通过随机梯度下降法更新深度q网络参数包括具体步骤：对深度q网络进行初始化，建立q(nk,pk；θ)框架；将数据集{nk,pk}输入到q(nk,pk；θ)中，通过该网络学习对应的奖励值，设置与奖励值相关的损失函数l(θ)；损失函数l(θ)采用随机梯度下降法更新q神经网络参数θ；不断迭代q神经网络参数θ，直到损失函数值小于0.001。
15.进一步，所述损失函数l(θ)公式：
16.li(θi)＝e
s,a,r
[(e
s'
[r+γmaxq(nk,pk,θ)|s,a]-q(nk,pk,θ))2]
[0017]
进一步，深度q网络学习公式：
[0018]
q(nk,pk,θ)＝e
s'
[r+γmaxq(nk,pk,θ)|s,a]
[0019]
进一步，所述状态空间s选取车辆全部实时充电参数差作为状态特征；所述动作空间a是针对充电桩的全部故障诊断；所述奖励函数r是根据各种故障诊断正确后获得的奖励。
[0020]
进一步，所述车辆实时充电参数差包括车辆全部实时充电电流值、车辆全部实时充电电压值和车辆全部实时充电温度值与各个标准时的归一化差值。
[0021]
本发明的有益效果是：
[0022]
一是基于b/s框架下实现了车辆充电参数的实时传输以及可视化处理，并且用户无需安装客户软件，即可在电脑、手机上登录该系统，查看充电桩上历史和实时的车辆充电参数，实现了充电桩充电的精细化管理。
[0023]
二是相比利用深度卷积神经网络的故障诊断以及其他传统故障诊断方法，深度q网络不仅可以进行实时故障诊断，而且可以挖掘更多的数据进行深度q学习，使得q神经网络模型对于故障诊断越来越熟练，从而故障诊断的正确率越来越高。
[0024]
三是深度卷积神经网络只能对于有限的故障采取相应的诊断，而基于深度q网络的故障诊断可以在未知故障的环境下，能够学习掌握更多故障诊断方案。
附图说明
[0025]
下面结合附图和实施例对本发明进一步说明。
[0026]
图1：b/s三层结构示意图。
[0027]
图2：深度q网络算法流程图。
具体实施方式
[0028]
下面结合附图和具体实施例对本发明作进一步详细描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定以下实施例。
[0029]
一种基于深度q网络的充电桩故障诊断方法，通过采用b/s架构，搭建充电桩故障诊断系统，实现数据实时传输。
[0030]
所述b/s架构包括web界面、web服务器、数据库；所述web界面采用vue和/或mvc框架进行开发，实现输入输出功能简单化和进行数据可视化处理；所述web服务器用于执行深度q网络的算法和信息传送；所述数据库为mysql；数据层利用抽象工厂设计模式进行数据和业务的分层管理。
[0031]
b/s架构为是一种网络结构模式。所述b/s架构包括web界面、web服务器、数据库。所述web界面为表示层，是指可以在浏览器下看到的软件界面，是完成用户和后台的交互及显示数据输入输出结果；所述web服务器为逻辑层，是完成客户端的应用逻辑功能，用于执行深度q网络的算法；所述数据库是运行sql或存储过程，采用mysql进行开发。数据层利用抽象工厂设计模式进行数据和业务的分层管理。
[0032]
所述b/s架构模式，将系统功能实现的核心部分集中到web服务器上，简化了系统的开发、维护和使用。b/s架构的不需要安装专门的软件，只需要web界面即可，web界面通过web服务器与数据库进行交互，可以在不同平台下工作。
[0033]
mvc是基于web界面的一种设计框架，所述web界面包括模型、视图、控制器。所述mvc强制性的使应用程序的输入、处理和输出分开。所述模型是视图进行展示的数据；所述视图是所述模型的视图，是用户看到并与之交互的界面；所述控制器是处理用户交互的逻辑，是接受用户的输入并调用模型和视图去完成用户的需求。
[0034]
vue是一套用于构建web界面的开源渐进式框架。mysql是一个关系型数据库管理系统。
[0035]
构建充电桩故障诊断数据模型。针对车辆实时充电参数，标准充电参数，构建充电桩故障诊断数据模型；所述充电桩故障诊断数据模型包括状态空间s、动作空间a、奖励函数r。
[0036]
s是所有环境状态的集合；a是所有可执行动作的集合；r为状态s集合中某个具体状态s在执行动作a集合中某个具体动作a时，获得的奖励回报r的集合；所述状态空间s选取车辆全部实时充电参数差作为状态特征；车辆实时充电参数差包括车辆全部实时充电电流值、车辆全部实时充电电压值和车辆全部实时充电温度值与各个标准时的归一化差值。所述动作空间a是针对充电桩的全部故障诊断；所述奖励函数r是根据各种故障诊断正确后获得的奖励。
[0037]
对车辆实时充电参数差和故障诊断数据进行预处理。清理异常诊断数据，根据车辆实时充电参数差，保留正确的故障诊断数据；针对充电桩故障诊断数据进行对应的故障诊断方案标签，获得对应的数据集{nk,pk}。
[0038]
所述nk是预处理后的状态集合，即预处理后车辆实时充电参数差集合；所述pk是预处理后动作集合，即预处理后故障诊断数据集合。
[0039]
设置损失函数，利用数据集{nk,pk}，通过随机梯度下降法更新深度q网络参数。对深度q网络进行初始化，建立q(nk,pk；θ)网络；将数据集{nk,pk}输入到q(nk,pk；θ)中，通过该
网络学习对应的奖励值，设置与奖励值相关的损失函数l(θ)；损失函数l(θ)采用随机梯度下降法更新q神经网络参数θ；不断迭代q神经网络参数θ，直到损失函数值小于0.001。
[0040]
所述深度q网络是深度学习中的神经网络和强化学习中求解最优动作值函数的q学习算法的结合。所述q(nk,pk；θ)框架是非线性函数逼近模型。所述θ为q神经网络参数。所述深度q网络初始化通过构建神经网络构架，即构建q(nk,pk；θ)框架，对θ张量进行初始化，所述θ初始值为随机数据组成的张量。
[0041]
所述数据集{nk,pk}为车辆实时充电参数差和故障诊断数据预处理后获得的数据集。所述数据集{nk,pk}中所有状态nk在选择的动作pk后，获得的奖励值为所述充电桩故障诊断数据模型奖励函数r中对应的奖励值。
[0042]
所述损失函数公式如下：
[0043]
li(θi)＝e
s,a,r
[(e
s'
[r+γmaxq(nk,pk,θ)|s,a]-q(nk,pk,θ))2]
[0044]
e代表经验回放；i代表迭代次数；θ为q神经网络参数；r代表当前状态奖励值；γ代表折扣因子，所述γ＝0.99；γmaxq(nk,pk,θ)为在当前状态s执行动作a后，形成的下一个状态的最优解；所述e
s’[r+γmaxq(nk,pk,θ)|s,a]为当前状态真值；所述损失函数公式中q(nk,pk,θ)为q神经网络模拟逼近值；所述损失函数为当前状态真值和q神经网络模拟逼近值之间的均方误差；所述q神经网络参数通过使用随机梯度下降法使得损失最小化。
[0045]
通过不断迭代q神经网络参数θ，直到损失函数值小于0.001。此时使得所述e
s’[r+γmaxq(nk,pk,θ)|s,a]的当前状态真值与所述q(nk,pk,θ)的q神经网络模拟逼近值非常接近，进而完成对q神经网络参数θ的训练，最终确定深度q网络的学习公式。
[0046]
更新深度q网络中的q神经网络参数后，最终确定深度q网络的学习公式，得到充电桩损坏程度值，进而给出损坏程度值相对应的诊断措施，将其显示在web界面上。
[0047]
所述深度q网络的学习公式如下：
[0048]
q(nk,pk,θ)＝e
s'
[r+γmaxq(nk,pk,θ)|s,a]
[0049]
根据深度q网络的学习公式能够得到充电桩损坏程度值。
[0050]
本发明的上述实施例仅仅是为清楚地说明本发明的举例，而并非是对本发明的实施方式的限定。对于所属技术领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。