一种次氯酸钠的发生工艺的制作方法

1.本技术涉及一种次氯酸钠的发生工艺，属于可控制或调节的电解技术领域。


背景技术：

2.次氯酸钠(简称次氯酸钠)是强氧化剂和消毒剂，与氯和氯的化合物相比，其具有相同的氧化性和消毒作用，可广泛用于自来水的消毒。以广泛价廉的工业盐或海水稀溶液为处理对象，将其加入电解槽，电解槽通过硅整流器接通阴阳极直流电源，使其中的工业盐或海水稀溶液电解生成次氯酸钠，在这个过程中所涉及到电解槽等电解装置统称为次氯酸钠发生器。
3.次氯酸钠发生器运行成本主要是电耗和盐耗，其运行效率与进液(流入的盐水，下同)的温度、含盐量、电导率、流量以及出液(流出的次氯酸钠，下同)的温度、浓度、电解电压、电解电流有关。而目前的次氯酸钠发生器在作业时没有考虑上述电耗、盐耗等经济效益问题，如何在保证需要的次氯酸钠产量的前提下，使总消耗最小经济效益最高，是一个尚未解决的问题。


技术实现要素：

4.有鉴于此，本技术提供一种可实现次氯酸钠的发生效益得到最优化处理的工艺，该工艺在保证需要的次氯酸钠产量的前提下，使次氯酸钠发生总消耗最小、经济效益最高。
5.具体地，本技术是通过以下方案实现的：
6.一种次氯酸钠的发生工艺，进液经计量泵输入到电解槽中，电解槽连接有促使进液电解形成次氯酸钠的电源，各参数经控制器的信号输入端输入，控制器的信号输出端分别与电源和计量泵连接，电源和计量泵根据信号实现电解槽作业状态的改变：
7.(1)给定参数：目标次氯酸钠的总用量v与浓度c
ln
，电解槽的额定产氯量sn、额定进液流量qn、额定电解电流in、电解电压un、最高出液温度t
max
，以及盐费、电费。
8.(2)实时参数：进液浓度c(可以采用饱和盐水与软化水混合来调节)、进液电导率g、进液温度t1、出液温度t2、进液流量q、出液浓度c
l
、实时电费fc，电解电压u、电解电流i。
9.(3)优化目标：次氯酸钠在一天中的用量变化，考虑峰谷电价、盐耗与电耗，控制实时流量及电解电流，使次氯酸钠生产的综合费用fo(电费fc+盐费fs)最低。
10.(4)构建具体算法模型：
11.将一天内次氯酸钠发生器的控制问题转化建模为马尔可夫决策过程，即通过马尔可夫决策模型求解每个时间节点的最优决策控制(配比注入盐水、软化水，实时流量控制，电解电流大小控制)，以达到最优的优化结果：给定次氯酸钠生产总量下，产生的综合费用最低。
12.将每个时刻的次氯酸钠生产控制的策略选择，作为尔科夫决策过程(markov decision processes，mdps)。具体地，此马尔可夫决策过程有如下定义：
13.①
马尔科夫决策节点k：本算法将每个小时作为一个马尔科夫的决策节点，即k＝
1，2
…
，h，因此共有h个决策节点，h为次氯酸钠达到目标产量的时间(h≤24)。
14.②
状态集合s：s表示所有节点的有限状态集合，其中sk∈s，表示第k个节点的状态。在本算法中，将当前节点单位时间(每小时)生产次氯酸钠的速率δvk，作为马尔科夫决策过程中的状态。
15.③
环境观测集合o：ok表示第k个节点下，对次氯酸钠产生环境的实时观测，即ok∈o。本算法中，在本算法中，每个时间点节点观测由实时测量的进液浓度c、进液电导率g、进液温度t1、出液温度t2、进液流量q、出液浓度c
l
共同构成，即每一种实时状态均为有范围的连续状态。
16.④
动作集合a：ak∈a，表示第k个节点的动作。a表示所有可行控制策略的集合，本算法中主要分为三个部分：注入盐水/软化水的配比、实时流量控制和电解电流大小控制。考虑到算法的复杂度，将各个动作离散化，即每个控制部分设定5种选择，如盐水/软化水的配比预设为10％、30％、50％、70％、90％。因此，依据排列组合，共计125种可行动作。
17.综上，该马尔科夫模型的状态转移过程可表示为：
18.pk(s
k+1
|sk，ok，ak)。
19.(5)强化学习模型建模：
20.在步骤(4)所建模的马尔科夫决策过程后，引入了如下结构以及概念：
21.①
策略选取网络π(
·
)：策略选取网络将基于当前时刻的环境观测(进液浓度、电导率、温度等)，生成次氯酸钠发生器每个时刻的动作(进液配比、流量控制等)。数学表示为π(ak|sk，ok)，即建模当前节点的状态sk和环境观测ok下，对于不同决策动作ak的条件概率。具体地，本算法中的策略选取网络π采用多层感知机(multilayer perceptron，mlp)实现。对于输入的连续值环境观测参数和状态参数，先通过自然语言处理中的embedding结构提取特征，达到降低优化难度的目的。
22.②
状态转移网络tr(
·
)：状态转移网络将建模马尔科夫状态转移过程，已知当前时刻状态sk、预测动作ak(由策略选取网络预测得出)、环境观测ok，状态转移网络tr(
·
)用于预测下一个时刻的状态s
k+1
，pk(s
k+1
)＝tr(sk，ok，ak)。在本算法中，状态转移网tr(
·
)采用了等输入输出节点的人工神经网络(artificial neural network，ann)模型实现。
23.③
动作价值回报函数rk(
·
)：动作价值回报函数用于评估马尔科夫决策过程中的每一个动作ak的价值回报，对每一个动作策略需要预估回报以优化各个网络模型参数。在本算法中，定义其中δvk为动作ak后加次氯酸钠产生速率，δc与δs分别为节点时间内的用电量与用盐量，fc与fs为实时电费与盐耗费，fo为实时综合费用(电费+盐耗费)。本算法采用多层感知机结构模拟rk(
·
)过程。
24.④
状态价值函数v
π
(
·
)：状态价值函数将用于预测马尔科夫决策过程中每一个动作ak的后续长时间回报，用于综合考虑单个动作的实际价值。具体地，v
π
(sk)＝e(r
k+1
+γr
k+2
+γ2r
k+2
+
…
+γ
h-k-1
rh)，其中γ为回报衰减因子(0＜γ＜1)。所有的后续回报中的状态，均由上文介绍的π(
·
)，tr(
·
)，rk(
·
)网络得到。
25.最终，本算法的总价值函数q
π
(
·
)由动作价值回报和状态价值回报共同构成，可以表示为：
26.(6)在线更新算法训练强化学习模型：
27.在基于上述步骤(5)描述建模马尔可夫决策过程的强化学习模型后，采用sarsa(state-action-reward-state-action)的强化学习优化方法，更新上述策略选取网络和状态转移网络。相比于传统的q-learning方法，其保持了策略一致性，进行全局优化更新，并采用了2次∈-贪婪算法求解最佳的回报和动作。
28.具体地，其总体回报更新方式为：
29.q
π
(s，a)＝(1-β)q
π
(sk，ak)+βak[r
k+1
(a
k+1
)+γq
π
(s
k+1
，a
k+1
)]。
[0030]
最终，用深度学习的最优化算法(通常为梯度下降法)，优化整体算法，使得总体回报q
π
(s，a)最大，以此为依据更新模型。
[0031]
本案中，次氯酸钠酸钠发生器的额定参数包括额定产氯量sn、额定盐水流量qn、额定电解电流in、电解电压un、最高出液温度t
max
等，而电解槽的参数主要包括次氯酸钠单位时间产量、电流密度等。根据设定的出液浓度c
l
、进液浓度c、流量q确定次氯酸钠发生器的电解电流i，工作时，根据进液电导率g与电解电流i确定次氯酸钠发生器的工作电压，并及时调整电压使电流保持不变。次氯酸钠储罐满时停止工作，储罐液位低时开始工作。
[0032]
上述次氯酸钠发生工艺中，根据给定的出液浓度c
l
，考虑季节因素、水温、水质变化，基于给定的每日目标次氯酸钠总用量v，考虑峰谷电价、盐耗与电耗，并结合上述算法，实现次氯酸钠发生工艺的最优化，使次氯酸钠生产经济效益最高，并实现次氯酸钠发生过程的智能控制，从而使自动控制和优化控制达到了更高级的阶段。
[0033]
上述过程中，在次氯酸钠发生器工作时，进液浓度c通过饱和盐水和软化水配比进行控制，用电导率检测仪测定电导率g，温度传感器检测进液温度t1、出液温度t2、进液流量q，次氯酸钠检测仪测定出液浓度c
l
，通过电源控制电解槽的电解电压u、电解电流i。
附图说明
[0034]
图1为实施例1所采用次氯酸钠发生过程的流程示意图。
[0035]
图中标号：1.电解槽；11.电解板；2.计量泵；3.电源；31.电线；4.控制器；41.信号反馈线路一；42.信号反馈线路二；43.参数一输入端；44.参数二输入端；45.参数三输入端；46.参数四输入端；47.参数五输入端；48.参数六输入端；49.参数七输入端。
具体实施方式
[0036]
实施例1
[0037]
以下方案以实施例1所给出的次氯酸钠发生过程为基础，进行方案的说明。
[0038]
结合图1：待处理的进液经计量泵2泵入电解槽1，电解槽1内置两块电解板11，电解板11分别通过两根电线31与电源(可以采用整流电源，将交流电如380v交流电整成需要的电流，输出交流8000a/30v)3的正负极电连接，控制器4的输出端有两个：信号反馈线路一41连接至计量泵2，输出流量控制信号fq；信号反馈线路二42连接至电源3处，输出电流控制信号fi；控制器4的输出输入端包括多个参数输入端，如输入流量q的参数一输入端43、输入电导率g的参数二输入端44、输入进液温度t1的参数三输入端45、输入出液温度t2的参数四输入端46、输入出液浓度c
l
的参数五输入端47、输入电解电压u的参数六输入端48、输入电解电流i的参数七输入端49，等等此类；控制器4的给定参数则包括次氯酸钠浓度c
ln
、额定产氯
量sn、额定进液流量qn、额定电解电流in、额定电解电压un、最高出液温度t
max
、盐价、峰谷电价和次氯酸钠用量v，等等此类。
[0039]
实施中，根据给定的次氯酸钠浓度c
l
，考虑季节因素、水温、水质变化，基于给定的每日目标次氯酸钠总用量v，考虑峰谷电价、盐耗与电耗、使次氯酸钠生产经济效益最高。
[0040]
在上述次氯酸钠发生器工作时，通过饱和盐水和软化水配比控制流入盐水浓度c，用电导率检测仪测定电导率g,温度传感器检测流入盐水温度t1、出液温度t2、盐水流量q，次氯酸钠检测仪测定次氯酸钠浓度c
l
，通过整流电源装置控制电解电极电压u、电流i。
[0041]
获得并确定的次氯酸钠发生工艺的步骤如下：
[0042]
第一，先在控制器4中输入给定参数：目标次氯酸钠总用量v，次氯酸钠浓度c
ln
,次氯酸钠发生器的额定产氯量sn、额定盐水流量qn、额定电解电流in、电解电压un、最高出液温度t
max
，盐价、电价。
[0043]
第二，对电解槽1的实时参数进行检测：从电解槽1左侧经计量泵2输入的进液浓度c、进液电导率g、进液温度t1，从电解槽1右侧出口输出的出液温度t2，经电解槽1右侧出口输出的次氯酸钠浓度c
l
，进液流量q，实时电价fc，电解电压u、电解电流i。
[0044]
第三，对控制器4中的参数进行算法控制：
[0045]
在参数控制与工艺优化过程中，先构建马尔科夫建模，再对马尔可夫过程做进一步的深入建模，引入环境变量集合、决策动作集合、次氯酸钠发生状态集合等概念。同时，基于此构建了价值回报网络、状态转移网络、策略选取网络等多个深度学习网络，分别用于预测当前决策的价值回报、次氯酸钠发生过程的马尔可夫状态转移、基于当前状态的最佳决策生成。最终，使得本算法可以从不断重复次氯酸钠生产的实际控制中，自我修正错误的决策，归纳总结成功的决策，自动学习优化自身决策策略，使得算法最终稳定可靠。
[0046]
具体如下：
[0047]
(1)马尔科夫决策模型建模：
[0048]
将每个时刻的次氯酸钠生产控制的策略选择，作为尔科夫决策过程(markov decision processes,mdps)。此马尔可夫决策过程有如下定义：
[0049]
①
马尔科夫决策节点k：本算法将每个小时作为一个马尔科夫的决策节点，即k＝1,2
…
,h,其中因此共有h个决策节点，h为次氯酸钠达到目标产量的时间(h≤24)。
[0050]
②
状态集合s：表示所有节点的有限状态集合，其中sk∈s,表示第k个节点的状态。在本算法中，将当前节点单位时间(每小时)生产次氯酸钠的速率δvk，作为马尔科夫决策过程中的状态。
[0051]
③
环境观测集合o：ok表示第k个节点下，对次氯酸钠产生环境的实时观测，即ok∈o。本算法中，在本算法中，每个时间点节点观测由实时测量的盐水浓度c，盐水电导率g、流入盐水温度t1、出液温度t2、盐水流量q，次氯酸钠浓度c
l
共同构成，即每一种实时状态均为有范围的连续状态。
[0052]
④
动作集合a：ak∈a，表示第k个节点的动作。a表示所有可行控制策略的集合，本算法中主要分为3个部分：注入盐水/软化水的配比，实时流量控制，电解电流大小控制。考虑到算法的复杂度，将各个动作离散化，即每个控制部分设定5种选择，如盐水/软化水的配比预设为10％、30％、50％、70％、90％，流量预设为20％、40％、60％、80％、100％，电解电流预设为20％、40％、60％、80％、100％。依据排列组合，共计125种可行动作。
[0053]
综上，该马尔科夫模型的状态转移过程可表示为：
[0054]
pk(s
k+1
|sk，ok，ak)。
[0055]
(2)强化学习模型建模：
[0056]
在建模了马尔科夫决策过程之后，根据强化学习的概念，引入了如下结构以及概念：
[0057]
①
策略选取网络π(
·
)：策略选取网络将基于当前时刻的环境观测(盐水浓度、电导率、温度等)，生成次氯酸钠发生器每个时刻的动作(盐水配比、流量控制等)。数学表示为π(ak|sk，ok)，即建模当前节点的状态sk和环境观测ok下，对于不同决策动作ak的条件概率。具体地，本算法中的策略选取网络π采用多层感知机(multilayer perceptron，mlp)实现。对于输入的连续值环境观测参数和状态参数，先通过自然语言处理中的embedding结构提取特征，达到降低优化难度的目的。
[0058]
②
状态转移网络tr(
·
)：状态转移网络将建模马尔科夫状态转移过程，已知当前时刻状态sk、预测动作ak(由策略选取网络预测得出)、环境观测ok，状态转移网络tr(
·
)用于预测下一个时刻的状态s
k+1
，pk(s
k+1
)＝tr(sk，ok，ak)。在本算法中，状态转移网tr(
·
)采用了等输入输出节点的人工神经网络(artificial neural network，ann)模型实现。
[0059]
③
动作价值回报函数rk(
·
)：动作价值回报函数用于评估马尔科夫决策过程中的每一个动作ak的价值回报，对每一个动作策略需要预估回报以优化各个网络模型参数。在本算法中，定义其中δvk为动作ak后加次氯酸钠产生速率，δc与δs分别为节点时间内的用电量与用盐量，fc与fs为实时电费与盐耗费，fo为实时综合费用(电费+盐耗费)。本算法采用多层感知机结构模拟rk(
·
)过程。
[0060]
④
状态价值函数v
π
(
·
)：状态价值函数将用于预测马尔科夫决策过程中每一个动作ak的后续长时间回报，用于综合考虑单个动作的实际价值。具体地，v
π
(sk)＝e(r
k+1
+γr
k+2
+γ2r
k+2
+
…
+γ
h-k-1
rh)，其中γ为回报衰减因子(0＜γ＜1)。所有的后续回报中的状态，均由上文介绍的π(
·
)，tr(
·
)，rk(
·
)网络得到。
[0061]
最终，本算法的总价值函数q
π
(
·
)由动作价值回报和状态价值回报共同构成，可以表示为：
[0062]
(3)sarsa在线策略更新算法训练强化学习模型：
[0063]
在基于上述描述建模马尔可夫决策过程的强化学习模型后，本算法中采用sarsa(state-action-reward-state-action)的强化学习优化方法更新上述的策略选取网络和状态转移网络。
[0064]
具体地，sarsa配合2次∈-贪婪算法，求解得到最佳的回报和动作，总体回报更新方式为：
[0065]qπ
(s，a)＝(1-β)q
π
(sk，ak)+βak[r
k+1
(a
k+1
)+γq
π
(s
k+1
，a
k+1
)]。
[0066]
式中，β为平衡短期回报和长期回报之间的权重。
[0067]
第四，优化目标：次氯酸钠在一天中的用量变化，考虑峰谷电价、盐耗与电耗，控制实时流量q及电解电流i，优化整体算法，使得总体回报q
π
(s，a)最大，以此为依据更新上述构建的各模型，使次氯酸钠生产的综合费用fo(电费fc+盐费fs)最低。
[0068]
将一天内次氯酸钠发生器的控制问题转化建模为马尔可夫决策过程，即通过马尔
可夫决策模型求解每个时间节点的最优决策控制(配比注入盐水、软化水，实时流量控制，电解电流大小控制)，达到最优的优化结果：给定次氯酸钠生产总量下，产生的综合费用最低。具体求解中，本算法设计了基于人工智能的强化学习方法，对马尔可夫过程进行进一步深入建模，提出了环境变量集合、决策动作集合、次氯酸钠发生状态集合等概念。同时，基于此构建了价值回报网络、状态转移网络、策略选取网络等多个深度学习网络，分别用于预测当前决策的价值回报、次氯酸钠发生过程的马尔可夫状态转移、基于当前状态的最佳决策生成。最终，使得本算法可以从不断重复次氯酸钠生产的实际控制中，自我修正错误的决策，归纳总结成功的决策，自动学习优化自身决策策略，使得算法最终稳定可靠。
[0069]
采用上述工艺获得的次氯酸钠发生工艺的参数控制如下：进液流量q为500-700l/h，进液电导率g为2.5-3％，进液温度t1为10-25℃，出液温度t2为13-40℃，电解电压u为60-90v，电解电流i为200-250a。次氯酸钠产出量约在12-16.8m3/天，产出的次氯酸钠浓度c
l
为0.6-0.85％，折合570-760元/天。
[0070]
以常温20℃为例，产出的次氯酸钠浓度c
l
为0.8％，次氯酸钠产出量14m3/天，峰谷电价按0.7元/度计，电耗为290元/天，盐耗为362kg/天。整体处理成本为598元/天。
[0071]
实施例2：常规次氯酸钠发生器的作业过程
[0072]
针对某具体案例，采用常规次氯酸钠发生器的作业过程如下：
[0073]
工艺参数：进液流量q为600l/h，进液电导率为2.8％，进液温度t1为20℃，出液温度t2为25℃，电解电压u为75v，电解电流i为205a。次氯酸钠产出量约在14m3/天，产出的次氯酸钠浓度c
l
为0.8％，峰谷电价0.7元/度计，电耗为305元/天，盐耗为370kg/天，整体处理成本为620元/天。
[0074]
本案所提供工艺的电耗约为常规次氯酸钠发生器的95.1％，盐耗约为常规次氯酸钠发生器的97.8％，整体处理成本约为常规次氯酸钠发生器的96.5％。