本发明实施例涉及信号处理及工程应用
技术领域：
：，尤其涉及一种供水管道泄漏点定位设备组的选择方法及装置。
背景技术：
：：有关数据统计显示，供水行业普遍存在管网漏水问题，平均水损率约20％，其中漏损约占水损的50％，有的地方管网漏水问题甚至非常严重，这就大大地降低了供水企业的供水效益，也给水资源造成严重浪费，有些甚至影响到人们的正常生产和生活。现有技术中，在管道泄漏检测定位工程中，为了对泄漏点进行定位，通常在水表中集成定位设备，用于检测水管泄漏点的泄漏信号，该泄漏信号是指泄漏点产生的振动信号。然后，根据采集到的泄漏信号，采用基于emd分解的泄漏定位方法，通过泄漏点两端的两个定位设备所测得的泄漏信号进行主成分分解，自相关测距，定位出泄漏点的具体位置，该方法取得了较好的效果。然而，现有技术中的这种方法忽视了复杂的管道环境，在一个水管网络中，会设置很多的定位设备，由于泄漏点的位置不可预知，一旦出现泄漏点，会有多个定位设备检测出泄漏信号，发出报警，那么如何正确地选择出目标泄漏点两端，并且距离泄漏点最近的两个定位设备就成了测量出泄漏点具体位置的关键。但是，由于供水管网的几何结构千变万化，选择出这样的定位设备组成了水网泄漏点定位的一个难点问题。技术实现要素：本发明实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的供水管道泄漏点定位设备组的选择方法及装置。为了解决上述技术问题，一方面，本发明实施例提供一种供水管道泄漏点定位设备组的选择方法，包括：根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。另一方面，本发明实施例提供一种供水管道泄漏点定位设备组的选择装置，包括：构建模块，用于根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；计算模块，用于将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；选择模块，用于基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。再一方面，本发明实施例提供一种电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。又一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述的方法。本发明实施例提供的供水管道泄漏点定位设备组的选择方法及装置，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。附图说明图1为本发明实施例提供的供水管道泄漏点定位设备组的选择方法示意图；图2为本发明实施例提供的强化学习的工作环境与智能体交互过程的原理示意图；图3为本发明实施例提供的带有泄漏点的供水管道模型示意图；图4为本发明实施例提供的管道泄漏点定位原理示意图；图5为本发明实施例提供的泄漏点定位设备组的选择装置示意图；图6为本发明实施例提供的电子设备的结构示意图。具体实施方式为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明实施例提供的供水管道泄漏点定位设备组的选择方法示意图，如图1所示，本发明实施例提供一种供水管道泄漏点定位设备组的选择方法，该方法包括：步骤s101、根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；步骤s102、将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；步骤s103、基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。具体来说，强化学习属于机器学习，产生于动物在自然界的学习探索规律和学习参数自适应的控制机理。q学习(q-learning)是强化学习中的一种。图2为本发明实施例提供的强化学习的工作环境与智能体交互过程的原理示意图，如图2所示，在强化学习的体系中，智能体agent会不断依据周围工作环境的变化作出一系列相应的试探行为，以此交互行为获得并学习周围的工作环境特征。在各种状态下尝试做出所有可能发生的试探行为，并获得即时性的反馈与报酬，将它作为短期评价。再基于反馈的内容改变试探行为，最终使长期的积累达到最大报酬值。整个强化学习系统由当前状态、试探行为、策略、报酬函数和值函数组成。每一个可能的状态将会组成一个状态集合；每一种状态下可能会发生的试探行为组成一个行为集合；一个状态集合映射到另外一个行为集合的过程叫做策略，它用来表示智能体在每个当前状态下进行的试探行为；报酬函数即状态与行为之间的描述关系，表示工作环境对agent在每个当前状态中获得的行为反馈；值函数为从一个状态开始完成一个策略所得到的报酬总和，表示一种状态或状态-行为。图3为本发明实施例提供的带有泄漏点的供水管道模型示意图，如图3所示，在供水管道网络中编号为1、2、3、4、5、6的位置分别表示六个定位设备，定位设备可以是一个单独的振动传感器，也可以是集成有振动传感器的智能水表。定位设备用于采集泄漏信号，泄漏信号是指由于水管泄漏所产生的振动信号。在供水管道网络中编号为0的位置表示泄漏点。需要说明的是，图3中泄漏点的位置仅用于示意，只是泄漏点的所有可能的位置中的一种。可以确定的是，agent从供水管道网络中的任一定位设备出发，沿着供水管道，都有一条到达泄漏点的路径，并且在这条路径上，距离泄漏点越近的定位设备采集到的泄漏信号的强度值越大。例如，从编号为1的定位设备出发，沿着供水管道，到达泄漏点的路径可以表示为1-2-6-0。从编号为2的定位设备出发，沿着供水管道，到达泄漏点的路径可以表示为2-6-0。从编号为5的定位设备出发，沿着供水管道，到达泄漏点的路径可以表示为5-0。在1-2-6-0这条路径上，6号定位设备采集到的泄漏信号的强度大于2号定位设备采集到的泄漏信号的强度，2号定位设备采集到的泄漏信号的强度大于1号定位设备采集到的泄漏信号的强度。在初始化阶段，q学习算法中的agent对外界环境一无所知，因此，q矩阵初始化为零矩阵。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，首先，根据泄漏信息构建报酬矩阵，泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值。agent从任一定位设备到达泄漏点都会有一条路径，每个定位设备给出的报酬值与该定位设备检测到的泄漏信号强度相关，即距离泄漏点越近的报酬值越大，距离泄漏点越远的报酬值越小。根据目标泄漏点附近的一定预设范围内的所有的定位设备采集到的目标泄漏点产生的泄漏信号的测量值构建报酬矩阵。定义：目标泄漏点以及每一个定位设备都代表一种状态(state)，在每条到达目标泄漏点的路径上，从当前状态到达下一状态代表一种行为(action)。以状态为行，以行为为列，构建报酬矩阵。例如，在图3中，编号为1、2、3、4、5、6的六个定位设备采集到的目标泄漏点产生的泄漏信号的测量值分别为0.15、0.5、0.1、0.7、0.6、0.8。而在编号为0的目标泄漏点处的泄漏信号的强度作为参考值，始终为1。以目标定位设备的测量值作为从其他定位设备到达该目标定位设备的报酬值，不相邻的定位设备无法直接到达，与目标定位设备不相邻的定位设备到达该目标定位设备的报酬值统一定义为负无穷，用-inf表示，则构建出的报酬矩阵r可以用公式表示如下：然后，将报酬矩阵r输入至预设的q学习模型，输出q矩阵。q学习算法是一种典型的无监督强化学习算法，该算法首先将报酬矩阵中所作出的试探行为的报酬以q_table形式存储，有利于得到任何一个状态下的q值。由于q学习是一种不断循环迭代的学习方式，以初始q矩阵不断迭代逼近目标q矩阵，因此不需要利用先验知识。q矩阵的行表示状态，q矩阵的列表示行为，q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。因此，基于q矩阵，可以获取agent从任何一个状态到达目标状态的路径，即，可以获取agent从供水管道网络中的任何一个定位设备到达目标泄露点的路径。q学习算法的迭代步骤如下：step1：给定超参数和报酬矩阵r。step2：令q:＝0。step3：对于每一次试探行为：(1)：随机选择某一个初始状态s0；(2)：如果没有到达目标状态，那么开始执行以下步骤：(a)在当前状态st的所有可能的行为中执行一种行为；(b)利用执行的行为得到下一个状态st+1；(c)按照转移规则计算q(st,at)；(d)令st:＝st+1。按照上述方式进行迭代学习若干次，直到q矩阵趋于收敛状态，即得到最终的q矩阵。最后，基于该q矩阵即可确定用于定位目标泄漏点具体位置的定位设备组。定位设备组中包括至少两个定位设备，定位设备组中的定位设备是距离目标泄漏点最近的定位设备，根据定位设备组中任意两个定位设备采集到的泄漏信号都可以确定目标泄漏点的具体位置，并且相比于其他定位设备，采用定位设备组中的定位设备采集到的泄漏信号，计算出的目标泄漏点的具体位置更加精确。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在上述实施例的基础上，进一步地，所述根据泄漏信息构建报酬矩阵，具体包括：获取所有定位设备采集到的所述目标泄漏点产生的泄漏信号的测量值；对所述测量值进行离散化；根据离散化后的测量值构建所述报酬矩阵。具体来说，供水管道泄漏点定位设备组的选择方法中使用的预设的q学习模型既要充分考虑目标泄漏点周围定位设备采集到的泄漏信号的测量值，又要充分考虑目标泄漏点所在位置。因为模型的状态空间是呈连续性的高维形式，因此强化学习难以解决数量庞大的连续状态变化，需要对测量值进行离散化。具体方法如下：首先，获取所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值。例如，在图3中，编号为1、2、3、4、5、6的六个定位设备采集到的目标泄漏点产生的泄漏信号的测量值分别为0.15、0.5、0.1、0.7、0.6、0.8。然后，对所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值进行离散化。例如，在图3中，编号为1、2、3、4、5、6的六个定位设备采集到的目标泄漏点产生的泄漏信号的测量值分别为0.15、0.5、0.1、0.7、0.6、0.8。而在编号为0的目标泄漏点处的泄漏信号的强度作为参考值，始终为1。以目标定位设备的测量值作为从其他定位设备到达该目标定位设备的报酬值，不相邻的定位设备无法直接到达，与目标定位设备不相邻的定位设备到达该目标定位设备的报酬值统一定义为负无穷，用-inf表示，则构建出的报酬矩阵r可以用公式表示如下：对上述各个测量值进行离散化处理后，编号为1、2、3、4、5、6的六个定位设备采集到的目标泄漏点产生的泄漏信号的测量值离散化后的值分别为15、50、10、70、60、80。而在编号为0的目标泄漏点处的泄漏信号的强度作为参考值，离散化后的值为100。最后，根据离散化后的测量值构建报酬矩阵。报酬矩阵r的公式表示如下：本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在以上各实施例的基础上，进一步地，所述q学习模型的转移规则如下：其中，q(st,at)为所述q矩阵中元素，表示从当前状态执行当前行为到达目标状态的概率，st表示当前状态，at表示当前行为，η表示学习率，rt+1为所述报酬矩阵中的元素，表示从当前状态到下一个状态的动作报酬值，γ表示折扣率，q(st+1,at+1)为所述q矩阵中元素，表示从下一状态执行下一行为到达所述目标状态的概率，st+1表示下一状态，at+1表示下一行为，a表示所有可能的下一行为的集合。具体来说，q学习算法是一种典型的无监督强化学习算法，该算法首先将报酬矩阵中所作出的试探行为的报酬以q_table形式存储，有利于得到任何一个状态下的q值。由于q学习是一种不断循环迭代的学习方式，以初始q矩阵不断迭代逼近目标q矩阵，因此不需要利用先验知识。q矩阵的行表示状态，q矩阵的列表示行为，q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。因此，基于q矩阵，可以获取agent从任何一个状态到达目标状态的路径，即，可以获取agent从供水管道网络中的任何一个定位设备到达目标泄露点的路径。q学习算法的迭代步骤如下：step1：给定超参数和报酬矩阵r。step2：令q:＝0。step3：对于每一次试探行为：(1)：随机选择某一个初始状态s0；(2)：如果没有到达目标状态，那么开始执行以下步骤：(a)在当前状态st的所有可能的行为中执行一种行为；(b)利用执行的行为得到下一个状态st+1；(c)按照转移规则计算q(st,at)；(d)令st:＝st+1。按照上述方式进行迭代学习若干次，直到q矩阵趋于收敛状态，即得到最终的q矩阵。其中，q学习模型的转移规则如下：其中，q(st,at)为q矩阵中元素，表示从当前状态执行当前行为到达目标状态的概率，st表示当前状态，at表示当前行为，η表示学习率，rt+1为所述报酬矩阵中的元素，表示从当前状态到下一个状态的动作报酬值，γ表示折扣率，q(st+1,at+1)为q矩阵中元素，表示从下一状态执行下一行为到达目标状态的概率，st+1表示下一状态，at+1表示下一行为，a表示所有可能的下一行为的集合。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在以上各实施例的基础上，进一步地，所述q矩阵的行表示状态，所述q矩阵的列表示行为，所述q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。具体来说，q学习算法是一种典型的无监督强化学习算法，该算法首先将报酬矩阵中所作出的试探行为的报酬以q_table形式存储，有利于得到任何一个状态下的q值。由于q学习是一种不断循环迭代的学习方式，以初始q矩阵不断迭代逼近目标q矩阵，因此不需要利用先验知识。q矩阵的行表示状态，q矩阵的列表示行为，q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。因此，基于q矩阵，可以获取agent从任何一个状态到达目标状态的路径，即，可以获取agent从供水管道网络中的任何一个定位设备到达目标泄露点的路径。q学习算法的迭代步骤如下：step1：给定超参数和报酬矩阵r。step2：令q:＝0。step3：对于每一次试探行为：(1)：随机选择某一个初始状态s0；(2)：如果没有到达目标状态，那么开始执行以下步骤：(a)在当前状态st的所有可能的行为中执行一种行为；(b)利用执行的行为得到下一个状态st+1；(c)按照转移规则计算q(st,at)；(d)令st:＝st+1。按照上述方式进行迭代学习若干次，直到q矩阵趋于收敛状态，即得到最终的q矩阵。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在以上各实施例的基础上，进一步地，所述基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组，具体包括：根据所述q矩阵中的元素值确定路径集合，所述路径集合中的每一条路径均表示从某一状态到达目标状态的路径；获取所述路径集合中每条路径上倒数第二个状态对应的定位设备，并除去重复的定位设备，得到用于定位所述目标泄漏点具体位置的定位设备组。具体来说，q矩阵的行表示状态，q矩阵的列表示行为，q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。因此，基于q矩阵，可以获取agent从任何一个状态到达目标状态的路径，即，可以获取agent从供水管道网络中的任何一个定位设备到达目标泄露点的路径。在获取q矩阵之后，首先，需要根据q矩阵中的元素值找出agent从每一状态到达目标状态的路径，组成路径集合。路径集合中的每一条路径均表示agent从某一状态到达目标状态的路径，即，agent从供水管道网络中的某一个定位设备到达目标泄露点的路径。例如，获取到的q矩阵如下：根据上述q矩阵，可以得到，agent从编号为1的定位设备出发，沿着供水管道，到达泄漏点的路径为1-2-6-0；从编号为2的定位设备出发，沿着供水管道，到达泄漏点的路径为2-6-0；从编号为3的定位设备出发，沿着供水管道，到达泄漏点的路径为3-2-6-0；从编号为4的定位设备出发，沿着供水管道，到达泄漏点的路径为4-0；从编号为5的定位设备出发，沿着供水管道，到达泄漏点的路径为5-0；从编号为6的定位设备出发，沿着供水管道，到达泄漏点的路径为6-0。一共可以得到六条路径，这六条路径组成路径集合。然后，获取路径集合中每条路径上倒数第二个状态对应的定位设备，并除去重复的定位设备，得到用于定位目标泄漏点具体位置的定位设备组。在上例中，得到的路径集合中包括六条路径，分别为：1-2-6-0、2-6-0、3-2-6-0、4-0、5-0、6-0。根据这六条路径，获取每条路径上倒数第二个状态对应的定位设备的编号分别为：6、6、6、4、5、6。除去重复后的设备编号为：4、5、6。因此，最终，编号分别为4、5、6的定位设备组成了定位设备组。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在以上各实施例的基础上，进一步地，所述根据所述q矩阵中的元素值确定路径集合，具体包括：以第一状态作为当前状态，选择所述q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，再以下一状态作为新的当前状态进行迭代，直到到达所述目标状态，得到从所述第一状态到达所述目标状态的路径；再以第二状态作为当前状态，选择所述q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，再以下一状态作为新的当前状态进行迭代，直到到达所述目标状态，得到从所述第二状态到达所述目标状态的路径；依次遍历每一状态，直到获得所有状态到达所述目标状态的路径，以所有状态到达所述目标状态的路径组成所述路径集合。具体来说，利用训练好的q矩阵，可以很容易地找出agent从每一状态到达目标状态的路径。具体步骤如下：以第一状态作为当前状态，选择q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，再以下一状态作为新的当前状态进行迭代，直到到达目标状态，得到从第一状态到达目标状态的路径。再以第二状态作为当前状态，选择q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，再以下一状态作为新的当前状态进行迭代，直到到达目标状态，得到从第二状态到达目标状态的路径。依次遍历每一状态，直到获得所有状态到达目标状态的路径，以所有状态到达目标状态的路径组成路径集合。例如，获取到的q矩阵如下：首先，遍历编号为1的定位设备，以编号为1的定位设备作为当前状态，选择q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，q矩阵中编号为1的定位设备所在行为[006451.2000]，其中，最大元素为64，最大元素对应的行为为：从编号为1的定位设备达到编号为2的定位设备，因此，下一状态为编号为1的定位设备。再以编号为2的定位设备作为新的当前状态进行迭代，选择q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，q矩阵中编号为2的定位设备所在行为[051.2051.20080]，其中，最大元素为80，最大元素对应的行为为：从编号为2的定位设备达到编号为6的定位设备，因此，下一状态为编号为6的定位设备。再以编号为6的定位设备作为新的当前状态进行迭代，选择q矩阵中当前状态所在行中值最大的元素对应的行为，到达下一状态，q矩阵中编号为6的定位设备所在行为[1000800000]，其中，最大元素为100，最大元素对应的行为为：从编号为6的定位设备达到目标泄漏点。因此可以得到agent从编号为1的定位设备出发，沿着供水管道，到达泄漏点的路径为1-2-6-0。然后，遍历编号为2的定位设备，按照上述同样的方法，得到agent从编号为2的定位设备出发，沿着供水管道，到达泄漏点的路径为2-6-0。最后，依次遍历完每一状态，直到获得所有状态到达目标状态的路径，以所有状态到达目标状态的路径组成路径集合。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。在以上各实施例的基础上，进一步地，所述基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组之后，还包括：对获取到的第一路泄漏信号进行经验模态分解，获取所述第一路泄漏信号的主分量，作为第一主分量；对获取到的第二路泄漏信号进行经验模态分解，获取所述第二路泄漏信号的主分量，作为第二主分量；其中，所述第一路泄漏信号为所述定位设备组中的第一定位设备采集到的泄漏信号，所述第二路泄漏信号为所述定位设备组中的第二定位设备采集到的泄漏信号；基于所述第一主分量和所述第二主分量的互相关函数的最大值，获取第一传播时间和第二传播时间之间的时间差，并根据所述时间差确定所述目标泄漏点的位置；其中，所述第一传播时间为所述第一路泄漏信号从所述目标泄漏点传播至所述第一定位设备所需的时间，所述第二传播时间为所述第二路泄漏信号从所述目标泄漏点传播至所述第二定位设备所需的时间。具体来说，图4为本发明实施例提供的管道泄漏点定位原理示意图，如图4所示，在获得定位设备组之后，从定位设备组选择两个定位设备，即，第一定位设备和第二定位设备来定位目标泄漏点的具体位置。a点为目标泄漏点，b点第一定位设备，c点第二定位设备，b点和c点之间的距离为l，l可以通过尺子等测量工具测量获得其精确值，也可以通过计算获得其精确值。只需要获得a点和b点之间的距离l1，以及a点和c点之间的距离l2，或者l1和l2之间的差值，然后，通过几何关系就能准确地定位泄漏点a的位置。首先，在b点利用第一定位设备采集第一路泄漏信号，在c点利用第二定位设备采集第二路泄漏信号，泄漏信号是由于管道泄漏在泄漏点产生的振动信号，可以通过专用传感器或者检测器直接检测得到。经验模态分解(empiricalmodedecomposition，emd)能够对目标信号进行分频，然后通过选择目标信号的主分量，即可除去目标信号中的噪声，获得的目标信号的主分量与目标信号中的有用信号最接近。然后，对获取到的第一路泄漏信号进行经验模态分解，获取第一路泄漏信号的主分量，作为第一主分量；对获取到的第二路泄露信号进行经验模态分解，获取第二路泄漏信号的主分量，作为第二主分量。然后，通过计算第一主分量和第二主分量的互相关函数，并获取该互相关函数的最大值。基于第一主分量和第二主分量的互相关函数的最大值，即可获取第一传播时间和第二传播时间之间的时间差。其中，第一传播时间指的是第一路泄漏信号从a点传播至b点所需的时间，第二传播时间指的是第二路泄漏信号从a点传播至c点所需的时间。最后，基于第一传播时间和第二传播时间之间的时间差，以及b点和c点之间的距离l，通过几何关系就能准确地定位泄漏点a的位置。本发明实施例提供的供水管道泄漏点定位设备组的选择方法，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。图5为本发明实施例提供的泄漏点定位设备组的选择装置示意图，如图5所示，本发明实施例提供一种泄漏点定位设备组的选择装置，用于执行上述任一实施例中所述的方法，具体包括构建模块501、计算模块502和选择模块503，其中：构建模块501用于根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；计算模块502用于将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；选择模块503用于基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。具体来说，首先，通过构建模块501根据泄漏信息构建报酬矩阵，泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值。agent从任一定位设备到达泄漏点都会有一条路径，每个定位设备给出的报酬值与该定位设备检测到的泄漏信号强度相关，即距离泄漏点越近的报酬值越大，距离泄漏点越远的报酬值越小。根据目标泄漏点附近的一定预设范围内的所有的定位设备采集到的目标泄漏点产生的泄漏信号的测量值构建报酬矩阵。定义：目标泄漏点以及每一个定位设备都代表一种状态(state)，在每条到达目标泄漏点的路径上，从当前状态到达下一状态代表一种行为(action)。以状态为行，以行为为列，构建报酬矩阵。然后，通过计算模块502将报酬矩阵r输入至预设的q学习模型，输出q矩阵。q学习算法是一种典型的无监督强化学习算法，该算法首先将报酬矩阵中所作出的试探行为的报酬以q_table形式存储，有利于得到任何一个状态下的q值。由于q学习是一种不断循环迭代的学习方式，以初始q矩阵不断迭代逼近目标q矩阵，因此不需要利用先验知识。q矩阵的行表示状态，q矩阵的列表示行为，q矩阵的元素表示当前状态到达下一状态后最终能够到达目标状态的概率。因此，基于q矩阵，可以获取agent从任何一个状态到达目标状态的路径，即，可以获取agent从供水管道网络中的任何一个定位设备到达目标泄露点的路径。q学习算法的迭代步骤如下：step1：给定超参数和报酬矩阵r。step2：令q:＝0。step3：对于每一次试探行为：(1)：随机选择某一个初始状态s0；(2)：如果没有到达目标状态，那么开始执行以下步骤：(a)在当前状态st的所有可能的行为中执行一种行为；(b)利用执行的行为得到下一个状态st+1；(c)按照转移规则计算q(st,at)；(d)令st:＝st+1。按照上述方式进行迭代学习若干次，直到q矩阵趋于收敛状态，即得到最终的q矩阵。最后，通过选择模块503基于该q矩阵即可确定用于定位目标泄漏点具体位置的定位设备组。定位设备组中包括至少两个定位设备，定位设备组中的定位设备是距离目标泄漏点最近的定位设备，根据定位设备组中任意两个定位设备采集到的泄漏信号都可以确定目标泄漏点的具体位置，并且相比于其他定位设备，采用定位设备组中的定位设备采集到的泄漏信号，计算出的目标泄漏点的具体位置更加精确。本发明实施例提供的供水管道泄漏点定位设备组的选择装置，以泄漏信息构建报酬矩阵，利用q学习算法确定用于定位目标泄漏点具体位置的定位设备组，能够适应复杂多变的水网拓扑结构，并快速地、准确地选出用于定位目标泄漏点具体位置的定位设备组。图6为本发明实施例提供的电子设备的结构示意图，如图6所示，所述设备包括：处理器(processor)601、存储器(memory)602和总线603；其中，处理器601和存储器602通过所述总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据泄漏信息构建报酬矩阵，所述泄漏信息为所有定位设备采集到的目标泄漏点产生的泄漏信号的测量值；将所述报酬矩阵输入至预设的q学习模型，输出q矩阵；基于所述q矩阵确定用于定位所述目标泄漏点具体位置的定位设备组。以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12当前第1页12