本发明涉及社会管理和大数据处理的研究领域,更具体地说,涉及一种基于隐马尔可夫模型的网格化社会治理信息方法。
背景技术:
管理网格化依托统一的数字化的平台,将管理单元按照一定的标准划分成为单元网格。通过加强对单元网格的部件和事件巡查,建立一种监督和处置互相分离的形式。主要优势是能够主动发现,及时处理各类问题,加强管理能力和处理速度,将问题解决在事故发生之前。
首先,它将过去被动应对问题的管理模式转变为主动发现问题和解决问题;第二,它是管理手段数字化,这主要体现在管理对象、过程和评价的数字化上,保证管理的敏捷、精确和高效;第三,它是科学封闭的管理机制,不仅具有一整套规范统一的管理标准和流程,而且发现、立案、派遣、结案四个步骤形成一个闭环,从而提升管理的能力和水平。
正是因为这些功能,可以将过去传统、被动、定性和分散的管理,转变为今天现代、主动、定量和系统的管理。简单的讲:网格化管理是运用数字化、信息化手段,以组织结构单元为管理范围,以事件为管理内容,以处置单位为责任人,通过网格化管理信息平台,实现联动、资源共享的一种组织管理新模式。
隐马尔可夫模型(hiddenmarkovmodel,hmm)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。
技术实现要素:
本发明的主要目的在于克服现有技术的网格化管理区域的数据输入量过大,人工决策效率较低以及无法动态实时调整的问题,提供一种基于隐马尔可夫模型的网格化社会治理信息方法。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于隐马尔可夫模型的网格化社会治理信息方法,包括下述步骤:
s1、根据社会区域大小与人口分布信息均等初始化网格,具体初始化网格的方法及初始化参数根据实际情况利用最大熵模型进行训练;
s2、根据不同网格的硬件配置采集并上传信息,并构造样本网格化特征向量;
s3、根据不同网格的事件发生情况进行标签的标记;
s4、根据采集的先验信息训练隐马尔可夫模型;
s5、利用训练完成的隐马尔可夫模型根据后续数据预测不同标签的状态转移情况;
s6、根据标签的状态转移预测情况实时调整网格的密度;
s7、根据网格的密度动态调整各个区域的人员部署,密度越高,部署的人员越多。
作为优选的技术方案,步骤s1中,利用最大熵模型进行训练的方法为:
s11、假定第零次迭代的初始模型为等概率的均匀分布;
s12、用第n次迭代的模型来估算每种信息特征在训练数据中的分布,如果超过了实际的,就把相应的模型参数变小;否则,将它们变大;
s13、重复步骤s12直到收敛。
作为优选的技术方案,步骤s2中,采集并上传的信息包括交管数据、治安数据、管理员上报数据和大事件提前安排数据。
作为优选的技术方案,步骤s2中,采用采用k-svd算法,通过样本信息对字典进行训练,并通过omp算法构造样本网格化特征向量,具体如下:
s21、采用k-svd算法对字典d进行训练,首先初始化字典d,可以随机得到,然后进行迭代,具体迭代步骤如下:
第一阶段:固定字典d,采用omp算法求解以下方程式,找到最好的稀疏矩阵x,
第二阶段:更新字典d;
s22、通过以下方式将字典d逐列更新,以下假设要更新字典d的第k列dk,将目标函数重写成以下形式:
参量说明:
y表示数据集,y的每一列表示一个样本;
d、x分别表示字典学习过程中将y分解成的两个矩阵,d称之为字典,d的每一列称之为原子;x称之为编码矢量、特征、系数矩阵;
t0为设定的学习系数;
s23、用svd将ek分解,得到的最大特征值对应的那个特征向量就作为dk;
s24、反复执行上述第一、二阶段的步骤,得到收敛的字典d′;
s25、使用字典d′,构造出样本网格化特征向量,采用omp算法求解以下方程式,找到最好的稀疏矩阵x′,x′就是样本y的网格化特征向量;
作为优选的技术方案,步骤s3中,标签包括密度过大标签、密度过小标签以及正常标签,这些标签根据网格的实时密度进行判断,标准值由人工进行初始化。
作为优选的技术方案,步骤s3中,采用样本网格化特征向量训练随机森林分类器,具体步骤如下:
s31、将样本网格化特征向量x′分为训练集x1′,测试集x2′;
s32、从x1′中有放回的抽取大小和x1′一样的训练集x1′(i),作为根节点的样本,从根节点开始训练;
s33、如果当前节点上达到终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j),概率p为c(j)占当前样本集的比例,然后继续训练其他节点;如果当前节点没有达到终止条件,则从f维特征中无放回的随机选取f维特征,利用这f维特征,寻找分类效果最好的一维特征k及其阈值th,当前节点上样本第k维特征小于th的样本被划分到左节点,其余的被划分到右节点,继续训练其他节点;
s34、重复s32-s33直到所有节点都训练过了或者被标记为叶子节点;
s35、重复s32-s34直到所有cart都被训练过。
作为优选的技术方案,步骤s4具体为:
s41、采集每个传感器的信息:
在实际应用中被采集的传感器包括三轴加速度传感器,陀螺仪、心率传感器,假设采集到的信息为y″;
s42、调用已训练的字典,通过omp算法构造网格化特征向量:
步骤s42调用已训练的字典d′,通过omp算法构造网格化特征向量;
运用omp算法求解以下方程,得到网格化特征向量x″
作为优选的技术方案,步骤s5中,根据网格化特征向量x″,采用已训练的随机森林分类器预测网格化,输出预测结果,利用随机森林的预测过程如下:
对于第1-t棵树,i=1-t:
s51、从当前树的根节点开始,根据当前节点的阈值th,判断是进入左节点(<th)还是进入右节点(>=th),直到到达,某个叶子节点,并输出预测值;
s52、重复执行s51直到所有t棵树都输出了预测值,因为是分类问题,所以输出为所有树中预测概率总和最大的那一个类,即对每个c(j)的p进行累计。
作为优选的技术方案,步骤s6中,针对标签状态转移的预测情况,对于状态转移较多的区域,将网格的密度调整得更大;对于状态转移较少的区域,将网格的密度调整得更小。
作为优选的技术方案,步骤s7中,网格密度实时调整是根据在线隐马尔可夫模型实时计算得到的结果。
本发明与现有技术相比,具有如下优点和有益效果:
1.主动适应性:本发明所采用的隐马尔可夫模型,是通过加强对单元网格的部件和事件巡查,建立一种监督和处置互相分离的形式。它能够主动地发现问题,并主动地进行解决,从而提高了整个模型动作的效率及准确性;
2.管理数字化:本发明采用的模型,通过对管理对象、过程和评
价实现数字化,避免了其他技术方案中对于这些领域的评判标准模糊的缺点,从而使得管理的过程更加快速、精确。
3.封闭性:本发明中,采用了科学封闭的管理机制,使得以往技术方案中管理标准和流程不统一的问题得到了解决。此外,还将发现、立案、派遣、结案四个步骤形成一个闭环,从而提升了管理的能力和水平。
附图说明
图1为本发明基于隐马尔可夫模型的网格化社会治理信息方法训练流程图;
图2为本发明基于隐马尔可夫模型的网格化社会治理信息方法执行流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1、图2所示,本发明的一种基于隐马尔可夫模型的网格化社会治理信息方法,包括以下步骤:
(1)根据社会区域大小与人口分布均等初始化网格,具体的初始化方法和参数根据不同的情况利用最大熵模型进行训练:
(1-1)假定第零次迭代的初始模型为等概率的均匀分布。
(1-2)用第n次迭代的模型来估算每种信息特征在训练数据中的分布,如果超过了实际的,就把相应的模型参数变小;否则,将它们便大。
(1-3)重复步骤(1-2)直到收敛。
(2)根据不同网格的硬件配置采集并上传信息,采集的数据包括,交管数据、治安数据、管理员上报数据、大事件提前安排数据
步骤(2)采用k-svd算法,通过样本信息对字典进行训练,并通过omp算法构造样本网格化特征向量;
(2-1)采用k-svd算法对字典进行训练,假设字典d为一个7*21的矩阵。首先初始化字典d,可以随机得到,然后进行迭代,具体迭代步骤如下:
第一阶段:固定字典d,采用omp算法求解以下方程式,找到最好的稀疏矩阵x。
第二阶段:更新字典d。
(2-2)通过以下方式将字典d逐列更新,以下假设要更新字典d的第k列dk。
(2-3)将目标函数重写成以下形式:
(2-4)用svd将ek分解,得到的最大特征值对应的那个特征向量就作为dk。
(2-5)反复执行上述第一、二阶段的步骤,得到收敛的字典d′。
(2-6)使用字典d′,构造出样本网格化特征向量,采用omp算法求解以下方程式,找到最好的稀疏矩阵x′。x′就是样本y的网格化特征向量。
(3)根据不同网格的事件发生情况进行标签的标记,状态标签包括:密度过大、密度过小、正常,这些标签根据网格的实时密度去进行判断,标准值由人工进行初始化;
步骤(3)采用样本网格化特征向量训练随机森林分类器,具体如下:
(3-1)将样本网格化特征向量x′分为训练集x1′,测试集x2′,特征维数f=21。确定参数:使用到的cart的数量t=50,每棵树的深度d=7,每个节点使用到的特征数量f=3,终止条件:节点上最少样本数s=3。
对于第1-t棵树,i=1-t:
(3-2)从x1′中有放回的抽取大小和x1′一样的训练集x1′(i),作为根节点的样本,从根节点开始训练
(3-3)如果当前节点上达到终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j),概率p为c(j)占当前样本集的比例。然后继续训练其他节点。如果当前节点没有达到终止条件,则从f维特征中无放回的随机选取f维特征。利用这f维特征,寻找分类效果最好的一维特征k及其阈值th,当前节点上样本第k维特征小于th的样本被划分到左节点,其余的被划分到右节点。继续训练其他节点。有关分类效果的评判标准在后面会讲。
(3-4)重复(3-2)-(3-3)直到所有节点都训练过了或者被标记为叶子节点。
(3-5)重复(3-2)-(3-4)直到所有cart都被训练过。
(4)根据采集的先验信息训练隐马尔可夫模型;该方法包括以下步骤:
(4-1)采集每个传感器的信息:
在实际应用中被采集的传感器包括三轴加速度传感器,陀螺仪、心率传感器。假设采集到的信息为y″。
(4-2)调用已训练的字典,通过omp算法构造网格化特征向量:
步骤(4-2)调用已训练的字典d′,通过omp算法构造网格化特征向量运用omp算法求解以下方程,得到网格化特征向量x″
(5)利用训练完成的隐马尔可夫模型根据后续数据预测不同标签的状态转移情况,具体操作如下所示;
根据网格化特征向量x″,采用已训练的随机森林分类器预测网格化,输出预测结果。
利用随机森林的预测过程如下:
对于第1-t棵树,i=1-t:
(5-1)从当前树的根节点开始,根据当前节点的阈值th,判断是进入左节点(<th)还是进入右节点(>=th),直到到达,某个叶子节点,并输出预测值。
(5-2)重复执行(1)直到所有t棵树都输出了预测值。因为是分类问题,所以输出为所有树中预测概率总和最大的那一个类,即对每个c(j)的p进行累计。
(6)根据标签的状态转移预测情况实时调整网格的密度。针对标签状态转移的预测情况,对于状态转移较多的区域,将网格的密度调整得更大;对于状态转移较少的区域,将网格的密度调整得更小。
(7)根据网格的密度动态调整各个区域的人员部署,根据前一步骤中对于网格密度的调整结果,若网格的密度越高,部署的人员越多;若网格的密度较小,部署的人员越少。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。