一种反恐怖领域的动态积分预警方法与流程

文档序号:12178787阅读:2633来源:国知局

本发明涉及数据交互技术,尤其涉及一种反恐怖领域的动态积分预警方法。



背景技术:

高并发、大批量数据汇集时,传统的积分引擎无法满足动态数据流入流出以及业务描述对积分分值的影响。在反恐怖业务逐步开展的当下,对于特殊人群进行动态积分核定,并能提供预警机制一直是业界普遍难以解决的问题。因为数据的不停变化,业务描述与计算机语言不互通导致对特殊人群积分的准确性和动态行难以满足业务需要。

在不同业务系统间的数据交互服务中,各系统间数据同享已成行业共识,但是对于大数据量下对人员的预警难以做到精确的动态实时预警。因此,这就亟需一种平台,在避免大范围数据交互情况下无法动态实时计算人员分值,并能对此产生预警功能。



技术实现要素:

为了解决该问题,本发明提出了一种反恐怖领域的动态积分预警方法。通过对积分模型的不停修改和积分引擎的优化过后,形成能够满足反恐怖业务对特殊人员的预警功能。系统采用成熟的分布式部署架构,避免了高并发下服务器一旦崩溃服务无法实时计算的要求,解决了单服务器模式下的数据流瓶颈问题及弊端。

本发明实现大批量、高并发数据的高效转发,为不同系统间的数据互通提供标准化接口,能实现数据交换动态预警提醒的目的。

(1)静态积分模型

使用memcached对内存进行静态积分模型的搭建,根据公安部下发的要求,对特殊人群分为4大项44小项,不同大项采用不同的分值计算规则,对人员从感知方面进行首次和定期的静态积分模型管理。

对于静态积分的组成,分为公安部要求积分,重点乡村积分和重点国家组织积分,对于发生触发行为的人员根据静态积分引擎进行积分计算。

(2)动态积分模型

对于公安系统各业务口流动数据,搭建专门的动态积分计算引擎,采用分布式处理机制加数据流监听管理,当监听到特殊人群有数据流入时,判定是否符合积分模型的加分要求,动态积分计算引擎会根据相应的加分规则进行加分。

(3)积分计算任务同步

当积分计算任务到达某一转发服务器后,为保持两部分积分数据为同一人员,该转发服务器获取该任务的哈希码,根据哈希码将该转发任务通过系统内部高速通道,将其转发到相应的处理服务器进行处理。集群内部各转发服务器之间通过socket长连接进行通信,保证转发服务器间的高速数据同步。当某一转发服务器崩溃时,触发系统内部的负载均衡算法,将崩溃转发服务器的转发任务重新分配给其他转发服务器,保证数据不丢失及积分数据统一的正常运行。

(4)序列化与反序列化

当转发服务器对服务存在内存使用限制时,需要采用序列化技术对内存任务队列进行优化。当内存中的数据量达到预设内存大小时,将后续接收到的消息进行序列化处理,序列化格式规定如下:

积分小项(1个字节)+报文头长度(2个字节)+报文头内容+数据块长度(4个字节)+数据块内容 +人员编码

当内存中的任务处理完毕后者达到某一规定的阈值后,将序列化文件中的消息反序列化入内存任务队列中进行处理。

(5)事务处理

分布式积分引擎计算队列接收到人员积分计算任务后,如果事务中各子任务之间没有顺序要求,或者只存在局部顺序性要求,则事务将被拆分为多个小块任务进行处理,各小块任务可能经由其他转发服务器转发处理。各小块任务的处理结果最终汇集到初始积分计算任务转发服务器,由该服务器服务将各小块任务结果进行汇总,并最终反馈给事务请求提交者,形成最终的分值。

(6)数据持久化及生命周期

数据计算任务在计算过程失败后,分布式计算队列将失败任务进行本地持久化存储,并在其生命周期内进行尝试重新计算,计算成功或者生命周期结束后,将失效数据进行清理。

(7)消息预警

当某一人员积分达到预定值域之后会触发消息提醒模块,将本人员相关信息及积分信息发送到相应警员手机,警员会在第一时间进行关注,同时启动人员研判,对其行为和迹象进行研判。

本发明的有益效果是

支持高并发、大批量数据汇集下对人员动态的积分计算。

高稳定性。各积分引擎器互为主备,保证在任意一台引擎服务器崩溃后,服务能够正常有效运行。当内存占用量达到预设阈值时,采用序列化缓存技术对后续任务进行序列化处理,避免系统对内存的持续增长性占用,保证服务的稳定运行。

实时性。对特定人群能够在第一时间进行积分判定,帮助一线警员对人员的第一认知。

高扩展性。对积分规则采用灵活的制定模型,可以满足动态扩展和缩小的要求。

具体实施方式

下面对本发明的内容进行更加详细的阐述:

本发明主要包括:

(1)静态积分模型

使用memcached对内存进行静态积分模型的搭建,根据公安部下发的要求,对特殊人群分为4大项44小项,不同大项采用不同的分值计算规则,对人员从感知方面进行首次和定期的静态积分模型管理。

对于静态积分的组成,分为公安部要求积分,重点乡村积分和重点国家组织积分,对于发生触发行为的人员根据静态积分引擎进行积分计算。

(2)动态积分模型

对于公安系统各业务口流动数据,搭建专门的动态积分计算引擎,采用分布式处理机制加数据流监听管理,当监听到特殊人群有数据流入时,判定是否符合积分模型的加分要求,动态积分计算引擎会根据相应的加分规则进行加分。

(3)积分计算任务同步

当积分计算任务到达某一转发服务器后,为保持两部分积分数据为同一人员,该转发服务器获取该任务的哈希码,根据哈希码将该转发任务通过系统内部高速通道,将其转发到相应的处理服务器进行处理。集群内部各转发服务器之间通过socket长连接进行通信,保证转发服务器间的高速数据同步。当某一转发服务器崩溃时,触发系统内部的负载均衡算法,将崩溃转发服务器的转发任务重新分配给其他转发服务器,保证数据不丢失及积分数据统一的正常运行。

(4)序列化与反序列化

当转发服务器对服务存在内存使用限制时,需要采用序列化技术对内存任务队列进行优化。当内存中的数据量达到预设内存大小时,将后续接收到的消息进行序列化处理,序列化格式规定如下:

积分小项(1个字节)+报文头长度(2个字节)+报文头内容+数据块长度(4个字节)+数据块内容 +人员编码

当内存中的任务处理完毕后者达到某一规定的阈值后,将序列化文件中的消息反序列化入内存任务队列中进行处理。

(5)事务处理

分布式积分引擎计算队列接收到人员积分计算任务后,如果事务中各子任务之间没有顺序要求,或者只存在局部顺序性要求,则事务将被拆分为多个小块任务进行处理,各小块任务可能经由其他转发服务器转发处理。各小块任务的处理结果最终汇集到初始积分计算任务转发服务器,由该服务器服务将各小块任务结果进行汇总,并最终反馈给事务请求提交者,形成最终的分值。

(6)数据持久化及生命周期

数据计算任务在计算过程失败后,分布式计算队列将失败任务进行本地持久化存储,并在其生命周期内进行尝试重新计算,计算成功或者生命周期结束后,将失效数据进行清理。

(7)消息预警

当某一人员积分达到预定值域之后会触发消息提醒模块,将本人员相关信息及积分信息发送到相应警员手机,警员会在第一时间进行关注,同时启动人员研判,对其行为和迹象进行研判。

实现大批量、高并发数据的高效计算能力,提供静态积分计算能力,实现对静态积分的的按需定制;各类型积分原则可在系统中动态加载/卸载,增强系统的灵活性和扩展性。分布式积分计算队列系统内各转发服务器间计算请求进行高速同步,各积分服务器互为主备,保证分布式系统内任意一台积分计算服务器崩溃后,能够将崩溃服务器的计算任务重新分配给其他备用服务器,保证计算服务的正常运行。动态积分计算引擎,能够对各个业务数据进行动态扒取,对特有人员实现实时积分计算。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1