设备数据一致性的保障方法、装置、电子设备和存储介质与流程

文档序号:32652887发布日期:2022-12-23 19:43阅读:46来源:国知局
设备数据一致性的保障方法、装置、电子设备和存储介质与流程

1.本发明实施例涉及数据处理技术领域,尤其涉及一种设备数据一致性的保障方法、装置、电子设备和存储介质。


背景技术:

2.视频监控业务可以利用网络传输,将分散独立的图像采集点进行联网,实现跨地域的统一监控、统一存储管理、资源共享。为了满足不断扩展的业务需要,当前的视频监控系统采用基于分布式的体系结构来支持大容量前端设备的接入,为保证在大容量情况下的长期稳定运行,保证系统数据的准确性、一致性至关重要。
3.一般来说,对于大数据量、高并发的写操作或者集群状态不稳定的情况下会更容易出现数据不一致情况,针对这些分布式数据不一致,需要进行补偿和纠错,避免出现存储数据不准确的问题。然而对于分布式系统百万级视频设备的情况下,若对设备数据进行一一比对纠错将带来巨大的工作量,数据一致性问题解决效率低。


技术实现要素:

4.本发明实施例提供一种设备数据一致性的保障方法、装置、电子设备和存储介质,高效解决分布式系统中设备数据一致性问题。
5.第一方面,本发明实施例提供了一种设备数据一致性的保障方法,所述设备为分布式系统中的接入设备,所述分布式系统中至少包括第一存储空间和第二存储空间,包括:
6.分别确定所述第一存储空间和第二存储空间中存储的设备属性信息;
7.根据所述设备属性信息确定所述第一存储空间中的第一目标设备集和所述第二存储空间中的第二目标设备集;
8.对所述第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
9.第二方面,本发明实施例还提供了一种设备数据一致性的保障装置,所述设备为分布式系统中的接入设备,所述分布式系统中至少包括第一存储空间和第二存储空间,包括:
10.设备信息确定模块,用于分别确定所述第一存储空间和第二存储空间中存储的设备属性信息;
11.设备集确定模块,用于根据所述设备属性信息确定所述第一存储空间中的第一目标设备集和所述第二存储空间中的第二目标设备集;
12.异常设备确定模块,用于对所述第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
13.第三方面,本发明实施例还提供了一种电子设备,包括:
14.一个或多个处理器;
15.存储装置,用于存储一个或多个程序,
16.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的设备数据一致性的保障方法。
17.第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的设备数据一致性的保障方法。
18.本发明实施例分别确定第一存储空间和第二存储空间中存储的设备属性信息;根据设备属性信息确定第一存储空间中的第一目标设备集和第二存储空间中的第二目标设备集;对第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。本发明实施例通过对不同存储空间中所存储的设备属性信息进行统计对比,快速缩小设备数据不一致的设备范围,实现快速定位到异常设备,减少需要进行比对的设备数量,实现高效解决分布式系统中设备数据一致性问题。
附图说明
19.图1是本发明实施例一中的设备数据一致性的保障方法的流程图;
20.图2是本发明实施例二中的设备数据一致性的保障方法的流程图;
21.图3是本发明实施例三中的设备数据一致性的保障方法的流程图;
22.图4是本发明实施例四中的设备数据一致性的保障装置的结构示意图;
23.图5是本发明实施例五中的电子设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
25.实施例一
26.图1是本发明实施例一中的设备数据一致性的保障方法的流程图,本实施例可适用于解决分布式系统中设备数据一致性的情况,设备为分布式系统中的接入设备,分布式系统中至少包括第一存储空间和第二存储空间。该方法可以由设备数据一致性的保障装置来执行,该装置可以采用软件和/或硬件的方式实现,并可配置在电子设备中,例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示,该方法具体包括:
27.步骤101、分别确定第一存储空间和第二存储空间中存储的设备属性信息。
28.其中,在基于分布式的存储体系中,数据存储可以采用不同的存储方式,对应存储在不同类型的空间中,例如申请一块内存来存储,即存储空间为内存空间;或者存储到redis中,即存储空间为redis空间;或者存储到数据库中,即存储空间为数据库空间。不同的存储方式具有不同特点,内存中存取速度最快,成本高,适合频繁访问且量小的数据;redis中速度比内存慢但是比数据库快,但数据稳定性不高,适合频繁访问且数据库中也存储一份的数据;数据库为存储到硬盘,速度最慢,但成本低,数据可靠性高,适合不会频繁访问且需保存较长时间的数据。可根据不同需求和场景来使用不同的存储方式,一般根据业
务不同,会同时使用到多种存储方式。
29.在本发明实施例中,分布式系统中至少包括两种存储方式,例如,在分布式系统中同时将接入设备信息存储在数据库、内存以及redis中,并且在每份存储空间中均存储了接入分布式系统中的所有接入设备信息,其中,接入设备信息包括设备编码以及设备属性信息等。设备编码是指接入设备的唯一身份标识码,设备属性信息是指表征接入设备与系统之间连接属性的特征信息,可选的,设备属性信息包括如下至少一项:状态信息和所属域信息,状态信息是对接入设备的在线和离线状态进行表征的信息,所属域信息是根据对接入设备的管控区域划分的信息,例如所属域信息可以根据接入设备的所属地区进行划分,或者可以根据接入设备的服务行业进行划分,在此并不限制。示例性的,所属域信息分为域内和域间,对于域内是指由本分布式系统直接管控的范围,域间是指由其他系统分布式系统直接管控并共享给本分布式系统的范围,根据直接管控的分布式系统的不同域间可进一步划分为不同域间,例如,域内设备的所属域信息用0表征,不同域间设备的所属域信息用其他非0字符进行表征,当两个设备所属域信息的表征字符为相同的非0字符时,表示这两个设备为同个域间设备;当两个设备所属域信息的表征字符为不同的非0字符时,表示这两个设备为不同域间设备;当两个设备所属域信息的表征字符为0时,表示这两个设备为域内设备。
30.具体的,接入设备可以为监控设备,分布式系统为视频监控分布式系统。在视频监控设备接入视频监控分布式系统中,同时会将设备信息存储在第一存储空间和第二存储空间,其中,在本发明实施例中并不对第一存储空间和第二存储空间中的空间数量进行限制,例如,在第一存储空间中可以包括至少两种存储方式,如redis存储和内存存储,每种存储方式中存储的设备信息分别与第二存储空间进行比对一致性,同时第一和第二只为了区别不同的存储空间,并不对存储空间的方式进行限制。确定第一存储空间和第二存储空间中所存储的所有监控设备的设备属性信息。
31.步骤102、根据设备属性信息确定第一存储空间中的第一目标设备集和第二存储空间中的第二目标设备集。
32.根据设备属性信息从第一存储空间中所存储的所有设备中划分出第一目标设备集,以及根据设备属性信息从第二存储空间中所存储的所有设备中划分出第二目标设备集,以使得不需要对存储空间中所存储的所有设备进行一一比对,减少比对工作量。而根据设备属性信息去划分出需要进行比对的目标设备集使得划分结果更加准确。
33.具体的,将在两个存储空间中相同设备属性信息对应的设备数量不一致的设备划分为目标设备集。示例性的,设备属性信息为状态信息时,分别统计数据库和内存中离线设备数量和在线设备数量,或者分别统计数据库和redis中离线设备数量和在线设备数量,若在两个存储空间中离线设备数量和在线设备数量一致,则表示设备数据具有一致性;若在两个存储空间中设备总数一致,但是离线设备数量和在线设备数量不一致,则确定第一存储空间中在线设备为第一目标设备集,确定第二存储空间中在线设备为第二目标设备集;或者确定第一存储空间中离线设备为第一目标设备集,确定第二存储空间中离线设备为第二目标设备集;例如,由于设备总数一致,为了提高比对效率,可以选择数量较少的一方作为目标设备集,若离线设备数量的总数小于在线设备数量的总数,则确定第一存储空间中离线设备为第一目标设备集,确定第二存储空间中离线设备为第二目标设备集;若在两个
存储空间中设备总数不一致,则确定第一存储空间中在线设备为第一目标在线设备集和离线设备为第一目标离线设备集,确定第二存储空间中在线设备为第二目标在线设备集和离线设备为第二目标离线设备集,分别比对相同状态信息的设备集。
34.在一个可行的实施例中,设备属性信息包括状态信息和/或所属域信息;
35.相应的,步骤102,包括:
36.确定第一存储空间和第二存储空间中状态信息和/或所属域信息相同的设备数量是否一致;
37.若一致,则确定所述分布式系统中设备数据具备一致性;
38.若不一致,则确定设备数量不一致的目标状态信息为待查询状态信息,和/或确定设备数量不一致的目标所属域信息为待查询所属域信息;
39.根据第一存储空间中状态信息为待查询状态信息和/或所属域信息为待查询所属域信息的设备确定第一目标设备集,根据第二存储空间中状态信息为待查询状态信息和/或所属域信息为待查询所属域信息的设备确定第二目标设备集。
40.在本发明实施例中,可以选择状态信息和所属域信息中的一种作为比对的设备属性信息,或者同时选择两种作为比对的设备属性信息。
41.具体的,确定所选择进行比对的设备属性信息相同的设备数量在两个存储空间中是否一致,若一致,则表示设备数据具有一致性;若不一致,则确定不一致的设备属性信息为目标设备属性信息,并根据该目标设备属性信息从第一存储空间和第二存储空间中确定目标设备集。
42.示例性的,在根据状态信息确定目标设备集时,具体确定方法参考上述示例,在此不再赘述。在根据所属域信息确定目标设备集时,分别统计数据库和内存中域内设备数量和不同域间设备数量,或者分别统计数据库和redis中域内设备数量和不同域间设备数量,若在两个存储空间中域内设备数量和同个域间设备数量一致,则表示设备数据具有一致性;若在两个存储空间中域内设备数量或同个域间设备数量不一致,则确定第一存储空间中域内设备为第一目标设备集,确定第二存储空间中域内设备为第二目标设备集;或者确定第一存储空间中数量不同的域间设备为第一目标设备集,确定第二存储空间中该域间设备为第二目标设备集;若在两个存储中设备中域内和域间数量均不同,则确定第一存储空间中域内设备为第一目标域内设备集和域间设备为第一目标域间设备集,确定第二存储空间中域内设备为第二目标域内设备集和域间设备为第二目标域间设备集,分别比对相同所属域信息的设备集。在根据状态信息和所属域信息确定目标设备集时,同时根据两个设备属性信息划分设备集,具体划分方法参考实施例二,在此不再赘述。
43.步骤103、对第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
44.在从各存储空间中划分需要比对的目标设备集后,对目标设备集中具有相同设备编码的设备可以进行一一比对,根据比对结果确定异常设备。由于第一目标设备集和第二目标设备集中的设备属性信息是相同的,因此若目标设备编码在第一目标设备集中存在,但是在第二目标设备集中不存在,则该目标设备编码对应的目标设备为异常设备。异常设备可能是由于残留设备,则应该对残留设备进行删除;或者该异常设备可能是缺失设备,则在缺失的存储空间中补全该设备;或者该异常设备可能为设备属性信息不准确的设备,则
对该异常设备不准确的设备属性信息进行适应性修改。
45.在一个可行的实施例中,步骤103,包括:
46.确定第一目标设备集和第二目标设备集中设备数量最多的为比对目标设备集,设备数量最小的为辅助目标设备集;
47.按照设备编码对比对目标设备集和辅助目标设备集进行排序后,采用二分法确定比对目标设备集中的中间设备;
48.根据中间设备的设备编码在辅助目标设备集中查找;
49.根据查找结果确定中间设备是否为异常设备。
50.在本发明实施例中,在对目标设备集中的设备进行排序后,以数量多的目标设备集进行二分法查找法,通过二分法查找法进一步缩小所需一一比对的设备数量,提高数据一致性确定效率。
51.具体的,分别确定第一目标设备集和第二目标设备集中设备数量,将设备数量多的设备集作为需要进行二分法查找的比对目标设备集,另外一个设备集则作为辅助目标设备集。同时对两个目标设备集中的设备进行排序,由于设备编码是设备的唯一标识码,则按照设备编码进行排序可以保证排序标准相同,便于比对。可选的,也可以采用其他对设备具有唯一标识的特征进行排序,以保证排序标准相同。
52.采用二分法确定比对目标设备集中的中间设备,并通过该设备的设备编码在辅助目标设备集中对该设备进行查找,如果查找到该设备编码,且由于目标设备集中的设备属性信息是相同的,则表示该设备的设备信息在两个存储空间中是一致的,不是异常设备。如果未查找到该设备编码,则表示该中间设备在辅助目标设备集中不存在,属于异常设备。
53.在一个可行的实施例中,根据查找结果确定中间设备是否为异常设备,包括:
54.若在辅助目标设备集中未查询到中间设备的设备编码,则确定中间设备为异常设备;
55.重新采用二分法在比对目标设备集中的剩余设备集中确定异常设备。
56.如果未查找到该设备编码,则表示该中间设备在辅助目标设备集中不存在,属于异常设备,则对该异常设备进行标记,并在删除该异常设备的比对目标设备集中重新采用二分法确定新的中间设备,确定该新的中间设备是否为异常设备,直至找出所有异常设备为止。例如,确定比对目标设备集与辅助目标设备集中的设备数量差值为异常设备的数量,则采用二分法进行查找确定异常设备时,在异常设备确定的数量达到标准时,则停止查找。避免了需要对目标设备集中的所有设备进行一一比对的过程,提高数据一致性的确定效率。
57.在一个可行的实施例中,根据查找结果确定中间设备是否为异常设备,包括:
58.若在辅助目标设备集中查询到中间设备的设备编码,则确定中间设备不是异常设备;
59.比较中间设备在比对目标设备集和辅助目标设备集中的所处位置前或位置后设备数量的一致性;
60.若不一致,则重新采用二分法确定新的中间设备,并根据查找结果确定新的中间设备是否为异常设备。
61.如果查找到该设备编码,且由于目标设备集中的设备属性信息是相同的,则表示
该设备的设备信息在两个存储空间中是一致的,不是异常设备。则需要进行下一步的比对,分别统计该中间设备在两个目标设备集中所处位置前后的设备数量,若前后数量在两个目标设备集中不一致,则在不一致的位置重新采用二分法确定新的目标设备,确定该新的中间设备是否为异常设备,直至找出所有异常设备为止。
62.示例性的,该中间设备在比对目标设备集中所处位置前的设备数量为20个,所述位置后的设备数量为21个,在辅助目标设备集中所处位置前的设备数量为18个,所处位置后的设备数量为20个,则表示前后位置对应数量均不一致,则需要在比对目标设备集中该中间设备所处位置前或位置后的设备集中分别确定新的中间设备,并对该两个新的中间设备在辅助目标设备集中进行查找,以确定这两个新的中间设备是否为异常设备。
63.在一个可行的实施例中,第一存储空间为参考存储空间;
64.相应的,对所述异常设备进行校对,包括:
65.确定异常设备在第一存储空间和第二存储空间中的查找结果和状态信息;
66.若异常设备在第一存储空间和第二存储空间中均存在,且状态信息不一致,则根据第一存储空间中异常设备的状态信息更正第二存储空间中异常设备的状态信息;
67.若异常设备在第一存储空间中不存在,且在第二存储空间中存在,则删除第二存储空间中的异常设备;
68.若异常设备在第一存储空间中存在,且在第二存储空间中不存在,则根据第一存储空间中的异常设备在第二存储空间中进行添加。
69.其中,参考存储空间表示该存储空间具有一定的可信性,以该存储空间中所存储的设备数据为标准。具体的,由于数据库保存了全部视频监控设备的全量信息,且数据库自身的事务原子性和回滚机制有效保证了数据库中数据的正确性,因此,内存和redis中设备数据在进行更正时均以数据库数据为准。在本发明实施例中确定第一存储空间为参考存储空间,即第一存储空间的存储方式为数据库存储,但是由于本实施例中的第一第二只对存储空间的不同进行区分,并不对顺序进行限制,因此第一存储空间为参考存储空间只是作为一个示例。
70.在确定异常设备后,需要对异常设备进行补偿更正,以保证所有存储空间中设备数据的一致性。以参考存储空间中的设备数据为标准,对异常设备的设备数据进行补偿更正。具体的,确定异常设备在第一存储空间和第二存储空间中的查找结果和状态信息,若异常设备在第一存储空间和第二存储空间中均存在,且状态信息不一致,则需要以参考存储空间的设备数据为标准,对第二存储空间中的设备数据进行更正。若异常设备在第一存储空间中不存在,且在第二存储空间中存在,则表示该异常设备属于残留数据,则对第二存储空间的该异常设备进行删除即可。若异常设备在第一存储空间中存在,且在第二存储空间中不存在,则表示该异常设备的设备数据缺失,以参考存储空间中的设备数据为标准,在第二存储空间中对该异常设备进行补全。
71.本发明实施例通过对不同存储空间中所存储的设备属性信息进行统计对比,快速缩小设备数据不一致的设备范围,实现快速定位到异常设备,减少需要进行比对的设备数量,实现高效解决视频监控分布式系统中设备数据一致性问题。
72.实施例二
73.图2是本发明实施例二中的设备数据一致性的保障方法的流程图,本实施例在上
述实施例的基础上进行进一步的优化,如图2所示,该方法具体包括:
74.步骤201、分别确定第一存储空间和第二存储空间中存储的设备属性信息,其中,设备属性信息包括状态信息和所属域信息。
75.具体的,分别确定第一存储空间和第二存储空间中所存储的所有监控设备的状态信息和所属域信息。
76.步骤202、确定第一存储空间和第二存储空间中状态信息相同的设备数量是否一致。
77.首先,分别统计第一存储空间和第二存储空间中在线设备数量和离线设备数量,并进行一次校对。
78.步骤203、若状态信息相同的设备数量一致,则确定分布式系统中设备数据具备一致性。
79.若在线设备数量和离线设备数量在两个存储空间中均一致,则表示当前设备数据具有一致性,无需确定待查询状态信息,此次设备数据一致性的保障操作结束,等待下一次操作开始重新确定设备属性信息。
80.步骤204、若状态信息相同的设备数量不一致,则确定设备数量不一致的目标状态信息为待查询状态信息。
81.若不一致,则需要确定待查询状态信息,根据该待查询状态信息缩小需要比对的设备范围。具体的,若第一存储空间和第二存储空间中在线状态的设备数量和离线状态的设备数量不一致,但是设备总数一致,则确定在线状态和离线状态中任一状态信息作为目标状态信息。示例性的,为了缩小比对设备数量,可以选择数量少的目标状态信息作为待查询状态信息。例如,第一存储空间中在线设备为200,离线设备为100;第二存储空间中在线设备为250,离线设备为50,则确定离线状态为待查询状态信息。若设备总数不一致,则同时确定在线状态和离线状态均为目标状态信息,分别对比离线状态和在线状态。
82.步骤205、根据第一存储空间中状态信息为待查询状态信息的设备确定第一中间设备集,根据第二存储空间中状态信息为待查询状态信息的设备确定第二中间设备集。
83.经过一次校对确定待查询状态信息后,根据待查询状态信息缩小设备数据不一致的范围。示例性的,当待查询状态信息为离线状态时,由第一存储空间中离线设备构成第一中间设备集,由第二存储空间中离线设备构成第二中间设备集。
84.步骤206、确定第一中间设备集和第二中间设备集中所属域信息相同的设备数量是否一致。
85.再根据所属域信息进行二次校对,进一步缩小设备数据不一致的比对范围。分别统计第一中间设备集和第二中间设备集中域内设备数量和不同域间设备数量,进行二次校对。
86.步骤207、若所属域信息相同的设备数量均一致,则确定分布式系统中设备数据具备一致性。
87.若域内设备数据或同个域间设备数量一致,则认为该域内或者该域间的设备数据具有一致性。若域内设备数据和同个域间设备数量均一致,则确定分布式系统中设备数据具备一致性。
88.步骤208、若所属域信息相同的设备数量不一致,则确定设备数量不一致的目标所
属域信息为待查询所属域信息。
89.若不一致,则需要确定待查询所属域信息,根据该待查询所属域信息进一步缩小需要比对的设备范围。具体的,若属于同一个域的设备数量在第一中间设备集和第二中间设备集不一致,则确定该域为目标所属域信息,需要对该目标所属域信息的设备进行比对。示例性的,例如,第一中间设备集中域内设备为200,域间设备为100;第二中间设备集中域内设备为190,域间设备为80,域内和域间的设备数量均不一致,则确定域内所属域信息和域间所属域信息均为待查询状态信息,分别进行比对。又例如,在域间中可以进行进一步的划分,例如划分为第一域和第二域等,分别对不同域间进行设备数量统计,确定数量不一致的域间所属域信息为待查询所属域信息。
90.步骤209、根据第一中间设备集中所属域信息为待查询所属域信息的设备确定第一目标设备集,根据第二中间设备集中所属域信息为待查询所属域信息的设备确定第二目标设备集。
91.经过二次校对确定待查询所属域信息后,根据待查询所属域信息缩小设备数据不一致的范围。示例性的,当待查询所属域信息为域内所属域时,由第一中间设备集中域内所属域设备构成第一目标设备集,由第二中间设备集中域内所属域设备构成第二目标设备集。
92.步骤210、对第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
93.在对第一目标设备集和第二目标设备集中的设备进行比对时,可以采用实施例一中所述的二分法比对法,在此不再赘述。在确定异常设备后,对异常设备进行补偿更正,补偿更正的具体方法在实施例一中进行描述,在此不再赘述。更正的时机可以根据实际情况进行确定。示例性的,每确定一个异常设备后执行更正操作,或者在确定所有异常设备后,统一对异常设备进行更正。
94.本发明实施例通过结合实际视频监控设备特点,采用设备状态数量和所属域属性统计对比快速缩小数据不一致到最小范围,再根据设备编码排序后采用二分查找对比法,快速定位到异常节点,并以数据库数据作为参考进行更正,能高效解决视频监控分布式系统百万级视频设备数据一致性问题。
95.实施例三
96.图3是本发明实施例三中的设备数据一致性的保障方法的流程图,本实施例是一个优选实施例,如图3所示,该方法具体包括:
97.首先,分别统计数据库、内存、redis中设备在线数量和离线数量,内存和redis分别和数据库进行一一比对。若对比发现设备总数一致,且在线数量和离线数量均和数据库一致,则认为设备数据具有一致性,结束当前流程,等待下一次预先设置校正时间启动校对流程。若发现总数一致,但是在线和离线数量不一致,则继续判断在线和离线数量大小,选取数量少的一方继续判断。若发现总数不一致,说明设备数量存在不一致,则在线和离线设备两方均需要继续判断。
98.再根据设备所属域不同继续进行分类统计,得到域内数量和不同域间设备数量。若域内或同个域间设备数量一致,则说明数据为一致的,结束当前流程,等待下一次设置的时间启动校对。若域内或同个域间设备数量不一致,说明存在状态不一致或设备不一致情
况,则分别对数据库、内存、redis中设备进行排序,以数量多的一方采用二分法获取中间设备,通过该中间设备到不同存储空间中找到对应设备。若找不到,则对比数据库是否为异常设备,若找到,则分别统计前后数量,得到数量不一致的一边,以此类推,循环采用二分法进行判断,直至找出所有异常设备。
99.找到异常设备后,以数据库数据为准,若该异常设备在内存或redis中不存在,在数据库中存在,则为数据缺失,根据数据库中设备数据进行补全;若该异常设备在内存或redis中存在,在数据库中不存在,则为数据残留,对内存或redis中该异常设备进行删除;该异常设备在内存或redis中存在,在数据库中也存在,但是设备属性信息不一致,则根据数据库中的设备数据对内存和redis中的设备数据进行更正。
100.校正完成后,再次对全局设备进行新一轮的统计,确认异常设备全部更新完成,若存在不一致,则重新启动流程进行校对。校对过程会来带一定的性能损耗,为不影响用户正常使用业务,可根据用户使用习惯,每天定点在非用户使用期间进行定时校对。
101.本发明实施例通过结合实际视频监控设备特点,在用户非使用期间定时启动校对任务,先采用设备状态统计对比缩小范围,并选取数量不一致时数量少的一方继续判断,再根据设备所属域属性统计对比快速缩小数据不一致到最小范围,最后根据设备编码排序后采用二分查找对比法,快速定位到异常设备节点,并以数据库数据作为参考进行更正,能高效解决视频监控分布式系统百万级视频设备数据一致性问题。
102.实施例四
103.图4是本发明实施例四中的设备数据一致性的保障装置的结构示意图,本实施例可适用于解决分布式系统中设备数据一致性的情况。所述设备为分布式系统中的接入设备,所述分布式系统中至少包括第一存储空间和第二存储空间,如图4所示,包括:
104.设备信息确定模块410,用于分别确定所述第一存储空间和第二存储空间中存储的设备属性信息;
105.设备集确定模块420,用于根据所述设备属性信息确定所述第一存储空间中的第一目标设备集和所述第二存储空间中的第二目标设备集;
106.异常设备确定模块430,用于对所述第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
107.本发明实施例通过对不同存储空间中所存储的设备属性信息进行统计对比,快速缩小设备数据不一致的设备范围,实现快速定位到异常设备,减少需要进行比对的设备数量,实现高效解决分布式系统中设备数据一致性问题。
108.可选的,所述设备属性信息包括状态信息和/或所属域信息;
109.相应的,设备集确定模块420,具体用于:
110.确定第一存储空间和第二存储空间中所述状态信息和/或所述所属域信息相同的设备数量是否一致;
111.若一致,则确定所述分布式系统中设备数据具备一致性;
112.若不一致,则确定设备数量不一致的目标状态信息为待查询状态信息,和/或确定设备数量不一致的目标所属域信息为待查询所属域信息;
113.根据所述第一存储空间中所述状态信息为待查询状态信息和/或所述所属域信息
为待查询所属域信息的设备确定第一目标设备集,根据所述第二存储空间中所述状态信息为待查询状态信息和/或所述所属域信息为待查询所属域信息的设备确定第二目标设备集。
114.可选的,所述设备属性信息包括状态信息和所属域信息;
115.相应的,设备集确定模块420,具体用于:
116.确定第一存储空间和第二存储空间中所述状态信息相同的设备数量是否一致;
117.若所述状态信息相同的设备数量一致,则确定所述分布式系统中设备数据具备一致性;
118.若所述状态信息相同的设备数量不一致,则确定设备数量不一致的目标状态信息为待查询状态信息;
119.根据所述第一存储空间中所述状态信息为待查询状态信息的设备确定第一中间设备集,根据所述第二存储空间中状态信息为待查询状态信息的设备确定第二中间设备集;
120.确定所述第一中间设备集和所述第二中间设备集中所述所属域信息相同的设备数量是否一致;
121.若所述所属域信息相同的设备数量一致,则确定所述分布式系统中设备数据具备一致性;
122.若所述所属域信息相同的设备数量不一致,则确定设备数量不一致的目标所属域信息为待查询所属域信息;
123.根据所述第一中间设备集中所述所属域信息为待查询所属域信息的设备确定第一目标设备集,根据所述第二中间设备集中所属域信息为待查询所属域信息的设备确定第二目标设备集。
124.可选的,异常设备确定模块,包括:
125.设备集比较单元,用于确定所述第一目标设备集和所述第二目标设备集中设备数量最多的为比对目标设备集,设备数量最小的为辅助目标设备集;
126.中间设备确定单元,用于按照设备编码对所述比对目标设备集和所述辅助目标设备集进行排序后,采用二分法确定所述比对目标设备集中的中间设备;
127.中间设备查找单元,用于根据所述中间设备的设备编码在所述辅助目标设备集中查找;
128.异常设备确定单元,用于根据查找结果确定所述中间设备是否为异常设备。
129.可选的,异常设备确定单元,具体用于:
130.若在所述辅助目标设备集中未查询到所述中间设备的设备编码,则确定所述中间设备为异常设备;
131.重新采用二分法在所述比对目标设备集中的剩余设备集中确定异常设备。
132.可选的,异常设备确定单元,具体用于:
133.若在所述辅助目标设备集中查询到所述中间设备的设备编码,则确定所述中间设备不是异常设备;
134.比较所述中间设备在所述比对目标设备集和所述辅助目标设备集中的所处位置前或所述位置后设备数量的一致性;
135.若不一致,则重新采用二分法确定新的中间设备,并根据查找结果确定所述新的中间设备是否为异常设备。
136.可选的,所述第一存储空间为参考存储空间;
137.相应的,异常设备确定模块包括设备数据更正单元,具体用于:
138.确定所述异常设备在所述第一存储空间和第二存储空间中的查找结果和状态信息;
139.若所述异常设备在所述第一存储空间和第二存储空间中均存在,且状态信息不一致,则根据所述第一存储空间中所述异常设备的状态信息更正所述第二存储空间中所述异常设备的状态信息;
140.若所述异常设备在所述第一存储空间中不存在,且在所述第二存储空间中存在,则删除所述第二存储空间中的所述异常设备;
141.若所述异常设备在所述第一存储空间中存在,且在所述第二存储空间中不存在,则根据所述第一存储空间中的所述异常设备在所述第二存储空间中进行添加。
142.本发明实施例所提供的设备数据一致性的保障装置可执行本发明任意实施例所提供的设备数据一致性的保障方法,具备执行设备数据一致性的保障方法相应的功能模块和有益效果。
143.实施例五
144.图5是本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
145.如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储装置28,连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
146.总线18表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
147.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
148.系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质,例如随机存取存储装置(ram)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
149.具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储装置28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
150.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备等)或显示器24通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图5所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图5中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
151.处理单元16通过运行存储在系统存储装置28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的设备数据一致性的保障方法,所述设备为分布式系统中的接入设备,所述分布式系统中至少包括第一存储空间和第二存储空间,包括:
152.分别确定所述第一存储空间和第二存储空间中存储的设备属性信息;
153.根据所述设备属性信息确定所述第一存储空间中的第一目标设备集和所述第二存储空间中的第二目标设备集;
154.对所述第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
155.实施例六
156.本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的设备数据一致性的保障方法,所述设备为分布式系统中的接入设备,所述分布式系统中至少包括第一存储空间和第二存储空间,包括:
157.分别确定所述第一存储空间和第二存储空间中存储的设备属性信息;
158.根据所述设备属性信息确定所述第一存储空间中的第一目标设备集和所述第二存储空间中的第二目标设备集;
159.对所述第一目标设备集和第二目标设备集中的设备进行比对,根据比对结果确定异常设备,对所述异常设备进行校对以保障所述分布式系统中设备数据一致性。
160.本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
161.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
162.计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。
163.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c++,还包括常规的过程式程序设计语言诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
164.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1