一种基于图像存储库拍摄记录的图像同步更新方法与流程

1.本发明属于图像交换、同步以及图像备份技术领域，具体是涉及一种 基于图像存储库拍摄记录的图像同步更新方法。


背景技术：

2.随着现在各个业务系统的不断融合和深入分析，现在急需一种崭新的 方式用于不同图像存储库系统间的图像同步。以电力业务系统为例，总 部、省(市)、地方业务系统之间存在一种父子关系、总分关系的图像图片 及业务；但对于不同的业务系统建设、早期的规划并不完善，导致各个业 务系统的图像存储库版本不一致，这就造成了地方图像图片同步到省(市) 业务系 统图像图片上的技术瓶颈，如果简单通过对图像操作的rgb复制，会导致 随机图像、时间图像产生不一致的情况，如果通过触发器方式获取图像变 化，会大大降低业务系统的响应时间。传统的图像存储库主备复制过程是 基于图像存储库流复制模式，并且只能做到同类型的图像存储库复制，复 制过程中会占用图像存储库的处理性能，降低业务系统的响应速度。
3.因此，需要提出一种新型的用于不同图像存储库系统之间的图像同步 方法。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，本发明提供一种基于图 像存储库拍摄记录的图像同步更新方法，通过对图像存储库操作过程中产 生的拍摄记录文件进行分析得到图像操作动作，然后通过网络发送的方式 将图像送达目标端，根据目标端图像存储库类型，选择对应的解析模式更 新图像，达到异库备份的目的，可以有效减小图像存储库备份、复制过程 中对业务系统性能影响，进一步提高了图像更新速率和更新图像的准确 率。
5.技术方案：为实现上述目的，本发明的一种基于图像存储库拍摄记录 的图像同步更新方法，提供一种图像同步更新系统，该系统包括置于初始 图像存储库的拍摄记录流图像分析单元和图像传输单元以及置于目标端图 像存储库的图像接收缓存单元、图像配置单元块和图像调整单元，所述拍 摄记录流图像分析单元和所述图像传输单元连接，所述图像传输单元和所 述图像接收缓存单元连接，所述图像接收缓存单元分别与所述图像配置单 元块和所述图像调整单元连接；所述方法包括以下步骤：
6.步骤s1通过对初始图像存储库操作过程中产生初始图像存储库拍摄 记录文件；
7.步骤s2所述拍摄记录流图像分析单元读取初始图像存储库拍摄记录 文件中拍摄记录流图像，并解析拍摄记录流图像从而获取初始图像存储库 中图像图片的图像变化情况，并按照已定义的图像包格式将该图像变化图 像发送至所述图像传输单元，该图像变化图像即为逻辑拍摄记录图像；
8.步骤s3所述图像传输单元将逻辑拍摄记录图像发送至目标端图像存 储库的图像接收缓存单元；
9.步骤s4所述图像接收缓存单元将来自不同队列的逻辑拍摄记录图像 按照指定缓存路径写入到缓存文件中；
10.步骤s5所述图像配置单元块读取缓存文件中的逻辑拍摄记录图像， 并根据目标端图像存储库的类型将逻辑拍摄记录图像解析成通用标准rgb 图像语句；
11.步骤s6所述图像调整单元将解析后的通用标准rgb图像语句批量更 新到目标端图像存储库中。
12.进一步地，包括四种图像存储库部署模式，分别为多源单目标图像存 储库部署模式、多源多目标图像存储库部署模式、单源单目标图像存储库 部署模式和单源多目标图像存储库部署模式。
13.进一步地，所述图像传输单元处设置过滤规则，所述图像传输单元将 不需要发送的图像进行过滤处理，将需要发送的图像发送至图像接收缓存 单元。
14.进一步地，在解析拍摄记录流图像过程中添加事物完整性的检查点设 置，根据事物完整性原则，主动过滤重复事物图像和事物不完整图像，对 事物完整性图像进行发送。
15.进一步地，所述系统包括置于目标端图像存储库的内部智能冲突分析 模块，所述内部智能冲突分析模块与所述图像调整单元连接；
16.所述步骤s6中包括以下步骤：
17.步骤s6a在批量更新图像过程中，判断当前批量更新图像是否失败， 若失败进入步骤s6b；
18.步骤s6b所述内部智能冲突分析模块启动工作，将批量更新的图像采 用归并分治的方法，逐步缩小范围定位得到执行出错的rgb图像语句，并 将该出错的rgb图像语句更新到错误图像重做队列中。
19.进一步地，所述图像调整单元内部配置有图像映射模型，用于将初始 图像存储库的图像像素点图像单独同步映射到目标端图像存储库的图像像 素点内。
20.有益效果：本发明与现有技术比较，具有以下优点：
21.1、本发明基于图像存储库拍摄记录的分析捕获，从中获取初始图像 存储库图像图片中图像变化情况，解决随机图像、时间图像不一致的问 题；
22.2、本发明不同于传统的通过触发器的图像捕获方式，图像存储库响 应速度将大大提高，进一步提高了图像同步的速度；
23.3、本发明方法，通过对图像存储库操作过程中产生的拍摄记录文件 进行分析得到图像操作动作，然后通过网络发送的方式将图像送达目标 端，根据目标端图像存储库类型，选择对应的解析模式更新图像，达到异 库备份的目的，可以有效减小图像存储库备份、复制过程中对业务系统性 能影响，进一步提高了图像更新速率；
24.4、本发明方法充分利用了图像存储库拍摄记录特性并通过本地缓 存、异步复制的方法，最大限度上减小了对运行库在运行过程中造成备份 负担，大大加快了运行库对业务的响应时间，并且做到异库备份；
25.5、本发明方法通过在发送端设置事物完整性原则和过滤规则，将不 需要的图像过滤，将需要的图像发送至目标端图像存储库中图像图片内； 在接收端设置内部智能冲突分析模块将执行出错的图像定位及分析错误原 因，并修改图像入库方式，并通过在接收端设置映射模块，以达到不同图 片、不同列之间的图像同步，在图像调整单元通过适配转换
算法，达到异 库之间的图像备份功能，从而提高了图像备份的灵活性，提高了更新图像 的可靠性和一致性。
附图说明
26.图1是本发明提出的方法流程图。
具体实施方式
27.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特 征可以相互结合,下面结合附图和有具体实施例对本技术作进一步详细说 明。
28.下面结合附图对本发明作更进一步的说明。
29.本发明提出了一种基于图像存储库拍摄记录的图像同步更新方法，该 方法提供了一种图像同步更新系统，参照图1，该系统包括置于初始图像 存储库的拍摄记录流图像分析单元和图像传输单元以及置于目标端图像存 储库的图像接收缓存单元、图像配置单元块和图像调整单元，其中拍摄记 录流图像分析单元和图像传输单元连接，图像传输单元和图像接收缓存单 元连接，图像接收缓存单元分别与图像配置单元块和图像调整单元连接； 本发明方法可以通过对初始图像存储库操作过程中产生的拍摄记录文件进 行分析得到图像操作动作，然后通过网络发送方式将图像变化图像送达目 标端图像存储库，并根据目标端图像存储库的类型，选择对应的解析模式 更新图像到目标端图像存储库的图像图片中，达到异库备份的目的；具体 来说，本发明方法包括以下步骤：
30.初始图像存储库拍摄记录文件中拍摄记录流图像解析和发送 (logsender)
31.首先拍摄记录流图像分析单元读取初始图像存储库拍摄记录文件中拍 摄记录流图像，通过解析拍摄记录流图像从而获取初始图像存储库中图像 图片的图像变化情况，并按照已定义的图像包格式将解析得到的图像变化 图像(下文称之为逻辑拍摄记录图像)发送至图像传输单元；
32.其次，图像传输单元将上述步骤得到的逻辑拍摄记录图像发送至目标 端图像存储库处设置的图像接收缓存单元；在上述logsender解析过程中 添加事物完整性(acid属性)的检查点设置，主动过滤重复事物图像以及 事物不完整图像，例如对断电、故障情况下图像存储库重启时候做到无脏 图像和重复图像的读取，保障业务图像的事物完整性，发送完整的事物处 理图像；在图像传输单元处同时设置了过滤规则，用户可以有针对性的选 择感兴趣的图像进行同步，对不需要发送的图像进行过滤处理，对需要的 图像进行同步更新，以减小发送图像量对网络的压力；
33.目标端图像存储库图像接收缓存(logreceiver)
34.接着，图像接收缓存单元将来自不同队列的逻辑拍摄记录图像按照指 定的缓存路径写入到缓存文件中，不同队列的逻辑拍摄记录图像是指，当 图像存储库部署模式为多源单目标图像存储库部署模式或多源多目标图像 存储库部署模式、单源单目标图像存储库部署模式和单源多目标图像存储 库部署模式时，初始图像存储库包括多个，形成多条图像传输队列，此处 采用缓存的方式将接收到的图像存储主要是为了减小网络压力，增加网络 发送接收响应时间，减小目标端图像存储库阻塞对图像接收的影响，从根 本上解决因为图像存储库图像同步入库造成的初始和目标端之间图像阻塞 问题；
35.目标端图像存储库图像适配恢复(rgb adapter)
36.接着，图像配置单元块读取在缓存文件中缓存下来的逻辑拍摄记录图 像，并根据目标端图像存储库的类型，启动内部自有的适配模块，将逻辑 拍摄记录图像解析成通用标准rgb图像语句；最后，图像调整单元将解析 后的通用标准rgb图像语句批量更新到目标端图像存储库的图像图片中； 在图像同步更新系统中，还包括与目标端图像存储库连接的内部智能冲突 分析模块，分析单元在批量图像更新过程中分析当前图像的更新是否失 败，通过智能分析、分块处理，定位出更新失败的图像点，并主动判断是 否需要修改图像更新动作，重新完成图像适配入库，智能完成冲突图像的 更新，在批量更新图像过程中，判断当前批量更新图像是否失败，若失 败，内部智能冲突分析模块启动工作，将批量更新的图像采用归并分治的 方法，逐步缩小范围定位得到执行出错的rgb图像语句，并将该出错的 rgb图像语句更新到错误图像重做队列，如启动智能冲突归并规则，则系 统将自动识别当前错误的rgb语句以及错误原因，并修改图像入库方式， 例如将插入修改成更新操作，解决作为业务系统运行过程中c图片产生了 相同主键的图像信息；另外，在目标端图像存储库处可以根据业务应用需 求，配置部署映射模型，将不同图像图片中的个别字段图像，单独同步到 指定图片中的个别字段，例如将a图片中a1、a2字段映射同步至c图片 的c3、c4字段。
37.本发明方法可以应用于4种图像存储库部署模式中，分别为多源单目 标图像存储库部署模式(n-1)、多源多目标图像存储库部署模式(n-n)、单 源单目标图像存储库部署模式(1-1)和单源多目标图像存储库部署模式(1
‑ꢀ
n)，最大限度地支持各类不同的应用业务场景中。
38.实施例：
39.下面以网省等车管所业务场景中的某一应用实例来描述本发明方法：
40.在地方车管所业务系统a中存在图片a，地方车管所业务系统b中存 在图片b，省网业务系统c中存在图片c，并且图片a、b、c均分别处于 不同的图像存储库中；将图片a所在图像存储库和图片b所在图像存储库 作为两个初始图像存储库，将图片c所在图像存储库作为目标端图像存储 库，实验结果要求将图片a和图片b都要实时同步图像变化到图片c当 中；
41.其中上述图像存储库可以为myrgb图像存储库或postgrergb图像存 储库等其它图像存储库；对于postgrergb图像存储库，首先需要修改拍 摄记录输出级别，并修改解码模块代码以及接收模块代码，达到对于wal 拍摄记录解码后的结果输出保存以及格式化输出；对于myrgb图像存储库 同样修改拍摄记录图像模式为binlog，在myrgb图像存储库的拍摄记录 流图像分析单元，通过对binlog拍摄记录的格式分析，按照固定的字节 读取方式和解析规则得到用户对图像存储库的操作指令和操作结果集，在 解析过程中添加事物完整性的检查点设置，对断电、故障情况下图像存储 库重启时做到无脏图像和重复图像的读取，主动过滤重复事物图像以及事 物不完整图像，保障业务图像的事物完整性；
42.对于将图片a和图片b图像都要实时同步图像变化到图片c当中，分别 在图片a端和图片b端部署logsender，在图片c端部署logreceiver和rgb adapter；
43.在初始图像存储库a、b端，拍摄记录图像流分析单元，通过识别初 始图像存储库类型，启动内部的专用图像存储库拍摄记录解析分析引擎， 解析拍摄记录文件，获取业务
图像图片a、b上的图像变化，得到图像变 化图像，之后根据事物完整性原则，只对得到完整提交事物的图像进行同 步发送，并记录检查点图像，并且按照给定的过滤原则，将无需同步的图 像进行过滤，以减小网络压力；
44.在目标端图像存储库c，图像接收缓存单元，根据给定的接收ip、端 口以及接收队列，接收属于自己的业务图像缓存至给定文件当中；通过将 接收、图像存储库入库分开隔离，大大提升了对初始图像存储库的图像接 收效率，并且由于功能单一，从程序稳定性以及图像完整性上都得到了很 大的提高；
45.在目标端图像存储库c，根据连接的同步图像存储库类型，启动不同 的图像存储库驱动程序连接目标端图像存储库，然后读取图像接收缓存单 元缓存下来的拍摄记录流图像，通过对文件名的判断启动专用rgb解析 器，将接收到的图像解析成标准rgb图像语句，并批量完成图像更新。
46.以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的 技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润 饰，这些改进和润饰也应视为本发明的保护范围。