一种基于监视数据采集的资源数据保鲜的方法与流程

本发明涉及数据处理，具体为一种基于监视数据采集的资源数据保鲜的方法。

背景技术：

1、伴随着电力行业中新能源、微电网、互动式设备的大量接入和智能电网系统的飞速发展，以及现货交易等新业务的持续涌现，电力系统的管理需求日益复杂，电力企业对电力大数据的数据采集能力、业务覆盖范围和智能化水平提出了更高的要求。其中，对电力系统运行数据的采集与监视对于电力系统的安全运行和运维管理有着至关重要的作用，电力系统中的各类传感器对周围环境物理信息的周期性采集会产生大量数据，其中大部分数据在较短时间内会过期，因此物联网数据在数据量及数据特征上与网络中普通业务数据不同，针对物联网的监视数据更新频繁的特征与用户对数据新鲜度较高的要求。

2、现有技术中，如中国专利申请号为cn111882232a的“通信通道资源调度方法”，系统凭借完整的基础数据和预定义的算法规则，快速计算出符合电网业务需求的调度方案，通过在算法中融入各种评价参数实现调度方案的优化推送，对通信方式管理人员提供高速度、高质量的辅助设计工具，降低方式设计的技术难度，提高方式设计的工作效率，系统通过将方式方案辅助设计、方式单管理以及资源配置管理等功能进行融合，并增加自动化的数据比对分析功能，实现资源更新随方式流程闭环的管理效果。将通信管理系统资源数据的保鲜通过方式工作流程自动完成。

3、但现有技术中，随着互联网、物联网技术的快速发展，网络规模不断扩大，tcp/ip网络架构在可扩展性、安全性、移动性以及服务质量等方面面临严峻挑战，物联网用户更趋向于请求最新信息，提出用户驱动的信息新鲜度机制及内容在缓存中所逗留时间，而目前的移动复制同步技术存在通讯数据量大，存储空间消耗多，当缓存空间被请求次数较少的数据占用时，缓存效率极低，用户请求被发送到服务器处并产生较长内容获取时延，从而影响到用户体验，尤其是在网络带宽下降时，不能及时更新客户端的数据，导致移动事务执行失败的缺陷。

技术实现思路

1、本发明的目的在于提供一种基于监视数据采集的资源数据保鲜的方法，以解决上述背景技术提出的目前移动复制同步技术存在通讯数据量大，存储空间消耗多，当缓存空间被请求次数较少的数据占用时，缓存效率极低，用户请求被发送到服务器处并产生较长内容获取时延，从而影响到用户体验，尤其是在网络带宽下降时，不能及时更新客户端的数据，导致移动事务执行失败的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于监视数据采集的资源数据保鲜的方法，包括以下内容：

3、s1、定义新内容新鲜度：数据项的新鲜度随时间衰减的变化函数为时间函数，所述数据项在t时刻的数据新鲜度由时间函数决定；所述时间函数具体如下：

4、；

5、其中，t为数据项的截止时间，为数据项最新的时刻；

6、s2、新内容权值判别：根据用户对不同数据访问频率不同，访问频率高的数据则需优先缓存到客户端中，在数据项新鲜度的度量时，对于数据库中缓存的数据表中的每一列给予一个权值j，具体如下：

7、；

8、其中，j是用户对列数据访问频率的一种度量，在决策时权值高的列最先考虑；

9、s3、由于移动计算环境中无线网络弱稳定性及低带宽的特点，在带宽急剧下降时，会引起数据更新效率下降，导致客户端缓存的数据失效。根据数据的动态新鲜度排列优先级，保证在低带宽的情况下，每次先传输优先级最高的部分，即保证fdbs最新修改的数据先传输给客户端，比以前的增量更新算法提高了数据的传输效率和新鲜度。将事务相关联并把结果集合并，减小同步过程中通讯数据量及对客户端存储空间的消耗，新内容权值相等的数据项及对比数据项，按照优先级排列，内容版本对比及更新：当数据项到达客户端时，根据缓存空间、新内容新鲜度和新内容权值对比，判断新的到达内容是否可替换缓存内容后，输出到达内容与缓冲内容的对比报告并进行业务影响分析。

10、优选的，在步骤s1中，所述时间函数值域为[0，1]，随着时间的推移，新鲜度值逐渐减小。

11、优选的，在步骤s2中，在定义数据项的数据新鲜度时，需考虑各数据项的字段长度，可根据长度对列的权值进行修正。

12、优选的，在步骤s2中，新内容权值相等的数据项及对比数据项，按照优先级排列；所述对比数据项中每个数据项记录的最新修改时间和客户端缓存的数据时间，用数据结构column_queuej（j=1,2,…,n）表示第j个的数据项根据更新间隔时间长短排序的队列，间隔时间长的排在前，所述优先级计算具体如下：

13、；

14、其中，是对比数据项的权值；l是对比数据项中最后数据项的介质时间。

15、优选的，在步骤s3中，客户端缓存到达内容后新增网元并进行网元映射管理。

16、优选的，在步骤s3中，所述判断新的到达内容是否可替换缓存内容，包括以下步骤：若缓存空间未满，则直接缓存；否则，所述客户端将对缓存内容和到达内容进行名称匹配。

17、优选的，所述进行名称匹配后，若未能匹配，则根据步骤s2中计算到达内容的权值；若匹配，则根据步骤s1对比缓存内容与到达内容新鲜度；

18、若缓存内容的新鲜度小于到达内容新鲜度，则用到达内容替换缓存内容；若到达内容的权值大于客户端的最小权值，则用到达内容替换最小流行度对应的缓存内容；否则不缓存到达内容。

19、优选的，若缓存内容的新鲜度大于到达内容新鲜度，则不缓存到达内容并删除。

20、与现有技术相比，本发明的有益效果是：

21、本发明根据数据项的动态新鲜度排列优先级，保证在低带宽的情况下，每次先传输优先级最高的部分，即保证fdbs最新修改的数据先传输给客户端，并将事务相关联并把结果集合并，减小同步过程中通讯数据量及对客户端存储空间的消耗后，有效利用移动环境中网络通讯的非对称性，通过数据广播技术更新所有移动客户端数据副本，并结合基于优先级的增量更新算法保证移动客户端缓存最新的数据，比传统的增量更新算法提高了数据的传输效率和新鲜度。

技术特征：

1.一种基于监视数据采集的资源数据保鲜的方法，其特征在于，包括以下内容：

2.根据权利要求1所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，在步骤s1中，所述时间函数值域为[0，1]，随着时间的推移，新鲜度值逐渐减小。

3.根据权利要求1所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，在步骤s2中，在定义数据项的数据新鲜度时，需考虑各数据项的字段长度，可根据长度对列的权值进行修正。

4.根据权利要求1所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，在步骤s2中，新内容权值相等的数据项及对比数据项，按照优先级排列；所述对比数据项中每个数据项记录的最新修改时间和客户端缓存的数据时间，用数据结构column_queuej（j=1,2,…,n）表示第j个的数据项根据更新间隔时间长短排序的队列，间隔时间长的排在前，所述优先级计算具体如下：

5.根据权利要求1所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，在步骤s3中，客户端缓存到达内容后新增网元并进行网元映射管理。

6.根据权利要求5所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，在步骤s3中，所述判断新的到达内容是否可替换缓存内容，包括以下步骤：若缓存空间未满，则直接缓存；否则，所述客户端将对缓存内容和到达内容进行名称匹配。

7.根据权利要求6所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，所述进行名称匹配后，若未能匹配，则根据步骤s2中计算到达内容的权值；若匹配，则根据步骤s1对比缓存内容与到达内容新鲜度；

8.根据权利要求7所述的一种基于监视数据采集的资源数据保鲜的方法，其特征在于，若缓存内容的新鲜度大于到达内容新鲜度，则不缓存到达内容并删除。

技术总结
本发明公开了一种基于监视数据采集的资源数据保鲜的方法，包括S1、定义新内容新鲜度；S2、新内容权值判别；S3、内容版本对比及更新；S4、客户端缓存到达内容后新增网元并进行网元映射管理。本发明根据数据项的动态新鲜度排列优先级，保证在低带宽的情况下，每次先传输优先级最高的部分，即保证FDBS最新修改的数据先传输给客户端，并将事务相关联并把结果集合并，减小同步过程中通讯数据量及对客户端存储空间的消耗后，有效利用移动环境中网络通讯的非对称性，通过数据广播技术更新所有移动客户端数据副本，并结合基于优先级的增量更新算法保证移动客户端缓存最新的数据，比传统的增量更新算法提高了数据的传输效率和新鲜度。

技术研发人员：胡庭彪,李会庆,刘志青,黄嘉勇
受保护的技术使用者：广东信通通信有限公司
技术研发日：
技术公布日：2024/1/12