一种多用户节点间数据传输系统的制作方法

文档序号:14860588发布日期:2018-07-04 07:05阅读:139来源:国知局

本发明属于数据传输领域,尤其涉及多用户节点间数据传输系统。



背景技术:

一般情况下,非结构化数据在节点间的转发不考虑数据的更新,非结构化数据从源节点发送到中间节点后,源节点处的非结构化数据又发生了更新,而中间节点缓存的数据没有进行及时更新,转发给第三节点的数据通常不是最新的,不能保证转发数据的实时性和一致性。另外,数据传输规则通常是系统设定好的,不能根据用户的需求进行个性化设置,而不同的用户对于数据传输数度和数据实时性有不同的需求。

基于上述问题,现在亟需一种新的多用户多用户节点间数据传输系统,根据时间戳对中间节点的非结构化数据进行一致性判断,并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输,兼顾了数据的实时性和传输速度,更加符合用户特定需求。



技术实现要素:

为了解决现有技术中的上述问题,本发明提出了一种多用户节点间数据传输系统。

本发明采用的技术方案如下:

一种多用户节点间数据传输系统,其特征在于,所述系统中包括多个用户节点,每个用户节点设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块,其中前端模块,用于用户节点上非结构化数据的采集、交互和呈现;协议模块,用于封装所述用户节点与消息模块、传输模块的通信协议;消息模块,用于多线程并发处理消息的接收、处理;数据传输模块,用于非结构化数据文件内容的传输;存储模块,用于将前端模块采集的非结构化数据内容存储在本地数据库中,所述非结构化数据内容分组为数据组进行存储,每个非结构化数据组对应一个时间戳;更新模块,当通过前端模块采集的非结构化数据发生数据更新时,对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致,并更新时间戳;缓存模块,用于将通过传输模块接收的非结构化数据存储在缓存中;判断模块,用于进行时间戳是否一致的判断。

本发明的有益效果包括:根据时间戳对中间节点的非结构化数据进行一致性判断,并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输,兼顾了数据的实时性和传输速度,更加符合用户特定需求。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:

图1是本发明多用户节点间非结构化数据传输系统中所应用的传输方法的流程图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。

实施例1,一种多用户节点间数据传输系统,所述系统中包括多个用户节点,每个用户节点设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块,其中前端模块,用于用户节点上非结构化数据的采集、交互和呈现;协议模块,用于封装所述用户节点与消息模块、传输模块的通信协议;消息模块,用于多线程并发处理消息的接收、处理;数据传输模块,用于非结构化数据文件内容的传输;存储模块,用于将前端模块采集的非结构化数据内容存储在本地数据库中,所述非结构化数据内容分组为数据组进行存储,每个非结构化数据组对应一个时间戳;更新模块,当通过前端模块采集的非结构化数据发生数据更新时,对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致,并更新时间戳;缓存模块,用于将通过传输模块接收的非结构化数据存储在缓存中;判断模块,用于进行时间戳是否一致的判断。

实施例2,参见附图1,一种多用户节点间非结构化数据传输系统中所应用的传输方法,

在一个实施方式中,所述多用户节点处于分布式系统中,在其他实施方式中所述多个用户节点还可以处于云系统中。每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块。

其中前端模块,用于用户节点上非结构化数据的采集、交互和呈现;协议模块,用于封装所述用户节点与消息模块、传输模块的通信协议;消息模块,用于多线程并发处理消息的接收、处理;数据传输模块,用于非结构化数据文件内容的传输;存储模块,用于将前端模块采集的非结构化数据内容存储在本地数据库中,所述非结构化数据内容分组为数据组进行存储,每个非结构化数据组对应一个时间戳;更新模块,当通过前端模块采集的非结构化数据发生数据更新时,对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致,并更新时间戳;缓存模块,用于将通过传输模块接收的非结构化数据存储在缓存中;判断模块,用于进行时间戳是否一致的判断;该方法包括如下步骤:

(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息;

(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制,所述非结构化数据组携带有相应的时间戳;

(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点;

(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组;

(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息;

(6)第二用户节点通过判断模块,对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较,判断两个时间戳是否一致;

(6-1)如果指定非结构化数据组复制到第二用户节点后,在第一用户节点中对上述指定非结构化数据组没有进行数据更新,时间戳也没有进行更新,则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳一致,则第二用户节点通过传输模块将上述复制的指定非结构化数据组直接进行二次复制并将二次复制的非结构化数据组传输给第三用户节点;

(6-2)如果指定非结构化数据组复制到第二用户节点后,在第一用户节点中对上述指定非结构化数据组通过更新模块又进行了数据更新,时间戳也进行更新,则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳不一致,则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点;

在一个实施方式中,所述用户自定义预设规则包括:(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值,则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新;(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值,则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新;(3)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值,则第二用户节点缓存的上述复制的指定非结构化数据组不更新。

在上述用户自定义预设规则中通过数据差异量阈值的设置,兼顾了数据传输速度和数据实时性,在数据差异没有超过预设阈值时,牺牲了一定的数据实时性来提升了数据传输速度,而在数据差异超过预设阈值时,仍然保证了数据实时性,因此在提高数据传输数度的同时较高程度地保持了数据的实时性。

除了上述用户自定义预设规则外,还可以根据用户的实际需求,设置其他的用户自定义预设规则。由于不同的用户对于数据传输数度和数据实时性有不同的需求,有的用户希望传输速度快、对数据实时性要求不高,而有的用户倾向数据的准确性,能够根据用户的需求进行个性化设置。

(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。

本发明根据时间戳对中间节点的非结构化数据进行一致性判断,并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输,兼顾了数据的实时性和传输速度,更加符合用户特定需求。

以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1