高效在线协作的数据处理系统的制作方法

文档序号:12493600阅读:227来源:国知局
高效在线协作的数据处理系统的制作方法与工艺

本发明涉及网络技术领域,具体地说是一种能够保障数据传输安全性、能够提高开发工作效率的高效在线协作的数据处理系统。



背景技术:

在大型应用软件项目、电子设计自动化的开发过程中,编译或是综合通常需要较高的运算资源和运行时间,如果能将这部分繁琐耗时的任务交给云平台来完成,那么即使使用手写智能手机、掌上电脑等便携设备也能够进行产品研发,免去了随身携带电脑的麻烦,同时降低了个人设备配置需求,集中资源减少个体资源的浪费。

云计算作为网络通信产业未来的发展方向,已经得到越来越多的重视,在云计算系统中,数据安全问题是亟待解决的重大问题,如何保障数据传输、存储、处理过程的安全性,严重制约了云计算产业的发展。加密技术是通信领域中采用的主要安全保密措施,其利用技术手段将重要数据转为不易破译的乱码(加密码)进行传输,到达受信方后,再通过解密手段获得原始数据。传统的加密技术以数学导向为主要手段,不但使用成本比较高,而且已经存在很多成熟的破解方法,导致安全性大打折扣。

在数据的无线传输过程中,容易由于网络拥塞等问题发生延时或丢包,导致数据的完整性受到破坏,为了解决该问题,应该在网络出现拥塞情况前及时作出正确的处理,而抖动和延时则是网络发生拥塞的前期征兆,抖动的突变往往预示着网络瓶颈的到来。抖动表示的是数据包延时变化的剧烈程度,如果把数据包的延时当做随机变量,那么抖动就是这个随机过程中各个时刻的方差,在实际应用过程中,对于方差的计算在计算精度与计算复杂度上做了一个取舍平衡,以达到及时准确表征网络抖动的需求。然而现有的计算方法灵敏度较低。



技术实现要素:

本发明针对现有技术中存在的缺点和不足,提出了一种能够保障数据传输安全性、能够提高开发工作效率的高效在线协作的数据处理系统。

本发明通过以下措施达到:

一种高效在线协作的数据处理系统,其特征在于设有两个以上的用于输入编辑内容的客户端以及与客户端经网络连接的远程开发平台,所述客户端设有数据上传请求单元、数据加密单元、数据打包单元、数据上传单元以及用于输入文档编辑信息的参数输入单元、用于将编辑好的文档上传至远程开发平台的上传单元、用于接收远程开发平台的执行结果的下载单元以及用于完成执行结果本地输出的显示单元;所述远程开发平台设有密钥生成单元、上传请求接收单元、身份验证单元、密钥发送单元、解密单元;还设有开发文档接收单元、开发文档解析单元、解析结果分类单元、文档命令执行单元、执行结果输出单元;其中所述解析结果分类单元设有用于对输入的样本数据进行关联处理的统计模块、用于产生多个扰动副本的复制模块、用于基于扰动特征并通过应用预定的分类标准对多个扰动副本进行分类的分类器、用于基于分类器结果获得分析结果的分析器;所述客户端还设有网络拥塞检测模块和数据通信快速切换模块,其中网络拥塞检测模块包括传输延时变化率获取模块、基准值调整模块、判断是否重置基准值模块、基准值重置模块、抖动值计算模块,其中传输延时变化率获取模块、基准值调整模块、判断是否重置基准值模块依次连接,判断是否重置基准值模块的输出端分别与基准值重置模块和抖动值计算模块相连接,基准值重置模块的输出端与基准值调整模块相连接;远程开发平台还设有数据挖掘单元,数据挖掘单元对获取数据进行以下处理:步骤1:从数据库中抽取数据,对抽取的数据进行离散化处理;步骤2:从步骤1所获取的数据库中抽取数据组成训练集X,用于训练哈希函数,训练集的大小n由决定,其中tα/2表示置信度的值,可以通过t分布临界值获得,ε表示最大的允许误差;步骤3:用X训练哈希函数,首先涉及目标函数转高位实数数据到低维数据,目标函数定义为:

其中X为训练集,B为基空间,B的每一个向量均为训练集X中训练出来的基向量,S是X被投影在基空间B上的低维实数值,λ1和λ2是通过十折交叉验证方法取得的可调参数,wi,j是X中两个实例Xi和Xj之间的欧式距离在高斯核上的投影,Si和Sj是矩阵S中的两个向量,Bi,j是矩阵B中第i行和第j列的元素,i=1,2,3,……,n为表示实例的记号,j=1,2,3,……k表示基向量的标号,n是实例的个数,k是基向量的个数,s>0表示S中每个元素非负;

步骤4:对数据库中还没得到二进制代码的实例进行二进制编码,过称谓对每一个实例x,通过s=(B’B+2I)-1B’x得到x的低维实数值,然后通过哈希函数得到它的低维二进制代码,其中B是步骤2-2中定义的基空间,I是跟B同维度的单位矩阵,对整个数据库进行编码,完成数据的二维化;

步骤5:去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;

步骤6:消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象

步骤7:确定神经元网络模型;

步骤8:训练神经元网络模型,并通过运行算法实现数据分析处理;

步骤9:显示输出结果。

本发明中网络拥塞检测模块的输出端与数据通信快速切换模块相连接,数据通信快速切换模块的输入端与网络拥塞检测模块中抖动值计算模块的输出端相连接,数据通信快速切换模块包括门限值比对模块、地址分配模块、当前服务网络信号强度接收模块、当前节点与基站距离判断模块、边缘触发模块、通信通道更新/建立模块,其中抖动值计算模块的输出端与门限值比对模块相连接,门限值比对模块的输出端与地址分配模块相连接,地址分配模块与当前节点与基站距离判断模块、边缘触发模块、通信通道更新/建立模块依次相连接,当前服务网络信号强度接收模块的额输出端与门限值比对模块相连接。

本发明所述传输延时变化率获取模块把连续的时间离散化,以帧作为离散化的时间单位,Ti至Ti+1时间间隔内共20帧,用Di表示数据包的传输延时,传输时延Di的计算公式为:Di=(Ri-Si),其中Ri为接收端收到数据包的时间,Si为数据包自带的发送时间,计算Ti-1到Ti时间内传输延时的平均值和Ti到Ti+1时间内传输延时的平均值根据和得到传输延时的变化率DRi

本发明所述基准值调整模块进行每单位时间调整基准值:E=E+DRi×Δt,其中,E为期望值,Δt为两帧间的时间差。

本发明所述判断是否重置基准值模块判断是否需要重置基准值:若是,则通过基准值重置模块将基准值重置为:E=Di+DRi×(Ti+1-Ti)/2,然后送入抖动值计算模块,否则直接送入抖动值计算模块。

本发明中抖动值计算模块求平均值与基准值的差值,并对这个差值的绝对值做指数平滑,计算抖动值Ji为:Ji=(15×Ji-1+|Di-E|)/16,用抖动值表征网络拥塞情况,抖动值越大则即将发生的网络拥塞越严重。

本发明所述远程开发平台还设有存储单元,用于将解密后的原始数据暂存,准备下一步数据处理。

本发明所述远程开发平台还设有解压单元,用于对接收的打包数据进行解压缩处理。

本发明客户端还设有数据下载请求发送单元、数据下载单元、存储单元,用于下载位于远程开发平台的数据,并对其暂存。

本发明所述远程开发平台还设有与密钥生成单元相连接的加密策略管理单元,用于根据不同需求对数据进行不同程度加密处理。

本发明在使用时,分别处于不同空间的研发人员可以在同一时间内分别通过不同的客户端完成开发文档的编辑,并在通过身份验证之后,通过加密通信将编辑好的文档发送到远程开发平台,远程开发平台上的开发文档接收单元接收客户端上传的信息,并通过开发文档解析单元解析开发文档中包含的编译命令,获得编译命令后通过文档命令执行单元执行编译,并通过执行结果输出单元输出结果,远程开发平台将结果返回给相应的客户端;此外还可以使处于不同时间段的研发人员根据项目进度需要整合工作,产品开发过程中编辑与编译过程分开执行,有效降低了客户端配置要求,减轻了开发人员的负担和工作强度,具有结构合理、操作简便等显著的优点。

附图说明:

附图1是本发明的结构框图。

附图2是本发明中客户端的结构框图。

附图3是本发明中远程开发平台的结构框图。

附图标记:客户端1、远程开发平台2、数据上传请求单元3、数据加密单元4、数据打包单元5、数据上传单元6、参数输入单元7、上传单元8、下载单元9、显示单元10、密钥生成单元11、上传请求接收单元12、身份验证单元13、密钥发送单元14、解密单元15、开发文档接收单元16、开发文档解析单元17、解析结果分类单元18、文档命令执行单元19、执行结果输出单元20、网络拥塞检测模块21、数据通信快速切换模块22。

具体实施方式:

下面结合附图对本发明作进一步的说明。

如图所示,本发明提出了一种高效在线协作的数据处理系统,其特征在于设有两个以上的用于输入编辑内容的客户端1以及与客户端经网络连接的远程开发平台2,所述客户端1设有数据上传请求单元3、数据加密单元4、数据打包单元5、数据上传单元6以及用于输入文档编辑信息的参数输入单元7、用于将编辑好的文档上传至远程开发平台的上传单元8、用于接收远程开发平台的执行结果的下载单元9以及用于完成执行结果本地输出的显示单元10;所述远程开发平台2设有密钥生成单元11、上传请求接收单元12、身份验证单元13、密钥发送单元14、解密单元15;还设有开发文档接收单元16、开发文档解析单元17、解析结果分类单元18、文档命令执行单元19、执行结果输出单元20;其中所述解析结果分类单元18设有用于对输入的样本数据进行关联处理的统计模块、用于产生多个扰动副本的复制模块、用于基于扰动特征并通过应用预定的分类标准对多个扰动副本进行分类的分类器、用于基于分类器结果获得分析结果的分析器;所述客户端还设有网络拥塞检测模块21和数据通信快速切换模块22,其中网络拥塞检测模块包括传输延时变化率获取模块、基准值调整模块、判断是否重置基准值模块、基准值重置模块、抖动值计算模块,其中传输延时变化率获取模块、基准值调整模块、判断是否重置基准值模块依次连接,判断是否重置基准值模块的输出端分别与基准值重置模块和抖动值计算模块相连接,基准值重置模块的输出端与基准值调整模块相连接;远程开发平台还设有数据挖掘单元,数据挖掘单元对获取数据进行以下处理:步骤1:从数据库中抽取数据,对抽取的数据进行离散化处理;

步骤2:从步骤1所获取的数据库中抽取数据组成训练集X,用于训练哈希函数,训练集的大小n由决定,其中tα/2表示置信度的值,可以通过t分布临界值获得,ε表示最大的允许误差;步骤3:用X训练哈希函数,首先涉及目标函数转高位实数数据到低维数据,目标函数定义为:

其中X为训练集,B为基空间,B的每一个向量均为训练集X中训练出来的基向量,S是X被投影在基空间B上的低维实数值,λ1和λ2是通过十折交叉验证方法取得的可调参数,wi,j是X中两个实例Xi和Xj之间的欧式距离在高斯核上的投影,Si和Sj是矩阵S中的两个向量,Bi,j是矩阵B中第i行和第j列的元素,i=1,2,3,……,n为表示实例的记号,j=1,2,3,……k表示基向量的标号,n是实例的个数,k是基向量的个数,s>0表示S中每个元素非负;

步骤4:对数据库中还没得到二进制代码的实例进行二进制编码,过称谓对每一个实例x,通过s=(B’B+2I)-1B’x得到x的低维实数值,然后通过哈希函数得到它的低维二进制代码,其中B是步骤2-2中定义的基空间,I是跟B同维度的单位矩阵,对整个数据库进行编码,完成数据的二维化;

步骤5:去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;

步骤6:消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象

步骤7:确定神经元网络模型;

步骤8:训练神经元网络模型,并通过运行算法实现数据分析处理;

步骤9:显示输出结果。

本发明中网络拥塞检测模块21的输出端与数据通信快速切换模块22相连接,数据通信快速切换模块22的输入端与网络拥塞检测模块21中抖动值计算模块的输出端相连接,数据通信快速切换模块包括门限值比对模块、地址分配模块、当前服务网络信号强度接收模块、当前节点与基站距离判断模块、边缘触发模块、通信通道更新/建立模块,其中抖动值计算模块的输出端与门限值比对模块相连接,门限值比对模块的输出端与地址分配模块相连接,地址分配模块与当前节点与基站距离判断模块、边缘触发模块、通信通道更新/建立模块依次相连接,当前服务网络信号强度接收模块的额输出端与门限值比对模块相连接。

本发明所述传输延时变化率获取模块把连续的时间离散化,以帧作为离散化的时间单位,Ti至Ti+1时间间隔内共20帧,用Di表示数据包的传输延时,传输时延Di的计算公式为:Di=(Ri-Si),其中Ri为接收端收到数据包的时间,Si为数据包自带的发送时间,计算Ti-1到Ti时间内传输延时的平均值和Ti到Ti+1时间内传输延时的平均值根据和得到传输延时的变化率DRi

本发明所述基准值调整模块进行每单位时间调整基准值:E=E+DRi×Δt,其中,E为期望值,Δt为两帧间的时间差。

本发明所述判断是否重置基准值模块判断是否需要重置基准值:若是,则通过基准值重置模块将基准值重置为:E=Di+DRi×(Ti+1-Ti)/2,然后送入抖动值计算模块,否则直接送入抖动值计算模块。

本发明中抖动值计算模块求平均值与基准值的差值,并对这个差值的绝对值做指数平滑,计算抖动值Ji为:Ji=(15×Ji-1+|Di-E|)/16,用抖动值表征网络拥塞情况,抖动值越大则即将发生的网络拥塞越严重。

本发明所述远程开发平台还设有存储单元,用于将解密后的原始数据暂存,准备下一步数据处理。

本发明所述远程开发平台还设有解压单元,用于对接收的打包数据进行解压缩处理。

本发明客户端还设有数据下载请求发送单元、数据下载单元、存储单元,用于下载位于远程开发平台的数据,并对其暂存。

本发明所述远程开发平台还设有与密钥生成单元相连接的加密策略管理单元,用于根据不同需求对数据进行不同程度加密处理。

本发明在使用时,分别处于不同空间的研发人员可以在同一时间内分别通过不同的客户端完成开发文档的编辑,并在通过身份验证之后,通过加密通信将编辑好的文档发送到远程开发平台,远程开发平台上的开发文档接收单元接收客户端上传的信息,并通过开发文档解析单元解析开发文档中包含的编译命令,获得编译命令后通过文档命令执行单元执行编译,并通过执行结果输出单元输出结果,远程开发平台将结果返回给相应的客户端;此外还可以使处于不同时间段的研发人员根据项目进度需要整合工作,产品开发过程中编辑与编译过程分开执行,有效降低了客户端配置要求,减轻了开发人员的负担和工作强度,具有结构合理、操作简便等显著的优点。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1