一种用于无线通信的数据重复发送标记系统的制作方法

1.本发明涉及通信领域，具体是一种用于无线通信的数据重复发送标记系统。


背景技术：

2.无线通信是指多个节点间不经由导体或缆线传播进行的远距离传输通讯，利用收音机、无线电等都可以进行无线通讯。
3.无线通讯包括各种固定式、移动式和便携式应用，例如双向无线电、手机、个人数码助理及无线网络。其他无线电无线通讯的例子还有gps、车库门遥控器、无线鼠标等。
4.大部分无线通讯技术会用到无线电，包括距离只到数米的wi
‑
fi，也包括和航海家1号通讯、距离超过数百万公里的深空网络。但有些无线通讯的技术不使用无线电，而是使用其他的电磁波无线技术，例如光、磁场、电场等。
5.无线资料传输是行动运算中不可少的一部分。有许多可用的技术，差异是在地区的可用性、覆盖范围及性能，在一些情形下，用户必须可以布署多种连线方式，并在不同模式中切换。为了简化使用者所花的时间，可以使用连接管理软件，或者使用mvpn，将数个连线处理为一个保安的单一虚拟网络，wi
‑
fi是无线的局域网络，让便携式的运算装置以简单的方式连接到互连网 ，借由ieee 802.11a,b,g,n等标准，wi
‑
fi的速度接近一些有线的网络。wi
‑
fi已成为家中、办公室及公共空间热点的事实上的标准。有些企业是每月收取一次wi
‑
fi的费用，有些企业则是免费提供，因为提供wi
‑
fi可以提升他们产品的销售额。
6.目前，在数据发送至，因为发送数据是实时采集，会导致大量重复的数据进行发送，导致客户端接收到大量重复数据进行备份，会导致内存消耗，本技术旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除。


技术实现要素：

7.本发明的目的在于提供一种用于无线通信的数据重复发送标记系统及方法，以解决现有技术中的问题。
8.为实现上述目的，本发明提供如下技术方案：一种用于无线通信的数据重复发送标记系统，所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，其中，目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接；所述目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块
用于对待发送数据中重复数据进行清理和删除。
9.通过采用上述技术方案：所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块，其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块用于对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记。
10.通过采用上述技术方案：所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块，副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块用于对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块。
11.通过采用上述技术方案：所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块，重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域， 将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
12.通过采用上述技术方案：所述片段化重复率对比分析子模块设定某一重复区域为p0，重复区域p0参考的源数据段为ln，重复区域p0与参考的源数据段为ln进行对比后进行切割，设定重复数据区域切割子模块对重复区域p0切割成y个分段，其中不同分段为p1、p2、p3、
…
、p
n
‑1、p
n
，上述不同分段与参考源数据ln对比的重复率为k1、k2、k3、
…
、k
n
‑1、k
n
，其中，设定k
n
≥60%为重复率高，对重复率k
n
≥60%的分段数据进行标记。
13.通过采用上述技术方案：设定不同分段与参考源数据ln对比的重复率k
n
≥60%的片段数量为c0，c0＞，判定该重复区域p0与参考的源数据段ln之间重复率高，当c0＜，重新检测不同分段与参考源数据ln对比的重复率，提取重复率p
n
∈[40%，60%）之间的片段数据，设定提取出的片段数据数量为c1，设定该片段数据为pl1、pl2、pl3、
…
、pl
n
，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、
…
、p2
n
，其中，再分段的数据片段数量为c2，c2≥2 c1，检测出再分段的数据与参考源数据段ln对比的重复率设为km1、km2、km3、
…
、km
n
,提取出km
n
≥80%的片段数据，将km
n
≥80%的片段数据判定为重复率高，进行标记。
[0014]
通过采用上述技术方案：所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块，其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
[0015]
通过采用上述技术方案：所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块，通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除
请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块用于人工接入对删除请求进行人工判定。
[0016]
一种用于无线通信的数据重复发送标记方法，其特征在于：s1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；s2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；s3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域， 将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；s4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；s5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定。
[0017]
通过采用上述技术方案：所述步骤s4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：所述设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、
…
、q
n
‑1、q
n
，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为a1、a2、a3、
…
、a
n
‑1、a
n
,当监测出a
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出a
n
＜85%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出a
n
∈[85,100）%,多次监测当前片段数据模拟删除后的数
据连贯性z1、z2、z3、
…
、z
n
‑1、z
n
，其中，，计算得出当前片段数据模拟删除后的数据连贯性，设定对a
n
∈[85,100）%的片段数据监测的二次数据完整性为b
n
，根据公式：计算得出模拟删除a
n
∈[85,100）%的片段数据监测的二次数据完整性，当b
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当b
n
≠100%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
[0018]
与现有技术相比，本发明的有益效果是：本发明旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除；利用目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除。
附图说明
[0019]
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
[0020]
图1为本发明一种用于无线通信的数据重复发送标记系统的模块结构示意图；图2为本发明一种用于无线通信的数据重复发送标记方法的具体步骤示意图；图3为本发明一种用于无线通信的数据重复发送标记方法的实施方法示意图。
具体实施方式
[0021]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022]
请参阅图1～3，本发明实施例中，一种用于无线通信的数据重复发送标记系统及方法，所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，其中，目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接；所述目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块
用于对待发送数据中重复数据进行清理和删除。
[0023]
通过采用上述技术方案：所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块，其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块用于对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记。
[0024]
通过采用上述技术方案：所述重复数据传输区域位置定位模块包括副本数据检索标记子模块和数据重复节点定位子模块，副本数据检索标记子模块用于对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块用于对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块。
[0025]
通过采用上述技术方案：所述重复数据区域片段化分析模块包括重复数据区域切割子模块和片段化重复率对比分析子模块，重复数据区域切割子模块用于对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域， 将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块用于对切割后的重复区域与参考源数据段对比后进行重复率的分析。
[0026]
通过采用上述技术方案：所述片段化重复率对比分析子模块设定某一重复区域为p0，重复区域p0参考的源数据段为ln，重复区域p0与参考的源数据段为ln进行对比后进行切割，设定重复数据区域切割子模块对重复区域p0切割成y个分段，其中不同分段为p1、p2、p3、
…
、p
n
‑1、p
n
，上述不同分段与参考源数据ln对比的重复率为k1、k2、k3、
…
、k
n
‑1、k
n
，其中，设定k
n
≥60%为重复率高，对重复率k
n
≥60%的分段数据进行标记。
[0027]
通过采用上述技术方案：设定不同分段与参考源数据ln对比的重复率k
n
≥60%的片段数量为c0，c0＞，判定该重复区域p0与参考的源数据段ln之间重复率高，当c0＜，重新检测不同分段与参考源数据ln对比的重复率，提取重复率p
n
∈[40%，60%）之间的片段数据，设定提取出的片段数据数量为c1，设定该片段数据为pl1、pl2、pl3、
…
、pl
n
，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、
…
、p2
n
，其中，再分段的数据片段数量为c2，c2≥2 c1，检测出再分段的数据与参考源数据段ln对比的重复率设为km1、km2、km3、
…
、km
n
,提取出km
n
≥80%的片段数据，将km
n
≥80%的片段数据判定为重复率高，进行标记。
[0028]
通过采用上述技术方案：所述数据重复计次监控单元包括高重复率数据获取统计子模块和模拟删除后数据完整性预测子模块，其中高重复率数据获取统计子模块用于获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块用于在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块。
[0029]
通过采用上述技术方案：所述重复冗杂数据清理模块包括通讯回传单元和人工应答子模块，通讯回传单元用于获取数据重复计次监控单元统计的高重复率片段数据的删除
请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块用于人工接入对删除请求进行人工判定。
[0030]
一种用于无线通信的数据重复发送标记方法，其特征在于：s1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；s2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；s3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域， 将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；s4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；s5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定。
[0031]
通过采用上述技术方案：所述步骤s4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：所述设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、
…
、q
n
‑1、q
n
，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为a1、a2、a3、
…
、a
n
‑1、a
n
,当监测出a
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出a
n
＜85%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出a
n
∈[85,100）%,多次监测当前片段数据模拟删除后的数
据连贯性z1、z2、z3、
…
、z
n
‑1、z
n
，其中，，计算得出当前片段数据模拟删除后的数据连贯性，设定对a
n
∈[85,100）%的片段数据监测的二次数据完整性为b
n
，根据公式：计算得出模拟删除a
n
∈[85,100）%的片段数据监测的二次数据完整性，当b
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当b
n
≠100%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
[0032]
实施例1：限定条件，设定重复数据区域切割子模块对重复区域p0切割成4个分段，其中不同分段为p1、p2、p3、p4、p5，上述不同分段与参考源数据ln对比的重复率为70%、67%、51%、57%、49%，其中，设定k
n
≥60%为重复率高，70%≥60%，67%≥60%，对p1、p2分段数据进行标记；不同分段与参考源数据ln对比的重复率k
n
≥60%的片段数量为2，，重新检测不同分段与参考源数据ln对比的重复率，提取重复率p
n
∈[40%，60%）之间的片段数据，设定提取出的片段数据数量为3，设定该片段数据为pl1、pl2、pl3，对提取出的片段数据进行再分段，设定再分段的数据为p21、p22、p23、p24、p25、p26，其中，再分段的数据片段数量为6，6=2 *3，检测出再分段的数据与参考源数据段ln对比的重复率设为89%、45%、97%、39%、55%、87%、,提取出p21、p23、p26的片段数据，将km
n
≥80%的片段数据判定为重复率高，对p21、p23、p26片段数据进行标记。
[0033]
实施例2：限定条件：设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100%、89%、100%、79%,监测出模拟删除q1、q3数据片段后待发送数据完整性为100%，判定q1、q3片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除。
[0034]
实施例3：限定条件，设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100%、89%、100%、79%,监测出模拟删除q4数据片段后待发送数据完整性为79%，79%＜85%，判定该片段数据q4删除后对待发送数据的完整性有影响，对该片段数据不作处理。
[0035]
实施例4：限定条件，限定条件：设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、q4，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为100%、89%、100%、79%,监测出模拟删除数据片段q2后待发送数据完整性为89%，89%∈[85,100）%，多次监测当前片段数据q2模拟删除
后的数据连贯性91%、89%、94%、90%，其中，，计算得出当前片段数据模拟删除后的数据连贯性，设定对a
n
∈[85,100）%的片段数据监测的二次数据完整性为b
n
，根据公式：计算得出模拟删除a
n
∈[85,100）%的片段数据监测的二次数据完整性98.5， b
n
≠100%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
[0036]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。