技术特征：
1.一种用于无线通信的数据重复发送标记系统，其特征在于：所述该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，其中，目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块依次通过内网连接；所述目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除；所述目标迁移数据内容读取模块包括待发送数据信息预扫描子模块和重复传输数据信息统计子模块，其中待发送数据信息预扫描子模块用于对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块用于对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；所述标记系统的数据重复发送标记方法包括以下步骤：s1：利用目标迁移数据内容读取模块对待发送的数据进行扫描，监测其是否存在重复信息，待发送数据信息预扫描子模块对待发送数据进行重复数据的扫描，将扫描数据发送给重复传输数据信息统计子模块，重复传输数据信息统计子模块对扫描数据进行统计，确认该扫描的数据中是否存在重复数据，对扫描出的重复数据预先进行标记；s2：利用重复数据传输区域位置定位模块对待发送数据的重复区域进行定位和标记，副本数据检索标记子模块对待发送数据包含的数据信息副本进行检索后标记，数据副本不作为数据重复的统计范围，数据重复节点定位子模块对数据监测出的重复区域进行定位，对待发送数据内部的重复区域进行标记，将标记区域发送给重复数据区域片段化分析模块；s3：利用重复数据区域片段化分析模块对重复数据定位的区域进行分段后监测数据重复率，重复数据区域切割子模块对数据重复节点定位子模块定位的数据重复区域进行切割，细化重复区域， 将细化的重复区域与参考源数据段进行对比，片段化重复率对比分析子模块对切割后的重复区域与参考源数据段对比后进行重复率的分析；s4：利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块；s5：利用重复冗杂数据清理模块对待发送数据中重复数据进行清理和删除，通讯回传单元获取数据重复计次监控单元统计的高重复率片段数据的删除请求，将删除请求进行汇总，发送给人工应答子模块，人工应答子模块人工接入对删除请求进行人工判定。2.根据权利要求1所述的一种用于无线通信的数据重复发送标记系统，其特征在于：所
述步骤s4中，利用数据重复计次监控单元对重复数据进行存在合理性预测，高重复率数据获取统计子模块获取片段化重复率对比分析子模块标记的高重复率数据片段，进行集中统计，形成列表，发送给模拟删除后数据完整性预测子模块，模拟删除后数据完整性预测子模块在待发送数据中逐一删除重复率高的数据，分析高重复率数据删除后是否影响数据完整性，当对重复率高的片段数据删除时，数据完整性大于设定阈值，将该段重复率高的数据删除申请发送给重复冗杂数据清理模块，还包括以下步骤：所述设定片段化重复率对比分析子模块标记的高重复率数据片段为q1、q2、q3、
…
、q
n
‑1、q
n
，模拟删除后数据完整性预测子模块对上述高重复率数据片段进行逐一模拟删除，在逐一模拟删除的同时，逐一监测当前待发送数据的完整性，设定上述高重复率数据片段逐一模拟删除时，其数据完整性为a1、a2、a3、
…
、a
n
‑1、a
n
,当监测出a
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当监测出a
n
＜85%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理，当监测出a
n
∈[85,100）%,多次监测当前片段数据模拟删除后的数据连贯性z1、z2、z3、
…
、z
n
‑1、z
n
，其中，，计算得出当前片段数据模拟删除后的数据连贯性，设定对a
n
∈[85,100）%的片段数据监测的二次数据完整性为b
n
，znmin、znmax所表达的含义是指多 次监测当前片段数据模拟删除后数据连贯性的最小值和最大值；根据公式：计算得出模拟删除a
n
∈[85,100）%的片段数据监测的二次数据完整性，当b
n
=100%，判定该片段数据删除后对待发送数据的完整性没有影响，将该段数据发送给重复冗杂数据清理模块进行人工确认后删除，当b
n
≠100%，判定该片段数据删除后对待发送数据的完整性有影响，对该片段数据不作处理。
技术总结
本发明公开了一种用于无线通信的数据重复发送标记系统，该系统包括目标迁移数据内容读取模块、重复数据传输区域位置定位模块、重复数据区域片段化分析模块、数据重复计次监控单元和重复冗杂数据清理模块，目标迁移数据内容读取模块用于对待发送的数据进行扫描，监测其是否存在重复信息，重复数据传输区域位置定位模块用于对待发送数据的重复区域进行定位和标记，重复数据区域片段化分析模块用于对重复数据定位的区域进行分段后监测数据重复率，数据重复计次监控单元用于对重复数据进行存在合理性预测，重复冗杂数据清理模块用于对待发送数据中重复数据进行清理和删除，旨在对重复数据进行监测分析，确认数据重复后进行人工确认删除。确认删除。确认删除。
技术研发人员：ꢀ(51)Int.Cl.H04L12/26
受保护的技术使用者：汪永强
技术研发日：2020.05.25
技术公布日：2021/10/8