基于大数据的数据安全采集调度系统的制作方法

1.本发明属于数据安全采集领域，涉及数据安全调度技术，具体是基于大数据的数据安全采集调度系统。


背景技术：

2.公开号为cn111708932a的专利公开了一种云计算平台及其调度、数据分析方法及系统，所述云计算平台及其调度、数据分析系统包括：数据采集模块、数据聚类模块、安全检测模块、数据传输模块、云计算平台、数据调度模块、数据分析模块、云存储模块、显示模块。本发明通过数据采集模块执行网页抓取和/或网站抓取，支持全网数据的抓取，具备极高地通用性，降低了维护和运营成本，提高了抓取有效数据的可靠性。通过安全检测模块对采集得到的数据集进行安全检测，保证了云计算平台的安全性；对云计算中心的数据存储方式和处理方式进行改进，提高了云计算平台中数据存储的可靠性，保证了云节点之间负载均衡，有效的提高了云计算平台的应用处理性能。
3.在大数据领域，位于一个区域网中的各个独立源，独立源为独立设备或者单元，下称独立源；之间需要进行数据信息的交换来实现很多数据的分析以及运算，但是对应的系统中涉及多个独立源，每个独立源都有自己单独生成的特性数据，以及所有独立源都存在的共性数据，当需要进行部分功能的时候，涉及到数据交换，那如何进行快速的数据交换；同时还能够避免某一独立源被冒用id和身份发起数据交换，从而导致数据泄露带来的安全问题；基于此，现提供一种解决方案。


技术实现要素：

4.本发明的目的在于提供基于大数据的数据安全采集调度系统。
5.本发明的目的可以通过以下技术方案实现：基于大数据的数据安全采集调度系统，包括源同步模块、调度分析单元、数据调度单元和响应监测单元；其中，所述源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系，并将连接信息传输到调度分析模块；调度分析模块接收源同步模块传输的连接信息，并自动对连接信息进行原点确认分析，得到若干个集散源和对应的集散组；所述调度分析单元用于讲集散源和集散组传输到数据调度单元；所述数据调度单元还用于将集散源传输到响应监测单元；所述响应监测单元用于对集散源周期性发起呼叫，得到回应后自动认定集散源正常，否则产生维修信号。
6.进一步地，原点确认分析的具体步骤为：步骤一：获取到所有独立源及其对应的连接信息；步骤二：之后将所有的独立源标记为di，i=1...n；步骤三：根据连接信息，选取集散源。
7.进一步地，步骤三中的集散源的具体选取方式为：s1：获取到所有的独立源的一级连值，二级连值；s2：将独立源di的一级连值、二级连值分别标记为yi和ei，i=1...n；且yi、ei与di为一一对应；s3：利用公式计算抽值ci，ci=0.768*yi+0.232*ei；s4：根据ci从大到小的顺序对独立源di进行排列；之后按照排列顺序对独立源di的i值重新赋予，排列第一个的则赋予为d1，依次进行；s5：令i=1，之后将其赋予为一个集散源，将所有与其直接连接的独立源标记为一个集散组；s6：从剩余的独立源中继续选取i值最小的独立源，将其标记为集散源；s7：之后将所有与步骤s6中的集散源直接连接的独立源标记为下一个集散组；s8：重复步骤s6
‑
s8，直到对所有的独立源处理完毕；得到若干个集散源及其对应的集散组。
8.进一步地，步骤s1中的一级连值，二级连值的具体获取方式为：获取到与任意独立源的直接连接的其他独立源的个数，该个数即为选取的任意源的一级连值；获取到与任意独立源的借助其他的独立源连接的独立源的个数，该个数即为二级连值。
9.进一步地，步骤s3中的0.232和0.768均为对应要素的权值，用以体现不同的要素对结果的最终影响，权值根据管理人员多次实验得到具体数据。
10.进一步地，在进行完步骤三之后，还需进行下述步骤，具体为：步骤四：对得到的集散源和集散组进行纠偏；具体纠偏步骤为：当存在的集散组仅仅存在一个集散源，没有其他的独立源的时候，将其标记为孤立集散源；当孤立集散源的占总体所有集散源的个数的比例，超过x1时，自动标记为不合格，x1为预设数值；否则不做处理；步骤五：在产生不合格的时候，自动令i的值进行加一，将加一后的独立源更新为最初的集散源；之后跳转回步骤三中的步骤s5，进行重新处理；步骤六：得到集散源和对应的集散组。
11.进一步地，还包括云存储单元、同步单元、请求单元和核验单元；所述数据调度单元用于将集散源传输到同步单元，所述同步单元用于构建集散源与云存储单元之间的连通渠道；所述云存储单元内存储有所有独立源和集散源的存储数据和对应数据类型；所述请求单元用于获取到所有独立源和集散源的数据交换信息，数据交换信息包括目标对象和内容信息，目标对象即为需要进行数据交换的对象，内容信息即为交换的具体内容；所述请求单元还用于在产生数据交换信息时对id进行掩护处理，具体为：ss1：获取到产生数据交换信息的设备id，之后自动获取产生数据交换信息的时间戳；
ss2：对时间戳进行求和，若得到的值的个位数为奇数，则自动产生尾重信号，否则产生首重信号；ss3：产生尾重信号时，自动将设备id的前三位数字重复放置到最后的一个字符上；产生首重信号时，自动将设备id的最后三位数字重复放置到最前面的一个字符上；ss4：得到处理后的设备id，将其标记为掩码；所述请求单元用于将数据交换信息及其对应的时间戳和掩码传输到核验单元，所述核验单元内设置有与对id进行掩护处理的相同步骤，对设备id进行处理之后得到解码；所述核验单元用于将掩码和解码对比，一致时将数据交换信息传输到数据调度单元；所述数据调度单元在接收到数据交换信息时，自动结合同步单元和云存储单元进行数据交换。
12.进一步地，数据交换的具体步骤为：s001：获取到数据交换信息；s002：之后自动获取到发起数据交换信息的设备，将其标记为发起源，找到发起源所在集散组的集散源；s003：利用集散源自动从云存储单元获取到目标信息，并将目标信息传输到发起源；s004：结束数据交换步骤。
13.本发明的有益效果：本发明通过源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系；之后调度分析模块自动对连接信息进行原点确认分析，得到若干个集散源和对应的集散组；通过将一个个单独的独立源分为一个个集散组，实现了分布式中心数据；之后通过云存储同步相关数据，在需要进行数据交换时，仅仅通过集散源来进行数据交换，而在交换之前也通过核验单元确认对应设备的身份，避免设备被盗用，造成数据流出的安全隐患；本发明简单有效，且易于实用。
附图说明
14.为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
15.图1为本发明的多个独立源连接示意图；图2为本发明调度系统的结构框图。
具体实施方式
16.如图1
‑
2所示，基于大数据的数据安全采集调度系统，该系统中涉及多个独立源，每个独立源都有自己单独生成的特性数据，以及所有独立源都存在的共性数据，当需要进行部分功能的时候，涉及到数据交换，那如何进行快速的数据交换，避免中间的独立源转发造成的安全问题和相关的数据被修改问题；
基于此，作为本发明的实施例一：本技术的基于大数据的数据安全采集调度系统，包括源同步模块、调度分析单元、数据调度单元和响应监测单元；其中，所述源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系，并将连接信息传输到调度分析模块；调度分析模块接收源同步模块传输的连接信息，并自动对连接信息进行原点确认分析，具体原点确认分析的步骤为：步骤一：获取到所有独立源及其对应的连接信息；步骤二：之后将所有的独立源标记为di，i=1...n；步骤三：根据连接信息，选取集散源，具体选取方式为：s1：获取到所有的独立源的一级连值，二级连值；具体获取方式为：获取到与任意独立源的直接连接的其他独立源的个数，该个数即为选取的任意源的一级连值；获取到与任意独立源的借助其他的独立源连接的独立源的个数，该个数即为二级连值；s2：将独立源di的一级连值、二级连值分别标记为yi和ei，i=1...n；且yi、ei与di为一一对应；s3：利用公式计算抽值ci，ci=0.768*yi+0.232*ei；式中，0.232和0.768均为对应要素的权值，用以体现不同的要素对结果的最终影响，权值根据管理人员多次实验得到具体数据；s4：根据ci从大到小的顺序对独立源di进行排列；之后按照排列顺序对独立源di的i值重新赋予，排列第一个的则赋予为d1，依次进行；s5：令i=1，之后将其赋予为一个集散源，将所有与其直接连接的独立源标记为一个集散组；s6：从剩余的独立源中继续选取i值最小的独立源，将其标记为集散源；s7：之后将所有与步骤s6中的集散源直接连接的独立源标记为下一个集散组；s8：重复步骤s6
‑
s8，直到对所有的独立源处理完毕；得到若干个集散源及其对应的集散组；步骤四：对得到的集散源和集散组进行纠偏；具体纠偏步骤为：当存在的集散组仅仅存在一个集散源，没有其他的独立源的时候，将其标记为孤立集散源；当孤立集散源的占总体所有集散源的个数的比例，超过x1时，自动标记为不合格，x1为预设数值；否则不做处理；步骤五：在产生不合格的时候，自动令i的值进行加一，将加一后的独立源更新为最初的集散源；之后跳转回步骤三中的步骤s5，进行重新处理；步骤六：得到集散源和对应的集散组；所述调度分析单元用于讲集散源和集散组传输到数据调度单元；所述数据调度单元还用于将集散源传输到响应监测单元；所述响应监测单元用于对集散源周期性发起呼叫，得到回应后自动认定集散源正常，否则产生维修信号；提醒管理
人员尽快进行更换，以避免影响正常工作；作为本发明的实施例二：本发明还包括云存储单元和同步单元；其中，所述数据调度单元用于将集散源传输到同步单元，所述同步单元用于构建集散源与云存储单元之间的连通渠道；所述云存储单元内存储有所有独立源和集散源的存储数据和对应数据类型；本发明，还包括请求单元和核验单元；所述请求单元用于获取到所有独立源和集散源的数据交换信息，数据交换信息包括目标对象和内容信息，目标对象即为需要进行数据交换的对象，内容信息即为交换的具体内容；所述请求单元还用于在产生数据交换信息时对id进行掩护处理，具体为：ss1：获取到产生数据交换信息的设备id，之后自动获取产生数据交换信息的时间戳；ss2：对时间戳进行求和，若得到的值的个位数为奇数，则自动产生尾重信号，否则产生首重信号；ss3：产生尾重信号时，自动将设备id的前三位数字重复放置到最后的一个字符上；产生首重信号时，自动将设备id的最后三位数字重复放置到最前面的一个字符上；ss4：得到处理后的设备id，将其标记为掩码；所述请求单元用于将数据交换信息及其对应的时间戳和掩码传输到核验单元，所述核验单元内设置有与对id进行掩护处理的相同步骤，对设备id进行处理之后得到解码；所述核验单元用于将掩码和解码对比，一致时将数据交换信息传输到数据调度单元；所述数据调度单元在接收到数据交换信息时，自动结合同步单元和云存储单元进行数据交换，数据交换具体步骤为：s001：获取到数据交换信息；s002：之后自动获取到发起数据交换信息的设备，将其标记为发起源，找到发起源所在集散组的集散源；s003：利用集散源自动从云存储单元获取到目标信息，并将目标信息传输到发起源；s004：结束数据交换步骤。
17.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。