一种异构服务系统的融合管理系统及方法与流程

1.本发明涉及数据处理技术领域，具体为一种异构服务系统的融合管理系统及方法。


背景技术：

2.对于绝大多数企业而言，在企业的内部管理和业务管理中，采用的系统通常包括自研系统和采购系统，而自研系统和采购系统通常由于采用的技术不同，属于异构系统，因此如何统一的管理好各个异构系统就成为十分迫切需要解决的问题，这就涉及到异构系统的融合问题，而在异构系统的融合中，多源数据的融合是首要问题。
3.现有技术中，对于多源数据的融合包括多源数据的采集，数据的预处理，数据的处理与存储，其中，为了保证数据的安全性，将索引数据进行切分后，采用分布式存储方式，即将切分后的索引数据分布到不同的存储节点，并且将同一存储节点的数据以两个副本的形式保存到不同的节点上，存在的问题是若副本数据存储的节点与切分的其他数据存储在相同的节点上，则会导致数据存储的安全性降低；另外，数据都是随机存储之后对各个存储节点进行负载判断的，然后对空载节点和超载节点进行负载数据迁移，导致产生很多不必要的系统开销。


技术实现要素：

4.本发明目的之一在于提供一种异构服务系统的融合管理方法，以提高数据存储的安全性及降低负载数据迁移量，降低系统开销。
5.一种异构服务系统的融合管理方法，包括采集多源数据，对多源数据进行预处理，所述预处理包括数据清洗转换，还包括对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，将索引数据进行切分，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储，根据同一空载节点存储的数据生成两个副本数据，判断某个空载节点是否存储有切分后的数据，若否，则将生成的副本数据存储至该空载节点中。
6.本发明方法的有益效果在于：在数据存储前，对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，然后根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储，可有效避免数据存储到满负载节点或者超负载节点，而带来的后续需要对各个节点之间进行大量的数据迁移的问题，降低系统开销，同时由于数据在后续无需再进行二次迁移，或者二次迁移的数量很小，在这个层面也提高了数据的安全性，另外，在存储副本数据前，判断某个空载节点是否存储有切分后的数据，如果没有存储，才将生成的副本数据存储至该空载节点中，避免副本数据与切分后的其他数据存储到同一节点上，从而使数据存在安全隐患(之所以采用分布式存储，就是为了提高数据安全)，进一步提高数据存储的安全性。
7.进一步，切分后的数据根据存储负载程度随机分布到不同的空载节点进行存储。
采用随机的分布方式，而不是根据存储负载程度顺序存储，有效提高数据存储的安全性。
8.进一步，还包括在将切分后的数据分布到不同的空载节点进行存储后，对已存储有切分后的数据的空载节点再次进行存储负载判断，若计算出某一空载节点已满载，则将该空载节点标记为满载节点。
9.某一个空载节点在存储了本次切分的数据之后，并不能保证该节点还是空载节点，若该空载节点已经满载，则需要对其进行标记，标记为满载节点，这样在下次存储数据时，就不对该满载节点再进行数据存储，尽量避免超负载节点的产生，降低迁移数据量。
10.进一步，还包括计算每一个空载节点可存储的数据量，并将切分后各个数据的数据量与各个空载节点可存储的数据量进行匹配，将切分后的数据存储到匹配度高的空载节点中。
11.将切分后的数据存储到匹配度高的空载节点中，此种方式意义在于使各个存储节点尽量存储数据量均衡(大部分存储节点处于满负载状态)，同时尽可能减少超负载的存储节点产生，降低后续的负载迁移数量。
12.进一步，为了尽可能保证各个存储节点的负载均衡，不影响系统性能，还包括对存储节点进行超负载计算，若计算出某一存储节点是超负载节点，则对该超负载节点进行数据迁移，将数据迁移到空载节点中。
13.本发明的目的之二在于提供一种异构服务系统的融合管理系统。
14.一种异构服务系统的融合管理系统，包括多源数据采集模块，用于采集多源数据；多源数据预处理模块，用于对多源数据进行预处理，所述预处理包括数据清洗转换；还包括存储负载判断模块，用于对单节点存储负载进行判断，以计算出空载节点，并按照存储负载程度构建出空载节点有序队列；索引数据存储模块，用于将索引数据进行切分，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点；副本生成模块，用于根据同一空载节点存储的数据生成两个副本数据；空载节点存储数据判断模块，用于判断某个空载节点是否存储有切分后的数据；副本数据存储模块，用于在某个空载节点未存储有切分后的数据时，将生成的副本数据存储至该空载节点中。
15.本发明系统的有益效果在于：通过存储负载判断模块，在存储切分后的数据之前，先对单节点存储负载进行判断，以计算出空载节点，并按照存储负载程度构建出空载节点有序队列，然后根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点，这样就不会把切分后的数据随机存储到满负载或者超负载的存储节点上，提高系统运行性能，并且降低了后续在负载中迁移的数据量，降低系统开销；进一步地，本系统通过空载节点存储数据判断模块，在存储副本数据之前，判断某个空载节点是否存储有切分后的数据，从而避免将副本数据和切分后的其他数据存储到相同的节点上，从而影响数据的安全性，通过本系统的设计，可大大提高分布式数据存储的安全性。
16.进一步，为了及时计算出满负载存储节点，从而在下次数据存储时避免超负载存储，本系统还包括节点标记模块，用于对已存储有切分后的数据的空载节点进行存储负载判断，若计算出某一空载节点已满载，则将该空载节点标记为满载节点。
17.进一步，还包括数据量匹配模块，用于计算每一个空载节点可存储的数据量，并将切分后各个数据的数据量与各个空载节点可存储的数据量进行匹配，将切分后的数据存储到匹配度高的空载节点中。
18.通过数据量匹配模块，将切分后的数据存储到匹配度高的空载节点中，使各个存储节点尽量存储数据量均衡，同时尽可能减少超负载的存储节点产生，降低后续的负载迁移数量。
附图说明
19.图1为本发明一种异构服务系统的融合管理系统实施例的示意性框图。
具体实施方式
20.下面通过具体实施方式进一步详细说明：
21.一种异构服务系统的融合管理方法，包括采集多源数据，本实施例中，采集多源数据的方式是通过各个异构系统的系统日志和网络数据获取结构化和非结构化的多源数据，网络数据是通过网络爬虫的方式进行采集。
22.对多源数据进行预处理，预处理的主要目的是获取有价值的数据，所述预处理包括数据清洗转换，本实施例中，所述的清洗包括对数据进行抽取，抽取的方式包括但不限于全量抽取，增量抽取，静态和动态数据捕获等，以消除错误和不一致，并核对数据的有效性，所述的数据清洗转换为现有技术，在此不再赘述。
23.本实施例的方法还包括对单节点存储负载进行判断，根据判断结果按照存储负载程度构建出空载节点有序队列，具体方式是计算每个存储节点的存储负载率，计算系统平均负载，若存储节点的存储负载率小于系统平均负载，则该存储节点为空载节点，然后将该存储节点以堆栈的方式插入到空载节点队列中。
24.将索引数据进行切分，然后采用hash函数映射的方式，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点进行存储。具体的是切分后的数据根据存储负载程度随机分布到不同的空载节点进行存储，以及计算每一个空载节点可存储的数据量，并将切分后各个数据的数据量与各个空载节点可存储的数据量进行匹配，将切分后的数据存储到匹配度高的空载节点中。
25.根据同一空载节点存储的数据生成两个副本数据，其中一个副本起到备份作用，另外一个副本具备查询功能。判断某个空载节点是否存储有切分后的数据，若否，则将生成的副本数据存储至该空载节点中。
26.本实施例还包括在将切分后的数据分布到不同的空载节点进行存储后，对已存储有切分后的数据的空载节点再次进行存储负载判断，若计算出某一空载节点已满载，则将该空载节点标记为满载节点。
27.为了使各个存储节点负载均衡，本实施例方法还包括对存储节点进行超负载计算，若计算出某一存储节点是超负载节点，则对该超负载节点进行数据迁移，将数据迁移到空载节点中。
28.如附图1所示，本实施例与方法对应的还公开了一种异构服务系统的融合管理系统，除本系统公开的相应模块功能外，本系统还具备与所述方法相对应的其他模块功能，在此未作详尽描述而已。
29.具体的，本实施例一种异构服务系统的融合管理系统，包括多源数据采集模块，用于采集多源数据；多源数据预处理模块，用于对多源数据进行预处理，所述预处理包括数据
清洗转换；还包括存储负载判断模块，用于对单节点存储负载进行判断，以计算出空载节点，并按照存储负载程度构建出空载节点有序队列；索引数据存储模块，用于将索引数据进行切分，根据空载节点有序队列采用分布式索引方式将切分后的数据分布到不同的空载节点，具体的是通过数据量匹配模块，计算每一个空载节点可存储的数据量，并将切分后各个数据的数据量与各个空载节点可存储的数据量进行匹配，将切分后的数据存储到匹配度高的空载节点中。
30.本系统还包括节点标记模块，用于对已存储有切分后的数据的空载节点进行存储负载判断，若计算出某一空载节点已满载，则将该空载节点标记为满载节点。
31.本系统还包括副本生成模块，用于根据同一空载节点存储的数据生成两个副本数据；空载节点存储数据判断模块，用于判断某个空载节点是否存储有切分后的数据；副本数据存储模块，用于在某个空载节点未存储有切分后的数据时，将生成的副本数据存储至该空载节点中。
32.以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。