一种面向材料大数据的数据收集传输方法及装置

本发明涉及材料大数据技术领域，特别涉及一种面向材料大数据的数据收集传输方法及装置。

背景技术：

随着大数据时代的来临，大数据技术由于可显著加速材料研发，已经成为材料科学研究者关注的热点技术之一。基于材料数据库平台的材料大数据技术更是成为“材料基因工程”的三大核心技术之一，加速材料的研发进程成为世界各国共同的追求。如何基于低成本、高可靠性的预测方法理性指导实验来快速获得定制性能的新材料成为与之相关的关键问题。

材料大数据是为了应对材料科学领域的信息数据类型和结构复杂多样的特点，对材料数据资源进行海量自动挖掘及入库处理，形成共享材料基因数据库，使新型材料设计不再依赖传统实验方式，而是能通过对材料大数据的高效利用，加速材料设计生产。如何实现材料基因大数据的高效管理和利用，是材料基因工程发展中面临的不可避免的问题，因此，有必要研究一种对材料大数据进行高效率、高质量的采集和传输的技术。

技术实现要素：

本发明提供了一种面向材料大数据的数据收集传输方法及装置，以实现对材料大数据进行高效率、高质量的传输，以便后续分析、建模和可视化研究。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供一种面向材料大数据的数据收集传输方法，包括：

收集材料数据库中的材料数据，并采用大数据清洗技术进行数据清洗；

将清洗后的材料数据提交至预设的材料数据协同网络，形成数据共享；

利用网络切片技术，对所述材料数据协同网络进行网络切片定制化处理，基于博弈理论，在实现数据传输能效最大化的同时，保证数据下载缓存性能。

进一步地，所述材料数据协同网络包括全局控制器、第一网络切片控制器和第二网络切片控制器；其中，位于上层的全局控制器负责将资源分配给片，位于下层的第一网络切片控制器和第二网络切片控制器负责单独决定如何分配可用的资源。

进一步地，所述全局控制器使用不相交的子信道集来分配所述第一网络切片控制器和所述第二网络切片控制器；其中，所述第一网络切片控制器部署在云服务器上，所述第二网络切片控制器部署在具有边缘计算能力的边缘节点上。

进一步地，所述方法还包括：将数据传输能效优化问题转化为协调所述全局控制器和切片对应的网络切片控制器之间关系的优化问题。

进一步地，所述优化问题的目的为：在保证所述第一网络切片控制器的传输能效最大化的情况下，同时保证所述第二网络切片控制器的下载缓存性能。

进一步地，所述优化问题表示为：

其中，和分别表示分配给所述第一网络切片控制器和所述第二网络切片控制器的不相交的子信道，ee1表示所述第一网络切片控制器的能量效率，u1和u0分别表示所述第一网络切片控制器的传输功耗和全局控制器效用值设定的最大传输功耗，f2为全局控制器同时考虑两个网络切片控制器时的性能函数。

进一步地，所述优化问题有三个约束条件：

1)全局控制器将把所有可用子信道分配给两个切片控制器；2)为避免片间的干扰，对两个切片进行片间隔离；3)考虑到不同的子信道复用程度，应保证第二网络切片控制器上的用户有足够多的子信道。

进一步地，在所述全局控制器效用的定义中，效用值设置如下：

将所述第一网络切片控制器的最大传输功耗作为惩罚，当所述第二网络切片控制器的性能要求无法满足设定值时，此时所述全局控制器应该同时考虑两个片的性能，根据两个切片的反馈和预设信息制定资源分配策略。

进一步地，利用网络切片技术，对所述材料数据协同网络进行网络切片定制化处理，基于博弈理论，在实现数据传输能效最大化的同时，保证数据下载缓存性能，包括：

基于斯塔克伯格博弈，将所述全局控制器作为斯塔克伯格博弈的领导者，所述第一网络切片控制器和所述第二网络切片控制器作为追随者，进行博弈；

将斯塔克伯格博弈的均衡状态作为资源分配的结果，进行数据传输，以实现数据传输能效最大化的同时，保证数据下载缓存性能。

另一方面，本发明还提供一种面向材料大数据的数据收集传输装置，包括：

数据收集模块，用于收集材料数据库中的材料数据，并采用大数据清洗技术进行数据清洗；

数据传输模块，用于将清洗后的材料数据提交至预设的材料数据协同网络，形成数据共享；利用网络切片技术对材料数据协同网络进行网络切片定制化处理，基于博弈理论，在实现数据传输能效最大化的同时保证数据下载缓存性能。

再一方面，本发明还提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明提供的面向材料大数据的数据收集传输方法，通过收集材料数据库中的材料数据，并采用大数据清洗技术进行数据清洗；将清洗后的材料数据提交至预设的材料数据协同网络，形成数据共享；利用网络切片技术，对材料数据协同网络进行网络切片定制化处理，基于博弈理论，在实现数据传输能效最大化的同时，保证数据下载缓存性能。从而实现了数据的高效率、高质量传输，便于对材料数据进行下一步分析、建模和可视化研究，挖掘材料数据的价值。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的面向材料大数据的数据收集传输方法的流程图；

图2为本发明实施例提供的材料数据协同网络模型的网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种面向材料大数据的数据收集传输方法，该面向材料大数据的数据收集传输方法利用网络切片技术按需进行定制化服务，将材料数据传输并存储至共享数据库中，从而进一步对其进行分析、建模和可视化研究。

其中，需要说明的是，在构建共享材料基因数据库过程中，为了实现材料数据的高效率、高质量的采集和传输，且在数据传输过程中取得较好的性能，减轻直接将资源分配给所有用户造成的全局控制器的沉重负担，引入网络切片技术成为了数据传输和资源分配过程中的热门手段。

网络切片可以通过实现每个片的定制，单独决定如何分配可用的资源，一般采用分层的资源分配体系结构，由全局控制器将资源分配给各个片，然后每个片分配给自己的用户。具体来说，片间的资源分配可以表示为一个分层拍卖，上层作为拍卖商和卖家，将其拥有的总资源分成多个包，每个包包括数据传输所需的基础设施，下层作为买家，为每个资源包进行投标拍卖。为降低干扰对切片过程中资源分配造成的影响，通过将不重叠的资源分配给片来实现片隔离。在该分层资源分配体系结构下，本实施例将优化问题转化为该网络体系上下层之间的博弈，通过达到博弈均衡状态提升数据的传输效率。数据的高效传输可以极大提升材料大数据地管理和利用效率，实现数据库网络的全面互联。

基于上述，本实施例的主要思想是：对材料数据库中的数据采用大数据清洗技术进行清洗，在保证数据价值的同时对数据进行规范化清洗。利用网络切片技术，对材料数据协同网络进行切片定制化服务，致力于实现材料数据的高效采集和传输，以便后续的对材料数据进行分析、建模和可视化研究，实现材料大数据在新材料研发中的价值。具体地，如图1所示，本方法包括以下步骤：

步骤1：收集材料数据库中的材料数据，采用大数据清洗技术对存储在原有数据库中的材料数据进行数据清洗，初始化系统状态，为后续数据传输做准备。

其中，对存储在原有数据库中的材料数据进行数据清洗及标准化，需要依托行业准则，注重资源数据库的建立准则和挖掘手段。

步骤2：将封闭式数据库更新为共享数据库，利用网络切片技术，通过对切片进行特殊化定制，实现高效率、高质量的数据采集和传输。

其中，上述步骤2具体如下：

使用原有特定数据库中的数据，通过高通量智能传感设备端口采集材料数据，接收到材料数据后将其提交到材料数据协同网络，形成数据共享。对该材料数据协同网络进行网络切片的定制，实现传输能效最大化的同时保证下载缓存性能，即处理并调整全局控制器和两个切片对应的控制器之间的关系。

其中，为了提高数据传输效率，本实施例采用网络切片技术对材料数据协同网络进行切片定制化处理。为了减轻全局控制器的负担，实现片的定制，本实施例的材料数据协同网络采用了由一个全局控制器和两个定制化的切片控制器组成的分层资源分配体系结构，其中，上层的全局控制器负责根据切片控制器的性能反馈和一些关于片的粗略信息将资源分配给片，下层的两个切片控制器可以单独决定如何分配可用的资源。基于此，本实施例将数据传输效率转化为协调全局控制器和切片对应的控制器之间关系的优化问题，旨在满足不同模块的性能同时实现材料数据协同网络中数据的高效率、高质量的稳定传输。

本实施例通过处理并调整好全局控制器和两个切片控制器之间的关系，考虑全局控制器和切片控制器s1、s2的优化问题。主要目的是在保证切片控制器s1的传输能效最大化的情况下，同时保证切片控制器s2的下载缓存性能。材料数据协同网络模型如图2所示。其中，为了实现片间隔离，全局控制器使用不相交的子信道集来分配切片控制器s1和s2，且s1可以部署在强大的云服务器上，而切片控制器s2则可以部署在具有边缘计算能力的边缘节点上。

需要说明的是，全局控制器需同时考虑两个切片控制器的性能，并根据反馈决定分配的资源。然而，由于两个切片控制器的性能目标可能会有冲突，因此同时实现二者的最优化是不现实的。对此，本实施例设置全局控制器的目标是最大化切片控制器s1的能量效率，同时保证切片控制器s2的下载缓存性能。最终实现材料数据的高效率、高质量的采集和传输。优化问题表示为下式：

其中，和分别表示分配给s1和s2的不相交的子信道，ee1表示为s1的能量效率，u1和u0分别表示s1的传输功耗和全局控制器效用值设定的最大传输功耗，f2为全局控制器同时考虑两个切片控制器时的性能函数。

对于该优化问题有三个约束条件：1)全局控制器将把所有可用的子信道分配给两个切片控制器；2)为避免片之间的干扰，对两个切片进行片间隔离；3)考虑到不同的子信道复用程度，应保证s2上的用户有足够多的子信道。

在该全局控制器效用的定义中，效用值设置如下：

将切片控制器s1的最大传输功耗作为惩罚，当切片控制器s2的性能要求无法满足设定值时，此时，全局控制器应该同时考虑两个片的性能，根据两个切片的反馈和粗略信息制定资源分配策略。

为解决全局控制器效用最优化的问题，本实施例将该数据传输优化问题转化为全局控制器和两个切片控制器之间的博弈，上述优化问题可以建模为一个斯塔克伯格博弈，由于全局控制器处于强势地位，每个切片控制器只能对其分配的结果做出响应，所以将全局控制器设为领导者，两个切片对应的控制器设为跟随者，最终目的为达到博弈的均衡状态：斯塔克伯格博弈均衡点。将该均衡状态作为该资源分配的结果，即为全局控制器和两个切片都能满足其性能需求的折中方案。其中博弈均衡点可以通过下述的穷举搜索算法进行识别查找。

基于穷举的识别博弈均衡点的算法流程如下：

1、第一阶段：

全局控制器生成所有可能满足三个约束条件的策略d，其集合记作d，并初始化空集q。如果d为空，算法终止，没有解。否则，进入第二阶段。

2、第二阶段：

对于每个子信道分配策略d∈d。

1)全局控制器将策略d分配给两个切片，每个切片控制器基于穷举搜索做出最优反应。

2)如果相应问题不可行，对应的切片控制器将该问题不可行的信息反馈给全局控制器。否则，切片控制器将其最佳运行程序的返回值反馈给全局控制器。

3)当接收到两个切片控制器的效用值时，全局控制器将当前的d添加到q中，并将其实现的效用记录为u(d)。

3、第三阶段：

如果q是非空的，而d加上相应的切片最优策略，就构成了博弈的均衡状态。如果全局控制器有多个较优策略，则选择导致切片控制器s2下载延迟最小的最佳策略作为系统操作策略。

其中，基于穷举搜索的算法目的是为了求出公式化对策的博弈均衡点。对全局控制器而言，只需一些粗糙的信息，比如s2的用户数量和性能反馈，就可以搜索到全局控制器的最优策略，从而避免了全局信道状态信息的收集。如果材料数据协同网络中材料数据规模较大，在有限的决策时间内获得最优策略是不现实的。考虑到这一事实，本方法有理由将全局控制器和切片控制器视为具有有限理性的参与者，其目标是找到同时满足二者性能的较优解而不是最优解。

其中，需要说明的是，在博弈论对资源分配的应用中，用户的效用并不总是完全冲突的。例如，在一个非合作博弈中，用户的效用可以是相同的，并与全局性能相对应，领导者的意图是最大化所有跟随者用户的总和率。因此，本实施例对全局控制器的效用选择是合理的。

步骤3：采用大数据云平台的批处理数据模式发展实时数据处理技术，实现数据可视化，对材料大数据进行分析与挖掘，以实现其在大数据研发中的价值。

其中，在本实施例中，上述步骤3的实现过程包括：引入高通量技术和新兴大数据技术，增大数据产生速率，同时增大网络价值。

综上，本实施例对材料生产数据进行采集，采用大数据清洗技术对材料数据进行数据清洗，保证数据的价值；然后通过网络切片技术进行按需定制化服务，实现数据高效率、高质量的采集和传输，将数据存储于共享数据库中，并且对其进行分析、建模和可视化研究，实现材料大数据在新材料研发中的价值。

第二实施例

本实施例提供了一种面向材料大数据的数据收集传输装置，包括以下模块：

数据收集模块，用于收集材料数据库中的材料数据，并采用大数据清洗技术进行数据清洗；

数据传输模块，用于将清洗后的材料数据提交至预设的材料数据协同网络，形成数据共享；利用网络切片技术对材料数据协同网络进行网络切片定制化处理，基于博弈理论，在实现数据传输能效最大化的同时保证数据下载缓存性能。

本实施例的面向材料大数据的数据收集传输装置与上述第一实施例的面向材料大数据的数据收集传输方法相对应；其中，本实施例的面向材料大数据的数据收集传输装置中的各功能模块所实现的功能与上述第一实施例的面向材料大数据的数据收集传输方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。