数据资源价值的在线评估方法及装置

1.本发明属于机器学习技术领域，具体涉及一种数据资源价值的在线评估方法及装置。


背景技术：

2.近年来，异质资源交易市场逐渐扩大，其相关的服务网络交易平台也不断涌现。目前，在异质资源服务交易平台中对其价值精准评估是提升平台交易活跃度的关键所在。影响异质资源服务价值的因素众多，不同类型的服务价值评估对应的计算模型也不同，如影视作品、文创产品、专利等资源评价标准的数据结构，与其相对应价值评估模型的接口都难以统一，也导致对价值的精准评估非常困难。互联网技术的快速发展引领了一股数字经济潮流。中国现有数据交易市场上，各网络交易平台仍以依靠专家经验的主观评价为主，采用一事一议的评价形式，存在数据资源价值评价置信度和透明度“双低”的问题，难以为数据资源交易所涉多方提供有效的价值参考，数据交易达成效果并不理想。相关的理论研究中，数据资源价值评估方法包括资产评估、多属性综合评价和经济学方法三类，但多从数据拥有者角度展开探讨，与网络平台交易情境相差甚远，也有部分学者提出人工智能方法评价的研究思路，但相关研究尚不丰富，缺乏实证检验。


技术实现要素：

3.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种数据资源价值的在线评估方法及装置，以解决现有技术中无法评估数据资源价值或数据资源价值评估不理想的问题。
4.为实现以上目的，本发明采用如下技术方案：一种数据资源价值的在线评估方法，包括：
5.构建数据资源价值评估模型；
6.获取待评估数据；
7.将所述待评估数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。
8.进一步的，所述构建数据资源价值评估模型，包括：
9.预设bp神经网络模型参数；
10.根据bp神经网络模型参数构建bp神经网络模型；
11.确定自适应遗传算法参数并根据所述自适应遗传算法参数和bp神经网络模型构建数据资源价值评估模型。
12.进一步的，所述根据所述自适应遗传算法参数和bp神经网络模型构建数据资源价值评估模型，包括：
13.获取历史数据作为训练样本，预设bp神经网络拓扑结构；
14.利用所述bp神经网络拓扑结构获取所述训练样本的网络权值和阈值；
15.采用所述自适应遗传算法对所述网络权值和阈值进行计算，输出最优权值和阈值；
16.将所述最优权值和阈值反馈至所述bp神经网络拓扑结构中进行训练，得到数据资源价值评估模型。
17.进一步的，所述获取历史数据，包括：
18.获取大数据交易中心的数据作为历史数据；
19.所述历史数据包括：
20.交通环境、公共服务、健康医疗、金融商贸、科研应用、社交征信、文娱音乐、知识产权、智慧生活和产业数据。
21.进一步的，在所述历史数据作为训练样本之前，还包括：对所述历史数据进行预处理；所述对所述历史数据进行预处理，包括：
22.预设关键字，判断所述历史数据中是否存在所述关键字，如果缺失，则删除缺失关键字的历史数据；
23.判断所述历史数据中是否缺失数据属性，如果缺失，则计算缺失属性的历史数据对应的平均值或众数；并利用平均值或众数补充缺失的数据属性；
24.判断所述历史数据中是否存在重复的历史数据，如果存在，则删除所述重复的历史数据。
25.进一步的，所述对所述历史数据进行预处理，还包括：
26.统一所述历史数据的单元格格式。
27.进一步的，在得到数据资源价值评估模型后，还包括：
28.对所述数据资源价值评估模型进行封装并存储至后端平台。
29.进一步的，所述将预处理后的历史数据输入到所述数据资源价值评估模型中进行计算后输出评估结果，包括：
30.通过前端平台获取待评估数据；
31.将所述待评估数据通过ajax协议传送至后端平台的数据资源价值评估模型中进行计算后输出评估结果。
32.进一步的，在得到评估结果后，还包括：
33.将后端平台输出的评估结果转换为json格式传输至前端平台进行展示。
34.本申请实施例提供一种数据资源价值的在线评估装置，包括：
35.构建模块，用于构建数据资源价值评估模型；
36.获取模块，用于获取待评估数据；
37.评估模块，用于将所述待评估数据数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。
38.本发明采用以上技术方案，能够达到的有益效果包括：
39.本发明提供一种数据资源价值的在线评估方法及装置，所述方法包括构建数据资源价值评估模型；获取待评估数据；将所述待评估数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。本发明以网络交易平台上的历史数据为支撑，对数据资源价值评估进行分析与建模。需要进行价值评估的用户在选取价值评估模型后，将待评估数据上传至计算评估后，生成服务价值评估的结果文件或报表。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明数据资源价值的在线评估方法的步骤示意图；
42.图2为本发明构建数据资源价值评估模型的步骤示意图；
43.图3为本发明数据资源价值的在线评估装置的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
45.下面结合附图介绍本申请实施例中提供的一个具体的数据资源价值的在线评估方法及装置。
46.如图1所示，本申请实施例中提供的数据资源价值的在线评估方法，包括：
47.s101，构建数据资源价值评估模型；
48.数据资源价值评估模型用于对待评估数据进行评估计算，得出评估结果。
49.s102，获取待评估数据；
50.待评估数据可以为大数据交易中心的数据，还可以为网站上交通环境、公共服务、健康医疗、金融商贸、科研应用、社交征信、文娱音乐、知识产权、智慧生活和产业数据共计10类数据资源交易数据。
51.s103，将所述待评估数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。
52.数据资源价值的在线评估方法的工作原理为：首先构建数据资源价值评估模型，然后将待评估数据输入到数据资源价值评估模型中进行计算，得到评估结果进行显示。本申请实现了对数据资源价值进行在线评估。
53.一些实施例中，如图2所示，所述构建数据资源价值评估模型，包括：
54.s201，预设bp神经网络模型参数；
55.s202，根据bp神经网络模型参数构建bp神经网络模型；
56.s203，确定自适应遗传算法参数并根据所述自适应遗传算法参数和bp神经网络模型构建数据资源价值评估模型。
57.优选的，所述根据所述自适应遗传算法参数和bp神经网络模型构建数据资源价值评估模型，包括：
58.获取历史数据作为训练样本，预设bp神经网络拓扑结构；
59.利用所述bp神经网络拓扑结构获取所述训练样本的网络权值和阈值；
60.采用所述自适应遗传算法对所述网络权值和阈值进行计算，输出最优权值和阈值；
61.将所述最优权值和阈值反馈至所述bp神经网络拓扑结构中进行训练，得到数据资源价值评估模型
62.具体的，其具体过程如下：
63.步骤一，本申请首先设置bp神经网络参数；具体的bp神经网络参数的设计是输出层节点数为1，输出指标为数据资源累计成交额。神经网络训练中，网络训练目标为0.00001，学习率为0.02，在自适应遗传算法优化bp神经网络初始权值的过程中，种群数量为100，遗传迭代次数为500，交叉概率的自适应范围为[0.05，0.25]，变异概率的自适应范围为[0.05，0.1]。
[0064]
根据设置好的参数，在软件matlabr2018b中进行神经网络的构建、训练；bp神经网络拓扑结构包括隐含层层数、隐含层神经元个数、迭代次数、学习率、训练目标最小误差等。
[0065]
步骤二，获取历史数据作为训练样本，将bp神经网络初始化后的权值和阈值编码，以便加入自适应遗传算法。
[0066]
步骤三，确定自适应遗传算法参数，其包括种群数、迭代次数、变异概率上下限、交叉概率上下限、适应度函数等。其中，交叉概率取值范围一般在区间(0.4，0.99)间，变异概率取值范围一般在区间(0.001，0.1)间，适应度函数值用bp神经网络模型输出值与期望值之间的误差表示，所以适应度值越小的个体为最优解。可以理解的是自适应遗传算法为现有技术，本申请在此不做赘述。
[0067]
步骤四，用自适应遗传算法从初始权值和阈值开始计算其适应度，判断是否满足停止条件，不满足则按照适应度值对个体进行排序，根据优胜劣汰原则，选择保留适应度较优的个体。
[0068]
步骤五，将保留下来的个体根据其适应度值的大小进行交叉、变异操作，并随着个体适应度值的变化，判断其与种群平均适应度的关系自适应调整交叉概率和变异概率。
[0069]
步骤六，判断是否满足优化算法终止条件。设置达到最大迭代次数或者较优适应度值作为算法的终止条件，满足条件则优化算法结束，不满足条件则返回步骤四，重复执行步骤四至六。
[0070]
步骤七，最优权值阈值解码。也就是得到自适应遗传算法寻找的最优权值和阈值，将其解码回代bp神经网路拓扑结构。
[0071]
步骤八，训练bp神经网络并用训练好的bp神经网络利用joblibpython包将模型保存为文件存入后端平台的模型库中。
[0072]
优选的，所述获取历史数据，包括：
[0073]
获取大数据交易中心的数据作为历史数据；
[0074]
所述历史数据包括：
[0075]
交通环境、公共服务、健康医疗、金融商贸、科研应用、社交征信、文娱音乐、知识产权、智慧生活和产业数据。
[0076]
可以理解的是，历史数据并不限于上述数据还可以包括其他数据，本申请在此不做限定。
[0077]
优选的，在所述历史数据作为训练样本之前，还包括：对所述历史数据进行预处理；所述对所述历史数据进行预处理，包括：
[0078]
预设关键字，判断所述历史数据中是否存在所述关键字，如果缺失，则删除缺失关
键字的历史数据；
[0079]
判断所述历史数据中是否缺失数据属性，如果缺失，则计算缺失属性的历史数据对应的平均值或众数；并利用平均值或众数补充缺失的数据属性；
[0080]
判断所述历史数据中是否存在重复的历史数据，如果存在，则删除所述重复的历史数据。
[0081]
优选的，所述对所述历史数据进行预处理，还包括：
[0082]
统一所述历史数据的单元格格式。
[0083]
具体的，本申请中的历史数据可以选择武汉东湖大数据交易中心作为实证样本来源。或者通过网络爬虫获得该网站上交通环境、公共服务、健康医疗、金融商贸、科研应用、社交征信、文娱音乐、知识产权、智慧生活和产业数据共计10类数据资源交易数据。
[0084]
在将历史数据作为训练数据之前，要先将历史数据进行预处理，预处理包括，设置关键字，检查历史数据中的关键字段信息是否缺失，如果缺失，则删除此条数据；若一般属性值缺失，利用样本同类均值或众数补全缺失值；若出现重复数据，则仅保留一条有效数据。
[0085]
对采集数据的单元格格式进行统一，如删除数据单元格空白字符；统一数据大小计量单位，将其全部以kb为单位。
[0086]
优选的，在得到数据资源价值评估模型后，还包括：
[0087]
对所述数据资源价值评估模型进行封装并存储至后端平台。
[0088]
优选的，所述将预处理后的历史数据输入到所述数据资源价值评估模型中进行计算后输出评估结果，包括：
[0089]
通过前端平台获取待评估数据；
[0090]
将所述待评估数据通过ajax协议传送至后端平台的数据资源价值评估模型中进行计算后输出评估结果。
[0091]
优选的，将后端平台输出的评估结果转换为json格式传输至前端平台进行展示。
[0092]
可以理解的是，本申请将训练好的模型整体流程封装，利用python
‑
joblib包保存成单一文件，并将整体评估流程保存在后端平台的模型库中。
[0093]
将待评估数据上传到在线评估系统前端平台中，待评估数据经ajax协议传送至后端平台的相应路由中，经服务器调用模型库并使用模型计算模块对待评估数据进行计算，将输出结果转换为json格式返回给前端平台进行展示。
[0094]
如图3所示，本申请实施例提供一种数据资源价值的在线评估装置，包括：
[0095]
构建模块301，用于构建数据资源价值评估模型；
[0096]
获取模块302，用于获取待评估数据；
[0097]
评估模块303，用于将所述待评估数据数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。
[0098]
本申请实施例提供一种数据资源价值的在线评估装置的工作原理是，构建模块301构建数据资源价值评估模型；获取模块302获取待评估数据；评估模块303将所述待评估数据数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。
[0099]
本申请还提供一种云平台，云平台架构搭建了前后端分离式在线评估系统，支持数据文件的上传/价值评估和结果展示，数据资源价值评估模型在对待评估数据进行评估
时，需要通过数据资源价值评估指标体系进行评估，所述数据资源价值评估指标体系包括三个维度：数据特质因素、数据法律因素、数据市场因素。
[0100]
其中，数据特质因素包括指标数据活性度、数据规模度和数据新鲜度；数据法律因素包括指标数据独占度和数据确权度；数据市场因素包括指标市场关注度、数据应用度和数据资源价格。
[0101]
可以理解的是，在线评估系统包括前端平台和后端平台，其后端平台设有模型库，模型库中不仅可以放置数据资源价值评估模型还可以放置多种模型以供用户选择使用。
[0102]
本申请以网络交易平台上的历史成交数据为支撑，针对网络平台交易环境下的数据资源价值评估进行分析与建模。在线评估系统既可以上传数据使用已有模型进行服务价值评估，也可以直接上传价值评估模型供所有用户使用。该云平台一方面支持资源数据上传、数据格式转换和在线价值评估等功能，并以在线服务价值评估模型库的形式储存了不同类别的多种评估模型，另一方面也支持用户自行上传模型以实现弹性扩展模型的种类与数量。需要进行价值评估的用户在选取云平台中备选的价值评估模型后，将数据上传至云平台，平台完成对数据进行预处理和计算评估后，生成服务价值评估的结果文件或报表。
[0103]
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
[0104]
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的数据资源价值的在线评估方法；
[0105]
处理器用于调用并执行存储器中的计算机程序。
[0106]
综上所述，本发明提供一种数据资源价值的在线评估方法及装置，所述方法包括构建数据资源价值评估模型；获取待评估数据；将所述待评估数据输入到所述数据资源价值评估模型中进行计算后输出评估结果。本发明以网络交易平台上的历史成交数据为支撑，对数据资源价值评估进行分析与建模。需要进行价值评估的用户在选取价值评估模型后，将数据上传至计算评估后，生成服务价值评估的结果文件或报表。
[0107]
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
[0108]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0109]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。