一种基于多源数据的市场监管信息融合平台及其方法与流程

本发明涉及数据处理，特别是一种基于多源数据的市场监管信息融合平台及其方法。

背景技术：

1、市场监管有来自多行业、多部门的不同类别报表和相关监管数据，多部门间不同应用系统的不同数据具有格式不同、结构不同、类型不同、标准不一的特征，如何整合这些数据，使之快速准确展现城市经济社会与发展的现状，分析与预测未来趋势，成为面临的挑战之一。

2、现阶段的对于市场监管数据融合主要采用数据级融合，即直接对传感器数据进行融合处理或进行特征级融合，数据级融合是基于融合后的结果进行特征提取和判断决策，这种数据融合应用在市场监管上的缺点有抗干扰能力差、实时性差、对算力要求高、平台负载率大；特征级融合是每个传感器先抽出自己的特征向量，然后由融合平台完成融合处理，可以划分为目标状态和目标特征信息融合。虽然压缩了数据，且解决了实时性的问题，但是存在一定的数据丢失情况，取决于特征提取过程的判断，融合性能有所降低；导致现阶段的市场监管信息数据处理效果一般，不利于多源数据市场监管信息的数据融合处理，所以我们提出一种基于多源数据的市场监管信息融合平台及其方法。

技术实现思路

1、鉴于上述现有的市场监管数据处理中存在的问题，提出了本发明。

2、因此，本发明其中的一个目的是提供一种基于多源数据的市场监管信息融合平台及其方法，其通过目标区域的构建和分析，能够融合局部决策判断特征后再进行局部区域多源数据的融合，在压缩数据和保障实时性的同时，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率，使得多源数据的市场监管信息的融合工作变得高效且准确。

3、为解决上述技术问题，本发明提供如下技术方案：一种基于多源数据的市场监管信息融合平台，包括：

4、数据采集模块，用于各行业中多源的原始市场监管信息录入与采集，获取原始市场监管信息的多源数据以及相应的标签，且数据采集模块包括数据预处理单元和区域配置管理单元；

5、数据处理模块，用于市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；

6、目标区域构建模块，用于构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据bp神经网络的处理生成目标区域特征向量；

7、数据划分模块，用于原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；

8、局部决策构建模块，用于对局部决策判断特征向量进行融合，生成局部区域融合子数据集；

9、数据融合模块，用于局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

10、还包括数据存储模块，用于市场监管信息的融合数据的缓存，所述数据存储模块采用数据集群和分布式数据库。

11、作为本发明的一种优选方案，其中：所述数据划分模块基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，具体采用探照矩阵进行分类，所述子数据集按照预定的行列数量进行构造后获得子探照矩阵，所述子探照矩阵如下式所示：

12、

13、其中，xsp为子探照矩阵，p为子数据集元素数量，m，n分别表示子探照矩阵的列数和行数，且m*n＝p；

14、根据子数据集分析筛选出局部决策判断特征向量，具体地采用余弦相似度模型进行相似度判断进行判断后筛选得出，如下式所示：

15、

16、其中，ak为第k个子数据集特征向量集合值；bk为第k个目标区域特征向量集合值；m为第k个数值的项数，sk为相似度，cos(θ)为子数据集特征向量和目标区域特征向量的余弦值，将所述余弦值映射在预设的局部决策区间内，区间内的余弦值被设置为局部决策判断特征向量。

17、作为本发明的一种优选方案，其中：所述局部决策构建模块对局部决策判断特征向量进行融合，采用获取子探照矩阵后，匹配探照半径以及定位探照位置，再根据探照位置以及所述探照灯半径对所述子探照矩阵进行提取，获得提取矩阵，根据提取矩阵获得市场监管信息的融合数据，所述提取矩阵的计算如下式所示：

18、

19、其中，为子探照矩阵的第j个提取矩阵；r为探照半径，xj为第j个提取数据。

20、作为本发明的一种优选方案，其中：所述数据融合模块对多源局部区域融合子数据集的融合，是采用基于可靠性的加权融合算法，对原始市场监管信息中的多源局部区域进行可靠性评估后完成子数据集的融合，具体地根据局部区域中多源数据的可靠性确定融合的权重，如下式所示：

21、

22、

23、式中，x为融合后的数据特征；xi为第i个数据源的数据；wi为第i个数据源的数据的权重，采用置信度指数换算确定；tii为第i个数据源的置信度指数；u为第i个数据源的项数。

24、作为本发明的一种优选方案，其中：所述预处理单元用于市场监管信息数据库的数据抽取、转换、清洗以及标准化处理，形成ods数据库，所述清洗是的对市场监管信息数据中的空值进行处理，去除重复、错误或不完整的数据，将缺失超过20％以上的样本特征进行删除；所述转换是对市场监管信息数据中转换为统一格式或类型；所述标准化处理是对于市场监管信息数据采用z-score规范化，取消由量纲不同引起的误差，统一数据尺度。

25、作为本发明的一种优选方案，其中：所述数据处理模块用于市场监管信息数据库特征选择、特征构造和转化处理，形成市场监管信息输入的新特征，所述特征选择是对目标的特征数据集进行方差特征筛选，选择方差大于预设阈值的特征，去除冗余数据，所述特征构造是根据目标知识和数据特性构造新的特征数据集。

26、作为本发明的一种优选方案，其中：所述区域配置管理单元用于市场监管信息所对应区域内的被配置处理，具体采用one-hot程序对目标区域类别型属性进行编码；所述bp神经网络包括输入层、隐含层和输出层，隐含层采用tansig函数，输出层采用purelin函数；输入层有明细表数据特征和多源文件数据特征；输出层有目标区域体系框架类目。

27、作为本发明的一种优选方案，其中：还包括数据应用模块，与数据服务开放平台数据连接，用于经市场监管信息融合平台的数据融合模块分析后，形成相应的报表和api数据，以供用户查看和使用；数据服务开放平台接收市场监管信息的融合数据数据并进行可视化呈现。

28、作为本发明的一种优选方案，其中：所述应用模块包括：

29、编目管理单元，用于将数据发布至市场监管信息化的区域体系框架标准服务的目标区域分类目录下，并对目标区域服务分类树进行服务分类的编辑处理；

30、数据服务发布单元，用于根据目标区域企业的数据服务分类要求将治理后的合规数据发布至对应的数据服务目录中；

31、数据服务目录单元，用于通过目录形式呈现发布的各类融合数据的服务资源；

32、数据查询推送单元，用于对融合数据进行对外查询和推送；

33、数据服务监控单元，用于动态展现各项融合数据服务的订阅信息；

34、数据服务安全管理单元，用于提供注册管理和安全验证功能；

35、数据管理单元，用于对融合数据进行一站式动态追踪盘点，对融合数据进行查询检索；

36、中台全景图单元，用于通过系统动态图展示市场监管信息融合平台的全景；

37、数据运营大屏展示单元，用于通过大屏动态展现市场监管信息融合平台的数据运营情况；

38、即视查询单元，用于对通过自定义查询条件对数据进行可视化查询和各类融合数据呈现；

39、数据地图单元，用于对数据文件夹、数据集、元数据和各类融合数据内容的查询检索。

40、一方面，本发明提供一种基于多源数据的市场监管信息融合平台的方法，包括以下步骤：

41、步骤s101，获取各行业中多源的原始市场监管信息数据，并进行数据预处理和区域配置管理；

42、步骤s102，接收经过数据预处理后的市场监管信息数据，对市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；

43、步骤s103，构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据bp神经网络的处理生成目标区域特征向量；

44、步骤s104，将原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；

45、步骤s105，将局部决策判断特征向量进行融合，生成局部区域融合子数据集

46、步骤s106，将局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

47、步骤s107，将市场监管信息的融合数据进行输出，形成相应的报表和api数据，以供用户查看、使用和可视化呈现。

48、本发明的有益效果：本发明的市场监管信息融合平台在多源数据融合处理时，根据市场监管的地区性特征，采用通过目标区域的构建和分析，能够融合局部决策判断特征后再进行局部区域多源数据的融合，实现了很好的局部区域的决策级融合工作，在压缩数据和保障实时性的同时，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率，使得多源数据的市场监管信息的融合工作变得高效且准确。