一种基于CIM的海量数据分析方法及系统与流程

一种基于cim的海量数据分析方法及系统
技术领域
1.本发明涉及数据分析技术领域，特别涉及一种基于cim的海量数据分析方法及系统。


背景技术：

2.目前，cim(城市信息模型)是以建筑信息模型(bim)、地理信息系统(gis)、物联网(iot)等技术为基础，整合城市地上地下、室内室外、历史现状未来多维多尺度信息模型数据和城市感知数据，构建起三维数字空间的城市信息有机综合体。每时每刻城市中产生的数据都是海量的，如何对海量数据进行分析获得cim所需要的数据是亟需解决的技术问题。


技术实现要素：

3.本发明目的之一在于提供了一种基于cim的海量数据分析方法，以实现从海量数据中提取cim所需的数据，并基于该数据确定cim中的参数，实现cim的实时更新。
4.本发明实施例提供的一种基于cim的海量数据分析方法，包括：
5.构建对应cim的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；
6.对待处理数据进行归类分组，获得多个分组数据；
7.将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定cim中的参数。
8.优选的，构建对应cim的数据筛选库，包括：
9.获取cim的历史的输入数据；
10.对输入数据进行归类，获取多个数据筛选组；
11.对数据筛选组中的输入数据进行特征提取，获得多个特征值；
12.基于提取的特征值确定数据筛选组的筛选关键特征。
13.优选的，基于提取的特征值确定数据筛选组的筛选关键特征，包括：
14.提取数据筛选组中输入数据的特征值的值都相同的特征值，作为筛选关键特征中的第一类筛选项，并赋予第一权重；
15.提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，作为筛选关键特征中的第二类筛选项，并赋予第二权重；
16.提取数据筛选组中输入数据的特征值的值不相同且差值超出预设的阈值范围内的特征值，作为筛选关键特征中的第三类筛选项，并赋予第三权重；
17.其中，第一权重大于第二权重和第三权重；第二权重大于第三权重。
18.优选的，基于数据筛选库对海量数据进行筛选，获取待处理数据；包括：
19.对海量数据中的待筛选数据进行特征，获取特征矩阵；
20.基于特征矩阵分别与筛选关键特征中的第一类筛选项、第二类筛选项和第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；
21.基于第一匹配数目、第二匹配数目、第三匹配数目、第一权重、第二权重和第三权重，确定匹配值，计算公式如下：
[0022][0023]
其中，p为匹配值；m
1i
为特征矩阵与第一类筛选项中第i个筛选数据的第一匹配度；m
2j
为特征矩阵与第二类筛选项中第j个筛选数据的第二匹配度；m
3k
为特征矩阵与第三类筛选项中第k个筛选数据的第三匹配度；α1、α2、α3分别为第一权重、第二权重、第三权重；n为第一类筛选项中的数据总数；m为第二类筛选项中的数据总数；n为第三类筛选项中的数据总数；
[0024]
当匹配值大于预设的匹配阈值时，将待筛选数据作为待处理数据。
[0025]
优选的，对待处理数据进行归类分组，获得多个分组数据；包括：
[0026]
获取预设的分组关键词表，
[0027]
基于分组关键词表对待处理数据进行归类分组；
[0028]
基于cim的海量数据分析方法，还包括：
[0029]
将经过归类分组未能确定其归属的待处理数据存储至待归类数据库；
[0030]
当待归类数据库中的数据量大于预设的数据阈值时，计算待归类数据库中两两待处理数据的相似度，相似度计算公式如下：
[0031][0032]
其中，d
x,y
为待归类数据库中第x个待处理数据和第y个待处理数据之间的相似度；x
l
为第x个待处理数据经过特征提取后的第l个特征值；y
l
为第y个待处理数据经过特征提取后的第l个特征值；l为待处理数据经过特征提取后提取的特征值的总数；p为预设常数；
[0033]
基于相似度对待归类数据库中的待处理数据进行分组，各个分组中的待处理数据之间的相似度大于预设的分组阈值；
[0034]
确定各个分组中的待处理数据的数量，当各个分组中的待处理数据的数量大于验证阈值时，将该分组的待处理数据进行打包为验证包，并将验证包发送至多个验证终端；
[0035]
接收验证终端的反馈信息；
[0036]
解析反馈信息，确定验证包的处理方案；
[0037]
当处理方案为进行分组时，确定验证包对应的分组类别及分组关键词；
[0038]
并将该分组类别及分组关键词添加进分组关键词表；
[0039]
当处理方案为剔除时，基于验证包构建剔除数据库，在应用数据筛选库对海量数据进行筛选后，采用剔除数据库对待处理数据进行剔除。
[0040]
优选的，解析反馈信息，确定验证包的处理方案，包括：
[0041]
解析反馈信息，确定处理方案的个数；
[0042]
当处理方案的个数不为一时，确定各个处理方案的可信度，可信度计算公式如下：
[0043][0044]
其中，ks为可信度；δ
d
为预设的支持处理方案的验证终端的置信值；ε
d
为预设的支持处理方案的验证终端的预设权重；d为支持处理方案的验证终端的总数；
[0045]
将可信度最大的处理方案作为验证包的处理方案。
[0046]
本发明还提供一种基于cim的海量数据分析系统，包括：
[0047]
筛选模块，用于构建对应cim的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；
[0048]
分组模块，用于对待处理数据进行归类分组，获得多个分组数据；
[0049]
确定模块，用于将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定cim中的参数。
[0050]
优选的，筛选模块执行如下操作：
[0051]
获取cim的历史的输入数据；
[0052]
对输入数据进行归类，获取多个数据筛选组；
[0053]
对数据筛选组中的输入数据进行特征提取，获得多个特征值；
[0054]
基于提取的特征值确定数据筛选组的筛选关键特征。
[0055]
优选的，基于提取的特征值确定数据筛选组的筛选关键特征，包括：
[0056]
提取数据筛选组中输入数据的特征值的值都相同的特征值，作为筛选关键特征中的第一类筛选项，并赋予第一权重；
[0057]
提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，作为筛选关键特征中的第二类筛选项，并赋予第二权重；
[0058]
提取数据筛选组中输入数据的特征值的值不相同且差值超出预设的阈值范围内的特征值，作为筛选关键特征中的第三类筛选项，并赋予第三权重；
[0059]
其中，第一权重大于第二权重和第三权重；第二权重大于第三权重。
[0060]
优选的，筛选模块还执行如下操作：
[0061]
对海量数据中的待筛选数据进行特征，获取特征矩阵；
[0062]
基于特征矩阵分别与筛选关键特征中的第一类筛选项、第二类筛选项和第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；
[0063]
基于第一匹配数目、第二匹配数目、第三匹配数目、第一权重、第二权重和第三权重，确定匹配值，计算公式如下：
[0064][0065]
其中，p为匹配值；m
1i
为特征矩阵与第一类筛选项中第i个筛选数据的第一匹配度；m
2j
为特征矩阵与第二类筛选项中第j个筛选数据的第二匹配度；m
3k
为特征矩阵与第三类筛选项中第k个筛选数据的第三匹配度；α1、α2、α3分别为第一权重、第二权重、第三权重；n为第一类筛选项中的数据总数；m为第二类筛选项中的数据总数；n为第三类筛选项中的数据总数；
[0066]
当匹配值大于预设的匹配阈值时，将待筛选数据作为待处理数据。
[0067]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0068]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0069]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实
施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0070]
图1为本发明实施例中一种基于cim的海量数据分析方法的示意图。
具体实施方式
[0071]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0072]
本发明实施例提供了一种基于cim的海量数据分析方法，如图1所示，包括：
[0073]
步骤s1：构建对应cim的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；
[0074]
步骤s2：对待处理数据进行归类分组，获得多个分组数据；
[0075]
步骤s3：将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定cim中的参数。
[0076]
上述技术方案的工作原理及有益效果为：
[0077]
事先根据cim更新的所需数据的特征构建数据筛选库，其中，特征包括：数据构成、类型、结构、数据长度等，将海量数据中的不符合所需数据进行筛选剔除；将筛选的数据进行归类分组，主要根据cim更新数据的数据项进行分组，分组后通过预设的识别分析模型进行数据分析识别，确定对应的参数的值；基于确定的参数的值，实现cim中数据的更新。识别分析模型为事先设置，例如温度传感器的数据采用温度传感器对应的数据识别分析模型，压力传感器的数据采用压力传感器对应的数据识别分析模型；归类分组最总的目的是确定数据该使用哪个数据识别分析模型进行识别，防止数据识别分析的错误的发生。数据筛选库的构建可以采用人工构建的方式，即通过可视化界面设置数据各个方面的参数范围。
[0078]
本发明的基于cim的海量数据分析方法，以实现从海量数据中提取cim所需的数据，并基于该数据确定cim中的参数，实现cim的实时更新。
[0079]
在一个实施例中，构建对应cim的数据筛选库，包括：
[0080]
获取cim的历史的输入数据；
[0081]
对输入数据进行归类，获取多个数据筛选组；
[0082]
对数据筛选组中的输入数据进行特征提取，获得多个特征值；
[0083]
基于提取的特征值确定数据筛选组的筛选关键特征。
[0084]
上述技术方案的工作原理及有益效果为：
[0085]
构建数据筛选库，也可以从用户输入cim的历史的输入数据出发，进行分析，确定筛选组和筛选关键特征；当接收到的海量数据中存在筛选关键特征相关的数据时，提取该数据，以此来对海量数据进行筛选。
[0086]
在一个实施例中，基于提取的特征值确定数据筛选组的筛选关键特征，包括：
[0087]
提取数据筛选组中输入数据的特征值的值都相同的特征值，作为筛选关键特征中的第一类筛选项，并赋予第一权重；
[0088]
提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，作为筛选关键特征中的第二类筛选项，并赋予第二权重；
[0089]
提取数据筛选组中输入数据的特征值的值不相同且差值超出预设的阈值范围内的特征值，作为筛选关键特征中的第三类筛选项，并赋予第三权重；
[0090]
其中，第一权重大于第二权重和第三权重；第二权重大于第三权重。
[0091]
上述技术方案的工作原理及有益效果为：
[0092]
通过将筛选关键特征进行分类分级进行权重赋予，确定各个类别的筛选项具有不同的效用，以保证在筛选时筛选的准确性。第二类筛选项中的筛选标准值为数据筛选组对应的特征值的均值；提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，其中，差值为最大值与最小值之差。第三类筛选项中的筛选标准值为数据筛选组各个数据的对应的特征值的均值。此外，一个数据筛选组就代表着一个筛选规则。
[0093]
在一个实施例中，基于数据筛选库对海量数据进行筛选，获取待处理数据；包括：
[0094]
对海量数据中的待筛选数据进行特征，获取特征矩阵；
[0095]
基于特征矩阵分别与筛选关键特征中的第一类筛选项、第二类筛选项和第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；
[0096]
基于第一匹配数目、第二匹配数目、第三匹配数目、第一权重、第二权重和第三权重，确定匹配值，计算公式如下：
[0097][0098]
其中，p为匹配值；m
1i
为特征矩阵与第一类筛选项中第i个筛选数据的第一匹配度；m
2i
为特征矩阵与第二类筛选项中第j个筛选数据的第二匹配度；m
3k
为特征矩阵与第三类筛选项中第k个筛选数据的第三匹配度；α1、α2、α3分别为第一权重、第二权重、第三权重；n为第一类筛选项中的数据总数；m为第二类筛选项中的数据总数；n为第三类筛选项中的数据总数；
[0099]
当匹配值大于预设的匹配阈值时，将待筛选数据作为待处理数据。
[0100]
上述技术方案的工作原理及有益效果为：
[0101]
通过待筛选数据提取后的特征值与筛选规则进行匹配，通过将筛选规则对应的筛选关键特征进行分类分级进行权重赋予，各个类别的筛选项具有不同的效用，以保证在筛选时筛选的准确性。只要待筛选数据与任意一个筛选规则的匹配值大于匹配阈值，就可以将该待筛选数据作为待处理数据。
[0102]
在一个实施例中，对待处理数据进行归类分组，获得多个分组数据；包括：
[0103]
获取预设的分组关键词表，
[0104]
基于分组关键词表对待处理数据进行归类分组；
[0105]
基于cim的海量数据分析方法，还包括：
[0106]
将经过归类分组未能确定其归属的待处理数据存储至待归类数据库；
[0107]
当待归类数据库中的数据量大于预设的数据阈值时，计算待归类数据库中两两待处理数据的相似度，相似度计算公式如下：
[0108][0109]
其中，d
x,y
为待归类数据库中第x个待处理数据和第y个待处理数据之间的相似度；x
l
为第x个待处理数据经过特征提取后的第l个特征值；y
l
为第y个待处理数据经过特征提取后的第l个特征值；l为待处理数据经过特征提取后提取的特征值的总数；p为预设常数；
[0110]
基于相似度对待归类数据库中的待处理数据进行分组，各个分组中的待处理数据之间的相似度大于预设的分组阈值；
[0111]
确定各个分组中的待处理数据的数量，当各个分组中的待处理数据的数量大于验证阈值时，将该分组的待处理数据进行打包为验证包，并将验证包发送至多个验证终端；
[0112]
接收验证终端的反馈信息；
[0113]
解析反馈信息，确定验证包的处理方案；
[0114]
当处理方案为进行分组时，确定验证包对应的分组类别及分组关键词；
[0115]
并将该分组类别及分组关键词添加进分组关键词表；
[0116]
当处理方案为剔除时，基于验证包构建剔除数据库，在应用数据筛选库对海量数据进行筛选后，采用剔除数据库对待处理数据进行剔除。
[0117]
上述技术方案的工作原理及有益效果为：
[0118]
基于预设的分组关键词表对数据进行分组；通过对数据进行关键词提取，然后查询分组关键词表，实现对数据的分组；能快速高效地是实现数据的分组分类；此外，当存在数据通过上述方法未能实现分组分类时，将数据暂存；当数据量满足一定条件时，打包分发给与系统连接的多个验证终端进行验证，可以采用人工验证或人工智能验证的方式实现；通过验证终端发来的处理方案，对暂存的数据进行处理；并适应性地改变筛选步骤及分组关键词表；以实现再次遇到类似数据时，系统能够自行处理；提高了系统的适应性及智能化。
[0119]
在一个实施例中，解析反馈信息，确定验证包的处理方案，包括：
[0120]
解析反馈信息，确定处理方案的个数；
[0121]
当处理方案的个数不为一时，确定各个处理方案的可信度，可信度计算公式如下：
[0122][0123]
其中，ks为可信度；δ
d
为预设的支持处理方案的验证终端的置信值；ε
d
为预设的支持处理方案的验证终端的预设权重；d为支持处理方案的验证终端的总数；
[0124]
将可信度最大的处理方案作为验证包的处理方案。
[0125]
上述技术方案的工作原理及有益效果为：
[0126]
当处理方案为多个且不同时，通过验证终端的置信值及预设权重，实现合理挑选处理方案，以获取数据处理的最优方案。
[0127]
本发明还提供一种基于cim的海量数据分析系统，包括：
[0128]
筛选模块，用于构建对应cim的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；
[0129]
分组模块，用于对待处理数据进行归类分组，获得多个分组数据；
[0130]
确定模块，用于将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定cim中的参数。
[0131]
上述技术方案的工作原理及有益效果为：
[0132]
事先根据cim更新的所需数据的特征构建数据筛选库，其中，特征包括：数据构成、类型、结构、数据长度等，将海量数据中的不符合所需数据进行筛选剔除；将筛选的数据进行归类分组，主要根据cim更新数据的数据项进行分组，分组后通过预设的识别分析模型进行数据分析识别，确定对应的参数的值；基于确定的参数的值，实现cim中数据的更新。识别分析模型为事先设置，例如温度传感器的数据采用温度传感器对应的数据识别分析模型，压力传感器的数据采用压力传感器对应的数据识别分析模型；归类分组最总的目的是确定
数据该使用哪个数据识别分析模型进行识别，防止数据识别分析的错误的发生。数据筛选库的构建可以采用人工构建的方式，即通过可视化界面设置数据各个方面的参数范围。
[0133]
本发明的基于cim的海量数据分析系统，以实现从海量数据中提取cim所需的数据，并基于该数据确定cim中的参数，实现cim的实时更新。
[0134]
在一个实施例中，筛选模块执行如下操作：
[0135]
获取cim的历史的输入数据；
[0136]
对输入数据进行归类，获取多个数据筛选组；
[0137]
对数据筛选组中的输入数据进行特征提取，获得多个特征值；
[0138]
基于提取的特征值确定数据筛选组的筛选关键特征。
[0139]
上述技术方案的工作原理及有益效果为：
[0140]
构建数据筛选库，也可以从用户输入cim的历史的输入数据出发，进行分析，确定筛选组和筛选关键特征；当接收到的海量数据中存在筛选关键特征相关的数据时，提取该数据，以此来对海量数据进行筛选。
[0141]
在一个实施例中，基于提取的特征值确定数据筛选组的筛选关键特征，包括：
[0142]
提取数据筛选组中输入数据的特征值的值都相同的特征值，作为筛选关键特征中的第一类筛选项，并赋予第一权重；
[0143]
提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，作为筛选关键特征中的第二类筛选项，并赋予第二权重；
[0144]
提取数据筛选组中输入数据的特征值的值不相同且差值超出预设的阈值范围内的特征值，作为筛选关键特征中的第三类筛选项，并赋予第三权重；
[0145]
其中，第一权重大于第二权重和第三权重；第二权重大于第三权重。
[0146]
上述技术方案的工作原理及有益效果为：
[0147]
通过将筛选关键特征进行分类分级进行权重赋予，确定各个类别的筛选项具有不同的效用，以保证在筛选时筛选的准确性。第二类筛选项中的筛选标准值为数据筛选组对应的特征值的均值；提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，其中，差值为最大值与最小值之差。第三类筛选项中的筛选标准值为数据筛选组各个数据的对应的特征值的均值。此外，一个数据筛选组就代表着一个筛选规则。
[0148]
在一个实施例中，筛选模块还执行如下操作：
[0149]
对海量数据中的待筛选数据进行特征，获取特征矩阵；
[0150]
基于特征矩阵分别与筛选关键特征中的第一类筛选项、第二类筛选项和第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；
[0151]
基于第一匹配数目、第二匹配数目、第三匹配数目、第一权重、第二权重和第三权重，确定匹配值，计算公式如下：
[0152][0153]
其中，p为匹配值；m
1i
为特征矩阵与第一类筛选项中第i个筛选数据的第一匹配度；m
2j
为特征矩阵与第二类筛选项中第j个筛选数据的第二匹配度；m
3k
为特征矩阵与第三类筛选项中第k个筛选数据的第三匹配度；α1、α2、α3分别为第一权重、第二权重、第三权重；n为第一类筛选项中的数据总数；m为第二类筛选项中的数据总数；n为第三类筛选项中的数据总数；
[0154]
当匹配值大于预设的匹配阈值时，将待筛选数据作为待处理数据。
[0155]
上述技术方案的工作原理及有益效果为：
[0156]
通过待筛选数据提取后的特征值与筛选规则进行匹配，通过将筛选规则对应的筛选关键特征进行分类分级进行权重赋予，各个类别的筛选项具有不同的效用，以保证在筛选时筛选的准确性。只要待筛选数据与任意一个筛选规则的匹配值大于匹配阈值，就可以将该待筛选数据作为待处理数据。
[0157]
在一个实施例中，分组模块执行如下操作：
[0158]
获取预设的分组关键词表，
[0159]
基于分组关键词表对待处理数据进行归类分组；
[0160]
基于cim的海量数据分析系统，还包括：应急处理模块，
[0161]
应急处理模块执行如下操作：
[0162]
将经过归类分组未能确定其归属的待处理数据存储至待归类数据库；
[0163]
当待归类数据库中的数据量大于预设的数据阈值时，计算待归类数据库中两两待处理数据的相似度，相似度计算公式如下：
[0164][0165]
其中，d
x,y
为待归类数据库中第x个待处理数据和第y个待处理数据之间的相似度；x
l
为第x个待处理数据经过特征提取后的第l个特征值；y
l
为第y个待处理数据经过特征提取后的第l个特征值；l为待处理数据经过特征提取后提取的特征值的总数；p为预设常数；
[0166]
基于相似度对待归类数据库中的待处理数据进行分组，各个分组中的待处理数据之间的相似度大于预设的分组阈值；
[0167]
确定各个分组中的待处理数据的数量，当各个分组中的待处理数据的数量大于验证阈值时，将该分组的待处理数据进行打包为验证包，并将验证包发送至多个验证终端；
[0168]
接收验证终端的反馈信息；
[0169]
解析反馈信息，确定验证包的处理方案；
[0170]
当处理方案为进行分组时，确定验证包对应的分组类别及分组关键词；
[0171]
并将该分组类别及分组关键词添加进分组关键词表；
[0172]
当处理方案为剔除时，基于验证包构建剔除数据库，在应用数据筛选库对海量数据进行筛选后，采用剔除数据库对待处理数据进行剔除。
[0173]
上述技术方案的工作原理及有益效果为：
[0174]
基于预设的分组关键词表对数据进行分组；通过对数据进行关键词提取，然后查询分组关键词表，实现对数据的分组；能快速高效地是实现数据的分组分类；此外，当存在数据通过上述方法未能实现分组分类时，将数据暂存；当数据量满足一定条件时，打包分发给与系统连接的多个验证终端进行验证，可以采用人工验证或人工智能验证的方式实现；通过验证终端发来的处理方案，对暂存的数据进行处理；并适应性地改变筛选步骤及分组关键词表；以实现再次遇到类似数据时，系统能够自行处理；提高了系统的适应性及智能化。
[0175]
在一个实施例中，解析反馈信息，确定验证包的处理方案，包括：
[0176]
解析反馈信息，确定处理方案的个数；
[0177]
当处理方案的个数不为一时，确定各个处理方案的可信度，可信度计算公式如下：
[0178][0179]
其中，ks为可信度；δ
d
为预设的支持处理方案的验证终端的置信值；ε
d
为预设的支持处理方案的验证终端的预设权重；d为支持处理方案的验证终端的总数；
[0180]
将可信度最大的处理方案作为验证包的处理方案。
[0181]
上述技术方案的工作原理及有益效果为：
[0182]
当处理方案为多个且不同时，通过验证终端的置信值及预设权重，实现合理挑选处理方案，以获取数据处理的最优方案。
[0183]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。