基于大数据的施工工程分包价格评估系统及方法与流程

本发明涉及信息技术领域，具体地，涉及一种基于大数据的施工工程分包价格评估系统及方法。

背景技术：

随着大数据、云时代和新工业革命的到来，世界正在迈入一个全新的智能时代。建筑工程领域是数据量最大、业务规模最大的大数据行业，但同样是当前各行业中最没有数据的行业。

建筑工程项目往往具有投资额大、建设周期长、不确定因素多、风险大、参与人员多等特征。现有建筑分包主要是根据经验主观做出相应的决策，难以保证决策的科学性和准确性，容易导致人力和物力的浪费现象，从而加大工程项目的实际成本。

为了消除建筑工程的数据孤岛，深化大数据在建筑工程项目管理各阶段中的应用，进而提高建筑工程项目管理水平。需要一种立足建筑工程的海量数据，利用大数据技术实现建筑工程分包的价格评估系统，从而能够为建筑工程项目管理提供新提升路径。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于大数据的施工工程分包价格评估系统及方法。

根据本发明提供的基于大数据的施工工程分包价格评估系统，包括：

数据收集模块，用于收集总包公司的要求以及分包公司的报价和评价信息生成分包数据；

信息预处理模块，用于对所述分包数据中重复数据和异常数据进行处理，以生成有效分包数据；

特征处理模块，用于对所述有效分包数据进行特征处理，生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系；

评估模块，用于根据每一分包公司的所述对应关系生成每一分包公司的评分、价格预测值以及评价信息预测值；

决策模块，用于获取用户的要求，并根据用户的要求匹配对应的至少一分包公司。

优选地，所述数据收集模块包括爬虫技术模块和信息读取模块，

所述爬虫模块，用于在网站上爬取每个分包公司的报价和评价信息；

所述信息读取模块，用于收集总包公司的要求。

优选地，，当对所述分包数据中异常数据进行处理时包括如下步骤：

对所述分包数据中的非结构数据进行结构化处理生成结构化分包数据；

对所述结构化分包数据对数变换后，使得所述结构化分包数据呈正态分布；

清洗掉所述结构化分包数据中位于三个标准差之外的数据。

优选地，对所述分包数据进行特征处理时包括如下步骤：

对所述分包数据中的与总包公司的要求相关联每一分包公司中报价和评价信息中相多个关联的信息特征进行选择；

对多个相关联的信息特征进行特征提取生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系。

优选地，所述评价信息包括客户满意度评分水平、行业内排名信息以及优势项目中的任一项或任多个。

优选地，决策模块，用于根据用户的要求匹配对应的多家分包公司，并将多家分包公司按照评分、价格预测值以及评价信息预测值中任一种或任多种进行排序。

本发明提供的基于大数据的施工工程分包价格评估方法，包括如下步骤：

步骤s1：收集总包公司的要求以及分包公司的报价和评价信息生成分包数据；

步骤s2：对所述分包数据中重复数据和异常数据进行处理，以生成有效分包数据；

步骤s3：对所述有效分包数据进行特征处理，生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系；

步骤s4：根据每一分包公司的所述对应关系生成每一分包公司的评分、价格预测值以及评价信息预测值；

步骤s5：获取用户的要求，并根据用户的要求匹配对应的至少一分包公司。

优选地，所述步骤s1包括如下步骤：

步骤s101：在多个分包公司的网站上爬取每个分包公司的报价和评价信息；

步骤s102：收集总包公司的要求。

优选地，当对所述分包数据中异常数据进行处理时包括如下步骤：

对所述分包数据中的非结构数据进行结构化处理生成结构化分包数据；

对所述结构化分包数据对数变换后，使得所述结构化分包数据呈正态分布；

清洗掉所述结构化分包数据中位于三个标准差之外的数据。

优选地，对所述分包数据进行特征处理时包括如下步骤：

对所述分包数据中的与总包公司的要求相关联每一分包公司中报价和评价信息中相多个关联的信息特征进行选择；

对多个相关联的信息特征进行特征提取生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系。

与现有技术相比，本发明具有如下的有益效果：

本发明通过数据收集模块、数据预处理模块、特征处理模块、评估模块、决策模块形成施工工程分包价格评估体系，对杂乱无序的数据进行特征提取、分类整理，能为总包和客户节约施工成本，合理使用预算。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中基于大数据的施工工程分包价格评估系统的示意图；

图2为本发明中正态分布经验准则示意图；

图3为本发明中对数化后的建筑工程分包数据；

图4为本发明中特征处理的原理示意图；

图5为本发明中基于大数据的施工工程分包价格评估系统模型的架构示意图；

图6为本发明中基于大数据的施工工程分包价格评估系统的框图；以及

图7为本发明中基于大数据的施工工程分包价格评估方法的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明中基于大数据的施工工程分包价格评估系统的示意图，如图1所示，本发明提供的基于大数据的施工工程分包价格评估系统，包括：

数据收集模块，用于收集总包公司的要求以及分包公司的报价和评价信息生成分包数据；

信息预处理模块，用于对所述分包数据中重复数据和异常数据进行处理，以生成有效分包数据；

特征处理模块，用于对所述有效分包数据进行特征处理，生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系；

评估模块，用于根据每一分包公司的所述对应关系生成每一分包公司的评分、价格预测值以及评价信息预测值；

决策模块，用于根据用户的要求匹配对应的至少一分包公司。

本发明通过数据收集模块、数据预处理模块、特征处理模块、评估模块、决策模块形成施工工程分包价格评估体系，对杂乱无序的数据进行特征提取、分类整理，能为总包和客户节约施工成本，合理使用预算。

所述数据收集模块包括爬虫技术模块和信息读取模块，

所述爬虫模块，用于在网站上爬取每个分包公司的报价和评价信息；所述评价信息包括客户满意度评分水平、行业内排名信息以及优势项目中的任一项或任多个。

所述信息读取模块，用于收集总包公司的要求。

在本发明一实施例中，所述爬虫模块用于爬取各个分包公司的网站，获取报价、客户满意度评分水平、行业内排名、优势项目等平均信息，从而能够获得分包公司以及对应分包工程的准确的信息。

本发明基于建筑工程分包价格评估的业务理解，尽可能找出对因变量有影响的自变量，并进行可用性评估：在建筑工程分包数据收集方面，评估数据的多样性决定了数据来源的复杂性。建筑工程分包的数据来源众多，数据结构随着数据来源的不同而各异，要想保证从多个数据源获取的结构复杂的大数据的质量并有效地对数据进行整合，是一项异常艰巨的任务。来自于大量不同数据源的数据之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的一致性、元数据定义的统一性及数据质量是一个复杂问题。另外，由于大数据的变化速度较快，有些数据的“有效期”非常之短，如果没有实时地收集所需的数据，有可能收集到的就是“过期的”、无效的数据，在一定程度上会影响大数据的质量。数据收集阶段是整个数据生命周期的开始，这个阶段的数据质量对后续阶段的数据质量起着直接的决定性的影响。

本发明抽取数据的标准，一是相关性，二是可靠性，三是有效性，通过对数据样本的精选，不仅能减少数据处理量，节省系统资源，也能将想要寻找的数据规律性凸显出来。本发明基于抽取数据的标准，将收集到的杂乱无章的数据进行评估、整合和采样来满足所需数据要求以便数据能更好的凸显其内在规律并减少对庞杂的数据对系统资源的占用量。

在本发明一实施例中，所述信息预处理模块，用于处理掉重复数据和异常数据，避免出现冗余数据；

当对所述分包数据中异常数据进行处理时包括如下步骤：

对所述分包数据中的非结构数据进行结构化处理生成结构化分包数据；

对所述结构化分包数据对数变换后，使得所述结构化分包数据呈正态分布；

清洗掉所述结构化分包数据中位于三个标准差之外的数据。

在本发明一实施例中，由于受到数据采集模块的精度以及数据产生过程中多重因素影响，可能会产生噪音数据，因此需要进行数据去噪。

当变量服从正态分布的假设下，均值左右三个标准差(3σ)内的范围面积为99.73％，即这段区域包含了99.73％的数据，如图3所示，如果某个值距离分布均值超过了3σ，那么可以简单标记其为一个异常值。

本发明中分包数据中存在数值类数据，如面积、单价等，当数值类数据中的极值存在明显异常值时，并且由于受异常值的影响变量的整体分布的偏度远大于0，不服从正态分布；本发明通过对数值类数据进行对数变换后使得偏度迅速接近于0，变量整体大致服从正态分布，如图4所示，可以使用3σ准则进行异常数值类值的初步清洗。通过相关数据清洗的方法，对不同粒度的噪音进行自动检测和消除。

在本发明一实施例中，当获得有效分包数据后，对所述有效分包数据进行特征提取，以对数据进行粒度划分。如观测各分包公司之间过去的合作关系，提取出相应的关系。

对所述分包数据进行特征处理时包括如下步骤：

对所述分包数据中的与总包公司的要求相关联每一分包公司中报价和评价信息中相多个关联的信息特征进行选择；

对多个相关联的信息特征进行特征提取生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系。

在本发明一实施例中，所述评估模块，根据收集到且经过处理后的有效分包数据，对比数据收集模块收集到的信息，对分包公司进行评分，对未来价格、工程满意度最优态势进行预测，并进行满意度预测。

所述评估模块对建筑大数据下工程分包价格建立数据模型，并进行多方面的数据分析。能够借助大数据平台的优势，实现分包公司下各个工程分包价格的评估，不同分包公司类型的智能化管理和自动设定，做到平台运行状态的稳定和持续。如图5所示，拟将建筑多种数据源，包括海量的成交和分包价格数据等进行数据集成，特征化后训练出多个回归子模型，然后在线上将新上的工程特征输入到这些模型中，预估出其在不同的时间点的分包价格，最后将多个模型结果进行融合。

在本实施例中，本发明提供的基于大数据的施工工程分包价格评估方法，包括如下步骤：

步骤s1：收集总包公司的要求以及分包公司的报价和评价信息生成分包数据；

步骤s2：对所述分包数据中重复数据和异常数据进行处理，以生成有效分包数据；

步骤s3：对所述有效分包数据进行特征处理，生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系；

步骤s4：根据每一分包公司的所述对应关系生成每一分包公司的评分、价格预测值以及评价信息预测值；

步骤s5：获取用户的要求，并根据用户的要求匹配对应的至少一分包公司。

在本发明一实施例中，所述步骤s1包括如下步骤：

步骤s101：在多个分包公司的网站上爬取每个分包公司的报价和评价信息；

步骤s102：收集总包公司的要求。

当对所述分包数据中异常数据进行处理时包括如下步骤：

在本发明一实施例中，对所述分包数据中的非结构数据进行结构化处理生成结构化分包数据；

对所述结构化分包数据对数变换后，使得所述结构化分包数据呈正态分布；

清洗掉所述结构化分包数据中位于三个标准差之外的数据。

对所述分包数据进行特征处理时包括如下步骤：

对所述分包数据中的与总包公司的要求相关联每一分包公司中报价和评价信息中相多个关联的信息特征进行选择；

对多个相关联的信息特征进行特征提取生成以及每一分包公司的报价和评价信息与总包公司的所述要求之间的对应关系。

在本实施例中，本发明通过数据收集模块、数据预处理模块、特征处理模块、评估模块、决策模块形成施工工程分包价格评估体系，对杂乱无序的数据进行特征提取、分类整理，能为总包和客户节约施工成本，合理使用预算。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。