基于大数据的跨行业数据资源整合系统的制作方法

本发明属于数据资源整合技术领域，特别涉及一种基于大数据的跨行业数据资源整合系统。

背景技术：

汽车作为一种较大型的交通工具，涉及的零配件有成千上万个，并且品类、型号复杂。传统汽车零配件包括常见的保养件、易损件、较少更换的非易损件以及发生事故后需要更换的事故件等。在上述四类配件中，非易损件虽然更换频率低，但由于配件单价较高，因此在后市场配件中价值占比最高，流通难度最大。对于专注于非易损件市场的公司而言，目前主要的瓶颈和挑战在于非易损件种类繁多，下游与车型匹配关系较为复杂且通用度极低，同时随新车型的发布急速增长，因此，若要统计出整个国家内甚至全球内某个非易损件品类的需求量，采用传统的人力搜集方法无异于大海捞针，加之我国汽车后市场上配件信息不透明，导致挖掘需求信息的难度非常大，根本无法实现。同时，汽车配件存在生命周期，只有准确预测提前布局才能持续不断的开发新品，适应市场需求。另一方面，后市场中存在数以万计的配件供应商，要将配件供应商与配件一一对应，仅仅依靠历史经验的积累也无法完成。

得益于近年来“互联网+”在各行各业的迅速渗透，在此大背景下，与信息化技术的融合为汽车后市场的不断发展完善提供了更多可能，更有助于高效的后市场供应链体系的形成。为此，本发明提出一种基于大数据的跨行业数据资源整合系统，能够比较全面准确的采集并处理配件信息，挖掘非易损件潜在需求，同时能够通过标签匹配，实现配件信息与供应商匹配透明化。利用本发明的系统，公司还可以准确把握产品周期、提前进行研发布局，从而在市场有需求时快速准确投入，保证持续稳定供货，大大降低了生产成本。同时，利用本发明的系统，还可以对上下游的客户群体进行有效整合，能够形成规模化效应，极大地降低了管理成本，使得公司销售额每年增长速度达20％以上，近年来毛利率达26％以上，而同行业竞争对手的毛利率平均只有5％左右，保持了优势的领先地位。

技术实现要素：

本发明需解决的技术问题是：跨行业采集并处理配件信息实现配件信息与供应商匹配透明化。

为了解决上述技术问题，本发明提出基于大数据的跨行业数据资源整合系统，包括：多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块和销售管理模块，

其中，多源异构数据采集模块包括采集子模块和存储子模块，采集子模块用于对多源异构数据进行采集，并对结构化数据进行批处理、对非结构化数据进行爬虫抓取、数据转换，处理转换完成后存储至分布式数据库中，

采集完成的数据进入存储子模块，并分类存储在存储子模块中；

多源异构数据融合计算模块包括bp神经网络计算子模块和权重修正优化子模块，bp神经网络计算子模块用于对每个多源异构数据进行处理得到预测初值，权重修正优化子模块用于对预测初值修正得到预测终值；

权重修正优化是指利用销售反馈数据中的销售额占比和利润率构建修正权重公式，得到优化后的预测需求量；

产品数据管理模块用于接收来自多源异构数据融合计算模块的计算结果，获取预测终值、进行项目立项决策、并自动接收包括设计过程、修改时间、负责人员、设计工具、项目反馈的数据信息；

采购管理模块通过获取零配件供应商的至少包含专利大数据、历史交易记录、平均交货周期、品牌车型数据的数据，形成跨行业供应商数据库，按照预先设定的标准将供应商数据分组存储，将供应商数据分组存储的标准包括专利申请量、专利授权率、运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、供应商信息的至少一种参数，据此对包括供应商的技术领先程度、市场占有率、平均交货周期以及覆盖车型品牌的至少一种参数进行评价；

销售管理模块用于将获取的客户数据信息形成销售商数据库，按照预先设定的标准分组存储，并根据预先设定的分析条件进行计算分析和销售订单跟踪，将符合分析条件的销售订单进行分析整理，生成目标客户名单序列表和销售订单跟踪记录，将获取的客户数据信息分组存储的标准包括运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、销售地域、客户信息的至少一种参数，所述分析条件包括运输时间、配件产品种类、车型、销售量、销售额、售后服务次数、平均交货周期、销售地域、客户信息的至少一种。

作为本发明的进一步改进，采集子模块采集数据的方法包括以下步骤：

步骤一：对于多源异构数据，首先判断其是结构化数据还是非结构化数据，属于结构化数据，则进入步骤二，对于非结构化数据则进入步骤三；

步骤二：通过批处理工具将结构化的数据表抽取到基于hadoop架构的分布式数据仓库hive中；

步骤三：如果是网页数据，则进行nutch爬虫抓取；如果不属于网页数据，与经nutch爬虫抓取的网页数据共同进入数据转换器，以文档的形式存储到基于hadoop架构的分布式数据库hbase中。

作为本发明批处理工具的进一步改进，批处理工具为sqoop和/或schema。

作为本发明的又一步改进，bp神经网络计算子模块的计算方法包括以下步骤：

(1)选择两层bp模型，不限制隐层节点数；

(2)确定输入数据指标，选择6个重要影响因素作为指标；

(3)确定输入层和输出层的节点数分别为6和1；

(4)将sigmoid函数作为传输函数，sigmoid函数的公式为：f(x)＝(1+e^-x)-1；

(5)将输入数据指标输入输入层，输入层接收到输入信号，计算权重和，然后根据单元的传输函数，将信号传给中间层，将输出信号送给输出层，公式如下：

net-inputj＝ij＝∑wioi

net-inputj＝oj＝f(ij)-(1+exp(-ij))^-1

式中：net为输入信号，inputj为输入层i单元实际输入值，inputj为输入层j单元实际输入值，ij为中间层单元实际输出值，oj为输出层j单元应有的输出值，wi为从输入层i单元到中间层i单元的连接权重，f(ij)传输函数为sigmoid函数。

(6)网络实际输出与应有的输出进行比较，如果误差超过给定值，则将误差从输出层传播至输入层，在后传过程中相应修改单元之间的连接权重。

(7)获取需求量预测初值。

作为本发明的再一步改进，权重修正优化子模块的优化方法包括以下步骤：

(1)从多源异构数据中抽取销售反馈数据，构建修正权重公式，所述公式为f(sn)＝α*si+β*sj。其中，0≤α、β≤1，si＝销售额占比，sj＝利润率。

(2)利用权重校正预测需求量，得到优化后的预测需求量。

作为本发明的又一步改进，分类标签包括：销售量、销售时间、价格、销售地域、交货期、品牌型号、适用车型、质量，质量标签包含涵盖返修率、评论数、评论星级。

作为本发明客户数据信息的进一步改进，客户数据信息包括历史订单、销售量、销售额和物流跟踪信息。

作为本发明的再一步改进，数据资源整合系统还包括用于实现所述采购管理模块与所述多源异构数据融合计算模块之间链接的配件数据平台，用于形成配件数据库与供应商数据库的匹配系统。

作为本发明的又一步改进，数据资源整合系统还包括库存预测预警模块、物流管理模块和/或生产模块，

库存预测预警模块用于获取不同车型不同配件产品的产量与实际销售量，将产量与实际销售量进行对比，并获取每一配件产品的销售地点及流向；

物流管理模块用于跟踪物流信息，通过获取运输阶段中的相关信息实现产品从出库到购买者的全链条跟踪、定位及状态信息；

生产模块用于管理汽车配件的品类、型号、生产量、销售量的数据信息，并将所述生产模块链接入库存预测预警模块中。

作为本发明的再一步改进，通过二维码系统对每件配件添加二维码作为唯一识别码，二维码系统与所述数据资源整合系统的其他模块配合使用以实现零配件与供应商以及销售商的准确匹配，零配件产销量监测、物流信息跟踪。

本发明有益效果：

本发明提出的基于大数据的跨行业数据资源整合系统，具有如下优点。

本发明的基于大数据的跨行业数据资源整合系统具有跨行业整合能力，通过多源异构数据采集模块、融合计算模块与产品二维码系统的协同作用可以整合数量、种类繁多的非易损件配件信息，通过配件数据平台将采购管理模块与多源异构数据融合计算模块进行链接，可以形成配件数据库与供应商数据库的匹配系统，通过销售管理模块和采购管理模块还可以有效整合数量极其庞大的供应商和销售商的信息资源。由于形成了准确全面的配件信息匹配系统，因此，本发明的基于大数据的跨行业数据资源整合系统能够对市场需求和变化做出快速响应以及调整，同时，对客户资源进行有效整合后，有助于产生足够大的规模效应。此外，得益于规模效应，通过本发明的物流管理模块，公司还能够应对销售商的集中采购、集中运输，通过合理配置，又可以在物流运输端，有效降低物流成本。因此，本发明的基于大数据的跨行业数据资源整合系统能够帮助公司提高运转效率、降低成本、提高毛利率，从而在行业和市场中保持较高的综合竞争能力。

附图说明

图1a为本发明多源异构数据采集模块-子模块示意图；

图1b为本发明多源异构数据采集模块-存储子模块示意图；

图2为本发明多源异构数据融合计算模块-bp神经网络模型；

图3为本发明实施例3中基于大数据的跨行业数据资源整合系统架构示意图；

图4为本发明实施例4中基于大数据的跨行业数据资源整合系统流程示意图；

图5为本发明实施例5中基于大数据的跨行业数据资源整合系统流程示意图。

具体实施方式

下面结合附图，对本发明做进一步详细说明。

实施例1多源异构数据采集和存储流程

根据本发明，参见说明书附图1a和1b，以齿轮齿条转向器总成为例，数据来源可以选择淘宝网、4s店以及销售订单反馈。

首先参见附图1a，附图1a显示了利用采集子模块对多源异构数据采集并处理的方法。对于4s店和销售记录搜集路径而言，获取的一般是结构化数据，可以通过sqoop工具自定义数据表中的字段和属性，把结构化的数据表批量抽取到基于hadoop架构的分布式数据仓库hive中。

对于淘宝网这种搜索路径而言，获取的一般是非结构化数据。在本实施例中，搜索齿轮齿条转向器总成，获取共计数量为a个的商家，任选一个商家进入店铺页面，选取店铺网页上有价值的数据，这些数据一般分为两类，一类是网页数据，如月销量b，评论数c，品牌型号d，可以通过定义爬虫字段、正则表达式，使用nutch爬虫批量抓取；另一类则是消费者通过app或其他客户端输入的，如评论内容以及评论星级，评论内容可能包括文本、图片、视频等，评论星级一般分为好评、中评和差评，此类数据则与经爬虫抓取的网页数据共同进入数据转换器，转换成文档，以文档的形式存储到hadoop架构的分布式数据仓库hbase中。

接下来，参见说明书附图1b，在多源异构数据采集子模块完成之后，按照销售量、销售时间、价格、销售地域、交货期、品牌型号、适用车型、质量等等多个维度分别打标签，分类存储在存储子模块中。其中质量又可以涵盖返修率、评论数、评论星级等多个指标。

实施例2多源异构数据融合计算实施例

根据本发明，参见说明书附图2，同样以齿轮齿条转向器为例。

首先，在bp神经网络模型中，计算方法如下：

(1)选择两层bp模型，不限制隐层节点数；

(2)确定输入数据指标，选择6个重要影响因素作为指标；

(3)确定输入层和输出层的节点数分别为6和1；

(4)将sigmoid函数作为传输函数，sigmoid函数的公式为：f(x)＝(1+e-x)-1；

(5)将输入数据指标输入输入层，输入层接收到输入信号，计算权重和，然后根据单元的传输函数，将信号传给中间层，将输出信号送给输出层，公式如下：

net-inputj＝ij＝∑wioi

net-inputj＝oj＝f(ij)-(1+exp(-ij))-1

式中：f(ij)传输函数为sigmoid函数。

(6)网络实际输出与应有的输出进行比较，如果误差超过给定值，则将误差从输出层传播至输入层，在后传过程中相应修改单元之间的连接权重。

(7)获取预测需求量初值。

得到预测初值后，接下来，利用权重修正优化子模块对预测初值进行优化，优化方法如下：

(1)从多源异构数据中抽取销售反馈数据，利用销售额占比和利润率构建修正权重公式，公式为f(sn)＝α*si+β*sj。其中，0≤α、β≤1，si＝销售额占比，sj＝利润率。

(2)利用权重校正预测需求量，得到优化后的预测需求量。

经过修正优化，克服了bp算法存在的容易陷入收敛局部极小值的不足，获得的优化后的预测需求量更加贴近市场实际需求，由此能够准确挖掘汽车配件后市场中非易损配件需求信息，帮助企业预测未来短期内的市场布局。

进一步地，多源异构数据融合计算模块对销售订单反馈数据进行计算处理，例如，对所销售的零配件进行毛利率分析、成本分析，由此也可以作为研发模块以及生产模块的数据支持，帮助企业及时调整研发、生产战略。

实施例3基于大数据的跨行业数据资源整合系统整体流程

如图3所示，基于大数据的跨行业数据资源整合系统，包括多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块以及销售管理模块。

多源异构数据采集模块用于从至少一个数据源采集不同类型的数据，至少一个数据源可以是电商平台、4s店、海关以及销售订单等，不同类型的数据包括数值数据、文本资料、交易记录、历史订单信息、物流跟踪信息等。数据采集方法参见实施例1。

采集完成后，多源异构数据融合计算模块用于对多源异构数据进行处理，例如，可以分别按照电商平台、4s店等的销售量、销售额、发货频率等进行排名、按照电商平台的用户好评度、用户评论等进行筛选，通过对每个多源异构数据进行处理，分别得出相应的预测值，然后根据预先设定的算法和权重修正优化得到最终的预测值，具体计算方法可参见实施例2。

产品数据管理模块接收来自多源异构数据融合计算模块的计算结果，获取总评分并辅助管理层进行项目立项决策。进一步地，通过产品数据管理模块，参与研发设计的工程师可以自动提交研发活动、进度、修改过程并记录历史数据，形成项目跟踪记录、项目反馈等信息，实现产品设计和修改过程的自动跟踪和控制。优选地，产品数据管理模块将作为公司研发系统的辅助模块。企业可根据实际情况选择与供应商合作研发或独立研发，双方工程师均可利用产品数据管理模块对研发活动进行自动控制和跟踪。

完成研发设计后，决策者将根据研发成果的质量、层级等要求，利用采购管理模块筛选供应商，并将研发设计方案交付合格供应商由供应商负责生产。筛选方法可以是通过采购管理模块中存储的供应商的专利大数据、历史交易记录、平均交货周期、品牌车型数据等，形成跨行业供应商数据库，按照预先设定的标准将供应商数据分组存储，综合评价供应商的技术领先程度、年销售量、平均交货速度以及覆盖车型品牌等，实现跨行业供应商的快速准确筛选。供应商将产品交付公司并验收合格后，将产品名称、种类、覆盖车型品牌、供应商信息等相关数据自动输入产品数据管理模块。其中，专利大数据包括专利申请、转让、许可等专利信息。

在销售环节，当公司利用大数据分析确定针对特定目标群体的聚焦配件产品，并完成研发生产后，即可在销售管理模块输入一聚焦配件产品的分析条件，例如产品种类、车型、销售额等，销售管理模块将针对按照预先设定的标准分组存储的销售商数据库进行分析整理，将符合分析条件的销售商资料整理生成目标客户名单序列表。由此，销售人员即可根据目标客户名单表有目的地介绍及销售聚焦配件产品。进一步地，可设置固定或不固定的时间间隔，例如三个月或半年，当经过上述时间间隔后，输入某一销售订单追踪条件，如运输时间、至少一种配件种类、销售量、售后服务量等，销售管理模块即可根据追踪条件检索在时间间隔内达到的运输状态，以及至少一种配件种类实现的销售量或者发生的售后服务次数等，生成销售订单跟踪记录。

优选地，销售订单跟踪记录将被链接入多源异构数据采集模块，借此跟踪记录能够有助于公司检查至少某一种配件的市场前景、客户欢迎度以及产品质量等是否符合要求，并在经过分析后，重新调整目标配件产品的特性、参数，进而推出更贴近客户需求的目标产品。进一步地，多源异构数据融合计算模块对销售订单反馈数据进行计算处理，例如，对所销售的零配件进行毛利率分析、成本分析，从而调整研发、生产策略。

进一步地，还可设置配件数据平台将采购管理模块与多源异构数据融合计算模块进行链接，形成配件数据库与供应商数据库的匹配系统，通过采购管理模块能够实现跨行业供应商数据资源整合计算，帮助企业获取稳定、高质量的货源，提高交易的准确性和效率。

进一步地，通过二维码技术赋予每件配件唯一的识别码，对每件配件产品精确定位，并且，二维码系统可以与数据资源整合系统的其他模块配合使用，从而实现零配件与供应商以及销售商的准确匹配，零配件产销量监测、物流信息跟踪等功能。

实施例4基于大数据的跨行业数据资源整合系统改进的整体流程

参照图4，与实施例3类似，不同之处在于，还可以包括物流管理模块，同时连接采购管理模块和销售管理模块。物流管理模块用于跟踪物流信息，通过获取运输阶段中的相关信息实现产品从供应商到仓库再到购买者的全链条跟踪、定位及状态信息。利用物流管理模块，可以对供应商供货周期、销售商订货频率、销售区域等进行统计和分析，比如在筛选合格供应商时考虑供货周期较短的供应商，在确定目标销售商时可以考虑订货频率较高的销售商，在某一种类配件产品的订货频率下降时及时调整研发生产计划，推出产品的升级版或者开发新的品类。

进一步地，还可以在产品数据管理模块之后连接库存预测预警模块，库存预测预警模块通过获取不同车型不同配件产品的产量与实际销售量，将产量与实际销售量进行对比，实现稳定供货，同时减小库存压力。并且，产量预测预警模块能获取每一配件产品的销售地点及流向。

实施例5企业增加独立生产环节的整体流程

参照图5，与实施例4类似，不同之处在于，当企业根据实际情况选择加入自主生产，而不单纯采用委托加工的方式时，可以在产品研发系统之后增设生产模块，通过此模块管理汽车配件的品类、型号、生产量、销售量等相关数据信息，并将生产模块链接入库存预测预警模块中，实现企业运营流程的整体融合。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。