一种基于网络爬虫的供应商推荐方法与流程

本发明涉及一种基于网络爬虫的供应商推荐方法。

背景技术

在供应链管理的背景之下，企业要想获得高效率的可持续的发展，就必须保证其产品、原料的质量问题，同时还应该保证规定期限内的产品交货和问题解决等服务，因此要求其供应商提供原料和产品时必须满足质量、准时、规定的数目等条件。因此，对于企业而言，供应商的选择和评价往往是一个重要的任务，如何能够在众多供应商之中选择出符合企业自己生成特色的供应商是很有价值得研究。

针对以上问题，对于一个大型的企业往往有着自己的供应商战略平台，专门收集全国以及世界各地的有可能成为本企业的供应商信息，然后去现场进行考察，对于合格的供应商，纳入自己的战略平台，以此来作为自己待选择的供应商，在允许其为自己提供产品时，需要再次考核，然而对于其下属企业，往往不会自己去寻找供应商，通常情况下直接是从上属企业的供应商战略平台中获取供应商信息，进行一定的筛选，然后再进行签订供货协议等，而对于新成立的企业，往往需要花费大量的时间去寻找符合企业的供应商。

除此之外，不同的企业在面对供应商选择时，所要求的指标、权重往往不相同，一般都是按照业务绩效、业务能力、质量体系能力、风险评估、合作潜力等指标的不同权重进行打分，从而确定符合的供应商，然而对于不同的企业所确定的权重值往往也不同。一般采用层次分析法对供应商选择时的不同指标进行权重分配。这也是目前使用较多的供应商选择方法之一。

通过对现有企业的供应商选择进行研究，发现企业在供应商的选择方面往往需要花费大量的时间和精力，同时还存在不可避免的人为因素，而对于大部分小型企业往往都是从上属企业供应商中直接进行筛选。因此存在一定的不适应性，而对于新的企业更需要时间和精力去寻找符合自身的供应商。然而面对大数据，人工智能的时代，以数据为基础，通过数据来分析、确定结果的时代，我们更加需要的是简化操作的复杂性，更多的让电脑代替人去进行选择，在数据驱动社会发展的今天，随之而来的各种推荐系统的出现，往往能够满足需求者的需求和爱好，因此把供应商的人工选择交给电脑去进行选择可以避免复杂的筛选，同时能够通过基于企业和基于供应商的两种推荐完成不同企业的供应商推荐。对于海量的供应商信息，采取网络爬虫的方式从相关的供应商网站进行爬取，通过获取爬取信息，对相关信息进行清洗，筛选，根据企业的生成产品，加工特性等特征进行供应商的推荐，随着数据量的增大，学习的次数增多，最终的推荐也会更加智能化、合理化、符合化，从而避免人工筛选的缺陷。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供一种基于网络爬虫的供应商推荐方法，该方法能够通过网络爬虫从相关供应商网站获取供应商信息，通过对信息的处理，根据需要提供供应商的企业生产产品特性，推荐所需要的供应商，从而避免了认为选择供应商时的复杂过程。

为达到上述目的，本发明采用以下技术方案予以实现：

首先通过python的分布式爬取框架scrapy-redis从相关供应商网站爬取相关信息主要包含供应商信息和供应商所提供产品的企业信息，并且通过爬虫技术获得需要进行供应商推荐的企业信息，如果企业已经有自己的供应商，则同时获得企业现有的供应商信息。

其次，进行数据清洗，对爬虫爬到的信息进行清洗，选取相关的特征，比如企业的生产产品特性，供应商提供产品特性，能力、质量等。

选择相关的推荐方法，本发明采用基于物品(item-basedcf)和基于用户(user-basedcf)的推荐相结合的协同过滤算法，对于爬到的信息清洗之后，如果企业是新成立的企业，并没有属于自己的供应商信息，采用基于用户(user-basedcf)的推荐算法，对与企业相似的企业进行排序，并通过推荐已有企业的供应商给需要推荐供应商的新的企业。对于已经拥有属于自己的供应商的企业，需要推荐供应商时，采用基于用户(user-basedcf)和基于物品(item-basedcf)的协同过滤结合的方法，对需要推荐供应商的企业和其已经存在的供应商信息特征与爬取到的企业与企业拥有的供应商信息特征进行相似度计算，分别按照基于用户(user-basedcf)和基于物品(item-basedcf)的协同过滤方法给出两种不同的排序，提供企业选择。

与现有技术相比，本发明具有以下有益效果：

本发明通过采用爬虫技术获取大量的供应商与其提供的企业信息，并通过数据清洗，特征提取，建立特征库。之后与需要进行供应商推荐的企业相关信和企业已有供应商信息特征进行相似度的计算，从而能够提供相应的推荐排序，供企业能够快速的选择适合自己的供应商，从而避免了人为考察供应商，进行大量供应商信息筛选的复杂过程，减少人力、物力的不必要消耗，并且随着数目的增加，推荐系统能够通过学习，从而使得推荐更加准确，这也是未来发展的一个趋势，能够更好的适应企业生产发展的方向。

附图说明

图1供应商推荐系统结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，图1为本发明具体实施方案的整体结构示意图，在企业需求供应商时，需求方登录系统，输入企业url信息，系统通过输入的url地址，采用聚焦爬虫，爬取企业的相关信息，比如企业的加工产品，加工设备，主要的供应商提供产品、供应商资质、地址、法人、加工能力、主要提供产品信息、注册资金等特征。同时系统采用通用爬虫从互联网上爬取相关的供应商信息，包含供应商的基本信息、资质、营业执照、法人信息、加工能力、主要供应产品、加工设备、以及现有存在的依靠此供应商提供产品的企业信息，包含企业的性质、生产产品、其他供应商信息等。并建立相关的企业供应商对应特征库。

根据需要推荐供应商企业是否含有属于自己的供应商信息来进行不同的推荐模式，对于一个新的企业，并没有属于自己的供应商，因此需要借鉴和自己生产相似产品，与自己企业相类似的企业所选择的供应商来进行选择，因此对于新的企业，本发明采用基于用户(user-basedcf)协同过滤方法进行推荐，根据从网络上爬取到的供应商与企业的信息建立的特征库，通过选择合适的相似的算法，例如余弦相似度算法进行对需要推荐供应商的企业寻找与其相似的企业，并将相似的企业进行一个排序，并对其所选择的供应商信息进行一个排序，按照相似度最近并且供应商信息相似度接近出现次数多的供应商优先的原则进行供应商的排序，以供需求企业进行供应商的选择。

对于已经运行一段时间的企业，含有属于自己的供应商，可以采用基于物品(item-basedcf)和基于用户(user-basedcf)的协同过滤的推荐方法相结合，对于已经从网络上面获取到的企业与其供应商信息，将其相关特征建立特征信息库，并从特征库中选择相关的特征，采用基于用户(user-basedcf)的协同过滤推荐，将与需求供应商的企业相似的企业进行排序，再从排序企业之中出现频率高的或者性质相似的供应商进行排序，给出推荐排序供选择。除此之外，还可以采用基于物品(item-basedcf)的协同过滤方法进行推荐，将需求供应商的企业现有的供应商信息进行提起，从特征库中选择相似的供应商按照相似度进行排序，并将排序结果显示，供需求企业选择。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。