本发明涉及数据采集领域，具体涉及一种用于电子商务平台的数据采集系统。
背景技术：
随着信息技术应用和经济发展需求的推动，电子商务成为对社会发展具有重要引领作用的新型产业。电子商务平台在其中扮演了重要的角色，其通过在网上为用户和卖家建立一个沟通平台，不受地理空间及时间限制，可以随时进行各种商业和贸易活动，但是目前电子商务平台侧重点在于根据用户请求对产品进行搜索排序，例如公开号为cn106296347的发明专利申请，公开了一种电子商务交易平台，其通过接受用户端的搜索请求，检索与之匹配的产品，并进行排序等等，其缺点在于仅能对电子商务平台内数据进行排序并结果显示，鉴于目前电子商务的迅猛发展，各种电子商务平台迅速出现，各个平台之间的数据缺少比对，用户使用时难以对整个网络横向的数据进行整体把握，例如同类型商品的价格比较难以实现，用户购物体验欠佳。
技术实现要素：
针对现有技术的缺点，本发明提供一种用于电子商务平台的数据采集系统，针对目前网上购物平台中，客户较多关注的是同类型商品的性价比的特点，本发明可以采集同类型商品在其他购物平台中的价格、质量等信息，从而实现电子商务平台中的商品与其他平台的商品做横向对比，进而更好的提升用户购物体验，满足用户购物需求。
其具体技术方案如下：
一种用于电子商务平台的数据采集系统，包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据；所述数据下载模块用于将数据放到网站供用户下载。
进一步的，所述的爬取模块包括数据采集规则获取模块，用于获取用户的数据采集规则；数据采集规则配置模块，用于将数据采集规则配置到数据采集系统当中；数据采集任务创建模块，用于根据配置的数据采集规则创建数据采集任务；数据采集任务展示模块，用于展示出用户创建的任务，并展示出任务状态；数据查看和导出模块，以任务列表为入口查看采集到的数据，用户可以将采集到的数据导出为excel、xml、html、txt、zip或rar格式；数据加密模块，用于对采集到的数据进行加密；
进一步的，所述数据采集规则分为两种模式，一是向导模式，适用于以下场景：1)单网页采集；2)列表采集；3)翻页采集，其查询结果分布展示，每页采集规则相同；二是自定义模式，用于多种网页数据采集，支持用户导出、导入多个数据采集规则；
进一步的，所述数据采集任务状态分为：未执行、运行中、已暂停、已完成；对于未执行状态的任务，用户可以启动任务，进行数据采集；对于运行中的任务，用户可进行定暂停/取消操作；对于已暂停的任务，用户可以查看当前已采集到的数据，也可以继续运行任务；对于已完成的任务，用户可以查看采集到的数据；
进一步的，所述数据采集任务创建根据用户权限，分为单机采集、单机多线程采集、多机分布式采集、云服务器采集；
进一步的，所述数据加密模块支持md5、base64两种加密方式；
进一步的，所述数据采集规则配置分为两种方式，一是向导模式，用户按照向导提示输入信息进行相应的操作，完成数据采集规则的配置；二是自定义模式，用户输入目标url，采集器通过获取页面数据分析出页面包含的筛选条件及采集数据的属性，并将筛选条件和采集数据的属性展示给用户，供用户进行自定义设定，以便采集用户的目标数据；
进一步的，所述入库模块存入爬取数据的方式有两种，一是向用户提供数据api接口，用户通过调用数据api接口获取采集数据；二是向用户提供数据库信息配置功能，待用户配置好数据库信息后，点击执行，自行将采集的数据导入到用户数据库中；
进一步的，用户数据库类型可以为access、mysql、sqlite、oracle或mongodb；
进一步的，所述数据下载模块支持加密狗或短信验证码两种加密方式；
本发明的优点在于：可以采集同类型商品在其他购物平台中的数据信息，诸如价格、质量等信息，从而实现电子商务平台中的商品与其他平台的商品做对比，进而更好的提升用户购物体验，满足用户购物需求。
附图说明
图1为本发明的原理示意图；
具体实施方式
以下将根据附图所示的优选实施例，对本发明进行详细解释，然而本发明不限于该实施例。
如图1所示：
一种用于电子商务平台的数据采集系统，包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据；所述数据下载模块用于将数据放到网站供用户下载。
进一步的，所述的爬取模块包括数据采集规则获取模块，用于获取用户的数据采集规则；数据采集规则配置模块，用于将数据采集规则配置到数据采集系统当中；数据采集任务创建模块，用于根据配置的数据采集规则创建数据采集任务；数据采集任务展示模块，用于展示出用户创建的任务，并展示出任务状态；数据查看和导出模块，以任务列表为入口查看采集到的数据，用户可以将采集到的数据导出为excel、xml、html、txt、zip或rar格式；数据加密模块，用于对采集到的数据进行加密；
进一步的，所述数据采集规则分为两种模式，一是向导模式，适用于以下场景：1)单网页采集；2)列表采集；3)翻页采集，其查询结果分布展示，每页采集规则相同；二是自定义模式，用于多种网页数据采集，支持用户导出、导入多个数据采集规则；
进一步的，所述数据采集任务状态分为：未执行、运行中、已暂停、已完成；对于未执行状态的任务，用户可以启动任务，进行数据采集；对于运行中的任务，用户可进行定暂停/取消操作；对于已暂停的任务，用户可以查看当前已采集到的数据，也可以继续运行任务；对于已完成的任务，用户可以查看采集到的数据；
进一步的，所述数据采集任务创建根据用户权限，分为单机采集、单机多线程采集、多机分布式采集、云服务器采集；
进一步的，所述数据加密模块支持md5、base64两种加密方式；
进一步的，所述数据采集规则配置分为两种方式，一是向导模式，用户按照向导提示输入信息进行相应的操作，完成数据采集规则的配置；二是自定义模式，用户输入目标url，采集器通过获取页面数据分析出页面包含的筛选条件及采集数据的属性，并将筛选条件和采集数据的属性展示给用户，供用户进行自定义设定，以便采集用户的目标数据；
进一步的，所述入库模块存入爬取数据的方式有两种，一是向用户提供数据api接口，用户通过调用数据api接口获取采集数据；二是向用户提供数据库信息配置功能，待用户配置好数据库信息后，点击执行，自行将采集的数据导入到用户数据库中；
进一步的，用户数据库类型可以为access、mysql、sqlite、oracle或mongodb；
进一步的，所述数据下载模块支持加密狗或短信验证码两种加密方式；
本发明的优点在于：可以采集同类型商品在其他购物平台中的数据信息，诸如价格、质量等信息，从而实现电子商务平台中的商品与其他平台的商品做对比，进而更好的提升用户购物体验，满足用户购物需求。
本发明通过创建一种数据采集系统，可以供用户对不同电子商务平台的数据进行抓取，并比对，提高了购物体验，进一步满足了用户的购物需求。
以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。