基于互联网的在线商品监控方法、装置、设备及存储介质与流程

本发明涉及互联网技术领域，涉及一种基于互联网的在线商品监控方法、装置、设备及存储介质。

背景技术：

在竞争日益激烈的电子商务领域中，如何提高客户的体验一直是众多电子商务公司关注的重点。在电子商务中，最为困扰商家的问题就是如何及时得知库存告急的商品，以及如何及时更新商品的价格、库存等属性。

现在，为了能及时得知价格、库存等属性的变动，一般采用人为检查商品属性的方式，成本很高。并且人为打开商品购买页面进行检查，会挤占后台服务器的资源，过于频繁检查也会导致页面链接404等问题，挤占用户资源，影响用户体验。

因此，目前亟需一种可靠高效的监控方案来保证互联网商城的日常运营。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中无法可靠高效地监控互联网商城日常运营的问题，提出了一种基于互联网的在线商品监控方法、装置、设备及存储介质，利用爬虫技术实现生产监控，可以有效地监控页面死链、商品售罄、页面访问超时及商品配置错误等，节省产品运营工作时间。

本发明是通过下述技术方案来解决上述技术问题：

一种基于互联网的在线商品监控方法，包括以下步骤：

根据设置的爬取节点遍历节点下所有的url地址，并根据所述url地址打开相应页面；

当检测到根据所述url地址打开的相应页面出现异常时，发送相应的第一告警信息至管理人员终端；

根据设置的爬取规则，爬取根据所述url地址打开的相应页面上的商品的属性信息和库存信息；

判断所述商品的属性信息与配置文件中设置的该商品的属性信息是否一致，若否则发送相应的第二告警信息至管理人员终端；

判断所述商品的库存信息是否表示该商品的库存不足，若是则发送相应的第三告警信息至管理人员终端。

优选地，该方法还包括以下步骤：

根据设置的需要监控的订单状态，爬取订单详情，所述订单详情包括商品信息、付款信息和物流信息；

根据所述订单详情判断相应的订单是否出现异常，若是则发送相应的第四告警信息至管理人员终端。

优选地，该方法还包括以下步骤：定时爬取页面上的埋点数据，将所述埋点数据结合订单数据、商品数据按预设模板生成数据表后发送至管理人员终端。

优选地，所述爬取节点为url的父节点；所述页面出现异常包括出现404链接页面和链接超时。

优选地，所述商品的库存信息是否表示该商品的库存不足的判断如下：将爬取到的商品页面上显示的库存数量与设置在配置文件中的库存最低值进行比较，若显示的库存数量小于设置的库存最低值，则判定为商品的库存不足。

优选地，在判定为商品的库存不足时，还根据预设的采购单模板生成一个新的采购单，并将所述新的采购单同告警信息一起发送至管理人员终端。

优选地，所述订单出现异常包括下单后未付款、支付失败和用户付款后长期未发货；

所述异常的判断包括以下步骤：

判断订单详情中是否包含有支付失败的反馈信息，若是则确定该订单属于支付失败订单；

若订单详情中没有包含有支付失败的反馈信息，则进一步判断订单详情中是否包含有支付完成的时间，若否，再进一步判断订单的下单时间至当前的间隔时间是否超过预设的付款时间阈值，若是则确定该订单属于下单后未付款订单；

若订单详情中包含有支付完成的时间，则进一步判断订单详情中是否包含有物流发货时间，若否，再进一步判断支付完成的时间至当前的间隔时间是否超过预设的发货时间阈值，若是则确定该订单属于用户付款后长期未发货订单。

本发明还公开了一种基于互联网的在线商品监控装置，包括以下模块：

网页遍历模块，用于根据设置的爬取节点遍历节点下所有的url地址，并根据所述url地址打开相应页面；

页面异常告警模块，用于当检测到根据所述url地址打开的相应页面出现异常时，发送相应的第一告警信息至管理人员终端；

商品信息爬取模块，用于根据设置的爬取规则，爬取根据所述url地址打开的相应页面上的商品的属性信息和库存信息；

商品属性告警模块，用于当判断所述商品的属性信息与配置文件中设置的该商品的属性信息不一致时，发送相应的第二告警信息至管理人员终端；

商品库存告警模块，用于当判断所述商品的库存信息表示该商品的库存不足时，发送相应的第三告警信息至管理人员终端。

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如前述任一项所述的基于互联网的在线商品监控方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现如前述任一项所述的基于互联网的在线商品监控方法的步骤。

本发明的积极进步效果在于：

1)本发明采用爬虫技术实现生产监控后，可以有效的监控页面死链、商品售罄、页面访问超时、商品配置错误等，节省产品运营工作时间；

2)本发明通过爬取的数据结合埋点数据分析，为产品运营系统优化提供数据依据。

附图说明

图1示出了本发明基于互联网的在线商品监控方法实施例一的流程图；

图2示出了本发明基于互联网的在线商品监控方法实施例二的流程图；

图3示出了本发明基于互联网的在线商品监控方法中异常订单判断的流程图；

图4示出了本发明基于互联网的在线商品监控方法实施例三的流程图；

图5示出了本发明基于互联网的在线商品监控装置第一实施例的结构图；

图6示出了本发明基于互联网的在线商品监控装置第二实施例的结构图；

图7示出了本发明基于互联网的在线商品监控装置第三实施例的结构图；

图8示出了本发明计算机设备一实施例的硬件架构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

首先，本发明提出一种基于互联网的在线商品监控方法。

在实施例一中，如图1所示，所述的基于互联网的在线商品监控方法包括如下步骤：

步骤01：根据设置的爬取节点遍历节点下所有的url地址，并根据所述url地址打开相应页面。

爬取节点设置在网页爬虫系统的配置文件中。网页爬虫系统(即网页爬虫软件)是十分常见的一种软件，例如loalasam网络爬虫、gooseeker网络爬虫等，可以根据需要选择现有的网页爬虫软件实现此功能。

爬取节点具体设置为url的父节点。以商品分类聚合页面为例：某手机分类的url地址为https://h0.yztcdn.com/shop/h5_shop/dist/1.0/containers/product_list.html？productcategory＝10000081，其中的https://h0.yztcdn.com/shop/h5_shop/dist/1.0/containers/produpr_list.html？部分为该url地址的父节点，即商品分类，之后的部分为对应不同商品页面的具体的分类编号。

设置爬取节点后，网页爬虫系统会遍历以父节点为域名下所有url的地址，然后根据所述url地址依次打开相应的页面。

步骤02：当检测到根据所述url地址打开的相应页面出现异常时，发送相应的第一告警信息至管理人员终端。

这里所述的页面出现异常主要由两种情况，即相应的第一告警信息也对应有两种：

1)出现404链接页面，即网页出错，此时发送第一告警信息“xxxx(url地址)链接错误”至管理人员终端。

2)链接超时，即链接响应时间超过配置的超时时间(所述超时间预先设置在网页爬虫系统的配置文件中)，此时发送第一告警信息“xxxx(url地址)链接超时”至管理人员终端。

步骤03：根据设置的爬取规则，爬取根据所述url地址打开的相应页面上的商品的属性信息和库存信息。

爬取规则也设置在网页爬虫系统的配置文件中，通过网页爬虫系统自带的动态加载配置文件的方式，每隔一段时间重新读取配置文件中的爬取规则，自动按照最新的规则去执行，修改配置文件后无需重启系统服务，从而实现动态配置文件修改更新。

爬取规则是指对页面的url地址抽取规则的定义，不同的web页面和h5页面，开发技术不同，页面结构也不同，只要针对不同的网站定义不同的抽取规则即可。

以电商网站为例：请求打开一个商品详情页面，http请求发送后，在页面源代码中可以清楚看到服务端返回的response中的内容(比如某些div，某个表格，包含某个class的dom元素，json数据中的某个节点，甚至某一段字符串等)。多个div组合一个区域，在该区域中通过xpath或者正则表达式来抽取商品页面的url地址，图片信息，价格信息等，归类为字段数据和子链接，通过配置文件中的爬取规则爬取数据，并持久化到数据库中，为生产监控比对提供基础数据。

这里所述爬取规则具体指聚焦爬取规则、定点爬取规则和增量爬取规则，根据需要设置任意一种或几种规则在网页爬虫系统的配置文件中即可。

所述聚焦爬取是指，过滤与配置文件关键字无关的链接，保留有用的链接并将其放入等待抓取的url队列，抓取网页信息，并重复上述过程，直到完成爬取条件时停止，即完成与关键词相关的所有链接为止。

所述定点爬取是指，从指定的url地址爬取单个页面的完整信息，以文件数据方式保存至本地数据库中。

所述增量爬取是指，爬取时会先判断本地数据库中是否存在这个页面的url地址，如果已存在将不做爬取处理，不存在会继续增量爬取。

爬取到页面上的数据后，根据该数据对应的标签以区分是属性信息还是库存信息。

步骤04：判断所述商品的属性信息与配置文件中设置的该商品的属性信息是否一致，若否则发送相应的第二告警信息至管理人员终端。

网页爬虫系统的配置文件有多个，根据用途不同进行分类，前述中用于设置爬取节点和爬取规则的配置文件为网页爬虫系统本身的配置文件；而本步骤中所述配置文件主要用于配置监控业务，比如配置预期的属性值，用于和爬取结果做比对。

所述商品的属性信息包括品类、尺寸、颜色等，任一一项属性信息不一致，就发送相应的第二告警信息“xx(商品编号)品类错误”、“xx(商品编号)尺寸错误”或“xx(商品编号)颜色错误”等至至管理人员终端

步骤05：判断所述商品的库存信息是否表示该商品的库存不足，若是则发送相应的第三告警信息至管理人员终端。

库存的判断具体为：将爬取到的商品页面上显示的库存数量与设置在配置文件中的库存最低值进行比较，若显示的库存数量小于设置的库存最低值，则判定为库存不足。

具体的第三告警信息内容可以是“xx(商品编号)库存为xx(数量)”，还可以加上获取到该信息的具体时间。

通常，管理人员根到的第三告警信息后会对该信息进行确认，排查是不是系统问题造成的库存不足，若确认是正常库存不足，则会通知运营或供应商以确认是否需要及时补货。

因此，本步骤中可以优选设置一个采购单模板，当发现某个商品库存不足时，就根据采购单模板生成一个新的采购单同该第三告警信息一起发送至管理人员终端，管理人员根据最终的确认的结果，判断是否需要将采购单发送给供应商。

在实施例二中，基于实施例一的基础上，如图2所示，所述的基于互联网的在线商品监控方法包括如下步骤：

步骤01-步骤05同实施例一，此处不再赘述。

步骤06：根据设置的需要监控的订单状态，爬取订单详情，所述订单详情包括商品信息、付款信息和物流信息。

用户下单后，会将订单上的所有信息保存至数据库中，并且显示在用户订单中心页面上。订单按商品分类进行保存，订单上的商品详细信息，订单信息，用户信息等都会被一一保存至数据库中。因此，通过爬取用户订单中心页面上的信息，就可以获取每个订单的订单详情。

步骤07：根据所述订单详情判断相应的订单是否出现异常，若是则发送相应的第四告警信息至管理人员终端。

异常订单具体包括下单后未付款订单，支付失败订单，用户付款后长期未发货订单等。当发生相应的异常订单后，发送的相应的第四告警信息可以是“xxx(订单号)下单后未付款”、“xxx(订单号)支付失败”或“xxx(订单号)付款后长期未发货”等。

如图3所示，异常订单的具体判断过程如下：

步骤071：判断订单详情中是否包含有支付失败的反馈信息，若是则确定该订单属于支付失败订单，若否则执行步骤072；

步骤072：判断订单详情中是否包含有支付完成的时间，若是则执行步骤074，若否则执行步骤073；

步骤073：判断订单的下单时间至当前的间隔时间是否超过预设的付款时间阈值，若是则确定该订单属于下单后未付款订单；

步骤074：判断订单详情中是否包含有物流发货时间，若否则执行步骤075；

步骤075：判断支付完成的时间至当前的间隔时间是否超过预设的发货时间阈值，若是则确定该订单属于用户付款后长期未发货订单。

在实施例三中，基于实施例二的基础上，如图4所示，所述的基于互联网的在线商品监控方法包括如下步骤：

步骤01-步骤07同实施例二，此处不再赘述。

步骤08：定时爬取页面上的埋点数据，将所述埋点数据结合订单数据、商品数据按预设模板生成数据表后发送至管理人员终端。

埋点数据主要集中在页面的button(按钮)，icon(图标)，链接，图片，定义页面停留事件上，用来记录用户点击访问次数、停留时间等信息。

通过爬取这些埋点数据，可以清楚的分析出哪个商品用户搜索量和点击量最多，因此，本步骤中把这些数据按模板生成数据表之后发送给相关的管理人员，管理人员通过数据表可以对用户行为进行分析，以制定或修改运营策略。

例如：通过数据表挑选出部分商品打造成爆款做营销活动，提高日活和交易量；通过对某天某款商品数据分析，发现用户在下单完成后都没有去支付，排查用户没有支付的原因(例如商品配置问题，商品限购问题，跳转收银台问题，关联方系统环境问题等等原因)，快速修复上线，保证网站正常运营；根据用户进入活动商品的点击量和停留时间，判断新增的活动商品有没有达到预期效果，若没有则可以进一步分析原因(例如引流入口不当等)。

其次，本发明提出了一种基于互联网的在线商品监控装置，所述装置20可以被分割为一个或者多个模块。

例如，图5示出了所述基于互联网的在线商品监控装置20第一实施例的结构图，该实施例中，所述装置20可以被分割为网页遍历模块201、页面异常告警模块202、商品信息爬取模块203、商品属性告警模块204和商品库存告警模块205。以下描述将具体介绍所述模块201-205的具体功能。

所述网页遍历模块201用于根据设置的爬取节点遍历节点下所有的url地址，并根据所述url地址打开相应页面；

所述页面异常告警模块202用于当检测到根据所述url地址打开的相应页面出现异常时，发送相应的第一告警信息至管理人员终端；

所述商品信息爬取模块203用于根据设置的爬取规则，爬取根据所述url地址打开的相应页面上的商品的属性信息和库存信息；

所述商品属性告警模块204用于当判断所述商品的属性信息与配置文件中设置的该商品的属性信息不一致时，发送相应的第二告警信息至管理人员终端；

所述商品库存告警模块205用于当判断所述商品的库存信息表示该商品的库存不足时，发送相应的第三告警信息至管理人员终端。

又例如，图6示出了所述基于互联网的在线商品监控装置20第二实施例的结构图，该实施例中，所述基于互联网的在线商品监控装置20还可以被分割为网页遍历模块201、页面异常告警模块202、商品信息爬取模块203、商品属性告警模块204、商品库存告警模块205、订单详情爬取模块206和订单异常告警模块207。

其中，模块201-205同第一实施例，此处不再赘述。

所述订单详情爬取模块206用于根据设置的需要监控的订单状态，爬取订单详情，所述订单详情包括商品信息、付款信息和物流信息；

所述订单异常告警模块207用于根据所述订单详情判断相应的订单出现异常时，发送相应的第四告警信息至管理人员终端。

再例如，图7示出了所述基于互联网的在线商品监控装置20第三实施例的结构图，该实施例中，所述基于互联网的在线商品监控装置20还可以被分割为网页遍历模块201、页面异常告警模块202、商品信息爬取模块203、商品属性告警模块204、商品库存告警模块205、订单详情爬取模块206、订单异常告警模块207和报表发送模块208。

其中，模块201-207同第二实施例，此处不再赘述。

所述报表发送模块208用于定时爬取页面上的埋点数据，将所述埋点数据结合订单数据、商品数据按预设模板生成数据表后发送至管理人员终端。

再次，本发明还提出来一种计算机设备。

参阅图8所示，是本发明计算机设备一实施例的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22以及网络接口23。其中：

所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器21还可以既包括所述计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述计算机设备2的操作系统和各类应用软件，例如用于实现所述基于互联网的在线商品监控方法的计算机程序等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器22在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述计算机设备2的总体操作，例如执行与所述计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行后实现所述基于互联网的在线商品监控方法的计算机程序等。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他计算机设备之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication，gsm)、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。

需要指出的是，图8仅示出了具有组件21-23的计算机设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

在本实施例中，存储于存储器21中的用于实现所述基于互联网的在线商品监控方法的计算机程序可以被一个或多个处理器(本实施例为处理器22)所执行，以完成以下步骤的操作：

步骤01：根据设置的爬取节点遍历节点下所有的url地址，并根据所述url地址打开相应页面；

步骤02：当检测到根据所述url地址打开的相应页面出现异常时，发送相应的第一告警信息至管理人员终端；

步骤03：根据设置的爬取规则，爬取根据所述url地址打开的相应页面上的商品的属性信息和库存信息；

步骤04：判断所述商品的属性信息与配置文件中设置的该商品的属性信息是否一致，若否则发送相应的第二告警信息至管理人员终端；

步骤05：判断所述商品的库存信息是否表示该商品的库存不足，若是则发送相应的第三告警信息至管理人员终端。

在一实施例中，所述步骤还包括：

步骤06：根据设置的需要监控的订单状态，爬取订单详情，所述订单详情包括商品信息、付款信息和物流信息；

步骤07：根据所述订单详情判断相应的订单是否出现异常，若是则发送相应的第四告警信息至管理人员终端。

在另一实施例中，所述步骤还包括：

步骤08：定时爬取页面上的埋点数据，将所述埋点数据结合订单数据、商品数据按预设模板生成数据表后发送至管理人员终端。

此外，本发明一种计算机可读存储介质，所述计算机可读存储介质为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现上述基于互联网的在线商品监控方法或装置的操作。

其中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如前述用于实现所述基于互联网的在线商品监控方法的计算机程序等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。