基于用户浏览商品行为的数据处理的方法、装置及系统与流程

本发明涉及计算机技术及软件领域，尤其涉及一种基于用户浏览商品行为的数据处理的方法、装置及系统。

背景技术：

随着电子商务的发展，日常运营中生成、累积的与用户、商品、生产相关的数据呈现爆发式增长，数据结构也趋于多元，数据中包含的信息量越来越多，企业对数据化运营也越来越关注。

用户浏览行为自主性的强弱，可表现为当前时段对商品需求性的强弱。用户需求的表现会潜在引导商家选取商品的方向，对商家在商品库存的贮备也会产生相当大影响。通过搜集用户访问商品页面的行为，从而可以更好的洞察用户的需求，发现目标用户，同时有利于营销策略的制定和商品现货水平评估，帮助电子商务企业提高业务创新能力，提高业务运营水平，提升经营效率。

然而，现有技术中大多是通过分析用户已购买商品的类型等其他属性数据指导商家的经营行为，并没有专门收集用户浏览商品页面时选择的配送区域数据，并利用此数据评估商品SKU库存周转和合理性等的方法，这就不便于实现针对用户浏览数据进行处理，也不利于预估用户的购买期望以及利用浏览商品的现货水平进行其他应用场景的业务分析，造成数据资源的浪费。

技术实现要素：

有鉴于此，本发明提供一种基于用户浏览商品行为的数据处理的方法、装置及系统，能够为研究用户需求和商品库存之间的关系提供数据基础，方便经营者通过对汇总结果的分析和挖掘，及时调整商品库存水平。

为实现上述目的，根据本发明的一个方面，提供了一种基于用户浏览商品行为的数据处理的方法。

本发明的一种基于用户浏览商品行为的数据处理的方法包括：获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态；将所述配送区域数据保存到数据仓库中；按照业务主题对配送区域数据进行汇总，并保存汇总结果。

可选地，获取用户浏览商品的配送区域数据包括：采用定向埋点的方式获取用户浏览商品的配送区域数据。

可选地，所述方法还包括：获取用户浏览商品的配送区域数据之后，对所述配送区域数据进行清洗，以剔除干扰数据。

可选地，将所述配送区域数据保存到数据仓库中包括：定期将所述配送区域数据抽取到数据仓库中，利用Hive工具建立原始映射表，并按照抽取周期对原始映射表进行分区，然后将原始映射表中的数据转换后加载到目标表中。

可选地，按照业务主题对配送区域数据进行汇总包括：以浏览商品的现货率为指标，按照商品SKU、分公司、配送中心、库房中的一个或多个业务主题，对配送区域数据进行汇总，生成相应的汇总表。

为实现上述目的，根据本发明的再一方面，提供了一种基于用户浏览商品行为的数据处理的装置。

本发明的一种基于用户浏览商品行为的数据处理的装置，其特征在于，包括：获取模块，用于获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态；保存模块，用于将所述配送区域数据保存到数据仓库中；汇总模块，用于按照业务主题对配送区域数据进行汇总，并保存汇总结果。

可选地，所述获取模块还用于：采用定向埋点的方式获取用户浏览商品的配送区域数据。

可选地，所述获取模块还用于：获取用户浏览商品的配送区域数据之后，对所述配送区域数据进行清洗，以剔除干扰数据。

可选地，所述保存模块还用于：定期将所述配送区域数据抽取到数据仓库中，利用Hive工具建立原始映射表，并按照抽取周期对原始映射表进行分区，然后将原始映射表中的数据转换后加载到目标表中。

可选地，所述汇总模块还用于：以浏览商品的现货率为指标，按照商品SKU、分公司、配送中心、库房中的一个或多个业务主题，对配送区域数据进行汇总，生成相应的汇总表。

为实现上述目的，根据本发明的又一方面，提供了一种基于用户浏览商品行为的数据处理的系统。

本发明的一种基于用户浏览商品行为的数据处理的系统，其特征在于，包括：存储器和处理器，其中：所述存储器存储指令；所述处理器被配置为根据所述指令执行以下步骤：获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态；将所述配送区域数据保存到数据仓库中；按照业务主题对配送区域数据进行汇总，并保存汇总结果。

根据本发明的技术方案，通过基于用户浏览商品的页面配送区域数据进行数据处理，从而可以为实现数据分析和挖掘奠定基础，有利于经营者及时准确的获取商品现货率水平，调整经营策略；通过以Hadoop为平台，以Hive作为数据模型构建工具进行数据处理，从而可以提升数据处理的稳定性、可扩展性；通过将配送区域数据按业务需求进行特定维度的汇总，从而可以将汇总结果及时全面的予以呈现，有利于各应用系统进行有效地数据分析和决策，如对商品库存的采购、调拨、周转做出指导等。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的基于用户浏览商品行为的数据处理的方法的主要步骤的示意图；

图2是根据本发明实施例的基于用户浏览商品行为的数据处理的装置的主要模块的示意图；

图3是根据本发明实施例的基于用户浏览商品行为的数据处理的系统的主要部分的示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的基于用户浏览商品行为的数据处理的方法的主要步骤的示意图。

如图1所示，本发明实施例的基于用户浏览商品行为的数据处理的方法主要包括如下步骤：

步骤S11：获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态。本步骤的目的在于抓取用户浏览商品页面配送区域记录，获得配送区域数据。

本发明实施例中，可以采用定向埋点的方式获取用户浏览商品的配送区域数据，即是对电商网站中的商品页面进行定向埋点。采用的方法如下：埋点的页面在业务上属于电商网站的主站，并且流量也要计入主站流量中，那么，该页面需要埋主站的JS代码。当用户浏览商品页面并选择配送至区域后，商品状态为有货或无货，则获得本次用户的浏览记录，包括记录用户浏览省、市、县、区的商品库存状态。

具体操作可以是：统计页面配送区域的浏览记录，需要在对应的坑位处加clstagid。即根据域名，在页面中加载JS代码。然后在页面中相应的区域添加clstag。当该区域有用户点击的时候，点击流自动识别该标签，记录固定格式的日志。

本发明实施例中，获取用户浏览商品的配送区域数据之后，对所述配送区域数据进行清洗。即获得基础数据后，进行数据清洗，以完成剔除异常数据等预处理工作。

具体而言可以是，将用户的配送区域数据进行清洗，只保留有效用户的数据记录，排除干扰数据的干扰。如爬虫浏览记录、未登陆用户浏览记录和页面默认配送区域的记录等。本发明实施例中可以通过Hive工具的SQL语句进行，将干扰数据排除掉，例如将分配默认的地址的流量数据滤掉，从而达到屏蔽干扰数据的效果。将清洗后的数据予以保存，例如可以以日志的形式保存至服务器本地，以记录下每日的浏览记录数据。

在本步骤获取配送区域数据之后，从步骤S12进行处理。

步骤S12：将所述配送区域数据保存到数据仓库中。本步骤的目的在于将获取的数据保存到数据仓库中，以便于后续对配送区域数据的分区、汇总及分析处理。

本发明实施例中将配送区域数据保存到数据仓库中包括：定期(例如可以是每天，从而得到日页面浏览量PV，进而可以计算出日PV的现货率数值，即根据得到的每日浏览商品的库存状况计算得出的现货率))将所述配送区域数据抽取到数据仓库中，利用Hive工具建立原始映射表，并按照抽取周期对原始映射表进行分区，然后将原始映射表中的数据转换后加载到目标表中。

具体而言：首先通过调度单元，每天将配送区域数据抽取到Hadoop本地服务器上，然后利用数据仓库工具Hive建立原始映射表，并将配送区域数据按天进行分区。其中，Hive是建立在Hadoop上的分布式数据仓库工具，将数据映射到Hive的表中，可以为后续的数据加工处理做准备，以便于进行分区和后续利用MapReduce对数据进行业务汇总。

完成数据分区后，根据电子商务的数据仓库的数据模型和业务需求编写并执行Hive脚本，从而将原始映射表中的数据转换后加载到Hive目标表中。

步骤S13：按照业务主题对配送区域数据进行汇总，并保存汇总结果。

将数据加载到Hive目标表后，可以根据业务需求对目标表中的数据进行汇总处理，以得到特定业务主题下的汇总数据，便于商品运营人员根据汇总数据评估商品的PV现货情况，从而合理安排库存，满足用户的购买需求。

例如可以以商品SKU、分公司、配送中心、库房等维度，以PV现货率指标进行汇总，得到相应的汇总表。具体而言，可以通过Hive SQL编写汇总SQL脚本，并将脚本提交到Hadoop上进行MapReduce运行，最终得到的汇总结果插入到汇总表中。

此外，本发明实施例中，还可以根据数据服务口径，将汇总表进一步处理为应用表，并将应用表数据推送到相应应用系统中，以便于对数据的进一步分析和挖掘。

根据本发明实施例的基于用户浏览商品行为的数据处理的方法可以看出，通过基于用户浏览商品的页面配送区域数据进行数据处理，从而可以为实现数据分析和挖掘奠定基础，有利于经营者及时准确的获取商品现货率水平，调整经营策略；通过以Hadoop为平台，以Hive作为数据模型构建工具进行数据处理，从而可以提升数据处理的稳定性、可扩展性；通过将配送区域数据按业务需求进行特定维度的汇总，从而可以将汇总结果及时全面的予以呈现，有利于各应用系统进行有效地数据分析和决策，如对商品库存的采购、调拨、周转做出指导等。

图2是根据本发明实施例的基于用户浏览商品行为的数据处理的装置的主要模块的示意图。

如图2所示，本发明实施例的一种基于用户浏览商品行为的数据处理的装置20主要包括：获取模块201、保存模块202以及汇总模块203，其中：

获取模块201用于获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态；保存模块202用于将所述配送区域数据保存到数据仓库中；汇总模块203用于按照业务主题对配送区域数据进行汇总，并保存汇总结果。

其中，获取模块201还可以用于：采用定向埋点的方式获取用户浏览商品的配送区域数据。

另外，获取模块201还可用于：获取用户浏览商品的配送区域数据之后，对所述配送区域数据进行清洗，以剔除干扰数据。

保存模块202还可用于：定期将所述配送区域数据抽取到数据仓库中，利用Hive工具建立原始映射表，并按照抽取周期对原始映射表进行分区，然后将原始映射表中的数据转换后加载到目标表中。

汇总模块203还可用于：以浏览商品的现货率为指标，按照商品SKU、分公司、配送中心、库房中的一个或多个业务主题，对配送区域数据进行汇总，生成相应的汇总表。

图3是根据本发明实施例的基于用户浏览商品行为的数据处理的系统的主要部分的示意图。

如图3所示，本发明实施例的一种基于用户浏览商品行为的数据处理的系统30主要包括：存储器301和处理器302，其中：存储器301存储指令；处理器302被配置为根据所述指令执行以下步骤：获取用户浏览商品的配送区域数据，所述配送区域数据包括：所浏览商品的信息、选择的配送区域以及所述配送区域的商品库存状态；将所述配送区域数据保存到数据仓库中；按照业务主题对配送区域数据进行汇总，并保存汇总结果。

从以上描述可以看出，通过基于用户浏览商品的页面配送区域数据进行数据处理，从而可以为实现数据分析和挖掘奠定基础，有利于经营者及时准确的获取商品现货率水平，调整经营策略；通过以Hadoop为平台，以Hive作为数据模型构建工具进行数据处理，从而可以提升数据处理的稳定性、可扩展性；通过将配送区域数据按业务需求进行特定维度的汇总，从而可以将汇总结果及时全面的予以呈现，有利于各应用系统进行有效地数据分析和决策，如对商品库存的采购、调拨、周转做出指导等。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。