全网电商数据自动管理系统以及设备的制作方法

本发明涉及信息处理领域，尤其涉及一种全网电商数据自动管理系统以及设备。

背景技术：

随着互联网的发展以及大数据时代的到来，电商数据成为了重要的数据资源。为了能对全网电商提供的商品及消费数据进行综合分析，前期的数据预处理是非常重要的，因为数据的好坏决定了后续机器学习、数据分析等的上限，所以数据前期的预处理是非常重要的。为了能整理来自全网各大电商的商品及消费数据，实践中必须建立复杂的流程来整合和处理这些数据，以此方便后期机器学习、分析使用。

假设有n个电商平台，当需要对接a电商的数据时，通常要单独整理a电商的分类特征、品牌特征、商品规格等数据，相应地需要对接一套对应的数据读取、入库、属性映射、聚合商品url等操作的流程。然而，对接的数据不仅仅只输入一次，可能会分批次产生多次相关操作，这就导致平时进行数据管理时候会出现诸如分类错误、图片不全、品牌不匹配等问题，又不能实时查看处理进度以及失败原因，导致效率低下，尤其当对接大量的电商平台时，这些问题便会成倍增长。

可见，对于全网电商数据的管控是一个非常耗费人力和物力的工作，因而亟待一套自动化程度较高的综合整理、管理工具来提升数据处理效率。

技术实现要素：

鉴于上述，本发明旨在提供一种全网电商数据自动管理系统以及设备，还相应地提供了一种计算机程序产品，以针对全网电商数据入库管理该特定的应用场景，弥补实际所需。

本发明采用的技术方案如下：

第一方面，本发明提供了一种全网电商数据自动管理系统，包括：

数据操作单元，用于为预先梳理的各类公共流程形成相应的可视化监控界面，并以正则方式匹配相应于不同电商平台的数据特征；

日志单元，用于存储并可视化地展示各流程相关数据处理状态；

统计及通知单元，用于基于预设条件统计日志数据，并生成通知邮件进行推送。

可选地，所述数据操作单元包括：交互操作组件，用于在所述可视化监控界面中构建并管控交互控件。

可选地，所述日志单元包括日志分表组件，用于对超过预设规模标准的日志单表数据进行拆分。

可选地，所述统计及通知单元包括：定时组件，用于按照预设时间对数据进行汇总统计。

可选地，所述统计及通知单元包括：拆分组件，用于在生成邮件前将导出数据及逆行拆分，以适应邮件承载量。

可选地，所述系统还包括：批次管理单元，用于将输入的电商数据进行批次化整理。

第二方面，本发明提供了一种全网电商数据自动管理设备，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备运行上述全网电商数据自动管理系统。

可选地，所述设备包括：pc、服务器或智能终端。

第三方面，本发明提供了一种计算机程序产品，该计算机程序产品在计算机设备上运行时，使计算机设备加载并运行上述全网电商数据自动管理系统。

本发明的构思在于，针对全网电商数据的自动管理需求，提出通过对入库公共流程的预先梳理并加入可视化的操作方式，以此提升全网电商数据入库流程的工作效率，方便了对各种入库数据的整理，并对不同的电商平台配置了相对应的规则，由此可以免于为不同电商进行重复开发；此外，通过设计日志单元，对每一条数据在各流程中的处理状态进行实时跟踪，以便当出现数据问题时可以迅速追查问题所在，进一步地，也可以开放每个批次数据的可视化处理进度给后台查看，以便协助管控；同时，还设计了统计及通知单元，可以通过邮件形式对统计总结后的数据进行邮件推送，从而方便相关人员了解整个电商数据入库各环节流程的过程细节和处理结果。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的全网电商数据自动管理系统的实施例的示意图；

图2为本发明提供的全网电商数据自动管理系统的优选实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明经分析认为当前的全网电商数据管理可能存在如下不足：

1.对接不同的电商平台需要重复开发读取诸如入库等公共流程以及相对应的统计工具等；

2.整个入库流程没有可视化的后台监控；

3.需要耗费人力分批次录入电商数据，人力成本较高；

4.对处理失败的数据排查问题较为困难，难以追溯日常操作记录；等等。

有鉴于此，本发明旨在提供一种缓解系统压力及降低人工依赖的全网电商数据整理、管控方案，如图1所示，本发明提供了至少一种全网电商数据自动管理系统的实施例，其可以包括如下：

数据操作单元，用于为预先梳理的各类公共流程形成相应的可视化监控界面，并以正则方式匹配相应于不同电商平台的数据特征；

日志单元，用于存储并可视化地展示各流程相关数据处理状态；

统计及通知单元，用于基于预设条件统计日志数据，并生成通知邮件进行推送。

本实施例通过对入库公共流程的预先梳理并加入可视化的监控模块提升全网电商数据入库流程的工作效率，方便了对各种入库数据的整理，并对不同的电商平台配置了相对应的规则，由此可以免于为不同电商进行重复开发；此外，通过设计日志单元，对每一条数据在各模块中的处理状态进行实时跟踪，以便当出现数据问题时可以迅速追查问题所在，同时也可以开放每个批次数据的可视化处理进度给后台查看，以便协助管控；进一步地还设计了统计及通知单元，例如以邮件形式对统计总结后的数据处理进行相关人员的邮件推送，从而方便相关人员了解整个入库流程的过程和结果。

基于此，本发明进一步给出了如下较为优选的实施参考，图2中示出了一种汇总下述附加的各优选手段(各优选方式可在其他方案中独立实现)的综合方案：

1、所述数据操作单元包括：交互操作组件，用于在所述可视化监控界面中构建并管控交互控件。

2、所述日志单元包括日志分表组件，用于对超过预设规模标准的日志单表数据进行拆分。

3、所述统计及通知单元包括：定时组件，用于按照预设时间对数据进行汇总统计；拆分组件，用于在生成邮件前将导出数据及逆行拆分，以适应邮件承载量。

4、所述系统还可以包括：批次管理单元，用于将输入的电商数据进行批次化整理。

为了便于对前文实施例以及各优选方案的实现过程的理解，此处本发明提供如下具体的实施参考：

关于数据操作单元，其设计目标之一是对与入库相关的各公共流程进行模块转化，此处可以预先将各流程梳理为：数据获取、数据分类、品牌映射、数据推送落地、属性获取、属性映射、属性入库以及数据聚合等可共享的公共流程，并对每一个流程形成可视化的界面。其中，该数据操作单元可采用api接口的方式提高复用能力，这里所述api接口可遵循restful规范；并且，该数据操作单元可采用css、html技术和layui框架形成可视化的页面。进一步地，在可视化页面中还可以结合js技术增加交互控件，例如可以加入采用异步处理的操作按钮，以此可以解决脚本跨服务器执行的问题。

针对不同电商平台的不同规则，可以抽象一个规则后台进行管理，具体地，可以通过正则技术匹配不同电商的数据特征，使得在对不通电商平台进行数据整理的时候，无需重复开发、修改代码。

关于日志单元，具体可采用规范的restful规则进行数据对接，并可以使用kafka队列对业务进行解耦，同时也可以支持横向扩容；入日志操作可采用异步redis队列的方式，并且服务器端采用合并sql的方式入日志，以此可以极大提高日志写入效率；日志存储可以使用mysql，针对数据量级也可以考虑采用elk来存储日志，具体地，在实际操作中可采用mysql每天记录单表，该单表可支持过亿的数据量，能够满足较大规模的日志存储，并且还可以按照日期进行分表，防止单表数据过大。

日志单元还可以提供可视化的界面以便后台检索，具体可以采用layui框架进行日志展示，其中结合了css、js、html等技术对可视页面进行优化。这样，可方便后台对流程、标签、业务id等进行查询，并通过日志查看错误数据、接口异常等数据处理中发生的问题，以此实现对各流程进行日常记录存储、实时追溯跟踪。

关于统计及通知单元，可以通过redis异步队列对用户提交的筛选条件和/或预设的定时机制进行数据检索、统计并生成邮件，具体来说，可以使用redis对业务日志进行统计，接着通过定时crontab脚本将redis数据定期送入到mysql数据库进行汇总统计，之后通过php实现一个守护进程程序可以让不同服务器的业务导出数据；接着通过php-email扩展实现发送email的功能，该生成邮件可预设支持较大的数据量，如果导出数据过大也可以考虑自动拆分文件，例如在统计及通知单元中还可以包括拆分组件，其可以自动拆分文件，并生成数据量适应的邮件；当然，该统计及通知单元还可以进一步包括邮件导出组件和发送组件，使得每天会有入库的数据统计邮件通知到相关人员，便于及时了解情况、发现并处理问题。

基于其他单元的涉及构思，该统计及通知单元也可以支持可视化的操作，使用layui框架实现了一个可视化后台，对此本发明不作赘述。

总之，用户可以根据自己所需设置日志字段，定时统计入库来源的各种增量数据，掌握每天或每周全量的数据增长概况，并从中导出日志数据生成邮件自助推送给相关人员，在无需额外人员介入条件下，清晰了解完整的全网电商数据入库及相关概况。

在前文说明基础上，本发明还提供了一种优选的实施例，所述全网电商数据自动管理系统还可以包括批次管理单元，该技术手段的核心构思是设计一个将各电商数据进行批次入库的管理工具，并可以使后台查看各批次入库的进度和数据失败的原因。具体来说，该批次管理单元将每次入库的电商数据生成为若干批次，并使用mysql对数据进行存储(例如但不限于记录数据的入库时间，入库状态等)，进一步地还可以通过批次号取余的方式对数据进行分表，使得同一批次的数据可以在一个数据表进行筛选处理，同理地，对于批次化的数据也可以通过可视化的方式予以展示，这样，不需要额外人力协助，便可以轻松查看和操作各批次数据的进度或者出错原因。本领域技术人员可以理解的是，该批次管理单元可以与前述数据操作单元相互结合，在进行电商数据各流程入库的同时，形成批次化的数据呈现，也即是说在一些实施例中可以将批次管理单元作为所述数据操作单元的一个组件(图2中虚线示出)；当然，本发明也不排除在其他实现方式中，前述日志单元同样也可以理解批次化的管理方式或者遵循批次化的处理结果进行日志记录，对此本发明仅给出启发，并不作限定。

最后，针对前文提及的全网电商数据入库管理的特定需求，通过本发明上述介绍可知本发明至少具备如下技术优势：

(1)本发明通过对数据入库流程的梳理和整合，对关键流程环节利用css、html、js等技术进行可视化处理，便于运营产品操作以及监控各个入库批次数据的各种状态，减少运营和开发的沟通成本，还有开发额外介入的人力成本。

(2)本发明通过对各入库流程通过异步redis队列等技术，将各个流程模块进行了关联、流转、解耦等，减少了针对不同电商平台开发时的重复开发，提高了研发效率，并且各批次之间互不影响，在实际操作中可以是实现多进程并行处理，极大地提高了全网电商数据入库的效率。

(3)本发明针对该场景需求，还加入了日志记录工具，并采用mysql分表处理，能够接收较大数据量的日志，再借由redis异步队列的处理，大幅提高了日志的吞吐量；进一步地，写入日志时sql进行了合并写入，提高了日志写入的速度，通过日志监控功能的设计，极大提高了对系统各个模块信息流转时数据细节的把控，极大方便了报错数据的排查，可以显著减少纠错时间，提高工作效率。

(4)在日志单元基础上，还可以根据筛选条件定期导出日志，并通过redis异步队列实现程序跨服务器调用的问题，操作中可配置多名邮件发送人，并且可支持较大数据量的数据导出，当然，一旦文件过大时本系统还可以自动拆分文件并发送，防止文件过大程序打不开等情况，由此可以方便运营导出错误数据、成功数据等，可见，统计及通知单元的设计也可以缓解重复开发的压力，协助降低成本。

(5)当对接不同的电商平台时，本发明提供的各单元组件具备一定的复用性，且针对不同的电商平台的个性规则，基于正则技术实现规则的自动配置，不需要额外重复开发，因此也能够极大地提高开发的产能。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种全网电商数据自动管理设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备运行前述实施例或等效实施提供的全网电商数据自动管理系统。

该设备可以是电子设备，例如pc、服务器、智能终端(手机、平板等)等。本实施例对全网电商数据自动管理设备的具体形式可不作限定。

(2)一种计算机程序产品，该计算机程序产品在计算机设备上运行时，使计算机设备加载并运行前述全网电商数据自动管理系统。

可以理解为该计算机程序产品是一种可经销售等途径传播使用的已完整封装产品，例如计算机的os操作系统软件产品、游戏软件产品等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指app；接续前文，上述设备/终端可以是一台计算机设备(例如手机、pc终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器cpu、dsp、微控制器或数字信号处理器，还可包括gpu、嵌入式神经网络处理器(neural-networkprocessunits；以下简称：npu)和图像信号处理器(imagesignalprocessing；以下简称：isp)，该处理器还可包括特定集成电路asic，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatilememory)，例如非可移动磁盘、u盘、移动硬盘、光盘等，以及只读存储器(read-onlymemory；以下简称：rom)、随机存取存储器(randomaccessmemory；以下简称：ram)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。