营销自动化管理平台系统及其管理方法与流程

本发明涉及计算机领域，尤其一种营销自动化管理平台系统及其管理方法。

背景技术：

在营销实践中，获客成本通常比留存高出4-10倍，不及时、非相关甚至缺失的客户互动会导致较差的客户体验，并导致客户的流失。及时的客户交互与应答能够有效提升客户体验，并增加转化率和复购率。客户互动管理可以帮助统筹每个个体客户在整体旅程中的互动，做到“在合适的时间，给合适的客户，送达合适的内容”，并通过与客户良好的互动达到留存的目的，并最终实现价值。因此如何能够有效的、自动化进行客户互动管理，并在互动过程中提高推送数据的精确性和及时性，成为目前营销过程中必须解决的问题。

技术实现要素：

本发明为解决背景技术中存在的技术问题，而提供一种及时性好、精确性高、自动化的营销自动化管理平台系统及其管理方法。

本发明的技术解决方案是：本发明为一种营销自动化管理平台系统，其特殊之处在于：该系统包括客户触点数据采集单元、实时数据网关、id查询与匹配服务单元、mpp数据分析单元、流程引擎、管理端、实时消息网关和动作执行器，客户触点数据采集单元接入实时数据网关，实时数据网关接入id查询与匹配服务单元，id查询与匹配服务单元分别接入mpp数据分析单元和流程引擎，所述流程引擎与实时消息网关连接，实时消息网关接入动作执行器，mpp数据分析单元分别接入流程引擎和管理端，客户触点数据采集单元采集不同来源的客户触点消息，实时数据网关接入不同来源的客户触点消息，以统一的数据格式进入平台；id查询与匹配服务单元，将同一客户不同来源的触点绑定到系统客户主id上；mpp数据分析单元，通过etl(数据仓库技术：extract萃取，转置transform，加载load)采集数据并通过elasticsearch(全文搜索引擎)对于数据流进行多维度分析；管理端用于管理与配置系统对外的接口服务，调整系统参数；流程引擎根据用户自定义的流程，将数据流引导入不同流程与分枝，生成对外动作事件，实时消息网关，将对外动作事件分散到不同外部接口，达到消息推送或触达客户的目的，形成数据闭环，动作执行器根据动作类型，分发事件消息到不同数据管道。

优选的，该系统还包括外部数据库，外部数据库与mpp数据分析单元连接。外部数据库包括第三方数仓等其他数据来源的接入，是相对于系统内部数据库而言，需要通过接口对接将外部数据接入。

优选的，该系统还包括数据库，所述管理端和流程引擎分别与数据库连接，所述数据库用以保存流程定义与状态，渠道状态，二维码来源、客户信息、人群分组信息、标签信息、数据分析结果、系统配置信息等。

一种实现上述的营销自动化管理平台系统的方法，其特殊之处在于：该方法包括以下步骤：

1)客户触点数据采集单元采集不同来源的客户触点消息；

2)实时数据网关接入不同来源的客户触点消息，以统一的数据格式进入平台；

3)id查询与匹配服务单元将同一客户不同来源的触点绑定到系统客户主id上；

4)mpp数据分析单元，通过etl(数据仓库技术：extract萃取，转置transform，加载load)采集数据并通过elasticsearch(全文搜索引擎)对于数据流进行多维度分析；

5)管理端用于管理与配置系统对外的接口服务，调整系统参数；

6)流程引擎根据用户自定义的流程，将数据流引导入不同流程与分枝，生成对外动作事件；

7)实时消息网关，将对外动作事件分散到不同外部接口，达到消息推送或触达客户的目的，形成数据闭环；

8)动作执行器根据动作类型，分发事件消息到不同数据管道。

优选的，步骤2)中实时数据网关用于接收在不同技术接口上实时或非实时采集到的触点数据，并在原始数据基础上进行整理、去重、补充数据、缓存数据，最终以结构化的固定格式进入后序消息队列，整个过程利用akka框架实现管道处理(pipeline)、流计算(streaming)、背压(back-pressure)、缓存(caching)、高可用(high-availability)、容错(failover)。

优选的，步骤2)的技术接口包括http请求监听；消息队列；读取数据库；库交换；restapi或第三方sdk和自有sdk。

优选的，步骤2)中原始数据的整理、去重、补充与缓存的具体步骤如下：

2.1)数据整理：数据以实时客户行为事件的维度目标进行整理，即什么人(who)，在什么时间(when)，做了什么事情(what)，这个事件或人有什么属性(properties)，无论什么来源的数据都以这四个维度为目标进行整理与存储；

2.2)去重：由于网络延时或在短时间内没有响应等原因造成的数据重连可能会导致重复数据发送到接口上，针对这种情况，系统通过哈希算法进行了去重；

2.3)补充：针对人，时间，事情这几个维度的属性数据可能存在缺失，需要补足，系统会通过缓存或数据库、接口等形式获取详细属性信息，补充缺失数据；

2.4)缓存：为减少i/o等输入输出操作，系统将部分数据缓存，从而在再次请求时，可以直接从缓存中读取，提高系统效率。

优选的，步骤3)id查询与匹配服务单元针对不同渠道的客户的身份识别，将不同渠道触点进入系统的客户通过一定逻辑规则进行匹配，具体匹配规则如下：logicalid为客户在系统中的全局唯一主id，由系统自动生成与分配；udid为客户在一个项目project上的主id；upid为客户在触点touchpoint上的id，udid生成规则，udid＝<项目projectid>@<客户deviceid>；upid生成规则，upid＝<项目projectid>@<触点名称touchpoint>@<客户触点id>；在数据收录时会根据udid和upid查找对应的logicalid并持久化，数据存储均采用缓存数据库，以增加执行效率，缓存数据定期持久化到数据库：数据包括profile表格和touch_point表格，其中profile表格：客户数据数据结构，主要存储客户基础数据；touch_point表格：触点，客户相关触点数据；profile表格与touch_point表格是1对n关系，同一个profile可以存在多个touch_point。

优选的，步骤8)中动作执行器的事件消息格式如下：一个action(动作)事件包含instanceid,action,context,timestamp，其中instanceid包含projectid，userid，flowid，version，分别为项目id，客户主id，流程id，版本号，以此来定义一个动作；action主要包含动作的详细内容，包括动作类型，属性，参数等；context为上下文信息，包括由gateway事件带进来的事件属性信息，客户属性信息等；timestamp为动作发生时间。

本发明提出的客户互动管理cem(customerengagementmanagement)，是多触点、多渠道、多媒体的新一代自动化客户体验管理机制，用以实时连接企业终端客户与企业的商业沟通。这种商业连接可以是在线上线下的应答、交互或者总体客户体验。作为新一代的客户管理方法与技术，cem在互联网化程度较高的行业比如金融、零售得到了充分应用，为企业用户实现高效客户管理、提高营销效率提供了新型商业经营模式。客户互动管理的效果主要体现在以下方面：

cem更注重客户与过程，以客户为导向，提升客户忠诚度。cem扩展了客户资源管理crm(customerresourcemanagement)的概念，从纯粹的前台问题、历史信息问题、业务问题和交易问题扩展到了分析性和主观性更强的标准。cem更能提供企业所需要的客户态度数据和动态数据。cem不仅是企业的一种服务战略决策，而且是一种关于服务执行的管理体系，cem管理模式可以迅速提升改善企业自我，制定出以客户为中心的企业策略，平衡技术投入与业务的关系。

cem的管理模式主要由以下几部分组成：

1、设计客户体验流程与互动策略制订。收集客户和市场的偏好及建议，并用于产品、服务和商务流程的设计。通过工具搭建客户互动策略流程，并实时上线发布，在客户终端实时生效产生互动。

2、度量和描述客户实际互动体验。这些可能是操作或态度的，定量的或者定性的，被要求的或者自愿的，结构化的或者非结构化的。通过量化分析，确定描述的互动体验与实际相符。

3、分析和处理结果。这部分包括分析得分和统计；通过客户或市场细分进行检查；计算主要绩效指标(kpms)的实际和目标分数的差距；通过将诸如重复购买可能性与期望结果与绩效工具相联系来度量其重要性；结合操作的，行为的和态度度量来进行另外的洞察。

4、优化和表述客户互动体验。这部分包括将发现结果整合到产品和服务设计中；为响应相关的客户反馈，通过向组织里正确的人发送信件和案例分享来驱动相应行动，通过调配不同部分的劳动力来引导战略计划。

5、通过客户互动管理平台搭建营销策略。一旦完成对客户互动策略流程的设计，下一步需要考虑流程的技术实现，主要需要分析技术的可行性，通过工具或研发实现流程的搭建。

6、客户互动策略流程的执行。通过工具实现技术层面的可执行，通过数据的采集、分析、归因与执行，实现与客户的互动与交互。

7、客户互动策略流程的监控与效果管理。通过执行采集实时数据，了解策略执行的情况与效果。了解客户的转化与关键指标的情况。具体应用比如通过ab测试对客户推送不同内容以了解效果。

8、实时调整客户互动策略。通过不同的转化结果，修改调整互动策略与互动内容，以优化流程。

随着数据采集体系的完善，通过主动埋点、被动监听、主动采集等技术手段实现跨渠道、全方位的客户行为数据采集，通过对客户行为数据的分析得到客户的主观意愿并判断其动机，同时通过策略制订实现基于客户行为的自动化客户交互，做到及时响应、千人千面的客户互动管理。

随着线上线下业务的拓展和融合，企业用户积累大量客户数据，包括客户标签数据、行为数据、属性数据、交易数据等等，如何实现数据变现，就需要一个cem系统进行落地。场景驱动，从业务需求出发改变成从客户需求出发。响应式编程实践：用akka框架实现高并发环境下的实时自动流程，自动流程作为自动化即时营销工具，其特点是在比较大的吞吐量下按照客户预设的场景对客户的行为作出即时响应。

自动化：cem系统是可以让业务人员直接操作流程规则，流程执行，流程分析，流程改进的工具。以图形化的方式替代代码编写的程序化营销逻辑。

即时：cem系统能够在客户的行为发生后马上作出响应。完全事件驱动的架构使得我们可以对单一客户的行为作出快速响应。客户可以体验到近乎在线聊天的即时性。

大吞吐量：cem系统是面向众多终端客户的，应用于大规模即时营销场景的流程化交互工具，每一个正在运行的流程实例，状态保持在内存，大幅降低了数据库和i/o输入输出操作使得cem系统可以支持大并发的营销场景需求。

为满足以上要求，本发明采用akka框架进行开发应用cem管理模式的管理系统，其中akka框架为：

akka：一种适用于高并发分布式环境下的消息驱动工具和运行实时计算框架

akkaactor：akka中最小的带状态的计算单元，actor之间的相互作用都通过消息来实现

akkafsm：用actor实现的有限状态机。完成类似于在什么状态下发生什么事情则作出什么响应的模型过程。

akkastream：akka框架实现的流式计算，支持背压等管道操作。

mongodb：用于保存流程定义，流程的状态统计等信息，以及各种actor的快照。

kafka：用于各个模块之间的数据传递。

elasticsearch：用于流程运转信息于客户行为事件的记录和检索。

redis：用内存存储实现高并发下的缓存。

akka框架具有以下优点：

1、基于内存，把i/o的影响降低到最小；

2、事件驱动，能够处理复杂的事件(event)和事件处理器(eventhandler)组合；

3、可扩展，最小化共享可变状态，位置透明，方便横向扩展；

4、容错性，弱耦合，通用的监督者(supervisor)和容错(failover)机制。

每个功能组件以“松耦合、高内聚”为标准，实现“可扩展、可持续”的技术目标，为系统的快速集成与部署提供便利，并为后续的项目实施与落地提供技术准备。

因此本发明采用akka框架开发了一种应用cem管理模式的营销自动化管理平台系统及其管理方法，其具有以下优点：

1、及早发现问题；

2、减少营销活动的疑问；

3、增加销售营销活动的反应率；

4、提高客户忠诚度留住老客户；

5、提升产品品牌效应；

6、提升服务价值；

7、为产品设计、价格、经营策略提供了参考；

8、通过客户互动效果实时调整策略。

附图说明

图1为本发明的系统框图；

图2为本发明的实时数据网关的数据处理过程示意图；

图3为本发明的动作执行器的分发事件消息到不同数据管道的示意图。

具体实施方式

下面结合附图对本发明的具体实施例进行进一步的详细描述：

参见图1，本发明具体实施例的结构包括客户触点数据采集单元、实时数据网关、id查询与匹配服务单元、mpp数据分析单元、流程引擎、管理端、实时消息网关和动作执行器，客户触点数据采集单元接入实时数据网关，实时数据网关接入id查询与匹配服务单元，id查询与匹配服务单元分别接入mpp数据分析单元和流程引擎，流程引擎与实时消息网关连接，实时消息网关接入动作执行器，mpp数据分析单元分别接入流程引擎和管理端，其中：

客户触点数据采集单元采集不同来源的客户触点消息。

实时数据网关，接入不同来源的客户触点消息，以统一的数据格式进入平台。

id查询与匹配服务单元，将同一客户不同来源的触点绑定到系统客户主id上。

mpp数据分析单元，通过etl(数据仓库技术：extract萃取，转置transform，加载load)采集数据并通过elasticsearch(全文搜索引擎)对于数据流进行多维度分析。

管理端，用于管理与配置系统对外的接口服务，调整系统参数等。

流程引擎，系统核心组件，根据用户自定义的流程，将数据流引导入不同流程与分枝，生成对外动作事件。

实时消息网关，将对外动作事件分散到不同外部接口，达到消息推送或触达客户的目的，形成数据闭环。

数据库采用mongodb/mysql，数据库用以保存流程定义与状态，二维码来源、客户信息、数据分析结果、系统配置信息等。系统也可以根据实际情况连接需求放自有数据库，即外部数据库。

针对1000万客户体量，200万峰值客户流量，每秒3000客户实例为例需要以下系统与硬件配置。

数据采集单元、实时数据网关、id查询与匹配服务单元、流程引擎、实时消息网关和动作执行器均采用三节点部署方式，每台主机配置为8核cpu，16g内存，200g硬盘，linux操作系统(centos或ubuntu操作系统)，以上主机通过kafka消息队列与nginx网络服务器实现流量分发与负载均衡。

mpp数据分析单元采用三节点增强型部署，每台主机配置为8核cpu，16g内存，500g硬盘，linux操作系统(centos或ubuntu操作系统)

管理端采用二节点部署，每台主机配置为4核cpu，8g内存，200g硬盘，linux操作系统(centos或ubuntu操作系统)

数据库类型包括关系型数据库、缓存数据库、文档存储数据。

关系型数据库采用三节点读写分离方式部署，每台主机配置为4核cpu，8g内存，500g硬盘，linux操作系统(centos或ubuntu操作系统)

缓存数据库采用三节点一主二备份方式部署，每台主机配置为4核cpu，8g内存，500g硬盘，linux操作系统(centos或ubuntu操作系统)

文档存储数据库采用三节点分布式部署，每台主机配置为4核cpu，8g内存，500g硬盘，linux操作系统(centos或ubuntu操作系统)

网络服务器nginx采用单节点部署，一台主机每台主机配置为2核cpu，4g内存，50g硬盘，linux操作系统(centos或ubuntu操作系统)

参见图2，实时数据网关gateway，用于接收在不同技术接口上实时或非实时采集到的触点数据，并在原始数据基础上进行整理、去重、补充数据、缓存数据，最终以结构化的固定格式进入后序消息队列。整个过程利用akka框架实现管道处理(pipeline)、流处理(streaming)、背压(back-pressure)、缓存(caching)、高可用(high-availability)、容错(failover)。

支持接入的技术接口：

1、http请求监听；上游数据源将实时或非事实数据发送到指定服务的地址(ip与端口)，实现针对指定端口的数据监听与采集，读取请求方法(get、post、put、delete)，读取请求头(header)，读取请求路径(uripath)，读取请求体(body)，将采集到的数据进行解析，作为后续管道的数据源。

2、消息队列；上游数据源将实时或非事实数据序列化后，以生产者身份(producer)主动推送到指定消息队列，系统以消费者身份(consumer)实时消费(consume)指定消息队中的序列化数据。系统对数据进行反序列化后，将采集到的数据进行解析，作为后续管道的数据源。

3、读取数据库；上游系统将指标、事件等写入数据库(数据库可以是关系数据库、文档数据库、内存数据库等任意形式)，系统定时读取数据库数据，将采集到的数据进行解析，作为后续管道的数据源。

4、库交换；通过中间数据存储媒介如云盘等，读取数据，解析并作为后续管道的数据源。

5、restapi或第三方sdk；若上游数据源已提供接口，上游开发商可以插件形式增量或批量读取相应api接口中的数据并传输给系统，系统将采集到的数据进行解析，作为后续管道的数据源。

6、sdk；上游数据供应商可以将我们提供的sdk开发包潜入前端web页面，或后台服务端系统。sdk将获取页面或系统中的数据，并发送至系统接口。

反序列化与解析：

除直接读取数据库或通过sdk获得数据，其他接口均针对数据进行反序列化操作，并解析。

数据整理、去重、补充与缓存：

数据整理：数据以实时客户行为事件的维度目标进行整理，即什么人(who)，在什么时间(when)，做了什么事情(what)，这个事件或人有什么属性(properties)，无论什么来源的数据都以这四个维度为目标进行整理与存储。

去重：由于网络延时或在短时间内没有相应等原因造成的数据重连可能会导致重复数据发送到接口上，针对这种情况，系统通过哈希算法进行了去重。

补充：针对人，时间，事情这几个维度的属性数据可能存在缺失，需要补足，系统会通过缓存或数据库、接口等形式获取详细属性信息，补充缺失数据。

缓存：为减少i/o等操作，系统将部分数据缓存，从而在再次请求时，可以直接从缓存中读取，提高系统效率。

队列生产者(producer)：

由于系统之间的数据传输，采取消息队列的形式，因此实时数据网关gateway管道的最后一端是消息的生产者，系统将数据重新序列化后由消息生产者发送到消息队列中供后续系统进行读取。

流计算(streaming)：流计算为了实现数据的实时处理与同一管道内按顺序逐一处理，避免了大数据背景下大批量数据的传输与按批次处理的效率问题。

管道处理(pipeline)：管道主要解决了并发、内存泄漏、线程安全等问题

背压(back-pressure)：基于管道的实践，当管道内的数据流量存在流速不匹配等问题，背压控制可以告诉源头数据，减慢消息消费，从而缓解后续管道处理压力，避免数据通过率超出管道承载能力，保障系统安全。

id查询与匹配服务单元主要针对不同渠道的客户的身份识别，将不同渠道触点进入系统的客户通过一定逻辑规则进行匹配。此过程是实现跨渠道营销的重要组成部分。id查询与匹配服务单元组件在运行过程中会产生大量i/o输入输出操作，为满足高并发场景下的实时计算能力，id查询与匹配服务单元组件需要满足以下技术要求线程非阻塞的要求，因此系统大量使用了缓存数据库。

业务逻辑规则：

logicalid为客户在系统中的全局唯一主id，由系统自动分配

udid为客户在一个项目上的主id

upid为客户在触点上的id，如触点为手机时，upid为手机号，触点为微信时，触点为微信openid

udid生成规则，udid＝<项目projectid>@<客户deviceid>

upid生成规则，upid＝<项目projectid>@<touchpoint触点名称>@<用户触点id>

在数据收录时会根据udid和upid查找对应的logicalid并持久化，具体规则如下

假定实际情况中udid始终存在，

id查询与匹配服务单元中，数据存储均采用缓存数据库，以增加执行效率，缓存数据定期持久化到数据库中，数据包括：

profile表格：客户数据数据结构，主要存储客户基础数据；

id(主键),name(客户名字),age(客户年龄),gender(客户性别),birthday(客户出生日期),project_id(项目主键),group_id(分群主键),union_id(客户统一身份识别码),create_time(数据创建时间),update_time(数据更新时间),source(客户来源信息)，

touch_point表格：触点，客户相关触点数据

id(主键),channel_type(渠道类型),profile_id(客户主键),project_id(项目主键),touch_id(渠道触点id),create_time(数据创建时间),update_time(数据更新时间),target_id(渠道主键),target_name(渠道名称)

profile表格与touch_point表格是1对n关系，同一个profile可以存在多个touch_point。

参见图3，actionexecutor动作执行器与消息网关，流程引擎的动态状态机在状态跳转后会输出一系列动作，具体动作通过消息队列分发到动作执行器，动作执行器根据动作类型，分发事件消息到不同数据管道。

管道末端对接客户触点媒介，如api接口，kafka消息队列等。

动作执行器action的事件消息格式如下：

一个action事件包含instanceid,action,context,timestamp。其中

instanceid主要包含projectid，userid，flowid，version，分别为项目id，客户主id，流程id，版本，以此来定义一个动作。

action主要包含动作的详细内容，包括动作类型，属性，参数等。

context为上下文信息，包括由gateway事件带进来的事件属性信息，客户属性信息等。

timestamp为动作发生时间，

以上，仅为本发明公开的具体实施方式，但本发明公开的保护范围并不局限于此，本发明公开的保护范围应以权利要求的保护范围为准。