一种监测短信触达效果的系统及方法与流程

本发明涉及通信技术和大数据分析技术领域，特别是一种监测短信触达效果的系统及方法。

背景技术：

2000年以后运营商短信业务进入快速发展，中国移动中国联通先后推出短信业务，给运营商带来了巨大的利润，2010年后随着智能手机和互联网即时通讯工具的影响，我国手机用户发送的短信数量开始逐年下降，但是2017年来短信主要被用于企业服务，消息通知，营销等领域，日均短信发送在10亿条以上，短信业务开始焕发第二春。

在营销领域，短信作为一种直接的方法，因为其方便直接，近年来一直保持着不错的效果，传统的营销短信服务提供商，只能提供短信的发送报告，报告中只包含短信的发送成功情况。运营人员基于这样的统计数据无法做出有效的效果优化，急需一种有效跟踪短信营销全流程的方法和系统。

技术实现要素：

针对现有技术存在的不足，本发明提供一种监测短信触达效果的系统及方法，能够有效的监测营销短信发送完成后，短信文案里包含的短链点击情况，并且可以分析出哪些手机号用户点击了短信文案中的链接。

术语解释：

1、短链，通俗来说，就是将长的url网址，通过程序计算等方式，转换为简短的网址字符串。

2、nginx，一款轻量级的web服务器/反向代理服务器。其特点是占有内存少，并发能力强，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

3、hadoop，是一个由apache基金会所开发的分布式系统基础架构。

4、lua，是一个小巧的脚本语言。其设计目的是为了通过灵活嵌入应用程序中从而为应用程序提供灵活的扩展和定制功能，lua由标准c编写而成，几乎在所有操作系统和平台上都可以编译运行。

5、git，是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。

6、kafka，是由apache软件基金会开发的一个开源流处理平台，由scala和java编写。kafka是一种高吞吐量的分布式发布订阅消息系统。

为了达到上述目的，本发明通过以下技术方案来实现：一种监测短信触达效果的系统，其特征在于:是由可视化系统、短链系统以及分布式数据分析系统组成；

所述可视化系统是基于java开发的web系统，提供用户短信发送的可视化操作以及提供数据结果可视化和下载；

所述短链系统是基于nginx+lua+redis组件开发的无单点故障的微服务化的系统，在于提供短链编码服务，短链跳转服务，短链监测服务。

所述分布式数据分析系统在于提供数据采集服务，数据分析服务，数据存储服务，围绕hadoop生态圈技术组件构建。

一种监测短信触达效果的方法，其特征在于，包括以下步骤：

s1、任务初始化；

s2、手机号编码；

s3、动态短链生成；

s4、短链跳转日志采集；

s5、日志数据分析。

本发明进一步：s1任务初始化具体是登入短信发送平台web界面，提交相关短信发送材料供系统审核，同时上传手机号码文件，审核如果未通过，返回重新修改并提交审核,审核通过的，自动生成短信发送任务，生成任务id。

本发明进一步：s2手机号编码具体是根据任务id，查找此任务需要编码的手机号列表，进行手机号码编码，在满足统一资源标识符语法规则的前提下，利用26个字母大小写以及0到9数字组合将每个手机号编码成唯一的6位长度字符串，该字符串可以进行反解。

本发明进一步：s3动态短链生成具体是根据编码后的字符串和任务id，从可用的短域名库中选择一个域名拼接上编码好的字符串作为短url，通过映射此短url可以跳转到一个长url，进行短链接映射，完成短链跳转配置，为每一个手机号码，生成独立短链的动态文案，进行短信发送。

本发明进一步：s4短链跳转日志采集具体是通过日志采集器实时读取nginx日志文件，将日志发送到消息中间件kafka，再由日志采集器消费kafka的数据存储到hdfs供数据分析使用。采集nginx日志文件是基于自己实现的java程序利用kafka作为消息中间件实现，日志最终采集到hdfs分布式文件系统里，数据采集时间间隔可以做到准时。

本发明进一步：s5日志数据分析具体是首先通过规则引擎过滤日志数据中爬虫访问数据，然后进行每个动态链接的访问行为解析，统计被点击的动态链接，最终通过解码算法还原成对应的手机号。

本发明进一步：相关短信发送材料包括：文案、签名和落地页链接，所述落地页链接处于信息安全考虑，同时防止dpi数据劫持，所提供的落地页链接要求是只允许https方式进行访问的链接。

本发明进一步：根据权利要求7所述的一种监测短信触达效果的方法，其特征在于：过滤日志数据中爬虫访问数据主要方法是基于长期日志分析留存下来的爬虫ip库，爬虫useragent库，ip访问频率，访问时间点因素做出自动识别进行过滤。

本发明具有有益效果为：

本发明为基于短信营销的应用场景，能够有效的监测营销短信发送完成后，短信文案里包含的短链点击情况，并且可以分析出哪些手机号用户点击了短信文案中的链接，一方面方便跟踪营销场景全流程转化数据，另一方面通过收集正样本用户，方便模型优化师进行模型效果优化，从而显著提高效率和营销场景中经济效益。

附图说明

图1为一种监测短信触达效果的系统的功能架构图；

图2为一种监测短信触达效果的方法详细流程示意图；

图3一种监测短信触达效果的系统的详细架构图；

图4为编码算法流程图。

具体实施方式

结合附图，对本发明较佳实施例做进一步详细说明。

如图1所示，一种监测短信触达效果的系统，其特征在于:是由可视化系统、短链系统以及分布式数据分析系统组成；

所述可视化系统是基于java开发的web系统，提供用户短信发送的可视化操作以及提供数据结果可视化和下载；

所述短链系统是基于nginx+lua+redis组件开发的无单点故障的微服务化的系统，在于提供短链编码服务，短链跳转服务，短链监测服务。nginx域名跳转服务是基于nginx+lua脚本实现，可是达到随时配置上线，同时不影响在线服务。

为了保证商用的稳定性专门做了短链监测服务，通过监测可以实时知道短链跳转功能，域名解析是否正常运行，以及全国各地各运营商的网络访问速度是否正常；所述分布式数据分析系统在于提供数据采集服务，数据分析服务，数据存储服务，围绕hadoop生态圈技术组件构建。分布式数据系统上集成有impala，hive，sparkstreaming等批量或者流式计算工具供数据清洗加工挖掘使用。

如图2所示，一种监测短信触达效果的方法，其特征在于，包括以下步骤：

s1、任务初始化；具体是登入短信发送平台web界面，提交相关短信发送材料供系统审核，同时上传手机号码文件，审核如果未通过，返回重新修改并提交审核,审核通过的，自动生成短信发送任务，生成任务id。

s2、根据任务id，查找此任务需要编码的手机号列表，进行手机号码编码，编码结果是6位长度字符串；具体是在满足统一资源标识符语法规则的前提下，利用26个字母大小写以及0到9数字组合将每个手机号编码成唯一的6位长度字符串，该字符串可以进行反解。

s3、动态短链生成；根据编码后的字符串和任务id，从可用的短域名库中选择一个域名拼接上编码好的字符串作为短url，通过映射此短url可以跳转到一个长url，进行短链接映射，完成短链跳转配置，为每一个手机号码，生成独立短链的动态文案，进行短信发送。

s4、短链跳转日志采集；具体是通过日志采集器实时读取nginx日志文件，将日志发送到消息中间件kafka，再由日志采集器消费kafka的数据存储到hdfs供数据分析使用。采集nginx日志文件是基于自己实现的java程序利用kafka作为消息中间件实现，日志最终采集到hdfs分布式文件系统里，数据采集时间间隔可以做到准时。

s5、日志数据分析；具体是首先通过规则引擎过滤日志数据中爬虫访问数据，然后进行每个动态链接的访问行为解析，统计被点击的动态链接，最终通过解码算法还原成对应的手机号，生成用户点击行为报告，传送到web端进行数据展示，以及提供web下载。所述过滤日志数据中爬虫访问数据主要方法是基于长期日志分析留存下来的爬虫ip库，爬虫useragent库，ip访问频率，访问时间点因素做出自动识别进行过滤。

如图3所示，交互界面提供相关短信发送材料的审核提交功能，还可以为用户提供短链生成功能，同时也提供动态短链数据报告下载。其中相关短信发送材料包括：文案、签名和落地页链接，落地页链接处于信息安全考虑，同时防止dpi数据劫持，所提供的落地页链接要求是只允许https方式进行访问的链接。交互界面和短链系统之间是用restfulapi进行通信的，短链服务首先基于bloomfilter数据结构做海量号码重复判断，然后将排重后的号码，通过动态短链编码算法进行编码，配置进域名跳转，编码算法是一种62进制定制编码算法。

如图4所示，短信批量发送发成后，如果有用户点击短信里的链接，日志采集器可以采集到实时nginx日志并且发送到kafka，有专门的数据消费服务会实时消费kafka里积累的数据，送到分布式数据处理系统，进行大规模数据分析，之所以选取分布式数据处理系统进行数据处理，是因为每天有过亿的访问日志需要清洗分析。

本发明为基于短信营销的应用场景，能够有效的监测营销短信发送完成后，短信文案里包含的短链点击情况，并且可以分析出哪些手机号用户点击了短信文案中的链接，一方面方便跟踪营销场景全流程转化数据，另一方面通过收集正样本用户，方便模型优化师进行模型效果优化，从而显著提高效率和营销场景中经济效益。

上述实施例仅用于解释说明本发明的发明构思，而非对本发明权利保护的限定，凡利用此构思对本发明进行非实质性的改动，均应落入本发明的保护范围。