用于网页和APP轻量化用户行为数据采集方法、系统及应用与流程

本发明涉及一种数据采集系统，具体的说是一种用于网页和app的轻量化用户行为数据采集方法、系统及应用。

背景技术：

目前，在大型互联网网站的运营过程中，需要对其网站和app用户在网站应用上的访问和各种操作行为进行分析，通过对行为的分析查找出用户的使用习惯，并根据用户的使用习惯对网站应用进行改进，加强用户的黏度，并吸引新的用户。完成这样的工作需要大量的用户行为数据进行支撑，但是大多数在运营的网站应用都是经历了很多年的迭代开发积累出的软件产品，在初始的设想之中，并未考虑过对这些数据进行收集，若要获得这些数据，就必须重新规划建设或者对产品进行大范围的改造，资金投入相当庞大。因此，网站应用的运营者需要一种轻量化的方式采集用户行为数据，在不对网站应用进行大的改造的前提下，实现对用户行为数据的采集。

传统的轻量化用户行为采集方法，是在网站的服务端编写过滤器程序，当用户访问网站的网页时，服务端会自动记录下用户访问的页面的路径，以此作为用户行为的日志记录存储于日志文件之中，但是此种方法会带来四个问题：

（1）服务端只能记录用户在网站上进行访问时的页面切换日志；

（2）用户在网站应用上点击的过程，服务端无法知晓；

（3）过滤器的使用将严重降低网站的响应速度，影响网站的性能，破坏用户的实际使用体验；

（4）无法解决app的访问行为数据采集问题。

技术实现要素：

针对上述技术问题，本发明提出一种用于网页和app的轻量化用户行为数据采集方法、系统及应用。其包括以下步骤：

在网站页面或app界面中进行插码改造的步骤；

插码脚本或插码sdk监听用户在网页上或app界面上的用户行为的步骤，当用户访问网页或app界面时，插码脚本或插码sdk监听用户在网页上或app界面上的用户行为；

插码脚本或插码sdk向外发送数据请求的步骤；插码脚本或插码sdk将监听到的用户行为数据按照规则向外发送用户行为数据请求；

用户行为采集服务器接收请求并进行数据处理的步骤；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。

进一步的，插码脚本或插码sdk监听用户在网页上或app界面上的用户行为包括用户访问的网页或app界面路径、用户的点击事件、用户的鼠标操作区域、手指的滑动数据。

进一步的，所述在网站页面或app界面中进行插码改造的步骤包括，对于传统的网页式的网站，由网站开发人员在网站页面上进行插码，插入用户行为数据采集通用脚本文件，在需要记录用户点击行为的网页中嵌入指定的采集代码；

对于客户端app，由app开发人员，在app应用中嵌入客户端用户行为采集sdk，并在app相应界面中嵌入指定规范的采集代码；

进一步的，所述插码脚本或插码sdk监听用户在网页上或app界面上的用户行为的步骤，包括，当用户在网页或app界面上的操作被预先注入的采集代码捕捉到时，用户行为采集通用脚本或sdk将数据按一定规格进行整理并记录于客户端；

插码脚本或插码sdk向外发送数据请求的步骤，包括，当用户行为采集通用脚本或sdk将数据按一定规格进行整理并记录于客户端的数据达到可传送的体量时，通用脚本或sdk将自动把数据打包通过http协议对外发送；

进一步的，所述用户行为采集服务器接收请求并进行数据处理的步骤，包括，用户行为采集服务器作为数据的接收端，当监听到有新的数据从网页端或app端发出时，利用http协议的规范将数据包接收下来，并转化成用户行为日志文件存储于服务器磁盘上；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。

本发明还提出一种用于网页和app的轻量化用户行为数据采集方法的应用，应用于互联网网站、app、及微信平台。

本发明还提出一种用于网页和app的轻量化用户行为数据采集系统，其包括网页端插码脚本、客户端原生插码sdk、客户端h5插码脚本、和用户行为数据采集服务器，

网页端插码脚本，为通用的javascript脚本文件和一段放置于网页上的javascript脚本代码，用于收集网页端的用户行为数据；

客户端原生插码sdk，用于在客户端app中收集用户行为数据的通用代码程序，和在客户端app中嵌入的点击事件捕捉程序；

客户端h5插码脚本，用于在客户端app中内嵌的h5页面里，嵌入的javascript通用脚本文件，和在h5页面里编写的事件点击程序，用于采集h5页面里发生的用户行为数据；

用户行为数据采集服务器，为专用的采集网页插码脚本或app端插码sdk发送过来的用户行为数据的服务器，将用户行为数据记录成一个个的日志文件。

本发明还提出一种用于网页和app的轻量化用户行为数据采集系统的应用，应用于互联网网站、app、及微信平台。

有益效果，本发明方法及系统，用户行为采集通用脚本和sdk是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；

本发明方法及系统既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果app程序的用户行为采集提供了一个较为完善的思路和解决方案；

本发明方法及系统用户行为数据是由插入在网页中的javascript脚本或集成在客户端app中的sdk收集和发送出来的，而javascript脚本和sdk都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。

附图说明

图1为本发明用于网页和app的轻量化用户行为数据采集方法流程示意图；

图2为本发明用于网页和app的轻量化用户行为数据采集系统结构示意图；

图3为本发明用于网页和app的轻量化用户行为数据采集方法工作过程示意图。

具体实施方式

实施例1：如图1、2所示，一种用于网页和app的轻量化用户行为数据采集方法、系统及应用。其包括以下步骤：

在网站页面或app界面中进行插码改造的步骤；

插码脚本或插码sdk监听用户在网页上或app界面上的用户行为的步骤，当用户访问网页或app界面时，插码脚本或插码sdk监听用户在网页上或app界面上的用户行为；

插码脚本或插码sdk向外发送数据请求的步骤；插码脚本或插码sdk将监听到的用户行为数据按照规则向外发送用户行为数据请求；

用户行为采集服务器接收请求并进行数据处理的步骤；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。

进一步的，插码脚本或插码sdk监听用户在网页上或app界面上的用户行为包括用户访问的网页或app界面路径、用户的点击事件、用户的鼠标操作区域、手指的滑动数据。

进一步的，所述在网站页面或app界面中进行插码改造的步骤包括，对于传统的网页式的网站，由网站开发人员在网站页面上进行插码，插入用户行为数据采集通用脚本文件，在需要记录用户点击行为的网页中嵌入指定的采集代码；

对于客户端app，由app开发人员，在app应用中嵌入客户端用户行为采集sdk，并在app相应界面中嵌入指定规范的采集代码；

进一步的，所述插码脚本或插码sdk监听用户在网页上或app界面上的用户行为的步骤，包括，当用户在网页或app界面上的操作被预先注入的采集代码捕捉到时，用户行为采集通用脚本或sdk将数据按一定规格进行整理并记录于客户端；

插码脚本或插码sdk向外发送数据请求的步骤，包括，当用户行为采集通用脚本或sdk将数据按一定规格进行整理并记录于客户端的数据达到可传送的体量时，通用脚本或sdk将自动把数据打包通过http协议对外发送；

进一步的，所述用户行为采集服务器接收请求并进行数据处理的步骤，包括，用户行为采集服务器作为数据的接收端，当监听到有新的数据从网页端或app端发出时，利用http协议的规范将数据包接收下来，并转化成用户行为日志文件存储于服务器磁盘上；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。

本发明方法，用户行为采集通用脚本和sdk是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；

本发明方法既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果app程序的用户行为采集提供了一个较为完善的思路和解决方案；

本发明方法用户行为数据是由插入在网页中的javascript脚本或集成在客户端app中的sdk收集和发送出来的，而javascript脚本和sdk都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。

实施例2：本发明还提出一种用于网页和app的轻量化用户行为数据采集方法的应用，应用于互联网网站、app、及微信平台。

实施例3：如图2、3所示，本发明还提出一种用于网页和app的轻量化用户行为数据采集系统，其包括网页端插码脚本、客户端原生插码sdk、客户端h5插码脚本、和用户行为数据采集服务器，

网页端插码脚本，为通用的javascript脚本文件和一段放置于网页上的javascript脚本代码，用于收集网页端的用户行为数据；

客户端原生插码sdk，用于在客户端app中收集用户行为数据的通用代码程序，和在客户端app中嵌入的点击事件捕捉程序；

客户端h5插码脚本，用于在客户端app中内嵌的h5页面里，嵌入的javascript通用脚本文件，和在h5页面里编写的事件点击程序，用于采集h5页面里发生的用户行为数据；

用户行为数据采集服务器，为专用的采集网页插码脚本或app端插码sdk发送过来的用户行为数据的服务器，将用户行为数据记录成一个个的日志文件。

本发明系统，用户行为采集通用脚本和sdk是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；

本发明系统既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果app程序的用户行为采集提供了一个较为完善的思路和解决方案；

本发明系统用户行为数据是由插入在网页中的javascript脚本或集成在客户端app中的sdk收集和发送出来的，而javascript脚本和sdk都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。

实施例4：本发明还提出一种用于网页和app的轻量化用户行为数据采集系统的应用，应用于互联网网站、app、及微信平台。