本发明涉及一种将采集到的宽带数据进行挖掘和预警的方法，具体涉及一种通过采集用户宽带的各项数据，并将数据进行分类、统计和分析，从而找出影响用户宽带上网体验的原因并进行预警。
背景技术：
随着电信运营商宽带网络建设的全面覆盖、光纤网络的普及和用户规模的不断扩大，因客户使用原因或网络原因导致客户投诉网络上网慢，上不了网的情况，影响用户上网体验，导致新客户发展慢，出现老客户流失的现象出现，由于缺少必要的投诉分析手段，投诉处理的难度高，定位问题不精确，投诉问题解决不及时。严重影响移动宽带品牌以及口碑，阻碍移动宽带的业务发展。
此外，随着网络规模迅速扩张，网络承载能力受到巨大挑战，宽带运营商存在的问题也逐渐暴露出来，
A．日常工作缺乏投诉诊断及用户行为回放手段，无法通过账号回放用户历史信令和业务记录，再现用户使用场景，大量投诉只能依靠上门排查，投诉处理周期长，定位准确率不高，用户满意度较低；
B.缺乏投诉用户预警手段，无法先于用户投诉发现客户感知差的问题并进行投诉预警，及时解决；
C.缺乏运营商宽带网内外业务分析手段，难以分析各类业务的性能和定位网内外较差资源服务器。
现有宽带运营商分析用户行为以及投诉问题的手段，基本来停留在人工现场测试的方法，并未用科学、海量的大数据手段来解决问题。
所以，如何对宽带网络进行全方位科学的评估优化，通过大数据手段发现用户投诉根源及网络资源瓶颈然后进行有效的后台技术支撑，提升宽带网络的接入性能和业务质量，同时做到用户投诉预警，达到投诉预防、降低投诉处理时长、提升投诉相关指标的目的，这正是本发明需要解决的重要问题。
通过国内检索发现以下专利与本发明有相似之处：
申请号为200810167858.1，名称为“一种无线宽带用户状态的监测方法和系统”的发明公开一种无线宽带用户状态的监测方法和系统，该方法包括：在用户终端和入口服务器之间发送检测报文；用户终端和入口服务器根据检测报文的接收状态确定用户在线状态；用户终端向用户提示用户在线状态。此发明提供的无线宽带用户状态的监测方法和系统，通过在用户终端和Portal 服务器之间发送检测报文来确定用户在线状态，并在用户终端向用户提示用户在线状态，方便了用户的使用，提升了用户的良好体验。
申请号为201410706925.8，名称为“一种面向家庭宽带业务的PON网络故障诊断方法和装置”的发明公开一种面向家庭宽带业务的PON网络故障诊断方法，根据故障诊断经验配置各故障类别的故障诊断流程；根据用户的故障类别，选择与所述故障类别相应的故障诊断流程；进入所述选择的故障诊断流程，根据所述用户宽带业务账号获取该账号相应的设备信息和业务信息，开始依次执行所述故障诊断流程中的各个步骤；根据所述故障诊断流程的诊断结果到故障诊断知识库中获取相应的故障处理方法。使用本发明可有效地减少故障定位的时间，提高处理故障的效率。此发明还公开一种面向家庭宽带业务的PON网络故障诊断装置。
虽然上述专利也有对用户宽带的数据的采集和分析，但其作用不是于找出影响用户上网体验的原因并进行预警，从而提高宽带品牌以及口碑，促进移动宽带的业务发展。因此，上述专利所采用的方法与本发明有很大的不同。
技术实现要素：
本发明要解决的技术问题是：目前电信运营商难以对宽带用户的上网体验全面、准确、及时的进行了解，使得由于缺少必要的投诉分析手段，投诉处理的难度高，定位问题不精确，投诉问题解决不及时，严重影响了移动宽带品牌以及口碑，阻碍了宽带的业务发展。
针以上述问题，本发明提出的技术方案是：一种宽带用户数据挖掘和预警的方法，先对宽带用户上网过程中产生的信息进行数据采集，再将采集到的数据进行分布式解码存储，然后对存储的数据进行实时分析和离线计算；再然后将数据分类为：用户投诉预警、用户行为回放、设备和区域分析、业务专项分析和网内外业务分析中的一项或多项进行统计，最后将分类和统计好的数据以窗口的方式显示在屏幕上，提供直观的可视化分析。
进一步地，用户投诉预警包括对拨号认证、设备掉线、终端数、用户DNS查询、P2P流量和HTTP业务中的一项或多项进行扫描和统计，并对异常认证、异常掉线、异常终端、异常DNS查询、异常流量、异常HTTP业务中的一项或多项进行预警。
进一步地，能对扫描到的异常的认证次数、异常的掉线次数、异常的终端个数、异常的DNS查询成功率、异常的流量大小和异常的HTTP业务进行排序和筛选。
进一步地，所述HTTP业务包括HTTP成功率、HTTP速率和HTTP丢包重传率。
进一步地，用户行为回放包括Radius拨号认证流程、用户DNS解析流程、用户TCP信令流程、用户HTTP业务流程中的一项或多项；通过上述信令流程回放再现用户使用时的场景，定位疑难投诉问题。
进一步地，Radius拨号认证流程包括扫描由于用户的路由器存在故障，不断向BRAS发起PPPOE会话中断请求导致的异常下线，以及扫描由于用户路由器至BRAS之间链路中断导致的异常下线，从而对掉线的原因进行准确的预警。
进一步地，设备和区域分析是对不同区域的OLT、ONU、BRAS用户的上网设备和上网的端口进行分类、统计和分析，找出容易出现网络异常的上网设备和端口，以及网络异常的上网设备和端口所分布的地理位置，从而对上网的区域、设备和端口进行预警。
进一步地，业务专项分析是针对网络电视的流量、播放速率、丢包重传、卡顿率中的一项或多项进行分类、统计和分析，找出影响网络电视播放质量的数据，从而对网络电视的播放质量进行预警。
进一步地，在对网络电视的卡顿率进行预警时，是通过扫描用户在收看网络电视的同时是否有额外流量业务，以及用户在收看网络电视时频道切片的大小，从而找出影响网络电视的卡顿率的原因，准确的对网络电视的卡顿率进行预警。
进一步地，网内外业务分析是对宽带网络中的视频网站和/或游戏平台的访问次数、访问成功率、总流量、网络传输速率中的一项或多项进行分类、统计和分析；并对视频网站和/或游戏平台的IP地址段以及URL进行定位，从而对视频网站和/或游戏平台进行预警。
本发明的优点是：
1.本发明能对用户使用宽带过程中的数据进行全方位的扫描，从而能找出用户使用宽带过程中出现的异常认证、异常掉线、异常终端、异常DNS查询、异常流量、异常HTTP业务的原因，能在用户投诉前对上述异常情况进行处理，改善用户的上网体验，减少投诉，树立良好的口碑。
2.通过用户账号回放用户Radius拨号认证流程、用户DNS解析流程、用户TCP信令流程、用户HTTP业务流程。涵盖用户拨号认证、DNS解析、TCP建链、HTTP会话等多个关键环节；通过信令流程回放再现用户使用时的场景，精准定位疑难投诉问题，为快速解决用户遇到的疑难提供了有力的数据支持。
3.建立设备感知层面的分析体系：对不同OLT、ONU、BRAS的用户进行分析，通过账号关联，实现不同设备、不同端口、不通区域的活跃用户进行深度分析；实现不同设备维度、不同区域维度的小区宽带用户数量实时监控，对大面积用户感知异常的设备和区域及时进行预警，定期输出分析报告。
4.对网络电视质量进行分析：从用户账号以及电视频道维度分析用户的网络电视感知，分析网络电视的流量、播放速率、丢包重传、卡顿率等维度指标。建立网络电视性能评价体系。同时可对网络电视卡顿用户进行预警。对用户主要访问的业务进行识别和性能分析，对于网内较差的资源，以及网外较差的资源，均可提取出存在问题的IP地址段、域名及URL，指导网内资源优化及往外资源引入。
5.在网内外业务分析中，对宽带网络中的视频网站、游戏平台的访问次数、访问成功率、总流量、网络传输速率中的一项或多项进行分类、统计和分析；并对视频网站、游戏平台的IP地址段以及URL进行定位，从而对视频网站、游戏平台进行预警。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例和附图对本发明做一步的描述：
实施例一
如图1所示，首先是对宽带用户上网过程中产生的信息进行全面的扫描和数据采集，例如：对用户上网的PPPOE、Radius、HTTP、DNS、TCP/IP等信息进行扫描。再将采集到的数据进行分布式解码存储，将数据存储到汇聚机房的服务器上。然后将汇聚机房的服务器上存储的数据传输到中心机房的服务器上进行实时分析和离线计算。
实时分析和离线计算的结果是将采集到的数据进行分类和统计，本实施例中将数据分类为：用户投诉预警、用户行为回放、设备和区域分析、业务专项分析和网内外业务分析。然后将分类的项目中的信息进行统计，最后将分类和统计好的数据以窗口的方式显示在屏幕上，提供直观的可视化分析。
其中用户投诉预警包括对拨号认证、设备掉线、终端数、用户DNS查询、P2P流量和HTTP业务中的一项或多项进行扫描和统计，并对异常认证、异常掉线、异常终端、异常DNS查询、异常流量、异常HTTP业务中的一项或多项进行预警。
具体说来，用户投诉预警中的拔号认证可以将扫描后得到的用户账号、用户名称、设备MAC、用户所在小区、用户联系方式、宽带的带宽等信息进行统计。设备掉线中可以将扫描后得到的掉线开始时间、掉线结束时间、总掉线次数、每小时平均掉线次数、峰值时掉线次数等信息进行统计。终端数是用户路由器接入用户的数量，可以将扫描后得到的最大终端数、最小终端数、平均终端数等信息进行统计。
用户DNS查询中可以将扫描后得到的DNS查询次数、DNS查询成功率、查询DNS服务器的个数等信息进行统计。P2P流量中可以将扫描后得到的用户总流量、P2P总流量、P2P流量占的比例、P2P上行流量占的比例、P2P下行流量占的比例等信息进行统计。HTTP业务包括HTTP成功率、HTTP速率和HTTP丢包重传率，HTTP业务中可以将扫描后得到的在线时长、下载总流量、平均下载速率、峰值下载总流量、HTTP成功率、HTTP丢包重传率等信息进行统计。
在用户投诉预警中还通过将扫描到的异常的认证次数、异常的掉线次数、异常的终端个数、异常的DNS查询成功率、异常的流量大小和异常的HTTP业务进行排序和筛选，且还能对上述异常情况进行进时间上的筛选。时间上的筛选可分为：昨天、今天、近3天、近7天、近15天等。例如：先对扫描到的所有用户筛选昨天的总掉线次数，再对总掉线次数进行排序，然后筛选总掉线次数大于5的用户，就能将昨天总掉线次数大于5的用户全部列出，并按掉线的次数进行了排序。
通过上述的用户投诉预警中扫描、统计、分析出的数据，并将数据进行合理的筛选和排序后就能很快的找出近期上不了网或上网慢的用户。并结合后续的用户行为回放、设备和区域分析等信息，就能找出这些用户上不了网或上网慢的原因。从而能尽快的为用户解决问题，减少用户的投诉，提高用户的上网体验，树立良好的品牌形象，使宽带业务更为快速的发展。
用户行为回放是回放用户每一次上线和下线详细的历史信令流程，可用以定位用户接入阶段出现的问题，如认证失败原因、掉线原因；可分析用户带宽，在线时长，所在物理端口等信息。用户行为回放包括Radius拨号认证流程、用户DNS解析流程、用户TCP信令流程、用户HTTP业务流程中的一项或多项；通过上述信令流程回放再现用户使用时的场景，定位疑难投诉问题。
Radius拨号认证流程包括扫描由于用户的路由器存在故障，不断向BRAS发起PPPOE会话中断请求导致的异常下线，以及扫描由于用户路由器至BRAS之间链路中断导致的异常下线。如果扫描到的信息显示：连接中断的原因是用户请求，则是由于用户的路由器存在故障引起的上不了网。而如果扫描到的信息显示：连接中断的原因是载波丢失，则是由于线路中断导致的上不了网。从而对掉线的原因进行准确的预警，能尽快的解决用户不能上网的问题。
设备和区域分析是对不同区域的OLT、ONU、BRAS用户的上网设备和上网的端口进行分类、统计和分析，找出容易出现网络异常的上网设备和端口，以及网络异常的上网设备和端口所分布的地理位置，从而对上网的区域、设备和端口进行预警。
设备和区域分析可以通过扫描得到的信息确定用户上网使用的设备、端口和用户所在的地理位置。例如：能确定用户是通什么品牌的路由器进行上网的，也能确定用户是否没通过路由器，而是直接与电脑连接进行上网的；上网异常时是由80端口还是443端口引起的等。
设备和区域分析能通过账号关联，实现不同设备、不同端口、不通区域的活跃用户进行深度分析。实现不同设备维度、不同区域维度的小区宽带用户数量实时监控，对大面积用户感知异常的设备和区域及时进行预警，定期输出分析报告。
业务专项分析是针对网络电视的流量、播放速率、丢包重传、卡顿率中的一项或多项进行分类、统计和分析，找出影响网络电视播放质量的数据，从而对网络电视的播放质量进行预警。在对网络电视的卡顿率进行预警时，是通过扫描用户在收看网络电视的同时是否有额外流量业务，以及用户在收看网络电视时频道切片的大小，从而找出影响网络电视的卡顿率的原因，准确的对网络电视的卡顿率进行预警。其中额外流量是指宽带在使用网络电视的同时另外的设备产生的流量，例如观看网络电视时，还同时通过同一个宽带进行了电脑和手机的上网。
具体来说，业务专项分析是对用户使用网络电视，也就是IPTV时的数据进行扫描、分类、统计和分析。业务专项分析可以将扫描得到的用户账号、小区名称、观看的电视频道、播放时间、IPTV下载总流量、IPTV平均切片大小、IPTV缓存切片次数、额外流量、IPTV卡顿次数、IPTV卡顿频率等信息进行统计和分析。
观看网络电视引起的卡顿还可能结合用户投诉预警、用户行为回放、设备和区域分析中扫描、统计出的信息一起来分析，从而准确的找出观看网络电视引起卡顿的原因。
网内外业务分析是对宽带网络中的视频网站和/或游戏平台的访问次数、访问成功率、总流量、网络传输速率中的一项或多项进行分类、统计和分析；并对视频网站和/或游戏平台的IP地址段以及URL进行定位，从而对视频网站和/或游戏平台进行预警。
网内外业务分析主要对网内外业务进行DPI识别与分析，可快速定位速率差的业务IP地址段以及URL明细，为网内内容资源优化和网外资源引入提供依据。网内外业务分析可以将扫描得到的网站名称、业务名称、访问的次数、访问成功的次数、访问的成功率、下行总流量、下行总流量、下行平均速率、上行总流量、上行总流量、上行平均速率等信息进行统计分析。
网内外业务分析也能对扫描得到的信息进行筛选和排序，其中筛选可以在时间方面进行筛选，也可能在各个项目中进行筛选。另外，网内外业务分析还能通过点击网站名称或业务名称中的内容打开相对应的网站的IP地址段以及URL明细，为网内内容资源优化和网外资源引入提供依据。
很显然，在不脱离本发明所述原理的前提下，作出的若干改进或修饰都应视为本发明的保护范围。