数据的处理方法及装置的制造方法
【技术领域】
[0001]本发明涉及通信领域，具体而言，涉及一种数据的处理方法及装置。
【背景技术】
[0002]随着互联网技术的飞速发展，互联网电视即OTT TV发展迅速，智能机顶盒越来越普及。OTT TV是“Over The Top TV”的缩写，是指基于开放互联网的视频服务，终端可以是电视机、电脑、机顶盒、PAD、智能手机等等，其在网络之上提供服务，强调服务与物理网络的无关性。从消费者的角度出发，OTT TV就是互联网电视，满足消费者的需求，集成互动电视功能的全功能的互联网电视。
[0003]在国际上，OTT TV指通过公共互联网面向电视传输的互联网协议(IP)视频和互联网应用融合的服务。其接收终端为互联网电视一体机或机顶盒+电视机。而在我国，0ΤΤTV是指通过公共互联网面向电视机传输的由国有广播电视机构提供视频内容的可控可管服务。接收终端一般为国产互联网电视一体机。
[0004]目前，相关技术中的OTTTV主要有两种实现方式:HTTP渐进下载(HTTPProgressive Download,简称为 HPD)和 HTTP 自适应流媒体(HTTP Adaptive Streaming,简称为HAS)。传统的OTT TV 一般采用HPD技术。基于HPD的客户端在开始播放之前仅需等待一段较短的时间用于下载和缓冲媒体文件最前面的一部分数据，之后便可以一边下载一边播放。HPD OTT TV存在诸多的局限性，例如:不适合对实时性要求较高的直播节目的传输；初始播放的等待时延一般较长；当网络带宽不稳定时比较容易出现卡屏现象；由于客户端会持续下载视频文件，当用户中途放弃节目观看，会造成已下载文件(消耗带宽)的浪费。
[0005]为了克服HPD OTT TV技术的局限性，近年来基于HAS的OTT TV技术逐渐被业界广泛采用和推广。HAS OTT TV采用视频分片和自适应码率(ABR)技术。在HAS系统中，媒体流分割器将编码器输出的视频流分割为一系列连续的、长度均等的小分片文件，并将它们存储在Web内容分发服务器。HAS客户端设备能够在可用的带宽的基础上，自动向Web月艮务器请求合适的视频质量(即不同的分辨率和码率)的分片文件，从而给用户最好的视觉体验。为了便于HAS客户端实现不同码率分片之间的快速、实时切换，HAS视频一般采用较短的分片长度(例如:10秒)。由于HAS系统可向不同屏幕大小的终端提供适合分辨率的视频分片文件，并可在不同网络带宽情况下实现流畅的视频播放，因此HAS被业内认为是未来无所不在的多屏互动视频的核心技术。
[0006]然而，尽管OTT TV技术的不断发展带来诸多益处，但是，如何能够有效地监控0ΤΤ用户的播放质量是运营商无法回避的问题，目前相关技术中也缺乏有效的解决方案。
【发明内容】
[0007]本发明提供了一种数据的处理方法及装置，以至少解决相关技术中如何利用大数据技术对0ΤΤ机顶盒上报的数据进行监控分析的问题。
[0008]根据本发明的一个方面，提供了一种数据的处理方法。
[0009]根据本发明实施例的数据的处理方法包括:接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一:文件下载数据、用户触发行为数据、文件播放数据；对待处理数据进行分析，获取关键性能指标(KPI)数据。
[0010]优选地，对待处理数据进行分析，获取KPI数据包括:采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。
[0011]优选地，采用负载均衡组件对待处理数据进行解析包括:采用负载均衡组件从待处理数据中解析出消息头和消息体；采用负载均衡组件将消息头进行剥离处理，保留消息体。
[0012]优选地，按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。
[0013]优选地，在对待处理数据进行分析，获取KPI数据之后，还包括:对KPI数据进行离线分析挖掘。
[0014]根据本发明的另一方面，提供了一种数据的处理装置。
[0015]根据本发明实施例的数据的处理装置包括:接收模块，用于接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一:文件下载数据、用户触发行为数据、文件播放数据；处理模块，用于对待处理数据进行分析，获取KPI数据。
[0016]优选地，处理模块包括:解析单元，用于采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；备份单元，用于利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；分析单元，用于通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。
[0017]优选地，解析单元包括:解析子单元，用于采用负载均衡组件从待处理数据中解析出消息头和消息体；处理子单元，用于采用负载均衡组件将消息头进行剥离处理，保留消息体。
[0018]优选地，接收模块，用于按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。
[0019]优选地，上述装置还包括:分析模块，用于对KPI数据进行离线分析挖掘。
[0020]通过本发明实施例，采用接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一:文件下载数据、用户触发行为数据、文件播放数据；对待处理数据进行分析，获取KPI数据，解决了相关技术中如何利用大数据技术对0ΤΤ机顶盒上报的数据进行监控分析的问题，进而可以较为及时地对0ΤΤ机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。
【附图说明】
[0021]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0022]图1是根据本发明实施例的数据的处理方法的流程图；
[0023]图2是根据本发明优选实施例的0ΤΤ机顶盒数据采集模型的示意图；
[0024]图3是根据本发明优选实施例的基于图2所示的0ΤΤ机顶盒数据采集模型的数据处理的流程图；
[0025]图4是根据本发明实施例的数据的处理装置的结构框图；
[0026]图5是根据本发明优选实施例的数据的处理装置的结构框图。
【具体实施方式】
[0027]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0028]图1是根据本发明实施例的数据的处理方法的流程图。如图1所示，该方法可以包括以下处理步骤:
[0029]步骤S102:接收机顶盒上报的待处理数据，其中，待处理数据是由机顶盒对从第三方应用组件获取到的原始数据进行加工计算后得到的，原始数据包括以下至少之一:文件下载数据、用户触发行为数据、文件播放数据；
[0030]步骤S104:对待处理数据进行分析，获取KPI数据。
[0031]相关技术中无法利用大数据技术对0ΤΤ机顶盒上报的数据进行监控分析。采用如图1所示的方法，通过机顶盒在对从第三方应用组件获取到的原始数据进行加工计算后得到待处理数据，再对机顶盒上报的待处理数据进行分析进而获取KPI数据，由此解决了相关技术中如何利用大数据技术对0ΤΤ机顶盒上报的数据进行监控分析的问题，进而可以较为及时地对0ΤΤ机顶盒上报的海量原始数据进行统计分析，并且可以实现离线挖掘。
[0032]在优选实施过程中，可以按照预设时长经由协商的数据接口接收机顶盒上报的待处理数据。
[0033]在优选实施例中，第三方应用组件收集文件下载、用户触发行为以及播放有关的原始数据，并向机顶盒数据采集接口实时传输收集到的原始数据。机顶盒对采集到的原始数据进行加工计算，然后再按照预设时长经由协商的数据接口将数据上报至指定的地址。
[0034]优选地，在步骤S104中，对待处理数据进行分析，获取KPI数据可以包括以下操作:
[0035]步骤S1:采用负载均衡组件对待处理数据进行解析，并将解析后的数据发送至分布式消息队列集群；
[0036]步骤S2:利用分布式消息队列集群中的分布式消息队列对解析后的数据进行备份，并将解析后的数据发送至分布式实时计算系统；
[0037]步骤S3:通过分布式实时计算系统对解析后的数据进行分析统计，得到KPI数据。
[0038]在优选实施例中，可以采用负载均衡组件来接收机顶盒上报的数据。对机顶盒上报的数据进行解析，同时作为分布式消息队列的客户端，将消息体发送至分布式消息队列集群。分布式消息队列对接收到的数据进行备份，并发送至分布式实时计算系统。分布式实时计算系统利用流技术对有效数据进行实时解析与统计，从而得到全网的统计KPI数据。
[0039]优选地，在步骤S1中，采用负载均衡组件对待处理数据进行解析可以包括以下步骤:
[0040]步骤Sll:采用负载均衡组件从待处理数据中解析出消息头和消息体；
[0041]步骤S12:采用负载均衡组件将消息头进行剥离处理，保留消息体。
[0042]在优选实施例中，可以采用负载均衡组件对机顶盒上报的数据进行解析，剥离消息头，仅留下实际有用的消息体。
[0043]优选地，在步骤S104，对待处理数据进行分析，获取KPI数据之后，还可以包括以下操作:
[0044]步骤S4:对KPI数据进行离线分析挖掘。
[0045]在