一种基于IPTV和OTT业务的EPG菜单资源递归爬测方法与流程

一种基于iptv和ott业务的epg菜单资源递归爬测方法
技术领域
1.本发明属于电子信息技术领域，涉及了一种基于iptv和ott业务的epg菜单资源递归爬测方法。


背景技术：

2.随着互联网电视用户的不断发展，客户体验(质量体验、服务体验、内容体验等)成为吸引用户的重要因素，如何提高最终客户的良好体验，显得尤为重要和迫切。epg作为互联网电视业务的重要元素、机顶盒用户访问视频资源的唯一入口，具有数量大、更新快、发布前验证难等特点，其服务的可用性、可靠性、安全性直接关系到用户的体验和智能终端的适配。
3.但目前对epg业务的质量保障仍停留在人工测试阶段，不及时、不全面、且工作量巨大，由于epg页面资源量庞大、资源更新频率高，且不同于普通的互联网网页爬测，获取epg界面需要先通过平台认证请求，分析epg页面异常问题也需要对于epg业务有深入的了解，计算异常事件需要多次复杂运算，记录新数据的同时回溯历史数据进行对比，还需要结合拨测工具测试资源质量，整个测试流程缺一不可，所以建设一套epg资源爬测系统对于互联网电视运维工作非常重要但是难度也非常高，目前市场上还未有完善的epg完整性爬测方案。
4.基于上述互联网电视业务的监测需求和epg监测能力现状，我们研发了一种基于iptv和ott业务的epg菜单资源递归爬测方法，可以针对epg资源、全量点播节目资源的可用性、完整性、业务质量进行监测，利用爬虫和监测技术，获取epg页面并通过深度爬测算法，可以在不影响epg性能的情况下，一天内遍历epg所有页面信息和试播节目，实现epg内容完整性和质量监测，先于用户发现内容问题，有效提升iptv运维能力。


技术实现要素：

5.本发明公开了一种基于iptv和ott业务的epg菜单资源递归爬测方法，主要是通过模拟机顶盒用户进行认证，认证成功后再通过爬虫和遍历的手段，对epg资源进行全部的爬取，爬取到的资源再进行http、hls协议的仿真测试获取业务质量，同时对获取的信息内容进行分析，包括视频资源名称、资源简介、资源集数等内容，分析出资源缺集、少集、资源访问异常等情况。
6.主要发明的主要步骤包括：
7.●
模拟epg业务认证流程
8.●
epg资源内容遍历爬测
9.●
数据提取和指标计算
10.本发明方法可以应用到以下业务场景：
11.●
对epg实现全功能、全覆盖监测，包括对多牌照方epg模版、行业epg模版(抽样)、和友商的epg模版进行监测。
12.●
即时发现节目变更(例如：新上线节目、新下线节目等)。
13.●
自动发现epg发布过程中的内容错误(例如：链接错误、运行错误等)。
14.●
自动发现epg服务的响应异常，特别是第三方业务系统的响应异常(例如：响应慢、无响应/响应超时、响应错误等)。
15.●
保障各节点epg发布内容的一致性。
16.●
确保epg发布内容的安全性，可对敏感词进行统计分析。
17.●
提供统一的监管平台，实现集中配置、集中展示、集中报警。
18.●
可支持机顶盒入网或系统升级后的功能测试和性能测试。
附图说明
19.图1整体业务流程图；
20.图2模拟epg认证流程图；
21.图3 epg页面遍历流程图；
22.图4数据指标分类树图。
具体实施方式
23.下面结合附图对本发明作进一步说明。
24.本发明方法整体业务流程图详见附图1，包括模拟epg业务认证流程、epg资源内容遍历爬测、数据提取和指标计算流程。
25.epg业务认证流程模拟见附图2模拟epg认证流程图，epg页面的获取需要通过业务平台和南传播控平台的认证，本方案结合机顶盒认证流程的抓包数据和业务平台侧、播控平台侧提供的接口流程说明，模拟机顶盒完成业务平台和南传播控平台的认证流程，成功获取epg界面。
26.流程说明如下：
27.1)机顶盒发送账号密码到运营商业务管理平台；
28.2)运营商业务管理平台返回认证结果给机顶盒；
29.3)认证结果为失败，机顶盒停止认证；认证结果为成功，机顶盒发送启动launcher apk的请求给播控方launcher桌面apk平台；
30.4)播控方launcher桌面apk平台发送获取机顶盒usertoken、userid等共享信息给机顶盒
31.5)机顶盒返回共享信息数据；
32.6)播控方launcher桌面apk平台发送牌照方认证请求给牌照方aaa系统；
33.7)牌照方aaa系统返回认证结果给播控方launcher桌面apk平台；
34.8)认证失败则播控方launcher桌面apk平台显示epg认证失败；认证成功则播控方launcher桌面apk平台登录epg首页，加载epg界面内容。
35.获取epg页面后再结合iptv业务流程和epg页面栏位特点，定义爬测参数，对epg页面进行逐层遍历爬测。遍历流程详见附图3。
36.epg页面资源遍历的内容可以分为首页资源遍历、点播资源遍历、直播资源遍历和回看资源遍历。
37.首页为机顶盒开机页面，同时包括各导航栏目的页面。首页遍历是指对开机页面下的所有栏目进行遍历测试，包括：推荐、电视剧、直播、电影、少儿、综艺、4k、教育、游戏、体育等。首页的遍历测试将获取本页面的关键信息，具体如下：
38.●
入口url：机顶盒在epg登录时的第一个页面登录地址；
39.●
页面导航名称：及epg页面上边栏每一个栏目的名称；
40.●
推荐位id：每一个栏目页面下的推荐位窗口的编号；
41.●
推荐位图片url：每一个推荐位显示的图片；
42.●
app url：推荐位下一步操作对应app的下载地址；
43.●
视频url：此推荐位如果直接进入视频的播放地址；
44.点播节目是指egp页面上所有非直播类型的节目。这些节目具有功能的一级入口，然后通过栏目方式编排节目信息，机构大致分为：栏目、节目列表、节目集和单个分集等四级结构。
45.对点播的遍历测试，就是通过检测设备从点播入口进入，通过自动遍历测试脚本，对栏目、节目列表、节目集信息逐一遍历。获取关键信息。关键信息如下：
46.●
点播节目入口：点播节目的统一入口的url；
47.●
栏目id：点播节目是分栏目的，每一个栏目都有一个唯一编号，此编号将用于此栏目的节目列表的定位信息；
48.●
栏目名称：栏目的名称字段；
49.●
节目列表入口：通过栏目id组装的此栏目的节目列表的url，通过此url的请求才可以获取对应的节目。
50.●
节目集入口：通过节目列表获取的节目id，拼装的此节目的访问url，通过对此地址的请求获取节目集的信息。
51.●
节目信息关键字段：节目id、媒体id、导演、演员、语言、节目简介、清晰度、节目评分、cp编码、资源厂家、节目分集总数、节目分集编号、视频集id、竖版海报url、横版海报url、节目视频url、跳转url、收费标识等。
52.直播节目是指中央卫视、广东卫视等级其他专题综艺频道等电视台直播的节目。直播节目的遍历包括直播和回看两个部分。
53.●
直播遍历获取一下信息：
54.●
直播入口：直播节目单的访问入口url。通过此入口进行频道信息查询；
55.●
频道名称：此频道的名称：例如：cctv-1、广东卫视等；
56.●
logo url：直播节目对应的频道的logo图片url，如果有将显示；
57.●
直播地址：一般为直播请求播放地址；
58.回看节目遍历获取一下信息：
59.●
节目单入口：直播节目单的访问入口url。通过此入口进行频道信息查询；
60.●
频道名称：此频道的名称：例如：cctv-1、广东卫视等；
61.●
节目名称：直播节目的名称
62.●
开始时间：此节目的播放开始时间
63.●
结束时间：此节目的播放结束时间
64.●
节目url：此节目的播放地址
65.爬测出epg资源信息后，记录epg界面上面每个栏位、每个节目的节目信息、url等内容，分析节目缺集、少集、无片源、节目上下线等情况，模拟http、hls协议对url资源可用性、节目播放质量进行测试。指标分类树图详见附图4。
66.采集和计算指标包括：
67.●
认证测试：认证时延、认证成功率、认证错误。
68.●
首页epg信息：导航、块id、块标题、块图标、节目url、app url。
69.●
直播信息：频道名称、频道logo url、播放url、url id
70.●
回看节目信息：频道名称、节目id、节目名称、开始时间、结束时间、节目url。
71.●
点播栏：栏目id、栏目名称、节目名称、导演、演员、语言、节目简介、清晰度、cp编码、资源厂家、节目分集、节目评分、节目id、媒体id、节目分集编号、视频集id、竖版海报url、横版海报url、节目视频url、收费标识。
72.●
其他主动拨测：epg各级入口http拨测、iptv视频测试、hls\ts等视频测试，拉流探针联动接口。