视频电话和流媒体的用户感知效果的测试系统和测试方法

专利名称：视频电话和流媒体的用户感知效果的测试系统和测试方法
技术领域：
本发明涉及TD-SCDMA-HSDPA/HSUPA-HSPA+-LTE制式的3G移动通信技术、移动互 联网技术、无人值守嵌入式平台终端研发技术、视频业务用户感知测试评估技术(包括但 不限于ITU-T已经制定或者正在制定或者将要制定的PEVQ算法、MDI、M0S_V算法等)，属于 一种对于无线网络视频业务(视频呼叫、流媒体视频播放)的用户感知效果进行端到端测 试的测试系统。
背景技术：
TD-SCDMA制式是世界上三大3G标准之一(另外两种是美国高通公司提出的 CDMA-EVD0标准和欧洲提出的WCDMA标准)。这种制式的3G技术在中国得到了广泛的应用。 TD-SCDMA 制式向 4G 演进的路线为TD-SCDMA—HSDPA/HSUPA—HSPA+—LTE TD-SCDMA 是典 型的3G，即高速移动环境中，可以支持1441A/S的速率；慢速移动环境中，可以支持3841Λ/ s的速率；静止状态下支持2Mb/s的速率；HSDPA和HSUPA并称为3. 5G，D指downlink,即 基站到终端的下行链路，HSDPA即high speed downlink package access (高速下行分组 接入)；U 指 uplink, HSUPA 即 high speed uplink package access (高速上行分组接入)。 两者结合起来可以为用户提供14Mbit/s的下行速率和5. 76Mbit/s的上行速率；HSPA+即 我们通常所说的3. 75G，可以提供终端32Mbit/s的下行速率，并且通过几个HSPA+技术的融 合，可以达到更高的下行速率；LTE即我们通常所说的4G，可以提供高达326Mbps的下行速 率。可以看出，在现有的TD-SCDMA-HSDPA-HSPA+-LTE这条演进路线下的无线网络中， 实时视频业务的应用正在快速增加。例如视频通话，该业务可以演变为视频监控；例如流 媒体视频业务，该业务可以演变为手机电视；这些业务可以为运营商带来新的盈利增长点。 但是如果视频效果不好，将极大影响用户体验，进而导致用户转投其他运营商业务。因此对 实时视频业务进行质量监控，尤其是提供模拟用户体验的用户感知测试监控，显得尤为重 要。而对于实时视频业务的用户感知结果测试标准，在国际上有几种正在发展中的技术，如 PEVQ，MDI、M0S_V等。被运营商用户接受程度较高的是PEVQ算法，PEVQ的原理，是通过在网 络中播放一段源视频，然后从接受端(用户处)接收这段视频，将两端视频质量进行比较， 得出测试结果。除了 PEVQ，上面所提到的M0S_V的主动测试也是用类似的比较的算法。而 为了得到两端视频，就需要在网络的两端(一头是核心网，一头是网络覆盖中的某个区域。 或者两头都是网络覆盖中的某个区域)进行视频发送和接收，目前的做法是让工程师带着 复杂的设备到测试点去操作，进而得到数据。而考虑工程师的人工成本，考虑交通成本，性 价比非常低。而由于目前3G网络正在建设中，上面的视频业务还没有进行大规模的优化，从而 导致一些实时视频业务的用户体验极为糟糕，而这些实时视频业务将来是会给运营商带来 丰厚的利润的。目前运营商所采取的对策只是一种被动的态度——等待用户投诉后，才启 动网络测试，才启动优化。
具体来讲，用户感知效果测试，通常是指用客观的测试方法，得到一些客观的测试 数据集，通过对这些数据的分析，得到普遍用户对当前网络的主观感受的一个大致通用的 判断。在网络中，通常用户说“网络不好”，是一个非常主观的评判。比如同样的一次从www. youtube. com上面在线观看一段视频，用户A可能觉得效果很好，而用户B会觉得效果很 差。这就是用户感知的差别。在这种情况下，运营商需要把网络维持在一个大多数用户都 感觉还行的情况，有两个难点1、一个评判标准；2、一个不间断的测试系统。评判标准现在 在ITU-T中已经有相当的工作，如PEVQ算法(ITU-T J. 247)，MDI算法(RFC4445)，MOS V (By ITU-T Focus Group on IPTV)等等，将一段录像通过网络播放以后，接受端录下这段录像， 再和源录像进行对比，算法软件会给出一个比较结果，这个结果能够反映出大多数人对于 这个录像的感受。目前基于这个算法的应用还不多，通常都是一台很复杂的测试仪表，需 要很专业化的工程师带着，跑到网络中的各个地方去进行测试，在交通不便的地方，如四川 省，由于交通不便，有些测量地点距离工程师办公室有超过一天的单程车程，效率非常低。 现有的方案更无法做到不间断的测试。而对于网络进行不间断的用户感知测试，对运营商 的工程师了解网络的状况，进行及时的网络优化服务至关重要。而且视频业务的端到端用户感知测试因为较为专业，需要很专业的工程师来进行 测试，而移动数据网络的特点在于任何地点都有可能发生投诉和故障，用专业的工程师来 进行来回奔波的测试，效率低成本高，而且测量效果不好，无法做到7* 小时监控，无法整 体快速提高整个网络的质量。

发明内容
本发明要解决的技术问题是为了克服现有技术当前TD-SCDMA制式的无线网络 中，视频测试所存在的过于专业化、运转调度难度大、投资大、部署不方便、无法进行7拉4 小时长时间无人职守测试等缺陷，提供一种TD-SCDMA-HSDPA/HSUPA-HSPA+-LTE制式下的， 视频电话和流媒体的用户感知效果的测试系统和测试方法。本发明是通过下述技术方案来解决上述技术问题的一种视频电话和流媒体的用户感知效果的测试系统，其特点在于，其包括测试终端，用于通过无线网络，与核心网或者其他测试终端进行VT测试，该终端 支持TD-SCDMA制式的无线空中协议、HSDPA/HSUPA、HSDPA+或LTE ；VT视频测试服务器，用于同测试终端建立视频呼叫，进行编解码设定，接收并存储 测试终端发来的视频信号，向测试终端播放VT视频；结果分析服务器，用于对测试终端和VT视频测试服务器上传的各种数据进行关 联分析，计算出测试结果；流媒体测试服务器，用于同测试终端建立流媒体连接，使测试终端可以模拟一个 正常的流媒体视频业务的使用者，从而进行一系列流媒体测试；中央数据库，用于存放结果分析服务器计算出的测试结果；短信应用服务器，通过与无线网络的短信平台相连，向测试终端发送通知短信；在线升级服务器，存放新定制的测试方案，供测试终端根据短信应用服务器的通 知短信来获取；Web服务器，用于定制测试方案，以及显示结果分析服务器计算出的测试结果；
应用逻辑服务器，与所述测试终端、中央数据库和各服务器相连接，所述测试终 端、中央数据库和各服务器通过该应用逻辑服务器交互数据。较佳地，该测试系统还包括GIS服务器，用于将测试结果和地理信息相关联，测试 结果所代表的地理信息即可通过web服务器显示出来，从而能够判断某地点的测试结果。较佳地，所述核心网包括所述的VT视频测试服务器、流媒体测试服务器、结果分 析服务器、中央数据库、短信应用服务器、在线升级服务器、Web服务器和应用逻辑服务器。本发明的另一技术方案为一种前述的测试系统的测试方法，其特点在于，其包括 以下步骤S1、测试终端获取例行测试方案或者实时测试方案；&、在预定的时间，VT视频测试服务器向指定的测试终端发起VT呼叫，根据测试方 案的内容建立VT呼叫连接；&、双方进行VT视频同步，测试终端发送若干帧预设图像到VT视频测试服务器， 表示在该预设图像播放完后的时间点时测试终端将开始播放标准视频文件，VT视频测试服 务器收到该预设图像后准备录像；、、所述预设图像播放完的时间点到达后，测试终端开始向VT视频测试服务器按 照VT呼叫的格式，播放指定的源视频文件进行测试，VT视频测试服务器同时开始录像，测 试终端播放测试方案中指定的测试时间后停止，VT视频测试服务器在测试时间结束时停止 录像并存储该录像，测试终端同时采集无线网络参数，记录当前测试时间；S5, VT视频测试服务器停止录像后，重新和测试终端进行第二次视频同步；S6, VT视频测试服务器开始向测试终端按照VT呼叫的格式，播放指定的源视频文 件进行测试，测试终端同时开始录像，VT视频测试服务器播放测试方案中指定的测试时间 后停止，测试终端在测试时间结束时停止录像并存储该录像，测试终端同时采集无线网络 参数，记录当前测试时间；S7、测试终端和VT视频测试服务器都断开VT呼叫，测试终端和VT视频测试服务 器上传测试数据到结果分析服务器；&、结果分析服务器将测试终端或者VT视频测试服务器上传的文件同源文件进行 对比计算，计算结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中供测试 人员查询调用。较佳地，步骤S1中，核心网事先制定例行测试方案下发到测试终端，测试终端再按 照该测试方案进行测试。较佳地，所述核心网包括权利要求1所述的VT视频测试服务器、流媒体测试服务 器、结果分析服务器、中央数据库、短信应用服务器、在线升级服务器、Web服务器和应用逻 辑服务器。较佳地，步骤S1中，通过web服务器的web界面制定实时测试方案，核心网通过短 信应用服务器通知测试终端到在线升级服务器上取得该测试方案，进行测试。较佳地，步骤S1中，所述测试方案的内容包括测试发起的时间，测试时所使用的源 图像文件，测试时所使用的图像编码和测试时播放源图像的时间长度。较佳地，步骤、和&中的当前测试时间包括VT呼叫开始的时间、同步的时间和播 放结束的时间。
较佳地，步骤S7中的测试数据包括测试终端或者VT视频测试服务器所生成的录 像文件，以及测试终端采集的无线网络参数。较佳地，步骤S8中的计算结果为根据PEVQ算法计算出的MOS值、PSNR参数、失真 度、码流损伤和平滑度指标中的一种或多种。较佳地，所述的测试系统包括GIS服务器，步骤S8中，测试人员通过web服务器和 GIS服务器提供的图形界面，查询所述计算结果。本发明的另一技术方案为一种前述的测试系统的测试方法，该测试系统中的测 试终端包括主叫测试终端和被叫测试终端，其特点在于，其包括以下步骤T1、所述主叫和被叫测试终端获取例行测试方案或者实时测试方案；T2、在预定的时间，主叫测试终端向被叫测试终端发起VT呼叫，根据所述测试方案 的内容建立VT呼叫连接；T3、主叫和被叫测试终端进行VT视频同步，被叫测试终端发送若干帧预设图像到 主叫测试终端，表示在该预设图像播放完后的时间点时被叫测试终端将开始播放标准视频 文件，主叫测试终端收到该预设图像后准备录像；T4、所述预设图像播放完的时间点到达后，被叫测试终端开始向主叫测试终端按 照VT呼叫的格式，播放指定的源视频文件进行测试，主叫测试终端同时开始录像，被叫测 试终端播放测试方案中指定的测试时间后停止，主叫测试终端在测试时间结束后停止录 像，并存储该录像，同时主叫测试终端和被叫测试终端都采集无线网络参数，记录当前测试 时间；T5、主叫测试终端停止录像后，重新和被叫测试终端进行第二次视频同步；T6、主叫测试终端开始向被叫测试终端按照VT呼叫的格式，播放指定的源视频文 件进行测试，被叫测试终端同时开始录像，主叫测试终端播放测试方案中指定的测试时间 后停止，被叫测试终端在测试时间结束后停止录像，并存储该录像，同时主叫测试终端和被 叫测试终端都采集无线网络参数，记录当前测试时间；T7、主叫测试终端和被叫测试终端都断开VT呼叫，主叫和被叫测试终端分别上传 测试数据到结果分析服务器；T8、结果分析服务器将主叫和被叫测试终端上传的文件同源文件进行对比计算， 计算结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中供测试人员查询 调用。较佳地，步骤T1中，核心网事先制定例行测试方案下发到测试终端，测试终端再按 照该测试方案进行测试。较佳地，所述核心网包括权利要求1所述的VT视频测试服务器、流媒体测试服务 器、结果分析服务器、中央数据库、短信应用服务器、在线升级服务器、Web服务器和应用逻 辑服务器。较佳地，步骤T1中，通过web服务器的web界面制定实时测试方案，核心网通过短 信应用服务器通知测试终端到在线升级服务器上取得该测试方案，进行测试。较佳地，步骤1\和T6中的当前测试时间包括VT呼叫开始的时间、同步的时间和播 放结束的时间。较佳地，步骤T7中的测试数据包括主叫和被叫测试终端所生成的录像文件，以及主叫和被叫测试终端采集的无线网络参数。较佳地，步骤T8中的计算结果为根据PEVQ算法计算出的MOS值、PSNR参数、失真 度、码流损伤和平滑度指标中的一种或多种。本发明的另一技术方案为一种前述的测试系统的流媒体测试方法，其特点在于， 其包括以下步骤仏、测试终端获取例行测试方案或者实时测试方案；队、在预定的时间，测试终端根据测试方案中的参数，建立流媒体连接，根据测试 方案的内容向流媒体测试服务器发起测试请求，接受流媒体视频；U3、双方进行流媒体测试同步，流媒体测试服务器发送若干帧预设图像到测试终 端，表示在该预设图像播放完后的时间点时流媒体测试服务器将开始播放标准视频文件， 测试终端收到该预设图像后准备录像；U4、所述预设图像播放完的时间点到达后，流媒体测试服务器向测试终端播放指 定的源视频流媒体文件，测试终端同时开始录像，流媒体测试服务器播放测试方案中指定 的测试时间后停止，测试终端在测试时间结束时停止录像并存储该录像，测试终端同时采 集无线网络参数，记录当前测试时间；U5、测试终端和流媒体测试服务器都断开流媒体连接，测试终端上传测试数据到 结果分析服务器；U6、结果分析服务器将测试终端上传的文件同源文件进行对比计算，计算结果即 为流媒体业务的用户感知结果，然后将该结果存到中央数据库中供测试人员查询调用。较佳地，步骤U1中，核心网事先制定例行测试方案下发到测试终端，测试终端再按 照该测试方案进行测试。较佳地，所述核心网包括权利要求1所述的VT视频测试服务器、流媒体测试服务 器、结果分析服务器、中央数据库、短信应用服务器、在线升级服务器、Web服务器和应用逻 辑服务器。较佳地，步骤仏中，通过web服务器的web界面制定实时测试方案，核心网通过短 信应用服务器通知测试终端到在线升级服务器上取得该测试方案，进行测试。较佳地，步骤U1中，所述测试方案的内容包括测试发起的时间，测试时所使用的源 图像文件，测试时所使用的图像编码和测试时播放源图像的时间长度。较佳地，步骤队中的测试数据包括测试终端所生成的录像文件，以及测试终端采 集的无线网络参数。较佳地，步骤U6中的计算结果为根据PEVQ算法计算出的MOS值、PSNR参数、失真 度、码流损伤和平滑度指标中的一种或多种。本发明的积极进步效果在于本发明为一种灵活部署、无人职守运作、远程控制、 远程升级并且易于使用的TD-SCDMA无线网络视频电话和流媒体业务用户感知效果测试系 统。该系统可以让运营商工程师呆在办公室，却能方便高效地检测无线网络中VT(Videc) Telephony,即视频通话)和流媒体业务的运行质量，通过在不同的环境中布置测试终端， 无须用大量的人力物力，却能得到大量测试点的7* 小时测试结果，做到实时了解网络中 的每个细节。


图1是本发明实施例1的测试系统的示意图。图2是本发明实施例1的测试终端的模块示意图。图3是本发明实施例2的VT测试中终端对核心网的测试方法流程图。图4是本发明实施例3的VT测试中终端对终端的测试方法流程图。图5是本发明实施例4的流媒体测试方法流程图。
具体实施例方式下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。实施例1下面对本发明中的测试系统加以具体的说明。如图1-4所示，本发明中的无线网络数据业务的测试系统，包括a、测试终端11 (TD-SCDMA制式)，用于通过无线网络，与核心网或者其他测试终端 进行VT测试，该终端支持TD-SCDMA制式的无线空中协议、HSDPA/HSUPA、HSDPA+或LTE，。 本实施例中，可以在各处放置若干个测试终端，这些终端可以通过远程控制，自动发起一些 测试(比如拨打视频电话、收发短信、观看流媒体图像)。测试终端还可以包括固定测试终 端和有GPS功能的移动拨测终端两种，固定测试终端中，除了 3G无线数据功能外，还有WiFi 功能，可以用于将测试结果无线上传到核心网。如图2为本实施例所采用的一种测试终端，BP(基带处理模块112)为无线基带 处理部分，如TD-SCDMA/HSPA+等(现有技术中的无线协议)等的无线协议栈和基带部分 都在这部分进行处理；RF (射频模块11 是射频模块，通过射频模块，数字信号才能转换 为模拟信号，通过和RF相连接的天线发送出去。同BP相连的AP (应用程序处理模块111) 部分，是测试应用程序所在的模块，这部分应用程序，灵活构建了工程师所需的各种测试方 案，并且能够根据新的测试需求，更改测试方案。测试终端中还包括相关的电源管理、IO等 部分模块。由于使用嵌入式系统设计，终端系统稳定、低耗。终端的参数情况如下大容 量设计，可以为应用程序提供400MBits的存储空间，包括测试数据文件、应用程序等；智 能低能耗设计，在不用测试时自动进入休眠状态，大容量电池可以保证在220V交流电断电 情况下，系统待机48小时以上；多模式设计，可进行多种无线网络兼容，TD-SCDMA-HSDPA/ HSUPA-HSPA+-LTE、(现有技术中的无线协议)，灵活的模块化设计，使运营商可以根据实际 网络情况迅速变换，节省成本。b、VT视频测试服务器12，用于同测试终端建立视频呼叫，进行编解码设定，接收 并存储测试终端发来的视频信号，向测试终端播放VT视频。本实施例中的是一种高性能的 视频服务器，能够同测试终端建立符合3GPP规范的视频呼叫。C、结果分析服务器13，用于对测试终端和VT视频测试服务器上传的各种数据进 行关联分析，计算出测试结果；以便工程师能够通过Web服务器查询测试结果。d、中央数据库14，用于存放结果分析服务器计算出的测试结果。e、短信应用服务器15，通过与无线网络的短信平台相连，向测试终端发送通知短 信。该服务器提供了核心网和终端进行短信命令控制的通道。f、在线升级服务器16，存放新定制的测试方案，供测试终端根据短信应用服务器的通知短信来获取。一旦工程师通过web服务器，确定了新的测试方案，测试方案即会被放 置在在线升级服务器上。相关的终端会根据短信命令来获取最新的测试方案。g、Web服务器17，用于定制测试方案，以及显示结果分析服务器计算出的测试结 果。该Web服务器能够提供友善的人机接口，把复杂的短信和数据控制命令，用图形化的 web方式展现给工程师。工程师通过Web服务器来进行测试方案的定制。h、应用逻辑服务器18，与所述测试终端、中央数据库和各服务器相连接，所述测试 终端、中央数据库和各服务器通过该应用逻辑服务器交互数据。本实施例中，各核心网网元 通过应用逻辑服务器统一调度，测试终端可以通过短信和数据两种方式，由应用逻辑服务 器统一调度。i、流媒体测试服务器19，用于同测试终端建立流媒体连接，使测试终端可以模拟 一个正常的流媒体视频业务的使用者，从而进行一系列流媒体测试。除了 a_i所述的各部分之外，本测试系统还可以包括GIS服务器，用于将测试结果 和地理信息相关联，测试结果所代表的地理信息即可通过web服务器显示出来，从而能够 判断某地点的测试结果。GIS服务器的作用除了结果呈现时有用，在运营商工程师准备选取 终端以便进行实时测试时，也是通过web界面在地图上选择的。GIS服务器其实就是提供一 个地图数据查询接口，然后web服务器集成了这个接口，使web服务器可以显示地图，运营 商工程师就可以很直观地在地图上面选择终端进行操作了。这样工程师在用Web服务器进 行数据查询调用时，可以直观地看到测试结果所代表的地理信息——当前XX地点的XX测 试结果如何。前述的核心网为本领域泛指核心的那8种网元，包括所述的VT视频测试服务 器、流媒体测试服务器、结果分析服务器、中央数据库、短信应用服务器、在线升级服务器、 Web服务器和应用逻辑服务器，还可以包括GIS服务器。尤其是指VT视频测试服务器和流 媒体测试服务器。在通信行业，放在机房里的可以统称为核心网。各核心网网元通过应用逻 辑服务器统一调度，测试终端可以通过短信和数据两种方式，由应用逻辑服务器统一调度。 而被测试的运营商无线网络中，有自己的核心网(移动网络交换机)和无线基站系统。上 述a-i中的装置和GIS服务器，本领域技术人员是可以根据其知晓的相关知识和本说明书 公开的内容，利用硬件和软件的方法去具体的实现的。实施例2本发明中测试系统的测试方法分为终端对核心网，终端对终端的VT测试，以及流 媒体测试三种。下面首先介绍终端对核心网的VT测试方法，其又包括例行测试和实时测试 两种。具体包括以下步骤步骤101、测试终端获取例行测试方案或者实时测试方案。其中，例行测试时，本实 施例中，可以通过核心网事先制定例行测试方案下发测试终端，此后测试终端都按照这个 方案来进行测试。测试方案内容包括测试发起的时间，测试时所使用的源图像文件，测试时 所使用的图像编码，测试时播放源图像的时间长度等。实时测试时，本实施例中，工程师通 过web界面，制定测试方案，或者从数据库提取已有测试方案，核心网通过短信服务器通知 终端，到在线升级服务器上取得测试方案，终端通过无线数据网络或者WiFi网络取得测试 方案，自我升级完毕后，通知核心网准备就绪。测试终端的测试逻辑，均可以由应用逻辑服 务器从数据库中调用，或者由工程师人为从web界面定制后，下发测试计划给某一测试终 端，进行测试；也可以群发测试计划给一部分甚至全部终端，进行测试。
测试终端还可以通过预置测试流程，或者通过短信或者数据方式实时进行测试。 即测试终端中，有一个“测试时刻表”，比如早上9 00，对A进行一次视频测试；早上9 10， 对B进行两次视频测试等，晚上12:00，测试终端自动重启一次。实时测试的方式是指，在上 午9 35分27秒时，本来预置测试流程中没有这个测试，但是可能工程师需要立刻知道这个 点当前的状态，就会让系统发一条特殊的短信去，让终端进行某种测试。步骤102、在预定的时间，VT视频测试服务器向指定的测试终端发起VT呼叫，根据 测试方案的内容(号码、编码等VT呼叫相关的信息)建立VT呼叫连接。步骤103、双方进行VT视频同步。本实施例中，测试终端发送若干帧预设图像到 VT视频测试服务器，表示在该预设图像播放完后的时间点时测试终端将开始播放标准视频 文件，VT视频测试服务器收到该预设图像后准备录像。该预设图像可以为特殊图像，从简 化出发，可定义为全红、全蓝、全绿，如全红3帧、全蓝3帧、全绿3帧，即可以是标准视频文 件中不会出现的图像。表示在该特殊图像全绿3帧播放完后的时间点时源端将开始播放标 准视频文件。步骤104、所述特殊图像播放完的时间点到达后，测试终端开始向VT视频测试服 务器按照VT呼叫的格式，播放指定的源视频文件进行测试，VT视频测试服务器同时开始录 像，测试终端播放测试方案中指定的测试时间后停止，VT视频测试服务器在测试时间结束 时停止录像并存储该录像，测试终端同时采集无线网络参数，记录当前测试时间。举例如 下在2009年10月14日下午3点18分28秒，VT视频测试服务器向终端发起一个VT呼 叫，同步完成后，终端向服务器按照MPEG4的编码，向服务器播放指定的视频文件testOl. wave共8秒钟。同时采集无线网络参数，记录当前测试时间。当前测试时间包括VT呼叫开 始的时间、同步的时间和播放结束的时间。这个时间是可选的，可能是播放视频文件结束的 时间，也可以是同步接受的时间，也可以是测试开始的时间，只要是工程师约定好即可，因 为这个时间只是记录到log文件中的。如果后面测试发现效果不佳的话，工程师可以根据 这个时间找到相应的网络参数，来进行深层次的分析，找出效果不佳的底层原因所在，从而 制定出对于这部分网络的优化策略。步骤105、VT视频测试服务器停止录像后，重新和测试终端进行第二次视频同步。 原理同步骤103。这个同步的原因在于，运算单元的算法对于源录像文件和生成的录像文件 的开始时间的同步要求非常严格(不得超过320毫秒)，如果不进行同步，考虑到系统动作 时延、网络时延等因素，有可能造成第二次测试结果不准确。步骤106、VT视频测试服务器开始向测试终端按照VT呼叫的格式，播放指定的源 视频文件进行测试，测试终端同时开始录像，VT视频测试服务器播放测试方案中指定的测 试时间后停止，测试终端在测试时间结束时停止录像并存储该录像，测试终端同时采集无 线网络参数，记录当前测试时间。这个步骤同步骤104，不同之处在于，步骤104是测试终端 向VT测试服务器播放视频，测试的是“终端到服务器”方向的视频质量。步骤106为VT视 频终端服务器向测试终端播放视频，测试的是“服务器到终端”方向的视频质量。步骤107、测试终端和VT视频测试服务器都断开VT呼叫，测试终端和VT视频测试 服务器上传测试数据到结果分析服务器。测试数据包括测试终端或者VT视频测试服务器 所生成的录像文件，以及测试终端采集的无线网络参数。测试时，可以根据用户的需要，选 择视频通话时采集无线网络参数，或者不采集无线网络参数。如果采集，那么发现视频质量问题时就有分析依据，如果不采集，那么就只是单纯的测试一下视频质量，也是一种方法， 完全由运营商的工程师来选择。步骤108、结果分析服务器将测试终端或者VT视频测试服务器上传的文件同源文 件进行对比计算，计算结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中 供测试人员查询调用。如根据PEVQ算法(现有技术中的一种算法)计算出MOS值，视频的 指标有很多，在PEVQ算法中都能够包括，比如PSNR参数，比如失真度、码流损伤、平滑度指 标等等，至少有十几个参数，在此不一一列举。之后，工程师可以通过web服务器和GIS服务 器提供的图形界面，来查询这些运算结果。采用GIS服务器将测试结果和地理信息相关联， 测试结果所代表的地理信息即可通过web服务器显示出来，从而能够判断某地点的测试结果。上述步骤101 108，本领域技术人员是可以根据其知晓的相关知识和本说明书 公开的内容去具体的实现的，每个步骤的具体实现是本领域的现有技术，并非本发明的发 明点所在。实施例3下面介绍终端对终端的测试方法，其又包括例行测试和实时测试两种，该测试系 统中的测试终端包括主叫测试终端和被叫测试终端。具体包括以下步骤步骤201、所述主叫和被叫测试终端获取例行测试方案或者实时测试方案。本实施 例中，获取例行测试方案和实时测试方案的方法以及测试方案的内容，与实施例2中的基 本相同，不再赘述。步骤202、在预定的时间，主叫测试终端向被叫测试终端发起VT呼叫，根据所述测 试方案的内容(号码、编码等VT呼叫相关的信息)建立VT呼叫连接。步骤203、主叫和被叫测试终端进行VT视频同步。同步的方法与实施例2中的相 同，不再赘述。步骤204、被叫测试终端开始向主叫测试终端按照VT呼叫的格式，播放指定的源 视频文件进行测试，主叫测试终端同时开始录像，被叫测试终端播放测试方案中指定的测 试时间后停止，主叫测试终端在测试时间结束后停止录像，并存储该录像，同时主叫测试终 端和被叫测试终端都采集无线网络参数，记录当前测试时间。当前测试时间包括VT呼叫开 始的时间、同步的时间和播放结束的时间。如果后面测试发现效果不佳的话，工程师可以根 据这个时间找到相应的网络参数，来进行深层次的分析，找出效果不佳的底层原因所在，从 而制定出对于这部分网络的优化策略。这里的主被叫测试终端可以互换。步骤205、主叫测试终端停止录像后，重新和被叫测试终端进行第二次视频同步， 第二次同步的原因同实施例2，这里不再赘述。步骤206、主叫测试终端开始向被叫测试终端按照VT呼叫的格式，播放指定的源 视频文件进行测试，被叫测试终端同时开始录像，主叫测试终端播放测试方案中指定的测 试时间后停止，被叫测试终端在测试时间结束后停止录像，并存储该录像，同时主叫测试终 端和被叫测试终端都采集无线网络参数，记录当前测试时间。步骤207、主叫测试终端和被叫测试终端都断开VT呼叫，主叫和被叫测试终端分 别上传测试数据到结果分析服务器。其中测试数据的内容同实施例2，这里不再赘述。步骤208、结果分析服务器将主叫和被叫测试终端上传的文件同源文件进行对比计算，计算结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中供测试人员 查询调用。计算结果的具体内容同实施例2，这里不再赘述。之后，工程师可以通过web服 务器和GIS服务器提供的图形界面，来查询这些运算结果。采用GIS服务器将测试结果和 地理信息相关联，测试结果所代表的地理信息即可通过web服务器显示出来，从而能够判 断某地点的测试结果。上述步骤201 208，本领域技术人员是可以根据其知晓的相关知识和本说明书 公开的内容去具体的实现的，每个步骤的具体实现是本领域的现有技术，并非本发明的发 明点所在。实施例4下面介绍流媒体测试方法，具体包括以下步骤步骤301、测试终端获取例行测试方案或者实时测试方案。本实施例中，获取例行 测试方案和实时测试方案的方法以及测试方案的内容，与实施例2中的基本相同，不再赘 述。步骤302、在预定的时间，测试终端根据测试方案中的参数，建立流媒体连接，根据 测试方案的内容(号码、编码等VT呼叫相关的信息)向流媒体测试服务器发起测试请求， 接受流媒体视频。步骤303、双方进行流媒体测试同步。同步的方法与实施例2中的相同，不再赘述。步骤304、流媒体测试服务器向测试终端播放指定的源视频流媒体文件，测试终端 同时开始录像，流媒体测试服务器播放测试方案中指定的测试时间后停止，测试终端在测 试时间结束时停止录像并存储该录像，测试终端同时采集无线网络参数，记录当前测试时 间。举例如下在2009年10月14日下午3点18分28秒，测试终端向流媒体测试服务器 发起一个流媒体测试请求，同步完成后，流媒体服务器按照H. ^3pr0file 0 level 10的编 码，向终端播放指定的流媒体测试视频文件streamtestOl. wave共8秒钟。与此同时测试 终端进行无线网络参数采集，记录当前测试时间(同实施例幻。如果后面测试发现效果不 佳的话，工程师可以根据这个时间找到相应的网络参数，来进行深层次的分析，找出效果不 佳的底层原因所在，从而制定出对于这部分网络的优化策略。步骤305、测试终端和流媒体测试服务器都断开流媒体连接，测试终端上传测试数 据到结果分析服务器。其中测试数据的内容同实施例2，这里不再赘述。步骤306、结果分析服务器将测试终端上传的文件同源文件进行对比计算，计算 结果即为流媒体业务的用户感知结果，然后将该结果存到中央数据库中供测试人员查询调 用。计算结果的具体内容同实施例2，这里不再赘述。之后，工程师可以通过web服务器和 GIS服务器提供的图形界面，来查询这些运算结果。采用GIS服务器将测试结果和地理信息 相关联，测试结果所代表的地理信息即可通过web服务器显示出来，从而能够判断某地点 的测试结果。上述步骤301 306，本领域技术人员是可以根据其知晓的相关知识和本说明书 公开的内容去具体的实现的，每个步骤的具体实现是本领域的现有技术，并非本发明的发 明点所在。以上英文简写的协议和算法均为现有技术，在此不再赘述。综上所述，本发明公开了一种对无线TD-SCDMA制式下，对视频电话和流媒体业务 用户的用户感知效果进行测试的系统和方法。其采用无人职守的TD-SCDMA测试终端、短信
15平台、web服务器、VT (Video Tel印hony，即视频通话)测试服务器、时间同步系统、流媒体 服务器、运算单元和测试管理平台所构架的系统，来对无线网络下的视频电话和流媒体的 用户感知效果进行检测，终端在测试时，会同步采集当前无线网络的参数，以提供运营商工 程师进行深层次分析的数据和依据。该方法利用管理平台向测试终端发起测量方案，测试 终端根据测试方案，在指定的时间，进行指定的VT或者流媒体用户感知测试，模拟用户行 为，进行一段视频短片的VT通信或者流媒体格式的视频播放，得到接受端的图像录像。接 下来终端将把这段录像数据上传到测试系统，由运算单元根据PEVQ，或者MDI，或者其他的 算法，来对这段录像同源录像进行比对运算，得出测试结果并且存入到数据库中。工程师可 以通过web服务器、数据库查询、文件浏览等多种方式查询测试结果。同时终端还会将同步 采集的无线参数记录数据也上传到数据库，以供运营商的工程师进行深层次的问题分析。 可见本发明的主要改进在于一、在系统构成上与现有的不同。现有的视频测试设备需要关联便携式电脑、测 试手机、专业视频测试软件设备等复杂的测试设备，而本发明通过嵌入式终端平台构筑测 试终端，采用移动通信技术完成核心网的数据关联、数据的时间和地理信息关联，是一种智 能的自动测试系统。现有的方法，因为必须工程师现场操作，工程师通过笔记本电脑，连接 modem(调制解调器)，连接测试手机，跑到测试的地方，才能进行测试，而且只能同时进行 一个地点的测试，不能同时进行多个地点的测试，碰上交通拥挤，堵车等，效率都很低。本发明由于把现有的“工程师带着计算机、modem、手机到现场，工程师人工操作 测试软件进行相应的测试参数设置，测试行为发起，测试数据记录”等工作，集成到一个测 试终端上，这个测试终端是常年部署在测试地点，通过220V交流电供电的。这样大大提高 了测试的效率(想测多少测多少，想怎么测试就怎么测试，想什么时候测试就什么时候测 试)，降低了费用(有经验的工程师的人工都很贵，加上在各个测试地点之间往返的交通费 用)。二、以往的视频质量测试，需要非常专业的工程师，携带贵重的测试仪表，奔赴故 障点进行测试。移动网络中的各种情况瞬息万变，拥塞状况也随着人流地快速移动而快速 改变。往往工程师还没有到达故障点，故障已经消失了，无法做到实时测试，实时发现，实时 分析解决。该系统的终端分为车载和固定两种。对于需要重点监控的区域，部署固定终端进 行监控，一旦发现问题，工程师无须赶到现场，通过网络远程操作终端进行特定的测试方 案，即可分析判断出网络的问题所在；车载终端更是可以安装在车辆上，对网络进行长期、 实时的测试和和监控。测试区域也包括了道路区域，使测试结果更加全面。三、通常视频质量的测试仪表都非常复杂，导致成本居高不下。而该系统的测试 终端采用嵌入式平台，通过软件技术和无线通信技术，将终端和系统关联起来，达到如下优占.
^ \\\ ·实时性一旦产生测试需求，工程师通过web界面定制测试方案，下载测试方案， 到终端开始执行测试，最快可以在1分钟以内完成，相比传统手段，在效率上有革命性的创新。数据上传手段多样充分利用现代通信网络的特点，可以通过多种手段上传数据， 包括但是不限于短信、TD-SCDMA, HSDPA, HSUPA, HSPA+, LTE、WiFi (以上均为现有技术中的无线协议)等，使核心网工程师可以快速得到测试数据，以便迅速分析。无人职守终端的测试可以分为例行测试和实时测试两种。例行测试情况下，无须 人工干预，终端即可自行进行测试，做到真正的7* 小时监控无线网络状况。虽然以上描述了本发明的具体实施方式
，但是本领域的技术人员应当理解，这些 仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变 更或修改。因此，本发明的保护范围由所附权利要求书限定。
权利要求
1.一种视频电话和流媒体的用户感知效果的测试系统，其特征在于，其包括测试终端，用于通过无线网络，与核心网或者其他测试终端进行VT测试，该终端支持 TD-SCDMA 制式的无线空中协议、HSDPA/HSUPA、HSDPA+ 或 LTE ；VT视频测试服务器，用于同测试终端建立视频呼叫，进行编解码设定，接收并存储测试 终端发来的视频信号，向测试终端播放VT视频；结果分析服务器，用于对测试终端和VT视频测试服务器上传的各种数据进行关联分 析，计算出测试结果；流媒体测试服务器，用于同测试终端建立流媒体连接，使测试终端可以模拟一个正常 的流媒体视频业务的使用者，从而进行一系列流媒体测试； 中央数据库，用于存放结果分析服务器计算出的测试结果； 短信应用服务器，通过与无线网络的短信平台相连，向测试终端发送通知短信； 在线升级服务器，存放新定制的测试方案，供测试终端根据短信应用服务器的通知短 信来获取；Web服务器，用于定制测试方案，以及显示结果分析服务器计算出的测试结果；及 应用逻辑服务器，与所述测试终端、中央数据库和各服务器相连接，所述测试终端、中 央数据库和各服务器通过该应用逻辑服务器交互数据。
2.如权利要求1所述的测试系统，其特征在于，该测试系统还包括GIS服务器，用于将 测试结果和地理信息相关联，测试结果所代表的地理信息即可通过web服务器显示出来， 从而能够判断某地点的测试结果。
3.如权利要求1或2所述的测试系统，其特征在于，所述核心网包括所述的VT视频测 试服务器、流媒体测试服务器、结果分析服务器、中央数据库、短信应用服务器、在线升级服 务器、Web服务器和应用逻辑服务器。
4.一种如权利要求1所述的测试系统的测试方法，其特征在于，其包括以下步骤 S1、测试终端获取例行测试方案或者实时测试方案；S2、在预定的时间，VT视频测试服务器向指定的测试终端发起VT呼叫，根据测试方案的 内容建立VT呼叫连接；S3、双方进行VT视频同步，测试终端发送若干帧预设图像到VT视频测试服务器，表示 在该预设图像播放完后的时间点时测试终端将开始播放标准视频文件，VT视频测试服务器 收到该预设图像后准备录像；S4、所述预设图像播放完的时间点到达后，测试终端开始向VT视频测试服务器按照VT 呼叫的格式，播放指定的源视频文件进行测试，VT视频测试服务器同时开始录像，测试终端 播放测试方案中指定的测试时间后停止，VT视频测试服务器在测试时间结束时停止录像并 存储该录像，测试终端同时采集无线网络参数，记录当前测试时间；s5、VT视频测试服务器停止录像后，重新和测试终端进行第二次视频同步；S6,VT视频测试服务器开始向测试终端按照VT呼叫的格式，播放指定的源视频文件进 行测试，测试终端同时开始录像，VT视频测试服务器播放测试方案中指定的测试时间后停 止，测试终端在测试时间结束时停止录像并存储该录像，测试终端同时采集无线网络参数， 记录当前测试时间；S7、测试终端和VT视频测试服务器都断开VT呼叫，测试终端和VT视频测试服务器上传测试数据到结果分析服务器；S8、结果分析服务器将测试终端或者VT视频测试服务器上传的文件同源文件进行对比 计算，计算结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中供测试人员 查询调用。
5.如权利要求4所述的测试系统的测试方法，其特征在于，步骤S1中，核心网事先制定 例行测试方案下发到测试终端，测试终端再按照该测试方案进行测试。
6.如权利要求5所述的测试系统的测试方法，其特征在于，所述核心网包括权利要求1 所述的VT视频测试服务器、流媒体测试服务器、结果分析服务器、中央数据库、短信应用服 务器、在线升级服务器、Web服务器和应用逻辑服务器。
7.如权利要求4所述的测试系统的测试方法，其特征在于，步骤S1中，通过web服务器 的web界面制定实时测试方案，核心网通过短信应用服务器通知测试终端到在线升级服务 器上取得该测试方案，进行测试。
8.如权利要求4所述的测试系统的测试方法，其特征在于，步骤S1中，所述测试方案的 内容包括测试发起的时间，测试时所使用的源图像文件，测试时所使用的图像编码和测试 时播放源图像的时间长度。
9.如权利要求4所述的测试系统的测试方法，其特征在于，步骤、和&中的当前测试 时间包括VT呼叫开始的时间、同步的时间和播放结束的时间。
10.如权利要求4所述的测试系统的测试方法，其特征在于，步骤S7中的测试数据包括 测试终端或者VT视频测试服务器所生成的录像文件，以及测试终端采集的无线网络参数。
11.如权利要求4所述的测试系统的测试方法，其特征在于，步骤S8中的计算结果为根 据PEVQ算法计算出的MOS值、PSNR参数、失真度、码流损伤和平滑度指标中的一种或多种。
12.如权利要求4所述的测试系统的测试方法，其特征在于，所述的测试系统包括GIS 服务器，步骤S8中，测试人员通过web服务器和GIS服务器提供的图形界面，查询所述计算 结果。
13.一种如权利要求1所述的测试系统的测试方法，该测试系统中的测试终端包括主 叫测试终端和被叫测试终端，其特征在于，其包括以下步骤T1、所述主叫和被叫测试终端获取例行测试方案或者实时测试方案；T2、在预定的时间，主叫测试终端向被叫测试终端发起VT呼叫，根据所述测试方案的内 容建立VT呼叫连接；T3、主叫和被叫测试终端进行VT视频同步，被叫测试终端发送若干帧预设图像到主叫 测试终端，表示在该预设图像播放完后的时间点时被叫测试终端将开始播放标准视频文 件，主叫测试终端收到该预设图像后准备录像；T4、所述预设图像播放完的时间点到达后，被叫测试终端开始向主叫测试终端按照VT 呼叫的格式，播放指定的源视频文件进行测试，主叫测试终端同时开始录像，被叫测试终端 播放测试方案中指定的测试时间后停止，主叫测试终端在测试时间结束后停止录像，并存 储该录像，同时主叫测试终端和被叫测试终端都采集无线网络参数，记录当前测试时间；T5、主叫测试终端停止录像后，重新和被叫测试终端进行第二次视频同步；T6、主叫测试终端开始向被叫测试终端按照VT呼叫的格式，播放指定的源视频文件进 行测试，被叫测试终端同时开始录像，主叫测试终端播放测试方案中指定的测试时间后停止，被叫测试终端在测试时间结束后停止录像，并存储该录像，同时主叫测试终端和被叫测 试终端都采集无线网络参数，记录当前测试时间；T7、主叫测试终端和被叫测试终端都断开VT呼叫，主叫和被叫测试终端分别上传测试 数据到结果分析服务器；Τ8、结果分析服务器将主叫和被叫测试终端上传的文件同源文件进行对比计算，计算 结果即为VT视频的用户感知结果，然后将该结果存到中央数据库中供测试人员查询调用。
14.如权利要求13所述的测试系统的测试方法，其特征在于，步骤T1中，核心网事先制 定例行测试方案下发到测试终端，测试终端再按照该测试方案进行测试。
15.如权利要求14所述的测试系统的测试方法，其特征在于，所述核心网包括权利要 求1所述的VT视频测试服务器、流媒体测试服务器、结果分析服务器、中央数据库、短信应 用服务器、在线升级服务器、Web服务器和应用逻辑服务器。
16.如权利要求13所述的测试系统的测试方法，其特征在于，步骤T1中，通过web服务 器的web界面制定实时测试方案，核心网通过短信应用服务器通知测试终端到在线升级服 务器上取得该测试方案，进行测试。
17.如权利要求13所述的测试系统的测试方法，其特征在于，步骤T4和T6中的当前测 试时间包括VT呼叫开始的时间、同步的时间和播放结束的时间。
18.如权利要求13所述的测试系统的测试方法，其特征在于，步骤T7中的测试数据 包括主叫和被叫测试终端所生成的录像文件，以及主叫和被叫测试终端采集的无线网络参 数。
19.如权利要求13所述的测试系统的测试方法，其特征在于，步骤T8中的计算结果为 根据PEVQ算法计算出的MOS值、PSNR参数、失真度、码流损伤和平滑度指标中的一种或多 种。
20.一种如权利要求1所述的测试系统的流媒体测试方法，其特征在于，其包括以下步骤U1、测试终端获取例行测试方案或者实时测试方案；U2、在预定的时间，测试终端根据测试方案中的参数，建立流媒体连接，根据测试方案 的内容向流媒体测试服务器发起测试请求，接受流媒体视频；U3、双方进行流媒体测试同步，流媒体测试服务器发送若干帧预设图像到测试终端，表 示在该预设图像播放完后的时间点时流媒体测试服务器将开始播放标准视频文件，测试终 端收到该预设图像后准备录像；U4、所述预设图像播放完的时间点到达后，流媒体测试服务器向测试终端播放指定的 源视频流媒体文件，测试终端同时开始录像，流媒体测试服务器播放测试方案中指定的测 试时间后停止，测试终端在测试时间结束时停止录像并存储该录像，测试终端同时采集无 线网络参数，记录当前测试时间；U5、测试终端和流媒体测试服务器都断开流媒体连接，测试终端上传测试数据到结果 分析服务器；U6、结果分析服务器将测试终端上传的文件同源文件进行对比计算，计算结果即为流 媒体业务的用户感知结果，然后将该结果存到中央数据库中供测试人员查询调用。
21.如权利要求20所述的测试系统的测试方法，其特征在于，步骤仏中，核心网事先制定例行测试方案下发到测试终端，测试终端再按照该测试方案进行测试。
22.如权利要求21所述的测试系统的测试方法，其特征在于，所述核心网包括权利要 求1所述的VT视频测试服务器、流媒体测试服务器、结果分析服务器、中央数据库、短信应 用服务器、在线升级服务器、Web服务器和应用逻辑服务器。
23.如权利要求20所述的测试系统的测试方法，其特征在于，步骤仏中，通过web服务 器的web界面制定实时测试方案，核心网通过短信应用服务器通知测试终端到在线升级服 务器上取得该测试方案，进行测试。
24.如权利要求20所述的测试系统的测试方法，其特征在于，步骤仏中，所述测试方案 的内容包括测试发起的时间，测试时所使用的源图像文件，测试时所使用的图像编码和测 试时播放源图像的时间长度。
25.如权利要求20所述的测试系统的测试方法，其特征在于，步骤U5中的测试数据包 括测试终端所生成的录像文件，以及测试终端采集的无线网络参数。
26.如权利要求20所述的测试系统的测试方法，其特征在于，步骤U6中的计算结果为 根据PEVQ算法计算出的MOS值、PSNR参数、失真度、码流损伤和平滑度指标中的一种或多 种。
全文摘要
本发明公开了一种视频电话和流媒体的用户感知效果的测试系统和测试方法，应用于TD-SCDMA/HSDPA/HSUPA/HSPA+/LTE制式下的视频业务，该系统包括TD-SCDMA制式测试终端，VT视频测试服务器，结果分析服务器，流媒体测试服务器，中央数据库，短信应用服务器，在线升级服务器，Web服务器及应用逻辑服务器，所述测试终端、中央数据库和各服务器通过该应用逻辑服务器交互数据。本发明为一种灵活部署、无人职守运作、远程控制、远程升级并且易于使用的TD-SCDMA/HSDPA/HSUPA/HSPA+/LTE无线网络视频业务(如视频电话和流媒体业务)用户感知效果测试系统。可以方便高效地检测无线网络中VT和流媒体业务的运行质量，通过在不同的环境中布置测试终端，无须用大量的人力物力，却能得到大量测试点的7*24小时测试结果。
文档编号H04N17/00GK102075781SQ200910199119
公开日2011年5月25日 申请日期2009年11月20日 优先权日2009年11月20日
发明者张一 申请人:上海倍亚得信息技术有限公司