用于实时流媒体识别服务的测试和监控方法及装置制造方法
【专利摘要】本发明涉及一种用于实时流媒体识别服务的测试和监控方法及系统。所述方法包括以下步骤：获取流媒体信号源，并从所述流媒体信号源中选取输入用例，并记录所述输入用例的特性；接收所述输入用例，并根据所述输入用例发起识别请求，以及接收根据所述识别请求返回的对所述输入用例的识别结果；根据所述输入用例的特性得到预期输出结果，将所述识别结果与所述预期输出结果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务异常。因从实时流媒体信号源中提取一段流媒体生成输入用例，记录了该输入用例的预期输出结果，然后将识别结果与预期输出结果进行比较，实现了对实时流媒体识别服务进行实时测试和监控。
【专利说明】用于实时流媒体识别服务的测试和监控方法及装置
【技术领域】
[0001] 本发明涉及多媒体技术，特别是涉及一种用于实时流媒体识别服务的测试和监控 方法及装置。
【背景技术】
[0002] 流媒体是指以流的方式在网络中传输音频、图像、视频、文本和多媒体文件的形 式。该网络是指有线广播网络、无线广播网络、互联网网络等。流媒体文件格式是支持采用 流式传输及播放的媒体格式。
[0003] 实时流媒体通常采用流式传输，流式传输是将视频和音频等多媒体文件压缩分成 一个个压缩包，由服务器向计算机连续、实时传送。在采用流式传输方式的系统中，用户不 必像非流式播放等到整个文件全部下载完毕后才能看到当中的内容，而是只需要经过几秒 钟或几十秒的启动延时即可在用户计算机上利用相应的播放器对压缩的视频或音频等流 式媒体文件进行播放，剩余的部分将继续进行下载，直至播放完毕。
[0004] 传统的流媒体测试和监控系统中使用的输入用例和输出结果是固定不变可反复 使用的，但在实时流媒体识别系统中，由于流媒体的实时变化的特性，一个输入用例是具有 时效性的，在一个有效的时间窗口内可以识别出相应的结果，在时间窗口外输入用例则失 效，实时流媒体识别系统无法返回预期的识别结果，从而无法判断实时流媒体识别系统的 功能和稳定性是否正常。
【发明内容】
[0005] 基于此，有必要针对传统的流媒体测试和监控系统无法测试和监控实时流媒体识 别系统的功能和稳定性是否正常的问题，提供一种用于实时流媒体识别服务的测试和监控 方法。
[0006] 此外，还有必要提供一种用于实时流媒体识别服务的测试和监控装置。
[0007] -种用于实时流媒体识别服务的测试和监控方法，包括以下步骤：
[0008] 获取流媒体信号源，并从所述流媒体信号源中选取输入用例，并记录所述输入用 例的特性；
[0009] 根据所述输入用例发起识别请求，以及接收根据所述识别请求返回的对所述输入 用例的识别结果；
[0010] 根据所述输入用例的特性得到预期输出结果，将所述识别结果与所述预期输出结 果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务异 堂 巾。
[0011] 一种用于实时流媒体识别服务的测试和监控装置，包括：
[0012] 实时流获取和处理模块，用于获取流媒体信号源，并从所述流媒体信号源中选取 输入用例，并记录所述输入用例的特性；
[0013] 客户端模拟模块，用于根据所述输入用例发起识别请求，以及接收根据所述识别 请求返回的对所述输入用例的识别结果；
[0014] 识别结果判断模块，用于根据所述输入用例的特性得到预期输出结果，将所述识 别结果与所述预期输出结果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表 示实时流媒体识别服务异常。
[0015] 上述用于实时流媒体识别服务的测试和监控方法及装置，通过从流媒体信号源中 选取输入用例，然后对输入用例进行识别得到识别结果，将识别结果与该输入用例的预期 输出结果进行比较，若相同，则表示实时流媒体识别服务正常，因从实时流媒体信号源中提 取一段流媒体生成输入用例，记录了该输入用例的预期输出结果，然后将识别结果与预期 输出结果进行比较，实现了对实时流媒体识别服务进行实时测试和监控，保证了实时流媒 体识别系统的功能和稳定性处于正常状态。
【专利附图】
【附图说明】
[0016] 图1为一个实施例中用于实时流媒体识别服务的测试和监控方法的流程图；
[0017] 图2为一个实施例中用于实时流媒体识别服务的测试和监控装置的结构框图；
[0018] 图3为一个实施例中用于实时流媒体识别服务的测试和监控装置与实时流媒体 识别服务的交互示意图；
[0019] 图4为用于实时流媒体识别服务的测试和监控装置应用于电视机的示意图。
【具体实施方式】
[0020] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0021] 图1为一个实施例中用于实时流媒体识别服务的测试和监控方法的流程图。如图 1所示，该用于实时流媒体识别服务的测试和监控方法，包括以下步骤：
[0022] 步骤102,获取流媒体信号源，并从该流媒体信号源中选取输入用例，并记录该输 入用例的特性。
[0023] 具体的，获取实时流媒体信号源，该流媒体信号源可为通过电视、广播、其他采集 设备等采集的信号源。
[0024] 在获取流媒体信号源后，还包括：将该输入用例转换为实时流媒体服务预先设定 的数字流格式。
[0025] 该流媒体信号源可为电视音频、图像截图或广播音频等信号源，将该流媒体信号 源转换为实时流媒体服务预先设定的数字流格式。转换后的信号源可为一定长度的音频、 单张或多张的图像截图，也可以是提取到的音频或图像特征值。然后从转换后的流媒体信 号源中选取一段流媒体作为测试和监控使用的输入用例，并记录输入用例的属性和标识等 辨别信息。
[0026] 其中，输入用例是指用于输入给实时流媒体识别系统进行识别的流媒体数据。实 时流媒体识别系统是在后端服务器中处理流媒体，识别出流媒体信息中的特定信息，提供 更加具体的识别信息的一种后台服务系统，针对不同流媒体的具体内容类别，可以识别音 频、视频、多媒体、文本等不同的流媒体。测试是指在识别服务对外发布前对识别系统功能 及性能进行实际验证的系统环境。监控是在识别服务通过对外发布后对识别系统稳定性进 行监控跟踪和故障报警的系统环境。
[0027] 该记录该输入用例的特性包括输入用例的属性和标识。不同的输入用例，其属性 不同，例如输入用例为电视音频，则属性包括提取特征的时间、特征音频的时长、大小、提取 特征的电视频道信息、提取信号来源等，标识是用于区分输入用例的唯一性的，例如电视频 道信息。
[0028] 上述用于实时流媒体识别服务的测试和监控方法，从该流媒体信号源中选取输入 用例的步骤包括：按照预定时间间隔从该流媒体信号源中选取输入用例。具体的，预定时间 间隔可根据需要设定，如10秒、15秒等。
[0029] 步骤104,根据该输入用例发起识别请求，以及接收根据该识别请求返回的对该输 入用例的识别结果。
[0030] 本实施例中，根据该输入用例发起识别请求的步骤包括：模拟实时流媒体识别系 统的客户端请求协议根据该输入用例发起识别请求。
[0031] 通过程序模拟实时流媒体识别系统的客户端对后台实时流媒体识别服务发起识 别请求以及接收返回的识别结果，避免对硬件设备的依赖。且模拟的识别请求使用的协议 格式和命令与客户端保持一致，以确保在实时流媒体识别系统能正确接收和处理。识别结 果根据输入用例不同所包含的内容不同，例如输入用例为电视音频，则识别结果可包括电 视频道信息的值等，输入用例为广播音频，则识别结果可包括广播频道信息的值，如88. 8Hz 广播频道所对应的编号为0001。
[0032] 步骤106,根据该输入用例的特性得到预期输出结果，将该识别结果与该预期输出 结果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务 异常。
[0033] 本实施例中，输入用例的特性包括属性和标识，将识别结果中的属性和标识与记 录的输入用例的属性和标识进行比较，若相同，则表示实时流媒体识别服务正常，否则，表 示实时流媒体识别服务异常。正常是指实时流媒体识别服务的功能和稳定性正常。异常是 指实时流媒体识别服务的功能和稳定性处于非正常状态。
[0034] 预期输出结果是指根据输入用例预先设定的经过测试后期望得到的结果。例如， 输入用例为电视音频，电视音频的属性内容包括提取特征的时间（如2014年6月24日15 时30分20秒开始提取）、特征音频的时长（10秒）、大小（20千字节）、提取特征的电视频 道信息以及提取信号来源。其中，电视频道信息作为该电视音频的标识，该标识作为该电视 音频的预期输出结果的一个判断值。再如，输入用例为广播音频，广播音频的属性内容包括 提取特征的时间（如2014年6月24日15时30分20秒开始提取）、特征音频的时长（10 秒）、大小（20千字节）、提取特征的广播频道信息以及提取信号来源。其中，广播频道信息 作为该广播音频的标识，该标识作为该广播音频的预期输出结果的一个判断值。返回的识 别结果为一个电视音频信息的值，将返回的电视音频信息的值与预期的电视音频信息的值 进行比较，若相同，则表示实时流媒体识别服务正常，若不相同，则表示实时流媒体识别服 务异常。
[0035] 具体的，以输入用例为电视音频为例，假设要测试的电视台为CCTV-1频道且 CCTV-1在实时流识别服务中对应的ID编号为001，该实时流媒体识别服务的测试和监控系 统通过接入CCTV-1频道电视信号源（有线电视或卫星电视信号），使用实时流识别服务提 取电视信号源的特征，并按照实时流识别服务的客户端截取特征音频的长度（可为预设长 度）对提取的电视信号源的特征进行截取，（如3秒、5秒或8秒等），实时流识别服务的模 拟客户端将截取到的定长度特征按照合法的协议请求发送给实时流识别服务，并接收实时 流识别服务的返回结果。因已知用于测试系统的信号源是CCTV-1频道，所以CCTV-1频道 的ID编号001即为测试的预期输出结果，当接收到的实时流识别服务返回的识别结果中ID 编号为001时，即识别结果与预期输出结果一致，则表示实时流媒体识别服务正确的识别 出测试特征，如果识别结果的ID编号不为001，识别结果与预期输出结果不一致，则说明识 别失败，则表示实时流媒体识别服务未能正确的识别出输入用例。以此类推，分别取不同电 视信号源并提取特征作为测试特征，可以逐一验证实时流媒体识别服务是否可以对每一个 电视频道的节目进行准确的识别，以达到识别和监控的要求。
[0036] 上述用于实时流媒体识别服务的测试和监控方法，通过从流媒体信号源中选取输 入用例，然后对输入用例进行识别得到识别结果，将识别结果与该输入用例的预期输出结 果进行比较，若相同，则表示实时流媒体识别服务正常，因从实时流媒体信号源中提取一段 流媒体生成输入用例，记录了该输入用例的预期输出结果，然后将识别结果与预期输出结 果进行比较，实现了对实时流媒体识别服务进行实时测试和监控，保证了实时流媒体识别 系统的功能和稳定性处于正常状态。
[0037] 图2为一个实施例中用于实时流媒体识别服务的测试和监控装置的结构框图。该 用于实时流媒体识别服务的测试和监控装置，包括实时流获取和处理模块220、客户端模拟 模块240和识别结果判断模块260。其中：
[0038] 实时流获取和处理模块220用于获取流媒体信号源，并从该流媒体信号源中选取 输入用例，并记录该输入用例的特性。
[0039] 该实时流获取和处理模块220还用于将该输入用例转换为实时流媒体服务预先 设定的数字流格式。
[0040] 该流媒体信号源可为电视音频、图像截图或广播音频等信号源，将该流媒体信号 源转换为实时流媒体服务预先设定的数字流格式。转换后的信号源可为一定长度的音频、 单张或多张的图像截图，也可以是提取到的音频或图像特征值。然后从转换后的流媒体信 号源中选取一段流媒体作为测试和监控使用的输入用例，并记录输入用例的属性和标识等 辨别信息。
[0041] 其中，输入用例是指用于输入给实时流媒体识别系统进行识别的流媒体数据。实 时流媒体识别系统是在后端服务器中处理流媒体，识别出流媒体信息中的特定信息，提供 更加具体的识别信息的一种后台服务系统，针对不同流媒体的具体内容类别，可以识别音 频、视频、多媒体、文本等不同的流媒体。测试是指在识别服务对外发布前对识别系统功能 及性能进行实际验证的系统环境。监控是在识别服务通过对外发布后对识别系统稳定性进 行监控跟踪和故障报警的系统环境。
[0042] 该记录该输入用例的特性包括输入用例的属性和标识。不同的输入用例，其属性 不同，例如输入用例为电视音频，则属性包括提取特征的时间、特征音频的时长、大小、提取 特征的电视频道信息、提取信号来源等，标识是用于区分输入用例的唯一性的，例如电视频 道信息。
[0043] 该实时流获取和处理模块220还用于按照预定时间间隔从该流媒体信号源中选 取输入用例。具体的，预定时间间隔可根据需要设定，如10秒、15秒等。
[0044] 客户端模拟模块240用于接收该输入用例，并根据该输入用例发起识别请求，以 及接收根据该识别请求返回的对该输入用例的识别结果。
[0045] 该客户端模拟模块240还用于模拟实时流媒体识别系统的客户端请求协议根据 该输入用例发起识别请求。
[0046] 通过程序模拟实时流媒体识别系统的客户端对后台实时流媒体识别服务发起识 别请求以及接收返回的识别结果，避免对硬件设备的依赖。且模拟的识别请求使用的协议 格式和命令与客户端保持一致，以确保在实时流媒体识别系统能正确接收和处理。
[0047] 识别结果判断模块260用于根据该输入用例的特性得到预期输出结果，将该识别 结果与该预期输出结果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实 时流媒体识别服务异常。
[0048] 本实施例中，输入用例的特性包括属性和标识，识别结果判断模块260还用于将 识别结果中的属性和标识与记录的输入用例的属性和标识进行比较，若相同，则表示实时 流媒体识别服务正常，否则，表示实时流媒体识别服务异常。正常是指实时流媒体识别服务 的功能和稳定性正常。异常是指实时流媒体识别服务的功能和稳定性处于非正常状态。 [0049] 上述用于实时流媒体识别服务的测试和监控装置，通过从流媒体信号源中选取输 入用例，然后对输入用例进行识别得到识别结果，将识别结果与该输入用例的预期输出结 果进行比较，若相同，则表示实时流媒体识别服务正常，因从实时流媒体信号源中提取一段 流媒体生成输入用例，记录了该输入用例的预期输出结果，然后将识别结果与预期输出结 果进行比较，实现了对实时流媒体识别服务进行实时测试和监控，保证了实时流媒体识别 系统的功能和稳定性处于正常状态。
[0050] 此外，还可采用人工手动使用真实的实时流媒体识别系统的客户端进行功能操作 验证输入用例的识别结果与预期输出结果是否相符。
[0051] 图3为一个实施例中用于实时流媒体识别服务的测试和监控装置与实时流媒体 识别服务的交互示意图。图3中，用于实时流媒体识别服务的测试和监控装置中的客户端 模拟模块240根据选取的输入用例向实时流媒体识别服务300发起识别请求，并接收实时 流媒体识别服务300对输入用例的识别结果。识别结果判断模块260用于将输入用例的识 别结果与输入用例的预期输出结果进行比较，若相同，则实时流媒体识别服务300识别正 常，若不相同，则实时流媒体识别服务300识别异常，需跟踪并记录返回的识别结果进行分 析。
[0052] 图4为用于实时流媒体识别服务的测试和监控装置应用于电视机的示意图。如图 4中，电视机400提供实时流媒体信号源，实时流获取和处理模块220从电视机400获取实 时流媒体信号源（如音频），并对音频按照实时流媒体识别服务预先设定的格式进行转换， 然后从转换后的实时流媒体信号源中选取一段音频作为输入用例，然后将该输入用例发送 给客户端模拟模块240,客户端模拟模块240根据该输入用例向实时流媒体识别服务300发 起识别请求，并接收实时流媒体识别服务300对输入用例的识别结果。识别结果判断模块 260用于将输入用例的识别结果与输入用例的预期输出结果进行比较，若相同，则实时流媒 体识别服务300识别正常，若不相同，则实时流媒体识别服务300识别异常，需跟踪并记录 返回的识别结果进行分析。
[0053] 此外，用于实时流媒体识别服务的测试和监控装置还可应用于广播电台、网络流 媒体视频等。
[0054] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以 通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质 中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的 至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为 磁碟、光盘、只读存储记忆体（Read-Only Memory,ROM)或随机存储记忆体（Random Access Memory，RAM)等。
[0055] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并 不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保 护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1. 一种用于实时流媒体识别服务的测试和监控方法，包括以下步骤： 获取流媒体信号源，并从所述流媒体信号源中选取输入用例，并记录所述输入用例的 特性； 根据所述输入用例发起识别请求，以及接收根据所述识别请求返回的对所述输入用例 的识别结果； 根据所述输入用例的特性得到预期输出结果，将所述识别结果与所述预期输出结果进 行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务异常。
2. 根据权利要求1所述的方法，其特征在于，所述从所述流媒体信号源中选取输入用 例的步骤包括： 按照预定时间间隔从所述流媒体信号源中选取输入用例。
3. 根据权利要求1所述的方法，其特征在于，在所述获取流媒体信号源步骤之后，所述 方法还包括： 将所述输入用例转换为实时流媒体服务预先设定的数字流格式。
4. 根据权利要求1所述的方法，其特征在于，所述根据所述输入用例发起识别请求的 步骤包括： 模拟实时流媒体识别系统的客户端请求协议根据所述输入用例发起识别请求。
5. 根据权利要求1所述的方法，其特征在于，所述记录所述输入用例的特性包括输入 用例的属性和标识； 根据所述输入用例的特性得到预期输出结果，将所述识别结果与所述预期输出结果进 行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务异常的 步骤包括： 将所述输入用例的属性和标识与所述识别结果中的属性和标识进行比较，若都相同， 则表示实时流媒体识别服务正常，否则，表示实时流媒体识别服务异常。
6. -种用于实时流媒体识别服务的测试和监控装置，其特征在于，包括： 实时流获取和处理模块，用于获取流媒体信号源，并从所述流媒体信号源中选取输入 用例，并记录所述输入用例的特性； 客户端模拟模块，用于根据所述输入用例发起识别请求，以及接收根据所述识别请求 返回的对所述输入用例的识别结果； 识别结果判断模块，用于根据所述输入用例的特性得到预期输出结果，将所述识别结 果与所述预期输出结果进行比较，若相同，则表示实时流媒体识别服务正常，否则，表示实 时流媒体识别服务异常。
7. 根据权利要求6所述的装置，其特征在于，所述实时流获取和处理模块还用于按照 预定时间间隔从所述流媒体信号源中选取输入用例。
8. 根据权利要求6所述的装置，其特征在于，所述实时流获取和处理模块还用于将所 述输入用例转换为实时流媒体服务预先设定的数字流格式。
9. 根据权利要求6所述的装置，其特征在于，所述客户端模拟模块还用于模拟实时流 媒体识别系统的客户端请求协议根据所述输入用例发起识别请求。
10. 根据权利要求6所述的装置，其特征在于，所述记录所述输入用例的特性包括输入 用例的属性和标识；所述识别结果判断模块还用于将所述输入用例的属性和标识与所述识 别结果中的属性和标识进行比较，若都相同，则表示实时流媒体识别服务正常，否则，表示 实时流媒体识别服务异常。
【文档编号】H04N21/235GK104093038SQ201410327529
【公开日】2014年10月8日 申请日期:2014年7月10日 优先权日:2014年7月10日
【发明者】刘荐, 谢达东, 侯杰, 刘海龙, 陈波 申请人:腾讯科技（深圳）有限公司