一种测试场景说法覆盖度的方法和装置制造方法
【专利摘要】本发明公开了一种测试场景说法覆盖度的方法和装置，以高效、准确地对语音产品的语义识别功能进行测试。所述方法包括：向测试服务器发送文本样本的测试请求，所述文本样本是直接以文字表示的场景说法构成的测试用样本；将所述测试服务器返回的测试结果与预期的结果进行对比；输出所述进行对比后的结果。与现有技术相比，本发明实施例提供的方法无需测试语义识别功能的人员海量讲话，一方面可以节省测试的人力成本，无需消耗测试人员过多的体力即可完成测试，另一方面，文本样本易于编写、扩展，在收集到新的文本样本后直接通过脚本就可执行，语义识别功能的测试效率高，也可根据需求反复选择文本样本进行回归测试。
【专利说明】一种测试场景说法覆盖度的方法和装置
【技术领域】
[0001] 本发明涉及终端应用领域，具体涉及一种测试场景说法覆盖度的方法和装置。
【背景技术】
[0002] 随着通信技术、特别是模式识别技术的进步，终端的语音产品的功能已经从自动 语音识别（Automatic Speech Recognition，ASR)向语义识别（Semantic Recognition，SR) 发展。所谓语义识别，是指机器在听到人的讲话内容后，能够识别语言中承载的人的意图。 具有语义识别的语音产品在产品成型或上市前，通常会进行语义识别方面的功能测试，以 便通过测试得到的结果获知产品功能是否能够达到预期，进而完善语音产品的语义识别功 能。
[0003] 鉴于语音产品更新换代快，市场竞争激烈，良好、高效的功能测试方案是语音产品 功能不断完善，迅速占领市场的保证。现有技术提供的一种对语音产品进行功能测试的方 法是：通过人工以语音方式向语音产品输入大量的、各种不同句式的句子，进而去验证业务 服务器是否能够给出对应的语义识别结果。
[0004] 上述现有技术提供的对语音产品进行功能测试的方法的主要缺陷在于，测试必须 是通过语音输入，而测试不同场景一般需支持海量的问法，很多时候只是变通一个字或者 增加一个语气词就意味着是一种不同的问法。因此，通过人工以语音输入方式对语音产品 进行语义识别功能的测试，不仅难以快速有效覆盖不同场景进而影响测试结果的准确性， 而且实际执行时由于需要大量讲话导致体力消耗较大。
【发明内容】
[0005] 本发明实施例提供一种测试场景说法覆盖度的方法和装置，以高效、准确地对语 音产品的语义识别功能进行测试。
[0006] -种测试场景说法覆盖度的方法，包括：向测试服务器发送文本样本的测试请求， 所述文本样本是直接以文字表示的场景说法构成的测试用样本；将所述测试服务器返回的 测试结果与预期的结果进行对比；输出所述进行对比后的结果。
[0007] -种测试场景说法覆盖度的装置，所述装置包括：
[0008] 发送模块，用于向测试服务器发送文本样本的测试请求，所述文本样本是直接以 文字表示的场景说法构成的测试用样本；
[0009] 结果对比模块，用于将所述测试服务器返回的测试结果与预期的结果进行对比；
[0010] 结果输出模块，用于输出所述进行对比后的结果。
[0011] 从上述本发明实施例可知，由于向测试服务器发送的文本样本是直接以文字表示 的场景说法构成的测试用样本，而不是通过测试人员说话的方式向语音产品输入句子。因 此，与现有技术通过人工以语音方式向语音产品输入大量的、各种不同句式的句子去测试 语义识别功能相比，本发明实施例提供的方法无需测试语义识别功能的人员海量讲话，一 方面可以节省测试的人力成本，无需消耗测试人员过多的体力即可完成测试，另一方面，文 本样本易于编写、扩展，在收集到新的文本样本后直接通过脚本就可执行，语义识别功能的 测试效率高，也可根据需求反复选择文本样本进行回归测试。
【专利附图】
【附图说明】
[0012] 图1是本发明实施例提供的测试场景说法覆盖度的方法的基本流程示意图；
[0013] 图2是本发明实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0014] 图3是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0015] 图4是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0016] 图5-a是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0017] 图5-b是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0018] 图5-c是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0019] 图6-a是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0020] 图6_b是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图；
[0021] 图6-c是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图。
【具体实施方式】
[0022] 本发明实施例提供一种测试场景说法覆盖度的方法，包括：向测试服务器发送文 本样本的测试请求，所述文本样本是直接以文字表示的场景说法构成的测试用样本；将所 述测试服务器返回的测试结果与预期的结果进行对比；输出所述进行对比后的结果。本发 明实施例还提供相应的一种测试场景说法覆盖度的装置。以下分别进行详细说明。
[0023] 本发明实施例的测试场景说法覆盖度的方法可应用于个人电脑、智能手机等装有 语音产品的终端，其基本流程可参考图1，主要包括步骤：
[0024] S101，向测试服务器发送文本样本的测试请求，所述文本样本是直接以文字表示 的场景说法构成的测试用样本。
[0025] 现有技术对语义识别功能进行测试时，是测试人员或其他人员向装有语音产品的 终端输入语音(例如，通过话筒喊话)，语音传送到接入服务器后，由接入服务器将该语音转 入语音识别引擎。接入服务器再将语音识别引擎返回的以文字表示的语音识别结果发送给 业务服务器进行语义识别。从上述对现有技术的描述可知，现有技术具有人工向装有语音 产品的终端输入语音以及语音识别引擎对语音进行识别后得出以文字表示的识别结果两 个步骤。由于语音识别技术比较成熟，大多数语音识别引擎都能够对语音进行有效识别，鉴 于此，本发明实施例提供的测试场景说法覆盖度的方法可以省去语音识别这一过程，即向 测试服务器发送文本样本而不是向接入服务器发送语音。在本发明实施例中，文本样本是 直接以文字表示的场景说法构成的测试用样本，可以作为测试请求的一部份内容，携带在 发送给测试服务器的测试请求中。所谓直接以文字表示的场景说法，是指不是将以语音表 示的场景说法通过语音识别引擎的识别后转换成以文字表示的场景说法，而是指该场景说 法从输入终端开始一直至发送到测试服务器都是以文本表示，中间没有经过任何识别和/ 或转换环节。
[0026] S102,将测试服务器返回的测试结果与预期的结果进行对比。
[0027] 作为步骤S101中文本样本的一个实施例，文本样本的格式可以是：文字串+预期 场景的标识（IDentifier，ID)即"文字串，预期场景的标识"，其中，文字串是前述实施例中 提及的直接以文字表示的场景说法。例如，对于一个视频场景说法的测试，文本样本格式可 以是"最近有什么好看的视频，26"，其中，"最近有什么好看的视频"就是文字串，而"26"就 是预期场景的标识。相应于文本样本的格式是文字串+预期场景的标识这一实施例，将测 试服务器返回的测试结果与预期的结果进行对比可以是：解析测试服务器返回的测试请求 响应，获得识别场景的标识；将识别场景的标识与预期场景的标识进行对比。例如，对于发 送给测试服务器的文本样本"最近有什么好看的视频，26"，终端解析测试服务器返回的测 试请求响应，获得的识别场景的标识可能是26,也可能是其他，例如，36, 54等等。
[0028] 为了进一步进行更加精确的测试，作为步骤S101中文本样本的另一实施例，文本 样本的格式可以是：文字串+预期场景的标识（IDentifier，ID)+预期场景的子场景的标识 即"文字串，预期场景的标识，预期场景的子场景的标识"，类似地，文字串是前述实施例中 提及的直接以文字表示的场景说法。例如，对于一个视频场景说法的测试，文本样本格式可 以是"最近有什么好看的视频，26,15"，其中，"最近有什么好看的视频"就是文字串，而"26" 和" 15"分别是预期场景的标识和预期场景的子场景的标识。相应于文本样本的格式是文 字串+预期场景的标识+所述预期场景的子场景的标识这一实施例，将测试服务器返回的 测试结果与预期的结果进行对比可以是：解析测试服务器返回的测试请求响应，获得识别 场景的标识和识别场景的子场景的标识；将识别场景的标识与预期场景的标识进行对比以 及将识别场景的子场景的标识与预期场景的子场景的标识进行对比。例如，对于发送给测 试服务器的文本样本"最近有什么好看的视频，26,15"，终端解析测试服务器返回的测试请 求响应，获得的识别场景的标识可能是26,也可能是其他，例如，36, 54等等；获得的识别场 景的子场景的标识可能是15,也可能是其他，例如，12,10等等。
[0029] 上述实施例中，测试服务器返回的测试结果还可以包括结果串，其中，结果串是对 直接以文字表示的场景说法的意图领会结果。相应地，上述测试场景说法覆盖度的方法还 可以包括：将结果串与预期的场景说法意图领会结果对比，以获得语音产品对场景说法的 意图领会的正确率。在通过发送测试请求向测试服务器发送文本样本之前，本发明实施例 提供的测试场景说法覆盖度的方法还包括：录入文本样本。录入的文本样本可以在终端本 地存储，也可以异地存储，在需要时可以从中读取、拷贝，也可以随时编写文本样本。当然， 上述的文本样本是可以批量发送、测试服务器批量执行的，提高效率。
[0030] 为了更好地说明上述本发明实施例提供的测试场景说法覆盖度的方法，以下以场 景是视频场景为例进行说明，假设用于测试视频场景的文本样本有8个，如下表1所示：
[0031]
【权利要求】
1. 一种测试场景说法覆盖度的方法，其特征在于，所述方法包括： 向测试服务器发送文本样本的测试请求，所述文本样本是直接W文字表示的场景说法 构成的测试用样本； 将所述测试服务器返回的测试结果与预期的结果进行对比； 输出所述进行对比后的结果。
2. 根据权利要求1所述的方法，其特征在于，所述文本样本的格式为；文字串+预期场 景的标识，所述文字串是所述直接W文字表示的场景说法； 所述将所述测试服务器返回的测试结果与预期的结果进行对比包括： 解析所述测试服务器返回的测试请求响应，获得识别场景的标识； 将所述识别场景的标识与所述预期场景的标识进行对比。
3. 根据权利要求1所述的方法，其特征在于，所述文本样本的格式为；文字串+预期 场景的标识+所述预期场景的子场景的标识，所述文字串是所述直接W文字表示的场景说 法； 所述将所述测试服务器返回的测试结果与预期的结果进行对比包括： 解析所述测试服务器返回的测试请求响应，获得识别场景的标识和所述识别场景的子 场景的标识； 将所述识别场景的标识与所述预期场景的标识进行对比W及将所述识别场景的子场 景的标识与所述预期场景的子场景的标识进行对比。
4. 根据权利要求1至3任意一项所述的方法，其特征在于，所述巧IJ试服务器返回的测试 结果还包括结果串，所述结果串是对所述直接W文字表示的场景说法的意图领会结果； 所述方法还包括；将所述结果串与预期的场景说法意图领会结果对比，W获得语音产 品对场景说法的意图领会的正确率。
5. 根据权利要求1至3任意一项所述的方法，其特征在于，向测试服务器发送文本样本 的测试请求之前，所述方法还包括；录入所述文本样本。
6. -种测试场景说法覆盖度的装置，其特征在于，所述装置包括： 发送模块，用于向测试服务器发送文本样本的测试请求，所述文本样本是直接W文字 表示的场景说法构成的测试用样本； 结果对比模块，用于将所述测试服务器返回的测试结果与预期的结果进行对比； 结果输出模块，用于输出所述进行对比后的结果。
7. 根据权利要求6所述的装置，其特征在于，所述文本样本的格式为；文字串+预期场 景的标识，所述文字串是所述直接W文字表示的场景说法； 所述结果对比模块包括： 第一解析单元，用于解析所述测试服务器返回的测试请求响应，获得识别场景的标 识； 第一对比单元，用于将所述识别场景的标识与所述预期场景的标识进行对比。
8. 根据权利要求6所述的装置，其特征在于，所述文本样本的格式为；文字串+预期 场景的标识+所述预期场景的子场景的标识，所述文字串是所述直接W文字表示的场景说 法； 所述结果对比模块包括： 第二解析单元，用于解析所述测试服务器返回的测试请求响应，获得识别场景的标识 和所述识别场景的子场景的标识； 第二对比单元，用于将所述识别场景的标识与所述预期场景的标识进行对比W及将所 述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
9. 根据权利要求6至8任意一项所述的装置，其特征在于，所述测试服务器返回的测试 结果还包括结果串，所述结果串是对所述直接W文字表示的场景说法的意图领会结果； 所述装置还包括：测试模块，用于将所述结果串与预期的场景说法意图领会结果对比， W获得语音产品对场景说法的意图领会的正确率。
10. 根据权利要求6至8任意一项所述的装置，其特征在于，所述装置还包括： 文本录入模块，用于录入所述文本样本。
【文档编号】G10L25/48GK104347081SQ201310341998
【公开日】2015年2月11日 申请日期:2013年8月7日 优先权日:2013年8月7日
【发明者】陈玫, 徐浩, 韩贵平, 吴景, 廖玲 申请人:腾讯科技（深圳）有限公司