] 优选地，当执行会话开始时，可以设置一个场景开始的标识，比如一个变量 EndFlage，在执行初始化时（或者新场景开始时），将其设置为一个值，比如False。当进 入一个场景时，通过触发登录浏览器的动作来开始进行会话，当执行完成当前的会话时，将 从队列中取出下一个会话，判断这个会话内容是不是包含设置的场景结束标识，如果不包 含，则将该条会话的内容提取，进行执行。如果发现包含场景结束标识，则将EndFlage置为 True，程序根据这个EndFlage将关闭浏览器。从而完成一个完整的场景。
[0040] 这样的流程保证能在一个不受上下文干扰的环境中执行会话，从而达到特有的有 针对性的测试目的。
[0041] 在其中一个实施例中，所述会话还包括与场景标识关联的账号信息，所述步骤 S103中，采用所述账号信息登录所述人工智能应当系统。
[0042] 一般来说，自动化测试包括多个测试用例，每个测试用例完成一个或会话。通过本 发明，使得自动化测试的测试用例可以包括多个测试场景，而通过将账号信息与场景标识 进行关联，则针对不同的会话场景可以采用不同的账号信息，从而做到测试过程完全由数 据对测试用例进行驱动。
[0043] 在其中一个实施例中，所述会话集合采用表格的方式进行测试数据进行保存，其 中每一行数据是一个会话元素。
[0044] 在基于人工智能应答系统的测试中，需要由大量的语料进行测试数据支撑，本实 施例为了更加方便的对测试数据进行管理，采用了表格的方式进行测试数据进行保存，保 存形式以行为单位进行分割，一行数据是一个会话元素。不同列数据代表不同的会话信息。
[0045] 在其中一个实施例中，所述步骤S103,还包括：新生成结果对象，将当前会话元素 的测试结果写入所述结果对象并保存。
[0046] 本实施例中，在抓取到对应的实际答案后，立刻将预期答案与实际答案进行对比， 从而得到测试结果。由于在完成抓取后直接进行对比和保存，从而保证结果的有效性。同 时，由于在结果对象中保存了测试结果，因此在后续输出结果展示时能够更加明确和有效， 可分析性增强。
[0047] 如图2所示为本发明最佳实施例的工作流程图，包括：
[0048] 步骤S201，读取会话集合。
[0049] 会话集合包括多个会话元素，会话元素可以是会话或者场景结束标识。每个会话 的保存方式如表1所示。
[0050] 表1会话的保存方式
【主权项】
1. 一种人工智能应答系统的测试方法，其特征在于，包括： 会话集合获取步骤，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或 者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话 包括：问题、场景标识和预期答案； 会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素， 如果当前会话元素为会话，则创建会话场景； 会话测试步骤，包括：在会话场景中向人工智能应答系统输入当前会话元素所包括的 问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会话元 素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元 素的测试结果为失败； 会话元素检查步骤，包括：从会话集合中按顺序取出下一个会话元素作为当前会话元 素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查步骤，如果当前会 话元素为会话，则执行所述会话测试步骤； 结束检查步骤，包括：如果会话集合中还有下一个会话元素，则执行会话场景生成步 骤，否则结束。
2. 根据权利要求1所述的人工智能应答系统的测试方法，其特征在于，所述创建会话 场景为登录浏览器，所述结束会话场景为关闭浏览器。
3. 根据权利要求1所述的人工智能应答系统的测试方法，其特征在于，所述会话还包 括与场景标识关联的账号信息，所述会话测试步骤中，采用所述账号信息登录所述人工智 能应当系统。
4. 根据权利要求1所述的人工智能应答系统的测试方法，其特征在于，所述会话集合 采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
5. 根据权利要求1所述的人工智能应答系统的测试方法，其特征在于，所述会话测试 步骤，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
6. -种人工智能应答系统的测试系统，其特征在于，包括： 会话集合获取模块，用于：获取包括多个会话元素的会话集合，所述会话元素为会话或 者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话 包括：问题、场景标识和预期答案； 会话场景生成模块，用于：从所述会话集合中按顺序取出会话元素作为当前会话元素， 如果当前会话元素为会话，则创建会话场景； 会话测试模块，用于：在会话场景中向人工智能应答系统输入当前会话元素所包括的 问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会话元 素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元 素的测试结果为失败； 会话元素检查模块，用于：从会话集合中按顺序取出下一个会话元素作为当前会话元 素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查模块，如果当前会 话元素为会话，则执行所述会话测试模块； 结束检查模块，用于：如果会话集合中还有下一个会话元素，则执行会话场景生成模 块，否则结束。
7. 根据权利要求6所述的人工智能应答系统的测试系统，其特征在于，所述创建会话 场景为登录浏览器，所述结束会话场景为关闭浏览器。
8. 根据权利要求6所述的人工智能应答系统的测试系统，其特征在于，所述会话还包 括与场景标识关联的账号信息，所述会话测试模块中，采用所述账号信息登录所述人工智 能应当系统。
9. 根据权利要求6所述的人工智能应答系统的测试系统，其特征在于，所述会话集合 采用表格的方式进行测试数据进行保存，其中每一行数据是一个会话元素。
10. 根据权利要求6所述的人工智能应答系统的测试系统，其特征在于，所述会话测试 模块，还包括：新生成结果对象，将当前会话元素的测试结果写入所述结果对象并保存。
【专利摘要】本发明公开一种人工智能应答系统的测试方法及系统，方法包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识；会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，创建会话场景；在会话场景中向人工智能应答系统输入当前会话元素所包括的问题，抓取所述人工智能应答系统响应所述问题的实际答案；从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为会话，则执行所述会话测试步骤，否则结束会话场景，如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。本发明能够覆盖多场景、多用户和复杂前提要求的测试需求。
【IPC分类】G06F11-36
【公开号】CN104809062
【申请号】CN201510193639
【发明人】王昌, 范亚平, 孙胜方
【申请人】北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司
【公开日】2015年7月29日
【申请日】2015年4月22日