技术特征：
1.一种多模态人机交互测试系统，其中，该系统包括控制设备、仿生输出设备和仿生输入设备，所述仿生输出设备和仿生输入设备对应相应的模态；所述控制设备，用于根据第一测试脚本，向所述仿生输出设备发送对应的控制指令，以及获取被测设备的交互反馈，并根据所述交互反馈确定测试结果；所述仿生输出设备，用于根据来自控制设备的控制指令，向被测设备输出对应模态的交互信息，以使所述被测设备根据所述交互信息生成交互反馈；所述仿生输入设备，用于采集被测设备的交互反馈，并将所述交互反馈提供至控制设备。2.根据权利要求1所述的系统，其中，所述控制设备还用于将第二测试脚本导入被测设备，以使所述被测设备运行所述第二测试脚本生成交互反馈。3.根据权利要求2所述的系统，其中，所述控制设备用于获取第二测试脚本对应的辅助手动测试动作指令，并将所述辅助手动测试动作指令通过套接字接口导入被测设备，以使所述被测设备中的辅助手动测试工具执行所述辅助手动测试动作指令生成交互反馈。4.根据权利要求2所述的系统，其中，所述控制设备用于通过套接字从所述被测设备获取第一测试脚本或第二测试脚本。5.根据权利要求1所述的系统，其中，所述仿生输出设备包括仿生手和仿生嘴，所述仿生手用于模拟用户的手部动作，以根据来自控制设备的控制指令，向被测设备输出动作交互信息，所述仿生嘴用于模拟用户的语音，以根据来自控制设备的控制指令，向被测设备输出语音交互信息。6.根据权利要求1所述的系统，其中，所述仿生输入设备包括仿生眼和仿生耳，所述仿生眼用于采集被测设备生成的视觉交互反馈，并将所述视觉交互反馈提供至控制设备，仿生耳用于采集被测设备生成的听觉交互反馈，并将所述听觉交互反馈提供至控制设备。7.根据权利要求1至6中任一项所述的系统，其中，所述控制设备还用于根据测试结果生成测试报告。8.一种人机交互测试系统，其中，该系统包括控制设备、输出设备和输入设备；所述控制设备，用于根据第一测试脚本，向所述输出设备发送对应的控制指令，以及获取被测设备的交互反馈，并根据所述交互反馈确定测试结果；所述输出设备，用于根据来自控制设备的控制指令，向被测设备输出交互信息，以使所述被测设备根据所述交互信息生成交互反馈；所述输入设备，用于采集被测设备的交互反馈，并将所述交互反馈提供至控制设备。9.一种多模态人机交互测试方法，其中，该方法采用了包括控制设备、仿生输出设备和仿生输入设备的系统，所述仿生输出设备和仿生输入设备对应相应的模态，所述方法包括：所述控制设备根据第一测试脚本，向所述仿生输出设备发送对应的控制指令；所述仿生输出设备根据来自控制设备的控制指令，向被测设备输出对应模态的交互信息，以使所述被测设备根据所述交互信息生成交互反馈；所述仿生输入设备采集被测设备的交互反馈，并将所述交互反馈提供至控制设备；所述控制设备获取被测设备的交互反馈，并根据所述交互反馈确定测试结果。10.根据权利要求9所述的方法，其中，该方法还包括：所述控制设备将第二测试脚本导入被测设备，以使所述被测设备运行所述第二测试脚
本生成交互反馈。11.根据权利要求10所述的方法，其中，所述控制设备将第二测试脚本导入被测设备，以使所述被测设备运行所述第二测试脚本生成交互反馈，包括：所述控制设备获取第二测试脚本对应的辅助手动测试动作指令，并将所述辅助手动测试动作指令通过套接字接口导入被测设备，以使所述被测设备中的辅助手动测试工具执行所述辅助手动测试动作指令生成交互反馈。12.根据权利要求10所述的方法，其中，所述控制设备通过套接字从所述被测设备获取第一测试脚本或第二测试脚本。13.根据权利要求9所述的方法，其中，所述仿生输出设备包括仿生手和仿生嘴，所述仿生手用于模拟用户的手部动作，以根据输出动作控制指令，所述仿生嘴用于模拟用户的语音，以输出语音控制指令；所述仿生输出设备根据来自控制设备的控制指令，向被测设备输出对应模态的交互信息，以使所述被测设备根据所述交互信息生成交互反馈，包括：所述仿生手和仿生嘴根据来自控制设备的控制指令，分别根据来自控制设备的控制指令，向被测设备输出动作交互信息和语音交互信息，以使所述被测设备根据所述动作交互信息和语音交互信息生成交互反馈。14.根据权利要求9所述的方法，其中，所述仿生输入设备包括仿生眼和仿生耳；所述仿生输入设备采集被测设备的交互反馈，并将所述交互反馈提供至控制设备，包括：所述仿生眼和仿生耳分别采集被测设备生成的视觉交互反馈和听觉交互反馈，并将所述视觉交互反馈和听觉交互反馈提供至控制设备。15.根据权利要求9至14中任一项所述的方法，其中，该方法还包括：所述控制设备根据测试结果生成测试报告。16.一种人机交互测试方法，其中，该方法采用了包括控制设备、输出设备和输入设备的系统，所述方法包括：所述控制设备根据第一测试脚本，向所述输出设备发送对应的控制指令；所述输出设备根据来自控制设备的控制指令，向被测设备输出交互信息，以使所述被测设备根据所述交互信息生成交互反馈；所述输入设备采集被测设备的交互反馈，并将所述交互反馈提供至控制设备；所述控制设备获取被测设备的交互反馈，并根据所述交互反馈确定测试结果。17.一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求9至16中任一项所述的方法。18.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求9至16中任一项所述的方法。
技术总结
本申请提供了一种人机交互测试方案，该方案在进行多模态人机交互测试时采用了包括控制设备、仿生输出设备和仿生输入设备的系统，所述仿生输出设备和仿生输入设备对应相应的模态，其中，所述控制设备可以根据第一测试脚本，向所述仿生输出设备发送对应的控制指令，使得所述仿生输出设备根据控制指令，向被测设备输出对应模态的交互信息，以使所述被测设备根据所述交互信息生成交互反馈，而所述仿生输入设备可以采集被测设备的交互反馈，并将所述交互反馈提供至控制设备，使得控制设备以此确定测试结果。由此，通过控制设备和相关的仿生设备扩展了被测设备的测试能力，使用仿生设备来模拟多模态下的交互，由此可以实现了完整的多模态自动化测试。多模态自动化测试。多模态自动化测试。
技术研发人员：许晨光 黄宗明 王烨 伍玉英 李思佳
受保护的技术使用者：斑马智行网络(香港)有限公司
技术研发日：2020.03.31
技术公布日：2021/10/7