本发明涉及一种测试方法，特别涉及一种以多模态传感器为信息采集方式，对智能家居链路产品工作状态进行测试并定位问题的测试方法，属于自动化测试领域。
背景技术：
随着社会信息化的逐步加快，人们的生活、工作、学习和通讯关系日渐紧密。信息化社会在改变人们工作方式的同时，在生活领域中，智能生态下的家居产品也逐步开始进行集中或异地网络化管理，以达到提高人们生活效率和生活质量、增加生活体验的目的。
针对智能家居链路产品进行人机交互测试成为智能家居产品生态环境正常推广和使用的前提。现有此类智能家居产品的测试方法主要针对单个产品进行单独测试，生态环境模拟性差，工作量大，步骤繁琐，测试及定位问题的效率和准确性低，不能满足各智能产品厂商质量部门的检测需要。
为提升测试效率，减少测试人员的人为操作误差，特别是针对各智能产品具有不同的产品形态以及语音反应和智能化操作表现形式不尽相同，建立一种针对智能家居链路产品工作状态的测试方法，就成为本发明想要解决的主要问题。
技术实现要素：
鉴于上述情况和不足，本发明旨在提供一种利用多模态传感器对智能家居链路产品工作状态进行检测的测试方法，以满足智能家居产品在成套交互链路方面的测试需要，提高测试效率和测试准确性，降低人为操作误差，简化测试流程。
本发明是通过以下技术方案来实现的：
一种针对智能家居链路产品工作状态的测试方法，具体步骤包括：
步骤1、根据待测试智能家居链路中的产品，选取收集产品信息的多模态传感器，包括rgb传感器、拾音麦克和/或ai摄像头，将选取的多模态传感器与相应待测试智能家居链路中的产品进行对应。
步骤2、通过有线或无线方式将主控制器、路由器和选取的多模态传感器进行组网，形成测试系统，依照主控制器的可视化操作界面将待测智能家居链路中的产品和选取的多模态传感器分别进行mac地址、名称和类型的定义及关联，完成各个链路场景的测试定义。
步骤3、通过主控制器的可视化操作界面对待测试智能家居链路产品中的语音主控产品进行设置，并对语音命令控制的链路场景进行自定义配置。
步骤4、在主控制器的可视化操作界面中选择测试次数和测试脚本，利用主控制器的音频输出口对设置的语音主控产品进行语音播放；或，通过设置的语音主控产品的移动端app进行语音控制播放，随后主控制器进行仿真控制；自定义链路场景开始测试。
步骤5、主控制器展示测试进度、测试效率、测试耗时和/或自定义链路场景的平均交互成功率，形成数据表格和/或柱形图报告，测试结束。
所述步骤2中各个链路场景的测试定义包括：链路场景的名称定义和链路场景的链路定义。
所述步骤3中对语音命令控制的链路场景进行自定义配置还包括对各个待测产品及测试功能进行再编辑设置。
所述多模态传感器中rgb传感器的关联过程包括：在主控制器的可视化操作界面中进行相应rgb传感器的mac地址选择，将选择后的rgb传感器对准待测产品有光线反馈的区域，让待测产品进入不同工作状态，根据待测产品光线反馈的亮度差异，自定义待测产品不同工作状态下的亮度阈值和检测的采样点数，完成关联过程。
所述多模态传感器中拾音麦克的关联过程包括：在主控制器的可视化操作界面中进行相应拾音麦克的mac地址选择，将选择后的拾音麦克对准待测产品有声音的区域，让待测产品进入不同工作状态，根据待测产品反馈的分贝值差异，自定义待测产品不同工作状态下的音量阈值和检测的采样点数，完成关联过程。
所述多模态传感器中ai摄像头的关联过程包括：产品光线变化关联、产品运动状态关联和/或图文识别关联。
所述产品光线变化关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，自定义选择待测产品图像内光线变化的区域为监测点，自定义监测点在不同工作状态下的状态结果描述，将选择后的ai摄像头对准待测产品的监测点，让待测产品进入不同工作状态，完成光线变化作为信息反馈的产品关联过程。
所述产品运动状态关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，自定义待测产品运动的开始区域和结束区域，当ai摄像头先检测到开始区域有图像变化，后检测到结束区域有图像变化时，定义为待测产品的一种状态；当ai摄像头先检测到结束区域有图像变化，后检测到开始区域有图像变化时，定义为待测产品的另一种状态，完成产品运动状态关联过程。
所述图文识别关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，将选择后的ai摄像头对准待测产品的显示窗口，在主控制器中通过图文识别算法对需要进行文字和/或图标识别的待测产品进行状态识别和配置，完成图文识别关联过程。
本发明所述的一种针对智能家居链路产品工作状态的测试方法的有益效果，包括：
1、建立的有线或无线测试系统可自定义测试脚本、测试次数和测试场景，采用可视化操作过程完成自动化测试任务的创建和执行，测试灵活性好，自动化程度高，避免了以往智能家居产品在测试过程中需要人为往来穿梭的烦恼，降低了劳动强度，提高了测试效率；
2、多模态传感器可对智能家居产品进行无线数据获取，在待测产品形态多变的前提下，能大大降低自动化测试对设备接口的要求，提升测试的扩展性和可操作性，同时，还可采用多组多模态传感器对测试结果进行互补判定，保证了测试结果的准确性和可靠性；
3、通过对链路场景的自定义配置，可以完成不同智能家居产品的多种链路组合，从而真实模拟和再现了智能家居链路产品的工作状态，保证了测试环境和测试状态的准确性，对智能家居链路产品测试的适用性明显提高；
4、既可通过主控制器进行测试过程控制，还可通过移动端app进行远端控制命令发布，测试灵活性好，操作方便；
5、适合在智能家居链路产品语音交互方面的全生命周期测试过程中使用。
具体实施方式
本发明的目的是：当各个智能家居产品的语音交互分别完成质量交付后，对其进行成套智能家居链路产品工作状态的检测。这样，既能避免单个智能家居产品在链路情况下语音交互执行不能完成的责任纠纷，又能使智能家居产品在多个空间的链路场景下全面模拟测试过程，避免不同空间下多个智能家居产品状态确认和检测中耗费过多人力的问题。
下面对本发明作进一步地详细描述：
本发明所述的一种针对智能家居链路产品工作状态的测试方法，具体步骤包括：
步骤1、根据待测试智能家居链路中的产品，选取收集产品信息的多模态传感器，将选取的多模态传感器与相应待测试智能家居链路中的产品进行对应。
本例中，选取的多模态传感器包括一个rgb传感器、一个拾音麦克和一个ai摄像头。当然，其数量和种类可根据实测需要进行增减和改变。
rgb传感器用于收集依据环境光色值反馈产品对于语音命令执行情况的待测产品光线场景测试。比如：智能灯的打开和关闭、智能音箱被唤醒时指示灯的变化、电视机打开时指示灯的变化等测试场景。
拾音麦克用于收集依据声音反馈产品对于语音命令执行情况的待测产品声音场景测试。比如：让智能音箱播放音乐、打开电视机发出的声音等测试场景。
ai摄像头用于仅依据rgb传感器和拾音麦克无法反馈产品对语音命令执行情况的待测产品工作状态场景测试。比如：将电视转换到特定频道、窗帘开启状态、屏幕显示图文判断等测试场景。
步骤2、通过无线方式将主控制器、路由器和选取的rgb传感器、拾音麦克和ai摄像头进行组网，形成无线测试系统，并在主控制器的可视化操作界面中，将待测智能家居链路产品和选取的多模态传感器分别进行mac地址、名称和类型的定义及关联，完成各个链路场景的测试定义。
通过mac地址、名称和类型的定义，可以将待测产品、rgb传感器、拾音麦克和ai摄像头分别进行归类和标记，方便了后期在主控制器的可视化操作界面中进行统一调配和准确使用。
为实现测试过程和后续测试报告的准确形成，在选取的三个多模态传感器使用前，还需对其信息采集过程和设置进行关联，具体操作步骤又包括：
步骤2-1、rgb传感器关联过程包括：在主控制器的可视化操作界面中进行相应rgb传感器的mac地址选择，将选择后的rgb传感器对准待测产品有光线反馈的区域，让待测产品进入不同工作状态，根据待测产品光线反馈的亮度差异，自定义待测产品不同工作状态下的亮度阈值和检测的采样点数，完成关联过程。
例如：当待测产品以不同色值的灯光显示表示待测产品的运行状态时，让待测产品进入不同的工作状态，通过rgb传感器对该采样点进行不同光线反馈的亮度差进行检测，并在主控制器中分别定义出待测产品不同工作状态下的亮度阈值和描述，进而完成rgb传感器与待测产品工作状态之间在该采样点的关联设置。
步骤2-2、拾音麦克的关联过程包括：在主控制器的可视化操作界面中进行相应拾音麦克的mac地址选择，将选择后的拾音麦克对准待测产品有声音的区域，让待测产品进入不同的工作状态，根据待测产品反馈的分贝值差异，自定义待测产品不同工作状态下的音量阈值和检测的采样点数，完成关联过程。
例如：判断智能音箱是否开启以及对开启后音量大小进行判断时，首先让智能音箱进入到不同的工作状态中，通过拾音麦克收集不同工作状态下智能音箱音量控制的分贝值，自定义智能音箱在该采样点不同工作状态下的音量阈值和信息设置，完成拾音麦克与智能音箱间的关联设置。
步骤2-3、ai摄像头的关联过程包括：产品光线变化关联、产品运动状态关联和图文识别关联。具体说明如下：
产品光线变化关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，通过不同的mac地址对不同的ai摄像头进行准确定位；然后，自定义选择待测产品图像内光线变化的区域为监测点，监测点需具有明显的光线变化的代表性；接着，自定义监测点在不同工作状态下的状态结果描述，将选择后的ai摄像头对准待测产品的监测点；最后，让待测产品进入不同的工作状态，完成光线变化作为信息反馈的产品关联。
例如：对电视机的开启过程进行检测时，通过设置电视机屏幕作为监测点，将ai摄像头对准电视机屏幕，调整电视机处于开启或关闭状态，在主控制器中自定义开启或关闭状态下的结果描述，最后利用ai摄像头对屏幕光线变化过程的信息反馈进行结果描述控制。
产品运动状态关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，自定义待测产品运动的开始区域和结束区域，当ai摄像头先检测到开始区域有图像变化，后检测到结束区域有图像变化时，定义为待测产品的一种状态；当ai摄像头先检测到结束区域有图像变化，后检测到开始区域有图像变化时，定义为待测产品的另一种状态，完成产品运动状态关联过程。
例如：对智能窗帘的开启或关闭状态进行检测时，首先通过mac地址对相应的ai摄像头进行选择，然后自定义该智能窗帘的开启区域和关闭区域，当ai摄像头先检测到开启区域有图像变化、后检测到关闭区域有图像变化时，定义为智能窗帘开启；当ai摄像头先检测到关闭区域有图像变化、后检测到开启区域有图像变化时，定义为智能窗帘关闭，从而通过ai摄像头完成该智能窗帘开启或关闭状态的检测。
图文识别关联包括：在主控制器的可视化操作界面中进行相应ai摄像头的mac地址选择，将选择后的ai摄像头对准待测产品的显示窗口，在主控制器中通过图文识别算法对需要进行文字及图标识别的待测产品进行状态识别和配置，完成图文识别关联过程。
例如：对智能空调进行显示温度调控时，首先通过mac地址对相应的智能空调显示屏前的ai摄像头进行选择，然后通过主控制器中图文识别算法对屏幕显示的文字进行识别并进行相应配置控制，完成文字识别控制的检测过程。
为方便测试过程，除上述关联步骤外，在主控制器中，还通过步骤2对各个链路场景进行测试定义，定义内容包括：链路场景的名称定义和链路场景的链路定义。名称定义可以更好、更快的理解链路场景的具体适用形式，如回家场景、离家场景，起床场景等。链路定义可以更快、更方便地完成通常意义上智能家居链路产品的相关内容测试定义，明确测试范围，如启动‘回家场景’模式后，链路定义会自动完成空调开启、灯光开启、智能音箱开启等控制过程，从而真实模拟了智能家居链路产品的工作状态，为检测过程提供了方便。
步骤3、通过主控制器的可视化操作界面对待测试智能家居链路产品中的语音主控产品进行设置，并对语音命令控制的链路场景进行自定义配置，自定义配置还包括对各个待测产品及测试功能进行再编辑设置。
在智能家居链路产品中，通常有多个待测产品，需要选择一个待测产品作为语音主控产品，通过这个语音主控产品进行语音命令的接收和转控，并依据这个语音主控产品完成相应一个或多个配置的链路场景进行同步启动，形成特定的智能家居产品链路测试。
当然，在步骤2中虽进行了相应待测产品的关联以及链路场景的设置，但由于使用需要，在具体链路智能家居产品测试前，还可根据测试要求对链路产品相关设置内容进行再编辑修改，以满足测试的具体需要，在此不再赘述。
步骤4、在主控制器的可视化操作界面中选择测试次数和测试脚本，利用主控制器的音频输出口对设置的语音主控产品进行语音播放，启动自定义链路场景并开始链路产品测试。
通过在主控制器中设置测试次数和测试脚本，可以根据测试需要进行相关测试脚本的检测，并通过语音播放的形式激活语音主控产品，完成测试脚本在自定义链路场景中待测产品的链路测试，测试的准确性和目的性得到了极大的体现，满足了待测产品在链路环境中的测试需要。
当然，上述通过主控制器语音直接激活语音主控产品的过程也可在语音主控产品的移动端app上进行，通过在移动端app上进行语音控制播放，主控制器进行仿真控制后，完成自定义链路场景中链路产品的测试过程。
步骤5、主控制器展示测试进度、测试效率、测试耗时和自定义链路场景的平均交互成功率，然后形成数据表格和柱形图报告，测试结束。
在前期对多模态传感器进行定义、设置、关联以及定义链路场景的前提下，后期通过简单的链路场景自定义配置以及测试脚本选择后，就可快速完成不同链路场景下测试脚本对智能家居链路产品工作状态的检测，真实模拟和再现了智能家居链路产品的工作环境，保证了测试过程和测试环境的准确性。