获取用户操作的界面元素；
[0069]操作录制模块303，用于记录用户对界面元素的操作，保存用户操作的界面元素以及用户对界面元素的操作形成脚本；
[0070]图像搜索模块304，用于在屏幕图像获取模块301截取的当前整个屏幕图像中搜索与界面元素获取模块302获取的界面元素相匹配的区域，如果搜索到匹配的区域，输出该匹配区域的坐标值给操作回放模块，如果没有搜索到匹配的区域，输出错误报告；以及
[0071]操作回放模块305，用于在该匹配区域的坐标值的位置执行脚本记录的用户对界面元素的操作。
[0072]在一个实施例中，屏幕获取参数为:用户操作点周围预设区域内的图像、全屏或者手工截取。屏幕图像获取模块301具体用于:
[0073]如果屏幕获取参数为“用户操作点周围预设区域内的图像”，则自动检测用户操作点的位置，并以该用户操作点为中心，获取其周围指定长度和宽度的区域内的屏幕图像；
[0074]如果屏幕获取参数为“全屏”，则获取当前用户实际操作界面的整个屏幕图像；
[0075]如果屏幕获取参数为“手工截取”，则检测用户截取的屏幕图像的范围，并获取该范围内的屏幕图像。
[0076]在一个实施例中，界面元素获取模块302具体用于:在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者，在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。
[0077]在一个实施例中，背景提取参数例如可以为用户自定义背景，或，根据图像特征自动抽取背景。
[0078]在一个实施例中，图像搜索模块304具体用于:根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括:基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。
[0079]在一个实施例中，用户对界面元素的操作例如包括鼠标操作、键盘操作和触控操作等，但不限于此。
[0080]上述实施例的测试装置，通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。
[0081]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0082]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种测试方法,包括: 根据屏幕获取参数获取用户实际操作界面的屏幕图像； 根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素； 记录用户对界面元素的操作； 保存用户操作的界面元素以及用户对界面元素的操作形成脚本； 在回放所述脚本时截取当前整个屏幕图像； 在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域； 如果搜索到匹配的区域，输出该匹配区域的坐标值，并在该坐标值的位置执行所述脚本记录的用户对界面元素的操作； 如果没有搜索到匹配的区域，输出错误报告。2.根据权利要求1所述的方法，其特征在于，所述屏幕获取参数为:用户操作点周围预设区域内的图像、全屏或者手工截取。3.根据权利要求1所述的方法，其特征在于，所述根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素包括: 在界面元素自动获取方式下，从所述屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者， 在界面元素手动获取方式下，从所述屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。4.根据权利要求3所述的方法，其特征在于，所述背景提取参数为用户自定义背景，或者，根据图像特征自动抽取背景。5.根据权利要求1所述的方法，其特征在于，所述用户对界面元素的操作包括鼠标操作、键盘操作和触控操作。6.根据权利要求1所述的方法，其特征在于，在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域包括: 根据图像匹配算法在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域；其中，所述图像匹配算法包括:基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。7.一种测试装置，包括: 屏幕图像获取模块，用于在录制脚本时根据屏幕获取参数获取用户实际操作界面的屏幕图像，或者，用于在回放脚本时截取当前整个屏幕图像； 界面元素获取模块，用于根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素； 操作录制模块，用于记录用户对界面元素的操作，保存用户操作的界面元素以及用户对界面元素的操作形成脚本； 图像搜索模块，用于在所述屏幕图像获取模块截取的当前整个屏幕图像中搜索与所述界面元素获取模块获取的界面元素相匹配的区域，如果搜索到匹配的区域，输出该匹配区域的坐标值给操作回放模块，如果没有搜索到匹配的区域，输出错误报告； 操作回放模块，用于在该匹配区域的坐标值的位置执行所述脚本记录的用户对界面元素的操作。8.根据权利要求7所述的装置，其特征在于，所述屏幕获取参数为:用户操作点周围预设区域内的图像、全屏或者手工截取。9.根据权利要求7所述的装置，其特征在于，所述界面元素获取模块，具体用于: 在界面元素自动获取方式下，从所述屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者， 在界面元素手动获取方式下，从所述屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。10.根据权利要求9所述的装置，其特征在于，所述背景提取参数为用户自定义背景，或者，根据图像特征自动抽取背景。11.根据权利要求7所述的装置，其特征在于，所述用户对界面元素的操作包括鼠标操作、键盘操作和触控操作。12.根据权利要求7所述的装置，其特征在于，图像搜索模块，具体用于: 根据图像匹配算法在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域；其中，所述图像匹配算法包括:基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。
【专利摘要】本发明公开了一种适用于桌面云环境的测试方法和测试装置，涉及测试领域。本发明通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。
【IPC分类】G06F11/36, G06K9/62
【公开号】CN104951393
【申请号】CN201410112387
【发明人】吴家隐, 李先绪, 黄春光, 邱红飞, 黄植勤, 郑文武, 陈泳, 李志云, 陈辉
【申请人】中国电信股份有限公司
【公开日】2015年9月30日
【申请日】2014年3月25日