:
[0030]步骤S101，根据屏幕获取参数获取用户实际操作界面的屏幕图像。
[0031]其中，屏幕获取参数可以预先设置，也可以根据需要改变参数设置。屏幕获取参数例如可以为:用户操作点周围预设区域内的图像、全屏或者手工截取。其中，用户操作点周围预设区域内的图像以及全屏属于自动截取方式。用户操作也称用户动作，包括鼠标操作、键盘操作和触控操作等，相应的，用户操作点包括鼠标操作点、键盘操作点和触控操作点等。用户操作点周围预设区域可以为用户操作点周围指定长度和宽度的区域。
[0032]如果屏幕获取参数为“用户操作点周围预设区域内的图像”，则会自动检测用户操作点的位置，并以该用户操作点为中心，获取其周围指定长度和宽度的区域内的屏幕图像。
[0033]如果屏幕获取参数为“全屏”，则获取当前用户实际操作界面的整个屏幕图像。
[0034]如果屏幕获取参数为“手工截取”，则检测用户截取的屏幕图像的范围，并获取该范围内的屏幕图像。
[0035]步骤S102，根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素。
[0036]其中，界面元素例如包括按钮、图标、菜单等，但不限于此。举例来说，打开一个word文档,可以在该文档所在文件夹中点这个word文档的图形标志,也可以双击这个word文档的文字名称，这个图形标志和文字名称就是界面元素。
[0037]其中，界面元素获取方式参数包括界面元素自动获取方式和界面元素手动获取方式。在一个实施例中，根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素包括:
[0038]在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景即可得到用户操作的界面元素。其中一种方法，可以调用图像处理工具去掉背景。
[0039]在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图(具体可以参考步骤SlOl中屏幕获取参数为“用户操作点周围预设区域内的图像”的屏幕图像获取方式)，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素。在一个实施例中，背景提取参数例如可以为用户自定义背景，或，根据图像特征自动抽取背景。
[0040]步骤S103，记录用户对界面元素的操作。
[0041]在一个实施例中，用户对界面元素的操作例如包括鼠标操作、键盘操作和触控操作等，但不限于此。鼠标操作例如包括双击、单击等。键盘操作例如包括输入、回车等。触控操作例如包括点击、滑动、多点触控等。本领域技术人员可以理解用户对界面元素的操作方式不限于前述所举示例。
[0042]步骤S104，保存用户操作的界面元素以及用户对界面元素的操作形成脚本，结束脚本录制。一般情况下，可以按照用户的操作顺序，保存用户操作的界面元素以及用户对界面元素的操作形成脚本。
[0043]然后，回放脚本，参见步骤S105?S107:
[0044]步骤S105，在回放脚本时截取当前整个屏幕图像。后续将基于整个屏幕图像进行匹配和测试，提高测试过程的容错性，防止由于图像截取的误差影响测试结果的准确性。
[0045]步骤S106，在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；如果搜索到匹配的区域，输出该匹配区域的坐标值，然后执行步骤S107 ;如果没有搜索到匹配的区域，输出错误报告。
[0046]在一个实施例中，在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域包括:根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括:基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法等，但不限于所举示例，算法的具体实现可以参考现有的一些方法。
[0047]以基于灰度特征的ABSOLUTE BLANCE SEARCH算法为例，利用模板图像和待匹配图像上的搜索窗口之间的像素差别来表示二者的相关性，大小等于模板图像的搜索窗口在待匹配图像上按某一顺序滑动，每滑动一次就进行一次模板图像和搜索窗口之间的相关性计算，以此来判断当前的搜索窗口与模板图像是否匹配。如果差别小于预定的阈值，则认为匹配成功，否则，认为匹配失败。
[0048]基于变换域的匹配方法例如可以是基于傅式变换的匹配方法，傅式变换有比较成熟的快速算法，且易于用硬件实现，匹配速度比较快。
[0049]步骤S107，在该坐标值的位置执行脚本记录的用户对界面元素的操作，结束脚本回放。
[0050]在脚本回放过程中，如果所有步骤均可顺利执行，则测试结果为通过测试；回放过程中如果出现要操作的界面元素在当前截屏中找不到匹配的区域，也就是图像匹配不成功，则出现错误，测试结果为未通过测试。
[0051]上述实施例的测试方法，通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。
[0052]下面列举一个本发明测试方法的应用示例，即，从终端对桌面云的一个名为〃测试.doc"的word文档进行打开、关闭操作的自动化测试过程。如图2所示，本实施例的测试方法包括以下步骤:
[0053]步骤S201，开始录制脚本。
[0054]步骤S202，设置屏幕获取参数为鼠标周围区域的图像。
[0055]步骤S203，设置界面元素获取方式参数为根据鼠标动作点坐标和背景提取参数自动抽取界面元素，且由用户自定义背景图像，并导入“测试.doc”所在的文件夹的背景图像。
[0056]步骤S204，用户在桌面云中鼠标左键双击〃测试.doc"的图标，在检测到用户的鼠标操作后，截取鼠标点击时鼠标周围预设区域内的屏幕图像，将所截取的屏幕图像与背景图像对比，过滤背景，生成“测试.doc”图标的界面元素，并记录鼠标动作为双击。在“测试.doc”打开后，鼠标左键单击文档右上角的关闭按钮“X”来关闭文档，在检测到用户的鼠标操作后，截取鼠标点击时鼠标周围预设区域的屏幕图像，生成关闭按钮“X”的界面元素，并记录鼠标动作为单击。
[0057]步骤S205，结束脚本录制，保存脚本文件。
[0058]步骤S206，回放脚本。
[0059]步骤S207，截取当前整个屏幕图像。
[0060]步骤S208，通过图像匹配算法，在当前屏幕图像中搜索与“测试.doc”图标的界面元素相匹配的区域，如果搜索到匹配区域，则输出该匹配区域的坐标值，如果没有搜索到匹配区域，则报错。
[0061]步骤S209，对步骤S208输出的坐标位置回放鼠标左键双击操作。
[0062]步骤S210，截取当前整个屏幕图像，此时的屏幕图像与步骤S207的屏幕图像不同。
[0063]步骤S211，通过图像匹配算法，在当前屏幕图像中搜索与关闭按钮“X”的界面元素匹配的区域，如果搜索到匹配区域，则输出该匹配区域的坐标值，如果没有搜索到匹配区域，则报错。
[0064]步骤S212，对步骤S211输出的坐标位置回放鼠标左键单击动作。
[0065]步骤S213，结束脚本回放。
[0066]图3为本发明测试装置一个实施例的结构示意图。如图3所示，本实施例的测试装置包括:
[0067]屏幕图像获取模块301，用于在录制脚本时根据屏幕获取参数获取用户实际操作界面的屏幕图像，或者，用于在回放脚本时截取当前整个屏幕图像；
[0068]界面元素获取模块302，用于根据界面元素获取方式参数从屏幕图像中