一种基于坐标和自动化测试框架的自动点击方法及系统与流程

1.本技术涉及数据备份技术领域，具体涉及一种基于坐标和自动化测试框架的自动点击方法及系统。


背景技术：

2.android手机作为市场占有率最高、且全球年出货量最大的手机，影响着整个移动互联的市场，android手机对于数据备份的重要性不言而喻。android手机数据备份过程中，需要通过安装应用或利用手机自带备份方式。在安装应用和备份过程中，手机会弹出授权框、确认提示框，需要用户去点击确认等操作，用户操作完成后备份流程继续下去，才能保证数据正常被备份。传统数据备份设备对于android手机数据备份过程自动点击采用的是基于安卓自动化测试框架1.0，谷歌新推出的android11及以上版本不再支持安卓自动化测试框架1.0，导致android 11及以上版本的手机在数据备份过程就需要操作人员一直关注整个数据备份流程，随时根据提示进行点击操作，这种方式不仅降低了数据备份效率，同时限制了操作人员自由，给操作人员带来诸多不便。
3.现有方案1采用安卓自动化测试框架1.0做为android手机自动点击框架，自动点击脚本被编译成jar文件，数据备份开始后，推送jar文件到手机上并运行。该自动化框架仅适用于android 11及以下手机，对于android11及以上手机采用设备端弹出操作提示框，让操作人员根据提示语手动去点击操作，该方式增加了人工参与的次数，影响了数据备份的流畅性，同时降低了数据备份的用户体验感。
4.现有方案2采用计算弹框控件的坐标位置，获取坐标值进行点击，该方式只能适用于简单的场景，比如应用安装，权限授权框的允许，对于数据备份流程复杂的场景，无法通过模拟手势进行点击。
5.鉴于此，本发明提出一种基于坐标和自动化测试框架的自动点击方法及系统，实现对android手机自动数据备份，对于android手机自动点击支持效果更好，功能更强大，减少人工参与的次数和复杂度，大幅提高数据备份的效率。


技术实现要素：

6.为了解决现有技术对于android手机自动数据备份支持率差的不足、无法适用复杂场景自动点击等问题，本技术提供一种基于坐标和自动化测试框架的自动点击方法及系统，以解决上述技术缺陷问题。
7.根据本发明的一个方面提出了一种基于坐标和自动化测试框架的自动点击方法，该方法包括以下步骤：
8.s1、响应于通过安装在手机端的坐标点击服务判断当前手机页面是否有apk安装的自动点击需求；
9.s2、若存在apk安装的自动点击需求，则获取当前手机页面的页面信息，并且基于控件属性和文本关键字匹配对应的控件，获取控件的中心点坐标，对中心点坐标进行模拟
手势点击，实现对控件的自动点击服务；
10.s3、响应于请求调用自动点击服务内置的数据备份服务apk自动安装脚本，进行数据备份服务apk的自动安装；以及
11.s4、进行数据备份时，响应于手机端弹出授权框，请求调用自动点击服务内置的数据备份服务授权框自动点击脚本，进行授权框的自动点击。
12.通过上述技术方案，采用计算控件坐标和自动化测试框架可实现对android手机数据备份自动点击，对于android手机自动点击支持效果更好，功能更加强大，而且减少人工参与的次数和复杂度，能够大幅提高数据备份的效率。本技术解决了背景技术中方案1对于android手机自动数据备份支持率差的不足之处和方案2无法适用复杂场景自动点击的缺陷。
13.在具体的实施例中，步骤s2包括以下子步骤：
14.s21、获取当前手机页面的页面信息，
15.s22、将页面信息转化成文件，解析文件内容，以控件属性和文本关键字两种相结合的方式匹配对应的控件；
16.s23、匹配获得符合要求的控件a，解析控件a的坐标值，具体为：获取控件a左上角坐标和右下角坐标，进而获得控件a的中心点坐标；
17.s24、调用adb命令模拟点击事件，对中心点坐标进行模拟手势点击，实现对控件a的自动点击。
18.通过上述技术方案，可以实现坐标点击服务。
19.在具体的实施例中，步骤s4中进行数据备份还包括以下子步骤：
20.s41、响应于数据备份app的启动操作，向数据备份服务组件获取数据备份的对应策略；
21.s42、获取策略后，数据备份app根据策略逐步获取手机端的信息；
22.s43、数据备份app将获取的信息推送至数据备份服务模块，并且判断是否还有信息需要获取，如果有则跳转至步骤s42，否则跳转至步骤s44；
23.s44、获取信息结束后提示用户删除数据备份app。
24.通过上述技术方案，完成数据备份app的工作。
25.在具体的实施例中，数据备份服务组件用于监听指定的端口，允许数据备份app随时接入；提供策略配置服务，允许用户通过ui接口修改备份策略；提供策略下载服务，允许数据备份app通过api接口获取备份策略；提供数据接收服务，接收数据备份app推送的数据信息。
26.在具体的实施例中，数据备份服务组件还定义有一套数据协议，可同时接收多个数据备份app的数据信息，可同时兼容一路usb有线的手机端或者移动存储介质的数据备份。
27.通过上述技术方案，对数据备份服务组件进行设置操作，以便后续操作。
28.在具体的实施例中，步骤s1包括以下子步骤：
29.s11、通过usb与手机端进行连接；
30.s12、将坐标点击服务推送至手机端；
31.s13、响应于用户对安装在手机端的坐标点击服务进行启动操作，获取手机端的当
前页面信息，以控件属性和文本关键字去匹配对应的控件，循环判断当前手机页面是否有apk安装的自动点击需求。
32.在具体的实施例中，该方法还包括将自动点击脚本打包成apk，在数据备份前安装apk，进行数据备份场景a时，响应于手机端弹出授权框，通过命令行方式调用数据备份场景a的自动点击脚本，自动点击服务受到调用请求，执行数据备份场景a的自动点击脚本。
33.在实际操作中，数据备份流程出现的需要自动点击的场景，采用的方式与数据备份场景a类似，直到整个数据备份流程结束。
34.第二方面，本技术提出了一种基于坐标和自动化测试框架的自动点击系统，该系统包括：
35.判断模块，响应于通过安装在手机端的坐标点击服务判断当前手机页面是否有apk安装的自动点击需求；以及
36.坐标点击模块，若存在apk安装的自动点击需求，则获取当前手机页面的页面信息，并且基于控件属性和文本关键字匹配对应的控件，获取控件的中心点坐标，对中心点坐标进行模拟手势点击，实现对控件的自动点击服务；以及
37.自动点击模块，响应于请求调用自动点击服务内置的数据备份服务apk自动安装脚本，进行数据备份服务apk的自动安装；以及
38.数据备份模块，进行数据备份时，响应于手机端弹出授权框，请求调用自动点击服务内置的数据备份服务授权框自动点击脚本，进行授权框的自动点击。
39.在具体的实施例中，坐标点击模块包括：
40.获取单元，获取当前手机页面的页面信息，
41.转化单元，将页面信息转化成文件，解析文件内容，以控件属性和文本关键字两种相结合的方式匹配对应的控件；
42.解析单元，匹配获得符合要求的控件a，解析控件a的坐标值，具体为：获取控件a左上角坐标和右下角坐标，进而获得控件a的中心点坐标；
43.点击单元，调用adb命令模拟点击事件，对中心点坐标进行模拟手势点击，实现对控件a的自动点击。
44.第三方面，本技术提供了一种计算机可读存储介质，该介质中存储有计算机程序，在计算机程序被处理器执行时，实施如上述中任一项的方法。
45.与现有技术相比，本发明的有益成果在于：
46.相比传统数据备份设备只采用坐标点击方式，本发明能够模拟出更多的手势点击，运用的场景更广，以提高数据完整性。相较于传统数据备份设备采用安卓自动化测试框架1.0实现android手机自动点击，无法支持android11及以上手机自动点击，本发明采用安卓自动化测试框架2.0实现android手机自动点击，支持android11及以上手机自动点击，可以大幅提高数据备份设备对于市场主流android手机支持率。
47.综上，本发明提供了一种android手机进行自动数据备份方法和系统，通过坐标与自动化测试框架相结合实现模拟手势点击，用于在备份流程中需要用户点击确认过程中，通过模拟手势实现自动点击，减少人工参与的次数和复杂度，能够大幅提高数据备份效率。
附图说明
48.通过阅读参照以下附图你，所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
49.图1是根据本技术的基于坐标和自动化测试框架的自动点击方法的流程图；
50.图2是根据本技术的基于坐标和自动化测试框架的自动点击方法的整体框架示意图；
51.图3是根据本技术的一个实施例的坐标点击服务工作示意图；
52.图4是根据本技术的一个实施例的自动点击服务实现流程示意图；
53.图5是根据本技术的一个实施例的总体工作过程示意图；
54.图6是根据本技术的基于坐标和自动化测试框架的自动点击系统的示意图；
55.图7是适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
56.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
57.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
58.图1示出了本技术的基于坐标和自动化测试框架的自动点击方法的流程图；图2示出了根据本技术的基于坐标和自动化测试框架的自动点击方法的整体框架示意图。结合参考图1和图2，该方法包括以下步骤：
59.s1、响应于通过安装在手机端的坐标点击服务判断当前手机页面是否有apk安装的自动点击需求。
60.s2、若存在apk安装的自动点击需求，则获取当前手机页面的页面信息，并且基于控件属性和文本关键字匹配对应的控件，获取控件的中心点坐标，对中心点坐标进行模拟手势点击，实现对控件的自动点击服务。
61.s3、响应于请求调用自动点击服务内置的数据备份服务apk自动安装脚本，进行数据备份服务apk的自动安装；以及
62.s4、进行数据备份时，响应于手机端弹出授权框，请求调用自动点击服务内置的数据备份服务授权框自动点击脚本，进行授权框的自动点击。
63.图3示出了根据本技术的一个实施例的坐标点击服务工作示意图，如图3所示，坐标点击服务用于完成以下操作：
64.1)通过命令获取当前页面完整的页面信息；
65.2)页面信息转化成文件，在文件中记录着当前页面的属性及坐标等；解析文件内容，以控件属性和文本关键字两种相结合的方式去匹配对应的控件；
66.3)匹配到符合要求的控件a，继续解析控件a坐标值，获取左上角坐标(x1，y1)和右下角坐标(x2，y2)，控件a的x轴取值范围为x1～x2px，y轴的取值范围为y1～y2 px，为保证控件点击的准确性，取控件中心点，得到中心点的坐标值为x3＝(x1+x2)/2，y3＝(y1+y2)/2)；
67.4)当解析到控件a的中心坐标，调用adb命令模拟点击事件，对坐标(x3，y3)进行模拟手势点击，实现对控件a的自动点击。
68.图4示出了根据本技术的一个实施例的自动点击服务实现流程示意图，如图4所示，以下对自动点击服务实现流程进行详细说明：
69.1)自动点击脚本被打包成apk，数据备份流程开始前需要先安装此apk；
70.2)数据备份流程开始后，进行到数据备份场景a，手机弹出授权框；
71.3)设备端会根据当前场景a，通过命令行方式调用场景a自动点击脚本，自动点击服务受到调用请求，执行场景a自动点击脚本，自动点击脚本内部实现为对场景a所弹出控件的自动点击；
72.4)数据备份b场景为应用的自带备份操作；
73.5)当前数据备份执行到场景b，通过命令行方式调用场景b自动点击脚本，自动点击服务受到调用请求，执行场景b的自动点击脚本，脚本实现的功能为打开手机对应的自带备份页面，点击数据备份，进入应用备份界面，滚动应用列表，选择需要备份的应用；
74.6)数据备份流程所出现的场景c、d、e等其它场景的自动点击方式与场景a、b实现方式类似(在此不再赘述)，直到整个数据备份流程结束。
75.以下对数据备份app的工作过程进行详细说明：
76.1)由于在不同的工作场景上需要获取的数据不同，数据备份app启动后需要主动向数据备份服务组件获取数据备份的对应策略。即响应于数据备份app的启动操作后，向数据备份服务组件获取数据备份的对应策略；
77.2)获取策略后，数据备份app根据策略逐步获取手机端的信息；
78.3)数据备份app将获取的信息推送至数据备份服务模块，并且判断是否还有信息需要获取，如果有则跳转至步骤2)，否则跳转至步骤4)；
79.4)获取信息结束后提示用户删除数据备份app。
80.其中，数据备份服务组件用于完成以下工作：
81.1)监听指定的端口，允许数据备份app随时接入；
82.2)提供策略配置服务，允许用户通过ui接口修改备份策略；
83.3)提供策略下载服务，允许数据备份app通过api接口获取备份策略；
84.4)提供数据接收服务，接收数据备份app推送的数据信息；
85.5)定义了一套数据协议，能够同时接收多个数据备份app的数据信息，实现多路数据备份的功能，并能同时兼容一路usb有线的手机或者移动存储介质的数据备份。
86.图5示出了根据本技术的一个实施例的总体工作过程示意图，参考图5，以下对工体工作过程进行详细介绍：
87.1)设备端与android手机通过usb进行连接；
88.2)设备端通过usb连接把坐标点击服务推送到android手机；
89.3)启动坐标点击服务，通过获取当前页面信息，以控件属性和文本关键字去匹配对应的控件，循环判断当前是否有apk安装的自动点击需求；
90.4)设备端通过命令安装自动点击服务apk；
91.5)运行在手机端的坐标自动点击服务检测到当前手机页面有apk安装需求，获取当前页面信息输出为文件，解析文件内容，以控件属性和文本关键字去匹配对应的控件，获
取安装过程的控件中心点坐标，实现apk自动安装；
92.6)设备端通过命令安装数据备份服务apk，设备端请求调用自动点击服务内置的数据备份服务apk自动安装脚本，实现自动安装功能；
93.7)进行数据备份流程场景a，数据备份app弹出授权框，设备端请求调用自动点击服务内置的数据备份服务授权框自动点击脚本，实现授权框自动点击功能；
94.8)数据备份流程出现的需要自动点击的场景，采用的方式与第7)点关于数据备份流程场景a类似，直到整个数据备份流程结束。
95.本技术出的一种基于坐标和自动化测试框架的自动点击方法，通过坐标和自动化测试框架实现对android手机自动数据备份，其中采用安卓自动化测试框架2.0来实现android手机的自动点击，在api上本技术使用安卓自动化测试框架2.0，比框架1.0更加丰富，并且本技术解决了框架1.0不支持android11及以上版本的自动点击。
96.即本技术采用的安卓自动化测试框架2.0是专用于android手机自动化测试的框架，提供丰富的api，模拟复杂的手势点击，功能实现更加容易，兼容性更好，模块可复用性更强，能够解决现有技术中对于数据备份流程复杂场景，无法模拟手势进行点击操作的问题。
97.利用安卓自动化测试框架2.0做为android手机自动点击的框架，原理是仿照androidstudio对手机app执行自动化测试用例，在app自动化测试中自动化测试框架2.0自动化测试用例会被打包成apk，手机端需同时安装包含测试用例apk和被测试app，手机通过usb连接pc，pc通过调用命令行启动测试用例，自动化测试框架apk执行对应的自动化测试用例，用这种方式可以实现对app的自动化测试。自动化测试框架apk安装过程会有安装允许的控件弹出，通过计算控件坐标点击方式对自动化测试框架apk实现自动安装。
98.综上所述，本技术采用计算控件坐标和自动化测试框架可实现对android手机数据备份自动点击，对于android手机自动点击支持更好，功能更加强大，减少人工参与的次数和复杂度，大幅提高数据备份的效率。
99.进一步参考图6，作为对上述方法的实现，本技术提供了基于坐标和自动化测试框架的自动点击系统的一个实施例，该系统实施例与图1所示的方法实施例相对应，该系统具体可以应用于各种电子设备中。该系统600包括以下模块：
100.判断模块610，响应于通过安装在手机端的坐标点击服务判断当前手机页面是否有apk安装的自动点击需求；以及
101.坐标点击模块620，若存在apk安装的自动点击需求，则获取当前手机页面的页面信息，并且基于控件属性和文本关键字匹配对应的控件，获取控件的中心点坐标，对中心点坐标进行模拟手势点击，实现对控件的自动点击服务；以及
102.自动点击模块630，响应于请求调用自动点击服务内置的数据备份服务apk自动安装脚本，进行数据备份服务apk的自动安装；以及
103.数据备份模块640，进行数据备份时，响应于手机端弹出授权框，请求调用自动点击服务内置的数据备份服务授权框自动点击脚本，进行授权框的自动点击。
104.其中，坐标点击模块620包括：
105.获取单元，获取当前手机页面的页面信息；
106.转化单元，将页面信息转化成文件，解析文件内容，以控件属性和文本关键字两种
相结合的方式匹配对应的控件；
107.解析单元，匹配获得符合要求的控件a，解析控件a的坐标值，具体为：获取控件a左上角坐标和右下角坐标，进而获得控件a的中心点坐标；
108.点击单元，调用adb命令模拟点击事件，对中心点坐标进行模拟手势点击，实现对控件a的自动点击。
109.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实施如上述中任一项方法。
110.下面参考图7，其示出了适于用来实现本技术实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
111.如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有系统700操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
112.以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
113.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本技术的方法中限定的上述功能。
114.需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器
件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
115.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
116.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
117.描述于本技术实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、获取模块、确定模块、计算模块和生成模块。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“响应于确定校验请求信息中包括用户名、请求时间、用户签名编码和客户端应用编码，获取预设的、目标用户的配置信息的模块”。
118.作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：接收目标用户的客户端发送的校验请求信息；响应于确定校验请求信息中包括用户名、请求时间、用户签名编码和客户端应用编码，获取预设的、目标用户的配置信息，其中，配置信息包括预设的、用户名对应的用户密码；根据请求时间确定校验请求信息是否有效，响应于确定有效，确定预设存储区内是否包括用户签名编码；响应于确定不包括，将用户签名编码存储至预设存储区内，以及基于用户密码、请求时间和用户签名编码，计算得到服务端应用编码；响应于确定服务端应用编码和客户端应用编码匹配，生成用于表征校验请求为合法请求的校验成功信息。
119.另外，上述计算机可读介质可以是上述实施例中描述的终端设备中所包含的；也可以是单独存在，而未装配入该终端设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该终端设备执行时，使得该终端设备：获取目标用户输入的用户信息，其中，用户信息包括用户名和用户密码；基于用户信息，生成用于表征目标用户
的用户签名编码；确定请求时间；基于用户密码、请求时间和用户签名编码，计算得到客户端应用编码；生成包括用户名、请求时间、用户签名编码和客户端应用编码的校验请求信息，以及将校验请求信息发送至服务端。
120.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。