自动化数据提取方法、装置、计算机设备和存储介质与流程

1.本技术涉及电子数据提取技术领域，特别是涉及一种自动化数据提取方法、装置、计算机设备和存储介质。


背景技术：

2.对于终端设备内的电子数据的采集提取方式，当前行业内常用的做法为：专业设备连接终端设备并以人工辅助操作终端设备的方式完成电子数据的提取。由于终端设备的种类繁多，操作方式和功能各有不同，甚至很多功能不是专业技术人员根本无法分辨识别。因此，在对终端设备进行数据采集提取的过程中，操作人员往往操作错误或遗漏操作步骤，特别是在多部终端设备同时进行数据提取的时候，操作步骤错漏的情况更容易发生；最终导致数据提取失败或数据提取缺失。例如，终端设备为手机时，对手机进行数据提取过程，人工操作容易出现数据提取失败或数据提取缺失。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够模拟人工操作以实现自动化提取待提取设备中的数据从而降低数据提取失败或数据提取缺失的概率的自动化数据提取方法、装置、计算机设备和存储介质。
4.一种自动化数据提取方法，包括：在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点；获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成；将插件植入待提取设备；通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
5.在其中一个实施例中，一种自动化数据提取方法还包括：获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息；根据人工操作节点的人工操作行为信息和界面变化信息生成自动化策略；基于自动化策略生成插件。
6.在其中一个实施例中，基于自动化策略生成插件，包括：采用自动化测试框架技术uiautomator并根据自动化策略生成插件。
7.在其中一个实施例中，插件为通过安装的方式在待提取设备上运行的应用程序，或者插件为无需通过安装的方式在待提取设备上运行的程序文件。
8.在其中一个实施例中，待提取设备为手机，人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
9.在其中一个实施例中，一种自动化数据提取方法还包括：获取人工操作节点中待提取设备的界面变化下各个界面的界面元素特征；获取人工操作节点中各个界面出现的先后顺序；获取人工操作节点中各个界面中的人工操作行为信息；根据各个界面的界面元素特征和先后顺序生成界面变化信息；根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
10.在其中一个实施例中，一种自动化数据提取方法还包括：获取人工操作节点中待
提取设备初始化状态时的界面元素特征；获取人工操作节点中人工操作结束后的界面元素特征；根据各个界面的界面元素特征和先后顺序生成界面变化信息，包括：根据初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
11.一种自动化数据提取装置，包括：识别模块，用于在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点；获取模块，用于获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成；植入模块，用于将插件植入待提取设备；数据提取模块，用于通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。
14.上述自动化数据提取方法、装置、计算机设备和存储介质，在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点，获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成，将插件植入待提取设备，通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。因此，对待提取设备进行数据提取时，通过将基于人工操作节点的人工操作行为对应的自动化策略生成的插件植入待提取设备的方式，模拟人工操作行为以进行数据提取，无需人工干预即可实现自动化对待提取设备进行提取数据，从而降低数据提取失败或数据提取缺失的概率。
附图说明
15.图1为一个实施例中一种自动化数据提取方法的应用环境图；图2为一个实施例中一种自动化数据提取方法的流程示意图；图3为一个实施例中插件的内部实现逻辑的流程示意图；图4为一个实施例中专业采集设备对安卓手机进行数据提取的流程交互示意图；图5为一个实施例中一种自动化数据提取装置的结构框图；图6为一个实施例中计算机设备的内部结构图。
具体实施方式
16.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
17.本技术提供的一种自动化数据提取方法，应用于如图1所示的应用环境中。如图1所示，数据提取设备104用于实现本技术的一种自动化数据提取方法。具体地，数据提取设备104在对待提取设备102进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备102进行数据提取的流程节点，获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成，将插件植入待提取设备102，通过插件在人工操作
节点模拟人工操作行为以对待提取设备102进行数据提取。其中，待提取设备102可以是涉案数据设备，如手机或者笔记本电脑。数据提取设备104可以是取证设备，取证设备用于对涉案数据设备中破坏、欺诈、攻击等犯罪行为的电子数据进行取证提取。
18.在一个实施例中，如图2所示，提供了一种自动化数据提取方法，以该方法应用于图1中的数据提取设备104为例进行说明，包括以下步骤：s102，在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点。
19.本实施例中，数据提取设备与待提取设备建立数据连接，并向待提取设备发起数据提取请求。待提取设备响应数据提取设备的数据提取请求后，数据提取设备进入对待提取设备进行数据提取的数据提取流程。待提取设备可以是手机，手机包括安卓手机和苹果手机。
20.在对待提取设备进行数据提取时，某些数据提取节点需要人工干预，通过人工操作行为辅助数据提取设备执行数据提取。例如，在手机的数据提取的采集过程，某些节点需要人工干预。因此，数据提取设备在对待提取设备进行数据提取过程，识别出人工操作节点。其中，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点。例如，人工操作节点可以是手机数据备份流程设定的某个界面对应的节点。该节点需要人工干预进行数据提取，由人工对这个界面进行操作以辅助数据提取设备对手机进行数据提取。数据提取设备对手机进行数据提取时，识别到当前节点为手机数据备份流程设定的某个界面的数据提取时，将当前节点确定为人工操作节点。
21.s104，获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成。
22.本实施例中，数据提取设备预先存储有插件。插件基于人工操作节点的人工操作行为对应的自动化策略生成。也即是，在生成插件之前，对数据提取设备对待提取设备进行数据提取时人工操作节点的人工操作行为进行采集，进而基于采集到的人工操作行为设置对应的自动化策略。自动化策略用于指示插件按照人工操作行为对待提取设备进行操作控制，从而得到在待提取设备上模拟人工操作行为的效果。
23.s106，将插件植入待提取设备。
24.本实施例中，数据提取设备向待提取设备推送插件，以将插件植入待提取设备。例如，数据提取设备在人工操作节点时，向待提取设备推送安装插件。待提取设备安装插件后，向数据提取设备推送安装成功的信息。数据提取设备接收到该信息时，确定插件植入成功。
25.s108，通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
26.本实施例中，数据提取设备确认插件已植入待提取设备后，在对待提取设备进行数据提取时，在人工操作节点通过插件在待提取设备上模拟人工操作行为，从而使得数据提取设备能够对待提取设备进行数据提取。
27.上述自动化数据提取方法，在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点，获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成，将插件植入待提取设备，通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。因此，对待提
取设备进行数据提取时，通过将基于人工操作节点的人工操作行为对应的自动化策略生成的插件植入待提取设备的方式，模拟人工操作行为以进行数据提取，无需人工干预即可实现自动化对待提取设备进行提取数据，从而降低数据提取失败或数据提取缺失的概率。
28.在一个实施例中，上述获取插件的步骤之前，还包括：获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息；根据人工操作节点的人工操作行为信息和界面变化信息生成自动化策略；基于自动化策略生成插件。
29.该实施例中，采集人工操作节点的人工操作行为信息和人工操作节点的待提取设备的界面变化信息，进而根据这两个信息得到自动化策略。其中，人工操作节点的人工操作行为信息与该界面变化信息对应关联。即，该界面变化信息为人工操作行为下产生的待提取设备的界面变化的变化信息，该人工操作行为信息为同一人工操作行为下得到的行为信息。
30.人工操作节点的人工操作行为信息为在对待提取设备进行数据提取时，人工操作节点的各个人工操作得到的行为信息集合。界面变化信息为各个人工操作得到的各个界面变化的信息集合。例如，当待提取设备为手机时，各个人工操作包括点击手机界面上的某个按钮或图片、滚动某个下拉列表以及滑动手机屏幕等。界面变化信息包括点击手机界面上的某个按钮或图片时手机界面上的变化信息，以及滚动某个下拉列表时手机界面上的变化信息，以及滑动手机屏幕时手机界面上的变化信息等。结合手机界面变化和人工操作指向，形成自动化策略。进而，根据自动化策略生成插件。因此，得到的插件能够适用于数据提取设备对待提取设备的自动化数据提取流程。
31.在一个实施例中，上述基于自动化策略生成插件，包括：采用自动化测试框架技术uiautomator并根据自动化策略生成插件。
32.该实施例中，待提取设备为安卓系统，如待提取设备为安卓手机。此时依据自动化策略，利用谷歌公司提供的安卓应用自动化测试框架技术uiautomator实现一个可以植入安卓手机的插件。自动化测试框架技术uiautomator是谷歌公司提供给安卓应用开发者用以测试开发的安卓应用对于外部响应的实时反馈。因此，得到的插件能够适用于数据提取设备对待提取设备的自动化数据提取流程。
33.在一个实施例中，插件为通过安装的方式在待提取设备上运行的应用程序，或者插件为无需通过安装的方式在待提取设备上运行的程序文件。
34.该实施例中，待提取设备为手机时，插件为可以通过安装的方式在手机上运行的应用程序app，或者无需安装就可直接在手机上运行的程序文件，如jar文件。因此，可提供多种形式的插件，以适应更多的应用场景。
35.在一个实施例中，待提取设备为手机，人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
36.该实施例中，待提取设备为手机。可以是，安卓系统的手机或苹果系统的手机。数据提取设备存储有预先配置的数据提取流程。数据提取流程中设定有各个手机界面数据提取节点。当需要提取手机的手机界面数据提取节点中数据时，需要人工操作辅助。因此，可设定手机界面数据提取节点为人工操作节点。
37.例如，如图3所示，图3为插件的内部实现逻辑。插件植入手机后进入备份初始界面，也即是进入数据提取界面。当手机的实际屏幕显示内容捕获时，插件进一步判断当前屏
幕是否处于数据提取的备份流程设定的某个界面。此处，数据提取流程为手机的数据提取的备份流程，手机界面数据提取节点为数据提取的备份流程设定的某个界面所在的节点，此节点也为设定的人工操作节点。若是，则通过插件实现根据界面预设动作进行手机屏幕操作的流程，进而进入结果输出的流程。若否，则通过插件直接进入结果输出的流程。因此，可实现手机的自动化数据提取。
38.在一个实施例中，上述获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息的步骤之前，还包括：获取人工操作节点中待提取设备的界面变化下各个界面的界面元素特征；获取人工操作节点中各个界面出现的先后顺序；获取人工操作节点中各个界面中的人工操作行为信息；根据各个界面的界面元素特征和先后顺序生成界面变化信息；根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
39.该实施例中，人工操作节点的人工操作行为信息包括人工操作节点中待提取设备的各个界面中的人工操作行为信息。人工操作节点的待提取设备的界面变化信息根据人工操作节点中待提取设备的界面变化下各个界面的界面元素特征和各个界面出现的先后顺序生成。例如，待提取设备为手机时，记录人工操作干预过程中手机界面变化下各个界面的元素特征以及记录各个界面的出现的先后次序，以及记录各个界面下人工操作干预的指向，即具体操作方式，如：点击某个按钮或图片、滚动某个下拉列表以及滑动屏幕等等。结合界面变化下各个界面的元素特征、各个界面的出现的先后次序和人工操作形成自动化策略。因此，能够采集人工操作节点中各个界面中的人工操作行为信息以及各个界面的界面信息，从而使得得到的自动化策略更加符合对待提取设备的自动化数据提取的要求。
40.在一个实施例中，上述根据各个界面的界面元素特征和先后顺序生成界面变化信息的步骤之前，还包括：获取人工操作节点中待提取设备初始化状态时的界面元素特征；获取人工操作节点中人工操作结束后的界面元素特征。上述根据各个界面的界面元素特征和先后顺序生成界面变化信息，包括：根据初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
41.该实施例中，界面变化信息通过人工操作节点中待提取设备初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作节点中人工操作结束后的界面元素特征生成。例如，记录待取证手机在取证过程中需要人工操作干预的初始界面的界面元素特征，如界面元素特征包括文本、按键、图片、滚动条等等。记录人工操作干预过程中手机界面变化下各个界面的界面元素特征，界面元素特征包括文本、按键、图片、滚动条等等。记录各个界面的出现的先后次序。记录各个界面下人工操作干预的指向，即具体操作方式，如：点击某个按钮或图片、滚动某个下拉列表以及滑动屏幕等等。记录人工操作干预完成时的终止界面的界面元素特征，界面元素特征包括文本、按键、图片、滚动条等等。最后，结合界面变化和人工操作指向形成自动化策略。其中，界面变化包括上述人工操作节点中待提取设备初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作节点中人工操作结束后的界面元素特征。因此，能够采集人工操作节点中各个界面中的人工操作行为信息以及各个界面的界面信息，从而使得得到的自动化策略更加符合对待提取设备的自动化数据提取的要求。
42.在一个实施例中，如图4所示，待提取设备为安卓手机，数据提取设备为专业采集设备，专业采集设备对安卓手机进行数据提取的流程参见图4所示。其中，现有技术方案中
图4虚线框内的过程，基本都采用人工操作的方式完成，低效且易错。本实施例中，针对图4虚线框内的过程，在专业设备采集提取安卓手机的数据的过程中，将实现自动化策略的插件植入安卓手机，在安卓手机采集过程的某个需要人工干预的节点，启动自动化的插件，自动化的插件替代人工完成一系列手机界面的操作，并返回操作结果。
43.因此，使得整个手机数据采集过程中，将手机端的人工干预行为降到最低，提高了数据采集的便利性。而且，该技术对于手机端数据的选取以及操作的控制皆为设定的精准流程，不存在偏差或遗漏，有效的提高了产品性能即数据质量。
44.上述各实施例所述的一种自动化数据提取方法，可实现针对手机数据提取过程中复杂的人工操作及可能产生的错漏，提供明确的目标和准确的步骤，精准的模拟人工操作行为，以达到准确备份取证所需数据的目的，排除人工操作行为的不确定性，备份过程自动完成，提高了数据提取效率。
45.应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
46.本技术还提供一种自动化数据提取装置，如图5所示，该装置包括识别模块502、获取模块504、植入模块506以及数据提取模块508。识别模块502，用于在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点；获取模块504，用于获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成；植入模块506，用于将插件植入待提取设备；数据提取模块508，用于通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
47.在其中一个实施例中，一种自动化数据提取装置还包括插件生成模块。插件生成模块用于获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息；根据人工操作节点的人工操作行为信息和界面变化信息生成自动化策略；基于自动化策略生成插件。
48.在其中一个实施例中，基于自动化策略生成插件，包括：采用自动化测试框架技术uiautomator并根据自动化策略生成插件。
49.在其中一个实施例中，插件为通过安装的方式在待提取设备上运行的应用程序，或者插件为无需通过安装的方式在待提取设备上运行的程序文件。
50.在其中一个实施例中，待提取设备为手机，人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
51.在其中一个实施例中，一种自动化数据提取装置还包括生成模块。生成模块用于获取人工操作节点中待提取设备的界面变化下各个界面的界面元素特征；获取人工操作节点中各个界面出现的先后顺序；获取人工操作节点中各个界面中的人工操作行为信息；根据各个界面的界面元素特征和先后顺序生成界面变化信息；根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
52.在其中一个实施例中，一种自动化数据提取装置还包括界面元素获得模块。界面
元素获得模块用于获取人工操作节点中待提取设备初始化状态时的界面元素特征；获取人工操作节点中人工操作结束后的界面元素特征。上述根据各个界面的界面元素特征和先后顺序生成界面变化信息，包括：根据初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
53.关于自动化数据提取装置的具体限定可以参见上文中对于自动化数据提取方法的限定，在此不再赘述。上述自动化数据提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
54.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自动化数据提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
55.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
56.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点；获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成；将插件植入待提取设备；通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
57.在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息；根据人工操作节点的人工操作行为信息和界面变化信息生成自动化策略；基于自动化策略生成插件。
58.在其中一个实施例中，处理器执行计算机程序实现上述的基于自动化策略生成插件步骤时，具体实现以下步骤：采用自动化测试框架技术uiautomator并根据自动化策略生成插件。
59.在其中一个实施例中，插件为通过安装的方式在待提取设备上运行的应用程序，或者插件为无需通过安装的方式在待提取设备上运行的程序文件。
60.在其中一个实施例中，待提取设备为手机，人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
61.在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：获取人工操作节点中待提取设备的界面变化下各个界面的界面元素特征；获取人工操作节点中各个界面
出现的先后顺序；获取人工操作节点中各个界面中的人工操作行为信息；根据各个界面的界面元素特征和先后顺序生成界面变化信息；根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
62.在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：获取人工操作节点中待提取设备初始化状态时的界面元素特征；获取人工操作节点中人工操作结束后的界面元素特征。处理器执行计算机程序实现上述的根据各个界面的界面元素特征和先后顺序生成界面变化信息步骤时，具体实现以下步骤：根据初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
63.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在对待提取设备进行数据提取过程，识别出人工操作节点，人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点；获取插件，插件基于人工操作节点的人工操作行为对应的自动化策略生成；将插件植入待提取设备；通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
64.在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取人工操作节点的人工操作行为信息和待提取设备的界面变化信息；根据人工操作节点的人工操作行为信息和界面变化信息生成自动化策略；基于自动化策略生成插件。
65.在其中一个实施例中，计算机程序被处理器执行实现上述的基于自动化策略生成插件步骤时，具体实现以下步骤：采用自动化测试框架技术uiautomator并根据自动化策略生成插件。
66.在其中一个实施例中，插件为通过安装的方式在待提取设备上运行的应用程序，或者插件为无需通过安装的方式在待提取设备上运行的程序文件。
67.在其中一个实施例中，待提取设备为手机，人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
68.在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取人工操作节点中待提取设备的界面变化下各个界面的界面元素特征；获取人工操作节点中各个界面出现的先后顺序；获取人工操作节点中各个界面中的人工操作行为信息；根据各个界面的界面元素特征和先后顺序生成界面变化信息；根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
69.在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取人工操作节点中待提取设备初始化状态时的界面元素特征；获取人工操作节点中人工操作结束后的界面元素特征。计算机程序被处理器执行实现上述的根据各个界面的界面元素特征和先后顺序生成界面变化信息步骤时，具体实现以下步骤：根据初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
70.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom
（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
71.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
72.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。