一种功能业务的操作方法、装置、终端设备及存储介质与流程

本发明实施例涉及计算机技术领域，尤其涉及一种功能业务的操作方法、装置、终端设备及存储介质。

背景技术：

目前计算机在各行各业都承担着很重要的角色，在计算机上运行着可以满足使用者日常生活和工作业务需要的应用系统。应用系统往往包括多个功能业务，操作人员可以通过应用系统的人机交互界面对各功能业务进行操作，其具体可以对功能业务中显示在人机交互界面上的各待操作元素进行相应的操作。

目前，应用系统中需要处理的功能业务较多，仅靠操作人员手动操作很难实现实时操作，由此出现了通过程序自动化实现功能业务的操作来替代操作人员的手动操作。然而，目前应用系统都是可以跨平台运行的，现有的通过程序自动化对功能业务进行操作的操作方式往往仅适用于特定操作平台下的应用系统，很大程度限定了功能业务自动化操作的适用范围。

技术实现要素：

本发明实施例提供了一种功能业务的操作方法、装置、终端设备及存储介质，以能够有效的提升功能业务自动化操作的适用性。

第一方面，本发明实施例提供了一种功能业务的操作方法，包括：

获取功能业务的当前业务界面及待执行的操作指令；

根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；

确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

可选的，功能业务的操作方法，还包括：

构建并训练操作模型，获得目标操作模型。

可选的，所述构建并训练操作模型，获得目标操作模型，包括：

构建模型结构为卷积神经网络的操作模型；

基于所确定样本元素库中样本元素组训练所述操作模型，获得目标操作模型。

可选的，基于下述操作确定样本元素库：

获取所述功能业务的历史业务界面和对应的历史操作指令；

从所述历史业务界面中确定所述历史操作指令对应历史操作元素；

基于历史业务界面、历史操作指令及所述历史操作元素，形成一个样本元素组，并将所述样本元素组添加至样本元素库。

可选的，所述样本元素组包括：作为输入的样本业务界面及样本操作指令，作为对应输出的样本操作元素；

其中，所述样本业务界面包括：界面名称信息、路径信息、来源信息和界面尺寸信息；所述样本操作元素包括：元素名称信息和元素尺寸信息。

第二方面，本发明实施例还提供了一种功能业务的操作装置，包括：

获取模块，用于获取功能业务的当前业务界面及待执行的操作指令；

识别模块，用于根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；

确定模块，用于确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

可选的，功能业务的操作装置，还包括：

训练模块，用于构建并训练操作模型，获得目标操作模型。

可选的，所述训练模块，具体用于：

构建模型结构为卷积神经网络的操作模型；

基于所确定样本元素库中样本元素组训练所述操作模型，获得目标操作模型。

第三方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的功能业务的操作方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的功能业务的操作方法。

本发明实施例提供了一种功能业务的操作方法、装置、终端设备及存储介质，利用上述技术方案能够在获取功能业务的当前业务界面及待执行的操作指令后，根据预先确定的目标操作模型，从当前业务界面中识别出操作指令对应的待操作元素，并在待操作元素的操作位置处执行所述操作指令以完成对应的功能业务。避免了通过程序自动化实现功能业务的操作，通过预先确定的目标操作模型，实现对应于当前业务界面和操作指令的功能业务，有效的提升了功能业务自动化操作的适用性。

附图说明

图1为本发明实施例一提供的一种功能业务的操作方法的流程示意图；

图2a为本发明实施例二提供的一种功能业务的操作方法的流程示意图；

图2b示出了mac操作系统的firefox浏览器的邮箱界面示意图；

图2c示出了windows操作系统的ie浏览器下的邮箱界面示意图；

图2d示出了对mac操作系统的firefox浏览器的邮箱界面进行注释的示意图；

图2e示出了对windows操作系统的ie浏览器下的邮箱界面进行注释的示意图；

图2f示出了mac操作系统的firefox浏览器的邮箱识别结果示意图；

图3为本发明实施例三提供的一种功能业务的操作装置的结构示意图；

图4为本发明实施例四提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种功能业务的操作方法的流程示意图，该方法可适用于对功能业务进行操作的情况，具体的，该方法可适用于通过自动化的方式，实现对功能业务的操作的情况。该方法可以由功能业务的操作装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：计算机、台式电脑、服务器等设备。

如图1所示，本发明实施例一提供的一种功能业务的操作，包括如下步骤：

s101、获取功能业务的当前业务界面及待执行的操作指令。

在本实施例中，功能业务可以理解为需要进行处理的事务。当前业务界面可以理解为终端设备所显示的业务界面。操作指令可以理解为对当前业务界面进行操作的命令。待执行的操作指令可以理解为当前业务界面将要被执行的操作指令。

在进行功能业务的自动化操作前，本步骤可以首先获取当前业务界面和待执行的操作指令，以便于基于所获取的当前业务界面和操作指令对功能业务进行自动化操作。

此处不对获取当前业务界面和待执行操作指令的具体手段进行限定，本领域技术人员可以根据实际情况选取适合的技术手段获取当前业务界面和操作指令。

示例性的，本步骤可以通过截屏的方式获取当前业务界面；本步骤可以通过检测输入设备的状态获取用户输入的待执行的操作指令。其中，操作指令的具体形式不作限定，只要与预先确定的目标操作模型中对应内容的存储形式对应即可。对应内容可以为历史操作指令。如，本步骤可以获取用户输入的指令名称或操作指令的标识信息。指令名称可以为“在mac操作系统下的firefox浏览器中登录邮箱”。标识信息可以理解为能够唯一标识操作指令的信息。如用0标识“在mac操作系统下的firefox浏览器中登录邮箱”。

s102、根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素。

在本实施例中，目标操作模型可以理解为在进行功能业务的操作前预先确定的模型。待操作元素可以理解为当前业务界面中对应操作指令的等待操作的页面元素。待操作元素可以包括元素名称和操作位置。操作位置可以通过坐标值表征。

目标操作模型的确定方式此处不作限定，可以为预先基于历史业务界面、历史操作指令和对应的历史操作元素直接构建的模型；也可以为对历史业务界面、历史操作指令和对应的历史操作元素进行机器学习形成的模型。该目标操作模型可以用于基于当前业务界面和操作指令确定当前业务界面中的待操作元素。其中，机器学习可以理解为让计算机像人一样对看到的东西进行学习，并根据学习的结果对物体和实物进行分类识别。

在获取当前业务界面和操作指令后，本步骤可以加载预先确定的目标操作模型，根据该目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素。示例性的，若该目标操作模型为通过机器学习形成的模型，则本步骤可以根据学习到的内容，从当前业务界面中识别出对应操作指令的待操作元素。该目标操作模型所学习的内容不作限定，本领域技术人员可以根据实际情况设定。如，可以将功能业务在各操作平台下的历史业务界面和历史操作指令进行处理，以训练形成目标操作模型，从而提升功能业务自动化操作的适用性。

可以理解的是，获取的当前业务界面可能存在多个工作应用界面，多个工作应用界面中包括了功能业务对应的业务界面。本步骤可以基于目标操作模型从当前业务界面中识别出操作指令对应的待操作元素。然后基于待操作元素执行操作指令。

s103、确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

在本实施例中，操作位置可以理解为待操作元素的操作指令的执行位置。

在识别出待操作元素后，本步骤可以读取待操作元素中的操作位置，并在该操作位置处执行操作指令以完成功能业务。

本步骤在操作位置处执行操作指令可以为终端设备驱动输入设备执行操作指令。不同的操作指令可以对应不同的输入设备。

操作指令可以为指令集，在确定出待操作元素后，在对应的待操作元素的操作位置处，可以从操作指令中选取对应的指令执行。

本发明实施例一提供的一种功能业务的操作方法，利用上述方法能够在获取功能业务的当前业务界面及待执行的操作指令后，根据预先确定的目标操作模型，从当前业务界面中识别出操作指令对应的待操作元素，并在待操作元素的操作位置处执行所述操作指令以完成对应的功能业务。避免了通过程序自动化实现功能业务的操作，通过预先确定的目标操作模型，实现对应于当前业务界面和操作指令的功能业务，有效的提升了功能业务自动化操作的适用性。

进一步的，本实施例中功能业务的操作方法，还包括：构建并训练操作模型，获得目标操作模型。

其中，操作模型的构建此处不作限定，本领域技术人员可以根据实际应用场景选取不同的构建手段构建操作模型。操作模型构建后可以根据实际应用场景的需求选取需要的样本进行训练，得到目标操作模型，以基于目标操作模型完成功能业务的自动化操作。

实施例二

图2a为本发明实施例二提供的一种功能业务的操作方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将构建并训练操作模型，获得目标操作模型，进一步具体化为：构建模型结构为卷积神经网络的操作模型；

基于所确定样本元素库中样本元素组训练所述操作模型，获得目标操作模型。

进一步的，本实施例还优化基于下述操作确定样本元素库：

获取所述功能业务的历史业务界面和对应的历史操作指令；

从所述历史业务界面中确定所述历史操作指令对应历史操作元素；

基于历史业务界面、历史操作指令及所述历史操作元素，形成一个样本元素组，并将所述样本元素组添加至样本元素库。

本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种功能业务的操作方法，包括如下步骤：

s201、获取所述功能业务的历史业务界面和对应的历史操作指令。

在本实施例中，历史业务界面可以理解为在目标操作模型构建阶段，该功能业务对应的业务界面。历史操作指令可以理解为目标操作模型构建阶段，该功能业务对应的操作指令。

本步骤可以首先获取该功能业务的历史业务界面和对应的历史操作指令。其中，历史业务界面可以为用户对功能业务对应的业务界面截图形成。历史操作指令可以为用户在目标操作模型训练阶段通过输入设备输入的操作指令。

获取历史业务界面和历史操作指令后，可以用于形成样本元素库，从而基于样本元素库获得目标操作模型。

s202、从所述历史业务界面中确定所述历史操作指令对应历史操作元素。

在本实施例中，历史操作元素可以理解为历史业务界面中对应历史操作指令的操作元素。通过在历史操作元素的历史操作位置处执行历史操作指令能够完成对应的功能业务。

可以理解的是，历史业务界面中的历史操作元素可以为用户根据功能业务需要进行标注的。本步骤可以从历史业务界面中识别确定出历史操作指令所对应的历史操作元素，以用于形成样本元素库，从而基于样本元素库获得目标操作模型。

可以理解的是，历史操作指令可以为指令集，相应的，从历史业务界面中识别出的历史操作元素的个数可以与指令集中指令的个数相同。示例性的，历史操作指令可以包括输入用户名、输入密码和点击登录，相应的，历史操作元素可以对应为用户名获取框、密码获取框和登录框。历史操作指令可以和历史操作元素存在一定的对应关系，此处不作限定。基于该对应关系，在应用目标操作模型执行功能业务的操作时，能够有效确定待操作元素的操作位置处所需执行的操作指令。

s203、基于历史业务界面、历史操作指令及所述历史操作元素，形成一个样本元素组，并将所述样本元素组添加至样本元素库。

在本实施例中，样本元素组可以理解为基于历史业务界面、历史操作指令和历史操作元素构建的用于训练操作模型的元素组。样本元素库可以理解为由样本元素组形成的元素库。样本元素库可以存储有该功能业务对应的各种形式的历史业务界面、历史操作指令和历史操作元素。如不同尺寸的历史业务界面中历史操作指令对应的历史操作元素。

进一步的，所述样本元素组包括：作为输入的样本业务界面及样本操作指令，作为对应输出的样本操作元素；

其中，所述样本业务界面包括：界面名称信息、路径信息、来源信息和界面尺寸信息；所述样本操作元素包括：元素名称信息和元素尺寸信息。

其中，样本业务界面可以理解为形成样本元素组时的业务界面。样本操作指令可以理解为形成样本元素组时的操作指令。样本操作元素可以理解为形成样本元素组时的操作元素。界面名称信息可以理解为该样本业务界面的名称。路径信息可以理解为该样本业务界面的路径。路径信息可以包括本地路径和网络路径。来源信息可以理解为该样本业务界面的来源。界面尺寸信息可以理解为样本业务界面的尺寸。此处可以不限定界面尺寸信息的具体形式，如界面尺寸信息可以通过宽度、高度和深度表征。

具体的，样本元素组的具体形成过程可以为将样本业务界面和样本操作指令作为输入，将样本操作元素作为输出，以便于操作模型基于样本元素组训练形成目标操作模型。从而目标操作模型能够基于当前业务界面和待执行的操作指令确定出对应的待操作元素。

s204、构建模型结构为卷积神经网络的操作模型。

在本实施例中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络。

确定完样本元素库后，本步骤构建模型结构为卷积神经网络的操作模型。卷积神经网络的层级机构可以包括数据输入层、卷积计算层、激励层、池化层和全连接层。

s205、基于所确定样本元素库中样本元素组训练所述操作模型，获得目标操作模型。

在构建完操作模型后，本步骤可以基于样本元素库中样本元素组训练操作模型，得到目标操作模型。

具体的，本步骤中操作模型学习样本元素库中样本元素组时，可以首先将样本学习库中各样本元素组进行分类，供操作模型进行分类学习。

操作模型学习样本元素组的过程中，可以利用梯度下降算法确定学习效果的最优值，并利用训练集和验证集来验证操作模型学习的效果，最后根据测试集来最终确定操作模型学习的精确度，以确定操作模型是否已经把样本元素库中样本元素组学习完成。将学习完成后的操作模型作为目标操作模型。

s206、获取功能业务的当前业务界面及待执行的操作指令。

在应用目标操作模型进行功能业务的操作时，本步骤可以获取功能业务的当前业务界面和待执行的操作指令，以确定当前业务界面中的待操作元素。

s207、根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素。

本步骤中的目标操作模型可以为根据样本元素库训练得到的，样本元素库中可以包括功能业务对应的各历史业务界面、历史操作指令及所述历史操作元素所形成的样本元素组。基于该目标操作模型能够识别该功能业务的当前业务界面及能够从当前业务界面中识别所述操作指令对应的待操作元素。

s208、确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

以下对本发明提供的功能业务的操作方法进行详细描述：

本实施例中的功能业务的操作方法可以认为是基于机器学习的实时人机界面智能识别，并基于识别后的结果进行操作的方法。

现有应用系统为了更好的为操作人员服务，通常会为操作人员提供友好的人机交互界面，从而便于操作人员基于人机交互界面对功能业务进行操作。操作人员为了完成功能业务的操作，对应用系统的操作方式可以是手动操作。操作人员通过计算机屏幕输出的视窗界面找到需要操作的待操作元素，并通过键盘和鼠标对待操作元素进行相应的操作。

针对小规模的功能业务依靠手动操作的方式可以应付，但当需要处理成千上万甚至更多的业务操作时，尤其是大型或特大型的企业集团，依靠操作人员手动操作进行功能业务的操作就无法应对了。由此出现了通过程序自动化实现功能业务的操作代替操作人员手动操作。而程序自动化对功能业务进行操作的操作方式通常适用于特定功能业务的应用系统，通过程序自动化的方式针对性的处理相关功能业务。进行功能业务的操作前，需要确定不同功能业务的待操作元素和这些待操作元素的操作方法，这些工作需要操作人员通过编写代码的方式来完成。这就导致了存在下述缺陷：

第一：由于目前的应用系统都是可以跨操作平台运行的，市面上存在各种各样的操作系统，有pc端的各种操作系统，也有移动端的操作系统，不同平台端和不同操作系统的技术体系都完全不同。为了确定待操作元素和这些待操作元素的操作方法，技术人员需要针对不同平台端和操作系统进行技术研发工作，这样工作量很大，并且针对不同的平台端和操作系统的技术体系也不同，学习成本非常高昂；

第二：为了满足最终用户的使用要求，应用系统会针对用户的需求进行频繁的变更。一旦完成应用系统的变更，通过程序自动化的操作方式就无法对应用系统进行正确的操作了，所以操作人员不得不在应用系统变更后，及时对应用系统里相关功能变更待操作元素和待操作元素的操作方法，实现代码的修改和完善。如果不能及时完成这个变更，所有的程序自动化实现功能业务的操作就全部停滞，这样导致程序自动化的操作方式响应的滞后性很强，并且运行维护的成本也非常高昂；

第三：现在一个庞大的应用系统，除了可以跨平台运行，变更频繁，还有另一个很致命的问题，所有的业务应用系统会引入很多第三方技术，通过融合这些技术来完成业务应用系统中业务功能的实现。所以操作人员还需要根据不同的第三方技术有针对性的进行学习，最终实现对相关功能业务的自动化操作。这就造成一个很严重的弊端，程序自动化的操作方式的实现完全依赖第三方技术的成熟度，如果没有成熟的技术接口，研发工作无法实现，对应用系统的自动化操作也就无法实现了。

计算机上的人机交互界面大多都是为了满足人的操作设计的。人可以通过计算机屏幕输的视窗界面很方便的找到需要操作的待操作元素，就算是待操作元素由于需求的变化而发生数量或操作上的变更，操作人员也可以很方便的找到差别，并根据页面的设计要求进行正确的操作。这些应用系统的设计都是根据人类的视觉系统有针对性的做出的成果，其目的就是通过计算机屏幕输出的页面，让人类的视觉系统很方便快捷的接收、跟踪、分类、识别，并最终达到可方便操作的目的。

本实施例的技术就是让终端设备对功能业务进行自动化的操作时可以像人一样，通过观察计算机屏幕输出的内容，对屏幕输出的内容进行接收、跟踪、分类、识别。从而摆脱了程序自动化的操作方式的缺陷。为达到这个实际使用效果，本实施例的工作步骤分为两大部分：机器识别学习和机器识别。

一、机器识别学习

对需要自动化操作的功能业务的所有页面(即历史业务界面)进行采集，并把采集到的信息交给学习模型(即操作模型)，让计算机自动根据采集的信息进行功能业务所有页面和页面操作元素(即历史操作元素)的学习。同时把学习的结果保存为目标操作模型，供实际操作时使用。本部分的处理流程如下：

1.系统图像样本采集

即获取所述功能业务的历史业务界面。确定终端设备需要自动处理的功能业务，对功能业务的所有历史业务界面进行截图处理。下面以终端设备可以兼容windows操作系统的ie浏览器和在mac操作系统的firefox浏览器，并自动登录邮箱，进行采集为例。图2b示出了mac操作系统的firefox浏览器的邮箱界面示意图。图2c示出了windows操作系统的ie浏览器下的邮箱界面示意图。如图2b所示，历史业务界面1中示出了mac操作系统的firefox浏览器的邮箱界面。如图2c所示，历史业务界面2中示出了windows操作系统的ie浏览器下的邮箱界面。图2b和图2c仅为图像样本采集的示例，本领域技术人员可以根据实际功能业务的需求采集相应的历史业务界面。

2.图像样本注释

根据历史业务界面和历史操作指令，用户可以在历史业务界面的不同位置标注历史操作元素，并对历史操作元素进行分类命名。每一个历史业务界面和历史操作指令能够生成一个对应的样本元素组，以形成样本元素库。

图2d示出了对mac操作系统的firefox浏览器的邮箱界面进行注释的示意图；如图2d所示，历史业务界面可以标注为页面名称信息，即mac操作系统的firefox浏览器11、路径信息12、用户名13、密码14和登录15。其中，路径信息12、用户13、密码14和登录15可以认为是历史业务界面中的历史操作元素。可以在历史操作元素对应的位置处执行历史操作指令，以完成功能业务。可以理解的是，不同的历史操作指令可以对应有不同的历史操作元素，此处不作限定，本领域技术人员可以根据实际需求建立两者的对应关系。

图2e示出了对windows操作系统的ie浏览器下的邮箱界面进行注释的示意图。如图2e所示，历史业务界面可以标注为页面名称信息，即windows操作系统的ie浏览器21、路径信息22、用户名23、密码24和登录25。其中，路径信息22、用户名23、密码24和登录25可以认为是历史业务界面中的历史操作元素。

此外，样本元素组的存储形式不作限定，表1为样本元素组的存储示意表。

表1样本元素组的存储示意表

如表1所示，样本元素组中包括作为输入的样本操作指令和样本业务界面，其中，样本业务界面包括界面名称信息即图像名、路径信息即图像路径、来源信息即数据库名、界面尺寸信息即尺寸。需要注意的是，样本元素组中可以包含多个样本操作指令，每一个样本操作指令可以对应有作为输出的样本操作元素，样本操作元素包括元素名称信息即标签名和元素尺寸信息即坐标值。表1中仅示出了样本元素组中存在一个样本操作指令的示例。

可以理解的是，样本操作元素可以包括多个元素名称信息和对应的元素尺寸信息，如表1所示，该样本操作元素中包括了标签名1和标签名1对应的坐标值、标签名2和标签名2对应的坐标值和标签名n及标签名n对应的坐标值等。值得注意的是，表1仅为对样本元素组的存储示意表，本领域技术人员可以根据实际情况基于本实施例中的存储方式进行调整，此处不作限定，只要能够有效训练操作模型，从而得到目标操作模型即可。

3.标签化图像自动分类

自动根据样本元素库中的样本操作元素进行分割分类，供操作模型学习使用，此处不对分类的具体手段进行限定。

4.构建操作模型

利用卷积神经网络算法，定义操作模型。根据操作模型的需要，可以定不同的卷积块，每一个卷积核又可以定义不同的卷积层和池化层。定义的模型根据需要学习的样本元素库进行特征提取，模型最后进入全连接分类器。操作模型建立逻辑可以如下：

定义卷积层，对数据进行标准化处理；判断是否需要增加卷积层，若是，则增加卷积层；若否，则定义池化层。定义池化层后判断是否需要增加卷积块，若是，则进一步定义卷积层；若否，则结束。

5.机器分类识别学习

定义好操作模型后，根据操作模型对样本元素库进行分类学习，并确定学习效果最优值、学习效果和/或精确度以获得目标操作模型。

6.获取目标操作模型

操作模型学习完成后，可以将学习效果最好的操作模型作为目标操作模型。

二、机器识别

终端设备可以利用计算机视觉原理，采用目标操作模型对功能业务进行自动化操作。如对当前业务界面进行识别，从当前业务界面中识别出操作指令对应的待操作元素，并在待操作元素的操作位置处执行操作指令。整个工作过程可以认为是按照“人”的工作方式进行的。其中，计算机视觉技术可以理解为让计算机像人一样去看到物体和相关内容。机器识别具体的识别过程可以如下：

1.目标操作模型加载

把预先确定的目标操作模型进行加载，以便于后续根据目标操作模型进行功能业务的操作。

2.获取待执行的操作指令

根据目标操作模型，用户可以在目标操作模型所学习到的知识范围内输入待执行的操作指令。

3.获取功能业务的当前业务界面

屏幕输出的内容可以认为是用户所看见的内容。把屏幕输出的内容进行获取作为当前业务界面。

4.当前业务界面识别

因为计算机屏幕上可能存在多个工作软件窗口和其他的内容，目标操作模型可以根据学习到的内容，找到需要进行识别工作的待操作元素。确定待操作元素后，可以驱动输入设备执行操作指令。

以mac操作系统的firefox浏览器的邮箱操作界面为例，进行跟踪定位结果展示，并执行操作指令。可以理解的是，图2d示出了对mac操作系统的firefox浏览器的邮箱界面进行注释的示意图，基于图2d能够训练得到目标操作模型，从而可以基于训练后的目标操作模型对mac操作系统的firefox浏览器的邮箱操作界面进行识别操作。图2f示出了mac操作系统的firefox浏览器的邮箱识别结果示意图。如图2f所示，当前业务操作界面中包括了多个工作应用界面，多个工作应用界面中包括了功能业务对应的业务界面110。目标操作模型从当前业务界面中识别出操作指令对应的待操作元素，如路径信息120、用户名130、密码140和登录150。图2f中各待操作元素对应的内容，在操作时可以显示，也可以不显示。在识别待操作元素后，可以在待操作元素的操作位置处执行操作指令。图2f中操作指令可以为指令集，即可以为输入用户名、输入密码和登陆。相应的，从当前业务界面中识别出的待操作元素，包括了用户名130、密码140和登录150。在执行操作指令时，可以在操作位置处执行对应的操作指令。

本发明实施例二提供的一种功能业务的操作方法，具体化了获得目标操作模型的操作，优化增加了确定样本元素库的操作还具体化了样本元素组。利用该方法能够基于历史业务界面和历史操作指令确定样本元素库。基于样本元素训练模型结构为卷积神经网络的操作模型，获得目标操作模型。在基于目标操作模型进行功能业务的自动操作时，从当前业务界面中识别操作指令对应的待操作元素。然后在待操作元素的操作位置处执行操作指令，以完成功能业务。通过机器学习的方式获得目标操作模型相对于针对特定操作平台下编写程序而言，降低了开发人员的工作量和对开发人员专业技能的要求。在进行功能业务的操作时，基于训练好的目标操作模型进行功能业务的自动化操作，该训练好的目标操作模型通过样本元素库训练得到，适用性较强。

实施例三

图3为本发明实施例三提供的一种功能业务的操作装置的结构示意图，该装置可适用于对功能业务进行操作的情况，具体的，该方法可适用于通过自动化的方式，实现对功能业务的操作的情况。其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图3所示，该装置包括：获取模块31、识别模块32和确定模块33；

其中，获取模块31，用于获取功能业务的当前业务界面及待执行的操作指令；

识别模块32，用于根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；

确定模块33，用于确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

在本实施例中，该装置首先通过获取模块31获取功能业务的当前业务界面及待执行的操作指令；然后通过识别模块32根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；最后通过确定模块33确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

本实施例提供了一种功能业务的操作装置，能够在获取功能业务的当前业务界面及待执行的操作指令后，根据预先确定的目标操作模型，从当前业务界面中识别出操作指令对应的待操作元素，并在待操作元素的操作位置处执行所述操作指令以完成对应的功能业务。避免了通过程序自动化实现功能业务的操作，通过预先确定的目标操作模型，实现对应于当前业务界面和操作指令的功能业务，有效的提升了功能业务自动化操作的适用性。

进一步的，功能业务的操作装置，还包括：训练模块，用于构建并训练操作模型，获得目标操作模型。

在上述优化的基础上，训练模块，具体用于：

构建模型结构为卷积神经网络的操作模型；

基于所确定样本元素库中样本元素组训练所述操作模型，获得目标操作模型。

基于上述技术方案，功能业务的操作装置，还包括：库确定模块，用于：获取所述功能业务的历史业务界面和对应的历史操作指令；

从所述历史业务界面中确定所述历史操作指令对应历史操作元素；

基于历史业务界面、历史操作指令及所述历史操作元素，形成一个样本元素组，并将所述样本元素组添加至样本元素库。

进一步的，库确定模块中样本元素组优化包括：作为输入的样本业务界面及样本操作指令，作为对应输出的样本操作元素；

其中，所述样本业务界面包括：界面名称信息、路径信息、来源信息和界面尺寸信息；所述样本操作元素包括：元素名称信息和元素尺寸信息。

上述功能业务的操作装置可执行本发明任意实施例所提供的功能业务的操作方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种终端设备的结构示意图。如图4所示，本发明实施例四提供的终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的功能业务的操作方法。

所述终端设备还可以包括：输入装置43和输出装置44。

终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。

该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供功能业务的操作方法对应的程序指令/模块(例如，附图3所示的功能业务的操作装置中的模块，包括：获取模块31、识别模块32和确定模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中功能业务的操作方法。

存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。

并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：

获取功能业务的当前业务界面及待执行的操作指令；

根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；

确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行功能业务的操作方法，该方法包括：

获取功能业务的当前业务界面及待执行的操作指令；

根据预先确定的目标操作模型，从所述当前业务界面中识别所述操作指令对应的待操作元素；

确定所述待操作元素的操作位置，并在所述操作位置处执行所述操作指令。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的功能业务的操作方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory，ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。