一种屏幕界面中特殊位置的识别方法及其应用与流程

本发明涉及计算机技术领域，具体是指一种屏幕界面中特殊位置的识别方法及其应用。

背景技术：

日常工作中，经常需要在使用操作软件或网站时，你常会遇到的以下烦恼：重复信息多次录入，易错；数据无法导出，只能手工复制粘贴；各级系统平台数据无法同步；系统中数据的状态变化，无法获得及时提醒；数据上报，工作繁琐……

现已经相关软件，实现了pc机上的拟人数据录入，帮助业务人员从低效重复的劳动中解脱出来，提高业务员的工作效率，节约重复工作的时间。要实现该功能，需要该软件能够对外部文件进行读写，同时特定的信息进行筛选，分析，结构化等等，然后模拟键盘输入数据或者鼠标操作。现有对鼠标的操作均是通过在界面的鼠标光标定位，使鼠标能够重复在定位的光标位置进行点击，但是当图标位置发生变化，单纯通过鼠标定位来进行鼠标的重复作业已经不能满足现有的要求，亟需提供一种新的屏幕界面中特殊位置，即使图标位置发生改变，也能够准确识别，并模拟人工作业的方法。

技术实现要素：

本发明的目的在于提供一种屏幕界面中特殊位置的识别方法

本发明的另一个目的在于及其应用。

本发明通过下述技术方案实现：一种屏幕界面中特殊位置的识别方法，包括以下步骤：

（1）在屏幕界面中截取特殊位置的图片；

（2）提取所截取图片的数据；

（3）从界面中的整体数据中寻找与所截取图片的数据，最终识别所截取的图片在整体界面中所在的位置。

为更好的实现本发明的方法，进一步地，所述步骤（1）中的屏幕界面包括桌面界面、窗口界面、网页界面、各种软件的用户界面。

为更好的实现本发明的方法，进一步地，所述步骤（2）中提取所截取图片的数据包括所截图片包含的像素数量，每个像素中的rgb数值数据，以及每个像素的排列方式。

为更好的实现本发明的方法，进一步地，所述步骤（3）中将提取的图片数据从屏幕界面左至右，上至下，以单个像素为单位依次进行识别和校对。

为更好的实现本发明的方法，进一步地，所述步骤（1）中截取的图片尺寸为100~10000像素。

一种重复作业数据处理系统，所述该数据处理系统能够模拟工作人员在pc机上的重复作业，其中屏幕数据的读取是通过上述的一种屏幕界面中特殊位置的识别方法实现。

为了更好地实现本发明，所述的一种重复作业数据处理系统，所述工作人员在pc机上的重复作业包括，数据表格的录入，数据下载，报税，游戏模拟刷机。

为了更好地实现本发明，所述的一种重复作业数据处理系统，所述该数据处理系统能够运用于银行、能源、法院、审计、医院中。

本发明与现有技术相比，具有以下优点及有益效果：

本发明提供的方法识别精度较高，结合鼠标定位捕捉技术能够在屏幕界面发生变化时，也能精准自动选择正确的图标或表格位置进行点击或者数据的读取，基于该识别方法使用的重复作业数据处理系统能够更快地实现数据的读取和数据，具有良好稳定性和执行效率，拥有快速的运行速度，更快速的完成任务。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更为明显：

图1为本发明的流程图；

图2为本发明识别过程原理示意图。

其中，1—截图数据，2—扫描数据，3—单个像素点，4—桌面屏幕。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

本实施例公开了一种屏幕界面中特殊位置的识别方法，包括以下步骤，如图1所示：

（1）在屏幕界面中截取特殊位置的图片；所述的屏幕界面包括桌面界面、窗口界面、网页界面、各种软件的用户界面；

（2）提取所截取图片的数据；提取所截取图片的数据包括所截图片包含的像素数量，每个像素中的rgb数值数据，以及每个像素的排列方式。

（3）从界面中的整体数据中寻找与所截取图片的数据，最终识别所截取的图片在整体界面中所在的位置。将提取的图片数据从屏幕界面左至右，上至下，以单个像素为单位依次进行识别和校对，如图2所示。

所述步骤（1）中截取的图片尺寸为100~10000像素。

实施例2：

本实施例基于上述实施例公开的一种屏幕界面中特殊位置的识别方法，公开了一种重复作业数据处理系统，所述该数据处理系统能够模拟工作人员在pc机上的重复作业，其中屏幕数据的读取是通过上述的一种屏幕界面中特殊位置的识别方法实现。所述工作人员在pc机上的重复作业包括，数据表格的录入，数据下载，报税，游戏模拟刷机。所述该数据处理系统能够运用于银行、能源、法院、审计、医院中。

所述重复作业数据处理系统由设置任务系统和运行系统组成。旨在帮助业务人员从低效重复的劳动中解脱出来，提高业务员的工作效率，节约重复工作的时间。它能够应用的场景包括了外部文件的读写，对特定的信息进行筛选，分析，结构化等等。

系统平台采用多层分布式体系技术架构，模块化设计，配置灵活，扩展性强。开放式架构设计，提供多格式的外部文件作为元数据和接口标准，实现办公自动化无缝对接。系统精心优化设计，具有良好稳定性和执行效率，拥有快速的运行速度，更快速的完成任务。

具体操作过程如下：

1.任务系统设置

本功能主要用于设置任务系统的工作任务

【功能】

设置：点击设置按钮进入任务设置页面。

2.新建任务

用于新建一个任务，点击添加任务进入添加任务页面，填入任务名称后点击确定，即完成新任务创建。

3.设置任务变量

点击设置任务变量添加任务变量。

【注意】：当变量类型是数字类型时，必须设置变量默认值

输入自定义的变量名称，然后选择变量类型支持的类型包括：字符，数字，日期，和布尔值。设置完成后点击确认。

变量值赋值：除数字类型外，其他变量都可以不设置默认值。变量的赋值可以通过添加机器人片段来给变量赋值。通过点击添加变量赋值键来添加任务片段。

4.添加操作片段

点击添加片段来新建一个任务操作片段（不同于默认片段），填写片段名和片段说明点击确认，

5.给片段添加动作

在右侧片段名称列表选择目标片段，然后点击添加动作按钮

打开了添加动作窗口，通过添加活动来实现对页面来进行操作。：

【功能】：对片段进行编辑，最主要是通过添加活动来实现键鼠操作。

【注意】：只有所有活动的运行顺序都是按照id的升序进行的。

6.打开网页

在任务里打开一个目标网页，并且对其进行操作。点击打开网页打开一个浏览器页面。

点击打开浏览器，这个浏览器你可以如你自己想打开的网址。点击获取网页源代码可以获取网页源代码部份截图

【功能】打开一个网址，并且可以获取这个网址的网页源代码

7.任务的片段

任务片段就是任务运行的片段，运行的先后顺序是由片段的前id和后id来决定的。

【功能】：主要是解决片段间的引用顺序问题。

【注意】：以star开始以end结束，有循环时一定有要分支判断跳出。

8.判断分支

判断分支用于片段循环或者是字符判断，当条件被满足时这跳到设置好的片段。同时一个分支片段可以有多个分支，通过点击上移（下移）分支来改变分支的排序。

【功能】：实现片段间的有条件跳转，字符判断。

9.色块判断

点击色块识别片段，打开色块判断片段的属性界面，通过读取鼠标坐标的色块信息来判断每一位置的色块。然后在进行后续工作。其中循环判断可以设置判断时间和循环间隔的时间。

10.读写数据库

点击读写数据库按键，可以进入读取数据库的页面。

【功能】：

这个页面可以读取的数据类型包括了excel，sqlsever,，sqlseverudl，mysql，access。

输入完整路径既可以完成读取。

在这个模块下还有自动生成的sql语句，读取出库中语句的时候我们可以设置变量读入字段。也可以修改，删除字段。

11.任务运行

点击运行机器人就可以运行机器人了，

【功能】：运行任务可以让任务，根据所设定的步骤进行运行。

【注意】：任务运行的时候不要移动或者改变目标页面

可以理解的是，根据本发明一个实施例，例如pc机和拟人作业软件等部件的工作原理和工作过程都是现有技术，且为本领域的技术人员所熟知，这里就不再进行详细描述。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。