一种基于图像识别自动化登录过程的方法与流程

本发明涉及一种自动化登录过程的方法，更具体地说，涉及一种基于图像识别自动化登录过程的方法。

背景技术：

为了区分不同的用户，软件系统需要借助用户登录过程来设置当前的用户会话环境以识别用户。某些登录方式需要用户手动输入认证凭据，最常见的方式是用户名和密码登录方式，在此登录方式下最常见的操作序列是用户先输入认证凭据，然后单击登录按钮，此时认证凭据一般是用户名和用户密码。

为了提高登录过程中的操作体验，减少用户操作量，或者使软件测试过程自动化，需要自动化登录过程。对于用户名和密码的认证方式，能够自动化输入认证凭据是自动化登录过程的前提条件。当前，有多种技术方案可以应用于自动化登录。

现有技术方案之一是基于浏览器插件的自动化登录。此方案针对在浏览器中访问的系统。在用户使用浏览器时，预先安装在浏览器中的一个插件实时检测用户访问的网址，当用户访问特定网址时，该浏览器插件在页面中正确的位置填入用户凭据并自动点击登录按钮完成登录。这种方案依赖浏览器插件，而不同的浏览器的插件是不能通用的，如果只为某一种浏览器开发插件，则限制自动化登录时必须使用这种浏览器。如果要支持更多的浏览器，则针对每种浏览器都要分别开发插件，提高了成本。这种方案将适用场景限制在使用浏览器访问的应用，对本地应用则无法采用此方案实现自动化登录。总之，此种技术方案的缺点是通用性不足。

现有技术方案之二是基于webdriver技术实现自动登录。此技术首先安装浏览器的webdriver驱动程序，然后使用程序调用webdriver驱动程序提供的接口获取浏览器正在访问页面的信息，并能操作网页页面元素，在合适的时机自动的输入用户凭据完成自动登录。这种方案依赖浏览器的webdriver，webdriver和浏览器高度依赖，不同的浏览器的webdriver是不能通用的，甚至同一浏览器的不同版本都要使用对应的webdriver，这带来了兼容性问题，提高了部署成本。这种方案将适用场景限制在使用浏览器访问的应用，对本地应用则无法采用此方案实现自动化登录。总之，此种技术方案的缺点是兼容性和通用性不好。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术中的缺陷，提供一种基于图像识别自动化登录过程的方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于图像识别自动化登录过程的方法,通过从登录界面中实时的识别参考图片来获得认证凭据位置,使用给参考图片标记热点的方式来激活认证凭据输入位置,提高自动化登录过程中的通用性和兼容性，使本地应用也可以进行自动化登录。

在本发明所述的基于图像识别自动化登录过程的方法中，所述基于图像识别自动化登录过程的方法步骤为：

s1.制作参考图片，所述参考图片用来表示凭证输入位置及其周边位置的特征；一般使用截图的方法来制作此参考图片；

s2.在参考图片上标记热点位置。热点位置指定了进行输入前需要激活的位置，一个参考图片可以包含多个热点位置，使用编号来标记这些热点位置，以便后来引用作为输入位置或者登录按钮的位置；

s3.在应用系统的显示登录界面的时候，一个图像识别过程开始静默的运行，此过程截取当前显示内容，并和参考图片进行对比，识别并定位出显示内容中和参考图片相似的认证凭据输入区域。图像识别过程会以一定间隔间断的执行，直到识别出认证凭据输入区域为止；

s4定位出区域后，自动输入过程根据参考图片上的热点坐标激活热点所在输入位置，并自动输入预先定义好的认证凭证并自动点击登录按钮完成登录过程。

实施本发明的一种基于图像识别自动化登录过程的方法，具有以下有益效果：本发明通过从登录界面中实时的识别参考图片来获得认证凭据位置，在自动化登录的某些场景下本方案具有更大的灵活性；通用性好，适用于更多的应用系统类型，如基于浏览器的应用和本地应，实施成本低，编码量小，技术要求低，适合非编码人员使用。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于图像识别自动化登录过程的方法流程图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，所述基于图像识别自动化登录过程的方法步骤为：s1.制作参考图片，所述参考图片用来表示凭证输入位置及其周边位置的特征；一般使用截图的方法来制作此参考图片；

s2.在参考图片上标记热点位置。热点位置指定了进行输入前需要激活的位置，一个参考图片可以包含多个热点位置，使用编号来标记这些热点位置，以便后来引用作为输入位置或者登录按钮的位置；

s3.图像识别过程开始运行：所述图像识别过程为在应用系统的显示登录界面的时候，截取当前显示内容，并和参考图片进行对比，识别并定位出显示内容中和参考图片相似的认证凭据输入区域；

s4定位出区域后，自动输入过程根据参考图片上的热点坐标激活热点所在输入位置，并自动输入预先定义好的认证凭证并自动点击登录按钮完成登录过程。

进一步地，所述图像识别过程会以一定间隔间断的执行，直到识别出认证凭据输入区域为止。

尽管通过以上实施例对本发明进行了揭示，但本发明的保护范围并不局限于此，在不偏离本发明构思的条件下，对以上各构件所做的变形、替换等均将落入本发明的权利要求范围内。

技术特征：

技术总结
本发明涉及一种基于图像识别自动化登录过程的方法，本发明步骤为：制作参考图片；在参考图片上标记热点位置；图像识别过程开始运行；定位出区域后，自动输入过程根据参考图片上的热点坐标激活热点所在输入位置，并自动输入预先定义好的认证凭证并自动点击登录按钮完成登录过程。本发明通过从登录界面中实时的识别参考图片来获得认证凭据位置，在自动化登录的某些场景下本方案具有更大的灵活性；通用性好，适用于更多的应用系统类型，如基于浏览器的应用和本地应，实施成本低，编码量小，技术要求低，适合非编码人员使用。

技术研发人员：张立杰;赵静谧
受保护的技术使用者：深圳竹云科技有限公司
技术研发日：2018.12.28
技术公布日：2019.05.28