一种基于图像识别进行智能操作的方法与流程

本发明涉及数字图像处理领域，特别是一种基于图像识别进行智能操作的方法。

背景技术

在android平台上，有许多重复单调的游戏操作或者说需要用户在出现图标后一直点击的事件，玩家需要重复操作，对于玩家的游戏体验来说非常的枯燥。并且，玩家在进行竞速类游戏时，其中某些一旦出现就需要释放或者点击的图标众多，用户的操作繁琐且操作十分的不便。

技术实现要素：

为了解决现有技术存在的不足，本发明的目的在于提供一种基于图像识别进行智能操作的方法。本发明通过智能化、智能的方式帮助用户进行重复图标的点击或者操作，从而使用户操作更简单而无需重复枯燥的操作。

为实现上述目的，本发明提供的一种基于图像识别进行智能操作的方法，包括以下步骤：

识别能够使用图像识别的应用程序；

根据不同的应用程序加载不同的图标模板，并且识别操作信息封装；

持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配；

执行预先设置好的智能操作；

继续录制屏幕，通过开关来控制智能操作。

进一步地，所述预先设置好的智能操作，为以固定间隔时间进行定时任务以获取模板屏幕图像，并进行模板匹配，同时智能操作存在一个阈值时间，在一个阈值时间内只允许执行一次智能操作，以防止终端设备抢占用户的可操作性。

进一步地，所述预先设置好的智能操作，为以每个任务固定一个任务阈值时间的原则进行线程调度优化，单个任务超出任务阈值时间则跳出，以释放资源并执行下一个任务；总的一批任务也有一个总阈值时间，超过设定的总阈值时间则跳出本次总的一批任务，以防线程阻塞导致性能减低影响用户操作。

进一步地，所述进行图标匹配的步骤，包括，如果图标匹配近似度不小于80%，则认为为识别到图标；如果图标匹配近似度小于80%，则判断为没有识别到图标。

进一步地，所述图像识别中的模板匹配算法，其基于tm_ccoeff系数匹配法进行改进，将匹配到的最小值坐标识别为模板的中心点，如果中心点位于可接受范围的内接圆半径内，则判断为存在图标模板。

进一步地，所述智能操作，为点击操作或拖拽操作。

进一步地，所述拖拽操作，是使用安卓底层接口instrumentation进行sendevent的触摸屏事件或者拖拽。

更进一步地，所述持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配的步骤，还包括，根据特征点信息以及色值阈值对图标匹配的近似度进行判断。

为实现上述目的，本发明提供的将辅助工具进行网络共享的方法，所述辅助工具执行上述的基于图像识别进行智能操作的方法，包括以下步骤：

选择特定的应用程序，并对需要操作的图标和智能操作进行识别；

将识别到的图标以及智能操作上传到服务器群组；

服务器群组接收到的信息后将信息存储到服务器数据库；

通过终端与后台的通信协议将执行上述的基于图像识别进行智能操作的方法的辅助工具推送至对应的终端设备；

终端设备解析加载对应的工具信息；

匹配到特定的场景后弹窗提示用户开启对应的辅助功能。

为实现上述目的，本发明提供的将辅助工具进行网络共享系统，所述系统用于将上述辅助工具进行网络共享的方法，所述系统，包括：

辅助运营工具，其将识别模板以及智能操作信息上传到服务器群组；

服务器群组，其将所述识别模板和智能操作信息对应游戏辅助工具分享给终端设备；

终端设备，其利用所述游戏辅助工具对游戏进行智能操作。

本发明提供的基于图像识别进行智能操作的方法通过一套可持续维护、可扩展的体系为手机终端设备提供智能化、智能的用户体验，其中将一些需要重复点击的图标收集好并作为模板在特定游戏中进行匹配，如果匹配到对应的图标后，帮助用户点击或者拖动对应的图标从而进入下一步操作，省去用户重复点击的烦恼，让终端设备显得更加智能。并且，本发明减轻玩家的重复操作并提高玩家的游戏体验，从而给玩家带来更多的便利操作，以智能化、智能的理念提高玩家在游戏中的游戏体验，使用户在游戏中的游戏体验更加智能化。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的基于图像识别进行智能操作的方法流程图；

图2为根据本发明的将辅助运营工具进行网络共享的方法的流程图；

图3为根据本发明的将辅助运营工具进行网络共享的系统示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明的基于图像识别进行智能操作的方法流程图。如图1所示，本发明的基于图像识别进行智能操作的方法包括以下步骤：

s101：识别能够使用图像识别的应用程序。

s102：根据不同的应用程序加载不同的图标模板，并且识别操作信息封装。

s103：持续录制屏幕并借助图像识别中的模板匹配算法进行图标匹配，并且根据特征点信息以及色值阈值对图标匹配的近似度进行判断。如果匹配近似度不小于80%，则判断为识别到图标并进行步骤s104，如果匹配近似度小于80%，则判断为没有识别到图标并进行步骤s105。图像识别中的模板匹配算法基于tm_ccoeff系数匹配法进行改进，将匹配到的最小值坐标识别为模板的中心点，如果中心点位于内接圆的半径内，则判断为存在图标模板。

s104：执行预先设置好的智能操作；智能操作为点击操作或拖拽操作，并且使用安卓底层接口instrumentation进行sendevent的触摸屏事件或者拖拽。本步骤中设置智能操作具体采用以下两种方法：（1）以固定间隔时间进行定时任务以获取模板屏幕图像，并进行模板匹配，同时智能操作存在一个阈值时间，在一个阈值时间内只允许执行一次智能操作，以防止终端设备抢占用户的可操作性；（2）以每个任务固定一个任务阈值时间的原则进行线程调度优化，单个任务超出任务阈值时间则跳出，以释放资源并执行下一个任务；总的一批任务也有一个总阈值时间，超过设定的总阈值时间则跳出本次总的一批任务，以防线程阻塞导致性能减低影响用户操作。

s105：继续录制屏幕，通过开关来控制步骤s104中的智能操作。

s106：判断是否退出应用程序，如果判断为没有退出应用程序，则返回至步骤s103，如果判断为退出应用程序，则结束操作。

实施本发明的基于图像识别进行智能操作的方法的示例如下：

示例1：玩家a在竞速游戏中每10s需要点击一次加速图标，随着游戏时间的加成，玩家慢慢的对这个加速图标感到厌倦，并且持续的点击手部操作也略显手酸，此时玩家a打开了预制在终端设备的自动加速功能，自动点击，第一时间出现自动帮玩家点击，省去了玩家a对加速图标的点击操作

示例2：玩家b在回合制游戏中，每天上线玩游戏日常都是枯燥的每日任务，每天点击的位置以及剧情都接近雷同，此时玩家b按照提示打开了自动识别功能，对于出现的固定位置的点击操作自动帮用户跳转，开启自动完成每日枯燥的任务并增加对游戏体验。

图2为将辅助运营工具进行网络共享的方法的流程图。如图2所示，本发明的将辅助运营工具进行网络共享的方法包括以下步骤：

s201：选择特定的应用程序，并对需要操作的图标和智能操作进行识别；

s202：将识别到的图标以及智能操作上传到服务器群组；

s203：服务器群组接收到的信息后将信息存储到服务器数据库；

s204：通过终端与后台的通信协议将执行基于图像识别进行智能操作的方法的辅助工具推送至对应的终端设备；

s205：终端设备解析加载对应的工具信息；

s206：匹配到特定的场景后弹窗提示用户开启对应的辅助功能。

图3为根据本发明的将辅助运营工具进行网络共享的系统示意图，如图3所示，利用该系统可将辅助运营工具进行网络共享。

辅助运营工具发现a游戏需要自动开门功能，将对应的开门图标以及识别后需要点击的开门坐标xy，以及任务调度的阈值时间通过共享的方式将信息上传到服务器，将对应游戏辅助工具分享给所有终端设备，其他用户接收到对应的工具后也能更加方便的进行游戏。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。