基于云端人工智能技术的触摸屏设备操控系统的制作方法

本发明涉及的技术领域包括图像视频以及声音数据的捕获采集。电容式触摸屏的电子触发（模仿手指触摸），云端的人工智能模型训练，以及终端设备的基于人工智能模型的对当前手机应用的状态判断和触控操作。

背景技术：

电容式触摸屏已经成为智能手机，平板电脑等行业的标准。它们的工作原理是：触摸屏电子设备在运行时会在屏幕表面产生一个电场，当手指触摸屏幕时，会导致屏幕表面的电容改变进而引起电场变化，内置的触摸控制器通过传感器检测电场变化的的坐标来检测用户的触摸行为。除手动触发外，在许多场合下，电容式触摸屏的自动触发也有很大的需求，比如智能手机app的自动测试，智能运行等。

目前，用于自动触发触摸屏的系统主要基于模仿手指的机器手臂的机械运动，该机械手臂被带到触摸屏上的期望坐标并向下移动以触摸屏幕。由于速度的限制和这种系统的大尺寸，以及精度要求，该类设备通常都是价格非常昂贵的。本发明提出了一种通过改变触摸屏表面电场的电子触控方法，并通过引入连接到地面的导体来改变指定坐标的触摸屏电场，进而触发手机内置的触摸控制器，从而检测到触控行为。同机器手臂的方式相比，本发明体积小，速度快，价格便宜。

同时，由于近年来人工智能，深度增强学习的大力发展，已经可以在许多方面代替或超越人类，比如alphago玩围棋，利用增强学习训练玩atari游戏等，效果上比专业的玩家水平还要强。目前已经可以通过训练的方式让人工智能掌握部分应用的操作（比如游戏），因此可以替代人工的方式运行应用（典型的如游戏代练）。本发明将触摸屏的电子触控技术同云端的人工智能技术相结合，实现了对智能手机app的无侵入的智能运行，在许多场合下都是非常有价值的，比如手机游戏的代练，智能抢红包系统等。

技术实现要素：

本发明通过基于人工智能的系统，实现对手机应用的智能操控。具体来说，就是对选定的应用比如某款游戏在云端完成训练，当玩家打开该游戏，并把手机同本发明的设备对接之后，本发明设备通过同云端的系统配合，下载并运行智能模型，以一种非侵入的方式，智能的帮助用户操控智能手机app，比如实现智能游戏代练的功能。

该发明设备通过置于智能手机屏幕上方的摄像机录屏，屏幕数据发送到发明设备的处理器，处理器上运行着与手机前台应用相匹配的智能模型，该智能模型会产生相关操控指令，并通过控制电路和电子开关操控覆盖在手机显示屏上的透明操控面板来模仿用户的手指触摸行为以实现对手机的操作。透明操控面板通过以下方式来实现触摸操作：透明操控面板上排列着由许多透明导电岛组成的矩阵（实现上可以使用透明ito导电膜），每个导电岛都有导线连接到一个电子开关（mosfet或者继电器）。电子开关控制导电岛与地面的断开与连接。当电子开关处在导通状态时，导电岛与地面接通，因其直接接触手机触摸屏表面，会引起触摸屏上导电岛附近的电场变化，使得触摸屏控制器检测并定位触摸点的坐标。当电子开关处在断开状态，导电岛与触摸屏的电场恢复原样，使得触摸屏控制器检测到触摸行为的消失。通过遍布透明操控板上的导电岛矩阵，本发明可以模仿多种触摸行为，包括点击，长按，滑动，双指或多指触摸，放大缩小，旋转等典型触摸屏操作。

具体的操控流程如下：

1.在云端服务器上对常见智能手机app进行增强学习建模和模型训练，生成能够模仿人类操控app的人工智能模型。在云端服务器上维护着已训练好智能模型的智能手机app的列表。

2.运行手机端的移动管理app，连接到云端，搜索并下载一个智能手机app的智能模型到终端设备

3.在手机上启动该智能手机app，将手机放在终端设备的透明触控板下方，手机屏幕要紧贴透明触控板（以确保透明触控板上的电压变化能够触发触摸屏），并确保终端设备的摄像头能够采集到手机的屏幕数据。

4.启动终端设备，终端设备开始运行下载的智能模型。智能模型通过输入的手机屏幕和声音数据判断手机上智能应用的状态，并发出相应的操控命令。

5.操控命令经过控制电路，电子开关和透明触控板，最终转化为手机屏幕上的触摸行为，从而完成对手机应用的智能操控。

本发明包括三大主要模块：

•终端设备（硬件）。负责手机屏幕和声音数据的抓取。从服务器（电脑或者云端）下载智能模型并运行，根据智能模型的结果实现对手机的操控。手机操控主要由覆盖在手机的透明触摸屏操控面板实现。手机屏幕数据的抓取，主要通过置于屏幕上方的摄像头实现。声音数据的抓取，通过终端设备上的声音采集模块实现。

•移动管理app。运行在智能手机上，主要用来同云端系统进行通信，选择想要智能运行的智能手机app的智能模型并下载到终端设备运行，以实现对智能手机app操控。比如，想智能运行一款叫做滚动天空的智能手机app，就下载该应用的智能模型到绑定的终端设备。

•云端系统。对选定智能手机app利用人工智能进行训练，并将训练模型发送到终端设备。终端设备通过该模型代替人对手机应用进行操控，比如微信抢红包，游戏代练等。

附图说明

图1为发明的总体框架。本发明包括3部分：云端服务器，终端设备和移动管理app。附图中○1为终端设备。○2为触摸屏智能手机，移动管理app运行在该手机上，移动管理app主要同云端进行通信，选择需要智能运行的智能手机app并下载该智能手机app的智能模型到终端设备。○3为云端的服务器○4。终端设备同云端服务器通过ip网络相连。终端设备与触摸屏智能手机的交互见图2说明。

图2为终端设备结构图。终端设备通过置于智能手机屏幕上方的摄像头（图2中的屏幕摄像模块）采集智能手机的屏幕数据，通过声音输入设备（图2中的声音采集模块）采集智能手机的外放声音信息。采集的屏幕图像和声音信息被发送到处理器进行处理。处理器运行着适配选定智能手机app的智能模型，该模型的结果通过控制电路和电子开关控制透明触控板上的导电岛同大地的连接和断开，进而实现对手机的操控。通信模块负责同云端进行通信。

图3为透明触控板结构图。透明触控板基底○1由玻璃或者其他透明不导电材质构成。在该材质上方铺设导电材料（例如ito）构成的导电岛阵列○2。每个导电岛都通过导线○3连接到终端设备上的电子开关上。电子开关可以由mosfet或者继电器组成。当电子开关接通时，导电岛同大地相连，使得该区域的触摸屏电场发生变化，导致触摸屏控制器检测并定位触摸点的坐标。当电子开关断开时，导电岛同大地断开，使得该区域的触摸屏电场恢复原样，触摸行为消失。

具体实施方式

手指触摸的原理是通过在由触摸屏形成的电容内引入手指来干扰电容式触摸屏的电场。手指充当连接到人体（大地）的长导体。因此它“带走”由电容器感应的电荷，并使电容器的一部分没有电场，触摸屏控制器检测电场发生变化的区域并定位触摸点的坐标。

引入的手指可以通过触摸屏与连接到地面的导电岛来模拟。手指与触摸屏脱离接触可以通过断开与地面相连的导电岛来模拟。电子开关可以通过mosfet或者继电器实现。电子开关的控制通过设备控制模块来实现。

为精确的模拟手指触摸的行为，导电岛的尺寸不能太大，否则触摸精度不够。导电岛的尺寸也不能太小，否则电容量变化不足以激活触摸屏。通常导电岛的尺寸为3x3mm2到10x10mm2之间。本发明实现的方式是在透明的介质（如玻璃）上实现导电岛矩阵，矩阵中的每个导电岛都通过导线连接到电子开关上。该实现被称为透明触控板。因为导电岛个数可达上百个以上，所以控制模块典型通过fpga+cpu的方式实现。

操作的方法是首先需要通过移动管理app登陆到云端系统，选择进行智能操控的智能手机app（比如一款叫做滚动天空的游戏），需要确保该app已经安装在手机上。当app选定之后，在手机端启动该app，然后把手机放置于透明操控面板下面，终端设备将从云端下载该智能手机app的智能模型并运行。智能模型进而通过透明操控面板上的导电岛实现对手机的操控（模仿触摸行为）。

声音的采集较为简单，通过声音采集模块设备实现。

触控板需要透明的原因是需要实时采集屏幕信息，这是通过置于屏幕上方的视频采集模块实现的，因此触控板必须透明才不会遮挡屏幕数据的采集。采集的数据发送到终端设备的处理器，输入给智能模型。

云端服务器通过大量的训练（例如通过增强学习对一款游戏反复训练），生成针对某一智能手机app的智能模型，例如对于滚动天空这个游戏，该智能模型可以比熟练游戏玩家通过更多的关卡，得到更多的分数。当用户从移动管理app上选定该智能手机app后，该智能手机app的智能模型将会下载到本地的终端设备运行，进而实现对该智能手机app的智能操控。