触控模拟装置、控制方法以及用于控制智能设备的方法与流程

本发明涉及一种触控模拟装置、控制方法以及用于控制智能设备的方法，主要适用于对pc、手机或平板电脑等具有电容感应式触摸屏的智能终端的控制和测试。

背景技术：

随着通信技术的高速发展，终端的功能也越来越强大。为了满足用户更加简单、方便、自然的与终端进行人机交互，越来越多的终端配置触摸屏作为显示屏幕。触摸屏(touchscreen)又称为“触控屏”、“触控面板”，是一种可接收触头等输入讯号的感应式液晶显示装置，当接触了屏幕上的图形按钮时，屏幕上的触觉反馈系统可根据预先编程的程式驱动各种连结装置，可用以取代机械式的按钮面板，并借由液晶显示画面制造出生动的影音效果。按照工作原理和传输信息的介质，触摸屏可以分为电阻式、电容感应式、红外线式以及表面声波式四种不同类型。

如图1所示，电容感应式触摸屏，是在两层ito导电玻璃涂层上蚀刻出不同的ito导电线路模块。如图1所示，两个模块上蚀刻的图形相互垂直，可以把它们看作是x和y方向连续变化的滑条。由于x、y架构在不同表面，其相交处形成一个电容节点。一个滑条可以定义为驱动线路a1，另外一个滑条定义为是侦测线路b1。当电流经过驱动线路a1中的一条导线时，如果外界有电容变化的信号，那么就会引起另一层导线上电容节点的变化。侦测电容值的变化可以通过与之相连的电子回路测量得到，再经由a/d控制器转为数字讯号让计算机做运算处理取得（x，y）轴位置，进而达到定位的目地。控制器先后供电流给驱动线路a1，因而使各节点与导线间形成特定电场。然后逐列扫描感测线测量其电极间的电容变化量，从而达成多点定位。当手指或触动媒介接近时，控制器迅速测知触控节点与导线间的电容值改变，进而确认触控的位置。

作为人机交互的软件，在正式投入商业运营前，通常需要对软件的使用性、功能方面、画面、性能、所需配置等进行测试，对于软件的人机交互性能及控制效果的测试，软件开发商通常采用内测或公测的方式进行，目的是让更多的人参与测试，测试大量用户的运行情况。然而由于各种因素的影响，很多软件开发商要么根本不做测试计划和测试设计，要么在即将开始执行测试之前才飞快地完成测试计划和设计，在这种情况下，测试只是验证了程序的正确性，而不是验证整个系统本该实现的功能和使用效果等，或者即使采用大量人工参与的方式进行测试，但人工控制时的主观因素过多，比如操作方式、操作技巧等无法达到预定的要求，无法进行较高要求的测试评估。

技术实现要素：

本发明的目的在于提供一种触控模拟装置、控制方法以及用于控制智能设备的方法，解决在人机交互软件测试时无法精准控制触摸屏以及无法自动化模拟人工触摸控制的技术问题。

本发明解决上述问题所采用的技术方案是：一种触控模拟装置，用于电容感应式触摸屏，所述触摸屏包括纵横交错阵列式排布的驱动线路和侦测线路，该触控模拟装置包括四组金属触控条，分别为第一触控条、第二触控条、第三触控条、第四触控条，各触控条均由多片等长金属触片呈等间距间隔排列组成；所述第一触控条和第二触控条分别覆盖于触摸屏的横向两端且与所述触摸屏的驱动线路电性耦合以采集驱动线路的电流互感信号，所述第一触控条和第二触控条的各金属触片在横向方向对应错位排列；所述第三触控条和第四触控条分别覆盖于触摸屏的纵向两端且与所述触摸屏的侦测线路电性耦合以输出侦测线路的模拟电流互感信号,所述第三触控条与第四触控条的各金属触片在纵向方向对应错位排列；该触控模拟装置还包括第一处理电路，所述第一处理电路包括模拟信号处理电路和第一处理器，所述模拟信号处理电路均与第一处理器连接，所述模拟信号处理电路包括依次连接的多路输入模拟开关、模拟信号电平转换电路和多路输出模拟开关，第一触控条和第二触控条的各金属触片分别与多路输入模拟开关的输入端连接，第三触控条和第四触控条的各金属触片分别与多路输出模拟开关的输出端连接；所述第一处理器用于接收触摸操作指令，并控制多路输入模拟开关对应的触摸片采集驱动线路上对应位置线路的电流互感信号，经模拟信号电平转换电路处理后，通过多路输出模拟开关对应的触摸片输出侦测线路上对应位置的模拟电流互感信号，以模拟对该触摸位置执行触摸操作。

通过上述方案，本发明根据电容感应式触摸屏的触摸控制原理，通过横向上的触控条和纵向上的触控条之间的配合，模拟触摸屏的触摸控制。将触控条设置为四组，各组触控条均由多片金属触片组成，且各对应触控条上的金属触片对应错开的排布于触摸屏的四边，可以实现由四组触控条形成的方形范围内触摸屏上所有区域的模拟触摸操作。各触控条均由多片等长金属触片呈等间距间隔排列组成，金属触片可以采用纯金或沉金工艺金属触片，可以很好的与驱动线路和侦测线路之间形成电流互感信号连接，采用等长金属触片呈等间距间隔排列的方案，结合金属触片的阵列式排布形式可以为模拟操作区域建立坐标体系，便于与软件界面的图像坐标体系形成对应。在该触摸范围内触摸控制点的密度可以由改变金属触片的大小来控制。采用该方案后，可以通过设置不同的触摸操作指令，实现不同方式的自动化模拟触摸操作控制，控制精准度高。

根据上述方案的触控模拟装置，一次触摸动作的操作方法可以为：通过第一处理器控制模拟信号处理电路以控制第一触控条或第二触控条上的一个金属触片采集驱动线路的电流互感信号，通过控制第三触控条或第四触控条上的对应坐标位置的一个金属触片输出侦测线路的模拟电流互感信号，用于控制某一功能区域内的单点模拟触控操作。

进一步地，各金属触片的排列方式可以采用如下方案：第一触控条和第二触控条的各金属触片在横向方向对应错位且呈间隔式排列，所述第三触控条与第四触控条的各金属触片在纵向方向对应错位且呈间隔式排列。采用该种排列方式较为简单、方便，对于触摸点的模拟操作，可以在控制第一触控条或第二触控条上的一个金属触片采集驱动线路的电流互感信号的同时，控制第三触控条或第四触控条上的对应坐标位置的一个金属触片输出侦测线路的模拟电流互感信号，即可控制某一功能区域内的单点模拟触控操作。

进一步地，本发明的所述第一触控条和第二触控条的各金属触片在横向方向对应错位且部分重叠式排列，所述第三触控条与第四触控条的各金属触片在纵向方向对应错位且部分重叠式排列。采用该种方案，与上述错位且呈间隔式排列的方式相比，可以在同样大小的金属触片情况下，在触摸范围内有效提高触摸控制点的密度。

进一步地，本发明的所述第一处理电路设有多组模拟信号处理电路，各组模拟信号处理电路均与第一处理器连接；第一触控条和第二触控条的各金属触片均分别与各组模拟信号处理电路的多路输入模拟开关的输入端连接，第三触控条和第四触控条的各金属触片均分别与各组模拟信号处理电路的多路输出模拟开关的输出端连接。

根据上述方案的触控模拟装置，一次触摸动作的操作方法也可以为：通过第一处理器同时控制多组模拟信号处理电路分别同时控制某一功能区域内的多个单点的模拟触控操作，形成片区单点模拟触控操作。

根据上述方案的触控模拟装置，一次触摸动作的操作方法还可以为：通过第一处理器同时控制多组模拟信号处理电路分别同时控制多个不同功能区域内的多个单点的模拟触控操作，形成多点模拟触控操作。

一种控制智能设备的方法，包括第二处理电路、ai处理器，所述第二处理电路包括图像采集模块、第二处理器，其控制方法如下：

(1)图像采集：通过图像传感器或智能设备的图像输出端口采集图像信息经第二处理器传送给ai处理器。

(2)图像识别和移动侦测：通过ai处理器采用卷积神经网络技术，对步骤(1)中得到的图像进行特征提取和图像识别，获得图像中各物体的位置和类别信息。

(3)生成控制命令：ai处理器不断生成上述位置和类别信息，当监测到图像中出现某个事件发生时，通报给第二处理器,通过第二处理器预先设置好的控制程序，根据当前事件，生成产生下一步事件对应的控制命令信号，事件为图像中出现或消失某类或某多类物体的现象以及某类物体或某多类物体出现位置相对或绝对变化的现象。

(4)生成并发送触摸操作指令：上述控制命令信号由第二处理器生成上述触控模拟装置可识别的触摸操作指令并发送给触控模拟装置。

(5)执行触摸操作指令：所述触控模拟装置接收上述触摸操作指令后，通过模拟触摸操作的方式控制智能设备上正在运行的软件进行相应的操作控制。

(6)当步骤(5)中的触摸操作指令执行完成后，继续重复上述步骤(1)-(3)的控制过程，ai处理器通过采集到的新事件信息与前述步骤(3)中的所述下一步事件进行比对并生成新的事件信息，并对应生成新的控制命令信号，再继续重复上述步骤(4)-(5)的控制过程，形成闭环控制。

在所述步骤(3)中，所述控制命令信号为：将当前事件发生后的图像变更为下一步事件发生后的图像的软件控制程序。

在所述步骤(4)中，所述触摸操作指令用于对智能设备的模拟触控操作，模拟触控操作为对触摸屏上对应图像的功能区域进行触控的行为，触摸操作指令对应的触摸控制点的坐标位置与该图像上功能区域的位置对应设置，所述坐标位置采用的坐标体系为驱动线路和侦测线路组成的坐标网。

本发明的控制智能设备的方法，通过图像采集获得软件界面的数据信息，通过ai处理器采用卷积神经网络技术对图像进行识别和移动侦测数据，并通过该数据信息生成控制命令，并采用触摸模拟装置来执行该控制命令，以实现软件的操作控制，整个控制过程形成闭环控制，可以用于软件操作功能的自动测试。

本发明与现有技术相比，具有以下优点和效果：本发明公开的触控模拟装置及其控制方法，可代替以往人工的触控操作，触控精准度高、操作效率高，还可以用于复杂的操作；本发明的公开的控制智能设备的方法，该方法可以根据软件的图像数据信息，生成与触控模拟装置匹配的操作指令，并形成闭环控制，可用于对软件的自动化测试。

附图说明

图1为电容感应式触摸屏的驱动线路和侦测线路结构示意图。

图2为本发明的触控条的排布结构设计示意图一。

图3为本发明的触控条的排布结构设计示意图二。

图4为本发明的触控条的排布结构设计示意图三。

图5为本发明的触控条的排布结构设计示意图四。

图6为本发明的模拟信号处理电路的连接示意图一。

图7为本发明的模拟信号处理电路的连接示意图二。

图8为本发明实施例中模拟触控点的示意图。

图9为本发明的控制智能设备的控制流程图。

附图中：a1为驱动线路，b1为侦测线路，1为第一触控条,2为第二触控条,3为第三触控条,4为第四触控条,5为金属触片,6为模拟信号处理电路,61为多路输入模拟开关,62为模拟信号电平转换电路,63为多路输出模拟开关。

具体实施方式

下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图2-5所示，本实施例的触控模拟装置，包括四组金属触控条，分别为第一触控条1、第二触控条2、第三触控条3、第四触控条4，各触控条均由多片等长的金属触片5呈等间距间隔排列组成。

第一触控条1和第二触控条2分别覆盖于触摸屏的横向两端且与触摸屏的驱动线路电性耦合以采集驱动线路的电流互感信号，第一触控条1和第二触控条2的各金属触片5在横向方向对应错位排列；第三触控条3和第四触控条4分别覆盖于触摸屏的纵向两端且与触摸屏的侦测线路电性耦合以输出侦测线路的模拟电流互感信号,第三触控条3与第四触控条4的各金属触片5在纵向方向对应错位排列。

本实施例的各金属触片5的排列方式可以采用如下方案：如图2所示，第一触控条1和第二触控条2的各金属触片5在横向方向对应错位且部分重叠式排列，第三触控条3与第四触控条4的各金属触片5在纵向方向对应错位且部分重叠式排列。当然，也可以选择如下方案：第一触控条1和第二触控条2的各金属触片5在横向方向对应错位且呈间隔式排列，第三触控条3与第四触控条4的各金属触片5在纵向方向对应错位且呈间隔式排列，如图3所示。

为便于说明本实施例的各方案的作用和效果，本申请人将上述图2所示的方案命名为方案一，将上述图3所示的方案命名为方案二。再假设一个方案三，方案三仅包括第一触控条1和第三触控条3，如图4-5所示，图4中的第一触控条1、第三触控条3与图2中的第一触控条1、第三触控条3排布相同，图5中的第一触控条1、第三触控条3与图3中的第一触控条1、第三触控条3排布相同。图2-图5中的金属触片5大小相同，各金属触片5中心对应的驱动线路和侦测线路相连形成多个交叉点，该交叉点的个数可代表模拟触控点的分布密度，各图中的触控点密度由小到大依次为：图5＜图4＜图3＜图2。

如图6所示，该触控模拟装置还包括第一处理电路，第一处理电路包括多组模拟信号处理电路6和第一处理器，各组模拟信号处理电路6均与第一处理器连接，各组模拟信号处理电路6均包括依次连接的多路输入模拟开关61、模拟信号电平转换电路62和多路输出模拟开关63，第一触控条1和第二触控条2的各金属触片5均分别与各组模拟信号处理电路6的多路输入模拟开关61的输入端连接，第三触控条3和第四触控条4的各金属触片5均分别与各组模拟信号处理电路6的多路输出模拟开关63的输出端连接。其中，第一处理电路也可以设置一组模拟信号处理电路6，如图7所示，本实施例采用的是多组模拟信号处理电路6。

如图8所示，本实施例的触控模拟装置的控制方法如下：

某个功能区域内的单点模拟触摸动作：第一处理器接收到要模拟触摸a点触摸操作指令，控制其中一组模拟信号处理电路6的多路输入模拟开关61，通过c6金属触片5采集当前驱动线路上的电流互感信号，并同时控制该组模拟信号处理电路6的多路输出模拟开关63，通过d1金属触片5输出对应侦测线路的模拟电流互感信号，以实现模拟触摸a点的操作。

不同功能区域内的多点模拟触摸动作：第一处理器接收到要同时模拟触摸a点和b点的触摸操作指令，控制其中一组模拟信号处理电路6的多路输入模拟开关61，通过c6金属触片5采集当前驱动线路上的电流互感信号，并同时控制该组模拟信号处理电路6的多路输出模拟开关63，通过d1金属触片5输出对应侦测线路的模拟电流互感信号；同时，第一处理器控制另一组模拟信号处理电路6的多路输入模拟开关61，通过c5金属触片5采集当前驱动线路上的电流互感信号，并同时控制该组模拟信号处理电路6的多路输出模拟开关63，通过d2金属触片5输出对应侦测线路的模拟电流互感信号；以实现同时模拟a点和b点的触摸。

某个功能区域内的片区单点模拟触控操作：第一处理器接收到要同时模拟触摸c点、d点、e点和f点的触摸操作指令，控制其中一组模拟信号处理电路6的多路输入模拟开关61，通过e3金属触片5采集当前驱动线路上的电流互感信号，并同时控制该组模拟信号处理电路6的多路输出模拟开关63，通过d5金属触片5和d12金属触片5分别输出对应侦测线路的模拟电流互感信号；同时，第一处理器控制另一组模拟信号处理电路6的多路输入模拟开关61，通过e8金属触片5采集当前驱动线路上的电流互感信号，并同时控制该组模拟信号处理电路6的多路输出模拟开关63，通过d5金属触片5和d12金属触片5分别输出对应侦测线路的模拟电流互感信号；以实现由c、d、e、f点共同形成的片区单点模拟触控操作。

本实施例中的模拟信号处理电路6包括输入放大电路、数字调幅电路和正负限幅电路，由于信号接收端的金属触片5采集电容屏的互感电流非常小，需要经过放大电路对其进行放大，一般该部分电路的放大倍数是固定的，根据实际需求需要软件可控其放大倍数，所以后端有增加数字调幅电路可以通过软件控制放大倍数，信号的总放大倍数为前端固定放大倍数乘以后端数字调幅放大倍数，经过放大过的信号因为噪声等原因可能会产生峰值比较高的电平信号，这种信号容易被电容触摸屏识别为噪声从而忽略此次模拟触摸，另外一点过高的电流互感信号容易击穿电容屏造成设备损坏，所以后端有限幅电路，一般限制信号峰值不能超过正负12伏。

本实施例的控制智能设备的方法，包括第二处理电路、ai处理器，第二处理电路包括图像采集模块、第二处理器，其控制方法如下：

(1)图像采集：通过图像传感器或智能设备的图像输出端口采集图像信息并传送至第二处理器，第二处理器将图像信息传送给ai处理器。采集的视频或图片如果是经过编码压缩的，需先经过解码。采集的内容如果是视频格式，需要将视频按时间切片成一连串的图片。

该图像采集方式包括有线方式和无线方式。有线方式用于具有视频输出端口的设备，视频输出端口通常包括hdmi，dvi，vga，usb，type-c，mhl，lighting等等；无线方式为采用wifi、蓝牙等无线图像传输技术；或者可以直接用图像传感器接收视频信号等。

(2)图像识别和移动侦测：通过ai处理器采用卷积神经网络技术，对步骤(1)中得到的图像进行特征提取和图像识别，获得图像中各物体的位置和类别信息。

其中所述应用卷积神经网络技术对上述采集到的图像进行图片识别的过程和原理为：首先将采集到的图像分割成多个重叠的独立小块，比如分割成77张大小相同的小图片。然后将每个独立的小块输入小的神经网络，这个小的神经网络已经被训练用来判断一个图片是否属于某个类别，它输出的是一个特征数组。

将所有的独立小块输入小的神经网络后，再将每一个输出的特征数组按照第一步时77个独立小块的相对位置做排布，得到一个新数组。这个小的神经网络对这77张大小相同的小图片都进行同样的计算，权重共享。

对图像等数组数据来说，局部数组的值经常是高度相关的，可以形成容易被探测到的独特的局部特征；图像和其它信号的局部统计特征与其位置是不太相关的，如果特征图能在图片的一个部分出现，也能出现在任何地方。所以不同位置的单元共享同样的权重，并在数组的不同部分探测相同的模式。这种由一个特征图执行的过滤操作是一个离散的卷积。

卷积步骤完成后，再使用算法来缩减像素采样数组，按照2×2来分割特征矩阵，分出的每一个网格中只保留最大值数组，丢弃其它数组，得到最大池化数组。

接下来将最大池化数组作为另一个神经网络的输入，这个全连接神经网络会最终计算出此图是否符合预期的判断。

在实际应用时，卷积、最大池化和全连接神经网络计算，这几步中的每一步都可以多次重复进行，总思路是将大图片不断压缩，直到输出单一的值。使用更多卷积步骤，神经网络就可以处理和学习更多的特征。

(3)生成控制命令：ai处理器不断生成上述位置和类别信息，当监测到图像中出现某个事件发生时，通报给第二处理器,通过第二处理器预先设置好的控制程序，根据当前事件，生成产生下一步事件对应的控制命令信号，事件为图像中出现或消失某类或某多类物体的现象以及某类物体或某多类物体出现位置相对或绝对变化的现象。本实施例的控制命令信号为：将当前事件发生后的图像变更为下一步事件发生后的图像的软件控制程序。该软件控制程序是预先设置好的控制程序，是根据出现某类事件后需要做出的功能操作控制程序，可以是简单的命令等待，也可以是经过运算后的命令。

(4)生成并发送触摸操作指令：上述控制命令信号由第二处理器生成触控模拟装置可识别的触摸操作指令并发送给触控模拟装置；该触摸操作指令是指一连串的机器控制电平信号。

触摸操作指令用于对智能设备的模拟触控操作，模拟触控操作为对触摸屏上对应图像的功能区域进行触控的行为，触摸操作指令对应的触摸控制点的坐标位置与该图像上功能区域的位置对应设置，坐标位置采用的坐标体系为驱动线路和侦测线路组成的坐标网。

(5)执行触摸操作指令：触控模拟装置接收上述触摸操作指令后，通过模拟触摸操作的方式控制智能设备上正在运行的软件进行相应的操作控制。

(6)当步骤(5)中的触摸操作指令执行完成后，继续重复上述步骤(1)-(3)的控制过程，ai处理器通过采集到的新事件信息与前述步骤(3)中的下一步事件进行比对并生成新的事件信息，并对应生成新的控制命令信号，再继续重复上述步骤(4)-(5)的控制过程，形成闭环控制。

需要说明的是，本发明所提到的第一处理器和第二处理电路可以采用arm处理器或者更高级别性能的处理器，其控制第一处理电路等的具体软件程序为本领域技术人员根据本发明公开的内容采用常规的技术手段得以实现，本发明的保护范围不在于其控制程序及电路本身；本发明还提到的图像识别和移动侦测、控制命令的生成等使用到的ai处理器，可以采用市面npu或tpu架构的芯片或者其更高性能的芯片，其具体的软件算法及程序实现为本领域技术人员根据本发明公开的内容采用常规的技术手段得以实现，本发明的保护范围不在于其控制程序及电路本身。

虽然本发明已以实施例公开如上，但其并非用以限定本发明的保护范围，任何熟悉该项技术的技术人员，在不脱离本发明的构思和范围内所作的更动与润饰，均应属于本发明的保护范围。