触控屏故障检测系统、方法以及触控屏设备与流程

1.本说明书涉及触控屏控制技术领域，尤其涉及一种触控屏故障检测系统、方法以及触控屏设备。


背景技术：

2.随着互联网技术的快速发展，大屏幕的触控屏类智能设备越来越多地应用到各行各业，比如无人值守场景，比如自助结算机、无人售卖货柜、酒店的自助入住机，等等。触控屏类智能设备是线下商业场景数字化服务的重要切入口。因为没有工作人员可以及时发现设备的故障并进行维护，一旦设备发生故障停止响应，会对用户产生极大的困扰，导致体验下降。现有技术中，触控屏的故障检测方法主要是通过检测触控屏在接收到用户的触摸操作后，处理器是否响应于用户的操作执行相应的内容，来判断触控屏是否存在故障，主要用于检测由于触控屏与处理器之间的通信故障或者处理器软件运行故障引起的死机，无法检测由于触控屏本身无法感知用户的触摸操作而引起的死机。
3.因此，需要提供一种更全面的触控屏故障检测系统、方法以及触控屏设备，不仅可以检测由于软件运行故障引起的死机，还可以检测由于触控屏本身感应故障引起的死机。


技术实现要素：

4.本说明书提供一种更全面的触控屏故障检测系统、方法以及触控屏设备，不仅可以检测由于软件运行故障引起的死机，还可以检测由于触控屏本身感应故障引起的死机。
5.第一方面，本说明书提供一种触控屏故障检测系统，用于触控屏设备，所述触控屏设备包括触控屏，所述触控屏故障检测系统包括至少两个麦克风以及检测装置，所述至少两个麦克风安装在所述触控屏设备内部并靠近所述触控屏，被配置为采集用户点击所述触控屏时的声音并输出至少两个目标音频信号；所述检测装置与所述至少两个麦克风以及所述触控屏通信连接，接收所述至少两个目标音频信号以及所述触控屏输出的触控信号，基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测。
6.在一些实施例中，所述基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测，包括：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，所述第一计算结果包括所述用户在所述目标时间窗口内执行了目标动作，所述目标动作包括点击所述触控屏；基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果，所述第二计算结果包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作；以及将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障。
7.在一些实施例中，所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏的第一位置；所述触控信号包括所述当前时刻所述用户点击所述触控屏的第二位置；所述将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障，包括：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设备存在第
一故障，所述第一故障包括所述触控屏感知故障，所述故障包括所述第一故障；或者确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述当前时刻之前的n个历史时刻所述用户点击所述触控屏的n个历史位置，确定所述触控屏设备是否存在第二故障，所述第二故障包括软件运行故障，所述故障包括所述第二故障，其中，所述目标位置包括所述第一位置或所述第二位置，所述n为不小于1的整数。
8.在一些实施例中，所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取预先训练好的动作识别模型，所述动作识别模型是基于所述至少两个麦克风输出的多个样本数据及其对应的多个样本标签训练得到的；以及将所述至少两个目标音频信号输入所述动作识别模型，确定所述第一计算结果。
9.在一些实施例中，所述多个样本数据中的每个样本数据包括：在标定人员点击所述触控屏时，所述至少两个麦克风输出的至少两个第一样本音频信号；以及在所述标定人员停止点击所述触控屏时，所述至少两个麦克风输出的至少两个第二样本音频信号；所述多个样本标签中的每个样本标签包括其对应的样本数据中，所述标定人员点击所述触控屏的样本位置，所述样本位置是基于所述标定人员点击所述触控屏时所述触控屏输出的触控信号得到的。
10.在一些实施例中，所述至少两个麦克风安装在所述触控屏上的不同位置，所述检测装置中预先存储有所述至少两个麦克风的安装位置；所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取所述至少两个目标音频信号中的每个目标音频信号在所述目标时间窗口内不同时间点的信号差；确定所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值，确定所述用户在所述目标时间窗口内点击了所述触控屏；以及基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置。
11.在一些实施例中，所述触控屏包括触控组件和显示屏，所述触控组件覆盖在所述显示屏上方，并输出所述触控信号，所述基于所述目标位置以及所述当前时刻之前的n个历史时刻所述用户点击所述触控屏的历史位置，确定所述触控屏设备是否存在第二故障，包括：获取所述目标位置以及所述n个历史位置；以及将所述目标位置与所述n个历史位置相匹配，确定所述触控屏设备是否存在所述第二故障，包括：确定所述目标位置与所述n个历史位置的距离在预设范围内，并且所述当前时刻所述显示屏的显示内容没有变化，确定所述触控屏设备存在所述第二故障，否则确定所述触控屏设备不存在所述故障。
12.第二方面，本说明书还提供一种触控屏故障检测方法，应用于本说明书第一方面所述的触控屏故障检测系统，包括：获取所述至少两个目标音频信号；获取所述触控屏输出的所述触控信号；以及基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测。
13.在一些实施例中，所述基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测，包括：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，所述第一计算结果包括所述用户在所述目标时间窗口内执行了目标动作，所述目标动作包括点击所述触控屏；基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果，所述第二计算结果包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作；以及将所述第一计算结果
与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障。
14.在一些实施例中，所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏的第一位置；所述触控信号包括所述当前时刻所述用户点击所述触控屏的第二位置；所述将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障，包括：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设备存在第一故障，所述第一故障包括所述触控屏感知故障，所述故障包括所述第一故障；或者确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述当前时刻之前的n个历史时刻所述用户点击所述触控屏的n个历史位置，确定所述触控屏设备是否存在第二故障，所述第二故障包括软件运行故障，所述故障包括所述第二故障，其中，所述目标位置包括所述第一位置或所述第二位置，所述n为不小于1的整数。
15.在一些实施例中，所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取预先训练好的动作识别模型，所述动作识别模型是基于所述至少两个麦克风输出的多个样本数据及其对应的多个样本标签训练得到的；以及将所述至少两个目标音频信号输入所述动作识别模型，确定所述第一计算结果。
16.在一些实施例中，所述多个样本数据中的每个样本数据包括：在标定人员点击所述触控屏时，所述至少两个麦克风输出的至少两个第一样本音频信号；以及在所述标定人员停止点击所述触控屏时，所述至少两个麦克风输出的至少两个第二样本音频信号；所述多个样本标签中的每个样本标签包括其对应的样本数据中，所述标定人员点击所述触控屏的样本位置，所述样本位置是基于所述标定人员点击所述触控屏时所述触控屏输出的触控信号得到的。
17.在一些实施例中，所述至少两个麦克风安装在所述触控屏上的不同位置，所述检测装置中预先存储有所述至少两个麦克风的安装位置；所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取所述至少两个目标音频信号中的每个目标音频信号在所述目标时间窗口内不同时间点的信号差；确定所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值，确定所述用户在所述目标时间窗口内点击了所述触控屏；以及基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置。
18.在一些实施例中，所述触控屏包括触控组件和显示屏，所述触控组件覆盖在所述显示屏上方，并输出所述触控信号，所述基于所述目标位置以及所述当前时刻之前的n个历史时刻所述用户点击所述触控屏的历史位置，确定所述触控屏设备是否存在第二故障，包括：获取所述目标位置以及所述n个历史位置；以及将所述目标位置与所述n个历史位置相匹配，确定所述触控屏设备是否存在所述第二故障，包括：确定所述目标位置与所述n个历史位置的距离在预设范围内，并且所述当前时刻所述显示屏的显示内容没有变化，确定所述触控屏设备存在所述第二故障，否则确定所述触控屏设备不存在所述故障。
19.第三方面，本说明书还提供一种触控屏设备，包括触控屏、中央控制器以及本说明书第一方面所述的触控屏故障检测系统，其中，所述触控屏，包括显示屏以及触控组件，所述显示屏用于显示内容；所述触控组件覆盖在所述显示屏上方，响应于用户的点击输出触控信号；所述中央控制器与所述触控屏通信连接，接收所述触控信号，响应于所述触控信号控制所述显示屏显示内容的变化。
20.由以上技术方案可知，本说明书提供的触控屏故障检测系统、方法以及触控屏设备，通过在触控屏的不同位置设置多个麦克风，采集用户点击触控屏的声音信号，从而判断用户点击触控屏的位置。同时，所述触控屏故障检测系统可以将基于麦克风信号识别的触摸位置与基于触控屏的触控信号识别的触摸位置相匹配。当二者不匹配时，代表触控屏本身可能存在感应故障，无法感应到用户的操作或者感应的用户操作位置不准确。当二者匹配时，所述触控屏故障检测系统可以检测根据用户历史点击触控屏的位置，判断用户是否在同一个位置重复点击，同时检测显示屏的显示内容有没有发生变化。若用户在同一个位置反复点击，并且显示屏内容没有发生变化，代表可能存在软件运行故障，导致显示屏没有及时对用户的点击操作做出响应。若用户没有在同一个位置反复点击，或者显示屏的显示内容响应于用户的点击操作发生了变化，代表触控屏设备不存在故障。本说明书提供的触控屏故障检测系统、方法以及触控屏设备，不仅能够检测由于触控屏自身的感应故障引起的显示屏无响应，也能够检测由于中央控制器软件运行故障引起的显示屏无响应，以针对不同的故障类型采取不同的应对措施，其故障检测更全面。本说明书提供的触控屏故障检测系统、方法以及触控屏设备，不仅可以提高故障检测的全面性、可靠性以及鲁棒性，还能够降低触控屏设备成本，从而提高触控屏设备的稳定性，降低触控屏设备发生故障宕机的可能性。
21.本说明书提供的触控屏故障检测系统、方法以及触控屏设备的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的触控屏故障检测系统、方法以及触控屏设备的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
22.为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了根据本说明书的实施例提供的一种触控屏设备的结构示意图；
24.图2示出了根据本说明书的实施例提供的一种触控屏触控工作原理图；
25.图3示出了根据本说明书的实施例提供的一种中央控制器和检测装置的硬件结构框图；
26.图4示出了根据本说明书的实施例提供的一种触控屏故障检测方法流程图；
27.图5示出了根据本说明书的实施例提供的一种确定第一计算结果的流程图；
28.图6示出了根据本说明书的实施例提供的一种动作识别模型的训练方法的流程图；以及
29.图7示出了根据本说明书的实施例提供的另一种确定第一计算结果的流程图。
具体实施方式
30.以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部
修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
31.这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
32.考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
33.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
34.图1示出了根据本说明书的实施例提供的一种触控屏设备001的结构示意图。触控屏设备001可以是任意可以实现触控操作的显示设备。比如，自助结算设备、无人售卖货柜、自助入住设备，甚至可以是智能手机，等等。触控屏设备001可以包括壳体100、触控屏400、中央控制器600以及触控屏故障检测系统800。
35.壳体100可以是触控屏设备001的安装基体。壳体100可以是任意形状，比如，长方体、正方体，等等。壳体100可以是任意材质，比如金属材料、高分子材料、塑料材料，等等。本说明书对壳体100的形状和材质不进行限定。
36.图2示出了根据本说明书的实施例提供的一种触控屏400触控工作原理图。触控屏400可以安装在壳体100上。触控屏400可以是触控屏设备001与用户进行人机交互的设备。触控屏400可以包括显示屏420和触控组件440。显示屏420用于显示内容。显示屏420可以接收图像数据并进行显示。触控组件440可以覆盖在显示屏420的上方，响应于用户的点击输出触控信号。触控组件440可以是电容式触控屏幕。
37.如图2所示，触控组件440可以包括导电薄膜441、感测线442、驱动线443以及触摸控制器444。
38.导电薄膜441可以是由ito(氧化铟锡)材料构成的透明导电薄膜。所述导电薄膜441覆盖在显示屏420上。所述导电薄膜441上可以分布有感测线442和驱动线443。感测线442与驱动线443形成了感测电容。当用户手指位于触摸区域449接近感测电容448时，感测电容448的幅值会随着用户手指的靠近而减小，感测电容448大小发生变化。感测线442和驱动线443与触摸控制器444电连接。触摸控制器444包括感测电路445、驱动电路446以及处理器447。处理器447与感测电路4445和驱动电路446电连接。感测电路445与感测线442电连接。驱动电路446与驱动线443电连接。感测电路445和驱动电路446接收感测线442和驱动线443测量的感测电容448的变化，并将所述感测电容448发送给处理器447。处理器447可以基于所述感测电容448大小的变化计算用户点击触摸屏400时的触控位置，生成触控信号。为
了方便描述，我们将所述触控信号中基于所述感测电容计算的所述触控位置定义为第二位置。
39.触控屏400可以与中央控制器600通信连接，以进行数据传输。所述通信连接可以是能够进行数据传输的任意形式的连接。所述通信连接可以是有线通信连接，比如电连接，也可以是无线通信连接。具体地，触控屏400中的显示屏420和触控组件440均可以与中央控制器600通信连接。中央控制器600可以基于所述通信连接接收触控组件440发送的所述触控信号，并响应于所述触控信号控制所述显示屏420显示内容的变化。具体地，中央控制器600可以基于所述触控信号中包含的触控位置，确定用户点击触控屏400的触控位置对应的操作指令，并基于所述操作指令，控制显示屏420显示内容的变化，以使显示屏420显示与所述操作指令对应的内容。用户可以通过点击触控屏400，使触控屏400生成所述触控信号，向中央控制器600进行数据输入，以与中央控制器600进行人机交互。
40.中央控制器600可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。当然，中央控制器600也可以仅为具有数据处理能力的硬件设备，或者，仅为运行在硬件设备中的程序。在一些实施例中，中央控制器600可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，中央控制器600可以是具有定位技术的设备，用于定位中央控制器600的位置。
41.触控屏故障检测系统800可以包括至少两个麦克风820以及检测装置840。至少两个麦克风820可以安装在所述触控屏设备001内部并靠近所述触控屏400。至少两个麦克风820可以被配置为采集用户点击所述触控屏400时的声音。至少两个麦克风820可以安装在所述触控屏设备001内部以降低触控屏设备001外部的声音信号对麦克风820的影响。至少两个麦克风820可以输出至少两个目标音频信号。所述至少两个麦克风820可以安装在所述触控屏400上的不同位置。麦克风820可以是气传到麦克风也可以是骨传导麦克风。在一些实施例中，麦克风820可以是mems麦克风。用户点击触摸屏420时的声音产生的气压使得mems振膜发生震动，进而产生电容变化。检测电路将电容变化的大小转化为电压信号的大小，然后通过adc转化为数字信号，即所述目标音频信号。
42.检测装置840可以与所述至少两个麦克风820通信连接。检测装置840中预先存储有所述至少两个麦克风820的安装位置。在一些实施例中，检测装置840可以基于麦克风阵列算法，根据至少两个麦克风820输出的至少两个目标音频信号的特征、幅值大小以及相位差，不仅可以确定用户是否点击了触控屏400，还可以计算用户点击触控屏400的位置。在一些实施例中，检测装置840还可以基于预先训练好的动作识别模型确定用户是否点击了触控屏400，以及用户点击触控屏400时的位置。具体地，检测装置840可以基于多样本数据及其对应的样本标签训练所述动作识别模型。每个样本数据可以包括用户点击触控屏400时麦克风820分别输出的音频信号以及用户停止点击触控屏400时麦克风820输出的音频信号。每个样本数据对应的样本标签可以是用户点击触控屏400时的位置。为了方便描述，我们将检测装置840基于所述至少两个目标音频信号确定的用户点击触控屏400时的位置定义为第一位置。
43.在一些实施例中，触控屏故障检测系统800可以包括两个麦克风820。在一些实施例中，触控屏故障检测系统800可以包括更多数量的麦克风820，比如，3个，4个，5个，6个，等等。麦克风820的数量越多，检测装置840根据麦克风820输出的目标音频信号确定所述第一
位置的准确率越高。
44.检测装置840还可以与所述触控屏400通信连接。在一些实施例中，检测装置840可以与触控屏400中的触控组件440通信连接，以获取所述触控信号。在一些实施例中，检测装置840还可以与触控屏400中的显示屏420通信连接，以监测显示屏420的显示内容是否发生变化。
45.检测装置840可以存储有执行本说明书描述的触控屏故障检测的方法的数据或指令，并可以执行或用于执行所述数据和/或指令。检测装置840可以接收所述至少两个目标音频信号以及所述触控屏400输出的触控信号，并基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备001进行故障检测。检测装置840可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。当然，检测装置840也可以仅为具有数据处理能力的硬件设备，或者，仅为运行在硬件设备中的程序。
46.在一些实施例中，触控屏设备001还可以包括成像模组900。所述成像模组900可以安装在壳体100的外部，用于采集用户的图像数据，比如生物特征图像数据，比如面部图像数据、指纹图像数据、掌纹图像数据，等等，再比如支付码图像数据等等。
47.在一些实施例中，触控屏设备001还可以包括外置麦克风(图1中未示出)。所述外置麦克风可以安装在壳体100的外部，用于采集壳体100外部的声音信号。
48.在一些实施例中，触控屏设备001还可以包括外置扬声器(图1中未示出)。所述外置扬声器可以安装在壳体100的外部，用于向用户进行语音播报。
49.图3示出了根据本说明书的实施例提供的一种中央控制器600和检测装置840的硬件结构框图。中央控制器600可以包括至少一个主处理器620和至少一个主存储介质630。在一些实施例中，中央控制器600还可以包括通信端口650。
50.通信端口650用于中央控制器600同外界的数据通讯。通信端口650可以包括有线通信模块和无线通信模块中的至少一种。所述无线通信模块可以是wifi通信模块，也可以是蓝牙通信模块，还是可以是网络通信模块，比如4g通信模块、5g通信模块，等等。
51.主存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘、只读存储介质(rom)或随机存取存储介质(ram)中的一种或多种。主存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码。所述计算机程序代码可以包括程序、例程、对象、组件、数据结构、过程、模块等等。
52.至少一个主处理器620可以同至少一个主存储介质630、通信端口650、触控屏400(包括显示屏420以及触控组件440)通信连接。在一些实施例中，至少一个主处理器620还可以同触控屏故障检测系统800通信连接，即同检测装置840以及至少两个麦克风820通信连接。在一些实施例中，至少一个主处理器620还可以同所述成像模组900、所述外置麦克风以及所述外置扬声器通信连接。主处理器620可以是一个或多个处理器的形式，在一些实施例中，主处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(risc)，专用集成电路(asic)，特定于应用的指令集处理器(asip)，中央处理单元(cpu)，图形处理单元(gpu)，物理处理单元(ppu)，微控制器单元，数字信号处理器(dsp)，现场可编程门阵列(fpga)，高级risc机器(arm)，可编程逻辑器件(pld)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中中央控制器
600中仅描述了一个主处理器620。然而，应当注意，本说明书中中央控制器600还可以包括多个主处理器620，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中中央控制器600的主处理器620执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同主处理器620联合或分开执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一和第二处理器共同执行步骤a和b)。
53.检测装置840可以包括至少一个处理器842和至少一个存储介质843。存储介质843可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘、只读存储介质(rom)或随机存取存储介质(ram)中的一种或多种。存储介质843还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的触控屏故障检测方法p100的程序、例程、对象、组件、数据结构、过程、模块等等。
54.至少一个处理器842可以同至少一个存储介质843、触控屏400(包括显示屏420以及触控组件440)以及至少两个麦克风820通信连接。至少一个处理器842用以执行上述至少一个指令集。当触控屏故障检测系统800运行时，至少一个处理器842读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的触控屏故障检测方法p100。处理器842可以执行触控屏故障检测方法p100包含的所有步骤。处理器842可以是一个或多个处理器的形式，在一些实施例中，处理器842可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(risc)，专用集成电路(asic)，特定于应用的指令集处理器(asip)，中央处理单元(cpu)，图形处理单元(gpu)，物理处理单元(ppu)，微控制器单元，数字信号处理器(dsp)，现场可编程门阵列(fpga)，高级risc机器(arm)，可编程逻辑器件(pld)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中触控屏设备001中仅描述了一个处理器842。然而，应当注意，本说明书中中央控制器600还可以包括多个处理器842，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中触控屏设备001的处理器842执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同处理器842联合或分开执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一和第二处理器共同执行步骤a和b)。
55.触控屏故障检测系统800可以执行本说明书描述的触控屏故障检测方法。具体的，检测装置840可以执行本说明书描述的触控屏故障检测方法。所述触控屏故障检测方法在本说明书中的其他部分介绍。比如，在图4的描述中介绍了所述触控屏故障检测方法p100。触控屏故障检测系统800可以包括至少两个麦克风820以及检测装置840。
56.检测装置840可以与中央控制器600通信连接，以将触控屏故障检测的结果发送给中央控制器600。当检测装置840检测到触控屏设备001存在故障时，中央控制器600控制触控屏设备001重启。检测装置840也可以在检测到触控屏设备001存在故障时，直接控制触控屏设备001重启。
57.在一些实施例中，检测装置840可以集成在中央控制器600中。此时，检测装置840可以是中央控制器600中的一个进程。在一些实施例中，处理器843可以集成中央控制器600中，处理器843与主处理器630并列存在。在一些实施例中，处理器843可以集成在主处理器
632中，是主处理器630中的一部分。在一些实施例中，存储介质842可以集成中央控制器600中，存储介质842与主存储介质620并列存在。在一些实施例中，存储介质842可以集成在主存储介质620中，是主存储介质620的一部分。
58.在一些实施例中，检测装置840可以独立于中央控制器600，与中央控制器600独立运行。当中央控制器600发生故障时，检测装置840可以独立运行，判断用户是否有触摸触控屏400的动作，进一步提高系统的冗余度。
59.图4示出了根据本说明书的实施例提供的一种触控屏故障检测方法p100的流程图。触控屏故障检测方法p100用于触控屏故障检测系统800。如前所述，检测装置840可以执行本说明书所述的触控屏故障检测方法p100。具体地，处理器843可以读取存储在其本地存储介质中的指令集，然后根据所述指令集的规定，执行本说明书所述的触控屏故障检测方法p100。在一些实施例中，所述方法p100可以包括：
60.s120：获取所述至少两个目标音频信号。
61.检测装置840可以基于与至少两个麦克风820的通信连接，获取至少两个麦克风820输出的所述至少两个目标音频信号。当用户点击触控屏400时，所述至少两个音频信号可以包括用户点击触控屏400的声音信号。
62.s140：获取所述触控屏400输出的所述触控信号。
63.检测装置840可以基于与触控屏400的通信连接，获取触控屏400输出的所述触控信号。如前所述，触控组件440可以输出所述触控信号。所述触控信号包括基于感测电容的变化计算的用户点击触控屏400时的触控位置，即所述第二位置。
64.s160：基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备001进行故障检测。
65.检测装置840可以基于所述至少两个目标音频信号和所述触控信号共同对触控屏设备001进行故障检测。具体地，步骤s160可以包括：
66.s162：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果。
67.所述当前时刻可以是一个时间段，即所述目标时间窗口。所述目标时间窗口可以是任意时长，比如，1s、2s、3s、4s，等等，甚至可以是更长的时间段，比如5s，10s，等等。所述目标时间窗口的时长可以基于经验获取，也可以基于实验的方式获取，还可以基于机器学习的方式获取。在一些实施例中，所述目标时间窗口的时长可以是用户在对触控屏400进行操作时，每进行一次点击所需的最短时长。在所述目标时间窗口内，用户可以只点击一次触控屏400。
68.检测装置840可以基于所述目标时间窗口内的所述至少两个目标音频信号的变化，确定用户是否在所述目标时间窗口内点击了触控屏400。当用户在所述目标时间窗口内没有点击触控屏400时，代表用户在所述目标时间窗口内没有执行任何触控操作，检测装置840可以不做响应。当用户在所述目标时间窗口内点击了触控屏400时，代表用户在所述目标时间窗口内执行了某一个触控操作，检测装置840可以进一步融合所述触控信号判断触控屏设备001是否存在故障。为了方便展示，下面的描述中我们将以用户在所述目标时间窗口内点击了触控屏400为例进行描述。为了方便展示，我们将用户点击所述触控屏400的动作定义为目标动作。
69.在一些实施例中，所述第一计算结果可以包括所述用户在所述目标时间窗口内执行了所述目标动作。所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏400时的第一位置。
70.图5示出了根据本说明书的实施例提供的一种确定第一计算结果的流程图。在一些实施例中，检测装置840可以基于所述至少两个目标音频信号的特征、幅值大小、相位差等特征，确定所述第一计算结果，如图5所示。图5对应的是步骤s162。如图5所述，步骤s162可以包括：
71.s162
‑
1：获取所述至少两个目标音频信号中的每个目标音频信号在所述目标时间窗口内不同时间点的信号差。
72.在一些实施例中，所述至少两个目标音频信号中的每个目标音频信号中可以包括用户点击触控屏400时的声音信号，还可以包括触控屏400所处环境的环境噪声信号。对于所述至少两个目标音频信号中的每个目标音频信号，检测装置840可以获取其在所述目标时间窗口内的不同时间点的信号差，以消除所述环境噪声信号，只保留所述用户点击触控屏400时的声音信号。因此，所述至少两个目标音频信号中的每个目标音频信号对应一个信号差。
73.s162
‑
2：确定所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值，确定所述用户在所述目标时间窗口内点击了所述触控屏400。
74.当所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值时，代表所述用户在所述目标时间窗口内点击了所述触控屏400。此时，所述信号差代表用户点击触控屏400时的声音信号。否则，代表所述用户在所述目标时间窗口内没有点击所述触控屏400。所述预设值可以是任意值，比如0、1，等等。所述预设值可以是基于经验获取的，也可以是基于实验方式获取的，还可以是基于机器学习的方式获取的。
75.s162
‑
3：基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置。
76.如前所述，至少两个麦克风820的安装位置不同，那么声音信号到达不同的麦克风820的时间也不同。此时，不同的麦克风820接收到的声音信号的相位也不同。检测装置840可以基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置，即用户在所述目标时间窗口内点击触控屏400的位置。
77.在一些实施例中，检测装置840还可以基于所述至少两个目标音频信号以及预先训练好的动作识别模型来确定用户点击触控屏400时的第一位置。所述动作识别模型是基于所述至少两个麦克风820输出的多个样本数据及其对应的多个样本标签训练得到的。所述多个样本数据中的每个样本数据可以包括：在标定人员点击所述触控屏400时，所述至少两个麦克风820输出的至少两个第一样本音频信号；以及在所述标定人员停止点击所述触控屏400时，所述至少两个麦克风820输出的至少两个第二样本音频信号。所述多个样本标签中的每个样本标签包括其对应的样本数据中，所述标定人员点击所述触控屏400的样本位置。所述样本位置是基于所述标定人员点击所述触控屏400时所述触控屏400输出的触控信号得到的。
78.图6示出了根据本说明书的实施例提供的一种动作识别模型的训练方法p200的流程图。检测装置840可以执行动作识别模型的训练方法p200。动作识别模型的训练方法p200
也可以由其他计算设备执行，并将训练好的动作识别模型存储在检测装置840中。具体地，动作识别模型的训练方法p200可以包括：
79.s220：获取多个样本数据。
80.指令标定人员在触控屏400的不同位置进行点击。在标定人员每次点击触控屏400时，从至少两个麦克风820中获取标定人员每次点击触控屏400时对应的至少两个第一样本音频信号；在标定人员每次点击触控屏400之后不再点击触控屏400时，从至少两个麦克风820中获取标定人员每次停止点击触控屏400后对应的至少两个第二样本音频信号。将标定人员每次点击所述触控屏400以及停止点击所述触控屏400时的所述至少两个第一样本音频信号以及所述至少两个第二样本音频信号作为一个样本数据。
81.s240：获取所述多个样本数据对应的多个样本标签。
82.在标定人员每次点击触控屏400时，从触控组件440中获取标定人员每次点击触控屏400时对应的触控信号，基于所述触控信号确定标定人员每次点击触控屏400时的样本位置。所述多个样本标签包括标定人员每次点击触控屏400时的样本位置。
83.s260：基于所述多个样本数据与所述多个样本标签对所述动作识别模型进行训练。
84.所述动作识别模型可以是传统的机器学习训练模型，比如，svm、knn等，也可以是神经网络模，比如rnn、cnn、lstm等。我们可以根据具体的硬件系统方案和算法方案来优化所述动作识别模型。选练好的所述动作识别模型可以通过麦克风820的信号识别用户点击触控屏400的动作和第一位置。
85.s280：将训练好的所述动作识别模型存储在检测装置840中。
86.图7示出了根据本说明书的实施例提供的另一种确定第一计算结果的流程图。图7示出的是检测装置840基于所述至少两个目标音频信号以及预先训练好的动作识别模型来确定用户点击触控屏400时的第一位置的流程图。图7对应的是步骤s162。如图7所述，步骤s162可以包括：
87.s162
‑
5：获取预先训练好的动作识别模型；以及
88.s162
‑
6：将所述至少两个目标音频信号输入所述动作识别模型，确定所述第一计算结果。
89.如图4所示，步骤s160还可以包括：
90.s164：基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果。
91.所述第二计算结果可以包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作。如前所述，所述触控信号可以包括所述当前时刻所述用户点击所述触控屏400的第二位置。检测装置840可以基于搜书目标时间窗口内的所述触控信号与没有点击触控屏400时的触控信号，确定用户在所述目标时间窗口内是否执行了所述目标动作，以及用户执行了所述目标动作时的所述第二位置。
92.如图4所示，步骤s160还可以包括：
93.s166：将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备001是否存在故障。
94.步骤s166可以包括以下情况中的一种：
95.s166
‑
2：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设
备001存在第一故障。
96.所述第二计算结果与所述第一计算结果不匹配可以包括两种情况。一种情况是第一计算结果中确定用户在所述目标时间窗口内执行了所述目标动作，而第二计算结果中确定用户在所述目标时间窗口内没有执行所述目标动作。另一种情况是第一计算结果中确定用户在所述目标时间窗口内执行了所述目标动作，并且用户点击触控屏400的位置是第一位置，而第二计算结果中确定用户在所述目标时间窗口内执行了所述目标动作，并且用户点击触控屏400的位置是第二位置，并且所述第一位置与所述第二位置不是同一个位置。所述第一位置与所述第二位置不是同一个位置，可以是第一位置与所述第二位置之间的距离超过预设阈值。所述预设阈值可以是任意值。所述预设阈值可以通过经验方式获取，可以通过实验方式获取，也可以通过机器学习的方式获取。
97.当所述第二计算结果与所述第一计算结果不匹配时，代表触控屏设备001可能存在第一故障。所述故障包括所述第一故障。所述第一故障可以包括所述触控屏400感知故障。所述触控屏400感知故障可以是触控屏400的感测电路445、驱动电路446、或者触摸控制器444中的嵌入式算法发生故障，导致触控屏400的通信正常，但是触控屏400感知不到用户的点击和触摸。所述触控屏400感知故障还可以是触控屏400受到外界干扰，导致测量不准确。比如静电干扰、电磁干扰、湿度温度变化、供电电压变化、宇宙射线干扰等。当触控屏设备001存在第一故障时，需及时对触控屏400进行检修，修理或更换故障零件。当检测装置840检测到触控屏设备001存在第一故障时，检测装置840可以将触控屏设备001存在第一故障的检测结果发送给中央控制器600.中央控制器600在接收到所述检测结果后，可以采取相应的措施以提示工作人员对触控屏400进行检修。比如，中央控制器600可以通过所述外置扬声器对外广播语音，以提示工作人员，比如对外广播“触控屏存在感知故障，请及时检修”等语音信号。中央控制器600也可以向外部电子设备发送所述检测结果，以提示工作人员对触控屏400进行检修。所述外部电子设备可以是与工作人员相关的终端设备，比如，工作人员的智能手机、后台电脑，甚至是后台指挥控制中心，等等。刺死，所述检测结果中还可以包括存在第一故障的触控屏设备001的设备标识、设备定位等信息。
98.s166
‑
4：确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述当前时刻之前的n个历史时刻所述用户点击所述触控屏400的n个历史位置，确定所述触控屏设备001是否存在第二故障。
99.所述第二计算结果与所述第一计算结果匹配可以是，第一计算结果中确定用户在所述目标时间窗口内执行了所述目标动作，并且用户点击触控屏400的位置是第一位置，而第二计算结果中确定用户在所述目标时间窗口内执行了所述目标动作，并且用户点击触控屏400的位置是第二位置，并且所述第一位置与所述第二位置是同一个位置。此时，所述目标位置包括所述第一位置或所述第二位置，所述n为不小于1的整数。
100.所述第二故障可以包括软件运行故障，所述故障包括所述第二故障。所述软件运行故障可以是因为软件错误(例如指针错误、内存溢出、死循环)，导致显示屏420的显示内容没有变化。比如触控屏400正常工作，但中央控制器600没有收到所述触控信号，或者在收到所述触控信号时，软件没有作出正确的响应。
101.如图4所述，步骤s166
‑
4可以包括：
102.s166
‑
42：获取所述目标位置以及所述n个历史位置；以及
103.所述n个历史位置可以是在当前时刻之前的n个历史时刻中，每个历史时刻对应的用户点击触控屏400的历史位置。所述历史位置可以是历史时刻用户点击触控屏400的第一位置或第二位置。
104.s166
‑
44：将所述目标位置与所述n个历史位置相匹配，确定所述触控屏设备001是否存在所述第二故障。
105.步骤s166
‑
44可以包括：
106.s166
‑
442：确定所述目标位置与所述n个历史位置的距离在预设范围内，并且所述当前时刻所述显示屏420的显示内容没有变化，确定所述触控屏设备存在所述第二故障；或者
107.s166
‑
444：否则确定所述触控屏设备001不存在所述故障。即触控屏设备001既不存在第一故障也不存在第二故障。
108.检测装置840可以检测根据用户历史点击触控屏400的位置，判断用户是否在同一个位置重复点击，同时检测显示屏420的显示内容有没有发生变化。若所述目标位置与所述n个历史位置的距离在预设范围内，代表用户在同一个位置反复点击。若此时显示屏420的显示内容也没有变化，代表可能存在软件运行故障，比如，中央控制器600软件运行故障，导致显示屏420没有及时对用户的点击操作做出响应。若所述目标位置与所述n个历史位置中的至少一个的距离不在预设范围内，代表用户没有在同一个位置反复点击。或者，当显示屏420的显示内容响应于用户的点击操作发生了变化时，代表触控屏设备001不存在第二故障。当触控屏设备001存在第二故障时，检测装置840可以将触控屏设备001存在第二故障的检测结果发送给中央控制器600。控制中央控制器600可以控制触控屏设备001重启，以解决宕机故障。
109.第一故障与第二故障的故障类型不同，对应的故障处理方法也是不同的。因此，当触控屏设备001存在故障时，需及时判断故障类型，并依据不同的故障类型采取不同的应对措施。
110.综上所述，本说明书提供的触控屏故障检测系统800、方法p100以及触控屏设备001中，可以通过独立设置的至少两个麦克风820来采集用户点击触控屏400时声音信号，从而确定用户点击触控屏400的动作和位置。本说明书提供的触控屏故障检测系统800、方法p100以及触控屏设备001还可以将基于麦克风820采集的目标音频信号确定的第一计算结果与基于触控信号确定的第二计算结果进行匹配和融合，以确定触控屏设备001是否存在故障，以及故障类型。本说明书提供的触控屏故障检测系统800、方法p100以及触控屏设备001，不仅可以检测出触控屏设备001是否存在故障，还能检测出触控屏设备001的故障是由于触控屏400自身的感应故障引起的显示屏420无响应，还是由于中央控制器600软件运行故障引起的显示屏420无响应，其故障检测更全面。本说明书提供的触控屏故障检测系统800、方法p100以及触控屏设备001，不仅可以提高故障检测的全面性、可靠性以及鲁棒性，还能够降低触控屏设备001成本，从而提高触控屏设备001的稳定性，降低触控屏设备001发生故障宕机的可能性。
111.本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来对触控屏设备001进行触控屏故障检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的触控屏故障检测方法p100的步骤。在一些可能的
实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备(比如检测装置840)上运行时，所述程序代码用于使计算设备执行本说明书描述的触控屏故障检测方法p100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd
‑
rom)包括程序代码，并可以在计算设备上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在计算设备上执行、部分地在计算设备上执行、作为一个独立的软件包执行、部分在计算设备上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
112.上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
113.综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
114.此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
115.应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不
是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
116.本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
117.最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。