一种基于激光雷达的新型多点触控交互系统及方法与流程

本发明属于触控系统设计领域，更具体地，涉及一种基于激光雷达的新型多点触控交互系统及方法。

背景技术：

现在生活中，电子化产品已经高度普及，触控系统也是随处可见；但是，现有的触控系统大都离不开触摸屏使用，只有极少的具有多点触控的功能；然而，随着用户需求的不断提高，越来越多的用户希望在电脑屏幕上的文档以及图片能像手机一样直接用手指打开，同时，用户也希望室外大屏幕能够设置触摸屏以实现便捷操作，同时商场也希望利用触摸大屏幕进行亲子游戏等，因此新型的多点触控交互系统应运而生。

然而，市面常见的多点触控交互系统一般是基于红外传感器的多点触控交互系统，这种系统在实际使用中，有时会受到光的影响，实时性比较差，数据传输方式缓慢，因此，用户希望有更加优化的新型的多点触控交互系统。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于激光雷达的新型多点触控交互系统，其目的在于采用激光雷达采集数据，并结合边缘计算装置，从而对传统数据采集以及传输过程进行了优化，由此解决传统多点触控交互系统实时性差、数据传输方式缓慢的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于激光雷达的新型多点触控交互系统，其特征在于，包括：激光雷达、边缘计算装置、无线传输模块、上位机、以及触摸模块；其中：

所述激光雷达设置在所述触摸模块的触摸屏周边预设范围内，以用于持续扫描以采集所述触摸屏上的多点触摸的点云数据；

所述边缘计算装置与所述激光雷达信号连接，以接收所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

所述无线传输模块与所述边缘计算模块信号连接，以接收所述边缘计算模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息并传输至上位机；

所述上位机与所述无线传输模块信号连接，以接收所述无线传输模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

所述触摸模块包括触摸屏和触摸屏api接口；其中，所述触摸屏通过所述api接口与所述上位机信号连接，以接收所述上位机输出的操作物体的坐标及操作指令并显示。

优选地，所述的基于激光雷达的新型多点触控交互系统，其预设范围为所述触摸屏任意一边均不超过所述激光雷达最大探测距离。

优选地，所述的基于激光雷达的新型多点触控交互系统，其激光雷达最大探测距离为50m。

优选地，所述的基于激光雷达的新型多点触控交互系统，其聚类算法中为k-means算法。

优选地，所述的基于激光雷达的新型多点触控交互系统，其k-means算法具体过程如下。

(1)根据步骤s1中获取所述触摸屏上的多点触摸的点云数据p＝(p1，p2，…，pn)(其中，n为点云个数)，设定分类组数k(k≤n)，以使所述点云数据p根据k值的大小随机产生k个聚类中心o＝(o1，o2，…，ok)；

(2)根据步骤(1)中获取的聚类中心o，计算所有点云数据p与每个聚类中心o的欧氏距离；并根据距离的最小值，选择最近的聚类，以得到k个聚类。

(3)分别计算步骤(2)获取的k个聚类中的每个聚类中点云数据的重心值，以作为新的聚类中心。

(4)将所有点云数据按照步骤(3)中计算得到的新的聚类中心重新进行聚类。

(5)重复步骤(3)、(4)，直到聚类中心不再变化，以得到k个聚类的聚类结果。

优选地，所述的基于激光雷达的新型多点触控交互系统，其无线传输模块采用5g通信技术传输数据。

优选地，所述的基于激光雷达的新型多点触控交互系统，其人工智能算法为线性回归算法。

优选地，所述的基于激光雷达的新型多点触控交互系统，其触摸屏为投影仪或液晶屏。

按照本发明的另一个方面，还提供了一种基于激光雷达的新型多点触控交互的方法，包括以下步骤：

s1：在触摸屏周边预设范围内设置激光雷达，所述激光雷达持续扫描以采集所述触摸屏上的多点触摸的点云数据；

s2：在系统中设置边缘计算装置，所述边缘计算装置与所述激光雷达信号连接，以接收步骤s1中所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

s3：将所述步骤s2中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息经无线传输模块传输至上位机；

s4：上位机接收步骤s3中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

s5：判断步骤s4中输出的操作指令是否为结束指令；若不是结束指令，所述上位机通过调用该触摸屏api接口以在该触摸屏中定位该多点触摸操作的动作覆盖区域及该覆盖区域的操纵行为，并返回步骤s1；若为结束指令，所述上位机通过调用该触摸屏api接口，以在该触摸屏中显示结束信息，并结束。

优选地，所述的基于激光雷达的新型多点触控交互方法，其步骤s1中预设范围为所述触摸屏任意一边均不超过所述激光雷达最大探测距离。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明提供的一种基于激光雷达的新型多点触控交互系统，包括：激光雷达、边缘计算装置、无线传输模块、上位机、以及触摸模块，通过激光雷达的脉冲式激光测距原理，对物体及操作进行点云数据采集，然后采集的每个点云数据经过边缘计算装置进行过滤和计算，从而保存有效的三维坐标信息，然后将有效的三维坐标信息经无线模块传输到上位机，该上位机经过人工智能算法计算出操作物体的坐标以及操作指令，并通过调用触摸屏api接口，在触摸屏上定位并显示操作的动作覆盖区域，识别该覆盖区域的操纵行为，实现控制，从而解决传统多点触控交互系统实时性差、数据传输方式缓慢的技术问题。

附图说明

图1是本发明提供的基于激光雷达的新型多点触控交互系统结构框图；

图2是本发明提供的基于激光雷达的新型多点触控交互方法流程示意图；

图3是本发明实施例1提供的基于激光雷达的新型多点触控交互系统示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

近年来，“浸入式体验”在国内快速兴起，这种结合了多领域链接的新兴方式，凭借创新的表现效果和沉浸的互动体验，大受欢迎，成为热潮。这些互动基本上都是利用手指或者手势对屏幕上的画面进行构建、拖动、旋转，突破了传统的人与屏幕之间的静观隔阂。

这，就是多点触摸。

多点触摸主要是利用硬件设备与软件渲染的一种人机交互技术，能在没有传统输入设备(如：鼠标、键盘等)的情况下进行，配合屏幕显示绚丽的交互画面，令用户在触觉、视觉、听觉以及人机交互感知方面获得极大冲击力。

多点触摸内含了两种主要技术：图像采集及渲染系统。

为了实现多点触摸，更好的增加用户体验感，本发明提供了一种基于激光雷达的新型多点触控交互系统，如图1所示，包括：激光雷达、边缘计算装置、无线传输模块、上位机、以及触摸模块；其中：

所述激光雷达设置在所述触摸模块的触摸屏周边预设范围内，以用于持续扫描以采集所述触摸屏上的多点触摸的点云数据；

具体而言，所述预设范围为所述预设范围为所述触摸屏任意一边均不超过所述激光雷达最大探测距离，由于所述激光雷达采用了创新的激光列阵技术，其感应部分能利用脉冲式激光测距原理采集不超过50米的探测距离范围内的点云数据；同时，所述激光雷达采用udp输出(100mbps以太网传输速率)采集到的点云数据，因此，只需将所述激光雷达设置在所述触摸屏周边不超过50米范围内，即可满足绝大部分操作需要。

现有技术中，常见的多点触控交互系统，其中的图像采集主要为红外信号感应器，他的功能是当红外线投影到大屏幕上时，对“互动人员”的动作进行定位和捕捉，然后对其进行分析与处理，并将处理结果发送给渲染服务器；而红外信号感应器在实际使用中，有时会受到光的影响，实时性比较差，数据传输方式缓慢。

而比起红外传感器，激光雷达能够使任何显影介质或表面实现多点交互功能，如墙面、地面、桌面、非规则类平面物体来实现接触式触摸，甚至可以在非平面或水面上进行非接触互动操作；不仅具有较高的价格优势，还具有较高的识别精度与稳定性。

进一步地，在本发明中，所述激光雷达还具备：单机可覆盖任意屏幕、不受光线干扰可户外结合led屏使用、侦测灵敏精准、支持多点触控以及隔空体感应用、设备体积小方便安装(例如只有5cm*6cm*7cm)、支持各种主流协议以及框架语言、网线长距离传输无信号衰减，主机无安装位置烦恼、以及触控区域可随意异形分割选择等优点，几乎能够覆盖所有需求，且较高的识别精度与稳定性。

因此本发明使用激光雷达采集数据；然而，如果只仅仅是基于激光雷达的多点触控交互系统，由于该激光雷达采集的数据庞大，且有很多没有用的数据信息，因此，数据传输实时性比较差，数据传输方式缓慢；

为解决这个问题，提高数据传输的稳定性和速度，本发明还包括边缘计算装置：

所述边缘计算装置与所述激光雷达信号连接，以接收所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

具体而言，所述边缘计算装置能够对所述激光雷达采集到的该触摸屏上的多点触摸的点云数据进行分析和计算，从而获取其中有效的三维坐标信息，而将无效的信息过滤掉，从而节约后续设备的计算量，也避免了无效坐标信息输出至显示屏，而影响用户体验。

进一步地，所述边缘计算装置优选为服务器，其可以满足聚类算法设置需求。

聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法；绝大多数现实中的数据库都包含了孤立点，缺失，或者错误的数据，一些聚类算法对于这样的数据敏感，可能导致低质量的聚类结果，因此，聚类算法常常被用来处理“噪声”信息，例如本发明中，所述激光雷达采集到的该触摸屏上的多点触摸的点云数据，其中也有很多“噪声”信息，采用聚类算法，能很好的过滤这些“噪声”信息，而只输出有效信息。

进一步地，本发明优选聚类算法中的k-means算法，其具体步骤是，

(1)根据步骤s1中获取所述触摸屏上的多点触摸的点云数据p＝(p1，p2，…，pn)(其中，n为点云个数)，设定分类组数k(k≤n)，以使所述点云数据p根据k值的大小随机产生k个聚类中心o＝(o1，o2，…，ok)；

(2)根据步骤(1)中获取的聚类中心o，计算所有点云数据p与每个聚类中心o的欧氏距离；并根据距离的最小值，选择最近的聚类，以得到k个聚类。

(3)分别计算步骤(2)获取的k个聚类中的每个聚类中点云数据的重心值，以作为新的聚类中心。

(4)将所有点云数据按照步骤(3)中计算得到的新的聚类中心重新进行聚类。

(5)重复步骤(3)、(4)，直到聚类中心不再变化，以得到k个聚类的聚类结果。

预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；聚类中心以及分配给它们的对象就代表一个聚类；每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算；这个过程将不断重复直到满足预设终止条件；本发明的预设终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类、没有(或最小数目)聚类中心再发生变化、或者误差平方和局部最小，具体可以根据实际应用设定。

在本发明中，所述k优选为3，3个聚类中心，欧式计算后，得到三个聚类分别是x，y，z坐标数据，k-means算法可得到有效三维坐标；

所述无线传输模块与所述边缘计算模块信号连接，以接收所述边缘计算模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息并传输至上位机；

进一步地，考虑到传输速率，本发明所述的无线传输模块采用5g通信技术传输数据。

所述上位机与所述无线传输模块信号连接，以接收所述无线传输模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

具体而言，所述上位机优选为pc机，以实现人工智能算法；

进一步地，所述人工智能算法为线性回归算法，通俗的讲，就是将真实的数据，映射到坐标轴中，这些数据在坐标轴中，呈现偏向线状的形状，然后构建一个函数，能够让这个函数对应的数据尽量的接近真实数据，让这个函数在坐标轴上画出来的图像尽量的穿过真实数据中的所有的点，尽量让所有的点距离我们构建出来的函数所呈现在坐标轴上的线的差距最小。我们用点云数据有效三维坐标数据可以转换为屏幕坐标，通过屏幕坐标在调用该区域的api接口。

所述触摸模块包括触摸屏和触摸屏api接口，其中，所述触摸屏通过所述api接口与所述上位机信号连接，以接收所述上位机输出的操作物体的坐标及操作指令并显示；

具体而言，所述上位机通过调用该触摸屏api接口以在该触摸屏中定位该多点触摸操作的动作覆盖区域及该覆盖区域的操纵行为并显示，从而实现控制

进一步，所述触摸屏为投影仪、液晶屏、或其他电子显示屏；

由此可见，本发明提供的一种基于激光雷达的新型多点触控交互系统，包括：激光雷达、边缘计算装置、无线传输模块、上位机、以及触摸模块，通过激光雷达的脉冲式激光测距原理，对物体及操作进行点云数据采集，然后采集的每个点云数据经过边缘计算装置进行过滤和计算，从而保存有效的三维坐标信息，然后将有效的三维坐标信息经无线模块传输到上位机，该上位机经过人工智能算法计算出操作物体的坐标以及操作指令，并通过调用触摸屏api接口，在触摸屏上定位并显示操作的动作覆盖区域，识别该覆盖区域的操纵行为，实现控制，从而解决传统多点触控交互系统实时性差、数据传输方式缓慢的技术问题。

按照本发明的另一个方面，本发明提供的一种基于激光雷达的新型多点触控交互方法，如图2所示，包括以下步骤：

s1：在触摸屏周边预设范围内设置激光雷达，所述激光雷达持续扫描以采集所述触摸屏上的多点触摸的点云数据；

s2：在系统中设置边缘计算装置，所述边缘计算装置与所述激光雷达信号连接，以接收步骤s1中所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

s3：将所述步骤s2中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息经无线传输模块传输至上位机；

s4：上位机接收步骤s3中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

s5：判断步骤s4中输出的操作指令是否为结束指令；若不是结束指令，所述上位机通过调用该触摸屏api接口以在该触摸屏中定位该多点触摸操作的动作覆盖区域及该覆盖区域的操纵行为，并返回步骤s1；若为结束指令，所述上位机通过调用该触摸屏api接口，以在该触摸屏中显示结束信息，并结束；从而实现控制；

进一步，所述触摸屏为投影仪、液晶屏、或其他电子显示屏；

进一步地，本发明所采用的多点触摸通信协议是tuio通信协议，因为实现多点触摸控制上层应用基本是基于touchlib构建的，可以方便的与市面主流软件系统进行整合。

以下结合实施例做进一步说明：

本发明提供了一种基于激光雷达的新型多点触控交互系统，如图1所示，包括：激光雷达、边缘计算装置、无线传输模块、上位机、以及触摸模块；其中：

所述激光雷达设置在所述触摸模块的触摸屏的上方正中间位置，以用于持续扫描以采集所述触摸屏上的多点触摸的点云数据；

在本实施例中，所述激光雷达为velodyne公司的64线激光雷达hdl_64e，其体积是5cm*6cm*7cm；

所述边缘计算装置与所述激光雷达信号连接，以接收所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

在本实施例中，所述边缘计算装置为服务器，其可以满足聚类算法设置需求；

所述聚类算法中为k-means算法，所述k为3个聚类中心，欧式计算后，得到三个聚类分别是x，y，z坐标数据，k-means算法可得到有效三维坐标，预设终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类。

所述无线传输模块与所述边缘计算模块信号连接，以接收所述边缘计算模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息并传输至上位机；

在本实施例中，所述的无线传输模块采用5g通信技术传输数据。

所述上位机与所述无线传输模块信号连接，以接收所述无线传输模块输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

在本实施例中，所述上位机优选为pc机，以实现人工智能算法；

在本实施例中，所述人工智能算法为线性回归算法。

所述触摸模块包括触摸屏和触摸屏api接口，其中，所述触摸屏通过所述api接口与所述上位机信号连接，以接收所述上位机输出的操作物体的坐标及操作指令并显示；

具体而言，所述上位机通过调用该触摸屏api接口以在该触摸屏中定位并显示该多点触摸操作的动作覆盖区域及该覆盖区域的操纵行为，从而实现控制

在本实施例中，所述触摸模块为samsung/三星品牌，型号:jac-550zl35s55寸液晶屏；

采用本发明提供的一种基于激光雷达的新型多点触控交互系统时，如图2所示，按照以下步骤工作：

s1：在触摸屏周边预设范围内设置激光雷达，所述激光雷达持续扫描以采集所述触摸屏上的多点触摸的点云数据；

s2：在系统中设置边缘计算装置，所述边缘计算装置与所述激光雷达信号连接，以接收步骤s1中所述激光雷达采集的所述触摸屏上的多点触摸的点云数据，并通过聚类算法计算该触摸屏上的多点触摸的点云数据以输出该触摸屏上的多点触摸的点云数据有效三维坐标信息；

s3：将所述步骤s2中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息经无线传输模块传输至上位机；

s4：上位机接收步骤s3中输出的该触摸屏上的多点触摸的点云数据有效三维坐标信息，并采用人工智能算法计算获取到的该触摸屏上的多点触摸的点云数据有效三维坐标信息以输出操作物体的坐标及操作指令；

s5：判断步骤s4中输出的操作指令是否为结束指令；若不是结束指令，所述上位机通过调用该触摸屏api接口以在该触摸屏中定位该多点触摸操作的动作覆盖区域及该覆盖区域的操纵行为，并返回步骤s1；若为结束指令，所述上位机通过调用该触摸屏api接口，以在该触摸屏中显示结束信息，并结束；从而实现控制；

进一步地，本发明所采用的多点触摸通信协议是tuio通信协议，因为实现多点触摸控制上层应用基本是基于touchlib构建的，可以方便的与市面主流软件系统进行整合。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。