一种多屏幕触控联动系统及其触控联动方法与流程

本发明涉及光学交互技术领域，尤其涉及一种多屏幕触控联动系统及其触控联动方法。

背景技术：

近年来人机交互领域的技术得到迅猛发展，各行各业逐渐引入交互系统。

人机交互技术(human-computerinteractiontechniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。

人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心里学等学科领域有密切的联系。

也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。

屏幕与人的交互作为人机交互的一种也得到越来越多的重视，大到教育、国防，小到办公、展会，应用领域非常广泛。

然而，目前的人机交互技术仅仅局限于人和屏幕之间的交互，并不能实现屏幕和屏幕之前的实时地、同步地交互，更不能实现每一个显示设备不能同时控制多个显示设备达到屏幕联动。

技术实现要素：

本发明提供的一种多屏幕触控联动系统，包括：

至少两个触控屏幕，包括第一触控屏幕和第二触控屏幕；

至少两个网络连接的计算机，包括第一计算机和第二计算机，第一计算机与第一触控屏幕和传感器连接，第二计算机与第二触控屏幕和传感器连接；及

至少两个联动模块，包括第一联动模块和第二联动模块，第一联动模块设置于第一计算机上，第二联动模块设置于第二计算机上。

优选地、联动模块包括：

发送/接收数据监听模块；

采集打包数据模块，其与发送模块连接；

发送数据模块，其与发送数据监听模块连接；

接收数据模块，其与接收数据监听模块连接；

解析处理数据模块，其与接收数据模块连接。

优选地、触控屏幕包括：

至少一个红外激光器，其设置于屏幕的边缘，在屏幕的显示表面铺设均匀的红外面；

至少一个传感器，其设置于屏幕前方，采集屏幕的图像信息。

优选地、还包括至少一个拼控器，其与屏幕连接，向屏幕发送画面信息和画面在屏幕上的布局信息。

一种多屏幕触控联动系统的触控联动方法，包括：

s0：用户启动第一联动模块和第二联动模块；

s1：用户在第一触控屏幕上调出需要联动的图像或者视频信息；

s2：用户在第一触控屏幕上对图像或者视频信息进行手触操作，使第一触控屏幕上的显示信息发生变化；

s3：第一计算机的第一联动模块采集第一触控屏幕上变化的图像或者视频信息，发送给第二计算机的第二联动模块；

s4：第二联动模块接收第一触控屏幕上变化的图像或者视频信息之后，对其进行解析并处理，发送给第二触控屏幕；

s5：第二触控屏幕显示与第一触控屏幕相同的图像或者视频信息；

s6：用户在第二触控屏幕上对图像或者视频信息进行手触操作；

s7：第二计算机的第二联动模块采集第二触控屏幕上变化的图像或者视频信息，发送给第一计算机的第一联动模块；

s8：第一联动模块接收第二触控屏幕上变化的图像或者视频信息之后，解析并处理数据模块对其进行解析并处理，发送给第一触控屏幕；

s9：第一触控屏幕显示与第二触控屏幕相同的图像或者视频信息，实现两个屏幕之间的联动。

优选地、步骤s2或s6包括：

s20：用户在第一触控屏幕上或在第二触控屏幕上对图像或者视频信息进行手触操作；

s21：传感器采集第一触控屏幕或第二触控屏幕的图像信息发送给第一计算机或者第二计算机；

s22：第一计算机或第二计算机通过触点识别算法识别出手触操作的触点和触点轨迹，调出相应的图像或视频信息，使第一触控屏幕或第二触控屏幕上的显示信息发生变化。

优选地，还包括：

s0＇：用户启动第一联动模块和第二联动模块；

s1＇：用户在第一触控屏幕上调出需要联动的图像或者视频信息；

s2＇：用户在第一触控屏幕上对图像或者视频信息进行手触操作，使第一触控屏幕上的显示信息发生变化；

s3＇：第一联动模块的采集打包数据模块采集并打包第一触控屏幕上变化的图像或者视频信息，发送给第二计算机的第二联动模块；

s4＇：第二联动模块的接收数据模块接收第一触控屏幕上变化的图像或者视频信息之后，第二联动模块的解析并处理数据模块对其进行解析并处理，发送给第二触控屏幕；

s5＇：第二触控屏幕显示与第一触控屏幕相同的图像或者视频信息；

s6＇：用户在第二触控屏幕上对图像或者视频信息进行手触操作；

s7＇：第二联动模块的采集打包数据模块采集并打包第二触控屏幕上变化的图像或者视频信息，发送给第一计算机的第一联动模块；

s8＇：第一联动模块的接收数据模块接收第二触控屏幕上变化的图像或者视频信息之后，第一联动模块的解析并处理数据模块对其进行解析并处理，发送给第一触控屏幕；

s9＇：第一触控屏幕显示与第二触控屏幕相同的图像或者视频信息，实现两个屏幕之间的联动。

优选地、步骤s2＇或s6＇包括：

s20＇：用户在第一触控屏幕上或在第二触控屏幕上对图像或者视频信息进行手触操作；

s21＇：传感器采集第一触控屏幕或第二触控屏幕的图像信息发送给第一计算机或者第二计算机；

s22＇：第一计算机或第二计算机通过触点识别算法识别出手触操作的触点和触点轨迹，调出相应的图像或视频信息，使第一触控屏幕或第二触控屏幕上的显示信息发生变化。

本发明提供的一种多屏幕触控联动系统及其触控联动方法使每个主机的数据都可以共享，控制某一个显示设备时，可以达到每个屏幕之间的联动，从而每一个显示设备可以同时控制多个显示设备。

附图说明

图1为本发明一实施例提供的一种多屏幕触控联动系统的示意图；

图2为本发明一实施例提供的一种多屏幕触控联动系统的联动方法的示意图；

图3为本发明一实施例提供的一种多屏幕触控联动系统的联动方法的示意图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种多屏幕触控联动系统至少要有两个触控屏幕，可以是任意几个触控屏幕，不限制显示器的种类和尺寸，也不限制是单块屏或者是多个屏拼接而成的拼接触控屏，均可以实现本发明的联动，拼接屏的情况，联动系统还需要拼控器。

本发明提供的一种多屏幕触控联动系统的触控屏幕为光学触控屏幕，包括至少一个红外激光器和至少一个传感器。红外激光器设置于显示器的边缘，具体位置可以根据显示器的实际尺寸来定，只要能在显示器的显示表面铺设均匀的红外面即可。传感器设置于显示器前方，采集显示器的图像信息。该传感器可以是摄像头、也可以是相机、也可以是像kinnect一样的带有摄像头的体感采集设备等，均可实现本发明的联动。

另外，每个触控屏幕均与单独的计算机连接，每个计算机之间也是网络连接，可以是有线网络连接也可以是无线网络连接。识别触控操作的触点识别模块和实现联动的联动模块均设置于计算机内，该计算机与传感器和显示器连接。当显示器是拼接屏的时候，联动系统还需要有拼控器，计算机与传感器和拼控器连接，拼控器接收计算机的画面信息和屏幕布局信息发送给显示器。

本发明提供的联动模块包括：发送/接收数据监听模块；采集打包数据模块，其与发送模块连接；发送数据模块，其与发送数据监听模块连接；接收数据模块，其与接收数据监听模块连接；解析处理数据模块，其与接收数据模块连接。

在本发明提供的具体实施例中，以两个触控屏幕为例进一步说明本发明的多屏幕触控联动系统及其联动方法，应当理解，实施例中的技术方案并不限制本发明要求保护的范围。

图1为本发明一实施例提供的一种多屏幕触控联动系统的示意图。如图1所示，一种多屏幕触控联动系统包括第一触控屏幕d1和第二触控屏幕d2；两个网络连接的第一计算机s1和第二计算机s2，第一计算机s1与第一触控屏幕d1和第一传感器c1连接，第二计算机s2与第二触控屏幕d2和第二传感器c2连接；及第一联动模块s11和第二联动模块s21，第一联动模块s11设置于第一计算机s1上，第二联动模块s21设置于第二计算机s2上。

下面详细说明本发明的实施例提供的一种多屏幕联动系统的联动方法。

s0：用户启动第一联动模块s11和第二联动模块s21；

s1：用户在第一触控屏幕d1上调出需要联动的图像或者视频信息；

s2：用户在第一触控屏幕d1上对图像或者视频信息进行手触操作，使第一触控屏幕d1上的显示信息发生变化；

s3：第一计算机s1的第一联动模块s11采集第一触控屏幕上变化的图像或者视频信息，发送给第二计算机s2的第二联动模块s21；

s4：第二联动模块s21接收第一触控屏幕d1上变化的图像或者视频信息之后，对其进行解析并处理，发送给第二触控屏幕d2；

s5：第二触控屏幕d2显示与第一触控屏幕d1相同的图像或者视频信息；

s6：用户在第二触控屏幕d2上对图像或者视频信息进行手触操作；

s7：第二计算机s2的第二联动模块s21采集第二触控屏幕上变化的图像或者视频信息，发送给第一计算机s1的第一联动模块s11；

s8：第一联动模块s11接收第二触控屏幕d2上变化的图像或者视频信息之后，解析并处理数据模块对其进行解析并处理，发送给第一触控屏幕d1；

s9：第一触控屏幕d1显示与第二触控屏幕d2相同的图像或者视频信息，实现两个屏幕之间的联动。

在该联动方法中步骤s2或s6包括：

s20：用户在第一触控屏幕d1上或在第二触控屏幕d2上对图像或者视频信息进行手触操作；

s21：传感器c1、c2采集第一触控屏幕d1或第二触控屏幕d2的图像信息发送给第一计算机s1或者第二计算机s2；

s22：第一计算机s1或第二计算机s2通过触点识别算法识别出手触操作的触点和触点轨迹，调出相应的图像或视频信息，使第一触控屏幕d1或第二触控屏幕d2上的显示信息发生变化。

更为具体的，本发明提供的一种多屏幕触控联动系统的触控联动方法，还可以包括：

s0＇：用户启动第一联动模块s11和第二联动模块s12；

s1＇：用户在第一触控屏幕d1上调出需要联动的图像或者视频信息；

s2＇：用户在第一触控屏幕d1上对图像或者视频信息进行手触操作，使第一触控屏幕d1上的显示信息发生变化；

s3＇：第一联动模块s11的采集打包数据模块采集并打包第一触控屏幕d1上变化的图像或者视频信息，发送给第二计算机s2的第二联动模块s21；

s4＇：第二联动模块s21的接收数据模块接收第一触控屏幕d1上变化的图像或者视频信息之后，第二联动模块s21的解析并处理数据模块对其进行解析并处理，发送给第二触控屏幕d2；

s5＇：第二触控屏幕d2显示与第一触控屏幕d1相同的图像或者视频信息；

s6＇：用户在第二触控屏幕d2上对图像或者视频信息进行手触操作；

s7＇：第二联动模块s21的采集打包数据模块采集并打包第二触控屏幕d2上变化的图像或者视频信息，发送给第一计算机s1的第一联动模块s11；

s8＇：第一联动模块s11的接收数据模块接收第二触控屏幕d2上变化的图像或者视频信息之后，第一联动模块s11的解析并处理数据模块对其进行解析并处理，发送给第一触控屏幕d1；

s9＇：第一触控屏幕d1显示与第二触控屏幕d2相同的图像或者视频信息，实现两个屏幕之间的联动。

该联动方法中，步骤s2＇或s6＇包括：

s20＇：用户在第一触控屏幕d1上或在第二触控屏幕d2上对图像或者视频信息进行手触操作；

s21＇：传感器c1、c2采集第一触控屏幕d1或第二触控屏幕d2的图像信息发送给第一计算机s1或者第二计算机s2；

s22＇：第一计算机s1或第二计算机s2通过触点识别算法识别出手触操作的触点和触点轨迹，调出相应的图像或视频信息，使第一触控屏幕d1或第二触控屏幕d2上的显示信息发生变化。

图2为本发明一实施例提供的一种多屏幕触控联动系统的联动方法的示意图。如图2所示，本发明提供的一种多屏触摸联动系统的联动方法，具体为

s0″：用户启动第一联动模块s11和第二联动模块s12；

s1″：用户在第一触控屏幕d1上调出需要联动的图像或者视频信息；

s2″：用户在第一触控屏幕d1上对图像或者视频信息进行向右滑动的手触操作，传感器c1采集第一触控屏幕d1的图像信息发送给第一计算机s1，第一计算机s1通过触点识别算法识别出手触操作的触点轨迹为指向右边的矢量，则调出向右移动后的图像或视频信息；

s3″：第一联动模块s11的采集打包数据模块采集并打包第一触控屏幕d1上向右移动后的图像或者视频信息，发送给第二计算机s2的第二联动模块s21；

s4″：第二联动模块s21的接收数据模块接收第一触控屏幕d1上向右移动后的图像或者视频信息之后，第二联动模块s21的解析并处理数据模块对其进行解析并处理，发送给第二触控屏幕d2；

s5″：第二触控屏幕d2显示与第一触控屏幕d1相同的图像或者视频信息。

当用户在第二触控屏幕d2上进行上述操作时，同理，第一触控屏幕d1上也显示同样的图像或者视频信息。

图3为本发明一实施例提供的一种多屏幕触控联动系统的联动方法的示意图。如图2所示，本发明提供的一种多屏触摸联动系统的联动方法，具体为

s0″＇：用户启动第一联动模块s11和第二联动模块s12；

s1″＇：用户在第一触控屏幕d1上调出需要联动的图像或者视频信息；

s2″＇：用户在第一触控屏幕d1上对图像或者视频信息进行双手向里滑动的手触操作，传感器c1采集第一触控屏幕d1的图像信息发送给第一计算机s1，第一计算机s1通过触点识别算法识别出手触操作为起始点距离小于终点距离的两个触点，则调出缩小的图像或视频信息；

s3″＇：第一联动模块s11的采集打包数据模块采集并打包第一触控屏幕d1上缩小后的图像或者视频信息，发送给第二计算机s2的第二联动模块s21；

s4″＇：第二联动模块s21的接收数据模块接收第一触控屏幕d1上缩小后的图像或者视频信息之后，第二联动模块s21的解析并处理数据模块对其进行解析并处理，发送给第二触控屏幕d2；

s5″＇：第二触控屏幕d2显示与第一触控屏幕d1相同的图像或者视频信息。

当用户在第二触控屏幕d2上进行上述操作时，同理，第一触控屏幕d1上也显示同样的图像或者视频信息。

本发明提供的一种多屏触摸联动系统的联动方法中，用户在第一触控屏幕d1上对图像或者视频信息进行向右滑动的手触操作，传感器c1采集第一触控屏幕d1的图像信息发送给第一计算机s1，第一计算机s1通过触点识别算法识别出手触操作的触点和触点轨迹，调出相应的向右移动的图像或视频信息，其中触点识别算法的具体识别流程如下。

传感器采集触控操作时的图像信息，触点识别算法将此图像信息作为源图使用，对该源图进行畸变校正后得到的校正图。畸变校正先对源图进行标定，标定可以是自动标定也可以是手动标定，通过标定生成图片屏幕和屏幕对应的坐标关系查找表，然后通过图像映射方式得到校正图。在校正图中减去背景图得到前景图，然后对该前景图进行二值化处理，得到二值图。利用该二值图判断出有效触点数据。继续对该有效触点数据跟踪得到触点的轨迹。将该最终得出的触点坐标数据或者触点轨迹调出预设的对应的图像或者视频信号。

综上所述，本发明提供的一种多屏幕触控联动系统及其触控联动方法使每个主机的数据都可以共享，控制某一个显示设备时，可以达到每个屏幕之间的联动，从而每一个显示设备可以同时控制多个显示设备。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。