一种大屏幕交互系统及其交互方法与流程

本发明涉及交互技术领域，特别是一种大屏幕交互系统及其交互方法。

背景技术：

传感器是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器的存在和发展，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。目前用的比较多的传感器有体感传感器、实感传感器等。

Kinect是微软公司推出的基于体感交互的人机交互设备。Kinect最初作为Xbox 360的外接设备发布，利用即时动态骨骼跟踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。Kinect作为一个深度传感器，它的主要硬件结构有RGB摄像头，红外光发射阵列，红外摄像头，麦克风阵列和传动马达。其中，由RGB摄像头来捕捉二维平面信息，由红外光发射阵列和红外摄像头来捕捉深度信息，即红外光反射点和传感器之间的距离。麦克风阵列接收语音输入，进行语音识别，传动马达控制传感器的俯仰角度。Kinect传感器作为人体感应的装置，主要原理是将人体信息转化为人体骨骼信息，人体关节的运动轨迹被记录下来后，即能作为传感器的手势信号。其中，KinectV1代能记录20个人体骨骼节点信息，能同时完全记录两个人的骨骼节点运动信息，V2代能记录25个人体骨骼节点信息，能同时完全记录6个人的骨骼节点运动信息。经过多年发展，逐渐被应用在演讲、发布会等场合当中，配合大尺寸或超大尺寸屏幕的场景来供演讲者手势操作。

但是，由于Kinect有限的视角，势必会产生视角盲区，从而产生用户操作的“禁地”。为了解决此问题，可通过多台Kinect构成Kinect传感器阵列来捕捉用户动作，但是如果单纯架设多台Kincet传感器，又会产生视角重叠，发生互相干扰现象，当用户进入重叠区域时，会产生跟踪不明、响应紊乱等问题。

技术实现要素：

为了解决上述问题，本发明提出了一种大屏幕交互系统及其交互方法。

具体如下：

一种大屏幕交互系统，包括传感器，检测人体骨骼数据流；设备端，接收传感器传来的人体骨骼数据流，计算传感器与用户的距离参数；服务端，比较各传感器与用户的距离参数，选择距离参数小的传感器对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度；客户端，将人体骨骼活动位置和角度与数据库中的指令事件对应，通过手势对屏幕进行操作。

优选地，所述传感器包括红外光发射器和红外摄像头。

优选地，所述传感器与设备端通过数据线连接。

优选地，所述设备端、服务端和客户端均为计算机。

优选地，所述设备端、服务端和客户端之间的的连接方式为蓝牙、网络中的任一种。

优选地，还包括拼接控制器。

优选地，所述屏幕为拼接屏。

优选地，所述拼接控制器一端通过视频线与客户端连接，另一端通过视频线与拼接屏连接。

一种大屏幕交互系统的交互方法，方法如下：

步骤一、当人体靠近屏幕时，各传感器分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，并传输给对应的设备端；

步骤二、设备端从人体骨骼数据流中提取出人体骨骼节点位置数据，对人体骨骼节点位置数据进行计算，得到距离参数，将距离参数和人体骨骼数据流发送给服务端；

步骤三、服务端接收各设备端传输的距离参数和人体骨骼数据流，通过比较各设备端的距离参数得到最小距离参数，并对最小距离参数对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，将结果发送给客户端；

步骤四、客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。

优选地，所述设备端连接传感器的个数大于等于1。

优选地，所述步骤二中设备端对人体骨骼节点位置数据进行计算的公式为

优选地，所述步骤三中比较不同设备端的距离参数的公式为d_m＝min(d₁,d₂,d₃)。

优选地，所述步骤四为客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过拼接控制器将手势操作的结果显示在拼接屏上，达到人体感应控制的目的。

优选地，所述设备端的个数为大于等于2。

优选地，所述步骤三中各设备端的距离参数相等时，服务端任选其一作为最小距离参数。

优选地，所述服务端上设有报警装置。

优选地，所述步骤三还包括测定传感器的盲区与传感器的最大距离a，服务端同时接收到大于等于2个设备端传输的计算结果和人体骨骼数据流，通过公式d_m＝min(d₁,d₂,d₃)计算d_m，当d_m-a≤0.5m时，服务端上的报警装置发出警告信号。

优选地，所述步骤三还包括后移所有传感器，增加传感器与屏幕的距离，消除盲区。

优选地，所述步骤三还包括平移所有传感器，减小传感器与传感器之间的距离，消除盲区。

本发明与现有技术相比，具有以下有益效果：

本发明提出的一种大屏幕交互系统及其交互方法，扩大了传感器的有限视角，解决了使用多台传感器造成的视角重叠、互相干扰、响应紊乱的问题，且方法简单、安装方便，适合各种拼接屏以及大屏幕使用。

附图说明

图1为本发明提出的一种大屏幕交互系统及其交互方法示意图；

图2为本发明提出的一种大屏幕交互系统及其交互方法实施例二示意图；

图3为本发明提出的一种大屏幕交互系统及其交互方法实施例三示意图；

图4为本发明提出的一种大屏幕交互系统及其交互方法实施例四示意图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，传感器通过USB数据线与设备端连接，设备端、服务端、客户端之间通过网络连接，且均为计算机，客户端通过视频线与屏幕连接。当人体靠近屏幕时，传感器1、传感器2和传感器3分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，分别传输给对应的设备端1和设备端2。设备端1和设备端2从对应的人体骨骼数据流中提取出人体骨骼节点位置数据，通过计算出传感器1与人体的距离d₁、传感器2与人体的距离d₂和传感器3与人体的距离d₃，并将d₁、d₂、d₃和对应的人体骨骼数据流发送给服务端。服务端通过公式d_m＝min(d₁,d₂,d₃)选出最小的d。若最小d为d₁，则服务端调用d₁所对应的人体骨骼数据流，并对其进行分析计算，判别人体骨骼活动位置和角度，并将此分析计算结果发送给客户端。客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。

实施例二

如图2所示，若屏幕为拼接屏，则需要在客户端与屏幕之间连接一个拼接控制器，拼接控制器一端通过视频线与客户端连接，另一端通过视频线与拼接屏连接，通过拼接控制器将手势操作的结果显示在拼接屏上，达到人体感应控制的目的。

实施例三

如图3所示，C1、C2、C3为传感器，将只有C1能捕捉到信号，而C2、C3都不能捕捉到信号的区域定义为M1；同理，将只有C2能捕捉到信号，而C1、C3都不能捕捉到信号的区域定义为M2；将只有C3能捕捉到信号，而C1、C2都不能捕捉到信号的区域定义为M3。而将C1、C2都能捕捉到信号，而C3不能捕捉到信号的区域定义为N1；同理定义N2、N3。将C1、C2、C3都能捕捉到信号的区域定义为Q区。当人体靠近大屏幕时，C1、C2、C3分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，分别传输给对应的设备端。若只有一台传感器捕捉到人体骨骼数据流，即人体位于M1或M2或M3，则不需要设备端进行计算，直接将人体骨骼数据流发送给服务端进行分析计算，位于M1时，即发送C1的数据，同理，发送C2，C3的数据。当两台或者三台传感器同时检测到人体骨骼信息时，即人体位于N1、N2、N3和Q时，各设备端均向服务端发送距离参数d和人体骨骼数据流。在服务端通过公式d_m＝min(d₁,d₂,d₃)计算出人体距离哪台传感器最近，然后调用此最近的传感器监测到的人体骨骼数据流，并对其进行分析计算，判别人体骨骼活动位置和角度。若服务端计算出各设备端的距离参数相等时，服务端任选其一作为最小距离参数，将此最小距离参数对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，将结果发送给客户端，客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。

实施例四

当人体进入传感器的感应区域时，传感器对人体信息进行实施监控。如图4所示，假设传感器的盲区与传感器的最大距离为a，服务端同时接收到大于等于2个设备端传输的计算结果和人体骨骼数据流，当服务端计算出人体与传感器的最小距离d满足d-a≤0.5m，服务端上的报警装置就会发出警告信号。

本发明可以通过如下两种方式消除盲区：后移所有传感器，增加传感器与屏幕的距离，消除盲区；平移所有传感器，减小传感器与传感器之间的距离，消除盲区，但消除盲区的方法并不限于这两种，任何与此方法类似的方法均属于本发明保护的范围。

本发明中的传感器可以为体感传感器、实感传感器等。

综上所述，本发明提出的一种大屏幕交互系统及其交互方法，扩大了传感器的有限视角，解决了使用多台传感器造成的视角重叠、互相干扰、响应紊乱的问题，且方法简单、安装方便，适合各种拼接屏以及大屏幕使用。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。