通过手势识别控制演播室包装和点评系统的方法与流程

本发明涉及手势识别领域，具体涉及一种通过手势识别控制演播室包装和点评系统的方法。

背景技术：

在广电行业中，节目直播期间，主持人经常需要和播出系统进行交互来控制节目流程，但又不能离开镜头前去交互。以前传统的解决方案是用遥控器来控制节目流程，但是由于主持人手中有遥控器，肢体动作受到一定限制，而且不美观，一定程度上影响观众的观看体验，所以传统的解决方案并不是太友好，这就需要一套可以隔空遥控节目流程的解决方案。

尤其在ar/vr大行其道的当下，军事类节目和天气预报尤其明显，仅仅是背景图片和文字已经不能满足观众的视觉美感和沉浸感，亟需一种一体化的、专业的方案来解决该问题。比如军事类节目中，当主持人介绍双方作战的装备时候，如果说到歼15，主持人向空中一指，歼15的三维动画随即呼啸而过；比如天气预报中，当介绍到某地可能有强对流天气时，主持人打个响指，这时大暴雨和冰雹的三维动画随之而来。可以想象这种效果不但让节目形式新颖，观众也赏心悦目并且喜欢上这档节目。

目前来看，市场上主要是两种方式来实现上述效果的，但都有其局限性：

1、主持人带上专有的遥控器，说到某个点，按上遥控器的某个键。

正如前文所说，由于主持人手中有遥控器，肢体动作受到一定限制，而且不美观，一定程度上影响观众的观看体验，并且这种形式不适合ar/vr形式节目；

2、非编/演播室软件，编辑好动画效果，指定时间段出现指定的动画。这种方式适合录制节目，现场直播/准直播中，容错性极差，如果指定时间内是其它的画面就非常尴尬，没有任何动作的优势。

技术实现要素：

本发明提出的一种通过手势识别控制演播室包装和点评系统的方法，解决了目前的演播室系统和点评系统中主持人操作不便、操作不美观，不支持准直播节目的技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种通过手势识别控制演播室包装和点评系统的方法，包括以下步骤，

s10：实时采集人体的手掌心关节数据，获取手掌心的实时运动轨迹；

s20：采用运动学算法，对所述运动轨迹的轨迹点进行直线或二次曲线拟合，根据拟合形成的直线或曲线，来完成对手势行为的识别；

s30：将识别出来的手势行为，使用标准手势协议格式发送给演播室包装客户端和点评系统客户端；

s40：所述演播室包装客户端和点评系统客户端根据所接收的标准手势协议格式，分别自主识别并根据自身需求响应不同手势。

另一方面，一种通过手势识别控制演播室包装和点评系统的装置，具体包括采集装置，用于实时采集人体的手掌心关节数据，获取手掌心的实时运动轨迹；

识别发送装置，用于采用运动学算法，对所述运动轨迹的轨迹点进行直线或二次曲线拟合，根据拟合形成的直线或曲线，来完成对手势行为的识别；并将识别出来的手势行为，使用标准手势协议格式发送给演播室包装客户端和点评系统客户端；

客户端装置，具体包括演播室包装客户端和点评系统客户端，用于接收标准手势协议格式，分别自主识别并根据自身需求响应不同手势。

进一步的，所述采集装置采用微软的kinect。

由上述技术方案可知，本本发明公开了一种通过手势识别控制演播室包装和点评系统的方法，通过采用微软的kinect作为数据采集端，用于实时采集人体的关节数据(主要是手掌心位置)，根据掌心的实时运动轨迹，判断用户的手势行为；采用运动学中的相关数学理论，对轨迹点进行直线或二次曲线拟合，根据拟合形成的直线或曲线，来完成对手势的识别；服务端接收来自识别端识别出来的手势行为，使用规范统一的手势报文格式将手势行为发送出去；客户端收到服务端发来的标准手势协议格式，自主识别并根据自身需求响应不同手势。本发明可以使主持人脱离遥控器/平板电脑的限制，直接通过手势控制演播室包装/点评系统/第三方系统，尤其适合在ar/vr系统中，结合相应的三维动画效果，可增加节目的沉浸感和震撼度，也增强了主持人的肢体灵活性和节目美观，同时让观众的观看体验上升了一个档次。

附图说明

图1是本发明的方法流程示意图；

图2是本发明方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本实施例所述的通过手势识别控制演播室包装和点评系统的方法利用传感器设备获取到的每帧手势轨迹点，通过轨迹分析，识别出具体的手势，本方法将首先进入到“起始手势”识别状态；在本状态持续时间内，如果识别出“起始手势”，立即将之后的轨迹点进行存储，当存储的手势轨迹点的个数达到要求后，将立即开始对存储的手势轨迹点进行手势分析。分析将持续一段时间(例如2秒)，在这段时间内，如果识别出具体的手势行为或识别时间到期，将立即进入等待状态，等待将持续一段时间(例如1秒，0秒即不等待)，等待时不再进行手势轨迹分析，等待结束后，进入到“起始手势”识别状态。

如图1和图2所示，本实施例所述的通过手势识别控制演播室包装和点评系统的方法，包括以下步骤：

s10：实时采集人体的手掌心关节数据，获取手掌心的实时运动轨迹；

具体的本发明实施例采用微软的kinect作为数据采集端，用于实时采集人体的关节数据(主要是手掌心位置)，根据掌心的实时运动轨迹，判断用户的手势行为；

kinect源自微软在2009年6月2日的e3大展上，正式公布的一款体感周边外设。

微软的kinect设备，作为已经面世多年的产品，一直是人体骨骼检测技术中首屈一指的设备，稳定性、可用性和可靠性已经得到了广泛的验证。

kinect设备采用了tof技术，对深度空间进行测量。tof是飞行时间(timeofflight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。其测量范围可达数米、精度小于2cm，每秒更新频率可达30-60fps。

s20：采用运动学算法，对所述运动轨迹的轨迹点进行直线或二次曲线拟合，根据拟合形成的直线或曲线，来完成对手势行为的识别；

具体的，相关算法如下：

最小二乘法拟合直线

曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系为：y＝a+bx。式中有两个待定参数，a代表截距，b代表斜率。对于等精度测量所得到的n组数据(xi，yi)，i＝1，2……，n，xi值被认为是准确的，所有的误差只联系着yi。下面利用最小二乘法把观测数据拟合为直线。

用最小二乘法估计参数时，要求观测值yi的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，可使下式的值最小：

上式分别对a、b求偏导得：

整理后得到方程组

解上述方程组便可求得直线参数a和b的最佳估计值。

相关系数r:

最小二乘法处理数据除给出a、b外，常常还给出相关系数r,

r定义为

其中

最小二乘法多项式曲线拟合

根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y＝f(x)的近似曲线y＝φ(x)。

给定数据点pi(xi,yi)，其中i＝1,2,…,m。求近似曲线y＝φ(x)。并且使得近似曲线与y＝f(x)的偏差最小。近似曲线在点pi处的偏差δi＝φ(xi)-y，i＝1,2,...,m。

常见的曲线拟合方法:

使偏差绝对值之和最小

使偏差绝对值最大的最小

使偏差平方和最小

按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程：

设拟合多项式为：

y＝a0+a1x+...+akx^k，

各点到这条曲线的距离之和，即偏差平方和如下：

1.为了求得符合条件的a值，对等式右边求ai偏导数，因而我们

得到了：

.......

2.将等式左边进行一下化简，然后应该可以得到下面的等式：

.......

3.把这些等式表示成矩阵的形式，就可以得到下面的矩阵：

4.将这个范德蒙得矩阵化简后可得到:

5.也就是说x*a＝y，那么a＝(x'*x)-1*x'*y，便得到了系数矩阵a，同时，我们也就得到了拟合曲线。

s30：将识别出来的手势行为，使用标准手势协议格式发送给演播室包装客户端和点评系统客户端；

s40：所述演播室包装客户端和点评系统客户端根据所接收的标准手势协议格式，分别自主识别并根据自身需求响应不同手势。

另一方面本发明实施例还公开了一种通过手势识别控制演播室包装和点评系统的装置，包括，

采集装置，用于实时采集人体的手掌心关节数据，获取手掌心的实时运动轨迹；

识别装置，用于采用运动学算法，对所述运动轨迹的轨迹点进行直线或二次曲线拟合，根据拟合形成的直线或曲线，来完成对手势行为的识别；

发送装置，将识别出来的手势行为，使用标准手势协议格式发送给演播室包装客户端和点评系统客户端；

客户端装置，具体包括演播室包装客户端和点评系统客户端，用于接收标准手势协议格式，分别自主识别并根据自身需求响应不同手势。

具体的所述采集装置采用微软的kinect。

综上所述，由于采用了上述技术方案，本发明实施例的有益效果是：

1、演播室包装的动画效果可以根据不同的手势定义，丰富了节目形式，也提高了科技感和沉浸感；

2、节目点评中，主持人可扔掉遥控器，通过上划/下划/左划/右划等手势操作，控制大屏幕中的单条出现/消失/下一条/切换等，富有表现力、未来感；

3、符合ar/vr节目形式，因为这是未来的趋势；

4、符合广电总局要求的加速融媒体推进策略。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。