一种基于手势识别的PPT播放控制系统的制作方法

文档序号:14314617阅读:211来源:国知局

本实用新型涉及办公教学演示控制,更具体地说,涉及基于手势识别的PPT播放控制系统。



背景技术:

在教学授课系统或会议报告系统中,使用PPT(PowerPoint)制作的电子教案和技术报告,大部分还是通过原始的鼠标、键盘有线控制,无论是教学方法还是会议报告都注重操作人员与观众的互动,当操作人员走下讲台与观众交流,遇到PPT需要翻页的情况时,又不得不打断与观众的交流,重新走回讲台进行PPT翻页。有线的连接束缚了操作人员的活动范围,给实际生活工作带来了很多不便。

为了解决上述问题,现有技术中提供了一种手持遥控装置来解决上述问题的方法,操作人员通过触发手持遥控装置上的按键,实现PPT的上翻一页、下翻一页、从头播放、从当前页播放等等操作。然而长时间的握持遥控装置对于操作人员有时候显得并不方便,如到观众席中与观众进行握手,或者需要签字,或者需要与观众进行互动时,手上的遥控装置就显得很累赘了。



技术实现要素:

本实用新型要解决的技术问题在于,针对上述的现有技术中的有线式的PPT控制方式束缚了操作人员的活动范围以及遥控式的控制方式中握持遥控装置对于操作人员有时候显得并不方便的技术缺陷,提供了一种基于手势识别的PPT播放控制系统。

根据本实用新型的第一方面,本实用新型为解决其技术问题,提供了一种基于手势识别的PPT播放控制系统,包括:

用于拍摄包含手部的图像的图像拍摄模块、用于提取出所述图像中手部的图像的手部提取模块、用于根据提取出的手部的图像,识别出手部的张开动作和闭合动作的动作识别模块、用于根据手部在预设时间内的连续张开的次数和连续闭合的次数来产生调整PPT播放状态的控制指令的决策模块;

图像拍摄模块、手部提取模块、动作识别模块及决策模块依次连接。

进一步的,在本实用新型的PPT播放控制系统中,上述手部提取模块包含:

用于将拍摄的图像进行灰度化处理的灰度化处理处理模块,

用于根据下述公式,计算出灰度化处理后图像中每一个像素的灰度值的类间方差,得出使得类间方差最大的灰度值的类间方差遍历模块,

g=ω1×ω2×(μ12)2

式中,g为类间方差,ω1为灰度化处理后图像中灰度值大于当前选定的灰度值的像素点数占整幅图像的像素点数的比例,μ1灰度化处理后图像中灰度值大于当前选定的灰度值的像素的平均灰度值,ω2为灰度化处理后图像中灰度值小于当前选定的灰度值的像素点数占整幅图像的像素点数的比例,μ2灰度化处理后图像中灰度值小于当前选定的灰度值的像素的平均灰度值;

用于以得出的使得类间方差最大的灰度值作为分割阈值,将灰度化处理后的图像进行二值化处理,得出手部的图像的二值化处理模块;

灰度化处理处理模块连接图像拍摄模块、类间方差遍历模块连接灰度化处理模块,二值化处理模块连接类间方差遍历模块。

进一步的,在本实用新型的PPT播放控制系统中,上述图像拍摄模块为摄像头或者云台摄像机。

进一步的,在本实用新型的PPT播放控制系统中,上述所述手部提取模块具有信号调理电路以及与信号调理电路连接的第一处理器,其中所述信号调理电路连接所述图像拍摄模块。

进一步的,在本实用新型的PPT播放控制系统中,上述决策模块连接有一用于发送控制指令的信号发送模块,所述信号发送模块为蓝牙模块、RS232通信模块、RS485通信模块、RS422通信模块、SPI通信模块、IIC通信模块、Zigbee通信模块及NRF通信模块中任意一种。

本实用新型的基于手势识别的PPT播放控制系统,根据手部连续张开和连续闭合次数来调整PPT的播放状态,操作人员可以在不携带任何遥控装置的前提下,实现对PPT的远程操控,方便简单。同时,通过图像中手部图像面积的变化来区分手部是处于闭合动作还是张开动作,并通过手部面积变化的变化率来减少无效操作,算法简单,运算速度快,制作的成本教低。

附图说明

下面将结合附图及实施例对本实用新型作进一步说明,附图中:

图1是本实用新型的基于手势识别的PPT播放控制系统一优选实施例的电路原理图。

具体实施方式

为了对本实用新型的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本实用新型的具体实施方式。

如图1所示,其本实用新型的基于手势识别的PPT播放控制系统一优选实施例的电路原理图。在本实施例的PPT播放控制系统具有手势控制端1和PPT控制端2,手势控制端1具有依次连接的图像拍摄模块11、手部提取模块12、动作识别模块13、决策模块14以及蓝牙模块一15。PPT控制端2具有连接的蓝牙模块二22与PPT投影控制模块21。蓝牙模块一15与蓝牙模块二22可通信连接。

在本实施例中,图像拍摄模块11在本实施例采用固定拍摄角度的摄像头,摄像头拍摄包含PPT操作人员的手部的图像,拍摄时将摄像头的拍摄范围内任意出现的人员的手部均视作PPT操作人员的手部进行拍摄,拍摄的手部图像均视作有效图像。在本实用新型的另一实施例中,图像拍摄模块11为云台摄像机,云台摄像机根据预先设置的人员图像,自动跟踪对应人员,拍摄该人员的手势进行处理,而将拍摄的其他人员的手部图像视为无效图像,无效不参与控制指令的产生。

手部提取模块12具有信号调理电路以及与信号调理电路连接的第一处理器。信号调理电路连接图像拍摄模块11,对图像拍摄模块11拍摄的图像进行调理,将信号放大至预设的范围,然后再进行滤波处理,滤除其中的噪声后传输至与第一处理器,第一处理器将调理理后的图像进行处理,提取出手部的图像。

动作识别模块13采用第二处理器实现,第二处理器连接第一处理器,根据提取出的手部的图像,识别出手部的张开动作和闭合动作。

决策模块14通过中央处理器实现,中央处理器根据手部在预设时间内的连续张开的次数和连续闭合的次数来产生调整PPT播放状态的控制指令。控制指令生成后,与中央处理器14连接的蓝牙模块一15将在中央处理器14的控制下将控制指令发送出去。

蓝牙模块二22接收到上述的控制指令后,传送至与其连接的PPT投影控制装置21,PPT投影控制装置21响应上述控制指令,而调整PPT的播放状态,进行上翻一页、下翻一页从当前页面开始播放及结束播放等中的一项操作。

在本实用新型的另一实施例中,手势控制端1和PPT控制端2可以不采用本实用新型的两个蓝牙模块进行传输,而采用其他的传输方式,即上述的两个蓝牙模块可以被下述的任意一种模块所同时代替:RS232通信模块、RS485通信模块、RS422通信模块、SPI(Serial PeripheralInterface)通信模块、IIC(Inter-IntegratedCircuit)通信模块、Zigbee通信模块及NRF通信模块。

手部提取模块12将处理后的图像进行处理,提取出手部的图像可通过下述的模块进行实现。

灰度化处理处理模块,连接图像拍摄模块11,将拍摄的调理后的图像进行灰度化处理。摄像头采集到的图像信息为RGB彩图,为了降低计算量,首先将RGB图像进行灰度化处理,经处理后的每一个像素的像素值为:

Gray=R*0.299+G*0.587+B*0.114

其中,Gray为灰度化处理后形成的灰度图的像素值,R、G、B分别为灰度化处理之前的彩图中红、绿、蓝所对应的像素值。

类间方差遍历模块,连接灰度化处理模块,用于根据下述公式,计算出灰度化处理后图像中每一个像素的灰度值的类间方差,得出使得类间方差最大的灰度值

g=ω1×ω2×(μ12)2

式中,g为类间方差,ω1为灰度化处理后图像中灰度值大于当前选定的灰度值的像素点数占整幅图像的像素点数的比例,μ1灰度化处理后图像中灰度值大于当前选定的灰度值的像素的平均灰度值,ω2为灰度化处理后图像中灰度值小于当前选定的灰度值的像素点数占整幅图像的像素点数的比例,μ2灰度化处理后图像中灰度值小于当前选定的灰度值的像素的平均灰度值;

二值化处理模块连接类间方差遍历模块,并连接动作识别模块的第二处理器,以得出的使得类间方差最大的灰度值作为分割阈值,将灰度化处理后的图像进行二值化处理,然后进行膨胀操作和腐蚀操作滤除背景,得出手部的图像。在本实施例中,灰度值小于的像素被二值化为“0”,否则被二值化为“1”,所有二值化为“1”的像素组成本实用新型的手部的图像,而二值化为“0”的像素组成本实用新型的手背所处的背景的图像。

动作识别模块13根据提取出的手部的图像,识别出手部的张开动作和闭合动作具体为:根据手部的图像的面积的变化速度,识别出手部是处于张开动作还是闭合动作,若变化速度为正值,则手部是处于张开动作,否变化速度为负值,则手部是处于张开动作。承接上述,为了减少被实用新型中的面积的计算误差,在二值化处理后,还可以采用膨胀操作和腐蚀操作,滤除背景中的噪声,即滤除二值化为“0”的像素所包围的少量的“1”。然后对二值化处理后的图像进行求和,等效于对手部的图像的区域进行求和,将所有的“1”相加起来得出和,和的大小便能反应图像面积的大小,和的变化速度也能反映手部的图像的面积的变化速度。

人完成一次手部的开合大概需要几百毫秒,取一段时间间隔为Δt(Δt<100ms)定为单位时间,求得Δt之前的手部的图像的面积(即求出的和,下同)为St,当前手部的图像的面积为St+Δt,利用公式得出手部的图像的面积的变化速度υs

如此可得到Δt内的手部的图像的面积的变化的速度υs。进一步判断υs是正值还是负值,如果υs是正值,表示手部的动作状态为张开一次,如果υs为负值表示手部的动作状态为闭合一次。为动作消除误判,需对速度设置阈值,只有动作速度达到一定阈值时才判断为有效动作。

按照人的行动习惯,为了达到连续进行张开(闭合)操作,进行一次操作后张开(闭合)操作后紧接着会进行一次闭合(张开)操作方便进行下一次张开(闭合),为了消除后续紧接着的一次动作可能导致的误判,需对加速度设置阈值,只有加速度(面积的变化的变化速度)达到一定阈值时才判断为有效动作,当前操作持续有效,继续检测后续的手部动作,否则说明操作人员的想进行的操作在上一次动作时已经完成,本次动作无效,本次操作的手部动作获取结束。具体的,取一段时间间隔为Δt′(Δt′<100ms)定为单位时间,求得Δt′之前的面积变化速度为υt,当前的面积变化速度为υt+Δt′,利用下述公式求得as

在预设时间t1内每检测到一次张开或闭合动作,统计操作的计数变量加一,到t1结束时,计数变量清零。

在操作人员进行的一次操作中存在多次的张开或者闭合动作的可能,以多次张开动作为例,前一次张开后的闭合到后一动作的张开,可视为在两次张开动作中夹杂着的一次伪闭合动作,同理在多次张开动作时,前一次闭合后的张开到后一动作的闭合,可视为在两次闭合动作中夹杂着的一次伪张开动作,伪闭合动作和伪张开动作不具有实际意义,且会导致本来进行的多次张开的动作被判断为多次闭合动作,本来进行的多次闭合动作被判断为多次张开动作。为了防止本次操作的张开动作被判断为闭合动作,闭合动作被判断为张开动作,本实施例操作人员的本次操作开始的有效动作最为本次操作是多次闭合动作还是多次张开动作的依据,即本次操作的开始的动作为闭合动作时,本次操作被判断为多次闭合动作;本次操作的开始的动作为张开闭合时,本次操作被判断为多次闭合动作。

在本实施例中在预设时间内手部连续张开的次数和连续闭合的次数与控制指令的对应关系为:手部张开一次(即连续张开一次)对应PPT的下翻一页的控制指令,手部闭合一次(即连续闭合一次)对应PPT的上翻一页的控制指令,连续张开两次表示从当前页播放的控制指令,连续闭合两次表示从头播放的控制指令。

上面结合附图对本实用新型的实施例进行了描述,但是本实用新型并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本实用新型的启示下,在不脱离本实用新型宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本实用新型的保护之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1