专利名称：基于动作识别技术的云台控制方法及系统的制作方法
技术领域：
本发明涉及视频监控领域，特别是涉及一种基于动作识别技术的云台控制方法及系统。
背景技术：
PTZ是Pan/Tilt/Zoom缩写，PTZ跟踪技术是指在具有云台、球形摄像机(简称球机)的视频监控系统中，根据控制命令对云台、球机等进行全方位(上下、左右)移动及镜头变倍、变焦控制的方法。其中，云台控制是必不可少的一部分，云台控制对于前端摄像机的转向、预置位、巡航及轨迹等进行控制的模块。对于客户端操作而言，传统的云台控制有控制键盘直接操控和鼠标对模块模拟的云台控制软件进行操控，以及通过无线网络对云台进行控制的控制技术，这些方式都完成云台转动、预置位控制、云台巡航等操作。对云台的控制技术领域中还包括手触屏控制云台的技术。
但这些云台控制都存在两个方面的问题，一方面都是需要人手干涉，而且要求操作者熟悉操作业务，才能正确的对云台实施控制；另一方面是这些方法在应用于多个云台控制的时候，就会出现手忙脚乱的情况。因此引入人工智能来进行云台控制成为当前的一个解决方法，这种方法降低了用户的操作难度，具有良好的人机交互性，而且这种云台控制还适用于有障碍人士的使用，真正做到方便、实用、易用在安防领域及其他领域具有广阔的应用场景。因此现有技术中，如何通过简单易懂的操作步骤实现智能控制云台以增强云台控制技术的人际交互性能是个很难解决的问题。
发明内容
基于上述问题，本发明提供了一种基于动作识别技术的云台控制方法及系统，通过简单的操作者的肢体动作来实现智能控制云台，用以增强云台控制技术的人际交互性能，从而解决云台控制的不易操作的问题。本发明提供的一种基于PTZ的视频中目标跟踪方法，所述跟踪方法具体包括下述步骤步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表；步骤S200，将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；步骤S300、云台接收云台控制指令，根据云台控制指令控制云台进行相应操作。进一步地，作为一种可实施方式。所述步骤S200之前还包括步骤RlOO 步骤R100、第二摄像设备预先采集客户端场景中操作者的动作视频图像。
进一步地，作为一种可实施方式。所述步骤S200包括如下步骤步骤S210、利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，并利用时间差分法检测视频图像中操作者的动作，将获取的操作者的动作视频图像进行处理得到操作者的动作的视频图像序列；步骤S220、采用模板匹配技术将图像序列转化为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的动作信息；步骤S230、将设别的操作者的动作信息与标准动作语义映射表对比，得到对应动作控制语义；步骤S240、将对应的动作控制语义转化为相应的云台控制指令并发送给云台。进一步地，作为一种可实施方式。所述步骤S300包括如下步骤
步骤S310、云台接收云台控制指令，调整云台执行采集远程监测场景的视频图像的操作，控制云台和/或第一摄像设备执行平移和/或变焦的操作并采集远程监测场景的视频图像；所述步骤S300之后还包括步骤S400 步骤S400、云台控制服务器接收远程监测场景的视频图像并将所述远程监测场景的视频图像显示在客户端上。较佳地，作为一种可实施方式。所述标准动作语义映射表包括如下信息标准动作信息和相应的动作控制语义。相应地，作为一种可实施方式。本发明还提供了一种基于动作识别技术的云台控制系统，包括客户端和第一摄像设备，所述第一摄像设备包括云台，所述第一摄像设备为网络摄像机，所述云台控制系统还包括云台控制服务器，所述云台控制服务器分别与客户端和第一摄像设备的云台通过网络连接，其中所述云台控制服务器包括生成模块、处理模块，其中所述生成模块，用于获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表;所述处理模块，用于接收客户端实时获得的操作者的动作的视频图像，云台控制服务器识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；所述第一摄像设备的云台，用于在接收云台控制指令后，根据云台控制指令控制云台进行相应操作。进一步地，作为一种可实施方式。所述基于动作识别技术的云台控制系统还包括第二摄像设备，其中所述第二摄像设备，用于采集客户端场景中操作者的动作视频图像并传输给所述云台控制服务器。进一步地，作为一种可实施方式。所述云台控制服务器还包括接收模块，其中所述接收模块，用于在调整云台执行采集远程监测场景的视频图像的操作之后，接收远程监测场景的视频图像并将所述远程监测场景的视频图像显示在客户端上。进一步地，作为一种可实施方式。所述处理模块包括图像处理子模块、人体动作识别子模块、动作语义映射子模块和转化发送子模块，其中所述图像处理子模块，用于利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，并利用时间差分法检测视频图像中操作者的动作，将获取的操作者的动作视频图像进行处理得到操作者的动作的视频图像序列；所述人体动作识别子模块，用于采用模板匹配技术将图像序列转化为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的动作信息；所述动作语义映射子模块，用于将设别的操作者的动作信息与标准动作语义映射表对比，得到对应动作控制语义；所述转化发送子模块，用于将对应的动作控制语义转化为相应的云台控制指令并发送给云台控制单元。
进一步地，作为一种可实施方式。所述第一摄像设备还包括云台控制单元；所述云台控制单元，用于接收云台控制指令，控制云台和/或第一摄像设备执行平移和/或变焦的操作并采集远程监测场景的视频图像。本发明的有益效果包括本发明提供的一种基于动作识别技术的云台控制方法及系统，其中方法包括以下步骤步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表；步骤S200、将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；步骤S300、z 台接收z 台控制指令，根据z 台控制指令控制z 台进彳丁相应 呆作；其中，根据操作者的动作的视频图像序列识别操作者的动作信息，再将设别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应动作控制语义转化为相应的云台控制信号具有重要意义。总的来说，与现有技术相比，本发明所提供的基于动作识别技术的云台控制方法可以通过操作者肢体动作实现智能控制云台增强了云台控制技术的人际交互性能。
图I为本发明基于动作识别技术的云台控制方法的一具体实施例的流程示意图；图2为本发明基于动作识别技术的云台控制方法的具体实施例在识别动作信息的方法流程示意图；图3为本发明基于动作识别技术的云台控制系统的一个实施例的结构示意图。
具体实施例方式下面结合说明书附图，对本发明基于动作识别技术的云台控制方法及系统的具体实施方式
进行说明。本发明实施例提供了一种基于动作识别技术的云台控制方法，如图I所示，具体包括以下步骤步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表；步骤S200，将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；步骤S300、云台接收云台控制指令，根据云台控制指令控制云台进行相应操作。本发明实施例在具体实施时，上述各步骤可以由基于动作识别技术的云台控制系统来完成。下面对上述流程进行进一步的详细说明较佳地，作为一种可实施方式。所述步骤SlOO之前还包括步骤RlOO 步骤R100、第二摄像设备预先采集客户端场景中操作者的动作视频图像。在本发明实施例中，第二摄像设备配置了镜头，镜头用于采集操作者的动作视频·图像，为后续的分析识别操作者的动作信息提供视频图像数据。进一步地，作为一种可实施方式。所述步骤S200具体包括如下，如图2所示步骤S210、利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，并利用时间差分法检测视频图像中操作者的动作，将获取的操作者的动作视频图像进行处理得到操作者的动作的视频图像序列；步骤S220、采用模板匹配技术将图像序列转化为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的动作信息；步骤S230、将设别的操作者的动作信息与标准动作语义映射表对比，得到对应动作控制语义；步骤S240、将对应的动作控制语义转化为相应的云台控制指令并发送给云台。进一步地，在步骤S210中，利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，这样，将得到客户端场景的背景模型，背景建模法在现有技术中有很多应用，例如，中值法背景建模顾名思义，就是在一段时间内，取连续N帧图像序列，把这N帧图像序列中对应位置的像素点灰度值按从小到大排列，然后取中间值作为背景图像中对应像素点的灰度值；均值法背景建模均值法建模算法非常简单，就是对一些连续帧取像素平均值。其基本思想是，在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值；还包括卡尔曼滤波器模型，单高斯分布模型等，本发明实施例对此不做具体限定；利用时间差分法检测视频图像中操作者的动作，较佳地，在本发明实施中，检测视频图像中操作者的上肢动作具有更实际的意义；下面以检测视频图像中操作者的上肢动作为例继续说明下述各个步骤，利用时间差分法与背景建模法相结合的混合算法可以很快有效地从背景中检测出运动目标(即操作者动作)，再利用图像分割处理技术将操作者的动作视频图像分割出来操作者的动作(上肢动作)视频图像序列；在本发明实施例中，除去使用时间差分法检测操作者的上肢动作还可以使用背景差分法，本发明对此不作具体限定；背景差分法又称背景减法(background subtraction)是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法，其性能依赖于所使用的背景建模技术。使用背景差分法检测所述预设位置场景即时获取的监控视频图像中前景目标(操作者的动作)。背景差分法是目前运动分割中最常用的一种方法，它是通过对每个输入的视频帧和模型的背景图像进行比较来检测运动目标(操作者的动作)；这样通过基于背景差方法可以检测前景目标，在本发明实施例中，为背景图像建立模型是利用了背景建模方法。利用图像分割处理技术将操作者的动作视频图像分割出来操作者的上肢动作视频图像序列；至此，视频图像分割处理流程结束。在上述步骤S220中，根据操作者的上肢动作的视频图像序列识别操作者的上肢动作信息；其中，利用模板匹配方法的行为识别方法首先将上肢动作视频图像序列转化为为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的上肢动作信
肩、O 至此，视频图像识别上肢动作信息的流程结束。在步骤S230中，将设别的操作者的上肢动作信息与标准动作语义映射表对比，得到对应动作控制语义；例如，当识别的动作信息为“挥手”时，通过语义映射表可以查到对应的动作控制语义为“进入动作操作模式”；如下表I所示
权利要求
1.一种基于动作识别技术的云台控制方法，其特征在于，包括如下步骤 步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表； 步骤S200，将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台； 步骤S300、云台接收云台控制指令，根据云台控制指令控制云台进行相应操作。
2.根据权利要求I所述的基于动作识别技术的云台控制方法，其特征在于，所述步骤S200之前还包括步骤RlOO 步骤R100、第二摄像设备预先采集客户端场景中操作者的动作视频图像。
3.根据权利要求I所述的基于动作识别技术的云台控制方法，其特征在于，所述步骤S200包括如下步骤 步骤S210、利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，并利用时间差分法检测视频图像中操作者的动作，将获取的操作者的动作视频图像进行处理得到操作者的动作的视频图像序列； 步骤S220、采用模板匹配技术将图像序列转化为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的动作信息； 步骤S230、将设别的操作者的动作信息与标准动作语义映射表对比，得到对应动作控制语义； 步骤S240、将对应的动作控制语义转化为相应的云台控制指令并发送给云台。
4.根据权利要求I或3所述的基于动作识别技术的云台控制方法，其特征在于，所述步骤S300包括如下步骤 步骤S310、云台接收云台控制指令，调整云台执行采集远程监测场景的视频图像的操作，控制云台和/或第一摄像设备执行平移和/或变焦的操作并采集远程监测场景的视频图像； 所述步骤S300之后还包括步骤S400 步骤S400、云台控制服务器接收远程监测场景的视频图像并将所述远程监测场景的视频图像显示在客户端上。
5.根据权利要求I所述的基于动作识别技术的云台控制方法，其特征在于，所述标准动作语义映射表包括如下信息标准动作信息和相应的动作控制语义。
6.一种基于动作识别技术的云台控制系统，包括客户端和第一摄像设备，所述第一摄像设备包括云台，所述第一摄像设备为网络摄像机，其特征在于，还包括云台控制服务器，所述云台控制服务器分别与客户端和第一摄像设备的云台通过网络连接，其中 所述云台控制服务器包括生成模块、处理模块，其中 所述生成模块，用于获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表； 所述处理模块，用于接收客户端实时获得的操作者的动作的视频图像，云台控制服务器识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台； 所述第一摄像设备的云台，用于在接收云台控制指令后，根据云台控制指令控制云台进行相应操作。
7.根据权利要求6所述的基于动作识别技术的云台控制系统，其特征在于，所述基于动作识别技术的云台控制系统还包括第二摄像设备，其中 所述第二摄像设备，用于采集客户端场景中操作者的动作视频图像并传输给所述云台控制服务器。
8.根据权利要求6所述的基于动作识别技术的云台控制系统，其特征在于，所述云台控制服务器还包括接收模块，其中 所述接收模块，用于在调整云台执行采集远程监测场景的视频图像的操作之后，接收远程监测场景的视频图像并将所述远程监测场景的视频图像显示在客户端上。
9.根据权利要求6所述的基于动作识别技术的云台控制系统，其特征在于，所述处理模块包括图像处理子模块、人体动作识别子模块、动作语义映射子模块和转化发送子模块，其中 所述图像处理子模块，用于利用背景建模法为获取的操作者的动作视频图像中的客户端场景建模，并利用时间差分法检测视频图像中操作者的动作，将获取的操作者的动作视频图像进行处理得到操作者的动作的视频图像序列； 所述人体动作识别子模块，用于采用模板匹配技术将图像序列转化为一组静态形状模式，并和预先存储的行为标本分析比较，识别得到操作者的动作信息； 所述动作语义映射子模块，用于将设别的操作者的动作信息与标准动作语义映射表对t匕，得到对应动作控制语义； 所述转化发送子模块，用于将对应的动作控制语义转化为相应的云台控制指令并发送给云台控制单元。
10.根据权利要求6或9所述的基于动作识别技术的云台控制系统，其特征在于，所述第一摄像设备还包括云台控制单元； 所述云台控制单元，用于接收云台控制指令，控制云台和/或第一摄像设备执行平移和/或变焦的操作并采集远程监测场景的视频图像。
全文摘要
本发明公开的一种基于动作识别技术的云台控制方法及系统，其中方法包括如下步骤步骤S100、云台控制服务器获取预先采集的客户端场景的动作视频图像，将获取的动作视频图像进行处理得到动作的视频图像序列，得到标准动作信息并生成标准动作语义映射表；步骤S200、将客户端实时获得的操作者的动作的视频图像传输给云台控制服务器，识别操作者的动作信息，将识别的动作信息与标准动作语义映射表对比分析得到对应的动作控制语义，将对应的动作控制语义转化为相应的云台控制指令，发送给云台；步骤S300、云台接收云台控制指令，根据云台控制指令控制云台进行相应操作。本发明提供的基于动作识别技术的云台控制方法及系统可以利用操作者肢体动作实现智能控制云台。
文档编号G05D3/12GK102799191SQ20121027897
公开日2012年11月28日 申请日期2012年8月7日 优先权日2012年8月7日
发明者刘玉进, 安国成, 郭楠, 李洪研, 罗志强 申请人:北京国铁华晨通信信息技术有限公司