专利名称：一种基于Kinect的电视节目主持互动系统的制作方法
技术领域：
本发明涉及电视节目系统，具体地说是一种基于Kinect的电视节目主持互动系统。
背景技术：
电视节目的收视率体现着电视节目工作者的劳动成果，为了不断提高节目收视率，电视台工作人员不断地改进电视节目内容的新颖性和主持方式的创新性，从而引发了电视节目不断应用新技术的革新。目前，就我国电视节目的主持方式所应用的技术而言，主要分为两种传统技术和多点触摸技术。传统技术通常是先录制视频，再由专业人员对视频作大量后期处理工作，如添加文字、图片或虚拟物等；使节目视频内容更加生动活泼，达到可满足要求播出电视画面。这样的技术方式往往增加了大量后期的人力和劳动力，同时对专业技术水平也有较高要求。多点触摸技术是近几年新应用到电视节目当中的技术，主要是将主持内容显示在支持触摸屏的显示设备上，主持人通过触摸显示屏做出相应手势就可以直接控制节目内容的播出进度，使主持人能够更加灵活的控制整个主持过程，完成电视节目的录制，后期也不需对视频内容进行大量的处理工作了。但是这种主持技术需要配备大尺寸、高分辨率的触摸屏和显示设备，对设备的要求较高且成本较大。并且主持人只能通过触摸屏来实现对节目播出的控制进程，无法脱离触摸设备。主持人只有通过直接接触到触摸屏才能产生控制命令，一定程度上限制了主持人的主持风格和动作，从而影响了拍摄主持人正面的最佳镜头。
发明内容
本发明是为了克服现有技术存在的不足之处，提供一种基于Kinect的电视节目主持互动系统，利用三维手势识别技术增加了语义手势操作命令，从而为电视主持提供新颖的非接触式的主持方式，使得主持人在空间上能够更加自由和灵活地控制节目播出过程，同时减少了人力及设备成本的投入。本发明为解决技术问题采用如下技术方案本发明一种基于Kinect的电视节目主持互动系统的组成包括一数字摄像机，用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线传输至字幕机；一 Kinect设备，将所述Kinect设备的RGB摄像头中心与所述数字摄像机的物镜中心处在同一条直线上，所述Kinect设备通过Kinect SDK系统开发工具包中相应API应用程序接口获得电视节目中主持人的RGB图像和人体骨骼信息，并将所述RGB图像和人体骨骼信息通过USB数据线传送至字幕机；所述字幕机，用于接收所述视频图像、所述RGB图像和所述人体骨骼信息，并利用图像配准技术中的仿射变换将所述RGB图像与所述视频图像进行图像配准；所述字幕机通过调用Kinect SDK系统开发工具包中相应API应用程序接口获得所述人体骨骼信息中的手部骨骼信息，并利用三维手势识别技术分别获得语义手势和控制手势，从而分别产生语义响应命令和控制响应命令；所述字幕机利用增强现实技术将图文字幕信息叠加到所述视频图像中形成置加视频；并对所述置加视频进行手部标识得到参考置加视频，将所述参考叠加视频发送到同步显示设备；所述同步显示设备，用于实时显示所述参考叠加视频，主持人根据所述参考叠加视频实时调整手部位置。本发明基于Kinect的电视节目主持互动系统的特点也在于所述Kinect设备2是从正面获取主持人的RGB图像和人体骨骼信息，且人体活动范围限制在所述Kinect设备2的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在I. 2米到3. 5米之间。所述语义手势和所述控制手势的识别过程分别如下过程A和过程B进行 过程A :所述字幕机3根据所述手部骨骼信息设定手部触发的深度阈值，当主持人7手部触发所述深度阈值后，所述字幕机3开始记录手部运动轨迹，并利用模板匹配方法找到所述手部运动轨迹所匹配的手势模板，若匹配成功，则执行与所述手势模板所对应的语义响应函数，从而获得所述语义手势并产生所述语义响应命令；若匹配失败，则主持人7重新触发所述深度阈值并进行所述语义手势的识别过程；过程B :所述字幕机3根据所述手部骨骼信息设定手部触发的深度阈值与时间阈值，主持人7手部触发所述深度阈值与时间阈值，若触发成功，则执行手部动作所对应的控制响应函数，从而获得所述控制手势并产生所述控制响应命令；若触发失败，则主持人7重新触发所述深度阀值与时间阀值并进行所述控制手势的识别过程。所述字幕机3可设置为计算机。与已有技术相比，本发明有益效果体现在I、本发明利用三维手势识别技术，改进了普通多点触摸技术不支持语义手势的操作，可以针对不同的手势定义不同的语义，从而扩充了控制手势的响应功能，使得主持人能够更加灵活多变对电视节目进行操作。2、本发明引入增强现实技术将图文字幕信息实时叠加到视频图像中形成叠加视频，使得电视节目更加的生动形象，增加了主持人用手势控制节目过程中的真实感。3、本发明改变了现有的主持方式，利用Kinect设备提供一种新的非接触式主持方式，主持人利用自身的人体姿态控制节目的播出进程，最大程度发挥出主持人自由的主持风格和正面的镜头感，从而让观众产生了新的视觉体验。4、本发明能有效提高节目制作的工作效率，避免了传统录制节目方式需要专业人员对所录制的视频进行大量的后期处理工作，省去了大量人力物力的投入。5、本发明所使用的Kinect设备相比于大尺寸触摸屏设备而言，其设备成本较低，使用更加方便灵活。
图I为本发明系统结构示意图；图2为本发明手势触发范围示意图；图3为本发明人体骨骼示意图中标号1数子摄像机；2Kinect设备；3子眷机；4冋步显不设备；5视频输出线；6USB数据线；7主持人；8图文或虚拟场景；9手部骨骼点；10手部运动轨迹。
具体实施例方式参见图I :本实施例中，一种基于Kinect的电视节目主持互动系统的组成包括数字摄像机I、Kinect设备2、字幕机3和同步显示设备4，其中字幕机3可以用计算机替代；数字摄像机I用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线5传输至字幕机3 ；可以将Kinect设备2绑定在数字摄像机I上，使得Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心处于同一直线上，并限制主持人的活动范围在Kinect设备2的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在I. 2米到3. 5米之间；如图I所示，本实施例是将Kinect设备2绑定在数字摄像机I的正上方，则Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心处于同一垂直线上；如果将Kinect设备2绑定在数字摄像机I的左侧或右侧，则Kinect设备2的RGB摄像头中心与数字摄像机的物镜中心应处于同一水平线上；Kinect设备2利用微软提供的Kinect SDK系统开发工具包中相应API应用程序接口从正面获取电视节目中主持人7的RGB图像和人体骨骼信息，并将所拍摄的RGB图像和人体骨骼信息通过USB数据线6传送至字幕机3 ；字幕机3用于接收视频图像、RGB图像和人体骨骼信息，利用图像配准技术中的仿射变换将RGB图像与视频图像进行图像配准；图像配准是按如下过程寻找一个最佳映射关系f 选取RGB图像作为待配准图像并由二维矩阵A表示，视频图像作为参考图像并由二维矩阵B表示；A(x，y)与B(x，y)分别表示二维矩阵A和二维矩阵B上的第x行第y列位置处的像素点；将待配准图像的二维矩阵A利用式(I)进行f变换，即A’ =Af，获得配准图像的二维矩阵A’
权利要求
1.一种基于Kinect的电视节目主持互动系统，其特征是所述系统组成包括 一数字摄像机(I)，用于拍摄电视节目并将所拍摄电视节目的视频图像通过视频输出线(5)传输至字幕机(3); 一 Kinect设备(2),将所述Kinect设备(2)的RGB摄像头中心与所述数字摄像机(I)的物镜中心处在同一条直线上，所述Kinect设备(2)通过Kinect SDK系统开发工具包中相应API应用程序接口获得电视节目中主持人(7)的RGB图像和人体骨骼信息，并将所述RGB图像和人体骨骼信息通过USB数据线(6)传送至字幕机(3)； 所述字幕机(3)，用于接收所述视频图像、所述RGB图像和所述人体骨骼信息，并利用图像配准技术中的仿射变换将所述RGB图像与所述视频图像进行图像配准；所述字幕机(3)通过调用Kinect SDK系统开发工具包中相应API应用程序接口获得所述人体骨骼信息中的手部骨骼信息，并利用三维手势识别技术分别获得语义手势和控制手势，从而分别产生语义响应命令和控制响应命令；所述字幕机(3)利用增强现实技术将图文字幕信息叠加到所述视频图像中形成叠加视频；并对所述叠加视频进行手部标识得到参考叠加视频，将所述参考叠加视频发送到同步显示设备(4)； 所述同步显示设备(4)，用于实时显示所述参考叠加视频，主持人(7)根据所述参考叠加视频实时调整手部位置。
2.根据权利要求I所述的基于Kinect的电视节目主持互动系统，其特征是所述Kinect设备(2)是从正面获取主持人的RGB图像和人体骨骼信息，且人体活动范围限制在所述Kinect设备(2)的水平视角范围小于57°、垂直视角范围小于43°和传感深度范围在I. 2米到3. 5米之间。
3.根据权利要求I所述的基于Kinect的电视节目主持互动系统，其特征是所述语义手势和所述控制手势的识别过程分别如下过程A和过程B进行 过程A :所述字幕机(3)根据所述手部骨骼信息设定手部触发的深度阈值，当主持人(7)手部触发所述深度阈值后，所述字幕机(3)开始记录手部运动轨迹，并利用模板匹配方法找到所述手部运动轨迹所匹配的手势模板，若匹配成功，则执行与所述手势模板所对应的语义响应函数，从而获得所述语义手势并产生所述语义响应命令；若匹配失败，则主持人(7)重新触发所述深度阈值并进行所述语义手势的识别过程； 过程B :所述字幕机(3)根据所述手部骨骼信息设定手部触发的深度阈值与时间阈值，主持人(7)手部触发所述深度阈值与时间阈值，若触发成功，则执行手部动作所对应的控制响应函数，从而获得所述控制手势并产生所述控制响应命令；若触发失败，则主持人(7)重新触发所述深度阀值与时间阀值并进行所述控制手势的识别过程。
4.根据权利要求I所述的基于Kinect的电视节目主持互动系统，其特征是所述字幕机(3)可设置为计算机。
全文摘要
本发明公开了一种基于Kinect的电视节目主持互动系统，其特征是系统组成包括数字摄像机、Kinect设备、字幕机和同步显示设备；数字摄像机用于拍摄电视节目，Kinect设备用于获取电视节目中主持人的RGB图像和人体骨骼信息，字幕机用于将RGB图像与视频图像进行图像配准，并获得人体骨骼信息中的手部骨骼信息，产生语义响应命令和控制响应命令；主持人根据同步显示设备实时调整手部位置。本发明为电视主持提供新颖的非接触式的主持方式，使得主持人在空间上能够更加自由和灵活地控制节目播出过程，同时减少了人力及设备成本的投入。
文档编号G06F3/01GK102801924SQ201210254878
公开日2012年11月28日 申请日期2012年7月20日 优先权日2012年7月20日
发明者李琳, 刘晓平, 汪伟, 王真水, 谢文军, 黄磊 申请人:合肥工业大学