一种教学培训录播系统中自动控制采播vga信号的方法

文档序号:2583531阅读:284来源:国知局
专利名称:一种教学培训录播系统中自动控制采播vga信号的方法
技术领域
本发明涉及一种教学培训录播系统中自动控制采播VGA信号的方法。
背景技术
自动录播系统广泛用于教育、培训、医疗行业。在教学培训中应用的主要部分包括 对教师视频、学生视频、教师课件(主要是通过VGA接口输入的图像)进行自动采集、播出、视 频合成的系统设备。其中VGA图像是录播教学过程中一个重要的信号源,包括教师授课用PC或笔记本 输出的VGA图像、数字展台采集的图像、平板电脑VGA图像、以及其他任意带有VGA接口的 设备输出的图像。但是市面上的现有自动录播系统多采用人工信号触发方式,在课堂教学 运用中,始终没有彻底解决好VGA信号采集及VGA图像视频流的自动切换输出、视频文件的 自动合成的问题。现有录播系统摄录课堂采集切换VGA图像信号主要采用以下方法
.方法1,教师按下某个特定按钮,人工发出触发信号,录播系统收到触发信号后,切换 至采集输出VGA图像信号。该方法主要运用于数字展台;
.方法2,录播系统切换至采集输出展台信号时,需满足特定条件,例如位置感应信号 触发。即教师需要站在某个固定位置,用以触发光电或红外位置传感器,教师固定位置,不 能自由移动,此时位置传感器给出触发信号,录播系统收到触发信号后,切换至采集输出 VGA图像信号,该方法主要运用数字展台图像采播。使用本方法时,若教师不慎离开特定位 置,录播系统将终止采集数字展台的图像;
.方法3,人工辅助控制录播主机,使之终止自动录播状态,处于手动控制状态,然后人 工手动状态切换,使录播系统切换至采集输出数字展台图像;
.方法4,在电脑或白板/交互电视模式等设备本身或相连的计算机主机安装一个“触 发软件”,需要采集视频时,教师移动鼠标、操作键盘时,“触发软件”将捕获鼠标、键盘事件, 并通过网络向录播系统发出采集电脑、白板、交互电视显示的命令,此时录播系统将采集输 出的上述设备的图像。从以上两几种课堂VGA图像教学摄录方法可以看出,在VGA图像信号采集和输出 方面现有技术仅仅达到半自动的水平,且智能化不足,存在以下的弱点
使用人工触发方法时,为了配合录播系统VGA采集的方式,必须改变授课者使用习惯, 影响教学流畅度;增加了设备使用的难度,加大了设备的使用培训工作量;假如遗忘触发 动作,则会造成VGA采集的疏漏,影响录播效果。使用人工触发方法,没能完成录播设备的完全自动化,做到设备为人服务;而变为 人为设备服务。自动化程度不足,需要配置专人进行辅助控制,浪费人力物力。不易接受,难以推广;若在授课者自带笔记本中装软件,非常尴尬,不易接受。缺乏前瞻性,未能做到设备无关,无法采集非传统设备输出的VGA图像信号,例如基于liniDuiOs、Andriod等操作系统的平板电脑输出的VGA图像信号;造成设备功效可能 不能完全发挥,影响投资的有效性。

发明内容
本发明要解决的技术问题自动录播系统在VGA图像采集输出环节,与设备无关 性的接入,及全自动输出问题。为此,本发明提供了一种教学培训录播系统中自动控制采播VGA信号的方法,该 方法包括图像获取及存储模块、图像比对及反馈模块和控制执行模块。图像获取及存储模块用来获取指定属性VGA图像,放入指定的存储页面。图像比对及反馈模块负责对存储页面的VGA图像信息进行比对,判断图像变化否 及其变化率,对比对的结果进行判断,判断其是否超过设定的变化率阈值,并给出比对结^ ο控制执行模块负责接收对比结果,并对录播系统的信号采集、输出进行切换控制。所述控制执行模块执行如下步骤
A.点击录播系统开始按钮,启动录播系统自动录播过程;
B.根据图像比对及反馈模块发出的信号,判断老师、学生、VGA图像三路信号状态,执 行C J中的任一步;
C.若讲台上有教师,无学生发言,VGA图像无变化;跳转至步骤K执行;
D.讲台上有教师,有学生发言,VGA图像无变化;跳转至步骤M执行;
E.讲台上有教师,有学生发言,VGA图像有变化;跳转至步骤M执行;
F.讲台上无教师,有学生发言,VGA图像无变化;跳转至步骤M执行;
G.讲台上无教师,有学生发言,VGA图像有变化;跳转至步骤M执行;
H.讲台上无教师,无学生发言,VGA图像有变化;跳转至步骤N执行;
I.讲台上有教师,无学生发言,VGA图像有变化;跳转至步骤N执行; J-讲台上无教师,无学生发言,VGA图像无变化;跳转至步骤P执行; K.摄制教师视频流,附加到文件后,a秒后跳转至步骤B执行;
L.步骤K执行过程中,收到图像比对及反馈模块发出信号,有学生发言或VGA图像有 变化,立即中断摄制教师视频流,跳转至步骤B执行;
M.摄制学生视频流,附加到文件后,b秒后跳转至步骤B执行; N.启动VGA图像信号流采集,并将视频流附加于文件后,c秒后跳转至步骤B执行; 0.步骤N执行过程中,收到图像比对及反馈模块发出信号,有学生发言,立即中断VGA 图像信号流采集,跳转至步骤B执行;
P.判断m秒内VGA图像是否变化,根据判断结果,执行Q R中的任一步; Q. VGA图像m秒内发生变化,跳转至步骤B执行;
R. VGA图像无变化超过m秒,启动VGA图像信号流采集,摄制η秒,并将视频流附加于 文件后,跳转至步骤S执行; S.结束摄录。所述图像获取及存储模块执行如下步骤A.初始化;
B.建立2个图像缓冲区x、y;
C.启动定时器加到文件后;
D.采样时间到;
E.获取指定区域VGA图像;
F.获取图像存入图像缓冲区X,建立图像矩阵A;
G.采样时间到;
H.获取指定区域VGA图像;
I.获取图像存入图像缓冲区y,建立图像矩阵B; J.发出存储区就绪信号;
K.收到对比完毕信号; L.跳转至步骤D。所述图像比对及反馈模块执行如下步骤
A.收到存储区就绪信号;
B.i 置 0,result 置 0 ;
C.判断i值;
D.若i小于图像矩阵A宽度,执行F步;
E.若i等于图像矩阵A宽度,执行R步;
F.j 置 0 ;
G.判断j值;
H.若j小于图像矩阵A高度,执行J步;
I.若j等于图像矩阵A高度,执行C步;
J.比对图像矩阵中像素A[ i, j ]和虹i, j ]; K.若像素比对相同,则result值加1,执行M步; L.若像素比对不同,则执行P步; M. result和阈值比对;
N.若result大于等于阈值,发出本路图像变化信号,发出对比完毕信号,中断,跳出循
环;
0.若result小于阈值,执行P步; P. j值加1,执行G步; Q. i值加1,执行C步; R.发出对比完毕信号。本发明实现了如下技术效果
.录播系统VGA图像信号采集具有与被采集设备操作系统无关性,被采集端不再需要 安装“触发软件”,也无对操作使用的特定限制,采集信号源不再局限于基于Windows的操 作系统,可以支持已知、未知的操作系统,包括但不限于Windows,或Linux,或Android,或 WebOS,或 Meego0.录播系统VGA图像信号采集具有与被采集设备无关性,只要被采集设备有VGA接 口,能输出VGA标准信号,无论是智能设备或是非智能设备均能进行自动采集输出;例如展台,或PC,或平板电脑,或触控电视。.不改变操作设备的习惯,使用者不用为了配合录播系统采集输出VGA图像而进 行特定的附加操作动作、或特定要求;也无需人工辅助操作。使用该视频流自动合成步骤,在预先设定的上课时间自动开机开始录制,全程无 需人工干预与值守,实现了全自动摄录课堂教学全过程。和传统摄录方法相比,本发明自动 化程度极高,操作极其简便,保证了教学、录播的常态化,解决了课堂教学全自动摄录系统 中VGA图像自动采集的技术问题。


图1为控制执行模块流程图; 图2为图像获取及存储模块流程图; 图3为图像比对及反馈模块处理流程。
具体实施例方式为详细说明本发明的技术内容、结构特征、实现的技术目的和技术效果,以下结合 附图和实施方式进行详细说明。实施例1 一种教学培训录播系统中自动控制采播VGA信号的方法,该方法包括图 像获取及存储模块、图像比对及反馈模块和控制执行模块。所述控制执行模块执行如下步骤
A.点击录播系统开始按钮,启动录播系统自动录播过程;
B.根据图像比对及反馈模块发出的信号,判断老师、学生、VGA图像三路信号状态,执 行C J中的任一步;
C.若讲台上有教师,无学生发言,VGA图像无变化;跳转至步骤K执行;
D.讲台上有教师,有学生发言,VGA图像无变化;跳转至步骤M执行;
E.讲台上有教师,有学生发言,VGA图像有变化;跳转至步骤M执行;
F.讲台上无教师,有学生发言,VGA图像无变化;跳转至步骤M执行;
G.讲台上无教师,有学生发言,VGA图像有变化;跳转至步骤M执行;
H.讲台上无教师,无学生发言,VGA图像有变化;跳转至步骤N执行;
I.讲台上有教师,无学生发言,VGA图像有变化;跳转至步骤N执行; J-讲台上无教师,无学生发言,VGA图像无变化;跳转至步骤P执行; K.摄制教师视频流,附加到文件后,a秒后跳转至步骤B执行;
L.步骤K执行过程中,收到图像比对及反馈模块发出信号,有学生发言或VGA图像有 变化,立即中断摄制教师视频流,跳转至步骤B执行;
M.摄制学生视频流,附加到文件后,b秒后跳转至步骤B执行; N.启动VGA图像信号流采集,并将视频流附加于文件后,c秒后跳转至步骤B执行; 0.步骤N执行过程中,收到图像比对及反馈模块发出信号,有学生发言,立即中断VGA 图像信号流采集,跳转至步骤B执行;P.判断m秒内VGA图像是否变化,根据判断结果,执行Q R中的任一步; Q. VGA图像m秒内发生变化,跳转至步骤B执行;
R. VGA图像无变化超过m秒,启动VGA图像信号流采集,摄制η秒,并将视频流附加于 文件后,跳转至步骤S执行; S.结束摄录。所述图像获取及存储模块执行如下步骤 Α.初始化;
B.建立2个图像缓冲区x、y;
C.启动定时器加到文件后;
D.采样时间到;
E.获取指定区域VGA图像;
F.获取图像存入图像缓冲区X,建立图像矩阵A;
G.采样时间到;
H.获取指定区域VGA图像;
I.获取图像存入图像缓冲区y,建立图像矩阵B; J.发出存储区就绪信号;
K.收到对比完毕信号; L.跳转至步骤D。所述图像比对及反馈模块执行如下步骤
A.收到存储区就绪信号;
B.i 置 0,result 置 0 ;
C.判断i值;
D.若i小于图像矩阵A宽度,执行F步;
E.若i等于图像矩阵A宽度,执行R步;
F.j 置 0 ;
G.判断j值;
H.若j小于图像矩阵A高度,执行J步;
I.若j等于图像矩阵A高度,执行C步;
J.比对图像矩阵中像素A[ i, j ]和虹i, j ]; K.若像素比对相同,则result值加1,执行M步; L.若像素比对不同,则执行P步; M. result和阈值比对;
N.若result大于等于阈值,发出本路图像变化信号,发出对比完毕信号,中断,跳出循
环;
0.若result小于阈值,执行P步; P. j值加1,执行G步; Q. i值加1,执行C步; R.发出对比完毕信号。实施例2 在实施例1基础上对本发明做出进一步改进。当VGA图像先通过VGA接口输出到显示器屏幕上时。图像获取及存储模块中,采用虚拟显卡的屏幕抓图技术来实 现。Mirror driver是Windows NT下的一种镜像驱动,对于虚拟显卡驱动(Mirror Display driver)系统.发往物理显卡的所有命令也同样发送给Mirror Display driver,以在 Mirror Display driver中模拟出当前系统的显示内容,因此称之为mirror。利用这个特 性.就能很方便的捕获到当前屏幕的内容以及图像绘制的变化部分,是一种速度很快的截 屏方法。图像获取及存储模块中,也可以在Windows系统下使用系统挂钩hook,在⑶I或者 ⑶1+更新屏幕画面时抓取VGA图像。图像获取及存储模块中,也可以通过向图像采集卡采集获取RAW格式数据、或转 换为标准图像格式文件获得方式定向获得。实施例3 在实施例2基础上对本发明做出进一步改进。在图像比对及反馈模块 中调用OpenCV中的MereoSGBM、或MereoBM或MereoGC函数,对图像进行比对。以上所述,仅是本发明的较佳实施例而已,并非是对本发明保护范围的限定,只要 是采用本发明的技术方案,或者仅仅是通过本领域的普通技术人员都能作出的任何常规修 改或等同变化,都落入本发明所要求保护的范围之中。
权利要求
1.一种教学培训录播系统中自动控制采播VGA信号的方法,其特征在于该方法包括 图像获取及存储模块、图像比对及反馈模块、控制执行模块;图像获取及存储模块用来获取指定属性VGA图像,放入指定的存储页面; 图像比对及反馈模块对存储页面的VGA图像信息进行比对,判断图像变化否及其变 化率,对比对的结果进行判断,判断其是否超过设定的变化率阈值;并给出比对结果; 控制执行模块接收对比结果,并对录播系统的信号采集、输出进行切换控制。
2.如权利要求1所述一种教学培训录播系统中自动控制采播VGA信号的方法,其特征 在于所述控制执行模块执行如下步骤A.点击录播系统开始按钮,启动录播系统自动录播过程;B.根据图像比对及反馈模块发出的信号,判断老师、学生、VGA图像三路信号状态,执 行C J中的任一步;C.若讲台上有教师,无学生发言,VGA图像无变化;跳转至步骤K执行;D.讲台上有教师,有学生发言,VGA图像无变化;跳转至步骤M执行;E.讲台上有教师,有学生发言,VGA图像有变化;跳转至步骤M执行;F.讲台上无教师,有学生发言,VGA图像无变化;跳转至步骤M执行;G.讲台上无教师,有学生发言,VGA图像有变化;跳转至步骤M执行;H.讲台上无教师,无学生发言,VGA图像有变化;跳转至步骤N执行;I.讲台上有教师,无学生发言,VGA图像有变化;跳转至步骤N执行; J-讲台上无教师,无学生发言,VGA图像无变化;跳转至步骤P执行; K.摄制教师视频流,附加到文件后,a秒后跳转至步骤B执行;L.步骤K执行过程中,收到图像比对及反馈模块发出信号,有学生发言或VGA图像有 变化,立即中断摄制教师视频流,跳转至步骤B执行;M.摄制学生视频流,附加到文件后,b秒后跳转至步骤B执行; N.启动VGA图像信号流采集,并将视频流附加于文件后,c秒后跳转至步骤B执行; 0.步骤N执行过程中,收到图像比对及反馈模块发出信号,有学生发言,立即中断VGA 图像信号流采集,跳转至步骤B执行;P.判断m秒内VGA图像是否变化,根据判断结果,执行Q R中的任一步; Q. VGA图像m秒内发生变化,跳转至步骤B执行;R. VGA图像无变化超过m秒,启动VGA图像信号流采集,摄制η秒,并将视频流附加于 文件后,跳转至步骤S执行; S.结束摄录。
3.如权利要求2所述一种教学培训录播系统中自动控制采播VGA信号的方法,其特征 在于所述图像获取及存储模块执行如下步骤A.初始化;B.建立2个图像缓冲区x、y;C.启动定时器加到文件后;D.采样时间到;E.获取指定区域VGA图像;F.获取图像存入图像缓冲区X,建立图像矩阵A;G.采样时间到;H.获取指定区域VGA图像;I.获取图像存入图像缓冲区y,建立图像矩阵B; J.发出存储区就绪信号;K.收到对比完毕信号; L.跳转至步骤D。
4.如权利要求3所述一种教学培训录播系统中自动控制采播VGA信号的方法,其特征 在于所述图像比对及反馈模块执行如下步骤A.收到存储区就绪信号;B.i 置 0,result 置 0 ;C.判断i值;D.若i小于图像矩阵A宽度,执行F步;E.若i等于图像矩阵A宽度,执行R步;F.j 置 0 ;G.判断j值;H.若j小于图像矩阵A高度,执行J步;I.若j等于图像矩阵A高度,执行C步;J.比对图像矩阵中像素A[ i, j ]和虹i, j ]; K.若像素比对相同,则result值加1,执行M步; L.若像素比对不同,则执行P步; M. result和阈值比对;N.若result大于等于阈值,发出本路图像变化信号,发出对比完毕信号,中断,跳出循环;0.若result小于阈值,执行P步; P. j值加1,执行G步; Q. i值加1,执行C步; R.发出对比完毕信号。
全文摘要
本发明提供了教学培训录播系统中自动控制采播VGA信号的方法。该方法包括捕捉教师状态,摄制教师视频流,捕捉学生状态,摄制学生视频流,捕捉板书状态,摄制板书视频流,捕获VGA信号变化,摄制VGA图像,采集声音信号并对多视频、音频流进行自动合成,生成标准流媒体文件的步骤。
文档编号G09B5/08GK102142202SQ201110087790
公开日2011年8月3日 申请日期2011年4月8日 优先权日2011年4月8日
发明者张炜, 张飞, 李冰, 李涛, 蒋耀庭 申请人:南京汉韬科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1