用户行为自动检测智能屏幕抓屏系统的制作方法

本发明涉及录播系统，具体涉及用户行为自动检测智能屏幕抓屏系统。

背景技术：

近年来，录播系统应用越来越广泛，各行各业活动现场实时录制、直播、后期点播等需求快速增长，录制下来的视频文件用于记录、学习、分享。尤其在学校、教育培训行业，优质视频资源建设是学校教育信息化建设的重点方向，如优课，微课，精品课程等视频资源的的视频录制。因此，能简单生成一部具有高观赏性，效果好的视频课程资源是各行各业非常迫切的愿望。然而，当前整个视频录播行业对这个需求的产品化应用支撑一直没能达到用户的期望。尤其是自动跟踪和自动导播功能更是行业应用的痛点。

传统的屏幕录制和导播的方式是通过物理的视频线进行信号采集、如vga线，hdmi线，dvi线等，在采集到屏幕信号后还需进行人工导播切换，即由专人执守进行判断是否需要将屏幕画面切换为直播和录制画面作，由于场景中人物角色活动的不确定性，及场景变化的迅速，在人工导播录制操作时，很容易出现误操作，如漏切、误切等不准确的情况，会导致拍摄的视频出现精彩镜头丢失，增加人工投入，因此还需进行后期的人工视频编辑工作，也是非常的耗时耗力，错过的精彩片段无法弥补。本算法就是为解决此类行业应用的痛点问题而专门研发的。

技术实现要素：

为解决上述技术问题，本发明目的在于提供用户行为自动检测智能屏幕抓屏系统，以克服现有技术的不足。

为达到上述目的，本发明的技术方案如下：用户行为自动检测智能屏幕抓屏系统，包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，

所述用户行为检测识别模块包括，

图像识别单元，实现视频画面中运动物体的行为识别应用算法；

键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键；

usb信号检测单元，判断是否有其他外部设备在进行系统操作；

计算机系统的硬件包括显卡、键盘、鼠标和usb接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述usb接口通过将对usb设备的信号监测发送到所述usb信号检测单元；

所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端。

进一步地，所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。

进一步地，所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化。

进一步地，所述usb设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的registerdevicenotification和unregisterdevicenotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取usb设备的通信消息。

与现有技术相比，本发明的有益效果是：本发明主要解决屏幕录制的自动导播切换问题，通过计算机程序开发实现准确识别用户行为，如键盘输入、鼠标点击，电子教鞭输入、ppt自动播放等操作，依据识别结果触发自动导播功能，取代拍摄录制的人工判断操作，实现自动化的录制和直播拍摄，减少人工参与对活动的干扰，提高拍摄质量，减少录播系统及类似产品的使用难度，加速录播系统的产品推广。

本发明作为一个新型的录播录制导播方案，可以获得的优点及功效增进至少包括：

(1)开发屏幕采集自动导播程序，减少了传统人工录制导播方法的人工成本。

(2)程序自动工作，比人工稳定可靠，减少了录制的视频文件中产生垃圾镜头的概率。

(3)减少人工参与对活动的干扰，提高拍摄质量。

(4)通过网络采集系统屏幕，摒弃物理视频线方法，减少布线，简化了系统的安装调试，减少施工操作。

(5)自动录制降低了录制设备和系统的用户使用门槛，提高了产品化程序，加速录制系统和产品(如录播系统)的市场推广，加速各行业信息化建设。

附图说明

图1为本发明的整体流程图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。

参照图1，用户行为自动检测智能屏幕抓屏系统，包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，

所述用户行为检测识别模块包括，

图像识别单元，本发明通过结合计算机程序开发的图像识别技术，实现一套视频画面中运动物体的行为识别应用算法，算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化，如用户是否在播放视频、ppt、图片等；

键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键，键盘钩子是一种可以监控键盘操作的指令；

钩子(hook)，是windows消息处理机制的一个平台，应用程序可以在上面设置子程序以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的，当消息到达后，在目标窗口处理函数之前处理它，钩子机制允许应用程序截获处理window消息或特定事件，好比钩吊到了一条大鱼时不管那鱼怎么逃，只要掌握了系在钩子上的绳子总是可以找到这条鱼。键盘钩子就是利用电脑一条一条执行程序的特点，在处理键盘系统代码段里把某一指令替换成一个跳转指令，让执行行为转移到自定义的一段代码，在此代码的结尾处再添加那被替换掉的指令，最后转移到原来被替换处的下一条指令处让原来的系统继续运行。好比电路中被串入了电流表，电路功能没有变化，但操作者获得了工作时的电流信息。

通过系统调用插入的钩子。钩子的本质是一段用以处理系统消息的程序，通过系统调用，将其挂入系统。钩子的种类有很多，每种钩子可以截获并处理相应的消息，每当特定的消息发出，在到达目的窗口之前，钩子程序先行截获该消息、得到对此消息的控制权。此时在钩子函数中就可以对截获的消息进行加工处理，甚至可以强制结束消息的传递。而键盘钩子，只是为了截获键盘消息的。全局钩子可以捕获在windows平台下任意窗口上的键盘操作

usb信号检测单元，判断是否有其他外部设备在进行系统操作；

计算机系统的硬件包括显卡、键盘、鼠标和usb接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述usb接口通过将对usb设备的信号监测发送到所述usb信号检测单元；

所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端，

如上，所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。

如上，所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和画面变化的情况。当画面场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波，通过对连续图片帧的比对分析计算，可准确判断场景中是否存在运动物体。

如上，所述usb设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的registerdevicenotification和unregisterdevicenotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取usb设备的通信消息。

本发明可用于开发基于网络采集电脑屏幕的自动导播录播系统，录播系统对用户的屏幕采集可通过网络流媒体进行采集，导播切换程序根据收到的用户行为数据，控制录播系统的导播切换，并以以下实施例说明：

实施例1：根据图像识别技术进行导播切换

1)通过在计算机系统上播放视频，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包；

2)通过在计算机系统上打开ppt，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包；

3)通过在计算机系统上打开图片，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包。

实施例2：根据键盘鼠标钩子检测技术进行导播切换

1)通过点击鼠标，在计算机系统处理鼠标系统代码段时，将鼠标的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。

2)通过按下键盘，在计算机系统处理键盘系统代码段时，将键盘的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。

实施例3：根据usb信号检测技术进行导播切换

根据设备的插入和拔出，通过插入激光笔的usb接口后，计算机系统识别成功，有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取usb设备的通信消息，然后通过计算机系统处理激光笔代码段时，将激光笔的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。