一种云台摄像智能分析教学录播一体机的制作方法

本发明涉及智慧教学领域，尤其是一种云台摄像智能分析教学录播一体机。

技术背景

随着计算机视觉与网络流媒体技术的不断发展，加之云计算、移动互联网以及大数据分析等技术的不断成熟，其与现代教育的深度融合，催生了新一代智能教学录播系统。

智能录播系统一般采用摄像头与录播主机分离的方式，即前端采用独立的摄像机获取视频数据，并通过SDI与HDMI等方式将视频输入到录播主机内，录播主机处理视频数据后，一方面存储视频，另一方面通过WiFi或者以太网进行网络直播，该种模式下的直播大都仅限于局域网直播。

摄像头与录播主机分离，导致其占用空间大，结构不够紧凑；基于WiFi或者以太网的网络直播模式，导致其适用场景受到极大的限制；以往录播主机只负责录制与直播，并没有集成相应的智能识别算法，在后期处理时还需花费额外的时间。

技术实现要素：

鉴于以上问题，本发明的目的是提供了一种云台摄像智能分析教学录播一体机，采用了一体化的解决方案，可实现在广域网内的课堂实时直播以及课堂点播，与此同时还能实现课堂场景下目标与行为的自动分析并完成教师与学生的运动实时跟踪。

本发明的具体技术方案如下：

一种云台摄像智能分析教学录播一体机，包括云台和搭载在云台上的摄像头单元；

所述摄像头单元包括摄像头、主机处理模块4G网络模块、视频分析DSP模块、摄像头控制模块、云台控制模块；

所述摄像头，用于采集教学场景的视频信号和音频信号；

所述主机处理模块，用于接收视频信号和音频信号，对视频和音频进行编码，封装，封装后的音视频一方面储存于本地，另一方面通过4G网络模块将音视频以流媒体形式推出；

所述视频分析DSP模块，用于接收视频信号，对视频信号中的目标进行分类识别，根据分类识别的结果，输出运动控制信号给云台控制模块，输出摄像头对焦信号给摄像头控制模块，从而对目标进行实时跟踪；

摄像头控制模块，用于控制摄像头的对焦；

云台控制模块，用于控制云台的运动。

进一步的，在视频分析DSP模块中，对目标的分类识别包括教师与学生的身份识别以及教师与学生在课堂场景下的特定行为的识别。

进一步的，针对教师，其特定行为包括教师板书、教师提问以及教师徘徊；针对学生，其特定行为包括学生举手、起立和坐下。

进一步的，对目标进行实时跟踪包括教师行为的跟踪或者学生行为的跟踪；所述教师行为的跟踪，主要包括教师徘徊时云台摄像机的跟踪运动；所述学生行为的跟踪，主要包括学生站立时摄像头的变焦镜头特写以及学生坐下时摄像头的变焦镜头释放。

进一步的，所述对视频信号中的目标进行分类识别，通过训练相应的分类器来实现，具体方法如下：

S1：训练分类器：

S11：获取课堂场景下图片训练样本数据集，数据集中包括各种需要识别的动作信息，动作信息：教师板书、教师提问、教师徘徊、学生举手、学生起立、学生坐下；

S12：提取样本特征；

S13：制作样本训练集，将样本提取后的特征与标签对应；

S14：建立分类器模型；

S15：将样本训练集进行分类器训练，终止条件为达到预定精度或者达到预定训练次数；

S2：使用训练好的分类器进行课堂行为动作分类识别：

S21：获取实时视频，并获取运动目标区域；

S22：对运动目标区域进行特征提取；

S23：将提取的特征使用步骤S1训练得到的分类器进行分类，获得分类结果，对应的即可获取相应的行为动作类别。

进一步的，所述S12中，提取样本特征使用SIFT特征、HOG特征以及LBP特征。

进一步的，所述S14中，分类器模型采用SVM分类器，K近邻分类器或贝叶斯分类器。

进一步的，所述摄像头单元还包括本地数据传输模块，主机处理模块封装后的音视频通过本地数据传输模块直接传输到本地显示。

进一步的，所述4G网络模块能直接访问互联网，用户通过外网直接访问实时流媒体。

进一步的，所述的云台为悬挂式的一体化云台，其水平方向运动采用蜗轮蜗杆传动方式，俯仰方向运动采用行星轮传动方式。

相对于现有技术，本发明的有益效果如下：

1、采用了一体化录播主机解决方案，解决了以往录播主机系统占用空间大，以及繁琐的安装与配置流程。

2、使用了4G网络进行直播流媒体传输，更加方便用户的随时随地访问。

3、配置了课堂场景下专用的教师与学生分析摄像头，智能追踪教师学生行为，极大地提高了教育课堂的智能化程度。

附图说明

图1为一体化云台整体结构图；

图2为一体化云台拆解示意图；

图3为一体化云台减速结构示意图；

图4为一体化录播像头主板的具体结构框图；

图5为一体化录播摄像头主板的结构示意图；

图6为教学录播一体机功能流程图；

其中：

1：摄像头单元 2：云台

3：俯仰运动输出端盖 4：右侧端盖

5：右侧摆臂 6：云台三通

7：连接件 8：轴承

9：云台支架 10：蜗轮轴

11：云台减速箱 12：左侧摆臂

13：俯仰运动动力输入 14：水平运动动力输入

15：俯仰运动动力输出 16：水平运动动力输出

具体实施方式

下面结合附图举例对本发明做更详细的描述：

如图1所示，一种云台摄像智能分析教学录播一体机，包括云台2和搭载在云台2上的摄像头单元1。

根据上述方案的本发明，所述的云台2为悬挂式的一体化云台，如图2所示，其水平方向运动采用蜗轮蜗杆传动方式，蜗轮固定于蜗轮轴10上，蜗杆相对于蜗轮做旋转运动，即云台的水平转动，其中云台支架9上的蜗轮轴10与轴承8采用过盈配合，轴承8与连接件7也采用过盈配合，连接件7与云台三通6采用螺纹配合；云台俯仰方向运动采用行星轮传动方式，行星轮与俯仰运动输出端盖3采用内外齿轮啮合方式，行星小齿轮中心轴位置不变，俯仰运动输出端盖3相对其中心轴做旋转运动，驱动左侧摆臂12与右侧摆臂5摆动，从而带动摄像头单元1做俯仰运动，右侧端盖4用于辅助定位俯仰运动输出端盖3，并承载一定的载荷。

根据上述方案的本发明，所述云台减速箱11作为一体化云台的核心部件，具体结构如图3所示，中心位置电机作为俯仰运动动力输入13，驱动行星轮系运动，行星轮机构作为俯仰运动动力输出15，带动摄像头单元1做俯仰运动；偏心位置电机作为水平运动动力输入14，带动蜗杆转动作为水平运动动力输出16，因蜗轮固定不动，最后蜗杆围绕蜗轮转动，即摄像头单元1的水平运动；蜗轮蜗杆传动与行星轮传动都有传动比大，且结构紧凑的优点，非常适合一体化云台应用场景。

根据上述方案的本发明，所述的摄像头单元的主板具体结构框图如图4所示，该主板包含音频信号接口、视频信号接口、主机处理模块、硬盘储存接口、4G网络模块、本地数据传输模块、视频分析DSP模块、摄像头控制模块和云台控制模块；所述视频信号和音频信号分别从摄像头获取并传递给主机处理模块，主机处理模块对音频和视频进行编码，编码后的音视频由主机处理模块继续对其进行封装，封装后的视频一方面通过硬盘存储接口储存于本地，另一方面通过4G网络模块将网络流推出，另一方面可通过本地数据传输模块直接无延时、无损失的传输到本地显示；视频信号同时传递给视频分析DSP模块，对视频信号中的目标进行分类识别，根据分类识别的结果，输出运动控制信号给云台控制模块，输出摄像头对焦信号给摄像头控制模块，从而对目标进行实时跟踪；摄像头控制模块，用于控制摄像头的对焦；云台控制模块，用于控制云台的运动。

根据上述方案的本发明，提供一种较佳实施例一体化录播摄像头主板结构示意图，如图5所示，用于视频处理功能、网络直播功能、录制存储功能、视频点播功能的主机处理模块，其主处理芯片优选海思HI3531A芯片；用于4G网络功能的4G网络模块，其芯片优选MT7620系列芯片，通过SIM卡提供数据达到4G网络传输；用于视频分析功能和运动跟踪功能的视频分析DSP模块，其芯片优选TMS320系列芯片；用于云台控制功能的云台控制模块和摄像头控制模块，其芯片优选STM32系列芯片，通过两路RS232分别控制云台和摄像头相关运动；本地数据传输模块一方面可直接通过HDMI接口向外传输数据，另一方面可通过GV7600芯片并行输出转串行输出，再通过SDI接口向外传输数据；除此之外，摄像头主板提供SATA接口和SD卡接口，用于本地视频储存。

根据上述方案的本发明，所述网络直播功能基于4G网络模块访问互联网，用户可以通过外网直接访问该录播主机的实时流媒体，录播主机采用RTMP实时流媒体协议传输音视频实时流，其基本流程如下：

S01：录播主机通过视频处理模块获取实时音视频流，并且将其编码成特定的格式，音频编码成AAC格式，视频编码成H.264格式。

S02：将编码后的音视频数据按照FLV格式封装，使其符合RTMP传输标准。

S03：使用LibRTMP流媒体推流框架，将实时流推送到RTMP流媒体服务器。

S04：RTMP流媒体播放器播放实时流媒体。

根据上述方案的本发明，视频分析DSP模块对视频信号中的目标进行分类识别。

对目标的分类识别包括教师与学生的身份识别以及教师与学生在课堂场景下的特定行为的识别。

针对教师，其特定行为包括教师板书、教师提问以及教师徘徊；针对学生，其特定行为包括学生举手、起立和坐下。

对于课堂场景下教师与学生的行为分析，其通过训练相应的分类器来实现行为的分类识别，具体方法如下：

S1：训练分类器：

S11：获取课堂场景下大量的图片训练样本数据集，其包括各种需要识别的动作信息，如教师板书、教师提问、教师徘徊、学生举手、学生起立、学生坐下；

S12：提取样本特征，如使用SIFT特征、HOG特征以及LBP特征。

S13：制作样本训练集，将样本提取后的特征与标签对应。

S14：建立分类器模型，如SVM分类器，K近邻分类器或者贝叶斯分类器。

S15：将样本训练集进行分类器训练，终止条件为达到预定精度或者达到预定训练次数。

S2：使用训练好的分类器进行课堂行为动作识别：

S21：获取实时视频，并采用帧差法或者背景法获取运动目标区域。

S22：对运动目标区域进行特征提取，如SIFT特征、HOG特征以及LBP特征，与样本制作方式保持一致。

S23：将提取的特征使用分类器进行分类，获得分类结果，对应的即可获取相应的行为动作类别。

根据上述方案的本发明，所述的运动跟踪功能可用于教师行为的跟踪或者学生行为的跟踪；所述教师行为的跟踪，主要包括教师徘徊时云台摄像机的跟踪运动；所述学生行为的跟踪，主要包括学生站立时摄像头的变焦镜头特写以及学生坐下时摄像头的变焦镜头释放。运动跟踪是基于行为识别实现的，先根据视频分析DSP模块获取对应的行为动作，并根据具体的动作类型执行相应的跟踪类型，如动作类型为教师徘徊，则启动云台控制模块，控制云台运动，以达到运动跟踪的效果；如动作类型为学生起立，则同时控制云台控制模块与摄像头控制模块，首先云台控制模块控制云台运动到对应学生位于图像正中间，然后摄像头控制模块控制变焦镜头特写，将镜头拉近以达到学生特写的效果。

根据上述方案的本发明，所述的教学录播一体机各个功能模块实现的流程图如图6所示，所述的一体机系统开启时，可以选择录制或者点播；系统选择录制时，一方面摄像头采集的音视频通过主处理单元进行音视频编码，然后音视频封装成flv格式视频，分别用于本地存储、网络直播和本地播放，另一方面摄像头采集的视频信号用于视频运动分析，分析的结果用来运动跟踪；系统选择点播时，通过4G网络访问本地存储，选择需要观看的录制记录，下载点播视频到本地，完成播放。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。