一种录播系统中教师检测与跟踪方法及系统与流程

文档序号:24530080发布日期:2021-04-02 10:08阅读:来源:国知局

技术特征:

1.一种录播系统中教师检测与跟踪方法,其特征在于:

包括以下步骤:

s100、通过固定在教室后方的摄像头获取教师上课的场景图像,并对图像进行预处理;

s200、对预处理的图像进行缩放;

s300、把缩放后的图像放入到训练好的教师检测网络进行检测,初步获取目标的坐标点;

s400、获取的目标点通过目标检测模块的修正与补充最终送入云台进行控制跟踪。

2.根据权利要求1所述的录播系统中教师检测与跟踪方法,其特征在于:所述s100中的对图像进行预处理为对图像做高斯滤波预处理操作。

3.根据权利要求1所述的录播系统中教师检测与跟踪方法,其特征在于:所述s300中的训练好的教师检测网络,其中网络架构包含两个部分:backbone和extralayers;

backbone部分是对浅层特征的提取,所述backbone后面加入了rfb模块,rfb是一个多分支的卷积块,内部结构包含两部分:一、不同卷积核尺度的多分支卷积,用于模拟多尺度的人眼感受野;二、虫洞卷积操作,用于模拟人类视觉感知中感受野尺度与离心率间的关系;

其中多分支结构,具体地:先1×1卷积降低特征图的通道数,在每个分支上形成bottleneck结构,再接n×n卷积;把5×5卷积替换为两个堆叠的3×3卷积,不仅降低了参数量,也增加了模型的非线性能力,并进一步使用1×n+n×1卷积替换n×n卷积,增加shortcut设计;其次通过虫洞卷积来模拟人眼感受野,具体地,每个分支的常规卷积操作后,连接一个dilates卷积层,模拟人眼感受野的尺度与离心率。

4.根据权利要求3所述的录播系统中教师检测与跟踪方法,其特征在于:

s300中的教师检测网络整个网络的构建包含三个基本操作:basicconv层、池化层maxpool2d、rfb层;

basicconv层又包含三个基本操作:卷积层conv2d、批归一化层batchnorm2d、激活层relu;

backbone部分由4层basicconv和maxpool2d组合而成;

输入图像通过第一层basicconv得到32×300×300的特征图,然后通过maxpool2d把特征图处理成32×150×150,然后依次通过第二层、第三层basicconv和maxpool2d的组合处理得到128×38×38的特征图;

extralayers部分由rfb层和五层basicconv组合而成;

经过rfb处理后得到一个抽头f1,然后依次经过五层basicconv得到64×1×1的特征图并且分别得到五个抽头f2、f3、f4、f5、f6,最终把六个抽头送到检测层进行检测与定位。

5.根据权利要求4所述的录播系统中教师检测与跟踪方法,其特征在于:

rfb模块划分成三个部分:一个分支结构、shortcut模块、激活单元relu;

其中,分支结构首先通过三个1×1的basicconv操作,在每个分支下分别接不同的卷积处理,最左边的一个分支连接一个3×3的basicconv操作后使用rate=1的空洞处理;中间一个分支依次经过两个3×3的basicconv操作后使用rate=3的空洞处理;右边一个分支依次经过5×5和3×3的basicconv操作后使用rate=5的空洞处理,三个分支最终通过连接处理接一个1×1的basicconv操作;

shortcut模块就是在最右边的分支1×1的basicconv操作后与分支结构的处理结果连接送入到relu层进行处理。

6.根据权利要求1所述的录播系统中教师检测与跟踪方法,其特征在于:所述训练好的教师检测网络的训练步骤如下:

(c1)收集老师课堂场景图片,按照coco或者voc格式对图像进行标注;

(c2)把图片按照3:1:1分成训练集、测试集、验证集;

(c3)利用pytorch搭建设计好的网络结构;

(c4)调节学习率、批大小、训练次数这些超参数;

(c5)得到收敛后的网络权重文件。

7.根据权利要求3所述的录播系统中教师检测与跟踪方法,其特征在于:所述s300中的把缩放后的图像放入到训练好的教师检测网络进行检测,其中具体检测步骤如下:

利用前向推理网络加载训练好的权重文件;把输入图像scale变换为300*300的大小送入检测网络;检测网络逐层提取特征并在detectionconvlayers层给出目标的坐标位置及该目标的可能性得分;该得分跟预先设定的阈值0.6进行比较,如果大于0.6则判定该目标是老师并返回坐标位置,如果该得分小于0.6判定为没有目标。

8.根据权利要求1所述的录播系统中教师检测与跟踪方法,其特征在于:所述s400中的预测模块采用卡尔曼滤波算法,卡尔曼滤波算法包括预测与校正两个阶段;

在预测阶段,滤波器使用上一状态的估计,做出对当前状态的预测;

在校正阶段,滤波器利用对当前状态的观测值修正在预测阶段获得的预测值,以获得一个更接进真实值的新估计值;

其中,卡尔曼滤波器计算过程如下:

预测:

p′k=apk-1at+q

校正:

kk=p′kht(hp′kht+r)-1

更新协方差估计:

pk=(i-kkh)p′k

其中,xk表示真实值,表示卡尔曼估计值,表示预测值,pk表示卡尔曼估计误差协方差矩阵,p′k表示预测误差协方差矩阵,kk表示卡尔曼增益,表示测量余量,zk表示测量向量,a表示状态转移矩阵,b表示控制矩阵,μk表示控制向量,h表示测量矩阵。

9.一种录播系统中教师检测与跟踪系统,其特征在于:包括以下单元,

图像采集模块,用于通过固定在教室后方的摄像头获取教师上课的场景图像,并对图像进行预处理;

图像缩放模块,用于对预处理的图像进行缩放;

教师检测模块,把缩放后的图像放入到训练好的教师检测网络进行检测,初步获取目标的坐标点;

云台控制模块,用于获取的目标点通过目标检测模块的修正与补充最终送入云台进行控制跟踪。

10.根据权利要求9所述一种录播系统中教师检测与跟踪系统,其特征在于:包括以下子单元,

目标预测模块,用于在预测阶段使滤波器使用上一状态的估计,做出对当前状态的预测;

在校正阶段,使滤波器利用对当前状态的观测值修正在预测阶段获得的预测值,以获得一个更接进真实值的新估计值。


技术总结
本发明的一种录播系统中教师检测与跟踪方法及系统,包括以下步骤:S100、通过固定在教室后方的摄像头获取教师上课的场景图像,并对图像进行预处理;S200、对预处理的图像进行缩放;S300、把缩放后的图像放入到训练好的教师检测网络进行检测,初步获取目标的坐标点;S400、获取的目标点通过目标检测模块的修正与补充最终送入云台进行控制跟踪。本发明采用卷积网络作为老师特征的提取,能够克服运动检测方法对光线敏感性,提高目标的检测率,与常见的检测网络相比,能够更好的平衡复杂度与精准度之间的关系,采用卡尔曼滤波处理,不仅能修正检测的目标,还能解决运动模糊带来的目标丢失的问题。

技术研发人员:张进;蒋守欢;朱于平;王满海
受保护的技术使用者:安徽天虹数码科技股份有限公司
技术研发日:2020.11.24
技术公布日:2021.04.02
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1