频数据信息；
[0043] 2)教师视频采集与跟踪模块根据教师图像辅助定位摄像头采集的视频，提取关键 区域A内的视频，判断每个微网格内是否有活动目标，是单个目标还是多个目标；实时提取 每个目标的物理位置，解算出教师区域目标图像行为分析结果；教师区域目标图像行为分 析结果包括：关键区域A内是否有目标；目标数量；教师跟踪摄像机运动方向、偏移位置、运 动速度、变焦值；
[0044] 3)教师视频采集与跟踪模块根据教师区域目标图像行为分析结果驱动教师跟踪 摄像机旋转或变焦；如果区域A内只有一个目标，教师跟踪摄像机跟踪拍摄区域A目标，目 标始终在教师跟踪摄像机视频中间。如果区域A内有多个（大于1个）目标，教师跟踪摄 像机根据教师区域目标图像行为分析结果中的变焦值，调整摄像机，使区域A所有目标均 在教师跟踪摄像机视频范围内。
[0045] 4)教师视频采集与跟踪模块将教师区域目标图像行为分析结果通知视频切换模 块，由视频切换模块根据导播切换策略向录播服务器发送视频切换指令。
[0046] 如图4描述了学生图像跟踪处理流程：
[0047] 1)学生视频采集与跟踪模块实时接收学生图像辅助定位摄像头A和学生图像辅 助定位摄像头B采集的区域B的视频数据信息；
[0048] 2)学生视频采集与跟踪模块根据学生图像辅助定位摄像头A和学生图像辅助定 位摄像头B采集的视频，提取关键区域B内的视频，判断每个微网格内是否有目标活动，目 标活动行为包括：目标站立或目标移动（必须是站立的目标移动），是单个目标还是多个目 标；实时提取每个目标的物理位置，解算出学生区域目标图像行为分析结果。学生区域目标 图像行为分析结果包括：关键区域B内是否有活动目标；目标数量；学生跟踪摄像机运动方 向、偏移位置、运动速度、变焦值。
[0049] 3)学生视频采集与跟踪模块根据学生区域目标图像行为分析结果驱动学生跟踪 摄像机旋转或变焦；如果区域B内只有一个活动目标，学生跟踪摄像机特写跟踪拍摄区域B活动目标，目标始终在学生跟踪摄像机视频中间。如果区域B内有多个（大于1个）活动 目标，学生跟踪摄像机全景显示，使区域B所有活动目标均在学生跟踪摄像机视频范围内。
[0050] 4)学生视频采集与跟踪模块将学生区域目标图像行为分析结果通知视频切换模 块，由视频切换模块根据导播切换策略向录播服务器发送视频切换指令。
[0051] 如图5描述了关键区域A的示意图和坐标图。关键区域A为黑板下方长方形区 域，长度大于黑板长度，高度为20CM-30CM。关键区域A内划分多个二维微网格，每个二维 微网格由物理位置（a，Length,Width)来定义。其中a为二维微网格中心点坐标，a= (X，Y)，X为中心点横坐标物理位置，Y为中心点纵坐标物理位置；Length为微网格的长度； Width为微网格的宽度。约定如果关键区域A内有目标，代表区域A内有目标。
[0052] 如图6描绘了关键区域B示意图和每个三维微网格的坐标图。关键区域B为学生 图像辅助定位摄像头A和学生图像辅助定位摄像头B正上方高度为20CM-30CM的三维区域。 关键区域B内划分多个三维微网格，每个微网格由物理位置（0，Length，Width，Height)来 定义。其中0为三维微网格中心点坐标，0 = (X，Y，Z)，X为中心点横坐标物理位置，Y为 中心点纵坐标物理位置，Z为中心点高度坐标物理位置；Length为微网格的长度；Width为 微网格的宽度，Height为微网格的高度。约定如果关键区域B内有目标，代表区域B内有 目标。
【主权项】
1. 一种基于多个定位摄像头的教学用图像跟踪方法，其特征在于，包括如下步骤： 教师图像辅助定位摄像头和学生图像辅助定位摄像头分别采集教师区域和学生区域 的视频数据信息； 教师或学生视频采集与跟踪模块根据教师或学生图像辅助定位摄像头采集的视频数 据信息，提取教师关键区域A或学生关键区域B内的视频，判断每个微网格内是否有活动目 标，是单个目标还是多个目标；实时提取每个目标的物理位置，解算出教师或学生区域目标 图像行为分析结果；教师或学生区域目标图像行为分析结果包括：教师关键区域A或学生 关键区域B内是否有目标；目标数量；教师或学生跟踪摄像机运动方向、偏移位置、运动速 度、变焦值； 教师或学生视频采集与跟踪模块根据教师或学生区域目标图像行为分析结果驱动教 师或学生跟踪摄像机旋转或变焦；如果教师或学生区域内只有一个目标，教师跟踪摄像机 跟踪拍摄关键区域内的目标，目标始终在跟踪摄像机视频中间。如果教师或学生区域内有 多个（大于1个）对象，教师或学生跟踪摄像机根据教师或学生区域目标图像行为分析结 果中的变焦值，调整摄像机，使教师或学生区域内所有目标均在教师或学生跟踪摄像机视 频范围内。 教师或学生视频采集与跟踪模块将教师或学生区域目标图像行为分析结果通知视频 切换模块，由视频切换模块根据导播切换策略向录播服务器发送视频切换指令。2. -种如权利要求1所述的基于多个定位摄像头的教学用图像跟踪方法，其特征在 于，所述教师关键区域A为黑板下方长方形区域，长度大于黑板长度，高度为20CM-30CM。3. -种如权利要求1所述的基于多个定位摄像头的教学用图像跟踪方法，其特 征在于，所述教师关键区域A内划分多个二维微网格，每个二维微网格由物理位置 (a，Length,Width)来定义。其中a为二维微网格中心点坐标，a= (X，Y)，X为中心点横 坐标物理位置，Y为中心点纵坐标物理位置；Length为微网格的长度；Width为微网格的宽 度。约定如果教师关键区域A内有目标，代表区域A内有目标。4. 一种如权利要求1所述的基于多个定位摄像头的教学用图像跟踪方法，其特征在 于，关键区域B为学生图像辅助定位摄像头A和学生图像辅助定位摄像头B正上方高度为 20CM-30CM的三维区域。5. -种如权利要求1所述的基于多个定位摄像头的教学用图像跟踪方 法，其特征在于，关键区域B内划分多个三维微网格，每个微网格由物理位置 (0，Length,Width,Height)来定义。其中P为三维微网格中心点坐标，P= (X，Y，Z)， X为中心点横坐标物理位置，Y为中心点纵坐标物理位置，Z为中心点高度坐标物理位置； Length为微网格的长度；Width为微网格的宽度，Height为微网格的高度。约定如果关键 区域B内有目标，代表区域B内有目标。6. -种如权利要求1至5所述的基于多个定位摄像头的教学用图像跟踪方法，其特征 在于，所述导播切换策略如下表。7. -种如权利要求1所述的图像跟踪系统，其特征在于，包括内嵌于图像跟踪处理器 的教师视频采集与跟踪模块、学生视频采集与跟踪模块和视频切换模块，内嵌于讲台电脑 的讲台电脑键鼠使用检测模块。 所述教师视频采集与跟踪模块：根据教师图像辅助定位摄像头采集的视频数据信息， 图像分析区域A是否有活动目标，是单个目标还是多个目标，判断活动目标是否移动，解算 出教师区域目标图像行为分析结果；根据教师区域目标图像行为分析结果驱动教师跟踪摄 像机旋转或变焦；将教师区域目标图像行为分析结果通知视频切换模块。 所述学生视频采集和跟踪模块：根据学生图像辅助定位摄像头A和学生图像辅助定位 摄像头B采集的视频数据信息，图像分析判断区域B是否有目标活动，是单个目标还是多个 目标，解算出学生区域目标图像行为分析结果；根据学生区域目标图像行为分析结果驱动 学生跟踪摄像机旋转或变焦；将学生区域目标图像行为分析结果通知视频切换模块。 所述讲台电脑键鼠使用检测模块：判断讲台电脑的键盘或鼠标是否正在被使用。如果 有键盘输入或鼠标正在移动，认为有人正在使用讲台电脑，解算出键鼠使用行为结果；将键 鼠使用行为结果通知视频切换模块。键鼠使用行为结果包括：键盘是否使用，鼠标是否使 用。 所述视频切换模块：根据教师区域目标图像行为分析结果、学生区域目标图像行为分 析结果和键鼠使用行为结果，依据图像跟踪系统导播切换策略，向录播服务器发送视频切 换指令。
【专利摘要】本发明属于教育培训课程录播领域，尤其涉及教学用图像跟踪方法及系统，能够精确提取活动目标图像区域，准确的进行图像跟踪拍摄。该跟踪方法包括：教师图像辅助定位摄像头和学生图像辅助定位摄像头分别收集教师和学生区域的数据视频信息，并发送到图像跟踪处理器；图像跟踪处理器采用图像处理技术，判断教师或学生区域内是否有活动目标，确定目标的具体位置，解算出教师或学生区域目标图像行为分析结果；图像跟踪处理器根据教师或学生区域目标图像行为分析结果驱动教师或学生跟踪摄像机旋转或变焦；图像跟踪处理器将教师或学生区域目标图像行为分析结果通知视频切换模块，由视频切换模块根据导播切换策略向录播服务器发送视频切换指令。
【IPC分类】H04N5/76, H04N5/232
【公开号】CN105049764
【申请号】CN201510338484
【发明人】程俊
【申请人】武汉智亿方科技有限公司
【公开日】2015年11月11日
【申请日】2015年6月17日