一种对录播课中的学生进行跟踪拍摄方法、装置及设备与流程

本发明涉及跟踪拍摄技术领域，尤其涉及一种对录播课中的学生进行跟踪拍摄方法、装置及设备。

背景技术：

对于线下需要录播的课堂中，一般对于学生的听课情况以及与老师的互动情况，需要录制下来的话，会需要工作人员搭建拍摄器材，把学生整个区域拍摄一个大全景，无法更清晰的拍摄学生肢体动作表情等，否则就需要人工去操控摄像机进行特写镜头的拍摄。

因此，现有技术还有待于改进和发展。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供一种对录播课中的学生进行跟踪拍摄方法、装置及设备，旨在解决现有技术中在线下需要录播的课堂中，对学生的听课情况进行录制时，若是需要对学生区域进行全景拍摄时，需要人工调整摄像机位置的技术问题。

本发明的技术方案如下：

一种对录播课中的学生进行跟踪拍摄方法，所述方法包括：

检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式；

通过定位摄像机实时监测学生状态，当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式；

检测到学生坐下时，控制学生摄像机切换至全景拍摄模式。

进一步地，所述检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式，包括：

检测到录播课开始录制时，通过定位摄像机获取学生位置；

获取学生摄像机的初始位置，根据学生位置获取学生摄像机的移动距离，根据学生摄像机移动距离生成移动控制指令，根据移动控制指令控制学生摄像机工作在全景拍摄模式。

进一步优选地，所述定位摄像机实时监测学生状态，包括：

通过定位摄像机实时拍摄学生图像，将当前图像帧与预设的背景图像帧帧差；

当帧差小于等于预定值，则判定学生状态没有发生变化；

当帧差大于预定值，且检测到学生的头部位置高于预设距离阈值，则判定有学生起立。

进一步优选地，所述检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式前，包括：

预先通过定位摄像机获取处于坐下状态的学生图像，对学生图像进行人脸识别，获取学生图像中学生初始头部位置，并对初始头部位置进行标定。

优选地，所述当帧差大于预定值，且检测到学生的头部位置高于预设距离阈值，则判定有学生起立，包括：

当帧差大于预定值时，通过定位摄像机获取学生图像，对学生图像进行人脸识别，获取学生图像中的学生的头部位置，判断学生的头部位置是否高于预设距离阈值；

若学生的头部位置高于预设距离阈值，则判定有学生起立。

进一步地，所述当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式，包括：

当检测到有学生起立后，获取起立学生的坐标位置，根据起立学生的坐标位置转换为学生摄像机的控制命令；

根据控制命令控制学生摄像机转动至对准起立学生位置；

根据特写拍摄对应的焦距参数调整焦距后，进入特写拍摄模式。

进一步地，所述检测到学生坐下时，控制学生摄像机切换至全景拍摄模式后，还包括：

当定位摄像机监测到学生走动时，则控制学生摄像机跟踪走动的学生，并进入特定拍摄模式。

本发明的另一实施例提供了一种对录播课中的学生进行跟踪拍摄设置，装置包括：

全景拍摄控制模块，用于检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式；

学生状态监测模块，用于通过定位摄像机实时监测学生状态，当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式；

检测与控制模块，用于检测到学生坐下时，控制学生摄像机切换至全景拍摄模式。

本发明的另一实施例提供了一种对录播课中的学生进行跟踪拍摄设备，所述设备包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的对录播课中的学生进行跟踪拍摄方法。

本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的对录播课中的学生进行跟踪拍摄方法。

有益效果：本发明实施例在录播课中检测到学生起立时，通过算法得到学生拍摄摄像机对应的控制命令后，然后发送命令到学生拍摄摄像机进行自动转动和推焦给出丰富的特写，全景等镜头，整个过程实现自动化，无需人工操作，节省大量的人力成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种对录播课中的学生进行跟踪拍摄方法较佳实施例的流程图；

图2为本发明一种对录播课中的学生进行跟踪拍摄装置的较佳实施例的功能模块示意图；

图3为本发明一种对录播课中的学生进行跟踪拍摄设备的较佳实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。

本发明实施例提供了一种对录播课中的学生进行跟踪拍摄方法。请参阅图1，图1为本发明一种对录播课中的学生进行跟踪拍摄方法较佳实施例的流程图。如图1所示，其包括步骤：

步骤s100、检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式；

步骤s200、通过定位摄像机实时监测学生状态，当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式；

步骤s300、检测到学生坐下时，控制学生摄像机切换至全景拍摄模式。

具体实施时，本发明实施例采用图像处理的技术加摄像机定制visca协议实现。摄像机定制visca协议是指摄像机左右上下移动，变焦等控制协议。本发明实施的定位摄像机为两台半球定位摄像机，定位摄像机用于做图像识别和学生摄像机为一台带云台专业级学生拍摄摄像机，学生摄像机用于做拍摄设备以及后台图像识别摄像机控制软件，实现学生区域的自动化拍摄。课堂开始时学生摄像机自动切换到全景拍摄模式，当有学生起来与老师回答问题时，学生摄像机自动转动中心对准起立的学生并且推焦给这个学生一个特写，学生坐下以后再回归到大全景的拍摄模式。

本发明实施例的两台定位摄像机分别设置站在讲台面向学生区域的左侧和右侧。学生区域的两台定位摄像机负责采集整个学生区域的画面用于图像分析。讲台后面黑板左边摄像机为学生带云台的拍摄摄像机，负责拍摄学生全景，特写等镜头。

进一步地，检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式，包括：

检测到录播课开始录制时，通过定位摄像机获取学生位置；

获取学生摄像机的初始位置，根据学生位置获取学生摄像机的移动距离，根据学生摄像机移动距离生成移动控制指令，根据移动控制指令控制学生摄像机工作在全景拍摄模式。

具体实施时，运行图像处理算法和学生拍摄摄像机控制指令的程序。在两台学生定位摄像机采集到的图像画面里，在学生坐下后的头顶位置标注一条水平的横线，当有学生起立时结合此标注线和图像分析得到学生在教室的坐标位置，通过算法得到学生拍摄摄像机对应的云台控制命令后，然后后台程序自动发送命令到学生拍摄摄像机进行自动转动和推焦给出丰富的特写，全景，跟踪等镜头。

进一步地，定位摄像机实时监测学生状态，包括：

通过定位摄像机实时拍摄学生图像，将当前图像帧与预设的背景图像帧帧差；

当帧差小于等于预定值，则判定学生状态没有发生变化；

当帧差大于预定值，且检测到学生的头部位置高于预设距离阈值，则判定有学生起立。

具体实施时，左右两台定位摄像机提供yuv图像数据。为了提高识别效率，将定位摄像机提供yuv图像数据，拆分出y数据进行帧差和上下运动图像处理，实时的得到起立的学生在学生区域的坐标位置。以y数据存储的图像为黑白图像，像素值范围为0到255，0代表黑色，255为白色，图像中没有目标变化时像素值是没有变化的，有目标时相邻的两幅图像之间像素是有差值的。

进一步地，检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式前，包括：

预先通过定位摄像机获取处于坐下状态的学生图像，对学生图像进行人脸识别，获取学生图像中学生初始头部位置，并对初始头部位置进行标定。

具体实施时，预先通过定位摄像机获取处于坐下状态的学生图像，根据人脸识别算法对学生图像进行人脸识别，获取学生图像中的人脸，根据人脸确定学生图像中学生的初始头部位置，对当前初始头部位置进行标定。后续可通过对学生的头部位置进行检测，判定学生是否起立。

进一步地，当帧差大于预定值，且检测到学生的头部位置高于预设距离阈值，则判定有学生起立，包括：

当帧差大于预定值时，通过定位摄像机获取学生图像，对学生图像进行人脸识别，获取学生图像中的学生的头部位置，判断学生的头部位置是否高于预设距离阈值；

若学生的头部位置高于预设距离阈值，则判定有学生起立。

具体实施时，当有学生起来与老师回答问题时，学生摄像机自动转动中心对准起立的学生并且推焦给这个学生一个特写，学生坐下以后再回归到大全景的拍摄模式，具体地，在图像中学生坐下后的头顶水平位置预先标定出分隔线，若学生的头部位置高于预设距离阈值，即学生起立超过分隔线即可判定起立。

进一步地，当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式，包括：

当检测到有学生起立后，获取起立学生的坐标位置，根据起立学生的坐标位置转换为学生摄像机的控制命令；

根据控制命令控制学生摄像机转动至对准起立学生位置；

根据特写拍摄对应的焦距参数调整焦距后，进入特写拍摄模式。

具体实施时，针对真实目标位置和visca协议描述的绝对位置，标定计算出一个映射系数，后期运行期间实时的使用系数将目标实际位置转为visca描述的绝对位置命令发送给摄像机即可移动。变焦同样也是初始期间设定的几个预置位程序记录下来，后期针对发送命令。计算出visca对应的绝对位置命令发送给摄像机即可转动到指定位置。

本发明实施例将起立的学生的坐标位置转换为学生摄像机的对应控制命令，然后通过rs232控制线发送云台控制命令到学生摄像机，得到学生全景，学生特写，学生跟踪等不同的镜头。全景，特写的焦距以及跟踪速度等都需要在程序初始期间，进行对应的预置设定后程序记录在配置文件里，工作时进行相应的控制即可。

进一步地，检测到学生坐下时，控制学生摄像机切换至全景拍摄模式后，还包括：

当定位摄像机监测到学生走动时，则控制学生摄像机跟踪走动的学生，并进入特定拍摄模式。

具体实施时，当有学生在学生区域走动时，学生摄像机会自动特写拍摄这个学生然后时刻跟随学生的走动，直到学生坐下才回到全景拍摄。整个过程实现自动化，无需人工操控。

需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

本发明另一实施例提供一种对录播课中的学生进行跟踪拍摄装置，如图2所示，装置1包括：

全景拍摄控制模块11，用于检测到录播课开始录制时，控制学生摄像机工作在全景拍摄模式；

学生状态监测模块12，用于通过定位摄像机实时监测学生状态，当检测到有学生起立后，控制学生摄像机转动至对准起立学生位置，调整焦距后，进入特写拍摄模式；

检测与控制模块13，用于检测到学生坐下时，控制学生摄像机切换至全景拍摄模式。

具体实施方式见方法实施例，此处不再赘述。

本发明另一实施例提供一种对录播课中的学生进行跟踪拍摄设备，如图3所示，设备10包括：

一个或多个处理器110以及存储器120，图3中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器110用于完成，设备10的各种控制逻辑，其可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm（acornriscmachine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp核、或任何其它这种配置。

存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的对录播课中的学生进行跟踪拍摄方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行设备10的各种功能应用以及数据处理，即实现上述方法实施例中的对录播课中的学生进行跟踪拍摄方法。

存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据设备10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的对录播课中的学生进行跟踪拍摄方法，例如，执行以上描述的图1中的方法步骤s100至步骤s300。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s300。

作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明并非限制，ram可以以诸如同步ram(sram)、动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强型sdram(esdram)、synchlinkdram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。

本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使处理器执行上述方法实施例的对录播课中的学生进行跟踪拍摄方法。例如，执行以上描述的图1中的方法步骤s100至步骤s300。

以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机装置（可以是个人计算机，服务器，或者网络装置等）执行各个实施例或者实施例的某些部分的方法。

除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。

已经在本文中在本说明书和附图中描述的内容包括能够提供对录播课中的学生进行跟踪拍摄方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。