轨道摄像机器人的自主跟拍行进控制方法与流程

本发明属于广播电视拍摄技术领域，具体涉及一种轨道摄像机器人的自主跟拍行进控制方法。

背景技术：

电视和电影制作过程需要进行大量的拍摄工作，通常同一个拍摄场景需要多个拍摄机位协作。传统的拍摄模式是每个机位上都有一个摄影师进行拍摄操作，还有一些辅助人员利用轨道或者吊桅等形式协助摄影师进行拍摄位置和角度的变化，这种方式不但工作效率低，而且容易由于多个机位配合问题造成镜头穿帮等影响拍摄质量的状况。利用轨道机器人进行拍摄，摄影师在后台进行远程操控，在体育赛事直播、演播大厅中是已经广泛采用的技术，比如田径赛场的轨道摄像机器人、游泳赛场上的水下机器人等，这些机器人平台的使用，提升了工作效率和拍摄的效果。然而，在拍摄对象快速运动的过程中，摄像师往往很难直接操控操控台上的人机交互设备，实现对配色对象的准确的跟踪，往往很大程度上依赖于摄影师的操作技巧和对设备的熟练程度。简单地采取定速的行进策略，拍摄的效果有时又很难达到要求。

当前未能查阅到直接用于轨道摄像机器人的跟拍控制的发明技术，相关的技术主要有：

(1)视频目标跟踪方法、装置及自动视频跟踪系统(CN 101290681B[P])，该发明主要公开了一种视频目标跟踪方法，包括对当前帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线；计算变形曲线的视频特征，根据计算得到的视频特征确定一个候选位置作为目标位置的一种目标各种方法。

(2)一种控制云台摄像机自动跟踪目标的方法(CN101860732 B)，该发明涉及一种控制云台摄像机自动跟踪目标的方法，包括以下步骤：自动选择跟踪模式：视频处理模块根据目标的跟踪状态自动选择自动跟踪模式和全局搜索模式；自动跟踪模式的处理过程为：视频处理模块判断云台摄像机状态，在匹配到跟踪目标后，根据目标的位置和大小发送控制命令对摄像机位置和焦距进行调整；全局搜索模式的处理过程为：视频处理模块对监控区域的若干个搜索区域按照轮巡方式进行目标检测和匹配直至搜索到跟踪目标。

但是，以上均未有针对轨道摄像机器人的跟拍控制提出实际解决方法，已有方法在视频目标跟踪方法虽有可参考之处，但是也无法直接应用。

技术实现要素：

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种轨道摄像机器人的自主跟拍行进控制方法，用于远端操控轨道摄像机器人对具有平行运动关系拍摄对象的自动跟拍。

技术方案：本发明一种轨道摄像机器人的自主跟拍行进控制方法，具体依次包含以下步骤：

步骤1：实施远程操控的摄影师手动确定跟踪目标o，并确定参考图像帧F_r；

步骤2：以时间T为控制周期，轨道摄像机器人获得当前周期的视频帧F_t；其中，获得当前周期的视频帧不需要额外设备，监视器画面中有一路专门的视频信号供摄像师使用；

步骤3：判断F_t是否包含F_r中的跟拍目标o，若无，则跳到步骤8，否则继续；

步骤4：计算当前帧中跟拍目标相对于参考图像帧的在视频帧坐标系中的位移量d_t；

步骤5：根据位移量d_t以及上一个控制周期的位移量d_t-1，计算轨道摄像机器人的目标调速增量Δv＝f(d_t,d_t-1)，并将平台速度调整到v_t+Δv；

步骤6：检测是否收到远程操控台的刹车操控指令，若无，则跳到步骤2，否则继续；

步骤7：输出跟拍过程结束，跳到步骤9；

步骤8：输出跟拍目标丢失信息；

步骤9：退出跟拍模式。

进一步的，所述步骤1中，参考图像帧F_r确定的原则是：目标o至少有A％的重要部位位于拍摄图像中间B％的区域Rc中。

进一步的，所述步骤3的具体过程为：

步骤301；提取参考帧F_r中目标o包含的n个关键点p₁，p₂,…,p_n，以及其相对应的特征描述子fp₁，fp₂,…,fp_n；

步骤302；提取关键帧F_t中的m个关键点q₁，q₂,…,q_m，以及其相对应的特征描述子fq₁，fq₂,…,fq_m；

步骤303：计算p_i和q_j点之间描述子之间的距离fd(i,j)，并求取n维Fd_i＝min_jfd(i,j)；i＝1,2,…,n，j＝j,2,…,m；

步骤304：若Fd_i中小于小于阈值ε的数量|{Fd_i<ε}|>μn(0<μ<1)，则判断当前帧Ft中包含目标o，否则判断为目标丢失。

进一步的，所述步骤4的具体方法为，将步骤3中所得的Fd_i从小到大排序，取其中的前ρ构成集合Ω，且0<ρ<1，然后计算其对应的点关键点p_i和q_j在帧坐标系中的位移量d_ij＝(x_ij,y_ij)，求取d_ij的x方向分量的平均值dx＝1/|Ω|×Σ_Ω{x_ij}，作为当前帧中跟拍目标相对与参考帧的位移量d_t；xij和yij表示在帧坐标系中的一个矢量的横纵坐标值。

进一步的，所述步骤5中，速度改变量的计算公式f(d_t,d_t-1)为比例控制模式，即f(d_t,d_t-1)＝k₁×d_t+k₂×d_t-1，其中，参数k₁和k₂为通过前期试验和现场调校获得。其中，这里k1和k2是指比例，通过具体工作场景来调试获得。具体地说，这里的k1和k2，不但和整个运动平台的运动参数有关，还和摄像机设置的焦距有关系。

有益效果：本发明用于远端操控摄像机器人对具有平行运动关系拍摄对象的自动跟拍，可用于体育赛事和大型活动的快速运动对象的自动拍摄需要。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本实施例的一种轨道摄像机器人的自主跟拍行进控制方法，具体依次包含以下步骤：

步骤1：实施远程操控的摄影师手动确定跟踪目标o，并确定参考图像帧F_r。值得指出的是确定参考图像帧F_r确定的原则是目标o至少50％重要部位于拍摄图像中间25％的区域Rc；

步骤2：以时间T＝1000ms为控制周期，轨道摄像机器人获得当前的视频帧F_t；

步骤3：判断当前帧是否包含参考帧的跟拍目标o，若无，则跳到步骤8，否则继续；

具体判断是否存在跟拍目标o的判断过程如下：

步骤301：提取关键帧F_r中，目标o包含的n个关键点p₁，p₂,…,p_n，及其特征描述子fp₁，fp₂,…,fp_n。在本实施例中，关键点我们采用图像处理中常用的SIFT点和128维的梯度方向直方图作为描述子；

步骤302：提取关键帧F_t中的m个关键点q₁，q₂,…,q_N，及其特征描述子fq₁，fq₂,…,fq_m均为128维的梯度方向直方图特征量。

步骤303：计算p_i和q_j点之间描述子之间的距离fd(i,j)，距离计算采用欧式距离进行。具体地，对128维的描述子fp_i＝[ρi₁,ρi₂,...,ρi₁₂₈]和fq_i＝[ρj₁,ρj₂,...,ρj₁₂₈]而言：

fd(i,j)＝(Σ_{k＝(1,2,…,128)}(ρi_k-ρj_k)²)^1/2

在得到fd(i,j)后，进一步求取n维Fd_i＝min_jfd(i,j)；

步骤304：若Fd_i中小于小于阈值ε的数量|{Fd_i<ε}|>0.6×n，则判断当前帧Ft中包含目标o，否则判断为目标丢失。

步骤4：计算当前帧中跟拍目标相对与参考帧的位移量d_t；

步骤401、402、403分别于步骤301、302和303相同；

步骤404：将Fd_i从小到大排序，取其中的前0.4，构成集合Ω，计算其对应的点p_i和q_j在视频帧坐标系中的位移量d_ij＝(x_ij,y_ij)，求取d_ij的x分量的平均值dx＝1/|Ω|×Σ_Ω{x_ij}，作为当前帧中跟拍目标相对与参考帧的位移量d_t；

步骤5：根据位移量d_t以及上一个控制周期的位移量d_t-1，计算轨道摄像机器人的目标调速增量Δv＝f(d_t,d_t-1)＝f(dt,dt-1)＝k₁×d_t+k₂×d_t-1，并将平台速度调整到v_t+Δv；这里核心控制参数k₁和k₂需要通过大量外部测试来获得经验值，并在完成现场部署后，通过现场调校选择。步骤6：检测是否收到远程操控台的刹车操控指令，若无，则跳到步骤2，否则继续；

步骤7：输出跟拍过程结束，跳到步骤9；

步骤8：输出跟拍目标丢失信息；

步骤9：退出跟拍模式。