一种适用于多场景切换的相机姿态标定方法和装置制造方法
【专利摘要】本发明公开了一种适用于多场景切换的相机姿态标定方法和装置，属于相机领域。该适用于多场景切换的相机姿态标定方法包括：在世界坐标系下根据预设的形状绘制场景切换的触发区域以及特写场景的特写区域；根据相机在特写场景下标定的姿态，存储对应的姿态参数；计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标之间的线性比例关系；检测到目标进入场景切换的触发区域时，根据线性比例关系、特写区域和对应场景的姿态参数，将当前场景切换到被触发的场景。本发明使得使用智能跟踪球机的相机在实际场景中能够有效的跟踪目标。
【专利说明】一种适用于多场景切换的相机姿态标定方法和装置
【技术领域】
[0001] 本发明涉及相机领域，具体涉及一种适用于多场景切换的相机姿态标定方法和装 置。
【背景技术】
[0002] 教育信息化目前是国家实现教育跨越式发展的必然选择，教学智能录播系统是教 育信息化的基本和重要组成部分。录播系统需要对教师进行跟踪录像以记录教学过程中教 师的教学行为，由于教师需要在讲台、讲台附近周边及讲台下面区域活动，故涉及到镜头切 换以保证教师一直在视频画面内。因此在已有的固定多个场景切换策略的基础上，如何根 据实际场景安装调试相机，标定相机对应的多场景姿态参数，并保证相机多场景切换和跟 踪的有效进行具有很重要的作用。
[0003] 现有技术公开了用于单枪机-多球机联动的空间建模方法，该专利主要提供一种 适用于单枪机-多球机联动的空间建模方法，通过对监控场景进行3D空间建模计算出枪机 的投影变换矩阵，再通过获得跟踪目标的空间位置信息来计算出球机的偏移量，最后球机 转向目标。但是上述标定相机的方法主要适用于有球机联动的固定枪机，且用模型计算反 而还需知道点的实际空间中的坐标，增加安装难度。
[0004] 现有技术还公开了一种教学智能录播系统用教师位置检测方法，该专利主要通过 对固定相机中的图像帧中标定讲台区域进行运动检测和目标检测，根据目标在讲台内还是 讲台外，给自动导播模块信号以切换到对应的教师或者学生拍摄机位，该专利同样只适应 于有球机联动的固定相机。
【发明内容】
[0005] 有鉴于此，本发明提供一种适用于多场景切换的相机姿态标定方法和装置，以达 到使用智能跟踪球机的相机在实际场景中有效跟踪目标的目的，克服上述现有跟踪方法的 使用环境有限且安装难度大的缺陷。
[0006] 本发明解决上述技术问题的技术方案如下。
[0007] -种适用于多场景切换的相机姿态标定方法，该方法包括：
[0008] 在世界坐标系下根据预设的形状绘制场景切换的触发区域以及特写场景的特写 区域；
[0009] 根据相机在特写场景下标定的姿态，存储对应的姿态参数；
[0010] 计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标之间的线性比 例关系；
[0011] 检测到目标进入场景切换的触发区域时，根据线性比例关系、特写区域和对应场 景的姿态参数，将当前场景切换到被触发的场景。
[0012] 本发明的目的还在于提供一种适用于多场景切换的相机姿态标定装置，该装置包 括：
[0013] 场景绘制模块，用于在全景场景所在的世界坐标系下根据预设的形状绘制场景切 换的触发区域以及特写场景的特写区域；
[0014] 姿态参数存储模块，用于根据相机在特写场景下标定的姿态，存储对应的姿态参 数；
[0015] 计算模块，用于计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标 之间的线性比例关系；
[0016] 场景切换模块，用于检测到目标进入场景切换的触发区域时，根据线性比例关系、 特写区域和对应场景的姿态参数，将当前场景切换到被触发的场景。
[0017] 在根据本发明的一个实施例提供的方法和装置中，通过预先绘制好的触发区域及 特写场景的特写区域，借助外界标记物的辅助，标定相机对应特写场景和全景场景的姿态 参数，并确保相机由全景到特写、特写与特写能准确切换，当检测到目标进入触发区域时， 将相机的当前场景切换到触发对应的场景，使得本专利能够解决单个球机多个固定场景切 换的问题，且由于特写中的点和全景中的点存在对应关系，只要计算出对应关系便可标定 全景，操作起来，简单易行。
【专利附图】
【附图说明】
[0018] 图1为根据本发明的一个实施例的适用于多场景切换的相机姿态标定方法的流 程图；
[0019] 图2为根据本发明的另一个实施例的适用于多场景切换的相机姿态标定方法的 流程图；
[0020] 图3为根据本发明的一个实施例的中间特写场景的特写区域示意图；
[0021] 图4为根据本发明的一个实施例的左边特写场景的特写区域示意图；
[0022] 图5为根据本发明的一个实施例的右边特写场景的特写区域示意图；
[0023] 图6为根据本发明的一个实施例的左、中、右三个特写场景拼接的示意图；
[0024] 图7为根据本发明的一个实施例的全景场景的显示区域的示意图；
[0025] 图8为根据本发明的一个实施例的适用于多场景切换的相机姿态标定装置的示 范性结构框图。
【具体实施方式】
[0026] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结 合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发 明的范围。
[0027] 图1为根据本发明的一个实施例的适用于多场景切换的相机姿态标定方法的流 程图，下面结合图1来描述根据本发明的一个实施例的适用于多场景切换的相机姿态标定 方法，如图1所示，该方法包括以下步骤：
[0028] 步骤S10、在世界坐标系下根据预设的形状绘制场景切换的触发区域以及特写场 景的特写区域。
[0029] 步骤S20、根据相机在特写场景下标定的姿态，存储对应的姿态参数。
[0030] 步骤S30、计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标之间 的线性比例关系。
[0031] 步骤S40、检测到目标进入场景切换的触发区域时，根据上述计算出的线性比例关 系、特写区域和对应场景的姿态参数，将当前场景切换到被触发的场景。
[0032] 在本发明的实施例中，由于特写中的点和全景中的点存在与实际位置点的对应关 系，通过预先设计好的安装调试界面的软件和标定步骤，并借助外界标记物（教师）的辅 助，标定相机对应特写场景和全景场景的姿态，并确保相机由全景到特写、特写与特写能准 确切换，最后完成场景切换。
[0033] 其中，场景切换的触发区域包括全景场景与特写场景之间的触发区域，当定义的 特写场景有多个时，也包括不同的特写场景之间的触发区域；上述姿态参数包括但不限于 相机的水平参数、俯仰参数以及相机的焦距。
[0034] 作为优选地，为了在特写场景中更加准确的将相机的姿态调整到目标所在的位 置，上述特写场景包括左边特写场景、右边特写场景和中间特写场景；触发区域对应的包括 左边特写场景触发区域、右边特写场景触发区域和中间特写场景触发区域；特写场景的特 写区域包括左边特写场景的特写区域、中间特写场景的特写区域和右边特写场景的特写区 域。
[0035] 针对上述步骤S10,根据本发明的实施例的方法还可以包括：
[0036] 将左边特写场景的特写区域、中间特写场景的特写区域和右边特写场景的特写区 域均绘制出来；
[0037] 在特写场景拼接图中，选定左边特写场景的特写区域与中间特写场景的特写区域 重叠部分的中线作为第一中线；选定中间特写场景的特写区域与右边特写场景的特写区域 重叠部分的中线作为第二中线；
[0038] 特写场景拼接图中的第一中线和第二中线对应到全景场景图中的第一中线和第 二中线，将第一中线确定为在全景场景下左边特写场景的特写区域与中间特写场景的特写 区域之间的分界线；将第二中线确定为中间特写场景的特写区域与右边特写场景的特写区 域之间的分界线。
[0039] 根据本实施例的一个示例，根据上述第一中线和第二中线将镜头从全景场景切换 到合适的特写场景的方法包括：
[0040] 在全景场景下，根据第一中线和第二中线判断目标所对应的特写场景；
[0041] 根据预先绘制的特写场景的特写区域，将当前的全景场景切换到对应特写场景的 特写区域。
[0042] 以将镜头从全景场景切换到左边特写场景的特写区域为例，下面对照图6对该方 案进行解释。
[0043] 当检测到目标在第一中线mini的左边时，判断目标进入左边特写场景，此时根据 预先存储的与左边特写场景对应的相机的姿态，将当前的全景场景切换到左边特写场景， 切换后相机显示屏的显示如图4所示，与左边特写场景对应的左边特写场景的特写区域 如图4所示显示。
[0044] 在本发明的实施例中，由于相邻的特写场景的特写区域之间具有重叠的区域，本 实施例的目的是为了使得当教师在相机处于全景姿态时从任意方向任何位置进入全景特 写触发区域时，都可以切换到唯一的合适的特写场景，
[0045] 实施例一
[0046] 图2示出了根据本发明的另一个实施例的适用于多场景切换的相机姿态标定方 法的流程图，为了便于说明，仅列出本发明实施例相关的内容，详述如下。
[0047] 作为本发明的一优选实施例，上述特写场景的特写区域为矩形，当特写场景为两 个以上时，上述步骤S30具体包括：
[0048] 步骤S31、在世界坐标系下根据标定的顶点所表示的实际点确定特写场景的特写 区域的顶点坐标；
[0049] 步骤S32、在世界坐标系下，根据顶点坐标所对应的实际点绘制全景场景与特写场 景的拼接画面；
[0050] 步骤S33、根据全景场景中顶点与特写场景中顶点的坐标之间的线性比例关系，计 算全景场景中的其它实际点对应特写场景中的其它实际点的坐标。
[0051] 作为优选地，在特写场景下，场景切换的特写区域的侧边界与相机显示屏的侧边 之间的宽度为一个人的身宽，范围可为25?50cm。
[0052] 作为优选的，该方法还包括步骤S50 :
[0053] 步骤S50、将相机在全景场景下的姿态参数、在特写场景下的姿态参数以及顶点在 不同的场景中的坐标均存储到相机的内部芯片中。
[0054] 在本发明的实施例中，该实施例主要是提供计算全景场景画面中触发区域对应点 的坐标计算方法，根据特写场景拼接图与全景场景画面与实际场景中点的对应关系。
[0055] 实施例二
[0056] 图3为根据本发明的一个实施例的中间特写场景的特写区域示意图，作为本发明 的一优选实施例，为了便于说明，仅列出本发明实施例相关的内容，详述如下。
[0057] 如图3所示，其中矩形A2B2D2C 2表示相机视频画面边界所组成的图像，在图像上 绘制矩形a2b2d 2c2、矩形s2w2v2u 2、线段RtRb及线段LtLb。当当前的场景为特写场景时，矩形 a2b2d2c2表示在图像坐标系下特写场景的特写区域，超过该区域就会进入特写场景的触发 区域，例如检测到目标进入线段a 2b2的左侧时，将当前的中间特写场景切换到左边特写场 景，检测到目标进入线段c2d 2的右侧时，将当前的中间特写场景切换到右边特写场景，矩形 s2w2v2u2所表示的图像区域所指代的是世界坐标系下的区域是全景场景切换到该特写场景 的触发区域，但不包括全部的触发区域，线段R tRb表示中间特写场景和右边特写场景的转 换线，线段LtLb表示中间特写场景和左边特写场景的转换线，暂时线段R tRb和矩形边u2v2重 合，线段LtL b和矩形边s2w2重合。
[0058] 同样的，如图4和图5所示，在左边特写场景的特写区域和右边特写场景的特写区 域中也绘制对应的矩形和线段。
[0059] 为确保教师在特写场景的画面中以合适的大小出现，如图3?图5所示，场景切换 的特写区域的侧边界（a 2b2d2c2的右侧边的线段）与相机显示屏的侧边之间的宽度U为一 个人的身宽，同时在这里取特写场景与特写场景的触发区域重叠区域的宽度1^ 2 = 2U，保证 相机从一个特写场景切换到另一个特写场景后教师基本处于画面的中心附近。
[0060] 需要说明的是，特写场景需要在实际场景中进行调试，以保证切换后目标大小合 适和目标位置处于画面中心附近，故人为辅助标定更简单易行。作为优选的，该方法还可以 包括：
[0061] 教师跟踪球机软件调试界面的特写触发区域和全景特写触发区域的绘制以及各 种触发线等的绘制；
[0062] 教师跟踪球机对应特写场景的姿态标定。
[0063] 具体地，教师跟踪球机标定教室中间特写场景、教师跟踪球机标定教室左边特写 场景、教师跟踪球机标定教室右边特写场景。
[0064] 在本发明的实施例中，该实施例的目的是为了提供在全景场景所在的世界坐标系 下根据预设的形状绘制场景切换的触发区域以及特写场景的显示区域，供后续步骤使用。 同时，在教师跟踪球机特写场景的软件画面中，特写场景中的全景切换到特写的触发区域 的左右边界与特写场景切换线重合，并在左、右特写场景中对应的全景的触发区域的边界 点标以标记物，为教师跟踪球机对应全景的姿态标定做准备。
[0065] 实施例三
[0066] 为了便于说明，仅列出本发明实施例相关的内容，详述如下。
[0067] 针对上述步骤S30、根据相机在特写场景下标定的姿态，存储对应的姿态参数，当 特写场景包括左边特写场景、右边特写场景和中间特写场景时，对应标定的在不同特写场 景下相机的姿态也不相同，作为本发明的一优选实施例，具体的，标定中间特写场景时： [0068] 通过软件安装调试界面，调整相机的水平pan，将相机大概转向中间场景，使软件 获取的相机获取图像上的绘制的水平线与实际场景中的水平线平行；
[0069] 然后调整相机的焦距zoom，使得图4中表示的距离U恰能容纳一个人的身位；
[0070] 调整相机的俯仰tilt，使得目标（教师）的上半部分能落在矩形S2w2V2u 2中；
[0071] 中间特写场景的相机姿态参数已经调整完毕，此时用标记物标记线段RtRb和线段 LtLb的端点Rb和Lb所对应的世界坐标系下的场景中的平面点位置，至此，对应中间特写场 景的相机姿态和中间特写场景标定完毕，记录此时的相机姿态参数。
[0072] 标定左边特写场景时：
[0073] 通过软件安装调试界面，保持焦距zoom不变，先调整相机的水平pan，将相机移动 到左边场景，并对俯仰tilt进行微调，使得图4所示的软件界面中的线段Ml tMlb的端点Mlb 与对应中间特写场景端点Lb的标记物重合。
[0074] 左边特写场景的相机姿态已经调整完毕，此时用标记物标记矩形SlwlVlUl的左上 顶点 Sl所对应的世界坐标系下的场景中的平面点位置，至此，对应左边特写场景的相机姿 态和左边特写场景标定完毕，记录此时的相机姿态参数。
[0075] 标定右边特写场景时：
[0076] 现通过软件安装调试界面，保持焦距zoom不变，先调整相机的水平pan，将相机移 动到右边场景，并对俯仰tilt进行微调，使得图5所示的软件界面中的线段Mr tMrb的端点 Mrb与对应中间特写场景端点Rb的标记物重合。
[0077] 右边特写场景的相机姿态已经调整完毕，此时用标记物标记矩形S3w3v 3u3的左下 顶点v3所对应的世界坐标系下的场景中的平面点位置，至此，对应右边特写场景的相机姿 态和右边特写场景标定完毕，记录此时的相机姿态参数。
[0078] 该实施例的目的在于结合附图，为标定左边特写场景、中间特写场景、右边特写场 景时相机所需要保持的姿态提供一种具体可行的方案。
[0079] 实施例四
[0080] 为了便于说明，仅列出本发明实施例相关的内容，详述如下。
[0081] 图6为根据本发明的一个实施例的左边特写场景、中间特写场景和右边特写场景 的拼接示意图，为了便于说明，仅列出本发明实施例相关的内容，详述如下。
[0082] 如图4?图6所示，作为本发明的一优选实施例，上述步骤S30的具体的计算过程 如下。
[0083] 首先，规定全景触发的区域位置：
[0084] 将世界坐标系下的特写场景对应的软件界面按照世界坐标系下的位置排列，可以 看到三个特写场景在世界坐标系下的粗略的位置分布，从左到右依次代表左、中、右特写 场景，左边特写场景的线段Ml tMlb、cldl矩形边分别和中间特写场景的矩形边a2b2、线段 LtLb重合，中间特写场景的线段RtRb、矩形边c2d2分别和右边特写场景的矩形边a3b3、线段 MrtMrb 重合。
[0085] 这里，点组成了一个矩形，为了严格区分全景中左、中、右触发 区域，取线段叫化、m2n 2如图5所示，为平分矩形的直线与矩形的交线 (上述第一中线），同样m2n2为平分矩形a 3b3d2c2的直线与矩形的交线（上述第二中 线），在左、右特写场景中同时增加〇. 5倍a2Cl长度宽的矩形，如图6所示，此时矩形slWlv3u 3 扩增为矩形s/ w/ v3' u3'，矩形s/ w/ nimi为在全景场景下切换到左边特写触发区 域，矩形为在全景场景下切换到中间特写触发区域，矩形u,为在全景场 景下切换到右边特写触发区域。
[0086] 然后，再计算全景触发区域间的比例关系：
[0087] 根据摄像机成像模型的特点，线段间的比例关系在成像过程中保持不变，因此，可 以根据三个特写场景对应的图像画面来计算世界坐标系下的线段比例关系，从而该线段关 系映射到全景姿态下的摄像机图像画面中后，线段比例关系仍然保持不变。参考图5,直接 根据对应不同特写场景中的Sl和v 3的标记物来直接获取全景触发区域的划分情况，下面为 计算过程：
[0088] 1.获取特写场景中s^、的长度关系
[0089] 在本例中，线段MltMlb与矩形边Slu 3、wlV3的交点分别为u/、v/，线段MltMlb与 矩形边S^、WiV 3的交点分别为u/、v/ ,线段LtLb与矩形边s^、WiV3的交点分别s2'、 V，线段RtRb与矩形边的交点分别u2'、v；/，线段MrtMr b与矩形边的 交点分别83'、w3'。
[0090] = +u/ m1
[0091] = m1s2/ +s 2/ u2f +u2f m2 = s2/ u2f +2u/ m1
[0092] m2u3 = m2s3/ +s 3/ u3 = s1u1f +u/ m1
[0093] 其中，sp/ = MltXfslXp s2'
【权利要求】
1. 一种适用于多场景切换的相机姿态标定方法，其特征在于，所述方法包括： 在世界坐标系下根据预设的形状绘制场景切换的触发区域以及特写场景的特写区 域； 根据相机在特写场景下标定的姿态，存储对应的姿态参数； 计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标之间的线性比例关 系； 检测到目标进入所述场景切换的触发区域时，根据所述线性比例关系、所述特写区域 和所述对应场景的姿态参数，将当前场景切换到被触发的场景。
2. 根据权利要求1所述的方法，其特征在于，所述特写场景包括左边特写场景、右边特 写场景和中间特写场景；所述触发区域包括左边特写场景触发区域、右边特写场景触发区 域和中间特写场景触发区域；所述特写场景的特写区域包括左边特写场景的特写区域、右 边特写场景的特写区域和中间特写场景的特写区域。
3. 根据权利要求2所述的方法，其特征在于，在全景场景所在的世界坐标系下，针对所 述根据预设的形状绘制场景切换的触发区域的方法还包括： 将所述左边特写场景的特写区域、中间特写场景的特写区域和右边特写场景的特写区 域在全景场景所在的世界坐标系下均绘制出来； 选定所述左边特写场景的特写区域与所述中间特写场景的特写区域重叠部分的中线 作为第一中线；选定所述中间特写场景的特写区域与所述右边特写场景的特写区域重叠部 分的中线作为第二中线； 将所述第一中线确定为在全景场景下左边特写场景的特写区域与中间特写场景的特 写区域之间的分界线；将所述第二中线确定为在全景场景下中间特写场景的特写区域与右 边特写场景的特写区域之间的分界线。
4. 根据权利要求3所述的方法，其特征在于，针对所述检测到目标进入所述场景切换 的触发区域时，将当前场景切换到被触发的场景的方法还包括： 在全景场景下，根据所述第一中线和所述第二中线判断目标所对应的特写场景； 根据预先绘制的特写场景的特写区域，将当前场景切换到对应特写场景的特写区域。
5. 根据权利要求1所述的方法，其特征在于，所述特写场景的特写区域为矩形，当所述 特写场景为两个以上时，所述方法还包括： 在所述世界坐标系下根据标定的顶点所表示的实际点确定所述特写场景的特写区域 的顶点坐标； 在所述世界坐标系下，根据所述顶点坐标所对应的实际点绘制所述全景场景与所述特 写场景的拼接画面； 根据全景场景中顶点与特写场景中顶点的坐标之间的线性比例关系，计算全景场景中 的其它实际点对应特写场景中的其它实际点的坐标。
6. 根据权利要求5所述的方法，其特征在于，所述方法还包括： 将相机在全景场景下的姿态参数、在特写场景下的姿态参数以及所述顶点在不同的场 景中的坐标均存储到相机的内部芯片中。
7. 根据权利要求1至6任一项所述的方法，其特征在于，在所述特写场景下，所述场景 切换的特写区域的侧边界与所述相机显示屏的侧边之间的宽度范围为25?50cm。
8. -种适用于多场景切换的相机姿态标定装置，其特征在于，所述装置包括： 场景绘制模块，用于在世界坐标系下根据预设的形状绘制场景切换的触发区域以及特 写场景的特写区域； 姿态参数存储模块，用于根据相机在特写场景下标定的姿态，存储对应的姿态参数； 计算模块，用于计算特写场景中实际点的坐标与全景场景中对应的实际点的坐标之间 的线性比例关系； 场景切换模块，用于检测到目标进入所述场景切换的触发区域时，根据所述线性比例 关系、所述特写区域和所述对应场景的姿态参数，将当前场景切换到被触发的场景。
9. 根据权利要求8所述的装置，其特征在于，所述装置包括： 顶点坐标对应单元，用于在所述世界坐标系下根据标定的顶点所表示的实际点确定所 述特写场景的特写区域的顶点坐标； 画面拼接单元，用于在所述世界坐标系下，根据所述顶点坐标所对应的实际点绘制所 述全景场景与所述特写场景的拼接画面； 计算单元，用于根据全景场景中顶点与特写场景中顶点的坐标之间的线性比例关系， 计算全景场景中的其它实际点对应特写场景中的其它实际点的坐标。
10. 根据权利要求8或9所述的装置，其特征在于，所述装置还包括： 参数存储单元，用于将相机在全景场景下的姿态参数、在特写场景下的姿态参数以及 所述顶点在不同的场景中的坐标到相机的内部芯片中。
【文档编号】G06T7/00GK104268887SQ201410526130
【公开日】2015年1月7日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】王军, 张欢, 吴金勇, 陈先开 申请人:深圳市科松电子有限公司