专利名称：虚拟演播室中初始定位系统的制作方法
技术领域：
本发明涉及通信技术领域，尤其涉及一种虚拟演^番室中初始定位系统。
背景技术：
在虚设的演播室中，设置虛拟的演员并用虚拟的摄像机进行摄影，用这 种方式制作电视节目的技术称为虚拟演播室技术。在虚拟演播室技术中，演 员在没有任何道具的演播室中演戏，用摄像机将其摄下，然后和另外制作的 道具画面合成，可以制作出好像演员在具有道具的演播室演戏那样的画面。 所谓虚拟演员并不是要排除演员的作用，而是将事先拍好的演员的镜头在需
要的时候在特殊设计的虚拟演播室中进行再现；或者利用演员的演技数据， 用计算机图形学技术制作出演员。所谓虚拟摄像机就是在合成虛拟演播室和 虚拟演员图像时，利用摄#^几进行加工制作出最终图像的技术。
在虚拟演播室中演员在一间代替真实背景的"蓝箱"里进行现场节目制作， 而虚拟演播室系统则按以下程序工作摄像机的位置参数、水平移动参数、 垂直俯仰参数以及镜头的变焦、聚焦参数构成了场景生成的视点参数和摄像 机采集前景的视频信号参数，把这些参数数据送到一个实时的图形计算机里， 根据摄像机运动的参数实现场频级的实时场景生成。再用以"蓝箱"为背景拍摄 的图像，经延时后和选自计算机图形的虚拟背景以相同时码进行工作。通过 色键器生成的键信号将场景和色键处理过的视频信号送至混合器"合成"，实时 产生一个组合的图像。
虚拟演播室系统中一个关键技术就是摄像机跟踪技术，跟踪技术包括图 像跟踪，机械传感跟踪，电磁跟踪等技术。其中机械传感跟踪稳定性好，容 易实现，因此也是目前使用最为广泛的跟踪技术。这项技术中很重要的一项技术就是初始定位，初始定位是机械跟踪技术的基础，它的好坏会直接影响 到后期跟踪的准确性。跟踪是否准确直接影响到虚拟场景和真实场景(比如 主持人)的叠加效果，若跟踪不准确，则来自摄像机的视频图像和图文工作 站渲染的虚拟场景会出现错位的现象，导致虚拟场景给人一种不真实的感觉， 使得虚拟演播室失去了意义。
现有技术中的一种摄像机初始定位技术如图1所示，设平面a表示蓝箱 的后平面，初始定位的目的即是计算摄像机镜头的光心A到蓝箱上的世界坐
标原点O的距离，以及摄像机坐标系"-X义^与世界坐标系(9-JSTZ之间的 旋转关系。传统的方法包括直接测量法和四点定位法。
其中，直接测量法是直接测量化到O的距离。然而，由于摄像机光心化 的具体位置并不知道，因此直接测量难度很大，而且能够测量的也只有化到 O的距离，难以表达成O在Q中的坐标。此外，两个坐标系的旋转关系也无 法测量，只能认为无相对旋转，因此，该测量方案存在较大误差，操:作也不 灵活。
四点定位法是在蓝箱事先固定四个参考点，如图2所示，事先测量ABCD 四点的距离，摄像机初始化后，依次对准这四个点，同时记录当时的传感器 数据，列出非线性方程组，计算摄像机初始姿态。比如已知ABCD四点的坐标， 分别用AA ^Pd表示，将纟聂像机分别对准该四点时，记录传感器返回的相应 平摇旋转角a和俯仰旋转角e，构造旋转矩阵M,, i分别表示ABCD。
<formula>formula see original document page 6</formula> (1)
投影方程如(2)所示
<formula>formula see original document page 6</formula> (2)其中，旋转矩阵R为3*3的矩阵，坐标点P和平移矩阵T均为3*1的矩
阵。因此RP+T表示一个3"的矩阵。z。则为该矩阵的最后一个数。假设摄像
机初始姿态为及。、r。(均未知)，贝'j (2)式中的R, T分别为
及=^ ,.及。 (3) r = M, .r。
ABCD四个点，每个点都能按照(2)式列出一个方程。因此一共有四个 这样的方程形成方程组，解这个方程组即可得到初始姿态及。、r。。该系统比 起直接测量法而言精度很高，可实施行好。但是该系统不足之处在于每次 需要重新初始化时，摄像机都要依次对准四个参考点，即对每个点进行数据 采集后都需要人工调整摄像机对准到另一个点，操作稍复杂，不适合应用在 摄像机位置需要频繁移动的系统中。另外，该系统中ABCD四个点之间的距 离需要比较大，通常情况下要间隔2至3米，因此，将会占用整个一面墙。
综上所述，现有技术中还没有一种可以实现减少人工参与，摄像机初始 化定位准确的系统。
发明内容
本发明实施例提供一种虚拟演播室中初始定位系统，利用图像分析、迭 代运算来计算摄像机的初始姿态，从根本上取代传统的方法来获得摄像机初 始信息的系统。
本发明实施例提供了一种虛拟演播室中初始定位系统，包括 位置调整单元，用于使摄像机对准标志点；
图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行 采集搜索；
迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果 进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系 的初始姿态进行转换，得到相对于蓝箱坐标系的摄^^几初始姿态。
还包括标志点识别单元，与所述图像搜索单元连接，用于可选的标志点 包括至少两个时，根据采集的标志点中的计数标识确定对准的标志点编号。
所述图像搜索单元具体包括
二值化子单元，用于从摄像机取景框的左上角开始到右下角逐行扫描， 获取每个像素点的数据，在扫描像素点的同时采用预先设定的阈值对每个像
素点进行二值化处理；
区域确定子单元，与所述二值化子单元连接，用于根据上述获得的二值 化数据寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界 点；
分析子单元，与所述区域确定子单元连接，用于对标志点每个区域整体 进行分析，判断是否形成四边形，不是则删除该区域整体；
坐标计算子单元，与所述分析子单元连接，用于对于是四边形的整体区 域边界进行直线拟合，计算获得四个顶点的坐标。
所述迭代计算单元具体包括
平移矩阵计算子单元，用于获取平移矩阵T;
旋转矩阵计算子单元,用于获取平移矩阵R;
相对坐标系确定子单元，用于才艮据所述旋转矩阵R和平移矩阵T计算获 得摄像机相对于标志点坐标系的初始位置。 所述获取平移矩阵T具体包括
7 =丄(/ —丄^y,广5](F;-,其中，n为四边形顶点数目4， I为单位
矩阵，p,为各顶点在世界坐标系中的坐标。
所述获取旋转矩阵R具体包括 初始化旋转矩阵R;根据平移矩阵T计算被处理过的像素坐标v, = +r)
计算顶点到坐标系中点的水平距离差值
用SVD分解方法分解矩阵M, M = f/.A.J^，进行奇异值分解获得r和"。 根据所述r和C/计算获得旋转矩阵R 。 所述坐标系转换单元具体包括
转换矩阵计算子单元，用于计算标志点本身的坐标系与蓝箱的坐标系之 间的转换矩阵M;
标志点坐标系获取子单元，用于根据标志点坐标系迭代计算获得的姿态 矩阵为MO;
蓝箱坐标系计算子单元，分别与所述转换矩阵计算子单元和标志点坐标 系获取子单元连接，用于根据所述标志点本身的坐标系与蓝箱的坐标系之间 的转换矩阵M和姿态矩阵MO获得最终摄^f象机的姿态用矩阵M^M + MO 。
所述标志点为四边形。
所述计数标识的形状包括但不限于矩形、圓形、三角形和梯形。 所述标志点位于蓝箱外部。
本发明的实施例中的初始定位技术，利用图像搜索、迭代运算的方法确 定摄像机的初始姿态，包括摄像机的位置和朝向等，为使用机械传感器进行 跟踪的虚拟演播室提供摄像机的初始信息。整个定位过程，用户只需要点击 一个按钮即可，不需要人工对摄像机位置进行调整，操作简单方便。
另外，本发明通过使用多个标志点，可以更好地应用于多台摄像机工作 的虛拟演播室，使不同摄像机对准不同标志点进行初始定位，避免了因其他 摄像机挡住摄像头的情况。
图1是现有技术中通过直接测量获得摄像机初始定位的示意图; 图2是现有技术中通过四点测量获得摄像机初始定位的示意图; 图3是本发明中虚拟演播室中摄像机初始定位系统结构图； 图4是本发明一种蓝箱和标志点设置示意图； 图5a、图5b、图5c是本发明存在多个标志点情况的示意图； 图6是本发明另一种蓝箱和标志点设置示意图。
具体实施例方式
本发明利用图像分析获取标志点信息，然后通过迭代运算计算摄像机相 对于标志点所属坐标系的初始姿态，最后将其转换为摄像机相对于蓝箱所属 坐标系的初始姿态，本发明实施例一中虚拟演播室中摄像机初始定位系统， 结构如图3所示，包括位置调整单元IOO,用于使摄像机对准标志点；图像 搜索单元200,与所述位置调整单元IOO连接，用于对所述标志点信息进行采 集搜索；迭代计算单元300，与所述图像搜索单元200连接，用于根据所述采 集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始 姿态；坐标系转换单元400，与所述迭代计算单元300连接，对所述标志点本 身坐标系的初始姿态进衧转换，得到相对于蓝箱坐标系的摄像机初始姿态。
在使用本系统时，需要进行虚拟演播室的初始化设置。设置蓝箱和标志 点，如图4所示，F、 G、 H区域为蓝箱的三个面，均为蓝色。这三个区域以 外的部分，如直线CD左侧部分则为其他颜色(可以为白色)。标志点则可以 贴在蓝箱以外的部分，如图4所示的位置，标志点四个顶角分别为Al、 A2、 A3和A4。
其中，所述图像搜索单元200具体包括二值化子单元210，用于从摄^f象 机取景框的左上角开始到右下角逐行扫描，获取每个像素点的数据，在扫描 像素点的同时釆用预先设定的阈值对每个像素点进行二值化处理；区域确定
10子单元220,与所述二值化子单元210连接，用于根据上述获得的二值化数据 寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界点；分 析子单元230,与所述区域确定子单元25o连接，用于对标志点每个区域整体 进行分析，判断是否形成四边形，不是则删除该区域整体；坐标计算子单元 240,与所述分析子单元230连接，用于对于是四边形的整体区域边界进行直 线拟合，计算获得四个顶点的坐标。
所述迭代计算单元300具体包括平移矩阵计算子单元310,用于获取平 移矩阵T;旋转矩阵计算子单元320，用于获取平移矩阵R;相对坐标系确定 子单元330,用于根据所述旋转矩阵R和平移矩阵T计算获得才聂像机相对于 标志点坐标系的初始位置。
所述坐标系转换单元400具体包括转换矩阵计算子单元410，用于计算 标志点本身的坐标系与蓝箱的坐标系之间的转换矩阵M;标志点坐标系获取 子单元420,用于才艮据标志点坐标系迭代计算获得的姿态矩阵为MO;蓝箱坐 标系计算子单元430，分别与所述转换矩阵计算子单元410和标志点坐标系获 取子单元420连接，用于根据所述标志点本身的坐标系与蓝箱的坐标系之间 的转换矩阵M和姿态矩阵MO获得最终纟i/f象机的姿态用矩阵M^ M*M0 。
所述图傳4叟索单元的具体工作过程包括
s3031，从摄像机取景框的左上角开始到右下角逐行扫描，获取每个像素 点的数据，在扫描像素点的同时釆用预先设定的阔值对每个像素点进行二值 化处理。
s3032，摄像机根据上述获得的二值化数据寻找标志点黑白交界的区域， 确定标志点的外框，并记录外框的边界点(通常情况下记录四个定点数据)。 具体寻找过程为寻找标志点所有边界点的像素八连通区域(因为一个像素 点周围包括其他8个像素点，如果该像素点为黑色，而其他8个像素点中有 一个点为黑色，则这个点和原像素点称为八连通，所有按照八连通方式连接
ii起来的点的集合则称为八连通区域)，将所有八连通的点作为一个区域整体。
s3033,对标志点每个区域整体进行分析，判断是否形成四边形，不是则 删除该区域整体。这是由于摄像机取景时，可能会采集到其他一些干扰像素， 通常情况下，这些干扰像素形状不会与标志点形状相同(为四边形，且内部 必须含有具有某种形状的黑色图形)，因此，可以通过该种过滤手段排除干扰 因素。
s3034，对于是四边形的整体区域边界进行直线拟合，计算获得四个顶点 Al、 A2、 A3和A4的坐标。
用q来表示(2)式等号左侧表达式，不同的点的像素则用仏表示。即
仏=
(4)
其中，",代表图像中该个点在第几列；v,代表图像中该点在第几行。 然后令列向量v ir11,, (5)
同时根据公式(5 )获得一个3*3矩阵r, =4 ( 6 )
I v, I
所述迭代计算单元具体工作过程包括
s3041,初始化:旋转矩阵R ( 3*3矩阵)，可以不太准确。
s3042,根据公式(6 )和初始化旋转矩阵R计算平移矩阵T,
7 =丄(/ —丄Zr')-—/)i 叩， (7 )
其中，n为四边形顶点数目4, I为单位矩阵，p,为顶点到坐标系中点的 水平距离。
s3043,计算被处理过的像素坐标v, = K+ r) ( 8 )
s3044 ，计算顶点到坐标系中点的水平距离差值s3045,用SVD分解方法分解矩阵M， M = ".A.J^，进行奇异值分解获 得F和C7。
s3046,根据所述r和f/计算获得旋转矩阵R ，
i = r.f/r (10)
所述坐标系转换单元具体工作过程包括
根据公式(7 )的平移矩阵T和公式(10 )的旋转矩阵R对所述标志点本 身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态。 迭代计算得到了摄像机的初始姿态，但那是相对于标志点自己的坐标系而言 的，并不是相对于蓝箱的坐标系，因此还需要一个转换才能得到最后的正确 结果。如图4所示，标志点本身坐标系为BlB4为x轴，BlB2为y轴，垂 直该平面向右的矢量为z轴。该坐标系相对于蓝箱上的坐标系有一个平移和 旋转的关系。因此需要首先计算该平移和旋转关系，才能计算最终的摄像机 姿态。
测量A1—A4, B1^B4在蓝箱坐标系下的坐标，结合每个点在自身坐标 系下的坐标，列出方程组求解即可得到这两个坐标系之间的转换矩阵M。若 迭代计算所得的姿态矩阵为MO，则最终摄像机的姿态用矩阵描述则为 <formula>formula see original document page 13</formula>(11)
及r o i
<formula>formula see original document page 13</formula>(12)
上述实施例中，在初始准备过程中需要准备好用于进行图像分析的标志 点为一个，但实际应用中可支持多个标志点，标志点样式如图5a、图5b和图 5c所示，分别显示了三个标志点，每个标志点的结构都是外围有黑色矩形框 (实际应用中也可采用平行四边形、梯形、或其他四边形)，内部有标志点标 识(例如用黑色小方块表示，当然也可以采用其他形状的黑色实体表示，例 如圓形、三角形、梯形等，本发明中对此不做限制，只要能起到区分数目的目的都在本发明保护范围之内)，中间黑色方块的数量用于对不同的标志点进
行区别。其中，本发明实施例一中就应用了图5a的标志点。
本发明实施例二中，提供了利用多个标志点(以两个为例)在虚拟演播 室中进行摄像机初始定位系统。设置蓝箱和标志点，系统中还包括标志点识 别单元，与图像搜索单元连接，用于可选的标志点包括至少两个时，根据采 集的标志点中的计数标识确定对准的标志点编号。如图6所示，上面的标志 点四个顶角分别为Al、 A2、 A3和A4;下面的标志点四个顶角分别为Bl、 B2、 B3和B4。摄像机可以选择对准上面的标志点，也可以选择对准下面的 标志点。多个标志点的存在，使得该定位技术灵活，不存在多机位时，其中 一个摄像机遮挡住标志点，使得另一个摄像机无法进行定位。对多个标志点 情况，摄像机可以对准任意一个标志点，但需要保证至少能够完整的拍摄到 一个标志点。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本 发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过碌_ 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技 术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使 得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行 本发明各个实施例所述的系统。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此， 任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
权利要求
1、一种虚拟演播室中初始定位系统，其特征在于，包括位置调整单元，用于使摄像机对准标志点；图像搜索单元，与所述位置调整单元连接，用于对所述标志点信息进行采集搜索；迭代计算单元，与所述图像搜索单元连接，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；坐标系转换单元，与所述迭代计算单元连接，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态。
2、 如权利要求1所述虛拟演播室中初始定位系统，其特征在于，还包括 标志点识别单元，与所述图像搜索单元连接，用于可选的标志点包括至少两 个时，根据采集的标志点中的计数标识确定对准的标志点编号。
3、 如权利要求1所述虚拟演播室中初始定位系统，其特征在于，所述图 像搜索单元具体包括二值化子单元，用于从摄像机取景框的左上角开始到右下角逐行扫描， 获取每个像素点的数据，在扫描像素点的同时采用预先设定的阈值对每个像 素点进行二值化处理；区域确定子单元，与所述二值化子单元连接，用于^f艮据上述获得的二值化数据寻找标志点黑白交界的区域，确定标志点的外框，并记录外框的边界 点；分析子单元，与所述区域确定子单元连接，用于对标志点每个区域整体 进行分析，判断是否形成四边形，不是则删除该区域整体；坐标计算子单元，与所述分析子单元连接，用于对于是四边形的整体区域边界进行直线拟合，计算获得四个顶点的坐标。
4、 如权利要求1所述虚拟演播室中初始定位系统，其特征在于，所述迭代计算单元具体包括平移矩阵计算子单元，用于获取平移矩阵T; 旋转矩阵计算子单元，用于获取平移矩阵R;相对坐标系确定子单元，用于根据所述旋转矩阵R和平移矩阵T计算获 得摄像机相对于标志点坐标系的初始位置。
5、 如权利要求4所述虛拟演播室中初始定位系统，其特征在于，所述获 取平移矩阵T具体包括7 =丄(/-i^^^X^-/^ ,，其中，n为四边形顶点数目4， I为单位矩阵，A为各顶点在世界坐标系中的坐标。
6、 如权利要求5所述虚拟演播室中初始定位系统，其特征在于，所述获 取旋转矩阵R具体包括初始化旋转矩阵R;根据平移矩阵T计算被处理过的像素坐标v, = +r)计算顶点到.坐标系中点的水平距离差值用SVD分解方法分解矩阵M, M = t/.A.W,进行奇异值分解获得F和U。 根据所述r和计算获得旋转矩阵R 。
7、 如权利要求1所述虚拟演播室中初始定位系统，其特征在于，所述坐 标系转换单元具体包括转换矩阵计算子单元，用于计算标志点本身的坐标系与蓝箱的坐标系之 间的转换矩阵M;标志点坐标系获取子单元，用于根据标志点坐标系迭代计算获得的姿态 矩阵为MO;蓝箱坐标系计算子单元，分别与所述转换矩阵计算子单元和标志点坐标系获取子单元连接，用于根据所述标志点本身的坐标系与蓝箱的坐标系之间的转换矩阵M和姿态矩阵M0获得最终摄像机的姿态用矩阵M'-M^^MO 。
8、 如权利要求1至8中任一项所述虚拟演播室中初始定位系统，其特征 在于，所述标志点为四边形。
9、 如权利要求1至8中任一项所述虛拟演播室中初始定位系统，其特征 在于，所述计数标识的形状包括但不限于矩形、圓形、三角形和梯形。
10、 如权利要求1至8中任一项所述虛拟演播室中初始定位系统，其特 征在于，所述标志点位于蓝箱外部。
全文摘要
本发明公开了一种虚拟演播室中初始定位系统，包括位置调整单元，用于使摄像机对准标志点；图像搜索单元，用于对所述标志点信息进行采集搜索；迭代计算单元，用于根据所述采集搜索结果进行迭代计算，获取相对于所述标志点本身坐标系的摄像机初始姿态；坐标系转换单元，对所述标志点本身坐标系的初始姿态进行转换，得到相对于蓝箱坐标系的摄像机初始姿态。本发明的初始定位技术，利用图像搜索、迭代运算的方法确定摄像机的初始姿态，包括摄像机的位置和朝向等，为使用机械传感器进行跟踪的虚拟演播室提供摄像机的初始信息。整个定位过程，用户只需要点击一个按钮即可，不需要人工对摄像机位置进行调整，操作简单方便。
文档编号H04N5/262GK101448088SQ20071017805
公开日2009年6月3日 申请日期2007年11月26日 优先权日2007年11月26日
发明者伟 刘, 涛 李 申请人:新奥特(北京)视频技术有限公司