专利名称：一种拼接类全景视频的基准视场确定方法、系统及设备的制作方法
技术领域：
本发明属于图像处理技术领域，尤其涉及一种拼接类全景视频的基准视场确定方法、系统及设备。
背景技术：
目前，实时全景视频的生成一般采取两类方式第一类是利用广角镜头或全景反射光学镜头生成全景视频；第二类是利用多个摄像机获取的多个视角的视频经过变换、拼接、融合为一个包含各视角视频内容的大视场全景视频。其中，在第二类方式中，将处于一个近似成像平面上的多摄像机组成摄像机阵列， 将阵列中的摄像机置于方向基本一致的前视状态，阵列中相邻摄像机之间的视场具有一定的重叠，则阵列中的全部摄像机的视场可组成一个高分辨的大视场。要将这样一个摄像机阵列中各个摄像机的视频实时拼接起来组成一个实时全景视频，一般来说又有两种方法。 其中第一种方法是采用全人工的方式，这类方式对阵列中各摄像机之间的参数一致性要求非常高，人工调校的难度非常大；第二种方法是采用计算机自动学习全景拼接参数，并完成视频全景的自动拼接。在第二种方法中一般只需要操作人员将阵列中的每个摄像机的视场置于一个基本一致的平面上，并将相邻摄像机之间的视场粗略调校到有一定的重叠，而其它的任务则由计算机自动完成。上述第二种方法在进行阵列全景视频自动拼接过程中存在一个关键问题基准视场的选取问题。在上述自由摄像机阵列全景视频的拼接中，阵列中各摄像机的视场一般不会在一个严格的平面上，视场之间的重叠区域也是事先未定标的，因此在摄像机阵列全景视频生成时，需要选定某一个摄像机视场所在的坐标系作为基准的全景参考坐标系，而将阵列中的其它摄像机的视场通过空间投影变换到该参考坐标系下，然后利用融合技术生成全景视频。上述作为基准的参考坐标系是阵列中某个摄像机的视场坐标系，因此也称该坐标系为基准视场。在摄像机阵列中，基准视场的选择对全景视频的生成质量影响较大。一般来说，选择不同的基准视场，在生成全景视频时由各个摄像机视场对基准视场投影变换后产生的视场误差也不相同。若整体的误差越小则生成的全景视频的质量越好。因此，如何选择误差最小的基准视场是摄像机阵列全景视频拼接中的一个关键问题之一。在摄像机阵列全景视频生成中，现有的技术通常是人为地在摄像机阵列中选取其中一个摄像机的视场作为基准视场，其它视场按照映射关系投影变换到该基准视场的坐标系中。这种基准视场的人为选择方法在摄像机阵列规模较小时效果尚可，但在摄像机阵列较大时，由于阵列中的每个摄像机的视场都具有一定的自由性，因此，人为选出的基准视场往往并非最佳的基准视场。总之，现有技术中针对摄像机阵列全景视频拼接中最优基准视场的自动选取尚没有一个较好的解决方法。
发明内容
本发明所要解决的技术问题在于提供一种拼接类全景视频的基准视场确定方法， 旨在通过摄像机阵列生成全景视频时选择最优的基准视场，提高拼接类全景视频的整体质量。本发明是这样实现的，一种拼接类全景视频的基准视场确定方法，包括下述步骤步骤A，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；步骤B，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δi ；步骤C，按照i为1至η的顺序重复步骤B，得到η个几何形变度量之和，在选取过的η个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中η为所述的摄像机阵列中摄像机的数量。进一步地，所述步骤B具体包括下述步骤步骤Bi，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；步骤Β2，在步骤Bl中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；步骤Β3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；步骤Β4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；步骤Β5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。进一步地，设定所述单源最短路径树中从当前根节点k到非根节点ρ的路径经过
的节点序列为k、kl.....p，对应的视场分别为Vk(1、Vkl.....Vkm，其中，Vktl = Vk, Vkm = Vp,
所述步骤B3通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵Hkp = HklHyHkm其中，Hkp为非根节点ρ的视场Vp到当前根节点k的视场Vk的投影变换矩阵，Hki 为由视场Vki到视场Vk(H)的投影变换矩阵，i = 1，2，. . .，m。本发明还提供了一种拼接类全景视频的基准视场确定系统，包括
邻接摄像机子集合查找单元，用于在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；几何形变度量计算单元，用于在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i 的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ ρ并按照i为1 至η的顺序重复步骤B，得到η个几何形变度量之和，其中η为所述的摄像机阵列中摄像机的数量；基准视场确定单元，用于在选取过的η个摄像机中，将所述几何形变度量计算单元计算得到的η个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。进一步地，所述几何形变度量计算单元包括视场连通关系的视场邻接关系图构造模块，用于根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；单源最短路径树生成模块，用于在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；投影变换矩阵计算模块，用于根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；投影变换模块，用于根据所述单源最短路径树生成模块生成的单源最短路径树， 和所述投影变换矩阵计算模块计算得到的任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；视场形变度量计算模块，用于在所述投影变化模块进行投影变换处理后，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。进一步地，设定所述单源最短路径树中从当前根节点k到非根节点ρ的路径经过
的节点序列为k、kl.....p，对应的视场分别为Vk(1、Vkl.....Vkm，其中，Vktl = Vk, Vkm = Vp,
所述投影变换矩阵计算模块通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵Hkp = HklHyHkm其中，Hkp为非根节点ρ的视场Vp到当前根节点k的视场Vk的投影变换矩阵，Hki 为由视场Vki到视场Vk(H)的投影变换矩阵，i = 1，2，. . .，m。
进一步地，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。进一步地，所述几何形变度量包括面积形变度量和角度形变度量。本发明还提供了一种全景视频处理设备，其与一摄像机阵列连接，所述全景视频处理设备包括一如上所述的拼接类全景视频的基准视场确定系统。本发明从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题，其原理主要有以下两点其一，在全景拼接中，计算出的投影变换矩阵一般存在误差，形变较大的视场对应的误差在平均意义下往往较大；在单源最短路径树中，间接连通视场的投影变换矩阵的计算中，会累积各个级联的投影变换矩阵中的误差，形变小就意味着累积误差在平均意义下比较小。变换误差小则图像的非正常扭曲就较小。其二，由于目前数字图像一般是以规则的矩形栅格形式显示和存储的，投影变换后的视场中的图像必须经过插值步骤以填充栅格点处的像素。插值实际上是对图像像素值进行的估计，在相同的插值算法下，视场的形变小，则插值产生的整体误差往往较小；反之则较大。插值误差小则图像的失真就较小。
图1是本发明实施例提供的拼接类全景视频的基准视场确定方法的实现流程图；图2是本发明实施例提供的一个3X3摄像机阵列示例的视场分布示意图；图3是图2所示3X3摄像机阵列的视场邻接子集合的列表；图4是图1所示步骤B的实现流程图；图5是图2所示3X3摄像机阵列的视场邻接关系图；图6A和图6B是图5所示的视场邻接关系图生成的以V1为根节点的两个单源最短路径树的示意图；图7是图5所示的视场邻接关系图生成的以V5为根节点的单源最短路径树的示意图；图8是本发明实施例提供的视场投影变换前后的形变示意图；图9是本发明实施例提供的拼接类全景视频的基准视场确定系统的结构原理图；图10是图9中几何形变度量计算单元的结构原理图；图11是本发明实施例提供的全景视频处理设备与摄像机阵列的连接关系图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，并进一步可以此时的投影变换关系矩阵作为摄像机阵列中该摄像机视场到全景视场的投影变换矩阵。图1示出了本发明实施例提供的方法的实现流程，详述如下。在步骤A中，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵。对摄像机阵列中给定的一个摄像机，寻找与其具有公共重叠视场的邻接摄像机的子集合可以通过计算机自动实现，但目前计算机全自动寻找摄像机阵列中相邻子集合的方法在阵列规模增大时运算量会急剧增大，准确性也会下降。而在实际中，通过人工对各个摄像机视场观察和交互，确定并标注阵列中与该摄像机邻近的摄像机子集合的方法，相对来说是一种高效和高准确性的方法，并且一般的操作人员就可以很好地胜任，此处不再一一列举。在阵列中与给定摄像机邻近的摄像机子集合确定后，需要计算该摄像机视场与邻近子集合中每个摄像机视场的投影变换矩阵。现有技术中，计算具有部分公共重叠视场的两个摄像机视场之间的投影变换矩阵的方法有多种，其中基于尺度不变特征变换(SIFT) 的特征匹配点提取和匹配点对的RANSAC提纯方法的投影矩阵计算方法是较佳的一种，它可以利用公共视场重叠区域的图像特征点对，自动计算出投影变换矩阵，此处不再一一列举。假设在具有η个摄像机的摄像机阵列中，记编号为k的摄像机的视场为Vk，与Vk有部分公共重叠视场的邻近摄像机的子集合记为lvki，i = ki;k2, ...,kj,从视场Vk到视场 Vki的投影变换关系矩阵记为Hki，i = k1; 1 ，. . .，km，k = 1，2，. . .，η。其中，不同的摄像机由于其在阵列中的位置不同，其具有的视场邻近子集合中的摄像机数量km —般也不同。投影变换矩阵H是一个如公式(1)所示的3X3矩阵，参数Iv I^tvh4控制尺度变化和旋转变化，h2控制水平方向位移，h5控制垂直方向位移，h6、h7控制水平和垂直方向形变。
权利要求
1.一种拼接类全景视频的基准视场确定方法，其特征在于，包括下述步骤步骤A，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；步骤B，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δi ；步骤C，按照i为1至η的顺序重复步骤B，得到η个几何形变度量之和，在选取过的 η个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场； 其中η为所述的摄像机阵列中摄像机的数量。
2.如权利要求1所述的方法，其特征在于，所述步骤B具体包括下述步骤步骤Bi，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；步骤Β2，在步骤Bl中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；步骤Β3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；步骤Β4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；步骤Β5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。
3.如权利要求2所述的方法，其特征在于，设定所述单源最短路径树中从当前根节点k到非根节点P的路径经过的节点序列为k、kl.....p，对应的视场分别为vk(l、Vkl.....Vkffl,其中，Vktl = Vk, Vkffl = Vp，所述步骤B3通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵Hkp — HklHk2... Hkm其中，Hkp为非根节点ρ的视场Vp到当前根节点k的视场Vk的投影变换矩阵，Hki为由视场Vki到视场Vk(H)的投影变换矩阵，i = 1，2，. . .，m。
4.如权利要求2所述的方法，其特征在于，在所述单源最短路径树中，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。
5.如权利要求1所述的方法，其特征在于，所述几何形变度量包括面积形变度量和角度形变度量。
6.一种拼接类全景视频的基准视场确定系统，其特征在于，包括邻接摄像机子集合查找单元，用于在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；几何形变度量计算单元，用于在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ”并按照i为1至η 的顺序重复步骤B，得到η个几何形变度量之和，其中η为所述的摄像机阵列中摄像机的数量；基准视场确定单元，用于在选取过的η个摄像机中，将所述几何形变度量计算单元计算得到的η个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。
7.如权利要求6所述的系统，其特征在于，所述几何形变度量计算单元包括视场连通关系的视场邻接关系图构造模块，用于根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；单源最短路径树生成模块，用于在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；投影变换矩阵计算模块，用于根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；投影变换模块，用于根据所述单源最短路径树生成模块生成的单源最短路径树，和所述投影变换矩阵计算模块计算得到的任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；视场形变度量计算模块，用于在所述投影变化模块进行投影变换处理后，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。
8.如权利要求7所述的系统，其特征在于，设定所述单源最短路径树中从当前根节点k到非根节点P的路径经过的节点序列为k、kl.....p，对应的视场分别为Vk(l、Vkl.....Vkffl,其中，Vko = Vk, Vkffl = Vp，所述投影变换矩阵计算模块通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵Hkp — HklHk2... Hkm其中，Hkp为非根节点ρ的视场Vp到当前根节点k的视场Vk的投影变换矩阵，Hki为由视场Vki到视场Vk(H)的投影变换矩阵，i = 1，2，. . .，m。
9.如权利要求7所述的系统，其特征在于，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。
10.一种全景视频处理设备，其与一摄像机阵列连接，其特征在于，所述全景视频处理设备包括一如权利要求6至9任一项所述的拼接类全景视频的基准视场确定系统。
全文摘要
本发明适用于图像处理技术领域，提供了一种拼接类全景视频的基准视场确定方法、系统及全景视频处理设备。本发明从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题。
文档编号G06T7/00GK102314686SQ20111022122
公开日2012年1月11日 申请日期2011年8月3日 优先权日2011年8月3日
发明者杨烜, 裴继红, 谢维信 申请人:深圳大学