一种虚实融合场景中多PTZ相机的联合控制系统及方法与流程

本发明涉及增强虚拟环境技术领域，更具体的讲，涉及一种虚实融合场景中多ptz相机的联合控制系统及方法。

背景技术：

增强虚拟环境(ave)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频等一体化监控系统领域有着重要的应用。ptz相机具有灵活度高，监控范围广的优点，ptz相机在增强虚拟环境中的加入，极大地增强了虚实融合场景的信息捕捉量、提高了相机资源的使用率。然而当场景中存在多个ptz相机时，调用单个ptz相机并不能充分利用相机资源，获得的视野范围也有限。考虑到上述问题，选择使用场景中所有的ptz相机有助于扩展视频的拍摄画面范围，同时设计多ptz联合控制方法能够有效的增加有效的拍摄面积，同时减少视频画面的重叠。

本发明前，已经有人对多ptz相机联合控制方法进行了相关设计，但大多算法用于目标追踪和信息收集而非指定空间位置持续监控。faisalz.qureshi等人发表论文“surveillanceinvirtualreality:systemdesignandmulti-cameracontrol”(ieeeconferenceoncomputervisionandpatternrecognition，2007)将每个ptz活动相机视为基于行为的自主代理。摄像机的整体行为由行人跟踪模块和当前任务确定。相机行为控制器模拟为增强的有限状态机，使自主相机能够实现其当前任务所确定的高级感应目标。典型的感应目标可能是，在位置(x，y，z)观察行人i持续t秒，或者跟踪特定外观特征的行人。但并不适应于用户指定的特定空间点的ptz相机调度。

另外一些研究关注于常规的多个固定相机的部署。xuebozhang等人发表的论文“3-dmodel-basedmulti-cameradeployment:arecursiveconvexoptimizationapproach”(ieee/asmetransactionsonmechatronics，2015：3157-3169)基于凸优化方法，提出一种用于视觉覆盖三维物体表面的多摄像头部署方法。首先，单个相机的最佳位置被公式化为一组在目标对象上覆盖的三角形碎片上的平移和旋转凸优化问题。然后递归地应用凸优化，扩展单个相机的覆盖区域，扩展过程从物体选择最初覆盖的三角形片开始、沿着由一定的标准选择出的物体边界进行；然后应用相同的优化程序来放置其后的相机。虽然强化了对单个物体的画面捕捉和相机姿态的计算，但没有使用ptz相机，也不适用于指定特定的目标点的场景捕捉。

因此目前缺少针对监控方面的、用户随意指定的、特定空间位置的ptz联合控制方法，且缺少针对虚实融合场景的相机姿态控制方法和相机筛选流程。

技术实现要素：

本发明的技术解决问题：克服现有技术的确不足，提供一种虚实融合场景中多ptz相机的联合控制系统及方法，解决目前虚实融合场景中多ptz相机的联合控制的问题，在用户观察指定位置时，能自主选择合适范围和角度的相机，同时降低ptz相机的画面重合，提高ptz相机的利用率、增加视频捕捉画面，优化相机的监控区域，提高用户的视觉体验。

本发明的技术解决方案：一种虚实融合场景中多ptz相机的联合控制系统及方法，原理为：分别是相机筛选、局部画面规划和相机姿态计算。相机筛选是在虚实融合场景中输入待观察目标点坐标和用户漫游视角之后，对场景中需要调用的相机进行距离、对冲、遮挡筛选和相机数目控制；局部画面规划是根据筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式，同时计算各局部画面的中心坐标；相机姿态计算是指，计算相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。

相机筛选是为了保证相机画面的有效性和清晰度，同时还要保证在用户指定的场景和角度下，相机捕获的画面应和用户所期望的画面角度一致，首先进行距离筛选，保留离待观察目标点较近的相机，保证较高的图像分辨率，然后进行对冲筛选，排除与用户漫游视角对冲的相机；之后进行遮挡筛选，排除被建筑物遮挡的不能获得有效画面的相机，最后挑选距离目标点最近的不超过5个相机。

局部画面规划需要根据筛选出的相机的数目，选择合适的局部画面排布方式，在得到用户输入的观测范围之后，进一步计算各个局部画面的中心点坐标。

局部画面排布后，需要对各个相机姿态进行计算，求出过待观察目标点并垂直于用户漫游视角的直线，将筛选后的相机在该直线上进行投影，并按照一定顺序规则为相机标号，然后按照图2所示的方式进行局部画面和相机的匹配，之后根据相机和局部画面的匹配情况计算各个相机的偏转值，使得相机的视线中心对准局部画面的画面中心，然后使用相机偏转值、用户漫游视角、待观察目标点坐标计算各个相机的缩放值。

本发明系统包括：相机筛选模块、局部画面规划模块、相机姿态计算模块；其中ptz相机是一种在安防监控中常用的相机，ptz为pan(左右转动)/tilt(俯仰转动)/zoom(变焦)简写，代表相机云台能够上下、左右转动并实现镜头变倍、变焦控制；

相机筛选模块，结合虚实融合场景、相机信息、待观察目标点坐标和用户漫游视角，对当前虚实融合场景下需要调用的相机进行筛选；

局部画面规划模块，根据相机筛选模块中筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式；同时根据用户输入的单个局部画面的观测范围，计算各个局部画面的中心点坐标；

相机姿态计算模块，计算相机筛选模块中筛选出的相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。

所述相机筛选模块的实现为：

(1)距离筛选，保留与待观察目标点的距离小于等于相机最大观测范围的相机；

(2)对步骤(1)中保留的相机进行对冲筛选，保留与用户漫游视角非对冲的相机；

(3)对步骤(2)中保留的相机进行遮挡筛选，若相机对目标点的观测视野内，虚实融合场景中的建筑物模型对相机画面的遮挡面积小于30％，则保留该相机；

(4)对步骤(3)中保留的相机进行相机数目控制，保留不多于5个且距待观察目标点最近的相机。

所述步骤(2)中，判断对冲的角度为相机所在点到待观察目标点的向量和用户漫游视角的夹角。

所述步骤(3)中，采用opengl遮挡查询进行遮挡面积的计算。

所述局部画面规划模块中，根据筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：所述局部画面规划模块中，根据相机筛选模块最终筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：

(1)确定一条过待观察目标点且垂直于用户漫游视角的直线；

(2)根据相机筛选模块最终筛选出的相机个数，选择一种排布方式：

相机个数为1时，画面排布为单镜头的且以待观察点为中心的方形区域；

相机个数为2时，画面排布为“一”字形的、中心点过步骤(1)直线的两个方形画面并排，待观察点位于两画面交线中点；

相机个数为3时，画面排布为“一”字形的、中心点过步骤(1)直线的三个方形画面并排，待观察点位于中央局部画面中心；

相机个数为4时，画面排布为“田”字形的、对称分布于步骤(1)直线两侧的四个方形画面，待观察点位于四画面交点；

相机个数为5时，画面排布为“十”字形的、对称分布于步骤(1)直线的五个方形画面，待观察点位于中央局部画面中心。

所述相机姿态计算模块中，计算相机在垂直于用户漫游视角的方向上的垂直投影坐标的过程包括步骤如下：

(1)计算虚实融合场景中的z轴正方向和用户漫游视角的叉乘其中叉乘也称向量积、外积和叉积，被定义为模长；0°≤θ≤180°，θ表示两向量在共起点的前提下的夹角，它位于这两个矢量所定义的平面上；向量与向量的向量积的方向与这两个向量所在平面垂直，且遵守右手定则；的含义是确定出一个垂直于用户漫游视角且位于z＝0平面的方向，有助于后续确定相机的相对位置；

(2)计算相机筛选模块最终筛选出的相机在所在直线上的垂直投影坐标。

所述相机姿态计算模块中，局部画面和相机的匹配的过程包括步骤如下：

(1)计算待观察目标点到相机垂直投影坐标的向量然后计算向量与向量的内积

(2)计算所有相机筛选模块最终筛选出的相机的e值，按照e值从小到大的顺序为相机排序并标号，e值最小的相机记为1号相机，第二小的记为2号相机，以此类推；根据相机筛选模块最终筛选出的相机个数，选择一种匹配方式：

相机个数为1时，画面排布为单镜头的且以待观察点为中心的方形区域，1号相机对应此唯一的方形区域；

相机个数为2时，画面排布为“一”字形的、中心点过步骤(1)直线的两个方形画面并排，待观察点位于两画面交线中点，1号相机对应“一”字形左侧的方形区域，2号相机对应“一”字形右侧的方形区域；

相机个数为3时，画面排布为“一”字形的、中心点过步骤(1)直线的三个方形画面并排，待观察点位于中央局部画面中心，1号相机对应“一”字形左侧的方形区域，2号相机对应“一”字形中央的方形区域，3号相机对应“一”字形右侧的方形区域；

相机个数为4时，画面排布为“田”字形的、对称分布于步骤(1)直线两侧的四个方形画面，待观察点位于四画面交点，1号相机对应“田”字形左上角的方形区域，2号相机对应“田”字形左下角方形区域，3号相机对应“田”字形右下角方形区域，4号相机对应“田”字形右上角方形区域；

相机个数为5时，画面排布为“十”字形的、对称分布于步骤(1)直线的五个方形画面，待观察点位于中央局部画面中心，1号相机对应“十”字形上方的方形区域，2号相机对应“十”字形左侧方形区域，3号相机对应“十”字形中央方形区域，4号相机对应“十”字形右侧方形区域，5号相机对应“十”字形下方的方形区域。

所述计算相机的缩放值包括步骤如下：

(1)使用观察长度a及得到的偏转值，计算相机应当捕捉的画面长度a'；

(2)获取相机筛选模块最终筛选出的相机中每个相机的相机参数，计算列表中每个相机在缩放值为1时的观测长度；

(3)计算步骤(2)中得到的观测长度与a'的比值，即为相机的缩放值。

本发明的一种虚实融合场景中多ptz相机的联合控制方法，实现如下：

(1)首先对场景中的ptz相机进行筛选，保留距离较近相机、防止对冲和遮挡相机并控制相机的调用数量；

(2)根据相机数目确定相机的排布方式，再根据用户的场景漫游视角、用户输入的观测长度范围、待观察目标点坐标以及各相机的位置坐标等信息计算局部画面的中心点坐标，进一步计算左右偏转值，即p值和上下偏转值，即t值；

(3)进行相机和局部画面的匹配优化得到最优的相机、局部画面组合；最后使用用户的场景漫游视角、用户输入的观测长度范围来以及相机和局部画面的匹配情况计算各相机的缩放值，即z值。

本发明与现有技术相比的优点在于：

(1)目前没有专门针对虚实融合场景的ptz相机的联合控制方法，而使用多ptz相机进行画面捕捉，能够在保证目标点视频信息完整的前提下，获取更大的监控视野范围，能较为充分地调用监控资源，提高相机利用率，同时设计了合理的局部画面排布方式，能使监控信息更加清晰完整，另外加入了对冲检测，防止相机视角与用户视角的对冲，缓解了人物拉伸扭曲的效果，有助于提升用户在虚实融合场景中的视觉感受。图3展示了现有的两种相机控制的方法(a、b)和本发明的控制方法的效果对比，可以看出本发明的控制方法在防止视角对冲的同时，具有更好的视野范围和整体缩放效果。

(2)本发明能够为虚实融合视频场景提供多ptz相机的联合控制功能，提高多相机的利用率，扩大场景的画面捕捉范围，优化相机监控区域，从而提升用户观看体验。

附图说明

图1为本虚实融合场景中多ptz相机的联合控制系统与方法的总体示意图；

图2为在调用不同的相机数目时，局部画面的布局方式，其中黑色箭头代表用户漫游视角在地面的投影，黑白色块代表不同的局部画面，灰色圆点代表待观察目标点；

图3为本发明方法和现有方法的比较。

具体实施方式

下面结合附图对本发明做进一步详细的描述，在介绍本发明的具体实施方法之前，首先对一些基本概念进行说明：

(1)虚实融合：将虚拟的三维模型与真实的图片或视频融合显示；

(2)增强虚拟：在真实场景中采集场景信息，重现并显示给用户；

(3)ptz相机：ptz在安防监控是pan(左右转动)/tilt(俯仰转动)/zoom(变焦)简写，代表相机云台能够上下、左右转动并实现镜头变倍、变焦控制；

(4)漫游视角：用户在虚实融合场景下的观察视角；

(5)对冲：视角相对，用户视角与相机视角对冲会导致相机的拍摄画面与用户的期望的画面方向相反，相机与相机的视角对冲会导致相机拍摄画面相反，难以进行拼接；

(6)相机姿态：相机相对于已知物体的三维姿态欧式角，即俯仰角，偏航角，滚轮角；在ptz相机中，姿态指相机的左右偏转角、上下偏转角和相机缩放值；

如图1所示，发明的总体示意图，相机筛选需要结合增强现实场景的模型信息、相机信息、待观察目标点和漫游视角对场景中的相机进行有效性筛选；根据筛选出的相机的数目，结合用户指定的单个局部画面的观测范围，进一步确定局部画面的规划方式，包括局部画面排布方式和局部画面中心坐标两部分；之后计算相机偏转值，优化相机与局部画面的对应关系，计算相机的缩放值，得到所有相机的姿态。

首先对相机进行筛选，结合虚实融合场景、相机信息、待观察目标点坐标和用户漫游视角对当前虚实融合场景下需要调用的相机进行筛选；

相机筛选的步骤为：

(cs1)距离筛选，保留与待观察目标点的距离小于等于相机最大观测范围的相机；

(cs2)对步骤(cs1)中保留的相机进行对冲筛选，保留与用户漫游视角非对冲的相机；

(cs3)对步骤(cs2)中保留的相机进行遮挡筛选，若相机对目标点的观测视野内，虚实融合场景中的建筑物模型对相机画面的遮挡面积小于30％，则保留该相机；

(cs4)对步骤(cs3)中保留的相机进行相机数目控制，保留一定数量的、距待观察目标点最近的部分相机。

局部画面规划步骤为：

(pp1)确定局部画面排布，即根据筛选后相机的数目，选取合适的局部画面排布方式；

(pp2)计算局部画面的中心点坐标，根据用户输入的、每个局部画面的观测长度a，计算各个局部画面的中心点坐标。

相机姿态计算步骤为：

(cb1)计算中(cs4)筛选出的相机在垂直于用户漫游视角的方向上的垂直投影坐标；

(cb2)根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值；

(cb3)根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。

所述步骤(cs2)相机筛选的过程中，判断对冲的角度为向量“相机-待观察点目标点”、“用户漫游视角”的夹角；所述步骤(cs3)中，使用了opengl遮挡查询进行遮挡面积的计算。所述步骤(cs2)相机筛选的过程中，判断对冲的角度为相机所在点到待观察点目标点的向量和用户漫游视角的夹角；所述步骤(cs3)中，使用了opengl遮挡查询进行遮挡面积的计算。

所述步骤(pp1)局部画面排布的过程包括步骤如下：

(ps1)根据用户的漫游视角，确定一条过待观察目标点的且垂直于漫游视角的直线；

(ps2)根据步骤(cs4)的列表的相机个数，选择一种排布方式，总体画面排布参考图2：

相机个数为1时，画面排布为单镜头的、以待观察点为中心的方形区域；

相机个数为2时，画面排布为“一”字形的且中心点过(ps1)直线的两个方形画面并排，待观察点位于两画面交线中点；

相机个数为3时，画面排布为“一”字形的且中心点过(ps1)直线的三个方形画面并排，待观察点位于中央局部画面中心；

相机个数为4时，画面排布为“田”字形的且对称分布于(ps1)直线两侧的四个方形画面，待观察点位于四画面交点；

相机个数为5时，画面排布为“十”字形的且对称分布于(ps1)直线的五个方形画面，待观察点位于中央局部画面中心。

所述步骤(cb2)局部画面和相机的匹配的过程包括步骤如下：

(cto1)计算待观察目标点到(cb1)中相机垂直投影坐标的向量然后计算向量与(cb1)中向量的内积

(cto2)计算所有(cs4)的e值，按照e值从小到大的顺序为相机排序并标号，e值最小的相机记为1号相机，第二小的记为2号相机，以此类推。根据相机筛选模块最终筛选出的相机个数，选择一种匹配方式：

相机个数为1时，画面排布为单镜头的且以待观察点为中心的方形区域，1号相机对应此唯一的方形区域；

相机个数为2时，画面排布为“一”字形的、中心点过步骤(ps1)直线的两个方形画面并排，待观察点位于两画面交线中点，1号相机对应“一”字形左侧的方形区域，2号相机对应“一”字形右侧的方形区域；

相机个数为3时，画面排布为“一”字形的、中心点过步骤(ps1)直线的三个方形画面并排，待观察点位于中央局部画面中心，1号相机对应“一”字形左侧的方形区域，2号相机对应“一”字形中央的方形区域，3号相机对应“一”字形右侧的方形区域；

相机个数为4时，画面排布为“田”字形的、对称分布于步骤(ps1)直线两侧的四个方形画面，待观察点位于四画面交点，1号相机对应“田”字形左上角的方形区域，2号相机对应“田”字形左下角方形区域，3号相机对应“田”字形右下角方形区域，4号相机对应“田”字形右上角方形区域；

相机个数为5时，画面排布为“十”字形的、对称分布于步骤(ps1)直线的五个方形画面，待观察点位于中央局部画面中心，1号相机对应“十”字形上方的方形区域，2号相机对应“十”字形左侧方形区域，3号相机对应“十”字形中央方形区域，4号相机对应“十”字形右侧方形区域，5号相机对应“十”字形下方的方形区域。

所述步骤(cb3)计算相机的缩放值的过程包括步骤如下：

(cz1)使用步骤(pp2)中的观察长度a、步骤(cb1)得到的偏转值，计算相机应当捕捉的画面长度a'；

(cz2)获取步骤(cs4)列表中每个相机的相机参数，计算列表中每个相机在缩放值为1时的观测长度；

(cz3)计算步骤(cz2)中得到的观测长度与a'的比值，即为相机的缩放值。

如图3所示，为本发明方法和现有方法的比较；在初始状态下，摄像头1、2、3位于任意位置；使用现有方法a观察目标点，调用了较近的摄像头1，其余摄像头保持原位；使用现有方法b观察目标点，调用了全部摄像头1、2、3，同时观察目标点；使用本发明的方法，与用户视角对冲的摄像头1保持原位，摄像头2、3按照较好的画面排布观察目标点，并能根据用户设定的观察范围自动调整相机的缩放值。

总之，本发明能够为虚实融合视频场景提供多ptz相机的联合控制功能，提高多相机的利用率，扩大场景的画面捕捉范围，优化相机监控区域，从而提升用户观看体验。