专利名称：一种全景视频实时拼接显示系统的制作方法
技术领域：
本实用新型属全景视频拼接显示系统，涉及多摄像机拍摄、视频拼图技术、和边缘融合大屏幕投影拼接显示技术，特别是不要求摄像头有严格固定的相对位置和夹角，不要求摄像头焦距等光学参数必须严格一致的全景视频拼接技术。能够方便有效地对现有监控系统进行升级，提供全景画面，以便有效制定决策，如交通监控中心、消防指挥中心，以及机场、火车站、酒店、小区、超市、停车场等场合。
背景技术：
随着科技进步，监控系统不断发展完善，逐渐成为集图像采集、分析、告警等功能为一体的智能化管理平台。但是，普通摄像机视野窄，而广角摄像机图像变形严重，仍然是现有监控系统的一个主要缺陷。虽然利用云台控制，通过旋转摄像机可以实现360°全景监控，但是同一时刻也只能看到某一角度的画面，仍然无法解决缺乏全景画面的问题，监控时不可避免地会出现盲区。进年来，出现了 360°全景摄像机，顾名思义，就是一次性收录前后左右的所有信息。全景摄像机的关键技术是如何生成全景视频，目前主要有两种方法。其一，是依据仿生学(鱼眼)，采用物理光学的球面投射加反射原理一次性将水平360°、垂直180°的信息成像，再采用硬件自带的软件进行转换，以人眼习惯的方式呈现出画面，典型产品如日本 SONY公司的360°全景摄像机。这种方法图像分辨率较低，清晰度较差，呈现出的适合人眼的180°正常平面视图存在较大变形。其二，是采用多个位置固定的摄像头捕捉不同角度空间的场景，然后将视频图像进行拼接得到全景视频，典型产品如美国Honeywell公司推出的PARASCAN全景摄像机。这种方法能提供较高的分辨率，但存在拼接裂痕和明暗差异。国内尚无产品出现，但是对此的研究也不断深入，如发明专利“根据多视角视频流生成全景视频的方法”(公开号CN 101146231A)，和实用新型专利“一种全景摄像机”(专利CN 201409204)。事实上，很多监控场合需要远距离监控，如机场停机坪、高速公路等，此时需要的是广角、大视野、高分辨率、变形小的全景图像，水平视角达到150° 180°，垂直视角达到70° 120°即可。由于产品的技术特点，360°全景摄像机比较适合狭小空间的视频监控，并不适合这种场合，且价格比较昂贵。解决问题的最佳方案是在原有监控系统的基础上，利用多摄像机视频拼图技术来得到全景视频。重要的是，为了适应各种现场，并便于安装调试，它要突破现有视频拼接系统的一些限制，从而不要求摄像头的相对位置、夹角严格固定，也不要求摄像头焦距等光学参数必须严格一致。例如在专利CN 101146231A中提出“每个摄像头在水平面上以同一圆心向四周不同方向拍摄”的条件就太苛刻。目前，在这种较为宽松的拍摄条件下的全景拼接，还只应用于静态照片的拼接领域中，有与数码相机绑定的商用产品，也有一些开源软件。该技术主要基于尺度不变的特征变换来提取图像的特征点，进行图像间的特征匹配，从而获取图像的坐标变换，生成无缝拼接的全景图像，最后对图像的重叠区域进行融合处理，使得整幅画面亮度均衡。该技术的先进性在于其不受图像缩放比例、平移、和旋转的影响， 受亮度变化和3D投影的影响也是有限的，因此使得拍摄条件大大降低。由于算法复杂，目前该技术的弱点是实时性问题。拼接好的全景视频其分辨率与摄像头的分辨率和个数成正比，摄像头个数越多全景视频分辨率越高、视野越大。为了使指挥控制中心的监控人员能够快速、准确的判断和决策，全景视频需要在一个支持超高分辨率、超大显示画面的大屏幕显示系统中显示。目前市场上有DLP (数字光处理)、LCD (液晶)、PDP (等离子)等大屏幕拼接墙产品，其优点是高清晰度、高亮度，缺点是有箱体拼接缝，造价和维护成本高。边缘融合大屏幕投影拼接显示技术是近来迅速崛起的一种新型无缝拼接显示技术。它用一组投影机投射出的画面进行边缘重叠，并通过边缘融合技术显示出一个没有缝隙、超大、高分辨率的整幅画面，画面的效果就像是一台投影机投射的画面。投影屏幕可以是平面或者曲面，介质甚至可以是一面墙。 该技术的显著优点是没有拼接缝，更能体现画面的完整性，有更好的视觉效果，而且造价低廉
MTv ο
发明内容为了解决现有监控系统无法提供全景图像，不利于后方指挥控制中心制定正确决策的问题，本实用新型提供了一种解决方案，该方案能够利用现有的监控设备，将前端采集的视频实时进行全景拼接，并将拼接好的全景视频通过边缘融合大屏幕显示系统输出。本实用新型解决其技术问题所采用的技术方案是由摄像机组、全景视频拼接系统、边缘融合大屏幕投影拼接显示系统、投影机组和大屏幕构建一个全景视频实时拼接显示系统。前端对需要监控的场景使用一组摄像机进行全景覆盖拍摄，多路视频汇集到后方监控中心后输入到全景视频拼接系统，实时拼接生成一路广角、大视野、高分辨率全景视频，全景视频输入到边缘融合大屏幕投影拼接显示系统进行几何校正、画面切割、融合带处理、颜色校正、亮度均衡，并输出给多部投影机投射到大屏幕上，最终显示出一个没有缝隙、 超大、高分辨率的全景画面。本实用新型全景视频实时拼接显示系统，其具体特征在于1.摄像机组以MxN矩阵方式排列，为满足图像拼接技术的要求，相邻摄像机的水平和俯仰夹角不超过30°，相邻拍摄图像之间有10% 30%的重叠区域，各镜头的焦距可以不同。2.全景视频拼接系统生成的全景视频，其分辨率和视野随着摄像头个数的增多而增大，无拼缝，亮度均衡。3.使用一组投影机，其以矩阵方式排列，以正投或者背投方式投射。4.使用大屏幕，屏幕形状可以是平面或者曲面，介质甚至可以是一面墙。5.可以作为一种实现全景视频实时拼接显示的基础，凡是在本实用新型的启示下做出的变化，或是与本实用新型具有相同或者相近的技术方案，均落入本实用新型的保护范围之内。本实用新型的有益效果是可以在现有监控系统的基础上进行改造，获得场景的全景视频，有利于后方快速有效地制定正确决策。安装调试快速、改造维护成本低，是实用可行的解决方案。
图1是本实用新型的工作原理和流程示意图。图2是本实用新型的功能模块示意图。图3是本实用新型中全景视频拼接系统中的全景拼接参数生成模块软件流程示意图。图4是本实用新型中边缘融合大屏幕投影拼接系统软件流程示意图。图中，1.摄像机组，2.全景视频拼接系统，21.全景拼接参数生成模块，3.边缘融合大屏幕投影拼接显示系统，4.投影机组和大屏幕。
具体实施方式
如图1所示，本实用新型通过“摄像机组”(1)、“全景视频拼接系统”(2)、“边缘融合大屏幕投影拼接显示系统”(3)以及“投影机组和大屏幕” 四个步骤来实现全景视频的实时拼接和显示。第一步采用一组摄像机对需要监控的场景进行全景覆盖拍摄。为了保证完美的画面拼接，每部摄像机与四周相邻摄像机拍摄的图像之间需要有10% 30%左右的重叠， 以保证在重叠区域能够提取出足够多的匹配特征点；并且水平和俯仰夹角一般都不超过 30°，以降低3D投影变换给拼接造成的影响。每部摄像机的焦距可以不同，也不用像全景摄像机那样固定彼此相对位置和夹角，因此在安装和调试时具有很大的灵活性。第二步使用全景视频拼接系统，其将摄像机组拍摄的多个视频进行实时自动拼接和重叠区域融合处理，从而生成一个大视野、广角、高分辨率、亮度均衡的全景视频。第三步使用现有的边缘融合大屏幕投影拼接显示系统，根据大屏幕的形状，将已拼接好的全景视频进行自动几何校正，并根据投影机的个数将全景视频切割成相互重叠的多个通道视频，自动计算融合带，同时进行颜色校正和亮度均衡。第四步使用一组投影机和一块大屏幕。每部投影机接入边缘融合系统(3)的一个通道，将多路视频投射到大屏幕上，从而显示出一个没有缝隙、超大、高分辨率的全景视频画面，画面的效果就像是一台投影机投射的画面。图中是一个正投的例子，根据现场的需求，也可以采用背投方式，同时选择相应的正投幕或者背投幕。由于边缘融合系统(3)进行自动几何校正，因此幕的形状也没有严格限定。如图2所示，本实用新型中全景视频拼接系统O)的控制软件主要有5个功能模块视频采集模块、全景拼接参数生成模块0 、参数表、实时全景拼接模块04) 和显示输出模块0幻。其中，视频采集模块用于采集多路摄像机视频，一方面可以直接输入显示输出模块0 显示多路视频；另一方面用于截取静态图像输入全景拼接参数生成模块0幻。全景参数生成模块0 包含各种复杂的图像分析、处理算法，用于生成拼接所需的几何变换参数和亮度均衡所需的融合参数，并将参数存入参数表03)中。该模块 (22)是全景视频拼接系统中的核心模块，但其只需在系统安装调试期间，或者当摄像机位置发生变动时，甚至可以选择自动模式在恰当的时机进行参数重建，属于离线预处理模块。 一旦全景参数生成，视频采集模块则将视频图像输入到实时全景拼接模块(M)，该模块利用参数表03)中的参数进行全景图像的拼接和融合计算，以达到实时性要求，并将拼接好的全景图像输出给显示输出模块05)。如图3所示，全景拼接参数生成模块0 主要通过五个步骤实现。第一步提取每幅输入图像的尺度不变局部特征；第二步匹配相邻图像的尺度不变局部特征；第三步 计算每幅图像的投影变换矩阵；第四步图像重叠区域的融合处理；第五步生成拼接、融合参数。如图4所示，本实用新型中边缘融合大屏幕投影拼接显示系统(3)的控制软件主要通过五个步骤实现。第一步对输入的全景图像进行几何校正，以适应不同形状的大屏幕；第二步根据投影机的个数对全景图像进行切割，分成多个通道，相邻通道之间有一定重叠区域；第三步对每个通道图像进行淡进淡出融合带处理；第四步对每个通道图像进行颜色校正处理；第五步对每个通道图像进行亮度均衡处理。最后将每个通道图像输出给相应投影机。
权利要求1.一种全景视频实时拼接显示系统，包括摄像机组、全景视频拼接系统、边缘融合大屏幕投影拼接显示系统、投影机组和大屏幕，其特征是前端采用一组摄像机对需要监控的场景进行全景覆盖拍摄，多路视频汇集到后方输入全景视频拼接系统，实时拼接生成一路广角、大视野全景视频，全景视频传输给边缘融合大屏幕投影拼接显示系统，最终通过投影机组将全景视频投射到大屏幕上。
2.根据权利要求1所述的全景视频实时拼接显示系统，其特征是摄像机组以MxN矩阵方式排列，相邻摄像机的水平和俯仰夹角不超过30°，相邻拍摄图像之间有10% 30% 的重叠区域，各镜头的焦距可以不同。
3.根据权利要求1所述的全景视频实时拼接显示系统，其特征是使用一组投影机，其以矩阵方式排列，以正投或者背投方式投射。
4.根据权利要求1所述的全景视频实时拼接显示系统，其特征是使用大屏幕，屏幕形状可以是平面或者曲面。
专利摘要本实用新型提供了一种全景视频实时拼接显示系统。它使用了一组普通摄像机进行全景覆盖拍摄，采用视频拼图技术和边缘融合大屏幕投影拼接显示技术，实时将多路视频拼接成一路广角、大视野、高分辨率的全景视频，全景视频输入到边缘融合大屏幕投影拼接显示系统，最终投射到大屏幕上。本实用新型克服了全景摄像机的固定模式，可以灵活改变摄像机的相对位置和焦距，因此能够方便有效地对现有监控系统进行升级，提供全景画面，提高决策的准确性和快速性。
文档编号H04N9/09GK201947404SQ20102015543
公开日2011年8月24日 申请日期2010年4月12日 优先权日2010年4月12日
发明者李伟, 范治江 申请人:李伟, 范治江