一种全景视频显示方法及系统的制作方法
【专利摘要】本发明适用于图像拼接领域，提供了一种全景视频显示方法及系统，所述方法包括：终端采集摄像机阵列中各个摄像机的视频帧；终端对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长；全景生成服务器基于所述全景图像的周长拼接并显示终端预处理后的视频帧。本发明实施例能够有效提高了全景生成服务器的拼接效率。
【专利说明】一种全景视频显示方法及系统
【技术领域】
[0001]本发明属于图像拼接领域，尤其涉及一种全景视频显示方法及系统。
【背景技术】
[0002]在监控行业中，CIF格式的图像以存储量较低，价格相对低廉，图像质量较好的特点成为主流分辨率，但其分辨率为352*288，图像质量并不能满足高清晰的要求。在一些高端视频监控领域，如国家安全机关、信息分析中心等，需要的高清晰图像画面，这些高清晰图像画面目前一般采用Full Dl或Dl (702*576)进行视频采集，其中，Full Dl的分辨率为720*576，Dl 的分辨率为 702*576。
[0003]目前，在全景视频显示方法中，若以分辨率较低的CIF进行视频采集，则系统仍需对视频图像进行大量处理，给全景生成服务器造成很大的运算负荷，并且随着摄像机阵列中摄像机数目的增多而不断增大，进而满足不了全景视场实时更新的要求。若采用Full Dl或Dl进行视频采集，则数据量将更大，给全景生成服务器造成的运算负荷也更大，根本不可能满足全景视场实时性的要求。
【发明内容】
[0004]本发明实施例提供了一种全景视频显示方法，旨在解决现有方法使得全景生成服务器的负荷过大，拼接效率过低的问题。
[0005]本发明实施例是这样实现的，一种全景视频显示方法，所述方法包括下述步骤:
[0006]终端采集摄像机阵列中各个摄像机的视频帧；
[0007]终端对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长；
[0008]全景生成服务器基于所述全景图像的周长拼接并显示终端预处理后的视频帧。
[0009]本发明实施例的另一目的在于提供一种全景视频显示系统，所述系统包括终端和全景生成服务器；
[0010]所述终端包括视频帧采集单元，用于采集摄像机阵列中各个摄像机的视频帧；
[0011]所述终端包括处理单元，用于对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长；
[0012]所述全景生成服务器用于基于所述全景图像的周长拼接并显示终端预处理后的视频帧。
[0013]在本发明实施例中，由于无需全景生成服务器处理海量的视频数据，因此减少了该全景生成服务器的负荷，从而有效提高了全景生成服务器的拼接效率，加快全景图像的显不O
【专利附图】
【附图说明】
[0014]图1是本发明第一实施例提供的一种全景视频显示方法的流程图；[0015]图2a是本发明第二实施例提供的PC机I的全景生成软件的窗口画面的示意图；
[0016]图2b是本发明第二实施例提供的PC机2的全景生成软件的窗口画面的示意图；
[0017]图2c是本发明第二实施例提供的PC机3的全景生成软件的窗口画面的示意图；
[0018]图3是本发明第二实施例提供的全景生成服务器接收3台PC机传输的一帧图像后得到的画面不意图；
[0019]图4是本发明第二实施例提供的全景生成服务器拼接3台PC机传输的预处理后的视频图像得到的画面示意图；
[0020]图5是本发明第三实施例提供的一种全景视频显示系统的结构图。
【具体实施方式】
[0021]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0022]本发明实施例中，终端采集摄像机阵列的视频帧进行预处理，包括确定相邻两路摄像机的视频帧之间的位移、全景图像的周长等预处理，再将预处理得到的结果发送给全景生成服务器，以使该全景生成服务器根据预处理得到的位移、周长等拼接视频帧，并呈现拼接后的视频帧。 [0023]为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0024]实施例一:
[0025]图1示出了本发明第一实施例提供的一种全景视频显示方法的流程图，详述如下:
[0026]步骤Sll，终端采集摄像机阵列中各个摄像机的视频帧。
[0027]该步骤中，摄像机阵列存在多个摄像机，任意位置相邻的两个摄像机拍摄的视频帧中存在有重叠的视频数据。
[0028]步骤S12，终端对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长。
[0029]该步骤中，终端计算视频帧之间的位移是指，计算具有重叠视频数据的两个摄像机拍摄的视频帧中重叠视频数据的位移，这两个视频帧的采集时间是相同的。例如，假设摄像机I和摄像机2位置相邻，摄像机I在t时间拍摄的视频帧中包含物体Q的视频数据，摄像机2在t时间拍摄的视频帧中也包含有Q的视频数据，则该步骤中，计算摄像机I拍摄的视频帧与摄像机2拍摄的视频帧之间的位移是指，计算物体Q在摄像机I和摄像机2在t时间拍摄的视频帧之间的位移。
[0030]其中，计算视频帧之间的位移的步骤具体包括:
[0031]终端在一路摄像机中选取连续三个视频帧I1、12、13，在另一路摄像机中选取连续三个视频帧il、i2、i3，所述I1、12、13的采集时间分别和所述il、i2、?3的采集时间相同，且两路摄像机在摄像机阵列中的位置相邻，对选取的视频帧执行以下操作:
[0032]步骤Al、计算Il和il的梯度信息，所述梯度信息包括水平梯度向量和垂直梯度df(x,y)
向量。该步骤中，计算一个视频帧的梯度信息可通过下式确定
【权利要求】
1.一种全景视频显示方法，其特征在于，所述方法包括下述步骤: 终端采集摄像机阵列中各个摄像机的视频帧； 终端对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长； 全景生成服务器基于所述全景图像的周长拼接并显示终端预处理后的视频帧。
2.如权利要求1所述的方法，其特征在于，所述计算视频帧之间的位移的步骤具体包括: 在一路摄像机中选取连续三个视频帧Il、12、13，在另一路摄像机中选取连续三个视频帧il、i2、i3，所述I1、12、13的采集时间分别和所述il、i2、i3的采集时间相同，且两路摄像机在摄像机阵列中的位置相邻，对选取的视频帧执行以下操作: 计算Il和il的梯度信息，所述梯度信息包括垂直梯度向量； 根据计算的Il和il的垂直梯度向量确定所述Il与所述il之间的位移，假设为dl ； 计算12和i2的梯度信息，所述梯度信息包括垂直梯度向量； 根据计算的12和i2的垂直梯度向量确定所述12与所述i2之间的位移，假设为d2 ； 计算13和i3的梯度信息，所述梯度信息包括垂直梯度向量； 根据计算的13和i3的垂直梯度向量确定所述13与所述和i3之间的位移，假设为d3 ；判断dl是否等于d2，d2是否等于d3，并在dl等于d2，且d2等于d3时，判定所述相邻两路摄像机拍摄的视频帧之间的位移为dl。
3.如权利要求2所述的方法，其特征在于，通过以下公式确定分处于相邻两路摄像机中的两个视频帧之间的位移，所述两个视频帧的采集时间相同:
4.如权利要求3所述的方法，其特征在于，所述基于所计算的位移确定全景图像的周长具体为: 终端对摄像机阵列的所有相邻两路摄像机执行以下操作: A、根据确定的分处相邻两路摄像机中的两个视频帧之间的位移确定所述两个视频帧的最佳匹配位置；在确定的最佳匹配位置上拼接所述两个视频帧，得到拼接的全景图像； B、终端计算拼接的全景图像的垂直梯度向量直方图； C、终端确定所述全景图像的垂直梯度向量直方图中的最大垂直梯度向量； D、终端以所述最大垂直梯度向量所在的位置为中心，选取一个待匹配向量； E、终端确定选取的待匹配向量与所述全景图像的垂直梯度向量直方图中的非匹配向量的相关性；F、终端在确定的相关性的值中选取3个大于预设阈值的相关性的值，并确定选取的3个相关性的值对应的匹配位置； G、终端判断选取的3个相关性的值对应的匹配位置中，相邻两个的匹配位置的间隔是否相等，并在相邻两个的匹配位置的间隔相等时，确定全景图像的周长为任一个相邻两个的匹配位置的间隔。
5.如权利要求4所述的方法，其特征在于，在相邻两个的匹配位置的间隔不相等时，终端重新调整所述最大垂直梯度向量所在的位置后，再以所述最大垂直梯度向量所在的位置为中心，选取一个待匹配向量，重新执行权利要求4中的步骤E至步骤G。
6.一种全景视频显示系统，其特征在于，所述系统包括终端和全景生成服务器； 所述终端包括视频帧采集单元，用于采集摄像机阵列中各个摄像机的视频帧； 所述终端包括处理单元，用于对采集的视频帧进行预处理，所述预处理包括计算视频帧之间的位移，基于所计算的位移确定全景图像的周长； 所述全景生成服务器用于基于所述全景图像的周长拼接并显示终端预处理后的视频 帧。
7.如权利要求6所述的系统，其特征在于，所述处理单元包括: 视频帧选取模块，用于在一路摄像机中选取连续三个视频帧I1、12、13，在另一路摄像机中选取连续三个视频帧il、i2、i3，所述I1、12、13的采集时间分别和所述il、i2、?3的采集时间相同，且两路摄像机在摄像机阵列中的位置相邻； 梯度信息计算模块，用于计算Il和il的梯度信息；用于计算12和i2的梯度信息；以及用于计算13和i3的梯度信息，所述梯度信息包括垂直梯度向量； 位移计算模块，用于根据计算的Il和il的垂直梯度向量确定所述Il与所述il之间的位移，假设为dl ;用于根据计算的12和i2的垂直梯度向量确定所述12与所述i2之间的位移，假设为d2 ;以及用于根据计算的13和i3的垂直梯度向量确定所述13与所述和i3之间的位移，假设为d3; 位移判断模块，用于判断dl是否等于d2，d2是否等于d3，并在dl等于d2，且d2等于d3时，判定所述相邻两路摄像机拍摄的视频帧之间的位移为dl。
8.如权利要求7所述的系统，其特征在于，所述位移计算模块通过以下公式确定分处于相邻两路摄像机中的两个视频帧之间的位移，所述两个视频帧的采集时间相同:
9.如权利要求8所述的系统，其特征在于，所述处理单元包括: 全景图像拼接模块，用于对摄像机阵列的所有相邻两路摄像机执行以下操作:根据确定的分处相邻两路摄像机中的两个视频帧之间的位移确定所述两个视频帧的最佳匹配位置；在确定的最佳匹配位置上拼接所述两个视频帧，得到拼接的全景图像； 垂直梯度向量直方图计算模块，用于计算拼接的全景图像的垂直梯度向量直方图；最大垂直梯度向量确定模块，用于确定所述全景图像的垂直梯度向量直方图中的最大垂直梯度向量； 待匹配向量选取模块，用于以所述最大垂直梯度向量所在的位置为中心，选取一个待匹配向量； 待匹配向量相关性确定模块，用于确定选取的待匹配向量与所述全景图像的垂直梯度向量直方图中的非匹配向量的相关性； 匹配位置确定模块，用于在确定的相关性的值中选取3个大于预设阈值的相关性的值，并确定选取的3个相关性的值对应的匹配位置； 匹配位置间隔确定模块，用于判断选取的3个相关性的值对应的匹配位置中，相邻两个的匹配位置的间隔是否相等，并在相邻两个的匹配位置的间隔相等时，确定全景图像的周长为任一个相邻两个的匹配位置的间隔。
10.如权利要求9所述的系统，其特征在于，所述处理单元包括: 最大垂直梯度向量所在的位置微调模块，用于在相邻两个的匹配位置的间隔不相等时，重新调整所述最大垂直梯度向量所在的位置后，再以所述最大垂直梯度向量所在的位置为中心，选取一个待匹配向量，重新执行待匹配向量相关性确定模块、匹配位置确定模块、匹配位置间隔确 定模块。
【文档编号】H04N5/14GK104038668SQ201410305477
【公开日】2014年9月10日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】张艳 申请人:Tcl集团股份有限公司