全景视频浏览播放方法
【技术领域】
[0001]本发明涉及一种全景视频浏览播放器，尤其是针对具有水平360°视角、垂直360° 视角全景的720°全景视频的浏览播放，特别涉及一种720°全景视频的分屏浏览播放器。
【背景技术】
[0002] 目前，在安防行业中为了实现对监控点周围的720°全景画面进行全面直接监控， 广泛地采用了多路摄像机采集不同方位角的图像画面，进而通过观看多路摄像机采集的多 路画面同时显示完成全景监控，但是除了多路摄像机安装造成监控成本的上升之外，多路 摄像机安装位置固定，对于相邻相机之间的共同监控的画面区域往往不能有效(不完整或 不清晰)地显示；另外，可以采用安装球机的方式，通过控制云台移动摄像头来针对感兴趣 的方位区域进行有效监控，但无法记录未对准方位上视频信息，不能实现真正意义的实时 全景监控。针对这些问题一种解决方法是引入全景相机到安防视频监控中，产生的720°全 景画面一般为长宽比为2:1(360° X 180°)的画面，实时记录720°全视角画面实现全景监控 的目的，但是对于长宽比为2:1的全景画面把720°画面信息集中到二维平面画面中，必然造 成了画面中图像的扭曲而且对浏览观看而言，很难在画面中对方位有清晰的概念。
【发明内容】
[0003] 本发明根据现有技术的不足公开了一种全景视频浏览播放方法。本发明为了克服 720°全景图像浏览时有扭曲及浏览方位不明确的弊端，并且更好的实现全景监控，提出了 一种特殊的全景浏览模式，通过三维投影及图像畸变矫正技术实现全景图像立体浏览及实 时分视窗浏览。
[0004] 本发明解决技术问题所采用的技术方案是：
[0005] 全景视频浏览播放方法包括：
[0006] 获得720°全景图像；
[0007] 构建虚拟立体球形场景，通过设定720°全景图像到球形场景的映射关系，从而通 过图像映射及图像插值得到全景立体球形图像；
[0008] 将全景立体球形图像经过透视投影变换得到屏幕显示的图像。
[0009 ]所述720°全景图像还通过内置陀螺仪进行姿态调整。
[0010] 所述构建虚拟立体球形场景是：将720°全景图像中点ΡΚχυυΟ通过以下计算 式(1)映射到全景立体球形图像球体坐标系中P'KlonJat)实现：
[0011]
式⑴。 1 所述将全景立体球形图像经过透视投影变换得到屏幕显示的图像是通过投影矩 阵进行的；投影矩阵的定义为:把视锥体投影为设定立方体，对于从任一视锥体点P(x，y，z) 投影到观察体中一点？'（1'，7'，2'）通过以下计算式(2)得到：
[0013] P'=MP 式（2);
[0014]其中，Μ通过以下计算式(3)得到：
[0015]
[0016] F、N为远近视截面的距离；L、R为投影面左右边界坐标；Τ、Β为投影面上下边界坐 标。
[0017]上述获得720°全景图像是通过单一图像传感器的全景图像采集系统得到。所述单 一图像传感器的全景图像采集系统是一种单传感器的全景图像采集系统，该图像采集系统 只需要一片传感器芯片就可使实现对全景图像的采集，有效地克服了不同传感器成像差异 的缺陷；由于没有成像差异的缺陷，在本发明构建虚拟立体球形场景获得全景立体球形图 像，进一步经过透视投影变换得到屏幕显示的图像时，本发明更能展现均匀、连贯、一体式 的立体全景场景画面，在观看时不会出现监控视角缺失及画面断裂现象，并且模拟观测视 角更能接近人眼，观察者在观测场景中有直观方位的体验。本发明所采用的单一图像传感 器全景图像采集系统已于中国专利2015106005041公开。
[0018]所述将全景立体球形图像经过透视投影变换得到屏幕显示的图像包括一窗口浏 览方式和多窗口浏览方式。
[0019] 一窗口浏览方式是经过透视投影变换得到屏幕显示的图像为单一视窗口，该单一 视窗口通过人工交互来对图像进行指定位置的图像显示，在启动自动浏览模式时，单一视 窗口显示的图像以水平方向转动，依次显示四周画面。
[0020]多窗口浏览方式包括四窗口浏览方式，在该模式下，屏幕显不为四个均分的视窗 部分，四个视窗均匀在水平方向截取画面，每个单独画面，均可以对其所对准的视角进行调 整。
[0021 ]多窗口浏览方式还包括六窗口浏览方式，在该模式下，屏幕显不为六个均分的视 窗部分，六个视窗均匀在水平方向和上下方向截取画面，每个单独画面，均可以对其所对准 的视角进行调整。
[0022]本发明通过构建虚拟立体球形场景，设定720°全景图像到球形的映射关系，从而 通过图像映射及图像插值得到立体全景图像。针对得到的立体全景图像，本发明方案还设 计了三种浏览模式。
[0023]本发明的有益效果是，本发明实现模拟机械云台全景监控;实现全景视频监控的 全景视频立体交互观看效果;适应传统安防中多视角多画面的模式，并且实现任意指定方 位的监控;通过本发明可以使得全景相机在安防监控领域有更强的适用性;通过与单一图 像传感器全景图像采集系统的结合，本发明处理更能展现均匀、连贯、一体式的立体全景场 景画面，并且模拟观测视角更能接近人眼。
【附图说明】
[0024] 图1是构建虚拟立体球形场景示意图；
[0025] 图2是全景立体球形图像经过透视投影变换得到屏幕图像示意图；
[0026] 图3是视锥体三视图及其中参数说明；
[0027] 图4是视锥体观测示意图；
[0028]图5是本发明全景视频浏览播放的三种方法；
[0029]图6是本发明方法流程图。
【具体实施方式】
[0030] 下面结合【具体实施方式】对本发明进一步说明，【具体实施方式】是对本发明原理的进 一步说明，不以任何方式限制本发明，与本发明相同或类似技术均没有超出本发明保护的 范围。
[0031] 结合附图。
[0032]全景视频浏览播放方法包括：
[0033]获得7 20。全景图像；
[0034] 构建虚拟立体球形场景，通过设定720°全景图像到球形场景的映射关系，从而通 过图像映射及图像插值得到全景立体球形图像；
[0035]将全景立体球形图像经过透视投影变换得到屏幕显示的图像。
[0036]上述720°全景图像还通过内置陀螺仪进行姿态调整。
[0037]构建虚拟立体球形场景是:将720°全景图像中点PKxum)通过以下计算式（1) 映射到全景立体球形图像球体坐标系中P ' 1 (Ion，lat)实现：
[0038]
[0039] 将全景立体球形图像经过透视投影变换得到屏幕显示的图像是通过投影矩阵进 行的;投影矩阵的定义为:把视锥体投影为设定立方体，对于从任一视锥体点P(x，y，z)投影 到观察体中一点？'（1'，7'，2'）通过以下计算式(2)得到：
[0040] P'=MP 式（2);
[0041 ]其中，Μ通过以下计算式(3)得到：
[0042]
[0043] F、N为远近视截面的距离；L、R为投影面左右边界坐标；Τ、Β为投影面上下边界坐 标。
[0044] 上述获得720°全景图像是通过单一图像传感器的全景图像采集系统得到。单一图 像传感器全景图像采集系统在中国专利2015106005041中公开。
[0045] 本发明将全景立体球形图像经过透视投影变换得到屏幕显示的图像包括一窗口 浏览方式和多窗口浏览方式。
[0046] 下面结合附图进行具体说明：
[0047] 图1是构建虚拟立体球形场景示意图，把图像数据绘制到球体上，绘制图像的方式 为:对于图1中点Pi Ui，yi，Z1)映射到球体坐标系中P ' 1 (Ion，lat)通过以下公式得到
[0048]
[0049] 图2是全景立体球形图像经过透视投影变换得到屏幕图像示意图，全景立体球形 图像经过透视投影变换得到屏幕显示的图像，投影计算是通过投影矩阵来进行的。投影矩 阵的定义为:把视锥体投影为设定立方体，如图2中对于从任一视锥体点P(x，y，z)投影到观 察体中一点P'（X'，y'，z'）
[0050] P，=MP [0051 ] 其中
[0052: 'V.
[0053] 各个符号定义如图3所示:F、N为远近视截面的距离，L、R(L = R)为投影面左右边界 坐标，T、B(T = B)为投影面上下边界坐标，fov为视场角，通过N、L、R、T、B计算获得。
[0054] 投影过程中首先设定观察所在视点的位置及观察的水平、垂直视场角以及远近端 切面F、N，如图3所示。当对立体球形全景图像进行立体浏览时，是通过改变立体全景球的