一种全景视频直播方法及系统与流程

本发明涉及全景视频拍摄监控和直播技术，具体地，涉及一种全景视频直播方法及系统。

背景技术：

全景视频直播是直播领域一个极具发展前景的新方向，通过多路摄像头采集画面然后拼接成全景画面，可以实现从180°到720°的全景区域视频图像采集。全景视频的拼接过程要求使用的镜头是等焦镜头，否则会因采集的各路画面内容物体大小不一致而无法缝合，因此目前技术中几乎全部采用定焦镜头进行图像采集。但本技术衍生出来的问题在于采集画面清晰度固定，灵活性不足。在观看视频过程中，传统方法是通过渲染技术，将画面放大以提升观看效果，但此种放大方法属于像素插值放大，当放大分辨率超过原始分辨率的时候，视频画面清晰度无法得到有效提升。

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供一种通过增设使用变焦镜头采集兴趣画面以弥补固定焦距导致的全景视频清晰度不足问题的局部变焦的全景视频直播方法及系统。

为实现上述目的，本发明采用以下技术方案：

一种全景视频直播方法，所述直播方法包括以下步骤：

实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；

将变焦镜头指向感兴趣区域；

将所有定焦图像的每一帧进行拼接缝合成全景图像；

将变焦图像与所述全景图像进行匹配，记录得到的相关参数；

将所述变焦图像帧与所述全景图像每一帧进行编码；

推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；

分发编码数据和变焦图像与全景图像匹配相关参数至终端；

根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。

其进一步技术方案为：将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：

对若干张视频图像，计算定焦图像surf特征点或orb特征点，并采用近似最近邻算法ann进行粗匹配，得到若干匹配对及其同名点集d1；

使用随机抽样一致性算法ransac去除错配点，选择误差最低的一组内点作为结果；

使用f-theta模型进行畸变校正；

使用lm算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差mse作为是否为内点的判断依据；

以任一通道k为准，根据重投影误差最小化准则，使用lm算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到k通道的坐标系下；

记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。

其进一步技术方案为：将所述变焦图像与所述全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：

固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的surf特征点；

将变焦图像的surf特征点与所述定焦图像surf特征点进行粗匹配，得到点集d2；

将d2中同名点投影到通道k坐标系下，使用lm算法对变焦相机内外参数进行优化，得到重投影误差；

使用ransac算法框架去除外点，得到点集d3；

使用所述点集d3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；

记录所述投影图块对应于变焦相机的投影坐标；

根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配，可以预览效果。

其进一步技术方案为：

所述方法还包括：

将变焦图像与全景图像的位置匹配信息拉流至终端；

根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。

其进一步技术方案为：根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，所述等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。

其进一步技术方案为：所述根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变焦图像匹配的相关参数与变焦镜头的实时交接，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。

本发明还提供了一种全景视频直播系统，包括图像采集单元、变焦指向单元、全景缝合单元、匹配拼接单元、编码传输单元、推流存储单元、分发数据单元以及渲染播放单元；

所述图像采集单元，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；

变焦指向单元，用于将变焦镜头指向感兴趣区域；

所述全景缝合单元，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；

所述匹配拼接单元，用于将变焦图像与所述全景图像进行匹配，记录得到的相关参数；

所述编码传输单元，用于将所述变焦图像帧与所述全景图像帧每一帧进行编码；

所述推流存储单元，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；

所述分发数据单元，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；

所述渲染播放单元，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。

其进一步技术方案为：所述全景缝合单元包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；

所述粗匹配模块，用于对若干张视频图像，计算定焦图像surf特征点或orb特征点，并采用近似最近邻算法ann进行粗匹配，得到若干匹配对及其同名点集d1；

所述去错配点模块，用于使用随机抽样一致性算法ransac去除错配点，选择误差最低的一组内点作为结果；

所述校正模块，用于使用f-theta模型进行畸变校正；

所述优化模块，用于使用lm算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差mse作为是否为内点的判断依据；

所述重投影模块，用于以任一通道k为准，根据重投影误差最小化准则，使用lm算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到k通道的坐标系下；

所述记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。

其进一步技术方案为：所述匹配拼接单元包括：再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；

所述再次粗匹配模块，用于将变焦图像的surf特征点与所述定焦图像surf特征点进行粗匹配，得到点集d2；

所述再次优化模块，用于将d2中同名点投影到通道k坐标系下，使用lm算法对变焦相机内外参数进行优化，得到重投影误差；

所述去除外点模块，用于使用ransac算法框架去除外点，得到点集d3；

所述投影模块，用于使用所述点集d3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；

所述再次记录模块，用于记录所述投影图块对应于变焦相机的投影坐标；

所述缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。

其进一步技术方案为：所述系统还包括信息拉流单元以及焦距调节单元；

所述信息拉流单元，用于将变焦图像与全景图像的视频流信息及位置匹配信息拉流至终端；

所述焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。

与现有技术相比的有益效果：

本发明的一种全景视频直播方法及系统，基于将采集的多路定焦图像进行全景拼接缝合，继而将采集的变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实时实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高；同时直播中兴趣画面高清显示，其他画面可降低码率传输，达到减低网络带宽的效果；基于通过全球渲染观看模式下对变焦相机焦距实时调节的技术特征，解决了全景视频灵活性不足的问题，具有极高效率的调节响应效果，满足高速清晰全景直播的要求，具有广阔的应用前景。

为了能够更清楚地理解本发明的上述目的、特性和优点，下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明具体实施例提供的全景视频直播方法的流程图；

图2为本发明具体实施例提供的全景视频直播系统的装置的结构框图；

图3本发明具体实施例提供的全景球渲染模式下的2d剖面示意图；

具体实施方式

在下面的具体描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于此描述的其他方式来实现，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1～3所示的具体实施例，本实施例提供的全景视频直播的方法，通过使用变焦相机采集兴趣画面以弥补固定焦距导致的全景视频清晰度不足的问题，具有实时调节提高直播清晰度，降低网络传输带宽的效果。适用于各种高清新闻及赛事直播场景。

如图1所示，本实施例提供的全景视频直播方法，该方法包括以下步骤：

s1、实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；

s2、将变焦镜头指向感兴趣区域；

s3、将所有定焦图像的每一帧进行拼接缝合成全景图像；

s4、将变焦图像与全景图像进行匹配，记录得到的相关参数；

s5、将变焦图像与全景图像每一帧进行编码；

s6、推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；

s7、分发编码数据和变焦图像与全景图像匹配相关参数至终端。

s8、终端根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。

更进一步地，在某些实施例中，上述的s3步骤，将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：

s31、对若干张视频图像，计算定焦图像surf特征点或orb特征点，并采用近似最近邻算法ann进行粗匹配，得到若干匹配对及其同名点集d1；

s32、使用随机抽样一致性算法ransac去除错配点，选择误差最低的一组内点作为结果；以同名点在世界坐标系的坐标误差(即重投影点坐标)作为内外点的判断依据，选择误差最小的一组内点作为判断结果。

s33、使用f-theta模型进行畸变校正；采集端相机需要考虑径向畸变，此处使用f-theta进行校正。

s34、使用lm算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差mse作为是否为内点的判断依据；

s35、以任一通道k(定焦相机各个机位任意选取)为准，根据重投影误差最小化准则，使用lm算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将优化后的内外参数和畸变参数投影到k通道的坐标系下。得到各个通道投影到k通道的外参数(旋转r-k和平移t-k)，以及内参数和畸变参数。

s36、记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。

更进一步地，在某些实施例中，上述的s4步骤，将变焦图像与全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：

s41、固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的surf特征点；

s42、将变焦图像的surf特征点与定焦图像surf特征点进行粗匹配，得到点集d2；变焦相机和定焦相机的图像在同一时间采集获取。

s43、将d2中同名点投影到通道k坐标系下，使用lm算法对变焦相机内外参数进行优化，得到重投影误差；由于除了k通道自身以外的其他通道投影到k通道的外参数都已经求出(即上述r-i和t-i)，仅有变焦相机到通道k的相机坐标系参数r-ptz和t-ptz、以及缩放参数s-ptz待求。

s44、使用ransac算法框架去除外点，得到点集d3；

s45、使用点集d3计算变焦相机的内外参数，得到变焦相机的视频在全景球上的投影图块；

s46、记录投影图块对应于变焦相机的投影坐标；

s47、根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配。

更进一步地，上述的s47步骤，根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。

更进一步地，在某些实施例中，上述的方法还包括：

将变焦图像与全景图像的位置匹配信息拉流至终端；

根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。

在获取到变焦图像与全景画面的匹配位置相关信息，由上文可知需要基于变焦相机的焦距系数，在全景画面球形渲染观看模式下，根据焦距的变化同时插值放大或缩小全景画面，实时匹配全景画面和变焦图像的拼缝，这样就达到了对兴趣区域画面调焦，获取高清图像的目的。

如图3所示，在球形渲染模式下截取球形的一个2d剖面来说明。在3d坐标视角中，对应投影到用户屏幕视野的范围是由近平面75到远平面71构成的视景体，区域a即兴趣画面的渲染位置，当变焦相机的焦距是原始焦距的时候，全景画面74的渲染位置即为a；当对焦距进行调节时，为了使全景画面74和兴趣画面73的内容仍然匹配，则需要插值放大全景画面74，即跟随焦距的变化，全景画面74的位置在区域a和区域b直接变化。

根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变焦图像匹配的相关参数与变焦镜头的实时渲染图像，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。

由于变焦相机与全景相机的外参数r和t是固定不变的，变焦相机的内参数中的中心点坐标cx和cy也不变，仅有焦距f-ptz是变化的。根据针孔模型可知，世界坐标系中的任意点p(x,y,z)在变焦相机的成像点(u,v)与f-ptz成正比关系。

上述比例关系如下式所示：

当f-ptz增大时，变焦相机的分辨率不变，其内容对应的世界坐标范围减小，在全景球上的图块减小，反之，图块增大。由于f-ptz变化时，变焦视频中心点c(在对应于变焦相机坐标系的z轴上)不变，中心点周围的像点成比例变化，故而，投影到全景相机通道k的图块(由于外参数r和t不变)，也保持这个特性。

变焦相机的焦距(f-ptz)变化时，图块对应于全景画面的区域成反比例变化。为了视觉呈现不发生变焦相机视频图块的大小变化，将全景球放大或缩小，使得变焦视频图块仍然和全景视频能够对应。全景球缩放的比例scale为：

scale＝f-ptz_new/f-ptz，

当变焦相机的焦距f-ptz增大时，视野变小，对应于全景球上的图块减小，此时按照上式的比例放大全景球，使得变焦相机的视频图块与全景球仍然对应。反之，f-ptz减小时，变焦相机的视频图块增大，按上式比例缩小全景球。由于球面坐标(j,w)按照下式计算：

α＝atan2(x,y)；

β＝pi/2-acos(y/sqrt(x²+y²+z²))；

j＝scale*α；

w＝scale*β

缩放全景球不改变上式中的经度α、纬度β，仅改变scale。scale是全景使用的等效焦距(物理焦距长度/单位像素表示的物理长度单位)。这里对全景球的缩放就是将球面坐标乘以scale即可。这样即可得到一个全景画面，和一个经过变换与全景画面内容相匹配的兴趣画面。

如图2所示，本实施例还提供了一种全景视频直播系统，其包括图像采集单元1、变焦指向单元2、全景缝合单元3、匹配拼接单元4、编码传输单元5、推流存储单元6、分发数据单元7以及渲染播放单元8；

图像采集单元1，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；

变焦指向单元2，于将变焦镜头指向感兴趣区域；

全景缝合单元3，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；

匹配拼接单元4，用于将变焦图像与全景图像进行匹配，记录得到的相关参数；

编码传输单元5，用于将变焦图像帧与全景图像每一帧进行编码；

推流存储单元6，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；

分发数据单元7，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；

渲染播放单元8，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。

更进一步地，在某些实施例中，全景缝合单元3包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；

粗匹配模块，用于对若干张视频图像，计算定焦图像surf特征点或orb特征点，并采用近似最近邻算法ann进行粗匹配，得到若干匹配对及其同名点集d1；

去错配点模块，用于使用随机抽样一致性算法ransac去除错配点，选择误差最低的一组内点作为结果；

校正模块，用于使用f-theta模型进行畸变校正；

优化模块，用于使用lm算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差mse作为是否为内点的判断依据；

重投影模块，用于以任一通道k为准，根据重投影误差最小化准则，使用lm算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将优化后的内外参数和畸变参数投影到k通道的坐标系下；

记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。

更进一步地，在某些实施例中，上述的匹配拼接单元4包括再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；

再次粗匹配模块，用于将变焦图像的surf特征点与定焦图像surf特征点进行粗匹配，得到点集d2；

再次优化模块，用于将d2中同名点投影到通道k坐标系下，使用lm算法对变焦相机内外参数进行优化，得到重投影误差；

去除外点模块，用于使用ransac算法框架去除外点，得到点集d3；

投影模块，用于使用点集d3计算变焦相机的内外参数，得到变焦相机的视频在全景球上的投影图块；

再次记录模块，用于记录投影图块对应于变焦相机的投影坐标；

缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与全景球相匹配。

更进一步地，在某些实施例中，上述的系统还包括信息拉流单元以及焦距调节单元；

信息拉流单元，用于将变焦图像与全景图像的位置匹配信息拉流至终端；

焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述全景视频直播系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

综上所述，本发明的一种全景视频直播方法及系统，基于将采集的多路定焦图像进行全景拼接缝合，继而将采集的变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实时实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高；同时直播中兴趣画面高清显示，其他画面可降低码率传输，达到减低网络带宽的效果；基于通过全球渲染观看模式下对变焦相机焦距实时调节的技术特征，解决了全景视频灵活性不足的问题，具有极高效率的调节响应效果，满足高速清晰全景直播的要求，具有广阔的应用前景。

上述仅以实施例来进一步说明本发明的技术内容，以便于理解，但不代表本发明的实施方式仅限于此，任何依照本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。