全景视频处理方法及系统与流程

本发明涉及视频处理领域，尤其是涉及一种全景视频处理方法及系统。

背景技术：

传统的安防摄像头大多采用平面摄像头，有一定视角，如果要覆盖360度全视角的话，需要安装至少4个摄像头，成本比较高，或者选择安装全景摄像头，利用一个全景摄像头覆盖360度全视角，但是全景摄像头输出的视频是360度的，直接在平面播放器观看的话，部分区域的内容扭曲的，因此需要采用vr眼镜来观看全景摄像头拍摄的360度视频，不太适合类似挂墙显示的应用场景。又比如做人脸识别的应用场景中，由于全景图是360度的，部分区域图片扭曲严重，也不太合适直接接入人脸识别应用系统，需要专门针对全景视频做视频抽帧，进行基于全景图片做人脸识别等一系列算法的开发，开发成本较高。

因此需要提出一种能够将全景视频转换成不同视角的平面视频，并将平面视频直接接入现有的基于平面视频应用系统中的全景视频处理方法，扩展全景视频的应用场景。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种全景视频处理方法及系统，能够将全景视频转换成不同视角的平面视频，并将平面视频直接接入现有的基于平面视频应用系统中，扩展全景视频的应用场景。

第一方面，本发明的一个实施例提供了a：一种全景视频处理方法，包括：

获取全景视频流，并将所述全景视频流分解得到每一帧全景图片和音频帧；

根据输出参数结合每一帧所述全景图片生成对应每一帧的平面图片；

对所述平面图片进行视频编码得到对应的编码视频；

将所述编码视频和所述音频帧进行混合编码得到平面视频流。

进一步地，还包括：连接媒体服务器，根据所述媒体服务器的流媒体协议发送所述平面视频流到所述媒体服务器。

进一步地，所述输出参数包括：输出俯仰角、输出偏航角、输出翻滚角、输出水平视角。

第二方面，本发明的一个实施例提供了b：一种全景视频处理系统，包括：

多媒体视频源：用于获取全景视频流；

处理模块：与所述多媒体视频源连接，用于接收所述全景视频流，根据如第一方面任一项所述的全景视频处理方法进行处理得到平面视频流；

媒体服务器：与所述处理模块连接，用于接收所述平面视频流。

进一步地，所述多媒体视频源通过无线方式与所述处理模块连接，通过视频推流发送所述全景视频流至所述处理模块。

进一步地，所述多媒体视频源通过第一网络交换机510或第一集线器520与所述处理模块无线或有线连接。

进一步地，所述媒体服务器与所述处理模块通过第二网络交换机410或第二集线器420连接。

进一步地，所述多媒体视频源通过所述第二网络交换机410或第二集线器420与所述处理模块连接。

进一步地，当以视频推流方式发送所述全景视频流至所述处理模块时，所述处理模块还包括内嵌媒体服务器，用于利用如第一方面任一项所述的全景视频处理方法进行处理得到平面视频流。

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流。能够将全景视频转换成不同视角的平面视频作为平面视频流，平面视频流可以直接接入现有的平面视频处理系统中进行不同场景应用，扩展全景视频的应用场景。可广泛应用于摄像头领域，例如应用于安防、人脸考勤、监控等方面。

附图说明

图1是本发明实施例中全景视频处理方法的一具体实施例实现流程图；

图2是本发明实施例中全景视频处理方法的一具体实施例示意图；

图3是本发明实施例中全景视频处理系统的一具体实施例结构框图；

图4是本发明实施例中全景视频处理系统的一具体实施例一种连接方式示意图；

图5是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图；

图6是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图；

图7是本发明实施例中全景视频处理系统的一具体实施例又一种连接方式示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例提供一种全景视频处理方法，本实施例中采用的全景视频流通过omaf技术得到。其中，omaf定义了实现全景媒体应用的媒体格式，也称为mpeg-i-part2标准，专注于360度视频、图像和音频，以及关联的定时文本。omaf中规定的内容包括：(1)由单位球和三个坐标轴组成的坐标系，三个坐标轴即x(从后到前)轴、y(横向，左至右)轴和z(纵向，向上)轴；(2)投影和矩形区域智能封装方法，可以分别用于将球形视频序列或图像转换为二维矩形视频序列或图像；(3)使用iso基本媒体文件格式(isobmff)存储全景媒体和关联元数据；(4)对媒体流系统中的全景媒体进行封装、信令处理和流传输，例如，通过http的动态自适应流传输(dash)或mpeg媒体传输(mmt)；以及(5)为媒体编解码器提供可互操作并具有适应性的媒体包和演示包，以及可用于对全景媒体内容进行压缩、流传输和播放的媒体编码和封装配置。

图1为本发明实施例提供的一种全景视频处理方法的实现流程图，如图1所示，该方法包括以下步骤：

s101：获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧。

本步骤通过解码omaf格式的全景视频流得到全景视频流中每一帧的全景图片以及对应时间轴的音频帧，将360度曲面的视频转化为平面的视频。

获取全景视频流的方法包括：视频推流和视频拉流，其中视频推流指把采集阶段封包好的内容传输到服务器的过程，视频拉流指播放从服务器拉取资源进行资源播放的过程。

s102：根据输出参数结合每一帧全景图片生成对应每一帧的平面图片。

其中，输出参数包括：输出俯仰角、输出偏航角、输出翻滚角、输出水平视角等，以及需要输出的路数，例如可以输出1至6路平面视频，根据输出参数可以确定要输出的视角，根据视角确定对应视角的平面图片。

本实施例的全景视频流是基于omaf协议得到的，根据omaf协议将平面图片拟合得到360度的全景图片，因此根据omaf协议进行解码可以从每一帧的全景图片中得到对应的每一帧平面图片。

s103：对平面图片进行视频编码得到对应的编码视频。

具体的，可以采用h264\h265编解码协议进行视频编码得到对应的编码视频，其中h264\h265编解码协议是现有的编解码协议，因此其编解码过程在此不做限定。

s104：将编码视频和音频帧进行混合编码得到平面视频流。

具体的，将编码视频和对应时间轴的音频帧进行混合编码得到包含画面和声音的平面视频流，用于不同的应用场景。

s105：连接媒体服务器，根据媒体服务器的流媒体协议发送平面视频流到媒体服务器。

具体的，本实施例中全景视频流的流媒体协议可选的包括：rtmp、rtsp协议，具体的，rtmp(realtimemessagingprotocol)协议基于tcp，是一个协议族，包括rtmp基本协议及rtmpt/rtmps/rtmpe等多种变种，是一种设计用来进行实时数据通信的网络协议，主要用来在flash/air平台和支持rtmp协议的流媒体/交互服务器之间进行音视频和数据通信。rtsp(realtimestreamingprotocol)协议是一种实时流传输协议，是tcp/ip协议体系中的一个应用层协议。

对应的媒体服务器包括：rtmp媒体服务器、rtsp媒体服务器，即将生成的平面视频流按照不同的流媒体协议发送到不同的媒体服务器中进行相关场景应用。

可选的，可以在步骤s101之前就连接媒体服务器，连接成功后将平面视频流利用对应的推流器推送到相关的媒体服务器，例如判断需要输出至rtmp媒体服务器，则利用rtmp推流器将平面视频流进行推送，否则判断需要输出至rtsp媒体服务器，则利用rtsp推流器将平面视频流进行推送。

如图2所示，为本发明实施例提供的一种实施场景中全景视频处理方法具体流程示意图。

首先读取每一路的输出参数，然后连接每路平面视频流的媒体服务器，获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流，判断是否需要输出至rtmp媒体服务器，是则利用rtmp推流器将平面视频流进行推送，否则判断是否需要输出至rtsp媒体服务器，是则利用rtsp推流器将平面视频流进行推送，否则丢弃平面视频流。

可以理解的是，不同视频的输出参数可以不同也可以相互重叠，可根据实际需要进行调整。

本发明实施例公开的全景视频处理方法能够将全景视频转换成不同视角的平面视频作为平面视频流，平面视频流可以直接接入现有的平面视频处理系统中进行不同场景应用，扩展全景视频的应用场景。

实施例二：

本发明实施例提供另一种全景视频处理系统，如图3所示，为本实施例的全景视频处理系统结构框图，包括：

多媒体视频源100：用于获取全景视频流；

处理模块200：与多媒体视频源100连接，用于接收全景视频流，根据如上述的全景视频处理方法进行处理得到平面视频流；

媒体服务器300：与处理模块200连接，用于接收平面视频流。

下面详细描述本实施例的全景视频处理系统的几种连接方式。

如图4所示，为本实施例的全景视频处理系统的一种连接方式示意图，结合图4可知，多媒体视频源100通过无线方式与处理模块200连接，通过视频推流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。

进一步地，处理模块200还包括内嵌媒体服务器210，用于利用如实施例一任一项所述的全景视频处理方法进行处理得到平面视频流。

具体的，无线方式可选的为wifi连接方式，多媒体视频源100可以是全景视频摄像头，即全景视频摄像头通过wifi连接到处理模块200，处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420的连接，可工作ap模式，即accesspoint模式，提供无线接入服务，允许其它无线设备接入，提供数据访问，一般的无线路由/网桥工作在该模式下，同时ap和ap之间允许相互连接。

结合图4，当处理模块200工作在ap模式时，全景摄像头以wifi连接的方式连接处理模块200，通过rtmp或rtsp协议以推流方式将全景视频流推送到处理模块200的内嵌媒体服务器210上，进行处理全景视频流得到平面视频流，最终通过与第二网络交换机410或第二集线器420有线连接的方式推送到媒体服务器300。

其处理流程具体为：根据需要输出的平面视角视频数量，从内嵌媒体服务器210将全景视频流按需要的输出视角进行全景视频流解码，根据输出参数提取平面图片，并编码输出相应的平面视频流，判断是否连接到媒体服务器300，如果连接则发送平面化后的平面视频流到媒体服务器300，进行后续不同的场景应用。可以理解的是，可选的在内嵌媒体服务器210获取全景视频流之后首先进行判断是否连接到媒体服务器300，如果没有连接，则直接丢弃全景视频流，避免进行多余运算，提高编码效率。

如图5所示，为本实施例的全景视频处理系统的另一种连接方式示意图，从图5中可以看出，多媒体视频源100通过第一网络交换机510或第一集线器520与处理模块200无线连接，通过视频拉流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。

具体的，无线方式可选的为wifi连接方式，多媒体视频源100可以是全景视频摄像头，即全景视频摄像头通过wifi连接到处理模块200，处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420的连接，处理模块200可工作station模式，类似于无线终端，station本身并不接受无线的接入，它可以连接到ap，一般无线网卡即工作在该模式。

结合图5，当处理模块200工作在station模式时，处理模块200连接到两个子网，一个子网包含多媒体视频源100(如全景摄像头)，另一个子网包含媒体服务器300，处理模块200通过wifi连接到包含全景摄像头或多媒体视频源100的子网里的wifiap，以视频拉流的方式从全景摄像头或者多媒体视频源100拉取全景视频流，然后处理全景视频流得到平面视频流，最终通过与第二网络交换机410或第二集线器420有线连接的方式推送到媒体服务器300。

其处理流程具体为：根据需要输出的平面视角视频数量，拉取全景视频流并按需要的输出视角进行全景视频流解码，根据输出参数提取平面图片，并编码输出相应的平面视频流，判断是否连接到媒体服务器300，如果连接则发送平面化后的平面视频流到媒体服务器300，进行后续不同的场景应用。可以理解的是，可选的在拉取全景视频流之后首先进行判断是否连接到媒体服务器300，如果没有连接，则直接丢弃全景视频流，避免进行多余运算，提高编码效率。

如图6所示，为本实施例的全景视频处理系统的另一种连接方式示意图，从图6中可以看出，多媒体视频源100通过第一网络交换机510或第一集线器520与处理模块200有线连接，通过视频拉流发送全景视频流至处理模块200，同时媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，接收多路平面视频流。

其中为了实现有线连接，处理模块200包含两个网卡，其中一个用于接收全景视频流，另一个用于输出平面视频流。当以视频拉流的方式获取全景视频流时，其工作流程与图5所示的全景视频处理系统相同，当以视频推流方式获取全景视频时，处理模块200还包括内嵌媒体服务器210，其工作流程与图4所示的全景视频处理系统相同。

如图7所示，为本实施例的全景视频处理系统的另一种连接方式示意图，媒体服务器300与处理模块200通过第二网络交换机410或第二集线器420连接，同时，多媒体视频源100通过第二网络交换机410或第二集线器420与处理模块200连接。处理模块200包含一个网卡，用于实现与第二网络交换机410或第二集线器420连接。

其中，由于多媒体视频源100与媒体服务器300共用一个网卡进行连接，因此该连接方式只适用于多媒体视频源100与媒体服务器300位于同一子网的情形，当以视频拉流的方式获取全景视频流时，其工作流程与图5所示的全景视频处理系统相同，当以视频推流方式获取全景视频时，处理模块200还包括内嵌媒体服务器210，其工作流程与图4所示的全景视频处理系统相同。

进一步地，本实施例还可以开发相应的webui管理界面，用于管理wifi连接、多媒体视频源接入、媒体服务器管理等。

本实施例中处理模块的具体细节已经在实施例一对应的全景视频处理方法中进行了详细的描述，因此此处不再赘述。

通过本实施例的全景视频处理系统，能够将全景视频转换成多路不同视角的平面视频，并将平面视频通过媒体服务器直接接入现有的基于平面视频应用系统中，扩展全景视频的应用场景。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明通过获取全景视频流，并将全景视频流分解得到每一帧全景图片和音频帧，根据输出参数结合每一帧全景图片生成对应每一帧的平面图片，对平面图片进行视频编码得到对应的编码视频，将编码视频和音频帧进行混合编码得到平面视频流。同时通过全景视频处理系统的多种连接方式，实现在不同网络环境下将全景视频转换成不同视角的平面视频作为平面视频流，利用媒体服务器直接接入现有的平面视频处理系统中进行不同场景应用，扩展了全景视频的应用场景。可广泛应用于摄像头领域，例如应用于安防、人脸考勤、监控等方面。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。