本发明涉及视频处理领域，尤其涉及一种鱼眼摄像机后端接入方法及系统。
背景技术：
鱼眼摄像机由于在全局监控、易维护、控成本方面的优势在监控行业应用越来越广泛，而其中属前端矫正的鱼眼摄像机由于适配能力强等因素应用的比较多，而该种实现方式使得鱼眼摄像机具有多个内容不同但相互又有关联的视频流和相同音频流的特性，在将鱼眼摄像机接入到后端后，需要解决如何能让用户看到矫正前、矫正后、几个校正后视频的局部视频(PTZ视频)这多个视频信息，且各视频应在音频上保持同步。
现有技术中，鱼眼摄像机按多通道形式接入到后端设备，每个通道各自发送媒体流，每条媒体流都携带音视频数据。
这种按普通多通道(N路)摄像机接入的方式缺点在于：由于多个视频流来自同一个鱼眼摄像机，因此音频数据是一样的，如果各通道分别发送媒体流则音频数据被多发送了N-1次，占用网络带宽；由于各通道之间没有关联，则存储也是分开存，音频数据也会被多存储N-1次，浪费存储容量；另外，由于各通道间没有关联，实况和回放时需要用户自行一个一个通道建立预览和回放并调整界面显示，也较为耗时耗力。
因此，现有技术的前端鱼眼摄像机接入后端的问题在于，要保证各视频在后端能够分别呈现和存储需要耗费大量的带宽和存储等资源。
技术实现要素：
为了解决现有技术存在的问题，本发明提供了一种鱼眼摄像机后端接入方法，以保证在后端进行视频灵活呈现的同时节约带宽和存储等资源。
一种鱼眼摄像机后端接入方法，包括位于前端的鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，还包括：
鱼眼摄像机根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
鱼眼摄像机发送关于混合数据包的媒体数据恢复信息至后端设备；
后端设备根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
后端设备根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
本发明的鱼眼摄像机将一个音频数据和各个视频数据混合打包为一个混合数据包进行发送，音频数据不需要发送多份，只需和各类型的视频数据(鱼眼视频数据、全景视频数据、各个PTZ视频数据)同步发送即可，即作为一股媒体流发送给后端设备，且语音数据只需要发送一份，从而节约了带宽，也保证在后续的存储过程中语音数据也只需要存储一份，节约了存储空间。同时，除了发送混合数据包以外，鱼眼摄像机还发送了媒体数据恢复信息，用以在后端将混合数据包恢复成音频数据和各类视频数据，这样保证了在节约带宽的同时，用户可以按照自己的需要选择要结合观看的多类视频进行回放和存储。
进一步而言，鱼眼摄像机发送的混合数据包包括音频数据以及多种视频数据，对应地，媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息及媒体数据编码信息。
其中媒体数据类型数量用于后端设备对媒体数据进行分别缓存时确定缓存区的个数，媒体数据类型信息包括混合数据包中所包含的所有类型的媒体数据所对应的媒体数据类型，用于在后期进行解码显示和存储时提供所需显示和存储的类型信息，媒体数据编码信息可以包括媒体数据的编码格式、码率及帧率等用于解码及确定所分配的各个缓存区的大小。
媒体数据恢复信息的发送方式可以是多种，既可以在后端设备发起引流请求前主动向鱼眼摄像机获取能力集时随能力集信息上报，也可以通过流媒体的传输协议中自定义的字段部分进行自定义并发送，且每次混合数据包发送之前都进行一次媒体数据恢复信息的发送。
进一步而言，鱼眼摄像机在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
为了避免鱼眼摄像机发送的混合数据包在发送到后端时后端还未准备好缓存导致混合数据包被丢掉，在每发送一段时间的混合数据包或者每发送若干数据包之前，都进行一次媒体数据恢复信息的发送。其中具体每发送一段时间的混合数据包均进行媒体数据恢复信息的发送，还是每发送若干数据包均进行媒体数据恢复信息的发送，根据需要进行预先设定。
进一步而言，所述鱼眼摄像机采用RTP协议发送混合数据包及媒体数据恢复信息，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段设置为不同的预设值，以区分各类媒体数据。后端设备通过媒体数据恢复信息将混合数据包恢复成封装前的各类媒体数据。
进一步而言，后端设备根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
通过媒体数据恢复信息，后端可以得到多类视频数据以及同步的一份音频数据，通过用户的指令，可以选择其中的一种或多种进行存储或显示，且可以根据用户指令的更改而灵活更改，满足不同的需求。具有较大的灵活性。
本发明还提供了对应方法的系统，用以实施本发明方法，以达到节约带宽和存储空间资源的目的。
一种鱼眼摄像机后端接入系统，包括位于前端的鱼眼摄像机和后端设备，所述鱼眼摄像机包括接入模块，用于在鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，所述鱼眼摄像机还包括混合数据包发送模块及恢复信息发送模块，所述后端设备包括媒体数据恢复模块及用户指令处理模块，
所述混合数据包发送模块根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
所述恢复信息发送模块发送关于混合数据包的媒体数据恢复信息至后端设备；
所述媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
所述用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
进一步而言，混合数据包发送模块发送的混合数据包包括音频数据以及多种视频数据，对应地，媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息以及媒体数据编码信息。
进一步而言，恢复信息发送模块在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
进一步而言，混合数据包发送模块发送的混合数据包以及恢复信息发送模块发送的媒体数据恢复信息采用RTP协议发送，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
进一步而言，媒体数据恢复模块根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
本发明的优点在于：前端的鱼眼摄像机收到后端设备发来的媒体流请求后，采用音视频混合器，将矫正前、后、若干个局部的视频数据混合打包，并在同一路媒体流中发送给后端设备，能够节省带宽的同时保证多路数据同步；后端设备收到携带有多路视频单路音频的媒体流后，根据媒体数据恢复信息将多路视频和音频流拆分、解码并存到不同的缓冲区中，通知存储和解码模块根据实际需要取用，在节约存储空间的同时保证在后端根据用户需要灵活搭配处理。
附图说明
图1为本发明各实施例的前端媒体流混合发送处理的流程图；
图2为本发明各实施例的后端设备进行媒体流拆分存储和解码显示流程图。
具体实施方式
为使本发明更加详细明了，现结合附图和实施例对本发明加以详细的解释说明。
本发明的第一实施例和第二实施例中，鱼眼摄像机均采用RTP传输协议传输视频流，且各实施例都在本发明的系统中使用，本发明的实施例所采用的鱼眼摄像机后端接入系统包括：接入模块、混合数据包发送模块、恢复信息发送模块、媒体数据恢复模块以及用户指令处理模块。其中接入模块、混合数据包发送模块以及恢复信息发送模块位于前端的鱼眼摄像机中，媒体数据恢复模块以及用户指令处理模块位于后端设备中。
其中本发明第一实施例的方法参考图1和图2，包括如下步骤：
步骤1，位于前端的鱼眼摄像机的接入模块在以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息。
步骤2，鱼眼摄像机中的混合数据包发送模块根据接入模块所接收到的媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将混合数据包作为媒体流发送至后端设备。
如图1所示，在前端的鱼眼摄像机中，模拟视频采集模块采集到YUV类型的视频数据并存入YUV数据缓存区，鱼眼摄像机将YUV数据缓存区中的视频分成两路，其中一路为未经矫正直接编码并存入缓存区的鱼眼视频数据，另外一路通过矫正后再编码分别得到全景视频数据以及若干个PTZ视频数据并分别进行缓存。接着，混合数据包发送模块将各缓存区中同步的视频数据以及音频数据混合在一起，得到混合数据包并进行发送。具体的混合数据包大小根据带宽以及缓存区的条件而定，当前实施例中，同步数据及音频数据各取1帧时间长度的数据进行混合。
步骤3，鱼眼摄像机中的恢复信息发送模块发送关于混合数据包的媒体数据恢复信息至后端设备。
在当前实施例中，混合数据包发送模块发送的混合数据包以及恢复信息发送模块发送的媒体数据恢复信息均采用RTP协议发送，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段设置为不同的预设值，以区分各类媒体数据。在RTP传输协议的PAYLOADTYPE字段中，目前96-127段是没有定义的，可以在这中间选择进行自定义，例如：110代表鱼眼视频、111代表全景视频数据、112代表PTZ视频1(PTZ1)、113代表PTZ视频2(PTZ2)、114代表PTZ视频3(PTZ3)、115代表PTZ视频4(PTZ4)等等。本实施例中，媒体数据恢复信息包含的PAYLOADTYPE值为109。当然，除RTP协议外，也可以采用其他的传输协议例如TS协议，可以选择相应的自定义字符段进行定义和区分。
恢复信息发送模块在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。为避免后端设备收到媒体数据时缓存区还未准备好，导致接收到的混合数据包被丢弃，恢复信息发送模块还可以每间隔发送一定预设时长的混合数据包后发送一次媒体数据恢复信息。当前实施例中，在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，向后端设备发送一次媒体数据恢复信息，然后每隔1秒向后端设备发送一次媒体数据恢复信息。
媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息以及媒体数据编码信息。其中，媒体数据编码信息包括：视频数据的码率、视频数据的帧率以及音视频数据的编码格式。在混合数据包中，包含的各类媒体数据的PAYLOADTYPE均为不同的预设值，对应地，媒体数据恢复信息所包含媒体数据类型信息包含了混合数据包中所包含的所有媒体数据的类型信息，比如混合数据包中包含鱼眼视频和全景视频数据，则媒体数据类型信息中包含110、111两个类型信息。
步骤4，后端设备中的媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据进行分别缓存。
参考图2，媒体数据恢复模块将从同一条链路上收到的包含不同PAYLOADTYPE媒体数据的媒体流拆分并解封装后，将媒体数据进行归类，分别放入对应的缓存区中，并通知用户指令处理模块中的解码显示子模块和存储子模块分别取流显示和存储。
媒体数据恢复模块根据媒体数据恢复信息记录鱼眼摄像机发送给后端设备的媒体数据类型，包括鱼眼、全景、PTZ1、PTZ2、PTZ3以及PTZ4等等。媒体数据恢复模块根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区，且根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
步骤5，后端设备中的用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
用户指令处理模块中的存储子模块可以让用户选择对哪几类媒体数据进行存储，如鱼眼、全景、PTZ视频1、PTZ视频2、PTZ视频3以及PTZ视频4、音频等等，可多选。根据用户的存储配置，决定存储哪几类媒体数据及是否存储音频(存储子模块从不同的缓存区取媒体数据，并记录鱼眼摄像机及对应的媒体数据类型的关联关系，便于用户对存储的录像进行回放操作)。
解码显示模子块根据用户所设置的预览模式，将显示界面分割成不同的分屏和排版，将相应媒体数据解码并显示在相应的位置上。
鱼眼摄像机还可以在后端设备主动向鱼眼摄像机获取能力集时随能力集信息上报自身支持的媒体数据类型。以本发明第二实施例进行说明。本发明第二实施例包括如下步骤：
步骤1，位于前端的鱼眼摄像机的接入模块在以单通道形式接入到后端设备后，后端设备向鱼眼摄像机请求能力集信息。鱼眼摄像机中的恢复信息发送模块将关于混合数据包的媒体数据恢复信息随能力集信息发送至后端设备。
后端设备接收鱼眼摄像机发送的能力集信息，并从能力集信息中获得媒体数据恢复信息。媒体数据恢复信息的内容包括：媒体数据类型数量、媒体数据类型信息及媒体数据编码信息。其中，在当前实施例中各类媒体数据的PAYLOADTYPE值设定与第一实施例相同。如果采用其他的传输协议例如TS协议，则各视频的类型以及在能力集中对应包含的媒体数据类型信息按照相应的自定义字段进行自定义。
后端设备获得包含媒体数据恢复信息的能力集信息后，向鱼眼摄像机发送媒体流请求。
步骤2，位于鱼眼摄像机的接入模块接收后端设备发送的媒体流请求消息。
步骤3，鱼眼摄像机中的混合数据包发送模块根据接入模块接收的媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将混合数据包作为媒体流发送至后端设备。其中，步骤3参考图1中的步骤，与第一实施例中混合的过程相同。
步骤4，后端设备中的媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据进行分别缓存。
媒体数据恢复模块的数据恢复、存储以及显示的过程参考图2，与第一实施例的步骤4中这一过程相同。
步骤5，后端设备中的用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
其中，在当前实施例中，后端设备的用户指令处理模块除了第一实施例中的相应处理外，还包括鱼眼预览模式管理子模块和鱼眼回放子模块，其中鱼眼预览模式管理子模块为用户呈现不同的视频排版，如鱼眼+4PTZ、全景+4PTZ、自定义模板等，用户可以通过设置鱼眼预览模式管理模块灵活地选择不同排版，以满足不同场景的观察需求。而鱼眼回放子模块根据用户的存储配置结合当前预览模式，进行多路子通道的检索和同步回放。
本发明的优点在于：前端的鱼眼摄像机收到后端设备发来的媒体流请求后，采用音视频混合器，将矫正前、后、若干个局部的视频数据以及音频数据混合打包，并在同一路媒体流中发送给后端设备，能够节省带宽的同时保证多路数据同步；后端设备收到携带有多路视频单路音频的媒体流后，根据媒体数据恢复信息将多路视频和音频流拆分、解码并存到不同的缓冲区中，通知存储和解码模块根据实际需要取用，在节约存储空间的同时保证在后端根据用户需要灵活搭配处理。