本发明属于图像采集技术领域，特别是涉及一种双目720度全景采集系统。
背景技术：
随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在传统的表现方式中，展示的手段无非是静态的平面图片和动态的视频，也有通过三维全景进行展示的，静态图片只能提供场景的某一角度图像，即使是广角镜头，也不能有效全面的对场景进行表现；而动态视频虽然可以让用户对场景有全面的了解，可图像视角依然有限，观看方式取决于拍摄者的拍摄方式，并不自由，所以，在我们需要真实、全面、直观的表现某一场景时，360全景无疑是最好的选择。
随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟全景环境，那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。
技术实现要素：
为解决上述技术问题，本发明提供了一种双目720度全景采集系统，以快速有效地构建虚拟现实所需要的图像信息，提高用户体验的真实感和舒适感。
本发明提供的一种双目720度全景采集系统，包括：
采集模块，用于采集n路音频数据和双路视频数据，其中n为大于或等于2的正整数；
核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述n路音频数据通过环绕立体声算法进行所述n路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行rtmp格式的音视频推流，其与所述采集模块相连接；
云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；
广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；
本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；
局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。
进一步地，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。
进一步地，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。
进一步地，所述核心处理模块包括cpu管理单元，分别与所述cpu管理单元相连接的isp第一单元，isp第二单元，多声道混音单元，内存单元，gpu单元，全景拼接单元，音频编码单元，所述核心处理模块还包括mipi第一接口，mipi第二接口，视频编码单元，复用单元，rtmp推流单元，本地存储单元，所述视频编码单元、复用单元、rtmp推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所述isp第一单元与所述mipi第一接口相连接，所述isp第二单元与所述mipi第二接口相连接，所述mipi第一接口与所述采集模块中的图像第一传感器相连接，所述mipi第二接口与所述采集模块中的图像第二传感器相连接。
进一步地，所述云端流媒体服务器模块与所述核心处理模块中的rtmp推流单元相连接。
进一步地，所述广域网终端体验模块包括第一解复用单元，第一视频解码单元，与所述第一视频解码单元相连接的第一显示单元，第一音频解码单元，与所述第一音频解码单元相连接的第一播放单元，所述第一解复用单元与所述第一视频解码单元和第一音频解码单元相连接，所述云端流媒体服务器模块与所述第一解复用单元相连接。
进一步地，所述广域网终端体验模块可以为vr一体机、手机、平板电脑、mac电脑、笔记本电脑或台式机电脑。
进一步地，所述本地服务器模块与所述核心处理模块中的rtmp推流单元相连接。
进一步地，所述局域网终端体验模块包括第二解复用单元，第二视频解码单元，与所述第二视频解码单元相连接的第二显示单元，第二音频解码单元，与所述第二音频解码单元相连接的第二播放单元，所述第二解复用单元与所述第二视频解码单元和第二音频解码单元相连接，所述本地服务器模块与所述第二解复用单元相连接。
进一步地，所述局域网终端体验模块可以为vr一体机、手机、平板电脑、mac电脑、笔记本电脑或台式机电脑。
本发明的双目720度全景采集系统通过两路高处理能力的isp和至少两路mipi接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也可以实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感，同时，该系统体积小、功耗低及成本低廉的特点使它能够更加符合消费者的需求。
附图说明
图1为本发明实施例提供的双目720度全景采集系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明实施例提供的双目720度全景采集系统的结构示意图，如图1所示，双目720度全景采集系统包括：
采集模块1，用于采集n路音频数据和双路视频数据，其中n为大于或等于2的正整数；
核心处理模块2，用于将采集模块1采集的双路视频数据进行全景视频实时拼接，同时将n路音频采样数据通过环绕立体声算法进行n路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行rtmp格式的音视频推流，其与采集模块1相连接；
云端流媒体服务器模块3，用于接收核心处理模块2通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与核心处理模块2相连接；
广域网终端体验模块4，用于实时接收和解码云端流媒体服务器模块3分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与云端流媒体服务器模块3相连接；
本地服务器模块5，用于接收核心处理模块2通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块2相连接；
局域网终端体验模块6，用于实时接收和解码本地服务器模块5分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与本地服务器模块5相连接。
本发明实施例中，采集模块1包括相互电连接的摄像头模组第一单元10和摄像头模组第二单元11，摄像头模组第一单元10包括图像第一传感器101以及与图像第一传感器101电连接的第一鱼眼镜头102，摄像头模组第二单元11包括图像第二传感器111以及与图像第二传感器111电连接的第二鱼眼镜头112，采集模块1还包括拾音第一单元113和拾音第二单元114。图像第一传感器101和图像第二传感器111至少达到13m以上的像素级别，第一鱼眼镜头102和第二鱼眼镜头112的角度至少达到190度及以上，摄像头模组第一单元10的光轴和摄像头模组第二单元11的光轴相互重合或者相互平行。
核心处理模块2包括cpu管理单元201，分别与cpu管理单元201相连接的isp第一单元202，isp第二单元203，多声道混音单元204，内存单元205，gpu单元206，全景拼接单元207，音频编码单元208，核心处理模块2还包括mipi第一接口209，mipi第二接口210，视频编码单元211，复用单元212，rtmp推流单元213，本地存储单元214，视频编码单元211、复用单元212、rtmp推流单元213依次连接且视频编码单元211与全景拼接单元207相连接，本地存储单元214与复用单元212相连接，复用单元212还与音频编码单元208相连接，多声道混音单元204与采集模块1中的拾音第一单元113和拾音第二单元114相连接，isp第一单元202与mipi第一接口209相连接，isp第二单元203与mipi第二接口210相连接，mipi第一接口209与采集模块1中的图像第一传感器101相连接，mipi第二接口210与采集模块1中的图像第二传感器111相连接。
云端流媒体服务器模块3与核心处理模块2中的rtmp推流单元213相连接。
广域网终端体验模块4包括第一解复用单元401，第一视频解码单元402，与第一视频解码单元402相连接的第一显示单元403，第一音频解码单元404，与第一音频解码单元404相连接的第一播放单元405，第一解复用单元401与第一视频解码单元402和第一音频解码单元404相连接，云端流媒体服务器模块3与第一解复用单元401相连接。
本地服务器模块5与核心处理模块2中的rtmp推流单元相连接。
局域网终端体验模块6包括第二解复用单元601，第二视频解码单元602，与所述第二视频解码单元602相连接的第二显示单元603，第二音频解码单元604，与所述第二音频解码单元604相连接的第二播放单元605，所述第二解复用单元601与所述第二视频解码单元602和第二音频解码单元604相连接，所述本地服务器模块5与所述第二解复用单元601相连接。
本发明实施例中，摄像头模组第一单元10和摄像头模组第二单元11可以无死角的采集整个空间720度的图像/视频数据并分别通过核心处理模块2自带的mipi第一接口209和mipi第二接口210传输图像/视频数据到核心处理模块2内部，核心处理模块2通过自带的isp第一单元202和isp第二单元203分别接收来自mipi第一接口209和mipi第二接口210传输过来的图像/视频数据并进行降噪处理，在通过核心处理模块2中的cpu管理单元201调度gpu单元206对全景视频进行实时拼接和对视频编码单元211进行硬件加速处理。采集模块1中的拾音第一单元113和拾音第二单元114所采集的音频数据通过多声道混音单元204进行音频数据的融合并通过cpu管理单元201调度音频编码单元208进行音频的aac编码，最后与经过视频编码单元211处理的全景视频进行同步处理后存储到全景相机自带的本地存储单元214中或者是直接实时通过以太网推送4k/30fps的rtmp流到云端流媒体服务器模块3/本地服务器模块5。
云端流媒体服务器模块3/本地服务器模块5可以进行协议转换，把接收到的视频流格式转换成为http,hls,rtp,rtsp,rtcp,rtmp,pnm,mms,onvif等多种视频格式，同时将该多种视频格式分发到能够接受相应音视频格式直播的广域网终端体验模块4/局域网终端体验模块6，全景音视频直播传输过程中还经过了cdn加速。
广域网终端体验模块4/局域网终端体验模块6可以为vr一体机、手机、平板电脑、笔记本电脑或台式机电脑，用户可以通过不同体验设备上对应的播放器来实时解码云端流媒体服务器模块3/本地服务器模块5分发过来的视频和音频数据，达到远程沉浸式全景音视频现场直播的效果，广域网终端体验模块4/局域网终端体验模块6能够支持n个人同时在线观看。
本发明的双目720度全景采集系统通过两路高处理能力的isp和至少两路mipi接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也可以实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感，同时，该系统体积小、功耗低及成本低廉的特点使它能够更加符合消费者的需求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。