直播系统的制作方法

本发明涉及流媒体传输技术领域，尤其涉及一种直播系统。

背景技术：

近年来，全景摄像机(panoramacamera)开始进入大众视野，全景摄像机的视野范围比普通摄像机大，可以满足一个场所的全景录像。

但是，现有的全景摄像机只拍摄原始视频画面，需要在显示终端进行复杂的计算，在进行直播时也需要配置高性能的本地服务器和直播平台服务器进行视频流的推送，有的还需要经过二次转码，这种直播系统架构复杂、昂贵，适用性较差。

技术实现要素：

本发明的主要目的在于提供一种直播系统，旨在简化现有直播系统的架构，提高其适用性。

为实现上述目的，本发明提出的直播系统，包括全景相机及连接所述全景相机的pc终端，所述全景相机包括：

多路图像传感器，将镜头拾取的图像画面转换为多路图像数字信号；

音频处理模块，对麦克风输入的音频数字信号进行编码、解码处理；

拼接模块，将多路图像传感器输入的多路图像数字信号拼接成视频源文件，将音频处理模块输入的音频数字信号处理成音频源文件；

信号处理模块，将拼接模块输入的视频源文件推送至所述pc终端；

所述pc终端将所述拼接模块推送的音频源文件和信号处理模块推送的视频源文件合成为2k、4k、或6k全景视频进行直播。

进一步地，所述拼接模块包括fpga，所述信号处理模块包括两个dsp处理器，所述fpga将所述多路图像数字信号拼接成两组4k视频源文件，两个所述dsp处理器分别对其中一组4k视频源文件进行ips和压缩处理后将其推送至所述pc终端。

进一步地，所述全景相机还包括通信模块，所述两dsp处理器和fpga均连接所述通信模块，所述fpga通过所述通信模块将所述音频源文件推送至pc终端，所述两dsp处理器分别通过所述通信模块将所述两组4k视频源文件推送至pc终端。

进一步地，所述通信模块包括第一phy芯片、第二phy芯片、及第三phy芯片，所述两dsp处理器包括第一dsp处理器和第二dsp处理器，所述fpga的输出端连接所述第一phy芯片，所述第一dsp处理器的输出端连接第二phy芯片，所述第二dsp处理器的输出端连接第三phy芯片，所述第一phy芯片、第二phy芯片、及第三phy芯片的输出端均通过一网线连接所述pc终端。

进一步地，该直播系统还包括app终端，所述全景相机和pc终端均连接所述app终端，所述app终端对所述全景相机的直播参数进行设置。

进一步地，所述pc终端包括：

合成模块，将fpga推送来的四路音频源文件和两dsp处理器推送来的两组4k视频源文件合成为2k、4k或6k全景视频；

存储模块，对所述2k、4k或6k全景视频进行存储。

进一步地，所述pc终端还包括推流模块，在接收到app终端的直播预览请求时，将所述2k全景视频推流至app终端，或将所述4k全景视频以2k格式向所述app终端推送。

进一步地，所述pc终端还包括显示模块，对所述4k或6k全景视频进行本地显示。

进一步地，所述直播系统还包括与所述pc终端连接的云端，所述pc终端依据在app终端设置的全景相机的推流地址，将所述2k、4k或6k全景视频推流至所述云端。

进一步地，所述拼接模块还包括连接所述fpga的第一存储器，所述第一存储器存储fpga输出的音频源文件，在进行全景视频合成时，所述fpga从所述第一存储器中调取所述音频源文件推送至所述pc终端。

本发明的直播系统，包括全景相机及连接所述全景相机的pc终端，所述全景相机包括多路图像传感器、音频处理模块、拼接模块及信号处理模块，通过将多路图像传感器转换的多路图像数字信号输入拼接模块拼接成视频源文件，将音频处理模块编码、解码的音频数字信号输入拼接模块处理成音频源文件，再由pc终端将经信号处理模块处理并推送的视频源文件和拼接模块推送的音频源文件合成为全景视频进行直播。本发明的直播系统，通过所述拼接模块输出可直接用于全景视频合成的视频源文件和音频源文件，在pc终端进行简单的合成处理后就能够直接进行全景视频的直播或推流，不需要在显示终端进行复杂的计算，简化了直播系统的架构组成，提高了适用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明的直播系统一实施例的结构示意图；

图2为本发明的全景相机一实施例的结构示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种直播系统。

参照图1，图1为本发明的直播系统一实施例的结构示意图。

在本实施例中，该直播系统包括全景相机100及连接所述全景相机100的pc终端300，所述全景相机100包括：

多路图像传感器10，将镜头拾取的图像画面转换为多路图像数字信号；

音频处理模块20，对麦克风60输入的音频数字信号进行编码、解码处理；

拼接模块30，将多路图像传感器10输入的多路图像数字信号拼接成视频源文件，将音频处理模块20输入的音频数字信号处理成音频源文件；

信号处理模块40，将拼接模块30输入的视频源文件推送至所述pc终端300；

所述pc终端400将所述拼接模块30推送的音频源文件和信号处理模块40推送的视频源文件合成为2k、4k、或6k全景视频进行直播。

在本实施例中，进一步参照图2，该直播系统包括全景相机100及连接全景相机100的pc终端300，主要利用全景相机100输出视频源文件和音频源文件，然后在pc终端300根据需要和应用场景的不同，直接将所述视频源文件和音频源文件合成为2k、4k、6k等三种不同分辨率的全景视频，供app终端200或pc终端300的用户进行直播体验。

所述全景相机100包括相机本体(未图示)及设置于相机本体的多路图像传感器10、音频处理模块20、拼接模块30及信号处理模块40，所述相机本体可以采用热塑性材料注塑成型，也可以采用合金材料制成，所述相机本体上还设有多个镜头和麦克风60，所述多个镜头均匀分布于所述全景相机100的水平视野或竖直视野中，以抓取水平方向或竖直方向360度的视角，所述麦克风60设有多个，均匀分布于所述相机本体形成一阵列，并随所述镜头一起旋转，以实现各个角度的声音拾取。

所述多个图像传感器10采用cmos图像传感器，优选sensorimx117，每一图像传感器10的输入端均连接至少一个镜头，每一图像传感器10的输出端均连接所述拼接模块30，所述图像传感器10将镜头捕捉到的图像画面转换为拼接模块30能够处理的图像数字信号，每一图像传感器10通过一lvds接口与所述拼接模块30的输入接口连接，将所述多路图像传感器10转换后的多路图像数字信号输入所述拼接模块30。所述拼接模块30可以采用硬件处理模式，如现场可编程门阵列fpga芯片或复杂可编程逻辑器件cpld芯片，通过增大输出时的传输速率，在相同时间内输出单路或预设路数的数字信号，在其他实施例中还可以采用软件处理模式，如mcu等构件缓存区，将全部数据接收至所述缓存区后，通过对全部数据进行打包，将打包后的数据包通过唯一的输出接口输出，本实施例的拼接模块30优选fpga31，对多路图像传感器10输入的多路图像数字信号进行拼接处理，也即将从多个输入接口输入的多路图像数字信号通过增大传输速率的方式从一个输出接口输出视频源文件，然后将该视频源文件推送给所述pc终端300。

所述音频处理模块20的输入端连接所述麦克风60、输出端连接所述拼接模块30，将麦克风60采集的声音模拟信号转换为音频数字信号后对所述音频数字信号进行编码、压缩，并在接收端进行信号解码，并将解码之后的数字信号通过pcm接口或iis接口传输至拼接模块30，在本实施例中，所述麦克风60的数量为四个，所述四个麦克风可以形成以阵列均匀分布于所述相机本体的同一位面，以便更好地对应用场景的声音信号进行捕捉和拾取，降低噪声的影响，在其他实施例中所述麦克风60还可以设置更多，以增强麦克风60拾取到的声音信号的强度，所述麦克风60将拾取到的声音模拟信号转换为音频数字信号传输至音频处理模块20进行编码、压缩和解压缩，所述音频处理模块20包括主编解码器21及连接所述主编解码器21的从编解码器23，所述主编解码器21连接其中两个麦克风60，所述从编解码器23连接另外两个麦克风60，对经ad转换器转换后的音频数字信号的传输进行编码、压缩，并在接收端对所述音频数字信号进行解码，所述从编解码器将解码后的音频数字信号传输至主编解码器21，由主编解码器21将解码之后的音频数字信号经过pcm接口输入至拼接模块30，拼接模块30利用fpga31将主编解码器21输入的音频数字信号处理成4路音频源文件，所述拼接模块30还包括一连接所述fpga31的第一存储器33，所述拼接模块30将所述音频源文件存储在所述第一存储器33中，在需要向所述pc终端300推送时，从所述第一存储器33中随时调取，提高了音频信号传输的兼容性和安全性。

所述信号处理模块40主要对拼接模块30输入的视频源文件进行ips处理、压缩存储、或者将处理后的视频源文件推送至pc终端300，所述pc终端300一般为pc机，具有运算处理能力，所述pc终端300将拼接模块30推送来的音频源文件和信号处理模块40推送来的视频源文件，根据需要合成为2k、4k、或6k全景视频，所述2k全景视频可直接用于app终端200的直播预览，在app终端200与pc终端300建立连接后，所述pc终端300可以将所述2k全景视频推流给app终端200，或者将所述4k全景视频以2k格式推送给app终端200进行直播预览，或者将所述4k或6k全景视频直接在本地显示播放。

本发明的直播系统，通过所述拼接模块30输出可直接用于全景视频合成的视频源文件和音频源文件，在pc终端300进行简单的合成处理后就能够直接进行2k、4k、或6k全景视频的直播或推流，不需要在显示终端进行复杂的计算，简化了直播系统的架构组成，提高了适用性。

进一步地，参照图2，所述拼接模块30包括fpga31，所述信号处理模块40包括两个dsp处理器41，所述fpga31将所述多路图像数字信号拼接成两组4k视频源文件，两个所述dsp处理器41分别对其中一组4k视频源文件进行ips和压缩处理后将其推送至所述pc终端300。

在本实施例中，所述拼接模块30包括现场可编程门阵列fpga31，所述信号处理模块40包括两个dsp处理器41成两组输入所述fpga31进行拼接处理，所述fpga31将所述多路数字信号拼接成两组4k视频源文件，所述两个dsp处理器41的输入端均连接所述fpga31，所述fpga31将拼接好的两组4k视频源文件推送给输出端的两个dsp处理器41，两个所述dsp处理器41分别对其中一组4k视频源文件进行ips处理、压缩处理、及编码处理，在pc终端300进行全景视频合成时将经过ips、压缩处理、及编码处理后的4k全景视频数据推送给所述pc终端300进行合成处理，得到画面清晰、画质优良的2k、4k、或6k全景视频，所述dsp处理器41选择amba_dsp，核心编码器选择videoencodea12，所述信号处理模块40还包括多个第二存储器43，每一所述dsp处理器41均连接至少一个第二存储器43，以便dsp处理器41对所述4k视频源文件进行压缩和编码处理后将其保存在所述第二存储器43内，所述第二存储器43可以是ddr、flash、或tf-card。

进一步地，参照图1和图2，所述全景相机100还包括通信模块50，所述两dsp处理器41和fpga31均连接所述通信模块50，所述fpga31通过所述通信模块50将所述音频源文件推送至pc终端300，所述两dsp处理器41分别通过所述通信模块50将所述两组4k视频源文件推送至pc终端300。

在本实施例中，所述全景相机100还包括通信模块50，所述两dsp处理器41的输出端和所述fpga31的输出端均连接所述通信模块50，所述通信模块50的输出端连接所述pc终端300，在本实施例中，所述通信模块50与所述pc终端300之间的连接为有线连接，在其他实施例中，所述通信模块50与所述pc终端300之间还可以设置有航空头57，所述pc终端300通过通信模块50向所述全景相机100提供电源支持和数据传输通道，以提高所述两dsp处理器41向pc终端300推送所述两组4k视频源文件，及所述fpga31向pc终端300推送所述音频源文件时的传输速率和安全性。

进一步地，参照图2，所述通信模块50包括第一phy芯片51、第二phy芯片53、及第三phy芯片55，所述两dsp处理器41包括第一dsp处理器411和第二dsp处理器413，所述fpga31的输出端连接所述第一phy芯片51，所述第一dsp处理器411的输出端连接第二phy芯片53，所述第二dsp处理器413的输出端连接第三phy芯片55，所述第一phy芯片51、第二phy芯片553、及第三phy芯片55的输出端均通过一网线连接所述pc终端300。

在本实施例中，全景相机100向pc终端300输出未完全拼接的音频源文件和视频源文件，所述两dsp处理器41包括第一dsp处理器411和第二dsp处理器413，在pc终端300通过通信模块50向所述全景相机100发送通讯指令后，拼接模块30内的fpga31接收4路图像传感器10输入的图像数字信号，及主编解码器21输入的音频数字信号，拼接模块30内的fpga31将所述音频数字信号处理成4路独立的音频源文件，通过rmii或mii接口传输至第一phy芯片51，拼接模块30内的fpga31将所述4路图像传感器10输入的图像数字信号处理成2路独立画面共用一个画布的两组视频源文件，分别输入至第一dsp处理器411和第二dsp处理器413，所述第一dsp处理器411和第二dsp处理器413分别对所述两组视频源文件进行ips处理、压缩和编码处理后，存储在与之连接的第二存储器43中，所述第二存储器43为ddr、flash、或tf卡，或者通过rmii接口传输至后端的通信模块50，所述第一dsp处理器411的输出端通过rmii接口连接第二phy芯片53，第二dsp处理器413的输出端通过rmii接口传输至第三phy芯片55，所述第一phy芯片51、第二phy芯片53、及第三phy芯片55的输出端均连接一网线，所述航空头57的输入端设置有多个网线接口，所述三phy芯片的输出端连接的网线均插入航空头57的网线接口内，通过所述航空头57与pc终端300之间实现有线传输，提高了全景相机100应用的广泛性和多样性。

进一步地，参照图1，该直播系统还包括app终端200，所述全景相机100和pc终端300均连接所述app终端200，所述app终端200对所述全景相机100的直播参数进行设置。

在本实施例中，该直播系统还包括一app终端200，该app终端200通过有线或无线方式与全景相机100建立通信连接，如app终端200通过蓝牙或wifi与全景相机100建立直接的无线连接，或者app终端200通过路由器与所述全景相机100建立间接的无线连接，或者app终端200通过数据连接线直接与所述全景相机100建立直接的有线连接，对所述全景相机100的直播参数进行设置，如全景相机100进行直播时的推流地址，或全景相机100直播全景视频的分辨率、码率、码流数，或者全景相机100在直播过程中的操作提示音、亮度、对比度、及饱和度参数等。

进一步地，参照图1和图2，所述pc终端300包括：

合成模块310，将fpga31推送来的四路音频源文件和两dsp处理器41推送来的两组4k视频源文件合成为2k、4k或6k全景视频；

存储模块320，对所述2k、4k或6k全景视频进行存储。

在本实施例中，所述全景相机100不直接输出全景视频数据，通过fpga31将多路图像传感器10输入的多路图像数字信号拼接成两组4k视频源文件输出，通过fpga31将主编解码器21输入的音频数字信号处理成四路独立的音频源文件输出，然后通过所述fpga31调取与fpga31连接的第一存储器33中的音频源文件，推送给所述pc终端300，以及通过第一dsp处理器411和第二dsp处理器413将所述两组4k视频源文件推送给所述pc终端300，用于在所述pc终端300进行全景视频的合成，所述pc终端300包括合成模块310，所述合成模块310根据应用场景的不同将推送来的音频源文件和视频源文件合成为带有立体声的2k、4k、或6k全景视频，所述pc终端300还包括存储模块320，所述存储模块320为所述pc终端的ssd硬盘，所述ssd硬盘对所述2k、4k、或6k全景视频进行实时保存，方便连接到pc终端300的其他终端对所述2k、4k、或6k全景视频进行获取。

进一步地，参照图1和2，所述pc终端300还包括推流模块330，在接收到app终端300的直播预览请求时，将所述2k全景视频推流至app终端200，或将所述4k全景视频以2k格式向所述app终端200推送。

在本实施例中，所述app终端200还与所述pc终端300建立通信连接，向所述pc终端300发出直播预览请求，所述app终端200与所述pc终端300建立直接或间接的通信连接，以便与所述pc终端300之间实现指令或数据信息的交互，如app终端200通过蓝牙或wifi与所述pc终端300建立直接的无线连接，或者app终端200通过路由器与所述pc终端300建立间接的无线连接，或者app终端200通过数据连接线直接与所述pc终端300建立直接的有线连接，所述pc终端300还包括一推流模块330，在所述pc终端300接收到app终端200的直播预览请求时，所述推流模块330将合成好的2k全景视频通过wifi或蓝牙直接推流至所述app终端200，或者将合成好的4k全景视频以2k格式发送给所述app终端200。

进一步地，参照图1和2，所述pc终端300还包括显示模块350，对所述4k或6k全景视频进行本地显示。

在本实施例中，所述pc终端300将fpga31推送来的音频源文件和dsp处理器41推送来的4k视频源文件合成为2k、4k或6k全景视频，根pc终端300用户的需要也可以选择将所述4k或6k全景视频通过hdmi接口推送至所述显示模块340，进行本地显示，增加全景相机100实现全景视频直播显示的多样性和功能性。

进一步地，参照图1和2，所述直播系统还包括与所述pc终端300连接的云端400，所述pc终端300依据在app终端200设置的全景相机的推流地址，将所述2k、4k或6k全景视频推流至所述云端400。

在本实施例中，所述直播系统还包括与pc终端300连接的云端400，pc终端300根据预先通过app终端200设定的全景相机100的推流地址和直播id建立直播所需的传输层和应用程序协议连接，在所述pc终端300与云端400建立协议连接之后，也即在网络层、传输层和应用层协议已连接的情况下，所述pc终端300就能够对fpga31推送来的音频源文件和dsp处理器41推送来的4k视频源文件进行视频编码、封装视频流、进行流媒体的推送，将所述2k、4k或6k全景视频推流至所述云端400，连接云端400的终端用户无需再外接任何服务器就可以实现全景直播预览和播放，简化了直播系统架构，能够应用于企业、个人、现场报道等各种场合，提高了该直播系统的适用性。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。