一种多路视频实时无线传输与显示系统及构建方法_2

文档序号:8447664阅读:来源:国知局
法实现,该种设计可W大 大减少电路的复杂度,增加硬件系统的集成化程度;上位机软件只需要在一个通用能上无 线网的计算机平台上运行,不需要额外的硬件设备,相比其他的实现方法,极大的减少了 系统的复杂程度。此外,在实现图像拼接时,由传统在下位机的"硬拼接"转为在上位机 端的"软拼接",减少下位机的负荷并充分利用了上位机的优秀性能,提升了整个系统的延 迟并增加了拼接的灵活性。
【附图说明】
[0035] 图1系统结构框图。
[0036] 图2ADC采样信号流图。
[0037] 图3编码过程信号流图。
[003引图4封包过程信号流图。
[0039] 图5上位机工作信号流图。
【具体实施方式】
[0040] 下面根据
【发明内容】
,结合说明书附图,对本发明一种多路视频实时无线传输与显 示系统及构建方法,进行具体说明:
[0041] 目的:本发明的目的在于提供一种多路视频实时无线传输与显示系统及构建方 法,包含一整套下位机硬件及上位机软件。实现五路PAL制视频实时无线传输到上位机拼 接显示的功能。
[0042] (1)本发明是一种多路视频实时无线传输与显示系统,包括下位机硬件电路板和 上位机软件两大部分。其中:上位计算机安装的是WIN7_64系统并具备无线上网功能,上 位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,除此之外能 够向下位机传递控制指令;下位机硬件部分包含:海思3521视频压缩巧片、NVP1918视频 编码巧片、DC-DC电源巧片、RT3070WIFI模块。它们之间的位置连接关系及信号走向如图1 所示,5路PAL制模拟视频信号经过NVP1918巧片转换为数字形式并送入海思3521巧片做 视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。
[0043] 摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助 摄像头。五路对外接口均为标准AV端子,五路视频同时进行信号采样。
[0044] 该ADC采用采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字 信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩巧片。
[0045] 该系统核屯、巧片选择海思公司生产的HI3521视频压缩巧片,它内置高性能ARM CodexA9处理器。主要实现视频信号的压缩、封包、上传等处理;它通过RT3070接收到上 位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像 头视频。
[0046] 该视频压缩巧片最小系统外围电路,包括时钟源,SRAM,程序加载FLASH。时钟源 为一个有源晶振,提供系统稳定工作的时钟参考;SRAM作为系统的"内存",作为程序加载 及运算结果存储的"临时场所",断电后存储的信息会丢失;FLA甜作为bootloader,系统 内核,系统文件系统的固化场所。
[0047] 每次系统上电后,先启动FLA甜中的BOOTLOADER,将烧写在FLA甜中的内核程序 加载入SRAM中,运行内核,检测系统外围设备并加载对应的设备驱动,实现系统外设的 初始化;随后将烧写在FLASH中的文件系统载入SRAM中,实现系统的启动,然后运行应用 程序。
[0048] WIFI模块采用核屯、巧片是RT3070的集成USB转WIFI模块,通过USB2. 0接口与 视频压缩核屯、巧片相连。
[0049] 该电源巧片提供整个系统工作所需的电压。外界给系统输入+12V的电压,通过 电源巧片将+12V的电压转换成系统所需要的+3. 3V、+1. 8V、+1. 0V,来分别提供给HI3521 核屯、巧片(+3. 3V、+1. 0V)、程序加载FLA甜(+3. 3V、+1. 0V)、时钟提供源(+3. 3V)、ADC采样 巧片(+1. 8V)、WIFI模块(+5V)。
[0050] (2)本发明是一种多路视频实时无线传输与显示系统,其实现的过程概述如 下:ADC采样巧片同时采集5路PAL制视频信号送入视频压缩巧片中;视频压缩巧片对每路 信号分别进行H. 264压缩编码;将压缩编码后的5路视频流增加时间戳信息封成一定大小 的数据包;将封好的数据包通过无线模块发送;接收端接收数据包并解包恢复视频流;通 过软件方法实现对5路视频流的解压缩;使用某些软件算法对其中的4路视频显示的信息 进行拼接融合;在上位机监视器对视频流进行恢复显示。
[0051] 综上所述,本发明一种多路视频实时无线传输与显示系统的构建方法,其具体步 骤如下:
[0化2] 步骤一 :5路PAL制视频信号经过ADC采样巧片采样送入视频压缩巧片中[0化3]如图2所示;5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头, 另外四路为480线辅摄像头。5路对外视频输出接口均为标准复合视频接口,输出给ADC 采样巧片。
[0化4] ADC采样巧片采用Nextchip公司生产的NVP1918视频编码巧片,该巧片在多通道 视频编码领域具有优越的性能。单片巧片支持八路相机,电视或者DVD的复合视频信号输 入;具有8路960H分辨率视频同时编码能力;能输出8位CCIR656亮度色度比例为4:2:2 的视频流并且支持36MHZ,72MHz和144MHzS种速度。
[0化5] 本方案使用该巧片的5路。模拟输入端传接50欧姆电阻限制电流,并对地并联 防雷放电二极管W保护ADC巧片。后级通过IIC总线对ADC巧片的寄存器进行配置使其工 作在正确的工作模式,将串行数字视频流输送给后级视频压缩巧片。
[0化6] 步骤二:视频压缩巧片对每路信号分别进行压缩编码
[0化7]如图3所示;视频压缩巧片使用选择海思公司生产的HI3521视频压缩巧片,它内 置高性能ARMCodexA9处理器。其内含视频输入,视频预处理,视频压缩等功能模块,并 对用户封装了一些方便用来调用的接口函数(API)。
[0化引巧片内部DEV模块对输入的串行数字视频流解复用,产生5路视频流并输入5个VI通道(化nO~化n4),VI通道对视频流不做处理直接输入视频压缩模块(VENC模块)进 行压缩编码。
[0化9] 编码方式选用片内视频压缩模块所支持的h. 264编码,需通过相关的接口函数进 行配置使其正常运行
[0060] 步骤=:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包。
[0061] 如图4所示;编码完成的一帖帖的视频流会存入系统的缓冲池中,对应于内存地 址中的一段数据。五路视频流将交替存入缓冲区中。由于视频压缩后的每一帖数据的数据 量并不完全相同,为便于无线发送需对数据进行切分和拼接使得每一包数据量一致。对于 每一帖的数据需加上标志信息便于上位机接收端解包。此外数据包传输过程中由于网络条 件等原因可能产生丢包或者包顺序错乱,因此在每一帖数据中还应加上时间戳信息,便于 接收端恢复。
[0062] 步骤四:下位机将封好的数据包通过无线模块发送给上位机
[0063] 下位机作为服务器(AP端),需要在HI3521中移植WIFI模块AP工作的模式的驱 动。其中WIFI模块采用RT3070WIFI模块,驱动采用其公司提供的Linux驱动进行交叉编 译。移植成功之后,下位机就相当于一个无线路由器。
[0064] 上位机具备无线上网功能,只需要连接AP。
[0065] 上位机和下位机连接成功之后能够相互通过PING指令ping通。下位机发送的数 据包通过UDP协议发送给上位机的IP地址及指定端口。
[0066] 步骤五:上位机接收数据包并解包恢复视频流,通过软件方法实现对5路视频流 的解码
[0067] 如图5所示,上位机监听指定端口,当接收到下位机传来的数据包时,依次存入内 存中开辟的缓冲区。与此同时,根据每个数据包的标志及时间戳,进行解包并还原成五路视 频流。然后调用软件解码器对五路视频流分别调用软件解码器进行解码,解码后生成一帖 帖的图像。其中软件解码器采用开源项目FFMPEG函数库进行实现。
[0068] 步骤六:对其中的4路视频显示的信息进行拼接融合,在上位机监视器对视频流 进行恢复显示。
[0069] 由于四路摄像头事先进行过标定和位置矫正,所W视频信息存在一部分的重叠。 采用均值法对该四路视频边沿重叠部分进行平均处理,将四张图像拼合成一张大图。调用 OPENCV库函数对该些大图一帖帖进行显示,进而恢复成大场景实时信息。
[0070] 多路视频实时无线传输与显示系统的主要器件为:
[0071] 视频压缩编码核屯、巧片
[0072] 选用海思半导体公司的HI3521
[0073] 化3521是针对多路D1和多路高清DVR、NVR产品应用开发的一款专业高端SOC巧 片。化3521内置高性能A9处理器、高达8路D1实时多协议编解码能力的引擎和专用TOE 网络加速模块,应对越来越高的高清应用和网络需求;集成优异的视频引擎和编解码算法 并结合多路高清显示输出能力,充分满足客户产品的高质量图像体验。化3521高度集成和 丰富的外围接口,在满足客户差异化产品功能、性能、图像质量要求的同时,大大降低ebom 成本。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1