本发明涉及一种便携移动式音视频教学交互设备。
背景技术：
随着多媒体技术和信息数字化的发展，课堂教学对于人-人、人-机交互的便捷性和操作性的要求日益增加。传统的黑板和粉笔传递信息的方式逐渐减少，虽然投影仪和多媒体设备的运用能够弥补前者的缺点，但是人们又经常被这些设备所束缚。为了解决上述问题，便携移动式音视频教学交互设备应运而生，它是一种全方位的、直观性好的、互动性强的、新型的信息传播设备。
实训教学一直是职业技术教育教学工作中最核心最重要的内容。在实训教学过程中，针对具体装备的课堂教学相对于一般课程的课堂教学有很大不同，主要区别是前者由于装备空间限制导致装备外人员看不到、看不全、看不清装备操作从而极大影响课堂教学效果。目前，实训教学课堂授课由于装备数量少、培训人员多、工装部组件不齐全等原因普遍存在着操作时间短、坐等时间长的问题，没有发挥好课堂组织者（老师）、操作人员（学生）、观摩人员（学生）三者之间互动性，从而导致课堂教学过程乏味、气氛沉闷、效果不好。
现有音视频教学交互设备的缺点：不能多路播放音视频；音视频多媒体播放位置固定；开发成本高；布线繁琐复杂；物理层无隔离，安全性差。
技术实现要素：
本发明要解决的技术问题是克服现有技术的缺陷，提供一种便携移动式音视频教学交互设备。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种便携移动式音视频教学交互设备，其特征在于，包括移动采集端、监控管理端和远程客户端；
所述移动采集端通过摄像头采集视频、麦克风采集音频，利用Hi3518E芯片压缩编码，无线传输到监控管理端；
所述监控管理端以Linux作为操作系统，并以Hi3520嵌入式处理器为硬件平台，实现H.264/AVC高速、高效率压缩、解压和参数优化，兼容RTP/RTSP和RTMP多种通信协议进行媒体流传输；
所述远程客户端用于实现音视频数据的实时解析、播放。
进一步地，所述移动采集端包括摄像头、麦克风、WIFI模块、红外LED模块和电源模块；
所述移动采集端用于实现音视频的采集和压缩后，通过UART接口和无线传输模块相连，把压缩后的音视频无线传送到监控管理端。
进一步地，所述移动采集端设计成头戴式或者便携式。
进一步地，所述监控管理端用于实现多路音视频的管理、显示、传输和存取调度，同时以流式协议将音视频文件传输到多个客户端，供用户在线观看。
进一步地，所述远程客户端针对接收到的流媒体数据进行解码并将监控画面呈现给用户。
进一步地，所述移动采集端采用双工同步模式，其中，摄像机捕获图像利用WiFi模块传输，麦克风采集语音利用无线射频传输。
本发明所达到的有益效果是：
1、本发明移动采集端采用双工同步模式，摄像机捕获图像利用WiFi模块传输，麦克风采集语音利用无线射频传输，很好地解决了视频播放不流畅、图像语音不同步的难题；本发明音视频传输方式相互独立、互不干扰，视频利用WiFi传输，音频利用无线射频传输，保证了视频图像实时流畅、音频清晰同步；
2、本发明基于嵌入式处理器海思Hi3520平台进行Linux操作系统开发，利用无线传输模块，能够实现四路音视频的传输、显示和存储的功能，具有便携、移动监控的优点，解决了布线繁琐、操作不便、监控固定的难题；
3、本发明采用了兼容RTP/RTSP 和RTMP流媒体协议的实时移动音视频教学交互的设计方案，基于RTP/RTSP流媒体协议可在Android平台上实现移动音视频播放，基于RTMP流媒体协议可在网页实现直播；本发明远程客户端采用RTP/RTSP和RTMP等流媒体协议，具有实时、高效、便携等特点，不仅能实现教学交互和课堂监控，还能广泛应用于安防巡查、智能家居、远程会议、网络课程、视频监控等不同领域，灵活实现多种场景下的高清、实时监控；
4、本发明采用移动电源供电，移动电源经过开关电源芯片降压的方式给整个设备供电，放电平稳精确、使用寿命高；
5、本发明移动采集端分为头戴式和便携式两种，使用者在佩带头戴式移动采集端工作时，能够完全释放双手，提高工作效率，适合在老师讲解示范和学生装备操作课堂、新闻报道、现场执法、军事行动等条件下使用；本发明建立在嵌入式Linux操作系统上开发的，还可以在便携式的平台上安装其它应用程序丰富扩展其功能，具有广阔的应用前景。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明中RTSP/RTP流媒体协议。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明由多路移动采集端、监控管理端、远程客户端构成。移动采集端通过摄像头采集视频、麦克风采集音频，利用Hi3518E芯片压缩编码，无线传输到监控管理端；监控管理端以Linux作为操作系统，并以Hi3520嵌入式处理器为硬件平台，实现H.264/AVC高速、高效率压缩、解压和参数优化，兼容RTP/RTSP和RTMP多种通信协议进行媒体流传输；远程客户端可以实现音视频数据的实时解析、播放。
本实施例中，所述的移动采集端采用锂电池经过开关电源芯片降压的方式供电，设计成头戴式和便携式两种，使用者在佩带头戴式移动采集端工作时，能够完全释放双手，提高工作效率。移动采集端以HI3518E芯片为核心处理器，主要包括摄像头、麦克风、WIFI模块、红外LED模块、电源模块等。能够实现音视频的采集和压缩后，通过UART接口和无线传输模块相连，把压缩后的音视频无线传送到监控管理端。WIFI模块兼容802.11b/g协议，接收的范围变得更大，保证了音视频数据的实时传输速率。
其中，所述音视频采集模块基于HI3518E的音视频采集模块。Hi3518E是海思半导体继Hi系列3518A、3518C后，新推出的一款针对民用安防监控产品的SoC芯片，搭配Danale物联云平台，功能更丰富，功耗更低。Hi3518E基于ARM9处理器内核，具有720P@30fps、H.264多码流编码性能、优异的ISP和编码视频质量、高性能的智能加速引擎等特性，在满足客户差异化网络摄像机产品功能、性能、图像质量要求的同时，搭配Danale物联云平台，功能更丰富，功耗更低，可大大降低ebom成本。
为了降低网络带宽开销，需采用较高压缩率的H.264参数配置编码采集下的视频流。这也同时降低了码流对丢包或误码问题的鲁棒性。因此，需要根据不同的网络带宽、丢包、时延等网络环境下视频的主客观质量，选择最优的视频编码参数。测试发现丢包率越高，视频主客观质量越差，而带宽、码率越高，视频重建质量越好。
无线传输模块采用工作在2.4GHz公共频段的WIFI模块来实现，它遵循IEEE802.11b/g网络标准，具有频带宽、扩展性强、传输速率快、组网方便以及费用低等特性，室内通信距离可达100m，室外开阔地可达300m。WIFI模块支持Linux系统，最高数据率为54Mb/s，可用于在后期开发中将终端接入Internet，既能减少音视频实时传输的开发成本和周期，也给多媒体教学提供了一种新的音视频交互方式。
WIFI有两种类型的拓扑结构，基于AP组建的基础网和STA形成的自组网。支持多种安全认证机制，包括WEP/WPA-PSK/WPA2-PSK，能实现快速联网和无线漫游。本模块使用WIFI模块用于AP热点模式，采用WPA2-PSK认证方式，通过移植hostapd来实现AP热点的建立，同时使用dhcpd来设置WIFI局域网内IP地址的分配范围以及数据流的IP路由端口，AP热点的建立相当于构建了一个无线局域网，外部设备通过参数设置及认证都可以连接进来。
监控管理端主要实现多路音视频的管理、显示、传输和存取调度，同时以流式协议（RTP/RTSP、RTMP等）将音视频文件传输到多个客户端，供用户在线观看。
海思Hi3520是一款基于处理器内核以及视频硬件加速引擎的高性能通信媒体处理器。它提供H.264和MJPEG多协议编解码，其视频编码性能可达到960fps（Frame Per Second）@CIF（352×288）或240fps@D1（704×576），拥有丰富的音视频输入输出接口，分辨率高，支持16路CVBS视频输入，同时支持CVBS、VGA或外接BT1120 HDMI输出。故我们可同时采集多路音视频在监控管理端实时播放。
移动采集端将音视频数据以CVBS格式输入到TW2865，音频信号也通过TW2865采集输入到Hi3520芯片。Hi3520芯片接收到视频数据，经过图像处理后，进行H.264编码，对音频信号进行软件编码。编码后的音视频流既可以存储到本地硬盘，也可以通过Hi3520芯片业务层把音视频复合流（或独立的视频/音频流）封装成IP流，通过网络传送到远程客户端。
本发明以视频流为主媒体流，音频流为从媒体流，视频的播放速率保持不变，根据本地系统时钟确定实际时间，通过调整音频播放速度来达到音视频同步。首先选择一个本地系统时钟参考，然后将时钟参考发送到视频解码器和音频解码器，由这两个解码器根据各帧的PTS值对照本地系统时钟，参考产生各帧准确的显示或回放的时间。也就是说，生成输出数据流时依据本地参考时钟上的时间给每个数据块都打上时间戳。在播放时，读取数据块上的时间戳，同时根据本地系统时钟参考上的时间来安排播放。
本发明是基于HTTP渐进下载的流媒体服务器将视频编码生成的H.264码流通过RTP协议打包发送到网络上，HTTP Web服务器主要负责响应客户端的HITP请求。系统启动以后，流媒体服务器、HTTP Web服务器都作为后台进程同时启动，等待客户端的请求和响应消息的接收，通常只能支持点播，实时性较差，也不支持快进、快退等VCR操作。
为保证媒体传输的实时性和可控性，首先采用RTSP/RTP协议从采集模块接收实时音视频流，进行RTSP会话交互后，再通过RTP协议封装发送给客户端。另外，RTMP协议提供的流媒体无需安装客户端程序，用户可以十分方便地通过浏览器收看流媒体。
RTSP在体系结构上位于RTP和RTCP之上，它使用RTP或TCP完成视频数据传输，使用RTCP协议为应用层提供视频质量控制。RTSP控制RTP数据包的发送，使用RTSP时，客户机和服务器双向都可以发出请求。RTSP/RTP流媒体协议如图1所示。
为同时支持RTSP和RTMP协议，协议转换模块将HI3520采集输出的RTSP视频流通过Live555进行码流协议分析后，按RTMP流媒体格式封装成RTMP直播流，提供给FMS直播。FMS服务器通过编写Action script脚本实现视频流的管理控制。本系统同时支持使用RTMP协议在流媒体服务器与客户端之间交换信令和媒体数据。
本发明的远程客户端针对接收到的流媒体数据进行解码并将监控画面呈现给用户。此外，为了给用户提供更加灵活的移动安防体验，基于Android远程客户端的设计主要包含流媒体设备地址管理模块和流媒体视频播放模块。
本模块主要实现对流媒体设备地址的管理，包括增、删、改、查等数据操作，此外，当设备较多时，可利用XML文件进行批量导入设备地址。本模块主要涉及到的技术包括SQLite数据库与XML文件解析。播放视频时，用户通过UI将流媒体设备的地址存入SQLite数据库中。当用户通过点击选择相应的设备时，程序就会将选中设备的地址传入相应的方法，最终调用FFMPEG视频解码库进行播放。
流媒体播放是远程客户端的核心功能，该模块采用Vitamio框架作为接收和解码的SDK。Vitamio框架的核心是MediaPlayer类，在它的生命周期中，有Idel、Initialized、Prepared、Started、Stopped、Pauseed等状态，创建MediaPlayer对象后，设置数据源并准备使之处于Started状态可完成对视频的播放。流媒体播放模块使用FFmpeg作为解码器，能够开发针对不同移动平台的硬解码方案，支持H.264/AVC、H.263、MPEG4等常见的视频编码和RTSP、RTMP、MMS、HTTP等多种协议。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。