专利名称：一种能动态分析与显示多维细粒度业务参量的多媒体终端的制作方法
技术领域：
本实用新型属于嵌入式多媒体网络通信的技术领域，具体涉及一种能动态分 析与显示多维细粒度业务参量的多媒体终端。
背景技术：
随着宽带通信技术的迅速发展，用户对通信的需求也不仅限于对语音和文字 的需求，而对视频业务更感兴趣。于是，集文字、音频、视频于一身的多媒体终 端越来越多，如可视电话、视频会议终端等。但是目前市场上的产品都是面向普 通用户设计的，其功能都定义在用户使用层面，能提供个性化服务的产品少之又 少。科研和实验教学经常需要具备特殊功能的通信平台，最重要的需求就是在平 台上完成深层次通信功能解析、多维度数据测试、可视化实时显示。
市场上现有的多媒体终端如图l所示，包括中央处理器部分、音频部分、视 频部分、通信部分、人机交互部分。其中人机交互部分有以下不足该部分电路 设计较为简单， 一般包括一个键盘、 一个显示器，但其键盘连接中央处理器CPU 的若干I/0引脚，占用资源多，键值设计简单，并且不能进行汉字输入、业务参 量统计等，所以此多媒体终端只能完成一般的音视频通信功能，并不能提供良好 的人机接口，保证较好的服务质量。
IP网络多媒体通信不同于传统公共网络通信，功能和运行环境复杂，业务 质量受多种条件影响，同时，不同类型的业务对网络服务有截然不同的要求。因 此，需要对多媒体终端进行重新设计，实现一种能对业务进行细粒度划分，能对 每种运行业务的动态特性做多维度检测，并能够实时友好的显示多维信息的通信 平台。科研和教学人员可以在此平台上分析、评价多媒体业务的性能、估计网络 的拥塞程度、分析信道的动态特性。
实用新型内容
本实用新型所要解决的技术问题是提供一种能动态分析与显示多维细粒度 业务参量的多媒体终端，向用户提供全面、透明、实时的多媒体通信特性。其中 多维是指通过多个参量来全面描述业务的特性，细粒度是指对每种业务进行细致 划分，并分别进行参量统计与分析。
为解决上述问题，本实用新型所采用的技术方案为提供一种多媒体终端，
如图2，它是此多媒体终端的系统硬件结构框图，包括DSP中央处理器部分、音
频部分、视频部分、通信部分、人机交互部分。
DSP中央处理器部分包括数字信号处理器DM642、两片存储器SDRAM、 闪存FLASH及FPGA逻辑电路。其中，数字信号处理器DM642通过GPIO(General Purpose IZO)口与FPGA逻辑电路连接，两片存储器SDRAM连接数字信号处理 器DM642，闪存FLASH连接数字信号处理器DM642, FPGA逻辑电路分别连 接数字信号处理器DM642和视频部分的视频D/A芯片SAA7105。
音频部分包括音频AD/DA芯片AIC23、麦克和扬声器。麦克和扬声器分别 与音频AD/DA芯片AIC23的麦克输入端和线性输出端连接，音频AD/DA芯片 AIC23与数字信号处理器DM642连接。
视频部分包括视频A/D芯片SAA7115、 D/A芯片SAA7105、摄像头、显示 器。视频A/D芯片SAA7115与数字信号处理器DM642连接，摄像头与A/D芯 片SAA7115的复合输入端连接；视频D/A芯片SAA7105与DSP中央处理器部 分的FPGA连接，显示器经VGA(Video Graphics Array)输出与D/A芯片SAA7105 连接。
通信部分包括以太网接口模块、RS232电平转换模块、串口模块。以太网接 口模块连接DSP中央处理部分的数字信号处理器DM642; RS232电平转换模块 分别连接串口模块和DSP中央处理器部分的FPGA;串口模块连接RS232电平 转换模块。人机交互部分包括键盘、显示器。所述的显示器，为计算机显示器，通过 VGA接口与多媒体终端连接，用于显示视频、菜单和多媒体业务参量信息。所 述的键盘，是基于DM642的GPIO设计的扩展键盘，包括4x6键盘阵列和芯片 ZLG7290。 4x6键盘阵列连接芯片ZLG7290;芯片ZLG7290连接DSP中央处理 部分的数字信号处理器DM642。键盘的具体连接方式详见实施例1。
本实用新型的有益效果是，用户使用此多媒体终端时不仅可以进行文字、音 频、视频通信，而且能通过键盘选择性地监测多媒体业务的多维参量，对业务进 行细粒度深层次分析；参量数据在显示器的人机界面上实时显示、直观明了，动 态反映了业务的服务质量，从而估计网络性能与信道特性，做出合理的改进措施。
图1是现有多媒体终端的结构框图。
图2是本实用新型多媒体终端的系统硬件结构框图。
图3是本实用新型多媒体终端的键盘模块设计框图。
图4是本实用新型多媒体终端的键盘键值定义示意图
图5是本实用新型多媒体终端各业务通信模块框图。
图6是本实用新型多媒体终端视频信号的传输及参量统计框图。
图7是本实用新型多媒体终端的使用示意图。
具体实施方式
以下结合附图和实施例对本实用新型进一步说明。
实施例1结合图2、图3说明本实用新型多媒体终端的系统硬件结构、键 盘模块和数字信号处理器DM642间的连接关系。
图2中，数字信号处理器DM642、两片存储器SDRAM、 FLASH及FPGA 逻辑电路构成DSP中央处理器部分。这部分为整个终端电路的核心，负责整体控制、计算、逻辑、通信协议的实现、视频数据的压缩/解压縮的实现、音频、 视频、文字处理算法的实现等。其中，处理器采用Ti公司推出的数字信号处理 器DM642，其主频高达600MHZ，处理速度高达4.8亿条指令每秒，保证了视频 通信时的高处理速度；每片存储器SDRAM的容量为16MB，两片共32MB; FLASH用于存储静态程序和数据；FPGA逻辑电路实现了以DM642为核心的整 个终端电路的逻辑变换和控制，使多媒体终端的功能更完善。
图2中，由音频AD/DA芯片AIC23、麦克和扬声器构成本实用新型的音频
部分实现了音频的实时采集与播放。
图2中，由视频A/D芯片SAA7115、 D/A芯片SAA7105、摄像头、显示器
构成本实用新型的视频部分，实现了视频的实时采集与播放。
图2中，由以太网接口模块、RS232电平转换模块、串口模块构成本实用新 型的通信部分。其中以太网接口模块能够完成文字、音频、视频数据的以太网传 输，串口模块用于进行串行通信，RS232电平转换模块用于232电平转换。
图2中，人机交互部分包括键盘、显示器。通过键盘可以进行命令、号码、 汉字等输入操作，显示器提供实时、美观的人机交互界面。所述的键盘是基于 DM642的GPIO设计的扩展键盘，包括4x6键盘阵列和芯片ZLG7290，如图3 所示。其中4x6键盘阵列由两组线交叉而成，一组为芯片ZLG7290的管脚DIG1、 DIG2、 DIG3、 DIG4，另一组为芯片ZLG7290的管脚SEGB、 SEGC、 SEGD、 SEGE、 SEGF、 SEGG;芯片ZLG7290的管脚SDA、 SCL、 INT、 GND、 VCC 分别与DSP中央处理器部分的数字信号处理器DM642的管脚SDA、 SCL、 GPI04、 GND、 VCC相连。此设计方法只占用了数字信号处理器DM642的一个 GPIO管脚，节省了大量GPIO资源，并采用中断方式，扫描速度快。键盘模块 通过中断和I2C与数字信号处理器DM642进行通信和传递键值。键盘有按键时, INT引脚产生低电平信号，触发DSP的硬件中断，通过I2C总线读取ZLG7290 键值寄存器里的键值。实施例2结合图4说明键盘键值定义。
键盘一共有24个按键，分为三个功能区字符区、功能区和参量统计区。
(1) 字符区
图4中左侧三列为字符区，共12个按键。通过这些按键可以输入"0" - "9" 的数字、"a" - "z"的字母、"删除"及"发送"，这些键可以通过拼音进行汉字 输入，定义各按键如下'
1键为ABC; 2键为DEF; 3键为GHI; 4键为JKL; 5键为MNO; 6键为
PQRS; 7键为TUV; 8键为WXYZ; 9键为"一"(空格)；0键为拼音输入结束 键；*键为删除键；#键为短信发送键，即将编辑好文字后按此键发送到对端。
(2) 功能区
图4中右侧两列为功能区，共8个按键。通过这些按键可以进行汉字输入控
制、菜单选择等。定义各按键如下
Fl键为上翻页键；F2键为下翻页键；F3键为拼音输入、字母输入(大写)、 字母输入(小写)、数字输入、字符输入切换键，即每按一次F3键将会切换到下 一状态；F4键为换行键；Ml键为向上键；M2键为向下键；M3键为确定键； M4键为视频全屏键。
(3) 参量统计区
图4中最后一行为参量统计区，共4个按键。通过这些按键可以进行文字、
音频、视频业务的多维参量统计与分析，包括流量统计、视频流量预测、丢包率、
时延抖动。定义各按键如下
Ql键为流量统计键，统计文字、音频、视频的业务吞吐量；Q2键为视频流 量预测键，预测下一秒视频的吞吐量；Q3键为丢包率键，统计音视频的丢包率; Q4键为时延抖动键，统计音视频的时延抖动。
实施例3结合图5、图6说明本实用新型多媒体终端根据业务进行划分的 各业务通信模块、视频业务参量统计过程。
8图5中，多媒体终端有文字、音频、视频三种业务(l)文字业务用户通 过键盘进行文字输入，产生硬件中断后按键处理模块对键值进行处理并产生汉 字，输入完毕后送入文字发送模块通过以太网发送，文字接收模块从以太网收到 文字数据后通过显示器显示；(2)音频业务音频信号通过麦克输入到音频采集 模块，送入音频发送模块通过以太网发送，音频接收模块从以太网接收到音频数 据后送入给音频播放模块，最后通过耳机播放；(3)视频业务视频信号通过摄 像头输入到视频采集模块，送入视频编码模块，编码后送入视频发送模块通过以 太网发送，视频接收模块从以太网接收到视频数据后送入给视频解码模块，解码 后送入视频播放模块，最后通过显示器播放。
以视频业务为例，图6描述了两个多媒体终端通信时视频信号的传输以及多 维参量的分析与统计。图6中终端A为发送端，终端B为接收端，箭头方向为 视频信号的流向。终端A通过摄像头采集视频，通过SAA7115芯片模数转换后 送入SDRAM, DM642对视频数据进行编码、打包等处理后通过以太网发送给 终端B;终端B接收到数据包后送入SDRAM, DM642对视频数据进行组包、 解码，并根据数据包中的时间戳和序列号统计丢包率和时延抖动等参量，打成反 馈包定时发给终端A，同时统计视频格式、帧率、流量、预测流量、I帧重传数 等参量，与解码后的视频数据一起通过EDMA传给SDRAM,再送入SAA7105 芯片进行数模转换后，最后在显示器实时显示视频和各业务参量。
多维业务参量信息包括信令部分和媒体部分。信令部分统计接通率与平均接 通时间；媒体部分分为文字、音频和视频三种业务。其中音频业务统计的多维参 量有帧率、流量、预测流量、丢包率、时延抖动；视频业务是主要关注的业务， 所以对其进行细粒度划分，分为I帧信息、P帧信息，分别统计其帧率、流量、 预测流量、丢包数、时延抖动、重传帧数，同时统计整体视频流的帧率、流量、 预测流量、丢包率和时延抖动；对数据业务进行细粒度划分，分为即时消息和文 件数据，即时消息对实时性要求较高，统计其流量、时延、误码率，文件数据对准确性要求较高，统计其流量与误码率。通过上述的对业务的多维细粒度描述和 测试，可以实现对多媒体业务的深层实时监测，并动态评估网络性能与信道特性。
实施例4结合图7说明本实用新型多媒体终端的使用。
本实用新型可以有若干个多媒体终端，通过网线连入因特网，每个多媒体终 端包括一个以DM642为核心的嵌入式板卡、 一个摄像头、 一个耳机、 一个麦克 和一个显示器。
下面是本实施例所述多媒体终端作为主叫方与另一多媒体终端进行通信时 的操作步骤
(1) 上电后，显示开机画面，等待用户操作；
(2) 用户通过键盘进行拨号，按呼叫按钮后发起呼叫，如果呼叫失败则耳机 播放忙音，如果呼叫成功，耳机中播放回铃音，对方摘机后连接成功，用户可以 通过耳机进行语音通信，同时显示器显示对端视频画面；
(3) 用户挂机，呼叫结束，显示器返回菜单画面。 本实施例作为被叫方时的操作步骤如下
(1) 显示器显示有呼叫，同时耳机中播放振铃音，提示用户接听；
(2) 用户按呼叫按钮后连接成功，用户可以通过耳机进行语音通信，同时显示 器显示对端视频画面；
(3) 用户挂机，呼叫结束，显示器返回菜单画面。
本实施例所述的多媒体终端不但可以向用户提供文字、语音和视频通信，还 可以在显示器上实时动态监测文字、音频、视频业务的多维细粒度参量数据，进 而评估网络性能与信道特性。
权利要求1、一种能动态分析与显示多维细粒度业务参量的多媒体终端，结构有中央处理器部分、音频部分、视频部分、通信部分和人机交互部分，其特征在于，DSP中央处理器部分包括数字信号处理器DM642、两片存储器SDRAM、闪存FLASH和FPGA逻辑电路其中，数字信号处理器DM642通过GPIO口与FPGA逻辑电路连接，存储器SDRAM和闪存FLASH都连接数字信号处理器DM642，FPGA逻辑电路分别连接数字信号处理器DM642和视频部分的视频D/A芯片SAA7105；音频部分包括音频AD/DA芯片AIC23、麦克和扬声器麦克和扬声器分别与音频AD/DA芯片AIC23的麦克输入端和线性输出端连接，音频AD/DA芯片AIC23与数字信号处理器DM642连接；视频部分包括视频A/D芯片SAA7115、D/A芯片SAA7105、摄像头和显示器视频A/D芯片SAA7115与数字信号处理器DM642连接，摄像头与A/D芯片SAA7115的复合输入端连接；视频D/A芯片SAA7105与DSP中央处理器部分的FPGA连接，显示器经VGA输出与D/A芯片SAA7105连接；通信部分包括以太网接口模块、RS232电平转换模块和串口模块以太网接口模块连接DSP中央处理部分的数字信号处理器DM642；RS232电平转换模块分别连接串口模块和DSP中央处理器部分的FPGA；串口模块连接RS232电平转换模块；人机交互部分包括键盘和显示器所述的显示器，为计算机显示器，通过VGA接口与多媒体终端连接；所述的键盘，包括4×6键盘阵列和芯片ZLG7290；4×6键盘阵列连接芯片ZLG7290；芯片ZLG7290连接DSP中央处理部分的数字信号处理器DM642。
2、 按照权利要求1所述的能动态分析与显示多维细粒度业务参量的多媒体 终端，其特征在于，所述的4x6键盘阵列，由两组线交叉而成； 一组为芯片 ZLG7290的管脚DIG1、 DIG2、 DIG3、 DIG4，另一组为芯片ZLG7290的管脚SEGB、 SEGC、 SEGD、 SEGE、 SEGF、 SEGG;芯片ZLG7290的管脚SDA、 SCL、INT、 GND、 VCC分别与DSP中央处理器部分的数字信号处理器DM642的管脚SDA、 SCL、 GPI04、 GND、 VCC相连。
3、按照权利要求1或2所述的能动态分析与显示多维细粒度业务参量的多媒体终端，其特征在于，所述的4x6键盘阵列，键盘一共有24个按键，分为三个功能区字符区、功能区和参量统计区。
专利摘要本实用新型属于嵌入式多媒体网络通信的技术领域，具体涉及一种能动态分析与显示多维细粒度业务参量的多媒体终端。本实用新型包括一个以DM642为核心的嵌入式板卡、一个摄像头、一个显示器、一个耳机和一个麦克。其中嵌入式板卡包括DSP中央处理器部分、音频部分、视频部分、通信部分和人机交互部分。人机交互部分的键盘基于数字信号处理器DM642的一个GPIO和芯片ZLG7290设计，灵活简单、占用资源少，能输入命令、字符、汉字。此终端向用户提供了全面的、实时的、可视化的、个性化的业务参量数据，并对嵌入式多媒体终端的科研与开发提供了良好的参考信息，具有一定的实用价值。
文档编号H04N17/00GK201409209SQ20092009324
公开日2010年2月17日 申请日期2009年3月23日 优先权日2009年3月23日
发明者吴伟刚, 李坤和, 王雅辉, 祝宇鸿, 籍风磊, 迟学芬, 顾海军 申请人:吉林大学