专利名称：面向多媒体类仪器设备的嵌入式软件应用框架及应用的制作方法
技术领域：
本发明涉及一种数字化多媒体类仪器设备的嵌入式系统的开发方法 及装置，特别指一种应用软件框架快速开发多媒体类仪器设备的嵌入式系 统的方法及装置。
背景技术：
音视频技术、通信和图像技术等多媒体技术与数字化仪器的结合，赋 予了仪器设备新的功能业务，大量的多媒体类仪器设备(比如消费电子和 视频监控等)规模呈爆炸性增长。目前，在生产生活领域，多媒体类仪器 设备的应用范围广阔，应用需求日益更新。现有的数字化多々某体类仪器设备的结构一般如图1所示，包括主处理单元100、音频输A/输出模块110、 视频输入/输出模块120， UI交互模块140以及其他交互接口 130。主处理 单元100以嵌入式处理器或DSP处理器101为核心，带有存储器102进 行应用程序存储和数据存储。音频输入/输出模块110，连接到主处理单元 100，并通过话筒111等进行音频数据采集，采集到的数据通过音频编解 码器113进行编码，编码音频数据可以通过音频编解码器113进行解码扬 声器112输出。视频输入/输出模块120，连接到主处理单元IOO，并通过 摄像头121等进行视频数据采集，采集到的数据通过视频编解码器123进 行编码，接收到的编码视频数据可以通过视频编解码器123进行解码LCD 122等显示输出。其他交互接口 130，包括调试接口 131、 USB接口 132 或LED显示133等等，实现用户的其他人机操作。UI交互模块140,用 户通过GUI界面和键盘等对设备进行操作。多媒体类仪器设备一般采用嵌入式处理器或DSP处理器，实现系统 的高性能要求，而且系统的功能繁复，所以面向该领域的系统开发十分复 杂和多样化，为系统的快速开发带来了阻碍。框架是一项有效的软件复用技术，近年来成为软件工程的研究热点， 是实现软件开发标准化、可重用性和可扩展性的有效途径，而且在嵌入式系统领域也已经有较多的应用成功的例子。框架反映了 一个特定领域的软 件体系结构，为软件开发提供了设计和代码复用。研究开发一个面向多媒 体类仪器设备的嵌入式系统的软件框架，对系统开发是具有指导意义和工 程价值的。应用软件框架进行多媒体类仪器设备嵌入式系统快速开发是有 效提高开发效率、保证系统可靠性和便于系统维护的一个发展方向。发明内容本发明提供了 一种面向多媒体类仪器设备的嵌入式软件应用框架。一种面向多々某体类仪器设备的嵌入式软件应用框架，包括UI系统才莫块，用于完成系统资源和设备初始化，包括编解码Codec 库、显示渲染Render设备、协议栈，进行用户界面交互、定义定时事件 和网络多媒体协议传输事件；播放和事件处理模块，用于解析音视频编码类型，创建音视频解码线 程；包括用于解码输出视频数据的视频解码模块、用于解码输出音频数据 的音频解码才莫块、用于完成音^f见频緩冲区管理和^L音频同步功能、处理用 户事件和网络多媒体数据到达事件的事件处理模块；网络发送数据模块，用于与DSP协处理器交互，根据UI系统模块定 义的定时参数，定时从DSP协处理器获取音视频编码数据；接收到的数 据采用RTP打包通过网络发送，或本地存储。所述的UI系统模块支持流媒体类协议、电话呼叫类协议、网络传输 类协议。本发明多媒体类仪器嵌入式软件应用框架是经过功能验证的，设计合 理；开发者可在开发装置提供的开发环境中，像，塔积木一样方便地组合资 源搭建应用系统，大幅度节省了时间，并提高了软件质量。本发明还提供了 一种应用上述嵌入式软件应用框架快速开发多媒体 类仪器嵌入式系统的装置。一种基于上述方法快速开发多媒体类仪器嵌入式系统的装置，包括(a) 面向多媒体类仪器设备的系统支撑，提供一套基于多种典型嵌 入式处理器的硬件平台，面向硬件平台的板级支持包BSP (Board Support Package)和驱动程序，以及嵌入式操作系统SmartOSDI;(b) 图形化集成开发环境IDE( Integrated Development Environment )，
集成了面向多媒体类仪器设备的嵌入式软件应用构件库和嵌入式软件应 用框架，实现对嵌入式软件应用构件库和嵌入式软件应用框架的管理和使 用，为嵌入式系统的开发提供了工具和环境。所述的嵌入式软件应用构件库，包括图形用户构件库，用于提供一组GUI应用程序开发的接口支持； 数据管理构件库，用于提供基于"键-数据"的数据管理接口支持； 信号及图像处理算法构件库，用于提供多媒体类仪器设备应用的音视频信号及图像处理算法支持；数字化仪器专用接口构件库，用于提供多媒体类仪器设备应用的通讯接口等支持；多媒体专用构件库，用于提供网络多媒体通讯协议、流媒体传输协议 和网络多媒体传输QoS控制支持。所述的多媒体专用构件库支持网络多媒体通讯协议，包括H.323协议和SIP协议；流々某体传输协议，包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM 等协议；网络多媒体传输QoS控制，包括自适应抖动緩沖、音视频同步和视频 传输策略。本发明开发装置为多媒体类仪器设备嵌入式软件应用框架提供应用 开发的工具和环境。本发明进一步提供了一种基于上述装置快速开发多媒体类仪器设备 嵌入式系统的方法。一种基于上述装置快速开发多媒体类仪器设备嵌入式系统的方法，包 括以下步骤步骤501 ，针对具体的多媒体类仪器设备进行应用需求分析； 步骤502,在开发装置中搭建硬件平台和内核系统； 步骤503，在图形化集成开发环境中对嵌入式软件应用框架进行具体 的适应性〗务改；步骤504，生成嵌入式系统代码；步骤505,对生成的嵌入式系统代码进行交叉编译，下栽至目标板完 成嵌入式系统设计。
本发明方法基于嵌入式软件应用框架和嵌入式软件应用构件库，实现 了多媒体类仪器设备嵌入式系统开发的标准化、模块化、构件化和重用性。很好地实现了系统的模块化和；同时构件库和应用框架所包含的软件元件 都是已经通过功能验证的，保证了系统的合理性和可靠性。同时嵌入式软 件应用框架提供了 一套框架原始代码，无需更改就可以生成可执行的多媒 体类仪器设备嵌入式软件程序，对框架原始代码进行替换和修改，即可达 到符合具体多士某体应用的系统需求。
图l为现有数字化多媒体类仪器设备的硬件系统结构示意框图； 图2为本发明面向数字化多媒体类仪器设备嵌入式系统的软件应用框 架的结构示意框图；图3为本发明开发装置的结构示意框图；图4为多々某体专用构件库的结构示意框图；图5为本发明快速开发多媒体类仪器设备嵌入式系统的流程图。
具体实施方式
如图2所示， 一种面向多媒体类仪器设备的嵌入式软件应用框架，包括UI系统模块200,用于完成系统资源和设备初始化，包括编解码Codec 库、Render设备、协议栈等，支持的多媒体网络协议包括流媒体类协议 (RTSP、 MMS、 HTTP),电话呼叫类协议(H.323、 SIP、 MGCP)，网络 传输类协议(RTP、 RTSP、 UDP)等；接收用户界面事件，包括快进、停 止、开始播放、以及其他呼叫等操作，并通知事件处理模块213;定义定 时事件和网络多媒体协议传输事件。播放和事件处理模块210，用于解析音视频编码类型，创建音视频解 码线程，包括视频解码模块211,用于解码输出视频数据；音频解码模块212，用于解码输出音频数据；事件处理模块213，用于完成音视频緩沖区管理和视音频同步功能、 处理用户事件和网络多媒体数据到达事件。 网络发送数据模块220，用于与DSP协处理器交互，根据UI系统模块定义的定时参数，定时从DSP协处理器获取音视频编码数据；接收到的数据采用RTP打包通过网络发送，或本地存储。如图3所示， 一种数字化多媒体类仪器设备嵌入式系统开发装置，包括面向多媒体类仪器设备嵌入式系统支撑400，提供了面向多媒体类仪 器设备的基于多种典型嵌入式处理器的硬件平台401、基于多种典型嵌入 式处理器的板级支持包BSP及驱动程序402,以及面向数字化仪器设备的 嵌入式操作系统SmartOSDI 403 。图形化集成开发环境410，以图形化的形式向开发者提供了工具和资 源。包括编辑器、编译器和调试工具等，各种交叉编译环境，利用构件库 和框架进行系统快速开发的工具，对构件库和框架进行二次开发的工具。图形化集成开发环境410集成了多々某体类仪器设备嵌入式软件应用构 件库411，包括图形用户构件库414、数据管理构件库415、信号及图像处 理算法构件库416、数字化仪器专用接口构件库417和多媒体专用构件 418,供框架实现开发调用。图形化集成开发环境410集成了多媒体类仪器设备嵌入式软件应用框 架412,提供复用代码，系统开发者可以对原始代码进行替换和删减等操 作，最终获得系统软件代码。同时，图形化集成开发环境410提供了对多媒体类仪器设备嵌入式软 件应用构件库的扩展实现414,为应用的需求更新提供实现机制。如图4所示，多媒体专用构件库实现了网络多々某体通讯协议300、流 媒体传输协议310和网络多媒体传输QoS支持320。网络多媒体通讯协议 300包括H.323协议支持和SIP协议支持。流媒体传输协议310包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM等协议支持。网络多媒体传输QoS 支持320包括自适应抖动緩冲、音视频同步和视频传输策略等。如图5所示，应用软件框架快速开发数字化多媒体类仪器设备嵌入式 系统的流程如下首先针对具体的多媒体类仪器设备系统进行需求分析 501;在图3提供的开发平台装置上进行应用系统的硬件平台及系统内核 的搭建502;在集成开发环境IDE中对多媒体类仪器设备嵌入式软件应用 框架作具体需求的适应性修改503;框架适应性修改，进行代码替换或删
减后，就可以生成具体的应用系统代码504，通过交叉编译等步骤后下载 至目标板即可完成系统开发505。
权利要求
1.一种面向多媒体类仪器设备的嵌入式软件应用框架，其特征在于包括用户接口UI系统模块(200)，用于完成系统资源和设备初始化，包括编解码Codec库、显示渲染Render设备、协议栈，进行用户界面交互、定义定时事件和网络多媒体协议传输事件；播放和事件处理模块(210)，用于解析音视频编码类型，创建音视频解码线程；包括用于解码输出视频数据的视频解码模块(211)、用于解码输出音频数据的音频解码模块(212)、用于完成音视频缓冲区管理和视音频同步功能、处理用户事件和网络多媒体数据到达事件的事件处理模块(213)；网络发送数据模块(220)，用于与DSP协处理器交互，根据UI系统模块(200)定义的定时参数，定时从DSP协处理器获取音视频编码数据；接收到的数据采用实时传输协议RTP打包通过网络发送，或本地存储。
2. 如权利要求1所述的嵌入式软件应用框架，其特征在于所述的 UI系统模块(200)支持流媒体类协议、电话呼叫类协议、网络传输类协 议。
3. —种应用如权利要求1-2任一所述嵌入式软件框架快速开发多媒 体类仪器设备嵌入式系统的装置，包括(a) 面向多媒体类仪器设备的系统支撑，提供一套基于多种典型嵌 入式处理器的硬件平台，面向硬件平台的板级支持包BSP和驱动程序，以 及嵌入式操作系统SmartOSDI;(b) 图形化集成开发环境IDE，集成了面向多媒体类仪器设备的嵌 入式软件应用构件库和嵌入式软件应用框架，实现对嵌入式软件应用构件 库和嵌入式软件应用框架的管理和使用，为嵌入式系统的开发提供了工具 和环境。
4. 如权利要求3所述的装置，其特征在于所述的嵌入式软件应用 构件库，包括图形用户构件库，用于提供一组图形用户接口 GUI应用程序开发的接 口支持；数据管理构件库，用于提供基于"键-数据"的数据管理接口支持； 信号及图像处理算法构件库，用于提供多媒体类仪器设备应用的音视频信号及图像处理算法支持；数字化仪器专用接口构件库，用于提供多媒体类仪器设备应用的通讯 接口等支持；多媒体专用构件库，用于提供网络多媒体通讯协议、流媒体传输协议 和网络多媒体传输QoS控制支持。
5. 如权利要求4所述的装置，其特征在于所述的多媒体专用构件 库支持网络多々某体通讯协议，包括H.323协议和SIP协议； 流+某体传输协议，包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM 等协议；网络多媒体传输QoS控制，包括自适应抖动緩冲、音视频同步和视频 传输策略。
6. —种基于如权利要求3所述装置快速开发多i某体类仪器设备嵌入 式嵌入式系统的方法，其特征在于包括以下步骤步骤501,针对具体的多媒体类仪器设备进行应用需求分析； 步骤502，在开发装置中搭建硬件平台和内核系统； 步骤503，在图形化集成开发环境中对嵌入式软件应用框架进行具体 的适应性^^改；步骤504,生成嵌入式系统代码；步骤505,对生成的嵌入式系统代码进行交叉编译，下载至目标板完 成嵌入式系统_没计。
全文摘要
本发明公开了一种应用软件框架快速开发多媒体类仪器设备嵌入式软件系统的方法与装置。该方法提供了一个面向多媒体类仪器设备的嵌入式软件应用框架，它建立在一组面向数字化多媒体类仪器设备的嵌入式软件应用构件库基础上，特别是一个多媒体专用构件库。本发明实现了多媒体应用系统的业务功能流程，还提供功能强大的音视频编解码器。应用上述方法，一个多媒体类仪器嵌入式系统的平台装置，为快速开发提供了工具和环境支撑。由于本发明的面向多媒体类仪器设备的嵌入式软件应用框架是已经通过功能验证的，大幅度缩短了开发周期，提高了软件质量，并达到了系统软件标准化、模块化和重用性。
文档编号H04N7/26GK101166274SQ20071006995
公开日2008年4月23日 申请日期2007年7月12日 优先权日2007年7月12日
发明者夏一行, 陈耀武 申请人:浙江大学