专利名称：影像处理方法
影像处理方法
技术领城
本发明涉及影像处理方法，特别涉及由于对音频媒体数据进行緩 冲并存储、缩小元数据的大小，从而能够存储更长时间的动态影像数 据的影像处理方法。
背景技术：
现在乃至将来的通信环境超越了有线和无线领域的划分，以及地
域和国家的划分，正在发生急剧的变化。尤其是以IMT-2000等大致划 分的未来通信环境，有向为用户在实施过程中提供或综合提供包括影 像及音频在内的用户所需要的多样化信息的环境的方向发展的趋势。
另外，个人便携式通信系统的发达程度，已从赛璐珞电话或PCS 等单纯的声音通信层次脱离，达到了文字传输，甚至利用个人手机终 端进行无线网络链接等，从而达到了能够获取丰富信息的程度。
尤其是将动态影像加工成数字数据，在实施过程中传输，接收并 显示的数字电视系统，从以前的单纯传输影像(声音)的层次更进一 步发展，为最大限度发挥数字信息优点而进行了一系列研究，并取得 了可观的成果。
特别是将影像信号压缩加工成数字数据，将更快、更丰富的高速、 高画质的信息量，在实施过程中传输的研究已取得了成果，实现了相 当水平的商业化或有望实现商业化，此类动态影像信息的传输以卫星
播放为代表，正处于提供地上波播放系统(有时为有线播放系统)的 阶段。
现在大部分终端中存储动态影像信息最为普遍的格式为MPEG-4文 件格式，是以IS0/IEC 14496定义，在APPLE史上以快速文件格式(Quick Time File Format)为基石出制作。
MPEG-4文件格式由被称为元素(Object) 或单元(Atom)(在 Quick Time File Format中使用的是单元)的具有特别型号和大小的 块构成。
图1是普通的手机终端的动态影像录制及播放过程的说明图。如 图所示，通过手机终端上的摄像机拍摄的影像或通过话筒录制的音频 信号，在影像编码器101和音频编码器102中被编码。
在上迷影像编码器101和音频编码器102中被编码的信号，根据 MPEG-4文件格式，分出媒体数据(Media Data )105和元数据(Meta Data ) 106并被存储。
上述媒体数据105将在上述影像编码器101和音频编码器102中 经编码后转换的音频信息和影像信息，存储在视频数据单元(Movie Data Atom('mdat'))文件中，上述元数据106将顺畅播放所必需的、 上述媒体数据IO5中存储在视频单元(Movie Atom('moov'))文件中 的音频及影像的编码信息。
如上所述，在媒体数据105和元数据106中存储的音频及影像编 码信息，凭借影像解码器108和音频解码器109恢复为影像信号和音 频信号。
在上述影像解码器108和上述音频解码器109中，复原的媒体数 据信号通过手机终端的液晶显示器(LCD)和喇p八播放。
图2是普通动态影像文件格式的结构示意图。如图所示，根据 MPEG-4文件格式表示出了媒体数据和元数据存储模式。
上迷媒体数据以视频数据单元C mdat')格式存储已编码的音频和 影像数据，在元数据中以视频单元('moovO文件格式存储，在播放存 储的音频和影像数据时为能够顺畅播放所需要的媒体数据信息。
更为详细的说明，将上述々某体数据在录像机或音响取样的读取单 元中存储，称作为媒体数据的读取单元取样。
存储上述元数据的视频单元C raoov')文件包含媒体数据信息，还 包括磁道的个数，压缩技法，时间信息，各取样的索引等信息。通过 压缩技法信息，通知各媒体数据通过哪一解码器播放，时间信息在动 态影像播放时，使各取样在时间上可以同步进行，从而能够同步播放。
图3是普通动态影像文件格式中能够存储顺畅播放的影像及音频 数据信息的单元结构示意图。
如图3所示，视频单元('moov')文件包括存储与视频(Movie) 相关的普通信息的视频头单元(Movie Header Atom);表示存储输出 入装置(IOD)部分的目标描述符单元(Object Descriptor Atom); 表示媒体(Media )开始的磁道单元(Track Atom);存储与磁道(Track ) 相关的信息的》兹道头单元(Track Header Atom);表示处理f兹道的元 数据)时必须参照的磁道的磁道参照单元(Track Reference Atom); 表示磁道标识部分(IDs )的磁道参照类型单元(Track Reference Type Atom);处理磁道的元数据时表示必须参照的磁道的媒体单元(MediaA torn );存储与媒体相关的普通信息的媒体头单元(Media Header atom); 表示磁道内的士某体为某种类型的处理单元(Handle Atom);存储与媒 体相关的详细信息的^某体信息单元(Media Information Atom);存储 媒体类型及信息的媒体信息头单元(Media Information Header Atom); 能够记录接收到的纟某体数据的详细信息的取样图表单元(Sample Table Atom );记录取样持续(Duration )信息的定时取样单元(Time To Sample Atom);记录取样解码必要的信息的取样描述单元(Sample Duration Atom);记录取样的大小的取样规格单元(Sample Size Atom);记录 取样的集合组块(Chunk )信息的取样组块单元(Sample To Chunk Atom ); 记录从文件开始到组块为止的补给(Offset)信息的組块补给单元 (Chunk Offset Atom);支持随机存取(Random Access)功能的同步 取样单元(Sync Sample Atom)。
一般情况下，录制动态影像时，影像媒体数据使用每秒10-15图 像的MPEG-4或H. 2 6 3数据，就音频媒体数据而言，声音使用AMR 、 QCELP 、 EVRC,高音质使用ACC。
手机终端录制动态影像时，媒体数据在实施过程中存储在闪存中。 而，媒体数据存储于普通存储器的情况下，录制结束后，若将全部数 据存储于闪存中则需要大量的时间。
尤其是元数据在录制完成时，在一部分文件中被存储，当长时间 录制的情况下，元数据的信息量增大，录制完成后，元数据的信息存 储则需要大量的时间。
如上所述的实施过程中在闪存中存储数据时，现有技术条件下将
影像数据和音频数据(媒体数据)交叉(Interleaved)存储，在此情 况下，为了播放4某体数据所必需的元数据增加，存储时间变得更长。
使用如上所述的交叉方式进行存储时，元数据的大小可用以下的 数学式表示
数学式1
<formula>formula see original document page 8</formula>A:被固定的元数据的大小，M: 'stts'单元的登录计算 (EntryCount )， N: ' stsz'单元的登录计算，P: 'stsc'单元的登录 计算，Q: 'stC(/单元的登录计算，Y: ' stss'单元的登录计算。
为了欧洲型终端的所需视频(Video On Demand: V0D),多々某体 服务(MulU Media Service:醒S), 3GP中的动态影像录制时，建议 影傳Jf某体数据使用MPEG-4简单协议子集(Simple Profile)以及音频 媒体数据使用AMR。
根据3GPP的建议方案，每秒15图像的MPEG—4数据在影像媒体数 据内的任意一个取样具备67ms或66ms单位的可变大小，AMR数据在最 高比特率时，音频媒体数据内任意一个取样具备20ms单位或32byte 的大小。
在实施过程中对这样的媒体数据进行存储时，依据数学式1需要 4MB的元数据。这样的元数据在动态影像录制结束时，在闪存中存储 顿B的数据的情况下，存储时间包括运算过程在内大约需要在10秒以 上。
这样^(某体数据内的取样数量增加时，所需元数据的大小会变大， 所以在进行长时间录制时，就有必要缩短元数据的存储时间。
尤其是，依据以上数学式l，由于取样的数量和大小不能随着编码 方式而变动的缘故，为了缩小元数据就必须减少媒体数据的块数以及
Q, P的值。
发明内容
本发明的目的在于，在动态影像录制时，音频数据经緩沖后存储， 影像数据在实施过程中存储在存储器中，所以能够减少媒体数据的块 数，以此提供缩小元数据的大小，缩短动态影像的存储时间的影像处 理方法。
为了实现上述目的，本发明的影像处理方法，其特征在于包括以 下部分
对影像及音频数据解码后的取样步骤；
将上述取样的影像数据在实施过程中存储于存储器中，上述音频
数据在緩冲器中緩沖的步骤；
判断上述音频数据緩冲是否结束的判断步骤；
判断上述音频数据緩冲已经结束时，将音频数据存储在上述实施 过程中存储影像数据的存储器中的存储步骤；
以及为了播放存储在上述存储器中的影像及音频数据，产生并存 储元数据的步骤。
这里，其特征在于，上述音频数据的緩冲还没有结束的情况下， 由于存在要录制的动态影像数据，所以，接下来的影像及音频数据在
解码之后取样的步骤；与将上述取样的影像数据在实施过程中存储亍 存储器中，上述音频数据在緩冲器中緩沖的步骤互相重复。
另外，其特征在于，在上述存储器中对实施过程中录制的影像数 据进行存储后，存储音频数据，存储在被大致划分的两个数据块中。 存储于上述存储器中的影像数据及音频数据生成元数据并存储，可使 存储时间缩短。
依据本发明，由于动态影像录制时音频数据经緩沖后存储，影像 数据在实施过程中存储于存储器中，媒体数据的块数减少，所以可使 元数据的大小减小，缩短动态影像的存储时间。
图4是根据动态影像文件的緩沖时间所需的存储器的坐标图。如 图所示，才艮据緩沖时间(Tb)的不同，存储器的大小(MN)分步骤增 加。
一般情况下，音频数据緩冲期间加进影像数据时，此影像数据无 法处理的话，就会造成影像数据的丢失。
另外，现有的音频数据和影像数据存储在一个块单元中时，就存 在存储器的存储时间过长的缺点。
另外，在实施过程中将音频数据和影像数据交叉存储在闪存中的 情况下，长时间录制时，数据的块数增加，随之而来的元数据的大小 增加，存储时间大幅延长。
如图4所示，在音频数据緩冲期间加进影像数据时，为了存储影 像数据，存储器使用容量有急剧增加的倾向。
这样，存储器的大小随着时间的变化而急剧增加的话，存储时间 也净皮大幅延长。
所以，本发明中，音频数据在緩冲器中緩冲期间，影像数据直接 存储在闪存中，录制结束后，再将緩冲器中存储的音频数据存储在闪 存中，所以虽然数据的量相同，但块数却被减少了。
即，在媒体数据中划分为影像数据和音频数据两个块，由于元数 据的大小缩减，所以能够缩短存储时间。
如以上所详细记述的，本发明在动态影像录制时，音频数据緩冲， 影像数据在实施过程中存储在存储器中，所以作为播放的控制信息的 元数据量减少，在长时间存储动态影像时，具有可使存储时间缩短的 优点。
图l是普通的手机终端中动态影像录像及播放过程说明图； 图2是普通动态影像文件格式的结构示意图3是普通动态影像文件格式中顺畅播放影像及音频数据的存储 信息的单元结构示意图4是根据动态影像文件的緩沖时间所需的存储器的坐标图5是本发明中动态影像文件緩冲模式示意图6是本发明中动态影像文件的存储过程流程图;
附图中主要部分的符号说明
101:影^象编码器
102:音频编码器
105:媒体数据
106:元数据
108:影像解码器
109:音频解码器
具体实施例方式
以下将参照附图对本发明优选的实施例进行详细说明。 图5是本发明中动态影像文件緩冲模式示意图。
如图5所示，(A)表示的是现有技术条件下影像数据和音频数据 交叉存储；(B)表示的是本发明所建议的首先将影像数据在实施过程 中存储于闪存后，再存储音频数据。
如图(A)所示，在现有的技术条件下，由于以交叉存储的方式存 储影像数据和音频数据，所以分别产生影像数据的数据块和音频数据 的数据块，从整体上来说，导致数据块的数量变得相当之大。
但是，在图(B)中，音频数据在緩冲器中緩冲，影像数据在实施 过程中在闪存中存储的情况下，存储的数据块被划分为影像数据块和 音频数据块两种。
这样一来，由于数据块的减少，元数据量也减少。
1秒(1000ms )之间闪存中存储的数据块(A )和(B )互相比较的 话，虽然数据量相同，但现有技术条件下的块的数量明显增多，元数 据的存储时间也大幅延长。
图6是本发明中存储动态影像文件的存储过程流程图。
如图6所示，将音频数据和影像数据解码后，为了播放这些数据， 将编码的音频和影像数据进行解码。
此时，为了播放数据，先判断欲解码的音频和影像数据的解码是 否结束，若已完成解码，播放音频和影像数据时，则产生用于控制的 信息(Meta data)。 ( S501， S512, S513, S514 )
即，对存储器中存储的影像数据和音频数据实施生成元数据的操作。
本发明中，将影像数据和音频数据分别存储于闪存中各自的一个 数据块中，所以，元数据的生成量显著减少。
倘若，为了播放，解码的音频及影像数据存在的情况下，音频数 据经取样后，在緩冲器中緩冲(S501,S505 ),影像数据取样后，将其 緩冲后直接存储于闪存中。(S501， S502， S503， S504 )
首先，对解码的音频数据和影像数据取样后，数据量较小的音频 数据在緩冲器中緩冲。(S501，S505 )
此时，对影像数据取样后，使其时间和取样大小与取样平台相对 应进行緩冲，然后，直接存储在闪存中。(S501，S502，S503,S504 )
但是，音频数据在取样后，存储于緩冲器中以后，计算出想要播 放的取样数(满足想要播放的时间)。即，音频数据在闪存中存储影像 数据之后，因最后被存储的缘故，在录制和播放期间持续緩冲。
(S505,S506，S507 )
这样，在播放期间音频数据在緩冲器中緩冲，为了播放按周期核 对緩沖的数据量。(S508 )
播放上述音频数据期间，判断緩冲已经结束时，实施间在闪存中 存储影像数据之后，存储音频数据。(S508，S509，S510， S511)
因此，本发明中，录制时，被解码的影像数据和音频数据中，影 像数据在实施过程中被存储在存储器中，至于音频凝:据在播放期间緩 冲后，最后存储于存储器中，存储器被划分为两个数据块。
对于如此划分的数据块，在播放元数据时，可使元数据的大小显 著缩小，动态影像的存储时间缩短。
本发明并不仅限于以上对实施例所做的说明，本领域熟练技术人 员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。
权利要求
1、一种影像处理方法，其特征在于，包括以下部分对影像及音频数据解码后的取样步骤；在实施过程中，将上述取样的影像数据存储于存储器中，上述音频数据在缓冲器中缓冲的步骤；判断上述音频数据缓冲是否结束的判断步骤；判断上述音频数据缓冲已经结束时，将音频数据存储在实施过程中存储上述影像数据的存储器中的存储步骤；以及为了播放存储在上述存储器中的影像及音频数据而产生并存储元数据的步骤。
2、 如权利要求1所述的影像处理方法，其特征在于，上述音频数据的緩冲还没有结束的情况下，由于存在要录制的动 态影像数据，所以，接下来的影像及音频数据在解码之后取样的步骤；和在实施过程中将上述取样的影像数据存储于存储器，上述音频数 据在緩、冲器中緩冲的步骤相互重复。
3、 如权利要求1所述的影像处理方法，其特征在于，在上述存储器中对实施过程中录制的影像数据进行存储后，存储 音频数据，存储在被大致划分的两个数据块中。
4、 如权利要求1所述的影像处理方法，其特征在于， 存储于上述存储器中的影像数据及音频数据生成元数据并存储， 使存储时间缩短。
全文摘要
本发明涉及对音频媒体数据(Audio media data)进行缓冲存储，缩减元数据(Meta-data)的大小，从而能够存储长时间的动态影像数据的影像处理方法。本发明包括以下步骤对影像及音频数据解码后的取样步骤；在实施过程中将上述取样的影像数据存储在存储器中，而上述音频数据在缓冲器中缓冲的步骤；判断上述音频数据缓冲是否结束的判断步骤；判断上述音频数据缓冲已经结束时，在上述实施过程中将音频数据存储在存储影像数据的存储器中的存储步骤；以及为了播放存储在上述存储器中的影像及音频数据，生成并存储元数据的步骤。
文档编号H04N9/802GK101102518SQ20061008633
公开日2008年1月9日 申请日期2006年7月7日 优先权日2006年7月7日
发明者郑仁鸿, 金玟捻 申请人:乐金电子(昆山)电脑有限公司