专利名称：便携式图像终端机的音频和视频同步方法
技术领域：
本发明涉及一种图像终端机，尤其涉及在可视通话或录像等移动 图像模式时，解决摄像机产生的音频和视频不同步问题的便携式图像 终端机的音频和^见频同步方法。
背景技术：
图1是便携式多媒体移动通信系统构成示意图。第1多媒体移动
终端机(以下称图像终端机)l通过与移动通信网络4进行无线链接3, 与第2图像终端机2进行通信。2个终端机1, 2间不仅进行多媒体传输， 而且也传输控制数据。
为了进行可视通话，所述图像终端机1，2将通过摄像机捕获到的图 像调制后传输给对方。与此同时，从对方接收多媒体数据，并依靠内 部的多士某体数字信号编解码器进行解调后，通过显示装置7和扬声器 进行播放，这样便能够实现与对方间的可视通话。
对原有的可视电话来说，并没有考虑到以下情况在使用可视电 话期间，摄像机被关闭，或者在传输音频和视频过程中，突然关闭视 频。因此，如果发生这种情况，依据音频/视频同步设定方式，必须使 音频/视频同步中断。
原有的可视电话同步设定方式是利用H.263的图像层(Picture layer) 的时间参数(TR: Temporal Reference)数值对照的。时间参数(TR)在设定 帧频(framerate)时使用，根据所设定的帧频，来决定各帧间的间隔。该
间隔的和为时间参数。时间参数为8bit，拥有0 255间的数值，该数值 如果比255大，便重新从O开始计算。视频压缩由一张一张的画面压 缩而成，所以每当对一帧进行压缩时，便生成图像层(Picture layer),此 时便具有计算的时间参数(TR)数值。因此，在视频压缩结束前一起持 续进行，具有该数值便能够同步。
图2是R263数据流的图像层构成示意图。被压缩的各帧都有图 像层，在图像启始码(PSC: Picture Start Code) 22bit后，时间参数(TR) 数值到8bit。
H.263比特数据流具有如图2所示的形式。对各部分的叙述 (descriptor)如下。
图像启始码(PSC; picture start code)显示图像的开始。时间参数(TR; Temporal Reference)通过以下方法形成按照时间在以前传输数据以后 省略以前参照图像数据头的数值，或加上非参照图像的数增加1形成。
图像类型(PTYPE)包含详细的图像调制类型，即包含企业内部 网或因特网。PQUANT依靠任何双方话机信息进行更新前，它所显示 的是图像被使用的双方话机调制语。CPM是持续存在多点和使用视频 多路传输(Continuous Presence Multipoint)模式信号的符号语。如果只 对PSBI图像子比特数据流图像器-CPM进行设置时，存在TRB帧双向 预测的帧时，存在(由PB-帧可知)DBQUANT双方向帧时，存在PEI是 关于剩余插入信息的，为了显示下一选项的数据区(PSUPP和PEI)的存 在，将其设置为'T'。 PSUPP和PEI—起作为补充扩展信息，作为附加 在H.263的附录L中定义。
这里，所述时间参数显示被设定的比特率或帧率的帧间间隔，它
是在0 255之间的数值。所述时间参数数值存在如下关系TR(Current) =TR(Previous) + frame interval ， (0^TR<256， TR是固定数)。
因此，利用计算出的时间参数数值，便能够知道应该跳过(SKIP) 的输入帧的数量。因此，便能够使音频和视频间同步。
例如，如果使用按照每秒30帧(30 fps)输入的摄像机，按照每秒 7.5Qjs进行R263压缩，在理想的情况下，每帧间的间隔为4，并表现 出0， 4, 8,12，...，252， O，...的构成形态。
图3是理想情况下每秒输入30帧(30fys)的摄像机按照7.5fJ3S进行 压缩时，时间参数和音频、视频间的同步。通过这种方式能够进行可 视通话。
如果正在进行可视通话，关闭摄像机，或者没有输入时，按照摄 像机的设定，在现有的可视电话中，视频便会处于暂时中止状态。此 时，H.263的时间参数数值的增加便会停止。在这种情况下，视频虽然 中止，但是音频还会继续压缩并传输，对方便能够听到声音。这里， 如果重新开启摄#4几的设定，便会出现图4的状态。
如图4所示，摄像机时间参数为8时(T1)停止，视频多媒体数字信 号编解码器便会停止运行。此时，音频继续输出，在打开摄像机(T2) 前，继续出现视频延迟(Videodelay)(Tl-T2)。即使摄像机正常工作，因 为无法与实际增加的时间参数数值相吻合，所以在时间参数的计算一 致前， 一起会产生延迟(delay)(Td)。在这一时刻，实际压缩的数据是与 音频合在一起的，所以音频和视频间便会出现同步问题。这是因为时 间参数数值始终作为增加数据存在所造成的。
发明内容
为解决上述问题，本发明提供一种便携式图像终端机的音频和视 频同步方法来解决可视通话过程中摄像机开启/关闭所产生的同步问 题。本发明依靠时间参数数值的变化使视频延迟不发生，因而不受摄 像机关闭的影响，继续进行压缩，在增加时间参数数值后，在摄像机 开启的时刻，作为最后时间参数数值加入到图像层内，使音频和视频 间能够同步。
为了实现上述目的，本发明的便携式图像终端机的音频和视频同
步方法由以下三个步骤构成在便携式图像终端机中，进行可视通话 的步骤;在进行可视通话过程中，如果摄像机关闭，使视频多媒体数字 信号编解码器不停止压缩，而是继续进行压缩，并计算出时间参数数 值的步骤;如果所述摄像机开启，将该时刻的最后时间参数数值加入到 视频数据流的图像层中，使音频和视频同步的步骤。
本发明的便携式图像终端机的音频和视频同步方法包括以下两个 步骤在终端机的移动图傳模式下，无论摄像机是否发生非正常错误， 能使视频多々某体数字信号编解码器继续进行压缩，并增加时间参数数 值计算的步骤；如果所述摄像机正常运行，将在该时刻最后计算出的 时间参数数值加入到视频数据流内，使音频和视频同步的步骤。
所述视频数据流最好是H.263数据流。
如上所述，本发明的便携式图像终端机的音频和视频同步方法具 有以下效果在进行可视通话时，能够使视频多媒体数字信号编解码 器不受摄像机开启/关闭的影响继续运行，減少视频和音频间发生音频/ 视频不同步现象。
同时，本发明还具有如下效果当才聂像才几暂时处于停止运行状态 时，如果音频首先开启，而^f见频画面在其后出现，能够事先防止因音 频和视频不同步所造成的视力和听觉不能同时进行的现象。
图l是便携式多媒体移动通信系统构成示意图2是H,263数据流的图像层构成示意图3是现有技术的可视通话音频和视频处于同步状态图4是现有技术进行可视通话时音频和视频出现同步错误时的示
意图5是本发明的便携式图像终端机构成图6是本发明的进行可视通话时音频和视频处于同步状态示意图
图7是本发明的便携式图像终端机的音频和视频同步方法流程图
<附图中主要部分的符号说明>
ll...射频装置
12...移动基站调制解调器芯片
12a...计时器
12b…音频多媒体数字信号编解码器
13...音频处理装置 14...扬声器
15...微处理器
16...按键输入装置
17...DSP芯片
17a...视频多士某体数字信号编解码器
18...摄像装置
19..丄CD装置
20...存储装置
具体实施例方式
图5是本发明的便携式图像终端机的音频和视频同步设备构成图。
如图5所示，射频装置(RF装置)ll具有便携电话机的无线通信功 能。所述射频装置11由以下两部分构成使发送的信号频率发生上升 变化并放大的RF发射机；将接收到的信号低噪音放大，并使频率降低 的RF接收机。
移动基站调制解调器(MSM)芯片12由以下两部分构成对所要发 送的信号进行调制的调制发射机；对接收到的信号进行解调的解调接 收机等。即，所述移动基站调制解调器芯片12由调制解调器(MODEM) 和音频多媒体数字信号编解码器(CODEC)构成。这里，所述多媒体数 字信号编解码器包括以下两部分处理打包数据等的数据多媒体数字 信号编解码器；处理声音等音频信号的音频多^f某体数字信号编解码器 12b。同时，音频多媒体数字信号编解码器12b作为便携式电话机的内 置声音多媒体数字信号编解码器(speech codec),能够将与对方间进行 通话时输入的声音信号进行编码。同时，MSM芯片12在可视通话模 式下，进行整体控制，并提供计时器12a所生成的时钟的时间信息。
音频处理装置13将所述移动基站调制解调器芯片12的音频多媒 体数字信号编解码器12b输出的音频信号通过扬声器14播放，或将微 处理器15生成的输入音频信号传输给所述移动基站调制解调器芯片12 的音频多媒体数字信号编解码器12b。
按键输入装置16由能够输入数字和文字信息的按键和设定各种功 能的功能键构成。同时，所述按键输入装置16在本发明实施例中还可
以具备以下按键用于控制移动图像录像模式的功能键；用于驱动摄 像机的摄像键。同时，在本发明的实施例中，通过所述按键输入装置 16也能够输入在合成移动图像信号中合成的文本信号。
DSP(Digital Signal Processor: DSP)芯片17具有以下功能对摄像 装置18捕获到的图像信号编码成能够显示图像信号的画面数据。所述 DSP芯片17对摄像装置18输出的图像信号以帧为单位进行处理，将 所述帧图像数据按照LCD装置19的特性和大小进行输出。同时，所 述DSP芯片17还具有视频多媒体数字信号编解码器17a,所述视频多 媒体数字信号编解码器17a可以是H.263，对图像信号按照设定的方式 进行编码，或者将经过编码的帧图像数据解码成原来的帧图像数据。 所述DSP芯片17在所述MSM芯片12的控制下，按照设定的模式， 生成或者播放移动图像信号。
摄像装置(camera module)18由以下部分构成在摄制图像时，将 感知到的光信号变换为电信号的摄像机传感器；将从所述摄像机传感 器摄到的模拟信号转换为数字信号的信号处理装置。这里，所述摄像 机传感器假设为CCD传感器，同时，所述摄^^几传感器和信号处理装 置可以具有一体化结构，同时也可以分开。
LCD装置19将所述DSP芯片17输出的帧图像信号或对方图像以 画面形式显示。并显示所述MSM芯片12输出的用户数据。同时，所 述LCD装置19在DSP芯片17的控制下，显示要播放的移动图像信号。
存储装置20可以由程序存储器和数据存储器构成。所述程序存储 器内存储以下内容:控制便携电话机一般功能的程序；控制施加到LCD 装置内的图像信号路径的程序。同时，所述数据存储器用于暂时存储
运行程序时生成的数据。同时，所述数据存储器由以下部分构成用 于存储通过所述4^建输入装置16输入的文本信号的文本緩存器；用于 存储视频多媒体数字信号编解码器17a生成的移动图像信号的图像緩 存器；用于存储所述音频多媒体数字信号编解码器(12b)生成的音频信 号的音频緩存器。所述移动图像存储器在本发明中是能够存储经过编 码的图像数据和文本信号(也可以包含各种音频)的合成数据的存储器。
在本发明中，在进行可视通话过程中，即使摄像机关闭，也不会 受摄像机关闭影响，视频多媒体数字信号编解码器17a继续进行压缩。 由此，因为在摄像机关闭后，也能够继续进行压缩，所以随着时间流 动，时间参数数值也有一定增加。此后，在打开摄像机时，作为最后 时间参数数值被加入到图像层内，即使摄像机关闭视频产生延迟，也 能够解决音频和视频的同步问题。
如图6所示，摄像机关闭时刻(T11)时间参数数值是8时，视频多 媒体数字信号编解码器在进行可视通话期间，继续进行压缩。进行该
视频压缩的同时，继续传输时间参数数值。
此后，在开启摄像机时刻(T12),如果加入最后时间参数数值，即 使摄像机关闭产生视频延迟，也能够解决音频和视频间的同步问题。 例如将摄像机开启时刻(T12)的最后时间参数数值加入到图像层内，便 能够实现同步。
图7是本发明的便携式图像终端机的音频和视频同步方法流程图。
如图7所示，进行可视通话(S11)。此时，判断摄像机是否关闭(S13)。 如果摄像机被关闭，视频多媒体数字信号编解码器继续进行压缩，并 增加TR数值(S15)。此后判断摄像机是否被重新开启(S17)。如果摄像
机被开启，将所述增加的最后TR数值加入到图像层内(S19),实现视 频和音频间的同步。
在本发明中，不仅在可视通话时，而且在录像模式下，即使摄像 机非正常运行，视频多媒体数字信号编解码器也会继续运行，并继续 增加时间参数数值，在设备正常运行的同时，能够实现音频和视频的 同步。
通过上述的说明，本领域技术人员完全可以在不偏离本发明技术 思想的范围内，进行多样的变更以及修改。因此，本发明的技术性范 围并不局限于说明书的内容，必须要根据权利要求范围来确定其技术 性范围。
权利要求
1、一种便携式图像终端机的音频和视频同步方法，其特征在于，包括以下步骤在便携式图像终端机中，进行可视通话的步骤；在进行可视通话过程中，如果摄像机关闭，使视频多媒体数字信号编解码器不停止压缩，而是继续进行压缩，并计算出时间参数数值的步骤；如果所述摄像机开启，将该时刻的最后时间参数数值加入到视频数据流的图像层中，使音频和视频同步的步骤。
2、 如权利要求1所述的便携式图像终端机的音频和视频同步方法， 其特征在于，从摄像机关闭开始到摄像机开启期间所造成的延迟为视 频的延迟。
3、 一种便携式图像终端机的音频和视频同步方法，其特征在于， 包括以下步骤在便携式图像终端机中，在终端机的移动图像模式下，无论摄像 机是否发生非正常错误，能使视频多媒体数字信号编解码器继续进行 压缩，并增加时间参数数值计算的步骤；如果所述摄像机正常运行，将在该时刻最后计算出的时间参数数 值加入到视频数据流内，使音频和视频同步的步骤。
4、 如权利要求1或3所述的便携式图像终端机的音频和视频同步 方法，其特征在于，所述视频数据流是H.263数据流。
全文摘要
本发明涉及一种便携式图像终端机的音频和视频同步方法，该方法包括如下步骤在便携式图像终端机中，进行可视通话的步骤；在进行可视通话过程中，如果摄像机非正常关闭，并不停止视频多媒体数字信号编解码器压缩操作，而是使其继续进行，并计算时间参数数值的步骤；如果所述摄像机开启，将该时刻的最后时间参数数值加入到视频数据流的图像层内，使音频和视频同步。通过本发明的便携式图像终端机的音频和视频同步方法，能够解决因摄像机非正常工作所造成的音频和视频不同步问题。
文档编号H04N7/14GK101102510SQ200610086329
公开日2008年1月9日 申请日期2006年7月7日 优先权日2006年7月7日
发明者金盛镇 申请人:乐金电子(昆山)电脑有限公司