专利名称：一种移动通信终端的摄像头接口装置的制作方法
技术领域：
本发明涉及移动通信终端，更进一步涉及移动通信终端的摄像头接口装置。
背景技术：
现有的移动通信终端具有摄像头、摄像头接口及处理影像数据的ARM core应用数字信号处理器(aDSP)等，并提供图像预览(image preview)、图像捕捉(image capture)、尤其是在W-CDMA等的视频电话(Video Telephony)服务等。由于上述多媒体数据处理的增加及多样的应用程序的开发等，大部分的移动通信终端需要处理更多的数据。尤其是，为了处理随着如1/4公用中分辨率图象格式(QCIFQuarter Common Intermediate Format)、QVGA(Quarter VGA)、视频图形陈列(VGAVideo Graphics Array)、扩展视频图形陈列(XVGAExtended VGA)等格式日益提高的摄像头及LCD象素(Pixel)，移动通信终端需要更快地处理更多数据。
如图1所示，其是具有上述功能的摄像头的移动通信终端的方框结构图。在现有技术的具有摄像头模块1的移动通信终端中拍摄影像的摄像头模块(camera module)1直接连接到处理器2。而且，控制移动通信终端的所有功能的处理器2连接话筒(mic)6、音频输出部(speaker/receiver)10、LCD4、外部存储器3、包括键区等的用户界面(user interface)7、与外部进行RF信号通信的RF模块(RF module)5。
如图1至图3所示，图2是在图1的移动通信终端中图像预览(imagepreview)及图像捕捉(image capture)的处理过程示意图，图3是在图1的移动通信终端中实现VT服务的数据的流程示意图。上述处理器2上安装控制影像数据的输入输出的ARM(advanced RISC machine)core 2ac、处理影像数据的应用数字信号处理器(aDSPapplication digital signalprocessor)2ad、控制WCDMA信号处理及语音数据的传达的调制解调器数字信号处理器(mDSPmodem digital signal processor)2md、直接存储存取(以下称‘DMA(direct memory access)’)、摄像头接口(camera interface)2c、LCD接口(LCD interface)、处理音频信号的音频编解码器(发送或接收用Audio codec)8，9(参照图3)、处理RF信号的RF接口(RF interface)、控制包括用户界面发生的事件(event)在内的各种事件的事件控制器(eventcontroller)等。
外部存储器3安装随机存储器RAM 3R和闪存(FLASH MEMORY)3F。
如图2或图3所示，上述aDSP 2ad处理将YUV格式的图像数据转换成RGB格式的图像转换、JPEG等图像的压缩、MP3信号处理、MIDI信号处理、MPEG数据处理、数据包单位的多路传输协议即H.223协议控制、适应性多重位率(adaptive multi rate)声码器(vocoder)功能控制。
上述mDSP 2md(参照图3)执行影像及数据信号处理，图3所示为执行WCDMA信号处理。
参照图2对具有上述结构的现有技术的移动通信终端的图像预览(imagepreview)及图像捕捉(image capture)的处理过程说明如下。
如图2所示由摄像头模块1拍摄并转换成电信号的影像数据被安装在处理器2内部的摄像头接口2c接收后存储在外部存储器3的随机存储器3R。并且，存储在RAM 3R的影像数据由处理器2的aDSP 2ad读取并将YUV格式的影像数据转换成RGB格式影像后(大部分的LCD显示RGB数据象素)再存储在RAM 3R。RGB格式的影像数据再由处理器2的ARM(Advanced RISCmachine)core 2ac读取后在LCD4上显示一帧(frame)。
然后再看图像捕捉的处理过程，安装在处理器2内部的摄像头接口2c接收从摄像头模块1输入的影像数据并存储在外部存储器3的RAM 3R。aDSP2ad将存储在RAM 3R的YUV格式的影像数据并转换成RGB格式的影像数据，执行JPEG等的编码(Encoding)后存储到RAM 3R。然后，ARM core 2ac再将存储在RAM 3R的影像数据读取后存储在闪存(Flash memory)3F。
在执行上述图像预览及图像捕捉时的处理过程中，ARM core 2ac应与上述处理并行地、周期性或一时性地处理其他事件，因此对外部存储器3进行持续性访问。而且，如图3所示，接收视频电话(VT)服务的情况下，如图2所示处理器执行将从摄像头模块1输入的影像数据存储在外部存储器3的随机存储器3R及读取的处理过程。
如图2及图3所说明的处理过程中可看出，外部存储器3的访问占移动通信终端的整个负荷中相当大的一部分。也就是说，移动通信终端中所有影像处理数据反复经由连接处理器2的mDSP 2md和aDSP 2ad及外部存储器3的随机存储器3R的数据总线，从而处理器2的mDSP 2md和外部存储器3的随机存储器3R，aDSP 2ad之间发生对数据总线过度的数据占有并由于处理影像数据的ARM core导致处理器上产生过负荷。
如上所述的为处理影像的数据总线数据的过度的数据占有及由ARM core2ac的影像数据处理引起的处理器2的过负荷发生的原因是，处理器(Processor包括Modem&DSP等)上直接安装了摄像头接口，将从摄像头模块输入的影像存储在随机存储器后，在图像预览、图像捕捉等影像数据处理时，处理器的各种DSP为了从随机存储器导出影像数据而执行访问步骤。
即，在具备摄像头的移动通信终端中，如在现有技术中，当摄像头接口安装在处理器内部时，处理影像数据的移动通信终端的处理器上发生过负荷是必然的。而且，如上所述，如果为了影像处理而导致处理器上发生过负荷，处理器2就无法处理VT服务的事件而发生影像数据的损失并导致画面断开，同时由于处理器2的过负荷，随即产生了其他附加的程序也无法安装的问题。
发明内容
综上所述，本发明目的在于提供一种移动通信终端的摄像头接口装置，减少在上述现有技术的具有摄像头的移动通信终端中影像数据处理导致的处理器对外部存储器(外部存储器中的随机存储器)的连接步骤，并减少影像数据处理导致的处理器的负荷，从而在提高处理器的事件处理效率的同时迅速执行影像数据处理。
本发明的移动通信终端的摄像头接口装置，是具有摄像头的移动通信终端在处理器(processor)和摄像头之间具有摄像头接口(camera interface)和双端口随机存储器(DPRAM)，将从摄像头输入的影像数据存储在DPRAM后，在图像预览、图像捕捉等处理过程减少处理器访问随机存储器的时间，从而减少处理器的影像数据处理时间并减少处理器的负荷。
为实现上述目的，本发明的移动通信终端的摄像头接口装置包括从摄像头模块接收影像数据的输入的摄像头接口部；具有设在上述摄像头接口部和上述移动通信终端的处理器之间的两个数据访问端口并存储从上述摄像头接口部接收的影像数据的外部存储部。
上述外部存储部可以由具有连接到上述摄像头接口部的第一数据端口和连接到上述处理器的第二数据端口的双端口随机存储器(DPRAM)构成。
上述摄像头接口部包括临时存储从上述摄像头模块输入的影像数据的缓冲部；给上述缓冲部的影像数据指定地址后输出到上述外部存储部的外部存储部接口部；提供上述缓冲部及外部存储部接口部的影像数据处理的同步信号的处理器。
上述缓冲部包括从摄像头模块接收影像信号后临时存储的第一缓冲器；连接到上述第一缓冲器的多路复用器；使多路复用器按顺序转换的多通道锁存缓冲器；将上述多通道锁存缓冲器的影像数据合并、接收，并执行先入先出(FIFO)的移位寄存器。
上述本发明具有如下效果在影像处理过程中，简化处理器连接RAM的步骤，从而明显减少处理器访问RAM的时间。而且，处理器访问RAM的时间的减少能减少处理器的负荷。
另外，上述本发明还具有如下效果处理器能够执行附加的各种时间处理，能够搭载各种附加的应用程序，从而提高处理器的功能级性能。
图1是现有技术中具有摄像头的移动通信终端的方框结构图；图2是在图1的移动通信终端中图像预览及图像捕捉的处理过程示意图；图3是在图1的移动通信终端中实现VT服务的数据的流程示意图；图4是本发明具有摄像头接口装置的移动通信终端的方框结构图；图5是图4的摄像头接口装置的连接结构示意图；图6是图5的摄像头接口模块的详细结构示意图；图7是图4的移动通信终端中图像预览及图像捕捉的数据流程示意图；图8是图4的移动通信终端中实现VT服务的数据流程示意图；图9是一般DPRAM的功能框图。
附图主要部分的符号说明1摄像头模块2处理器2ad应用数字信号处理器(aDSPapplication digital signalprocessor)2md调制解调器(mDSPmodem digital signal processor)2acARM coreadvanced RISC machine core3外部存储部 3R随机存储器(RAM)3F闪存(flash memory)4LCD5RF模块 6话筒7用户界面部 10音频输出部100摄像头接口装置 110摄像头接口模块
120双端口随机存储器(DPRAMdual port RAM)具体实施方式
以下，参照附图更详细地说明本发明。
首先，图4至图8的各附图中所示的英文记号的意思如下参照图5的摄像头模块(Camera Module)1CSP摄像头信号处理器(Camera signal processor)；Color Filter滤色镜；AFE模拟前端(Analog Front End)。
参照图6的双口随机存储器(DPRAM(Dual Port SRAM))120CS_A(B)双端口A(B)芯片选择(DPRAM Port A(B) Chip Select)；OE_A(B)双端口A(B)允许输出(DPRAM Port A(B) Output Enable)；WE_A(B)双端口A(B)允许写入(DPRAM Port A(B) Write Enable)；INT_A(B)双端口A(B)中断(DPRAM Port A(B) Interrupt)；Addr_A(B)双端口A(B)地址(DPRAM Port A(B) Address)；D_A(B)双端口A(B)数据(DPRAM Port A(B) Data)。
参照图6的摄像头信号(Camera Signal)CAM_MCLK从主机(处理器2)输入主时钟(Master clock for CSP fromhost(or processor2)；CAM_reset摄像头信号处理器重启信号(reset signal for CSP)；CAM_PCLK数据比特同步时钟(Data bit synchronizing clock)；CAM_VSYNC摄像头影像的垂直同步信号(Vertical Synchronizingsignal)；CAM_HSYNC摄像头影像的水平同步信号(Horizontal Synchronizingsignal)；CAM_DATA摄像头数据总线(Camera data bus)；
I2C_CLKI2C主机(处理器2)时钟信号(inter integrated circuit bushost clock signal)；I2C_DATAI2C数据线(inter integrated circuit bus data line)。
以下参照显示本发明一实施例的
本发明如下。
图4至图6中具有双端口的外部存储部为双端口随机存储器(DPRAM)(以下简称“DPRAM”)，特别图示为双端口同步动态随机存储器(dual portSDRAM)。另外，摄像头接口部图示为摄像头接口模块110。
如图4所示，其是本发明具有摄像头接口装置的移动通信终端的方框结构图。图4所示的具有本发明摄像头接口装置100的移动通信终端包括控制移动通信终端的所有功能的处理器2，与所述处理器连接的话筒(mic)6、音频输出部(speaker/receiver)10、LCD 4、外部存储器3、包括键区的用户界面(user interface)7，能够与外部进行根据RF信号的通信的RF模块(RF module)5。
上述处理器2中设有ARM(advanced RISC machine)core 2ac、应用数字信号处理器(aDSPapplication digital signal processor)2ad、调制解调器数字信号处理器(mDSPmodem digital signal processor)2md、LCD接口(LCD interface)、执行音频信号处理的音频编解码器(发送或接收用Audio codec)8，9(参照图3)、执行RF信号处理的RF接口RF interface、控制包括在用户界面发生的事件(event)的各种事件的事件控制器(eventcontroller)等。另外，相当于图1的摄像头接口(camera interface)2c的摄像头接口部为由本发明的外部存储部DPRAM 120和摄像头接口模块110构成的摄像头接口装置100，它设在处理器2和摄像头模块1之间。即，在本发明中，将在现有技术中安装在处理器2的内部的摄像头接口部设在处理器的外部，从而减少处理器2的负荷。这里的外部(处理器外部)存储器3和aDSP 2ad和mDSP 2md与图1至图3中所说明的相同，因此省略其详细说明。
在上述结构中，本发明的摄像头接口装置100从摄像头模块1接收影像数据，从处理器2接收控制命令及同步信号(MCLK)来工作，并与具有RAM 3R和闪速存储器3F的外部存储器3直接进行数据通信。
如图5所示，其是图4的摄像头接口装置的连接结构示意图。上述摄像头接口装置100由摄像头接口模块110(本发明的摄像头接口部)和DPRAM120(本发明的外部存储部)所组成。摄像头接口模块110连接到摄像头模块1的影像信号输出端，使其能够接收影像信号。摄像头接口模块110和摄像头模块1之间构成的数据总线具有与处理器2连接的I2C接口(inter-integrated circuit bus)(或I2C数据总线)，处理器2通过I2C接口(inter-integrated circuit bus)向摄像头模块1及摄像头接口装置100提供处理影像信号的控制命令及赋予影像数据的同步的主时钟(MCLK)。另外，DPRAM120的第一端口(DPRAM Port A)连接摄像头接口模块，致使能够存储直接从摄像头模块1输入的影像数据；DPRAM 120的第二端口(DPRAM Port B)通过存储器接口(memory interface)与处理器2和外部存储器(RAM及FLASHMEMORY)3连接。
图6是图5的摄像头接口模块110的详细结构方框图。
如图6所示，摄像头接口模块110由影像数据缓冲器111、DPRAM接口113、控制器112组成，其中，影像数据缓冲器111接收从摄像头模块1输入的8比特影像数据并转换成32比特影像数据后按输入的顺序依次输出，DPRAM接口113将16比特地址附加到从影像数据缓冲器111输出的32比特影像数据并向DPRAM 120输出，控制器112向影像数据缓冲器111和DPRAM接口113提供影像数据控制及同步信号并对影像数据赋予地址。此外，控制器112通过具有I2C接口(inter-integrated circuit bus interface)的命令解释程序(command interpreter)114与处理器2连接，从处理器2接收时钟(I2C_CLK)，通过I2C数据线(I2C_DATA)的控制命令、主时钟(MCLK)等输出到影像数据缓冲器111和DPRAM接口113。影像数据缓冲器111及DPRAM接口113根据从控制器112接收的控制命令及时钟执行影像数据的多路复用，对存储在DPRAM 120内的影像数据赋予地址(address)并存储在DPRAM 120。
上述影像数据缓冲器111由从摄像头模块1接收8比特影像数据的第一缓冲器111a、对从第一缓冲器111a接收的8比特数据进行多路复用的四信道多路复用器111b、根据多路复用器111b的依次切换依次存储从多路复用器111b输入的8比特数据的四信道锁存缓冲器(latch buffer)111c、将从锁存缓冲器111c输入的四个8比特影像以32比特影像数据接收后进行先入先出FIFO的移位寄存器111d组成。
在此，在多路复用器111b、锁存缓冲器111c、移位寄存器111d的数据的同步根据从上述处理器2输入的主时钟MCLK及控制命令由控制器112赋予。
图7是具有上述图5及图6的摄像头接口装置100的图4的移动通信终端的图像预览(image preview)及图像捕捉(image capture)的数据处理过程的示意图。
首先图像预览(image preview)的处理过程如下由摄像头模块1拍摄的影像图像通过摄像头接口模块110存储在DPRAM120。在此过程由摄像头模块1输入的影像数据假设为RGB格式，但并不是仅限于此，也可以是YUV格式。处理器2的ARM core 2ac将存储在DPRAM120的RGB图像格式的影像数据从DPRAM120直接读取并以帧单位输出到LCD4。从而，由于能够减少为了将影像图像输出到LCD4而使得处理器访问外部存储器(External Memory)(参照图3，图4)的时间，与图1至图3所示的现有技术相比，能够显著减少数据总线的占有率及处理器2的负荷。
另外，图像捕捉(image capture)时的处理过程如下aDSP 2ad将存储在DPRAM120的影像数据读取，对其进行JPEG压缩等编码(Encoding)后存储在外部存储器3的RAM 3R，ARM core 2ac将其重新读取并存储在闪存(Flash Memory)3F，因此与图2所示的现有技术，即安装在处理器2内的摄像头接口(省略图片符号)将从摄像头模块1输入的影像数据存储在RAM 3R后，aDSP 2ad重新将存储在RAM的影像数据读取并对其进行处理，之后重新存储在RAM 3R，则ARM core 2ac重新从RAM 3R读取影像数据并存储在闪存3F的技术相比，简化了处理器2连接到RAM 3R的数据访问步骤，从而减少了数据访问时间及数据总线的占有率，并能够减少处理器2的负荷。
以下通过比较说明图1至图3的现有技术和图4至图7的本发明在以下条件下的图像预览的数据处理过程中数据访问时间，说明相对现有技术的本发明在处理器的负荷率方面的改善效果。
条件QCIF(Quarter common intermediate format)预览(Preview)176×144象素(Pixel)/1帧(Frame)；YUV图像数据(Image Data)8bit，RGB图像数据(Image Data)16bit；摄像头模块(Camera Module)(YUV，RGB数据)一般情况(normal case)；LCD模块(Module)RGB数据显示(Data Display)一般情况(normalcase)；存储器访问时间(Memory Access Time)Page Read基准平均(average)30ns一般情况(normal case)；摄像头接口(Camera Interface)采用双缓冲器(Dual Buffer)(访问时间125ns)一般情况(normal case)。
图1的移动通信终端的图像预览(Image Preview processing)时根据图2步骤的处理时间向摄像头接口模块(CAM Interface and DMA)2C(参照图2)输入YUV图像数据的时间D1:6.33msec；从摄像头接口模块2C存储到RAM 3R所经过的时间(DMA to RAM)D2:2.02msec(DMA and DATA BUS)；aDSP 2ad从RAM读取影像数据的时间D3:4.04msec(Data bus and aDSP)；YUV RGB图像格式变换时间D4:8.25msec aDSP；
aDSP 2ad的RAM 3R访问时间D5:1.01msec(aDSP and Data bus)；ARM core 2ac从RAM 3R读取影像数据的时间D6:2.02msec(Data busand ARM core)；ARM core 2ac向LCD4输出影像图像的时间D7:2.53msec(ARM core andLCD)。
图4的移动通信终端图像预览时根据图7的步骤的处理时间从摄像头模块1向摄像头接口模块110的RGB图像数据传送时间N1:12.66msec(RGB data16bit/Pixel)；摄像头接口模块110将RGB图像数据存储在DPRAM的时间N2:2.02msec；ARM core 2ac将RGB图像数据从DPRAM120读取的时间N3:2.02msec(Data bus and ARM core)；ARM core 2ac将RGB图像数据输出到LCD 4的时间N4:2.53msec(ARMcore and LCD)；如上述比较所示，图2的现有技术的图像预览时整个图像预览的处理过程所消耗的时间(D1～D7消耗时间的总和)为28.38msec，而且此时的数据总线占有时间(D2+D3+D5+D6)为9.09msec。相反，根据本发明的图7中整个图像预览的处理时间(N1～N4的总和)为19.23msec，而且此时的数据总线占有时间(Data bus Latency)(N3+N4)为4.04msec。即，本发明与现有技术相比，明显减少了利用摄像头的图像数据的处理时间及数据总线占有率，从而能够减少处理影像图像数据的处理器的负荷。
图8是本发明具有摄像头接口装置100的移动通信终端的可视电话(VT)服务的处理过程示意图。即，图8的情况跟图7的一样，能够减少处理器2为处理影像数据而连接到外部存储器3的RAM 3R的步骤，进而减少处理器2处理事件(Event)的次数，能够给可视电话服务的影像处理工作匹配更多的处理时间，从而能够防止从外部输入的可视电话服务(VT服务)中的影像的损失。另外，使VT服务时的性能能够根据摄像头接口模块(Camera Interfacemodule)的象素/帧(Pixel/Frame)数处理更多的数据，从而支持当前的QCIF(Quarter common intermediate format)15帧以上的CIF(commonintermediate format)级别或其以上的VT画质。
图9是本发明的DPRAM120的结构示意图，它所示的是一般的DPRAM的功能框图，因此将省略其详细说明。
以上具体实施例仅用于说明本发明，而非用于限定本发明。
权利要求
1.一种移动通信终端的摄像头接口装置，该装置具有摄像头模块和对从摄像头模块输入的影像数据进行处理的处理器，其特征在于包括从摄像头模块接收影像数据的输入的摄像头接口部；具有与所述摄像头接口部连接的第一数据端口和与所述移动通信终端的处理器连接的第二数据端口的外部存储部。
2.根据权利要求1所述的移动通信终端的摄像头接口装置，其特征在于所述摄像头接口部包括接收从所述移动通信终端的摄像头模块输入的影像数据的影像数据缓冲器；与所述影像数据缓冲器连接，并将地址附加在输出的影像数据后存储在所述外部存储部的外部存储部接口；将影像数据控制命令及同步信号输出到所述影像数据缓冲器和所述外部存储部接口的控制器。
3.根据权利要求2所述的移动通信终端的摄像头接口装置，其特征在于所述摄像头接口部还包括从所述移动通信终端的处理器接收同步信号、控制命令后向所述控制器输入的命令解释程序。
4.根据权利要求2所述的移动通信终端的摄像头接口装置，其特征在于所述影像数据缓冲器包括从所述移动通信终端的摄像头模块接收影像数据的第一缓冲器；多路复用从所述第一缓冲器输入的影像数据的多路复用器；根据所述多路复用器的顺序切换将多路复用器输入的数据按顺序存储的多通道锁存缓冲器；将所述多通道锁存缓冲器的影像数据合并、接收，并执行先入先出的移位寄存器。
5.根据权利要求1所述的移动通信终端的摄像头接口装置，其特征在于所述外部存储部为双端口随机存储器。
6.根据权利要求1所述的移动通信终端的摄像头接口装置，其特征在于所述摄像头接口部选择性处理RGB或YUV格式的影像数据。
全文摘要
本发明涉及移动通信终端的摄像头接口装置，特别是涉及减少在移动通信终端中处理影像数据的处理器的外部存储器访问流程，从而在减少处理器处理数据的负荷的同时执行迅速的影像数据处理的移动通信终端的摄像头接口装置。上述的本发明的摄像头接口装置包括从摄像头模块接收影像数据的输入的摄像头接口部；具有设在上述摄像头接口部和上述移动通信终端的处理器之间的两个数据访问端口并存储从上述摄像头接口部接收的影像数据的外部存储部。本发明能够减少移动通信终端为了信号处理而连接到外部存储器(RAM)的流程及时间，从而减少处理器的负荷。
文档编号H04N7/14GK1777262SQ20051012340
公开日2006年5月24日 申请日期2005年11月16日 优先权日2004年11月16日
发明者崔丙俊 申请人:乐金电子(中国)研究开发中心有限公司