数据处理装置与相关方法与流程

文档序号:11778753阅读:333来源:国知局
数据处理装置与相关方法与流程

【相关申请】

本申请是申请号为201310541485.0,发明名称为数据处理系统的发明专利申请的分案申请。

【技术领域】

本发明关于通过摄像头接口(camerainterface)传输多媒体数据,尤其关于一种通过摄像头接口传输压缩的多媒体数据的数据处理系统。



背景技术:

摄像头接口位于第一芯片和第二芯片之间以从该第一芯片发送多媒体数据至该第二芯片来做进一步处理。举例来说,第一芯片可包含摄像模块(cameramodule),第二芯片可包含影像信号处理器(imagesignalprocessor,isp)。多媒体数据可包含影像数据(即单一采集的影像)或视频数据(即多个采集的影像组成的视频序列)。在手持系统中,为了启动互通性(interoperability),摄像头传输协议可被标准化。由于有限的传输带宽和大数据量,通过预定协议直接采集并发送多媒体数据至影像信号处理器是低效的。举例来说,一个30fps(每秒帧数)、10位元像素深度(bitpixeldepth)的8m传感器(即具有8百万像素也就是3264x2448像素的传感器)在一个数据通道传输(datalanetransmission)上需要大约2.4gbps。这样的高数据传输率影响传输接口的功耗和电磁干扰,也影响批量生产阶段中的设计产量。此外,高分辨率摄像头(例如20m摄像头)的需求渐增。因此,在摄像模块和影像信号处理器之间通过传输接口直接传输的多媒体数据会具有较大的数据量/数据率,其不可避免地增加了摄像头接口的功率消耗。如果摄像模块和影像信号处理器都位于由电池设备供电的手持设备(例如智能手机)中,则由于传输接口功耗增加,会缩短电池寿命。因此,有需要发展一种新设计,能够有效降低摄像模块和影像信号处理器之间的传输接口的功耗。



技术实现要素:

有鉴于此,本发明提供一种数据处理装置与相关的处理方法。

依据本发明的第一方面,提供一种数据处理装置,包含:摄像传感器,用于产生输入多媒体数据;摄像缓冲器,用于存储从该输入多媒体数据获得的第一数据;压缩器,用于依据来自该输入多媒体数据的第二数据产生压缩的多媒体数据;以及输出接口,用于将该压缩的多媒体数据打包成比特流,并通过摄像头接口输出该比特流。其中该摄像头接口耦接于该数据处理装置与另一数据处理装置之间,并且该数据处理装置与该另一数据处理装置位于不同的芯片,并且该摄像头接口是在不同的芯片之间提供直接芯片连接的芯片-至-芯片接口。

依据本发明的第二方面,提供一种数据处理装置,包含:输入接口,用于从摄像头接口接收比特流,并且将该比特流解封包为输入多媒体数据,其中该输入多媒体数据包含压缩的多媒体数据;数据存取电路,用于将从该输入多媒体数据获得的第一数据储存至多媒体缓冲器以及从该多媒体缓冲器中读取缓冲的多媒体数据;以及解压缩器,用于通过解压缩来自该输入多媒体数据的第二数据而产生解压缩多媒体数据。其中该摄像头接口耦接于该数据处理装置与另一数据处理装置之间,并且该数据处理装置与该另一数据处理装置位于不同的芯片,并且该摄像头接口是在不同的芯片之间提供直接芯片连接的芯片-至-芯片接口。

依据本发明的第三方面,提供一种由数据处理装置执行的方法,包含:通过摄像传感器产生输入多媒体数据;存储从该输入多媒体数据获得的第一数据至摄像缓冲器;压缩来自该输入多媒体数据的第二数据产生压缩的多媒体数据;以及将该压缩的多媒体数据打包成比特流,并通过摄像头接口输出该比特流;其中该摄像头接口耦接于该数据处理装置与另一数据处理装置之间,并且该数据处理装置与该另一数据处理装置位于不同的芯片,并且该摄像头接口是在不同的芯片之间提供直接芯片连接的芯片-至-芯片接口。

依据本发明的第四方面,提供一种由数据处理装置执行的方法,包含:从摄像头接口接收比特流,并且将该比特流解封包为输入多媒体数据,其中该输入多媒体数据包含压缩的多媒体数据;将从该输入多媒体数据获得的第一数据储存至多媒体缓冲器,以及从该多媒体缓冲器中读取缓冲的多媒体数据;以及解压缩来自该输入多媒体数据的第二数据而产生解压缩多媒体数据。其中该摄像头接口耦接于该数据处理装置与另一数据处理装置之间,并且该数据处理装置与该另一数据处理装置位于不同的芯片,并且该摄像头接口是在不同的芯片之间提供直接芯片连接的芯片-至-芯片接口。

上述数据处理装置与方法可降低摄像头接口的功耗。

【附图说明】

图1为依据本发明第一实施例的数据处理系统的方块图。

图2图1所示数据处理系统100的控制和数据流的流程图。

图3为依据本发明实施例的摄像模块的第一可选设计的方块图。

图4为依据本发明实施例的摄像模块的第二可选设计的方块图。

图5为依据本发明实施例的摄像模块的第三可选设计的方块图。

图6为依据本发明实施例的摄像模块的第四可选设计的方块图。

图7为依据本发明第二实施例的数据处理系统的方块图。

图8为图7所示的影像信号处理器704的控制和数据流的流程图。

图9为依据本发明第三实施例的数据处理系统的方块图。

图10为图9所示的影像信号处理器904的控制和数据流的流程图。

图11为依据本发明第四实施例的数据处理系统的方块图。

图12为图11所示的影像信号处理器1104的控制和数据流的流程图。

图13为依据本发明第五实施例的数据处理系统的方块图。

图14为图13所示的影像信号处理器1304的控制和数据流的流程图。

图15为依据本发明第六实施例的数据处理系统的方块图。

图16为图15所示的数据处理系统1500的控制和数据流的流程图。

图17为依据本发明第七实施例的数据处理系统的方块图。

图18为图17所示的数据处理系统1700的控制和数据流的流程图。

【具体实施方式】

在说明书及权利要求当中使用了某些词汇来指称特定的元件。本领域中技术人员应可理解,电子装置制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”为开放式的用语,故应解释成“包含但不限定于”。以外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接到第二装置,则代表该第一装置可直接电气连接于该第二装置,或通过其他装置或连接手段间接地电气连接至该第二装置。

本发明的概念为对多媒体数据应用数据压缩,接着通过摄像模块和影像信号处理器之间的传输接口(即摄像头接口)传输压缩的多媒体数据。由于压缩的多媒体数据的数据量/数据率小于原始未压缩的多媒体数据的数据量/数据率,因而摄像头接口的功耗相应地得以降低。以下描述进一步的细节。

图1为依据本发明第一实施例的数据处理系统的方块图。数据处理系统100包含多个数据处理装置,例如摄像模块102_1以及影像信号处理器104。摄像模块102_1以及影像信号处理器104可为不同的芯片,且摄像模块102_1与影像信号处理器104通过摄像头接口103进行通信。并且摄像头接口是在不同的芯片之间提供直接芯片连接的芯片-至-芯片接口。举例来说,但不作为限制,摄像头接口103可为由移动行业处理器接口(mobileindustryprocessorinterface,mipi)标准化的相机串行接口(cameraserialinterface,csi)。

摄像模块102_1包含但不限于镜头模块(lensmodule)111、摄像传感器112、摄像控制器113、摄像缓冲器114、压缩器115、输出接口116、以及多个多工器(mux)117和118。摄像控制器113被设置为控制摄像模块102_1的操作。例如,摄像控制器113控制摄像传感器112和多工器117,118。镜头模块111将入射光引导至摄像传感器112,摄像传感器112接收穿过镜头模块111的光线,并接着据此产生输入多媒体数据d1,其中该输入多媒体数据d1可为单一采集的影像或多个采集的影像组成的视频序列。举例来说,摄像传感器112可为模拟视频摄像管(cameratube)、数字电荷耦合器件(digitalcharge-coupleddevice,ccd)、或互补金属氧化物半导体(complementarymetal-oxidesemiconductor,cmos)影像传感器。此外,输入多媒体数据d1可以是用于2d显示的单视图(singleview)数据或用于3d显示的多视图(multipleview)数据。多工器117具有多个输入端口n11,n12以及一个输出端口n13。输入端口n11被设置为从摄像传感器112接收输入多媒体数据d1。在该实施例中,输入多媒体数据d1可储存于摄像缓冲器114中供将来使用。因此,储存在摄像缓冲器114中的输入多媒体数据d1(即缓冲的多媒体数据d1_buf)被提供至输入端口n12。摄像控制器113控制多工器117将输出端口n13耦接于输入端口n11,n12其中之一,如此一来,输入多媒体数据d1和缓冲的多媒体数据d1_buf其中之一被选为多工器输出m1。

摄像模块102_1可操作于普通模式(normalmode)(即非压缩模式)或压缩模式。如图1所示,多工器118具有多个输入端口n21,n22和一个输出端口n23。输入端口n22被设置为接收从多工器117产生的多工器输出m1。输入端口n21被设置为接收由压缩器115对多工器输出m1应用数据压缩产生的压缩的多媒体数据m1’。输出端口n23被设置为选择性输出多工器输出m1或压缩的多媒体数据m1’至输出接口116。当摄像控制器113控制摄像模块102_1操作于普通/非压缩模式时,压缩器115被禁用(disable)或断电(poweroff),以及多工器118选择多工器输出m1作为多工器输出m2。当摄像控制器113控制摄像模块102_1操作于压缩模式时,压缩器115被启动(enable)或上电(poweron),以接收多工器输出m1并依据接收到的多工器输出m1产生压缩的多媒体数据m1’;此外,多工器118选择压缩的多媒体数据m1’作为它的多工器输出m2。应注意的是,压缩器115可采用有损或无损压缩算法,取决于实际设计考量/需求。

输出接口116耦接于多工器118,并被设置为将多工器输出m2打包(pack)成比特流bs,并输出比特流bs至摄像头接口103。更具体地,输出接口116基于摄像机接口103的传输协议封装(packetize)多工器输出m2。正如上文所述,多工器输出m2可能是多工器输出m1(输入多工器数据d1或缓冲的多媒体数据d1_buf)或压缩的多媒体数据m1’。因此,当摄像模块102_1操作于普通/非压缩模式时,输出接口116作用为(operative)将多工器输出m1转换为比特流bs;以及当摄像模块102_1操作于压缩模式下时,输出接口116作用为将压缩的多媒体数据m1’转换为比特流bs。

影像信号处理器104包含但并不限于输入接口121、解压缩器122、包含一个写直接存储器存取(directmemoryaccess,以下简称dma)控制器124和一个读dma控制器125在其中的数据存取电路123、影像信号处理(isp)控制器126、影像处理器127、以及多个多工器128,129。isp控制器126被设置为控制影像信号处理器104的操作。例如,isp控制器126控制影像处理器127和多工器128,129。因此,isp控制器126决定影像信号处理器104内的所有操作,包括调整尺寸、旋转、品质改善、读/写访问行为调整、以及数据路径切换。

影像信号处理器104可操作于普通模式(即非解压缩模式)或解压缩模式。即,当摄像模块102_1操作于普通/非压缩模式时,isp控制器126控制影像信号处理器104操作于普通/非解压缩模式下;以及当摄像模块102_1操作于压缩模式下时,isp控制器126控制影像信号处理器104操作于解压缩模式下。以这种方式,在影像信号处理器104可以正确地接收到多媒体数据。

输入接口121被设置为通过摄像头接口103接收比特流bs,并将输入比特流bs解封包(un-pack)为输入多媒体数据d2。更具体地,输入接口121基于摄像头接口103的传输协议解封装(un-packetize)比特流bs。如图1所示,多工器128具有多个输入端口n31,n32和一个输出端口n33。输入端口n32被设置为接收解压缩器122产生的解压缩的多媒体数据d2’。输入端口n31被设置为接收输入接口121产生的输入多媒体数据d2。输出端口n33被设置为选择性地输出输入多媒体数据d2或解压缩的多媒体数据d2’。当影像信号处理器104操作于普通/非解压缩模式时,如果在传输过程中没有错误发生,则输入多媒体数据d2等于输入多媒体数据d1。此外,解压缩器122被禁用或断电,以及多工器128选择输入多媒体数据d2作为多工器输出m3。当影像信号处理器104操作于解压缩模式时,如果在传输过程中没有错误发生,则输入多媒体数据d2等于压缩的多媒体数据m1’,并且如果应用无损压缩以及在数据解压缩过程中没有错误发生,则解压缩的多媒体数据d2’等于输入多媒体数据d1。此外,解压缩器122被启动或上电,以接收输入多媒体数据d2并根据接收到的输入多媒体数据d2产生解压缩的多媒体数据d2’,且多工器128选择解压缩的多媒体数据d2’作为多工器输出m3。

在本实施例中,影像信号处理器104支持两种内部传输模式,包含飞行(on-the-fly)模式和离线(off-line)模式,用于将多媒体数据发送到影像处理器(即多媒体处理器)127。影像信号处理器104的飞行模式意味着,多媒体数据被直接发送到影像处理器127,在传输路径上没有图像尺寸缓冲。影像信号处理器104的离线模式意味着,通过写dma控制器124将多媒体数据储存到影像缓冲器(例如,静态随机存取存储器(sram),动态随机存取存储器(dram),或寄存器文件等多媒体缓冲器)132,接着通过读dma控制器125从影像缓冲存储器132中读出缓冲的多媒体数据。因此,当影像信号处理器104选择离线模式下时,影像缓冲存储器132缓冲多工器输出m3并输出缓冲的多媒体数据m3_buf;以及当影像信号处理器104选择飞行模式时,isp控制器126可阻止多工器输出m3进入影像缓冲器132,或阻止缓冲的多媒体数据m3_buf被选中作为多工器129的输出。如图1所示,多工器129具有多个输入端口n41,n42和一个输出端口n43。输入端口n41被设置为接收从多工器128产生的多工器输出m3。输入端口n42被设置为接收从影像缓冲器132读出的缓冲的多媒体数据m3_buf。输出端口n43被设置为选择性地输出多工器输出m3或缓冲的多媒体数据m3_buf作为多工器输出m4至后续影像处理器127。影像处理器127产生的处理过的多媒体数据可以被发送到一个或多个处理器,例如显示处理器134,视频处理器136及/或图形处理器138,作进一步处理。

简要概述,压缩器115位于摄像传感器112和输出接口116之间,解压缩器122位于输入接口121的后面。因此,只有当压缩模式被启动时,压缩器115为有效的(active)。当压缩器115处于有效状态以产生将在摄像头接口103上传输的压缩的多媒体数据m1’时,对于解压缩器122,其在飞行模式和离线模式下都是有效的。多工器118基于压缩模式是否被启动来配置其内部互连。多工器128基于解压缩模式是否被启动来配置其内部互连。多工器129基于所选择的内部传输模式(飞行模式或离线模式)来配置其内部互连。当压缩模式被启动时,摄像模块102_1和影像信号处理器104之间的传输数据率降低,从而降低了摄像头接口103的功率消耗。

图2为图1所示数据处理系统100的控制和数据流(dataflow)的流程图。假设结果大致相同,步骤可不必严格按照图2所示顺序来执行。示范性控制和数据流可简单总结为以下步骤。

步骤200:开始。

步骤202:检查是否启动了压缩模式。如果是,转到步骤206,否则,转到步骤204。

步骤204:将多工器输出m1(m2=m1)打包/封装(pack/packetize)成比特流bs。转到步骤208。

步骤206:压缩多工器输出m1以产生压缩的多媒体数据m1’,以及将压缩的多媒体数据m1’(m2=m1’)打包/封装成比特流bs。

步骤208:通过摄像头接口103发送比特流bs。

步骤210:检查是否启动了解压缩模式。如果是,则转到步骤212,否则,转到步骤214。

步骤212:将比特流bs解封包/解封装(un-pack/un-packetize)成输入多媒体数据d2,并解压缩输入多媒体数据d2以产生解压缩的多媒体数据d2’。转到步骤216。

步骤214:将比特流bs解封包/解封装成输入多媒体数据d2。

步骤216:检查是否选择离线模式来将多媒体数据发送到影像处理器127。如果是,转到步骤218,否则,转到步骤220。

步骤218:将多工器输出m3储存至影像缓冲器132,并将缓冲的多媒体数据m3_buf发送至影像处理器127。转到步骤222。

步骤220:将多工器输出m3发送至影像处理器127。

步骤222:结束。

应注意的是,步骤202-208可由摄像模块102_1执行,步骤210-220可由影像信号处理器104执行。在阅读以上段落后,本领域的技术人员可以容易理解图2所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

在图1所示的实施例中,压缩器115位于摄像传感器112/摄像缓冲器114和输出接口116之间。然而,这仅用于说明目的,并不意味着是对本发明的限制。摄像模块的几种可供选择的设计给出如下。

请参考图3,其为依据本发明实施例的摄像模块的第一可选设计的方块图。图1所示的摄像模块102_1可被替换为摄像模块102_2。如图3所示,摄像模块102_2包含摄像缓冲器314、压缩器315和上述镜头模块111、摄像传感器112、摄像控制器113、输出接口116以及多工器117和118。在本实施例中,压缩器315位于摄像传感器112和摄像缓冲器314/输出接口116之间。因此,多工器117的输入端口n11被设置为接收由压缩器315对输入多媒体数据d1应用数据压缩产生的压缩的多媒体数据d1’。多工器117的输入端口n12接收摄像传感器112产生的输入多媒体数据d1。由摄像控制器113控制多工器117以选择输入多媒体数据d1和压缩的多媒体数据d1’其中之一来作为它的多工器输出m1。多工器118的输入端口n21被设置为从多工器117的输出端口n13接收多工器输出m1。多工器输出m1被储存到摄像缓冲器314。多工器118的输入端口n22被设置为接收缓冲的多媒体数据m1_buf(即,储存在摄像缓冲器314中的多工器输出m1)。由摄像控制器113控制多工器118以选择多工器输出m1和缓冲的多媒体数据m1_buf的其中之一作为其多工器输出m2。

请参考图4,其为依据本发明实施例的摄像模块的第二可选设计的方块图。图1所示的摄像模块102_1可被替换为摄像模块102_3。摄像模块102_3包含摄像缓冲器414、压缩器415和上述镜头模块111、摄像传感器112、摄像控制器113、输出接口116以及多工器117和118。在本实施例中,压缩器415位于摄像传感器112和输出接口116之间,且压缩器415和摄像缓冲器314以并行方式连接。因此,多工器117的输入端口n11被设置为接收由压缩器415对输入多媒体数据d1应用数据压缩产生的压缩的多媒体数据d1’。多工器117的输入端口n12接收摄像传感器112产生的输入多媒体数据d1。由摄像控制器113控制多工器117以选择输入多媒体数据d1和压缩的多媒体数据d1’其中之一来作为它的多工器输出m1。多工器118的输入端口n21被设置为从多工器117的输出端口n13接收多工器输出m1。输入多媒体数据d1被储存在摄像缓冲器414。多工器118的输入端口n22被设置为接收缓冲的多媒体数据d1_buf(即,储存在摄像缓冲器414中的输入多媒体数据d1)。由摄像控制器113控制多工器118以选择多工器输出m1和缓冲的多媒体数据d1_buf的其中之一作为其多工器输出m2。

请参考图5,其为依据本发明实施例的摄像模块的第三可选设计的方块图。图1所示的摄像模块102_1可被替换为摄像模块102_4。摄像模块102_4包含摄像缓冲器514、压缩器515和上述镜头模块111、摄像传感器112、摄像控制器113、输出接口116以及多工器117,118。在本实施例中,压缩器515位于摄像传感器112和摄像缓冲器514之间。因此,多工器117的输入端口n11被设置为接收由压缩器515对输入多媒体数据d1应用数据压缩产生的压缩的多媒体数据d1’。多工器117的输入端口n12接收摄像传感器112产生的输入多媒体数据d1。由摄像控制器113控制多工器117以选择输入多媒体数据d1和压缩的多媒体数据d1’其中之一来作为它的多工器输出m1。多工器118的输入端口n21被设置为接收输入多媒体数据d1。多工器输出m1被储存在摄像缓冲器514。多工器118的输入端口n22被设置为接收缓冲的多媒体数据m1_buf(即,储存在摄像缓冲器514中的多工器输出m1)。由摄像控制器113控制多工器118以选择输入多媒体数据d1和缓冲的多媒体数据m1_buf的其中之一作为其多工器输出m2。

请参考图6,其为依据本发明实施例的摄像模块的第四可选设计的方块图。图1所示的摄像模块102_1可被替换为摄像模块102_5。摄像模块102_5包含摄像缓冲器614、压缩器615和上述镜头模块111、摄像传感器112、摄像控制器113、输出接口116以及多工器117,118。在本实施例中,压缩器615位于摄像缓冲器614和输出接口116之间,且压缩器615和摄像传感器112以并行方式连接。因此,输入多媒体数据d1被储存在摄像缓冲器614。多工器117的输入端口n11被设置为接收由压缩器615对缓冲的多媒体数据d1_buf(即,储存在摄像缓冲器614中的输入多媒体数据d1)应用数据压缩产生的压缩的多媒体数据d1_buf’。多工器117的输入端口n12从摄像缓冲器614接收缓冲的多媒体数据d1_buf。由摄像控制器113控制多工器117以选择压缩的多媒体数据d1_buf’和缓冲的多媒体数据d1_buf其中之一来作为它的多工器输出m1。多工器118的输入端口n21被设置为接收输入多媒体数据d1。多工器118的输入端口n22被设置为接收多工器输出m1。由摄像控制器113控制多工器118以选择输入多媒体数据d1和多工器输出m1的其中之一作为其多工器输出m2。

关于图1所示的数据处理系统100,当对将在摄像头接口103上传输的多媒体数据应用数据压缩时,不管选择的内部传输模式是飞行模式或是离线模式,解压缩的多媒体数据d2’被发送至影像处理器127。然而,这仅用于说明目的,并不意味着是对本发明的限制。即,允许解压缩器位于影像信号处理器内不同的路径。影像信号处理器的几种可供选择的设计给出如下。

请参考图7,其为依据本发明第二实施例的数据处理系统的方块图。数据处理系统700包含多个数据处理装置,例如摄像模块702和影像信号处理器704。摄像模块702可使用上述摄像模块102_1,102_2,102_3,102_4,102_5其中之一来实现。摄像模块702和影像信号处理器704可以是不同的芯片,且摄像模块702通过上述摄像头接口103与影像信号处理器704进行通信。在本实施例中,影像信号处理器704包含但不限于输入接口721、解压缩器722、包含一个写dma控制器724和一个读dma控制器725在其中的数据存取电路723、isp控制器726、影像处理器727、以及多个多工器728,729。该isp控制器726被设置为控制影像信号处理器704的操作。例如,isp控制器726控制影像处理器727和多工器728,729。类似地,基于摄像模块702采用的操作模式,可控制影像信号处理器704操作于普通/非解压缩模式或解压缩模式。输入接口721被设置为通过摄像头接口103接收比特流bs,并将比特流bs解封包为输入多媒体数据d2。更具体地,输入接口721基于摄像头接口103的传输协议来解封装比特流bs。如图7所示,输入多媒体数据d2可被送入解压缩器722用于数据解压缩、通过写dma控制器724储存到影像缓冲器132、或直接旁路(bypass)到多工器728。在本实施例中,仅当影像信号处理器704操作于解压缩模式并选择飞行模式来发送多媒体数据至影像处理器727时,对输入多媒体数据d2应用数据解压缩。

如图7所示,多工器728具有多个输入端口n31,n32和一个输出端口n33。输入端口n31被设置为接收由解压缩器722对输入多媒体数据d2应用数据解压缩产生的解压缩的多媒体数据d2’。输入端口n32被设置为接收输入接口721产生的输入多媒体数据d2。输出端口n33被设置为选择性地输出输入多媒体数据d2或解压缩的多媒体数据d2’作为多工器输出m3。

关于图7所示的多工器729,其具有多个输入端口n41,n42和一个输出端口n43。输入端口n41被设置为接收多工器728产生的多工器输出m3。输入端口n42被设置为接收缓冲的多媒体数据d2_buf(即,储存在影像缓冲器132中的输入多媒体数据d2)。输出端口n43被设置为选择性地输出多工器输出m3或缓冲的多媒体数据d2_buf作为多工器输出m4至后续影像处理器727。

在使用图3所示的摄像模块102_2实现摄像模块702以及控制影像信号处理器704操作于普通/非解压缩模式的情况下,如果在传输过程中没有错误发生,则输入多媒体数据d2等于图3所示的输入多媒体数据d1。此外,当内部传输模式被设定为飞行模式或离线模式两者之一时,由于不需要进行数据解压缩,所以解压缩器722被禁用或断电。当选择飞行模式来将多媒体数据发送至影像处理器727时,多工器728选择输入多媒体数据d2作为多工器输出m3,以及多工器729选择多工器输出m3作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器727时,输入多媒体数据d2被储存至影像缓冲器132,多工器729选择缓冲的多媒体数据d2_buf作为多工器输出m4。

在另一种情况下,使用图3所示的摄像模块102_2实现摄像模块702且控制影像信号处理器704操作于解压缩模式,解压缩器722被启动或上电。如果在传输过程中没有发生错误,则输入多媒体数据d2等于图3所示的压缩的多媒体数据d1’,以及如果应用无损压缩且在数据解压缩过程中没有发生错误,则解压缩的多媒体数据d2’等于图3所示的输入多媒体数据d1。应注意的是,在本实施方式中当影像信号处理器704操作于解压缩模式时,只允许选择飞行模式来将多媒体数据发送至影像处理器727。因此,多工器728选择解压缩的多媒体数据d2’作为多工器输出m3,以及多工器729选择多工器输出m3作为多工器输出m4。

简要概述,解压缩器722与影像缓冲器132以并行方式连接。因此,仅对于离线模式,影像缓冲器132储存未压缩的多媒体数据,以及仅在飞行模式中解压缩器727为有效的(active)。当选择飞行模式来将多媒体数据发送至影像处理器(即多媒体处理器)727时,多工器728基于是否需要数据解压缩来配置其内部互连。多工器729基于选择的内部传输模式(无论是飞行模式或离线模式)来配置其内部互连。当摄像模块702启动压缩模式时,摄像模块702和影像信号处理器704之间的传输数据率降低,从而降低了摄像头接口103的功率消耗。

图8为图7所示的影像信号处理器704的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图8所示顺序来执行。图2中所示步骤202-208也由图7所示摄像模块702执行。因此,为简单起见,图8中只显示由影像信号处理器704执行的步骤。影像信号处理器704的示例性控制和数据流可以简单总结为以下步骤。

步骤810:将比特流bs解封包/解封装(un-pack/un-packetize)为输入多媒体数据d2。

步骤812:检查是否选择离线模式来将多媒体数据发送至影像处理器727。如果是,则转到步骤814,否则,转到步骤816。

步骤814:将输入多媒体数据d2储存至影像缓冲器132,并将缓冲的多媒体数据d2_buf(d2_buf=d2)发送至影像处理器727。转到步骤822。

步骤816:检查是否启动了解压缩模式。如果是,则转到步骤818,否则,转到步骤820。

步骤818:解压缩输入多媒体数据d2,以产生解压缩的多媒体数据d2’,并将解压缩的多媒体数据d2’发送至影像处理器727。转到步骤822。

步骤820:将输入多媒体数据d2发送至影像处理器727。

步骤822:结束。

在阅读以上针对图7所示的数据处理系统700的段落后,本领域的技术人员可以容易理解图8所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

请参考图9,其为依据本发明第三实施例的数据处理系统的方块图。数据处理系统900包含多个数据处理装置,如前面提到的摄像模块702(其可以使用摄像模块102_1-102_5来实现)和影像信号处理器904。摄像模块702和影像信号处理器904可以是不同的芯片,且摄像模块702通过上述摄像头接口103与影像信号处理器904进行通信。在本实施例中,影像信号处理器904包含但不限于输入接口921、解压缩器922、包含一个写dma控制器924和一个读dma控制器925在其中的数据存取电路923、isp控制器926、影像处理器927、多个多工器928和929、以及一个可选的预处理器931。isp控制器926被设置为控制影像信号处理器904的操作。例如,isp控制器926控制影像处理器927和多工器928,929。类似地,基于摄像模块702采用的操作模式,影像信号处理器904可操作于普通/非解压缩模式或解压缩模式。输入接口921被设置为通过摄像头接口103接收比特流bs,并将比特流bs解封包为输入多媒体数据d2。更具体地,基于摄像头接口103的传输协议,输入接口921解封装该比特流bs。如图9所示,输入多媒体数据d2可被送入到解压缩器922用于数据解压缩、直接旁路到多工器928、或直接旁路到多工器929。在本实施例中,仅在影像信号处理器904操作于解压缩模式并选择离线模式来将多媒体数据发送至影像处理器927时,对输入多媒体数据d2应用数据解压缩。

如图9所示,多工器928具有多个输入端口n31,n32和一个输出端口n33。输入端口n32被设置为接收由解压缩器922对输入多媒体数据d2应用数据解压缩产生的解压缩的多媒体数据d2’。输入端口n31被设置为接收输入接口921产生的输入多媒体数据d2。输出端口n33被设置为选择性地输出输入多媒体数据d2或解压缩的多媒体数据d2’作为多工器输出m3。

关于图9所示的多工器929,其具有多个输入端口n41,n42和一个输出端口n43。输入端口n41被设置为接收输入接口921产生的输入多媒体数据d2。输入端口n42被设置为接收缓冲的多媒体数据m3_buf(即,储存在影像缓冲器132中的多工器输出m3)。输出端口n43被设置为选择性地输出输入多媒体数据d2或缓冲的多媒体数据m3_buf作为多工器输出m4至后续影像处理器927。

应注意的是,在影像处理器927处理多媒体数据之前,可对多媒体数据应用影像预处理。由于每个影像预处理操作不是被设计为处理压缩的多媒体数据,因此预处理器931位于解压缩器922的后面。在本实施例中,预处理器931位于写dma控制器924之前。因此,在多工器输出m3被储存至影像缓冲器132之前,可对多工器输出m3应用影像预处理操作。或者,预处理器931可以位于读dma控制器925之后。因此,在缓冲的多媒体数据m3_buf被提供至多工器929的输入端口n42之前,可对缓冲的多媒体数据m3_buf应用影像预处理操作。

在使用图3所示的摄像模块102_2实现摄像模块702以及控制影像信号处理器904操作于普通/非解压缩模式的情况下,如果在传输过程中没有错误发生,则输入多媒体数据d2等于图3所示的输入多媒体数据d1。此外,当内部传输模式被设定为飞行模式或离线模式两者之一时,由于不需要进行数据解压缩,所以解压缩器526被禁用或断电。当选择飞行模式来将多媒体数据发送至影像处理器927时,多工器929选择输入多媒体数据d2作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器927时,多工器928选择输入多媒体数据d2作为多工器输出m3,多工器输出m3被储存至影像缓冲器132,以及多工器929选择缓冲的多媒体数据m3_buf作为多工器输出m4。

在另一种情况下,使用图3所示的摄像模块102_2实现摄像模块702且控制影像信号处理器904操作于解压缩模式,解压缩器922被启动或上电。如果在传输过程中没有发生错误,则输入多媒体数据d2等于图3所示的压缩的多媒体数据d1’,以及如果应用无损压缩且在数据解压缩过程中没有发生错误,则解压缩的多媒体数据d2’等于图3所示的输入多媒体数据d1。应注意的是,在本实施方式中当影像信号处理器904操作于解压缩模式时,只允许选择离线模式来将多媒体数据发送至影像处理器927。因此,多工器928选择解压缩的多媒体数据d2’作为多工器输出m3,以及多工器929选择缓冲的显示输出m3_buf作为多工器输出m4。

简要概述,对于离线模式,影像缓冲器132储存未压缩的多媒体数据或解压缩的多媒体数据,以及仅在离线模式解压缩器922为有效的。当选择离线模式来将多媒体数据发送至影像处理器(即多媒体处理器)927时,多工器928基于是否需要数据解压缩来配置其内部互连。多工器929基于选择的内部传输模式(无论是飞行模式或离线模式)来配置其内部互连。当摄像模块702启动压缩模式时,摄像模块702和影像信号处理器904之间的传输数据率降低,从而降低了摄像头接口103的功率消耗。

图10为图9所示的影像信号处理器904的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图10所示顺序来执行。图2中所示步骤202-208也由图9所示摄像模块702执行。因此,为简单起见,图10中只显示由影像信号处理器904执行的步骤。影像信号处理器904的示例性控制和数据流可以简单总结为以下步骤。

步骤1010:将比特流bs解封包/解封装为输入多媒体数据d2。

步骤1012:检查是否选择离线模式来将多媒体数据发送至影像处理器927。如果是,则转到步骤1016,否则,转到步骤1014。

步骤1014:将输入多媒体数据d2发送至影像处理器927。

步骤1016:检查是否启动了解压缩模式。如果是,则转到步骤1018,否则,转到步骤1020。

步骤1018:解压缩输入多媒体数据d2以产生解压缩的多媒体数据d2’,将解压缩的多媒体数据d2’储存至影像缓冲器132,并将缓冲的多媒体数据m3_buf(m3_buf=d2’)发送至影像处理器927。转到步骤1022。

步骤1020:将输入多媒体数据d2储存至影像缓冲器132,并将缓冲的多媒体数据m3_buf(m3_buf=d2)发送至影像处理器927。

步骤1022:结束。

在阅读以上针对图9所示的数据处理系统900的段落后,本领域的技术人员可以容易理解图10所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

请参考图11,其为依据本发明第四实施例的数据处理系统的方块图。数据处理系统1100包含多个数据处理装置,如前面提到的摄像模块702(其可以使用摄像模块102_1-102_5来实现)和影像信号处理器1104。摄像模块702和影像信号处理器1104可以是不同的芯片,且摄像模块702通过上述摄像头接口103与影像信号处理器1104进行通信。在本实施例中,影像信号处理器1104包含但不限于输入接口1121、解压缩器1122、包含一个写dma控制器1124和一个读dma控制器1125在其中的数据存取电路1123、isp控制器1126、影像处理器1127、多个多工器1128和1129。isp控制器1126被设置为控制影像信号处理器1104的操作。例如,isp控制器1126控制影像处理器1127和多工器1128,1129。类似地,基于摄像模块702采用的操作模式,影像信号处理器1104可操作于普通/非解压缩模式或解压缩模式。输入接口1121被设置为通过摄像头接口103接收比特流bs,并将比特流bs解封包为输入多媒体数据d2。更具体地,基于摄像头接口103的传输协议,输入接口1121解封装该比特流bs。如图11所示,输入多媒体数据d2可通过写dma控制器1124被送入到影像缓冲器132,或直接旁路到多工器1129。更具体地,仅在影像信号处理器1104操作于解压缩模式并选择离线模式来将多媒体数据发送至影像处理器1127时,对储存在影像缓冲器132中的输入多媒体数据d2(即,缓冲的多媒体数据d2_buf)应用数据解压缩。

如图11所示,多工器1128具有多个输入端口n31,n32和一个输出端口n33。输入端口n32被设置为接收由读dma控制器1125从影像缓冲器132中所读取的缓冲的多媒体数据d2_buf。输入端口n31被配置为接收由解压缩器1122对缓冲的多媒体数据d2_buf应用数据解压缩产生的解压缩的多媒体数据d2_buf’。输出端口n33被设置为选择性地输出缓冲的多媒体数据d2_buf或解压缩的多媒体数据d2_buf’作为多工器输出m3。

关于图11所示的多工器1129,具有多个输入端口n41,n42和一个输出端口n43。输入端口n41被设置为接收输入接口1121产生的输入多媒体数据d2。输入端口n42被设置为接收多工器输出m3。输出端口n43被设置为选择性地输出输入多媒体数据d2或多工器输出m3作为多工器输出m4至后续影像处理器1127。

在使用图3所示的摄像模块102_2实现摄像模块702以及控制影像信号处理器1104操作于普通/非解压缩模式的情况下,如果在传输过程中没有错误发生,则输入多媒体数据d2等于图3所示的输入多媒体数据d1。此外,当内部传输模式被设定为飞行模式或离线模式两者之一时,由于不需要进行数据解压缩,所以解压缩器1122被禁用或断电。当选择飞行模式来将多媒体数据发送至影像处理器1127时,多工器1129选择输入多媒体数据d2作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器1127时,多工器1128选择缓冲的多媒体数据d2_buf作为多工器输出m3,以及多工器1129选择多工器输出m3作为多工器输出m4。

在另一种情况下,使用图3所示的摄像模块102_2实现摄像模块702且控制影像信号处理器1104操作于解压缩模式,解压缩器1122被启动或上电。如果在传输过程中没有发生错误,则输入多媒体数据d2等于图3所示的压缩的输入多媒体数据d1’,以及如果应用无损压缩且在数据解压缩和数据缓冲过程中没有发生错误,则解压缩的多媒体数据d2_buf’等于图3所示的输入多媒体数据d1。应注意的是,在本实施方式中当影像信号处理器1104操作于解压缩模式时,只允许选择离线模式来将多媒体数据发送至影像处理器1127。因此,多工器1128选择解压缩的多媒体数据d2_buf’作为多工器输出m3,以及多工器1129选择多工器输出m3作为多工器输出m4。

简要概述,对于离线模式,影像缓冲器132储存未压缩的多媒体数据或压缩的多媒体数据,以及仅在离线模式解压缩器1122为有效的。当选择离线模式来将多媒体数据发送至影像处理器(即多媒体处理器)1127时,多工器1128基于是否需要数据解压缩来配置其内部互连。多工器1129基于选择的内部传输模式(无论是飞行模式或离线模式)来配置其内部互连。当摄像模块702启动压缩模式时,摄像模块702和影像信号处理器1104之间的传输数据率降低,从而降低了摄像头接口103的功率消耗。

图12为图11所示的影像信号处理器1104的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图12所示顺序来执行。图2中所示步骤202-208也由图11所示摄像模块702执行。因此,为简单起见,图12中只显示由影像信号处理器1104执行的步骤。影像信号处理器1104的示例性控制和数据流可以简单总结为以下步骤。

步骤1210:将比特流bs解封包/解封装为输入多媒体数据d2。

步骤1212:检查是否选择离线模式来将多媒体数据发送至影像处理器1127。如果是,则转到步骤1216,否则,转到步骤1214。

步骤1214:将输入多媒体数据d2发送至影像处理器1127。转到步骤1222。

步骤1216:检查是否启动了解压缩模式。如果是,则转到步骤1218,否则,转到步骤1220。

步骤1218:将多媒体数据d2储存至影像缓冲器132,解压缩缓冲的多媒体数据d2_buf(d2_buf=d2)以产生解压缩的多媒体数据d2_buf’,并将解压缩的多媒体数据d2_buf’发送至影像处理器1127。转到步骤1222。

步骤1220:将输入多媒体数据d2储存至影像缓冲器132,并将缓冲的多媒体数据d2_buf(d2_buf=d2)发送至影像处理器1127。

步骤1222:结束。

在阅读以上针对图11所示的数据处理系统1100的段落后,本领域的技术人员可以容易理解图12所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

请参考图13,其为依据本发明第五实施例的数据处理系统的方块图。数据处理系统1300包含多个数据处理装置,如前面提到的摄像模块702(其可以使用摄像模块102_1-102_5来实现)和影像信号处理器1304。摄像模块702和影像信号处理器1304可以是不同的芯片,且摄像模块702通过上述摄像头接口103与影像信号处理器1304进行通信。在本实施例中,影像信号处理器1304包含但不限于输入接口1321、解压缩器1322、包含一个写dma控制器1324和一个读dma控制器1325在其中的数据存取电路1323、isp控制器1326、影像处理器1327、多个多工器1328,1329。isp控制器1326被设置为控制影像信号处理器1304的操作。例如,isp控制器1326控制影像处理器1327和多工器1328,1329。类似地,基于摄像模块702采用的操作模式,影像信号处理器1304可操作于普通/非解压缩模式或解压缩模式。输入接口1321被设置为通过摄像头接口103接收比特流bs,并将比特流bs解封包为输入多媒体数据d2。更具体地,基于摄像头接口103的传输协议,输入接口1321解封装该比特流bs。如图13所示,输入多媒体数据d2可通过写dma控制器1324被送入影像缓冲器132,或直接旁路到多工器1328。在本实施例中,可对输入多媒体数据d2或储存在影像缓冲器132中的输入多媒体数据d2(即缓冲的多媒体数据d2_buf)应用数据解压缩。

如图13所示,多工器1328具有多个输入端口n31,n32和一个输出端口n33。输入端口n31被设置为接收输入接口1321产生的输入多媒体数据d2。输入端口n32被设置为接收由读dma控制器1325从影像缓冲器132中所读取的缓冲的多媒体数据d2_buf。输出端口n33被设置为选择性地输出输入多媒体数据d2或缓冲的多媒体数据d2_buf作为多工器输出m3。

关于图13所示的多工器1329,其具有多个输入端口n41,n42和一个输出端口n43。输入端口n42被设置为接收由解压缩器1322对多工器输出m3应用数据解压缩产生的解压缩的多媒体数据m3’。输入端口n41被设置为接收来自多工器1328的多工器输出m3。输出端口n43被设置为选择性地输出多工器输出m3或解压缩的多媒体数据m3’作为多工器输出m4至后续影像处理器1327。

在使用图3所示的摄像模块102_2实现摄像模块702以及控制影像信号处理器1304操作于普通/非解压缩模式的情况下,如果在传输过程中没有错误发生,则输入多媒体数据d2等于图3所示的输入多媒体数据d1。此外,当内部传输模式被设定为飞行模式或离线模式两者之一时,由于不需要进行数据解压缩,所以解压缩器1322被禁用或断电。当选择飞行模式来将多媒体数据发送至影像处理器1327时,多工器1328选择输入多媒体数据d2作为多工器输出m3,以及多工器1329选择多工器输出m3作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器1327时,多工器1328选择缓冲的多媒体数据d2_buf(即储存在影像缓冲器132中的输入多媒体数据d2)作为多工器输出m3,以及多工器1329选择多工器输出m3作为多工器输出m4。

在另一种情况下,使用图3所示的摄像模块102_2实现摄像模块702且控制影像信号处理器1304操作于解压缩模式,解压缩器1322被启动或上电。如果在传输过程中没有发生错误,则输入多媒体数据d2等于图3所示的压缩的输入多媒体数据d1’,以及如果应用无损压缩且在数据解压缩及/或数据缓冲过程中没有发生错误,则解压缩的多媒体数据m3’等于图3所示的输入多媒体数据d1。当选择飞行模式来将多媒体数据发送至影像处理器(即多媒体处理器)1327时,多工器1328选择输入多媒体数据d2作为多工器输出m3,以及多工器1329选择对多工器输出m3应用数据解压缩产生的解压缩的多媒体数据m3’作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器(即多媒体处理器)1327时,多工器1328选择缓冲的多媒体数据d2_buf作为多工器输出m3,以及多工器1329选择解压缩的多媒体数据m3’作为多工器输出m4。

简要概述,对于离线模式,影像缓冲器132储存压缩的多媒体数据,以及在飞行模式和离线模式中解压缩器1322都是有效的。多工器1328基于选择的内部传输模式(无论是飞行模式或离线模式)来配置其内部互连。多工器1329基于是否需要数据解压缩来配置其内部互连。当摄像模块702启动压缩模式时,摄像模块702和影像信号处理器1304之间的传输数据率降低,从而降低了摄像头接口103的功率消耗。

图14为图13所示的影像信号处理器1304的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图14所示顺序来执行。图2中所示步骤202-208也由图13所示摄像模块702执行。因此,为简单起见,图14中只显示由影像信号处理器1304执行的步骤。影像信号处理器1304的示例性控制和数据流可以简单总结为以下步骤。

步骤1410:将比特流bs解封包/解封装为输入多媒体数据d2。

步骤1412:检查是否选择离线模式来将多媒体数据发送至影像处理器1327。如果是,则转到步骤1414,否则,转到步骤1416。

步骤1414:将输入多媒体数据d2储存至影像缓冲器132。

步骤1416:检查是否启动了解压缩模式。如果是,则转到步骤1418,否则,转到步骤1420。

步骤1418:解压缩多工器输出m3(m3=d2或d2_buf)以产生解压缩的多媒体数据m3’,并将解压缩的多媒体数据m3’发送至影像处理器1327。转到步骤1422。

步骤1420:将多工器输出m3发送至影像处理器1327。

步骤1422:结束。

在阅读以上针对图13所示的数据处理系统1300的段落后,本领域的技术人员可以容易理解图14所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

在摄像模块上述示例性实施例中,摄像模块被设计成包含压缩器在其中以支持数据压缩。然而,这仅用于说明目的,并不意味着是对本发明的限制。在另一种设计中,压缩器可实现在位于前面的摄像模块和后面的影像信号处理器之间的桥接芯片(bridgeic)上。

请参考图15,其为依据本发明第六实施例的数据处理系统的方块图。数据处理系统1500包含多个数据处理装置,如摄像模块1502、影像信号处理器(isp)1504以及桥接芯片1506。摄像模块1502、影像信号处理器1504以及桥接芯片1506可以是不同的芯片,其中摄像模块1502通过摄像头接口1503与桥接芯片1506进行通信,以及桥接芯片1506通过上述摄像头接口103与影像信号处理器1504进行通信。举例来说,但不作为限制,摄像头接口1503可为由移动行业处理器接口标准化的相机串行接口。

摄像模块1502包含上述镜头模块111、摄像传感器112、摄像控制器113、摄像缓冲器114、输出接口116、以及多工器117。因此,摄像模块1502被设置为产生输入多媒体数据d1、将输入多媒体数据d1储存到摄像缓冲器114、选择输入多媒体数据d1和储存在摄像缓冲器114中的输入多媒体数据d1(即,缓冲的多媒体数据d1_buf)其中之一作为多工器输出m1、将多工器输出m1打包/封装成比特流bs1,并通过摄像头接口1503输出该比特流bs1。

在本实施例中,桥接芯片1506耦接于摄像模块1502和影像信号处理器1504之间,并包含但并不限于输入接口1512、压缩控制器1514、压缩器1516、多工器1517、以及输出接口1518。压缩控制器1514被设置为控制桥接芯片1506的操作。例如,压缩控制器1514控制压缩器1516和多工器1517。桥接芯片1506可操作于普通/非压缩模式或压缩模式。输入接口1512被设置为通过摄像头接口1503接收比特流bs1,以及将比特流bs1解封包为输入多媒体数据d3。更具体地,输入接口1512基于摄像头接口1503的传输协议来解封装比特流bs1。

如图15所示,多工器1517具有多个输入端口n51,n52和一个输出端口n53。输入端口n51被设置为接收由压缩器1516对输入多媒体数据d3应用数据压缩产生的压缩的多媒体数据d3’。输入端口n52被设置为接收从输入接口1512产生的输入多媒体数据d3。输出端口n53被设置为选择地输出该输入多媒体数据d3或压缩的多媒体数据d3’作为多工器输出m5。当压缩控制器1514控制桥接芯片1506操作于普通/非压缩模式时,压缩器1516被禁用或断电,且多工器1517选择输入多媒体数据d3作为多工器输出m5至后面的输出接口1518。当压缩控制器1514控制桥接芯片1506操作于压缩模式时,压缩器1516被启动或上电,以接收输入多媒体数据d3并根据接收到的输入多媒体数据d3产生压缩的多媒体数据d3’,且多工器1517选择压缩的多媒体数据d3’作为多工器输出m5至后面的输出接口1518。应注意的是,压缩器1516可以采用有损或无损压缩算法,取决于实际设计考量/需求。输出接口1518被设置为将多工器输出m5打包成比特流bs,并通过摄像头接口103输出该比特流bs。更具体地,输出接口1518基于摄像头接口103的传输协议对多工器输出m5进行封装。

影像信号处理器1504被设置为通过摄像头接口103接收比特流bs,并产生处理后的多媒体数据至一个或多个处理器(例如,显示处理器134,视频处理器136,及/或图形处理器138)。此外,当所采用的内部传输模式是离线模式时,影像信号处理器1504将多媒体数据储存到影像缓冲器132,以及从影像缓冲器132读取缓冲的多媒体数据。在本实施例中,可使用上述影像信号处理器104,704,904,1104,1304其中之一来实现影像信号处理器1504。为简单起见,此处省略进一步的描述。

由于桥接芯片1506配备有数据压缩能力,因此允许使用任何无压缩器的摄像模块来实现摄像模块1502。同样实现降低摄像模块和影像信号处理器之间摄像头接口(例如,103)上的传输数据率以降低功率消耗的目的。

图16为图15所示的数据处理系统1500的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图16所示顺序来执行。示例性控制和数据流可以简单总结为以下步骤。

步骤1600:开始。

步骤1602:摄像模块1502通过摄像头接口1503发送比特流bs1以传输未压缩的多媒体数据。

步骤1606:检查是否启动了压缩模式。如果是,则转到步骤1608,否则,转到步骤1612。

步骤1608:桥接芯片1506对从比特流bs1中得到的未压缩的多媒体数据执行数据压缩,并通过摄像头接口103发送比特流bs以传输压缩的多媒体数据。

步骤1610:影像信号处理器1504对从比特流bs中得到的压缩的多媒体数据执行数据解压缩,并根据解压缩的多媒体数据产生处理后的多媒体数据。转到步骤1616。

步骤1612:桥接芯片1506通过摄像头接口103发送比特流bs以传输未压缩的多媒体数据。

步骤1614:影像信号处理器1504根据未压缩的多媒体数据产生处理后的多媒体数据。

步骤1616:结束。

在阅读以上针对图15所示的数据处理系统1500的段落后,本领域的技术人员可以容易理解图16所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

在影像信号处理器上述示例性实施例中,影像信号处理器被设计成包含解压缩器在其中以支持数据解压缩。然而,这仅用于说明目的,并不意味着是对本发明的限制。在另一种设计中,解压缩器可实现在位于前面的摄像模块和后面的影像信号处理器之间的桥接芯片上。

请参考图17,其为依据本发明第七实施例的数据处理系统的方块图。数据处理系统1700包含多个数据处理装置,如前面提到的摄像模块702(其可以使用摄像模块102_1-102_5之一来实现)、影像信号处理器1704以及桥接芯片1706。摄像模块702、影像信号处理器1704以及桥接芯片1706可以是不同的芯片,其中摄像模块702通过上述摄像头接口103与桥接芯片1706进行通信,以及桥接芯片1706通过摄像头接口1705与影像信号处理器1704进行通信。举例来说,但不作为限制,摄像头接口1705可为由移动行业处理器接口标准化的相机串行接口。

在本实施例中,桥接芯片1706包含但并不限于输入接口1712、解压缩控制器1714、解压缩器1716、多工器1717、以及输出接口1718。解压缩控制器1714被设置为控制桥接芯片1706的操作。例如,解压缩控制器1714控制解压缩器1716和多工器1717。桥接芯片1706可操作于普通/非解压缩模式或解压缩模式。更具体地,当摄像模块702操作于普通/非压缩模式时,解压缩控制器1714控制桥接芯片1706操作于普通/非解压缩模式;以及当摄像模块702操作于压缩模式时,解压缩控制器1714控制桥接芯片1706操作于解压缩模式。

输入接口1712被设置为通过摄像头接口103接收比特流bs,以及将比特流bs解封包为输入多媒体数据d2。更具体地,输入接口1712基于摄像头接口103的传输协议解封装比特流bs。如图17所示,多工器1717具有多个输入端口n61,n62和一个输出端口n63。输入端口n61被设置为接收由解压缩器1716对输入多媒体数据d2应用数据解压缩产生的解压缩的多媒体数据d2’。输入端口n62被设置为接收输入接口1712产生的输入多媒体数据d2。输出端口n63被设置为选择性地输出输入多媒体数据d2或解压缩的多媒体数据d2’作为多工器输出m6。当解压缩控制器1714控制桥解芯片1706操作于普通/非解压缩模式时,解压缩器1716被禁用或断电,且多工器1717选择输入多媒体数据d2作为多工器输出m6至后面的输出接口1718。当解压缩控制器1714控制桥接芯片1706操作于解压缩模式时,解压缩器1716被启动或上电,以接收输入多媒体数据d2并根据所接收的输入多媒体数据d2产生解压缩的多媒体数据d2’,以及多工器1717选择解压缩的多媒体数据d2’作为多工器输出m6至后面的输出接口1718。输出接口1718被设置为将多工器输出m6打包成比特流bs2并通过摄像头接口1705输出比特流bs2。更具体地,输出接口1718基于摄像头接口1705的传输协议封装多工器输出m6。

影像信号处理器1704被设置为通过摄像头接口1705接收比特流bs2,并处理比特流bs2携带的多媒体数据。如图17所示,影像信号处理器1704包含上述输入接口121、包含一个写dma控制器124和一个读dma控制器125在其中的数据存取电路123、isp控制器126、影像处理器127、以及多工器129。在本实施例中,输入接口121从比特流bs2中获得输入多媒体数据d5。当选择飞行模式来将多媒体数据发送至影像处理器(即多媒体处理器)127时,多工器129选择输入多媒体数据d5作为多工器输出m4。当选择离线模式来将多媒体数据发送至影像处理器(即多媒体处理器)127时,由写dma控制器124将输入多媒体数据d5储存到影像缓冲器132中,以及多工器129选择由读dma控制器125从影像缓冲器132中读取的缓冲的多媒体数据d5_buf来作为多工器输出m4。

由于桥接芯片1706配备有数据解压缩能力,因此允许使用任何无解压缩器的影像信号处理器来实现影像信号处理器1704。同样达到降低摄像模块和影像信号处理器之间摄像头接口(例如,103)上的传输数据率以降低功率消耗的目的。

图18为图17所示的数据处理系统1700的控制和数据流的流程图。假设结果大致相同,步骤可不必严格按照图18所示顺序来执行。示例性控制和数据流可以简单总结为以下步骤。

步骤1800:开始。

步骤1802:检查是否启动了压缩模式。如果是,则转到步骤1804,否则,转到步骤1808。

步骤1804:摄像模块702通过摄像头接口103发送比特流bs以传输压缩的多媒体数据。

步骤1806:桥接芯片1706对从比特流bs中获得的压缩的多媒体数据执行数据解压缩,并通过摄像头接口1705发送比特流bs2以传输解压缩的多媒体数据。转到步骤1812。

步骤1808:摄像模块702通过摄像头接口103发送比特流bs以传输未压缩的多媒体数据。

步骤1810:桥接芯片1706通过摄像头接口1705发送比特流bs2以传输未压缩的多媒体数据。

步骤1812:影像信号处理器1704根据从比特流bs2中获得的多媒体数据产生处理后的多媒体数据。

步骤1814:结束。

在阅读以上针对图17所示的数据处理系统1700的段落后,本领域的技术人员可以容易理解图18所示的每一个步骤的细节,在此省略进一步的描述以求简洁。

本发明虽以较佳实施例揭露如上,然其并非用以限定本发明的范围,任何本领域技术人员,在不脱离本发明的精神和范围内,当可做各种更动与润饰,因此本发明的保护范围当以权利要求所界定者为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1