图像处理片上系统和处理图像数据的方法_5

文档序号:9633951阅读:来源:国知局
CIS 421、第二 CIS 422、第一处理块431、第二处理块432、存储器440和显示装置450中的每个(例如,对应于箭头)通信。可选择地,这些接口可以不是专用的,并且可以与在应用处理器410外部的其他装置(例如,图13A中示出的装置或者图13A中没有示出的其他装置)共享。接口可以包括应用处理器510的输入/输出缓冲器和电端子(例如,半导体芯片的芯片焊盘),该应用处理器510具有驱动器和/或锁存器,该驱动器和/或锁存器与相应的电端子连接以分别驱动从应用处理器510输出的信号(数据、地址和命令信号)并锁存从外部源输入到应用处理器510的信号(数据、地址和命令信号)。包括在移动设备400中的各种功能块可以与应用处理器410通信,应用处理器410中的组件可以通过系统总线相互交换信号。可以将应用处理器的模式寄存器(未示出)编程和设置为(或者可以将应用处理器另外编程)通知应用处理器410位数以与CIS 421、CIS422、处理块1431、处理块2432和显示器450交换一一由此,Μ和N可以是可变的,并且可以随着利用应用处理器410的系统而调整。
[0138]应用处理器410可以实现为包括多个IP核的SoC。此外,图13A中示出的功能块可以发送/接收具有不同位数的像素数据。例如,第二 CIS 422可以生成每像素(M+N)位的像素数据,第二处理块432可以按照每像素(M+N)位来执行处理操作,并且应用处理器410可以与第二 CIS 422和第二处理块432交换(发送/接收)每像素(M+N)位的像素数据。例如,Μ可以等于8并且N可以等于2、4或8。
[0139]此外,第一 CIS 421可以生成每像素Μ位的像素数据,并且第一处理块431和显示装置450可以按照每像素Μ位来执行处理操作。应用处理器410可以与第一 CIS 421、第一处理块431和显示装置450交换每像素Μ位的数据。应用处理器410可以根据每个功能块的数据处理特征来控制对存储器440的第一区域和第二区域的访问。
[0140]作为示例,第一 CIS 421和第二 CIS 422可以生成具有不同的色深/灰度的图像信号,并且图像信号处理器413可以生成具有不同的每像素位数的像素数据。例如,图像信号处理器413可以针对从第一 CIS 421接收到的图像信号来生成每像素Μ位的像素数据。此外,图像信号处理器413可以针对从第二CIS 422接收到的图像信号来生成每像素(M+N)位的像素数据。像上述实施例中那样,可以将(M+N)位像素数据分成Μ位像素数据和N位像素数据,并且可以通过Μ位(Μ倍数位)数据总线将分割后的像素数据中的每个提供给存储器440。
[0141]可将(Μ+Ν)位像素数据分成Μ位像素数据和Ν位像素数据,可在存储器440的不同区域中存储Μ位像素数据和Ν位像素数据。例如,可以通过Μ位(Μ倍数位)数据总线将Μ位像素数据提供给存储器440,可以将多个像素的Ν位像素数据定义为组,并可以通过Μ位(Μ倍数位)数据总线将该组的像素数据提供给存储器440。在将每个像素的Μ位像素数据块(例如,较高Μ位像素数据)提供给存储器440之后,可以顺序地将每个像素的Ν位像素数据(例如,较低Ν位像素数据)提供给存储器440。
[0142]第一处理块431和第二处理块432可以根据分别为第一处理块431和第二处理块432定义的数据处理单位来访问存储器440。此外,显示装置450可以接收Μ位像素数据,并且通过根据接收到的Μ位像素数据来实现色深/灰度而将Μ位像素数据显示到屏幕。
[0143]图13Β示出图13Α的系统访问存储器的示例。图13Β中示出的存储器可以是图13Α的存储器440,或者设置在SoC内部的嵌入式存储器(例如,图13A的应用处理器410)。
[0144]第二 CIS 422可以包括感测单元(未示出),该感测单元针对感测单元的每个像素传感器生成具有由像素传感器接收到的幅值(例如,对应于光的强度)的电信号并将该电信号转换为对应的数字值以将图像信号提供给图像信号处理器(ISP) 413,该图像信号处理器(ISP)413将处理后的图像提供给应用处理器510。图像可以是针对每个像素包括多个像素值的静止图像和/或包括多个静止图像(帧)的视频图像。在一些实施例中,可以不使用单独的ISP 413,并且可以由应用处理器510来执行任何期望的图像处理以获得初始图像。第二 CIS 422可以生成10位像素数据并将10位像素数据提供给存储器,使得10位像素数据被分成8位像素数据和2位像素数据,并且8位像素数据和2位像素数据分开地存储在存储器EM中。应用处理器510可以从应用处理器510的单独的相应接口或者应用处理器510的共享接口接收来自第一 CIS 421或第二 CIS 422的感测图像。
[0145]每个像素的8位像素数据可以被存储在存储器EM的第一区域(8位区域)中,每个像素的2位像素数据可以被存储在存储器EM的第二区域(2位区域)中。可以由其他图像处理器使用存储在存储器中的像素数据。
[0146]例如,在存储器的第一区域(8位区域)中存储的8位像素数据可以被提供给显示装置以显示图像。显示器控制模块412可以访问存储器EM的第一区域(8位区域)和第二区域(2位区域)中的每个。当显示装置450实现每像素8位的色深/灰度时,显示器控制模块412可以选择性地访问存储器EM的第一区域(8位区域)以将像素数据提供给显示装置450。
[0147]编解码器模块411可以对存储在存储器EM中的像素数据(例如,解码的像素数据)执行编码操作。因此,编解码器模块411可以包括编码单元(未示出)。可以按照每像素10位的数据单位执行编码操作。因此,在存储器的第一区域(8位区域)和第二区域(2位区域)中存储的像素数据可以被提供给编码单元。编码单元可以通过编码操作生成位流,并且生成的位流可以被存储在系统中,或者可以被发送到其他系统。
[0148]图14是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图。作为示例,图14的系统包括按至少两个不同数量的像素数据(例如,按显示器_六或显示器_B)来实现色深/灰度的显示装置。可将应用处理器的模式寄存器(未示出)设置为(或者可将应用处理器另外编程为)向应用处理器510通知显示器的色深/灰度,并由此通知将要发送到显示器540的位数。因此,色深/灰度可以是可变的,并且可以根据连接有该应用处理器510的显示器来调节。另外,可以将Μ设定为显示器的色深/灰度(色深/灰度的位数),从而Μ和Ν可以是可编程的且可变化的。
[0149]图14中示出的每个功能块可以对应于根据发明构思的实施例的图像处理器。此夕卜,图14中示出的一个或多个功能块可以构成根据发明构思的实施例的图像处理系统。此夕卜,根据发明构思的实施例的SoC可以包括根据发明构思的实施例来执行图像处理的一个或多个图像处理器。例如,图13A和图13B的应用处理器和图14的应用处理器510可以是根据发明构思的实施例的SoC(例如,图3的SoC 100)。此外,可以在诸如智能电话的移动设备500中实现图13A、图13B和图14的系统。
[0150]如图14所示,移动设备500可以包括应用处理器510、CIS 520、存储器530和显示装置540。此外,应用处理器510可以包括编解码器模块511和显示器控制模块512。此夕卜,显示装置540可以是按照(M+N)位像素数据实现每个像素的色深/灰度的显示器_A。此外,显示装置540可以是按照Μ位像素数据实现每个像素的色深/灰度的显示器_Β。应用处理器510中的用于像素数据的发送/接收的数据总线具有Μ位(或者Μ位的整数倍)的总线宽度。
[0151]根据图14中示出的实施例,应用处理器510可以将(Μ+Ν)位像素数据存储在存储器530中,而无需用于减少(M+N)位像素数据的位数的单独处理。由于显示装置显示器_A通过使用(M+N)位像素数据来实现每个像素的色深/灰度,所以对初始像素数据的抖动操作不会像其他实施例中那样导致转换位数。像其他实施例中那样,(M+N)位像素数据可以通过Μ位(或者Μ位的整数倍数)数据总线提供给存储器530。作为示例,在将每个像素的Μ位像素数据提供给存储器530之后,可以将多个像素的Ν位像素数据作为一组来识别和访问,并且可以将该组的像素数据提供给存储器530。此外,Μ位像素数据和Ν位像素数据可以存储在存储器530的不同区域中。
[0152]CIS 520可以生成具有每像素(M+N)位像素数据的图像信号或者具有每像素Μ位像素数据的图像信号。应用处理器510可以编程为具有指示将要由CIS 520生成的像素数据的大小的值(例如,具有模式寄存器)。当生成每像素Μ位的像素数据块时,像素数据可以被存储在存储器530的第一区域中。此外,当生成每像素(Μ+Ν)位的像素数据时,像素数据可以分别被存储在存储器530的第一区域和第二区域中。此外,在显示器控制模块512的控制下,显示装置显示器_Α可以从存储器530接收每像素(Μ+Ν)位像素数据并实现Μ+Ν位的色深/灰度。
[0153]图14示出显示装置显示器_Β通过使用Μ位像素数据来实现色深/灰度的示例。在这种情况下,根据上述实施例,如在此其他处描述的,编解码器模块511可以通过执行抖动来生成已抖动的Μ位像素数据。Μ位像素数据可以被存储在存储器530的第一区域中。在显示器控制模块512的控制下,显示装置显示器_Β可以从存储器530仅接收Μ位像素数据(例如,已抖动的像素数据)。
[0154]在应用处理器510和显示装置540之间的通信的情况下,可以根据系统的配置而选择性地应用发明构思的实施例。例如,当使用按照(Μ+Ν)位像素数据实现色深/灰度的显示装置显示器_々并且应用处理器510和显示装置显示器_Α通过(Μ+Ν)数据线(或数据总线)通信时,可在应用处理器的第一操作模式中并行地提供从存储器530的第一区域和第二区域读取的(Μ+Ν)位像素数据。可选择地,当应用处理器510和显示装置显示器_八通过Μ数据线通信时,在应用处理器的第二操作模式中,可以提供存储器530的第一区域的Μ位数据,然后可以提供存储器530的第二区域的Ν位数据。可以通过对应用处理器进行编程(例如,经由应用处理器的模式寄存器)来选择应用处理器的不同的操作模式。
[0155]图15是根据发明构思的实施例的作为图像处理器的编解码器模块550的示例的框图。在图15中,除了编解码器模块550以外,还示出存储器、显示器控制模块和显示器。此外,图15的存储器可以是设置在SoC外面的外部存储器ΕΜ或者SoC的嵌入式存储器。在下文中,假设图15的存储器是外部存储器EM。此外,在图15中,与10位对应地提供(M+N)位像素数据的示例,其中,Μ位像素数据对应于8位,Ν位像素数据对应于2位。
[0156]编解码器550可以包括将像素数据提供给外部存储器ΕΜ的数据提供单元和从外部存储器ΕΜ接收像素数据的数据接收单元。数据提供单元可以包括对编码图像信号进行解码的解码单元560和对由解码单元560生成的解码图像信号(例如,原始图像信号)执行抖动的抖动单元570。此外,数据提供单元还可以包括控制像素数据的传送路径的第一路径控制单元551。
[0157]数据接收单元可以包括通过对从外部存储器ΕΜ接收到的像素数据执行逆抖动来恢复像素数据的逆抖动单元580和通过使用恢复后的像素数据和从外部存储器ΕΜ接收到的像素数据来生成对应于原始图像信号的参考图像的参考图像生成器590。此外,数据接收单元还可以包括控制从外部存储器EM接收到的像素数据的传送路径的第二路径控制单元552。
[0158]如图14的实施例中所述,在使用根据发明构思的实施例的SoC的诸如移动设备的系统中,可以设置各种显示装置。作为示例,编解码器模块550可以根据在系统中使用的显示装置的屏幕显示特征(例如,用于实现色深/灰度的每像素位数)来执行或跳过抖动操作。当系统中使用的显示装置根据每像素10位像素数据来实现色深/灰度时,第一路径控制单元551可以将原始图像的像素数据提供给外部存储器EM。例如,第一路径控制单元551可以执行控制,使得10位像素数据的较高有效8位被存储在外部存储器EM的第一区域中,并且10位像素数据的较低有效2位被存储在外部存储器EM的第二区域中。
[0159]存储器控制器或者编解码器模块可以将10位像素数据分成8位段和2位段的群组,并且在数据总线上将10位数据传送到外部存储器EM的过程中将8位段和2位段中的每个存储在外部存储器EM的预定的地址处。例如,像素的多个8位段可以占用数据总线的整个宽度,并且像素的2位段的群组可以按规则的间隔跟随在后续的数据传送中。在其他示例实施例中,数据总线可以具有数据宽度(例如,16位,32位,64位,128位等)使得在同一次访问中传送8位段和2位段的群组。可以使用对应的列地址来识别8位段和2位段的群组的存储器位置。显示器控制器可以将8位和2位段重新打包为原始的10位像素数据,以便在显示器处实现色深/灰度。
[0160]当系统中使用的显示装置根据每像素8位像素数据实现色深/灰度时,可以对原始图像的每个像素的10位像素数据执行抖动操作,并且作为抖动操作的结果,可以通过8位像素数据显示屏幕。为此,第一路径控制单元551可以将原始图像的像素数据提供给抖动单元570。在实施例中,第一路径控制单元551可以将10位像素数据的较低2位像素数据提供给外部存储器EM使得较低2位像素数据可以被存储在外部存储器EM的第二区域中。此外,第一路径控制单元551可以将10位像素数据提供给抖动单元570,并且来自抖动单元570的已抖动的8位像素数据可以被存储在外部存储器EM的第一区域中。
[0161]存储在外部存储器EM中的像素数据可以被读取和提供给第二路径控制单元552。当存储在外部存储器EM中的像素数据块对应于未抖动的原始图像时,第二路径控制单元552可以将在外部存储器EM中存储的10位像素数据提供给参考图像生成器590。当存储在外部存储器EM中的像素数据块对应于已抖动的数据时,第二路径控制单元552可以将从外部存储器EM的第二区域读取的2位像素数据提供给参考图像生成器590,并且第二路径控制单元552可以将从外部存储器EM的第一区域读取的8位像素数据提供给逆抖动单元580,从逆抖动单元580恢复的8位像素数据被提供给参考图像生成器590。
[0162]此外,显示器控制模块可以根据显示装置的特性来对外部存储器EM的第一区域和第二区域执行访问。根据显示装置的特性(该特性可以被存储在编解码器中),将8位像素数据提供给显示装置,或者将10位像素数据提供给显示装置。
[0163]根据图15的实施例,根据发明构思的实施例的使用编解码器模块550的SoC可以根据可由SoC驱动的显示装置的特征来适应性地对数据进行处理。此外,由于根据上述实施例来分割和管理像素数据块,所以可以高效地使用数据总线。此外,由于根据使用的显示装置而选择性地执行抖动,所以可以防止图像质量劣化。
[0164]尽管使用被分成8位较高有效位和2位较低有效位的10位像素来示出图15中的数据图像的处理、存储、访问和显示,但是其中示出的发明构思的实施例不限于此。像素深度是可以根据显示装置或者图像处理系统内的其他功能块来配置的。例如,10位像素实际上可以是大于1的正整数值,从而由两个正整数变量Μ和N构成,其中,Μ+Ν是按位计的像素深度。Μ和Ν的加和(即,Μ+Ν)可以是例如10、12等,在这种不例中,Μ可以是8,Ν可以是2、4等。因此,在图15中,示出的8位值可以由变量Μ替代,2位值可以由Ν替代,并且10位值可以由Μ+Ν替代。这种变量替代同样可以由图16中示出的实施例执行。
[0165]图16是根据发明构思的另一个实施例的图像处理系统600的框图。可以在SoC中实现图16中示出的图像处理系统600,并且示出了设置在SoC中的IP核当中的编解码器模块的示例。虽然图16中未示出,但是发明构思的实施例也可以应用于设置在SoC中以发送/接收像素数据的其他功能块。
[0166]如图16所示,图像处理系统600可以包括通过系统总线相互通信的多个IP核。例如,图像处理系统600可以包括编解码器模块610、CPU 620、电源控制模块630和时钟生成模块640。此外,编解码器模块610可以包括用于处理像素数据的一个或多个逻辑单元611。例如,每个逻辑单元611可以是处理(M+N)位像素数据的(M+N)位逻辑单元。此外,逻辑单元611可以包括处理Μ位像素数据的Μ位逻辑和处理N位像素数据的N位逻辑。此夕卜,编解码器模块610还可以包括用于门控供应到一个或多个逻辑单元6
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1