图像处理片上系统和处理图像数据的方法
【专利说明】图像处理片上系统和处理图像数据的方法
[0001]本申请要求于2014年8月21日在韩国知识产权局提交的第10-2014-0109039号韩国专利申请和2015年8月7日在美国专利商标局提交的第14/820，566号美国专利申请的权益，这些专利申请的公开内容通过引用全部包含于此。
技术领域
[0002]发明构思涉及图像处理器，更具体地，涉及图像处理器、包括图像处理器的图像处理系统、包括图像处理系统的片上系统(SoC)以及操作图像处理系统的方法。
【背景技术】
[0003]随着能够播放和存储高分辨率或高质量的图像的硬件的开发和普及，必须高效地处理高分辨率或高质量的图像信号。在处理图像信号时，图像处理器可以接收将要处理的图像信号并输出已处理的图像信号。将要处理的图像信号或者已处理的图像信号可以存储在存储器中，并且可以通过系统总线从存储器读取。
[0004]包括在图像信号中的每个像素可以包括多位像素数据，并且发送/接收的位数可以根据信号处理特征而不同。这种可变位图像信号需要在处理器之间高效地传输。
【发明内容】
[0005]本公开提供一种高效地处理可变位图像信号的图像处理器、包括该图像处理器的图像处理系统、包括该图像处理器的片上系统(SoC)以及操作该图像处理器和图像处理系统的方法。在一些示例中，可以使用编解码器模块来对由CMOS图像传感器(CIS)产生的图像进行编码或解码。编解码器模块可以对编码图像进行接收和解码，解码图像可以表示多个像素。每个像素可以具有像素值，每个像素值可以由包括多个第一位和多个第二位的多个位表示。所有像素的第一位和第二位可以表示图像帧。图像帧可以是静止图像或运动图像(例如，包括视频信号)的部分。
[0006]应用处理器(AP)可以控制像素值的存储和读取(S卩，数据访问)，并且还可以控制对像素值的处理操作(例如，压缩、抖动、逆抖动、编码/解码等)。存储器控制器可以用于通过将图像(例如，解码图像)的每个像素值的第一位和第二位存储到存储器和从存储器读取它们来对命令做出响应。
[0007]每个像素值的第一位和第二位可以表示像素值的不同部分。例如，第一位可以是每个对应像素值的较高有效位，第二位可以是每个对应像素值的较低有效位。在第一操作中，存储器控制器可以从存储器仅访问多个像素的像素值的第一位。在第二操作中，存储器控制器可以从存储器访问多个像素的第一位和第二位。第一位可以存储在存储器中的由第一地址识别的位置处并随后从该位置读取，第二位可以存储在存储器中的由第二地址识别的位置处并随后从该位置读取。
[0008]编解码器模块可以对解码图像的每个像素值的第一位和第二位执行抖动操作。
[0009]总线可以在应用处理器的不同功能(例如，图像处理)块之间传送像素数据。总线可以被配置为支持每个像素值的第一位和第二位的传送，包括在对第一位和第二位进行的改变其值的任何信号处理之后(例如，在抖动操作之后)的传送。总线可以具有支持可与信号处理之前或之后的第一位对应的Μ位数据宽度。总线的宽度可以是Μ位或Μ的倍数(例如，在Μ = 8的情况下，总线宽度可以是8位、16位、32位、64位、128位等)，正整数Κ可以表示这样的倍数。存储器控制器可以在总线上单次、并行地控制Κ个像素值的第一位的访问，并且Κ可以具有大于或等于1的值。
[0010]当存储器控制器在存储器(例如，嵌入在SoC中的嵌入式存储器或芯片外的外部存储器)中的所述存储器的第一地址和第二地址处存储像素值的第一位和第二位时，可以使用地址来识别存储器的最小可访问单位。存储器的最小可访问单位可以是Μ位，其中Μ是正整数。Ν位的数目也可以是正整数并且小于Μ。Ν位可以属于单个像素值，存储器的控制器(例如，存储器控制器)也可以组合多个Ν位(例如，多个像素的Ν位)来形成最小可访问单位。组合的像素可以相对于图像帧而彼此相邻。
[0011]Μ位可以存储在存储器的第一区域的第一位置中，并且Ν位可以存储在存储器的第二区域的第二位置中。包含Μ位和Ν位的存储器位置可以是分别用第一地址和第二地址可寻址的。
[0012]CMOS图像传感器(CIS)可以生成第一图像，第一图像包括表示所述第一图像的多个像素的多个第一像素值。每个第一像素值可以包括第一位和第二位。在第一位和第二位(例如，被编解码器模块)处理的情况下，结果可以是第二像素值。第一位可以对应于第二像素值，并且第二位可以对应于第一像素值。感测的第一图像可以经由预先配置的接口与应用处理器的中央处理单元或用于后续处理的另一个装置通信。
[0013]处理器或编解码器模块可以具有灵活性，以根据总线的宽度来改变每个像素值的第一位和第二位的数目。因此，图像处理SoC可以因为这样的可塑性而置于不同的系统中(例如，安装在不同的封装件中和不同的板上)。
[0014]在从存储器被读取时，第二图像数据的第一位和第一图像数据的第二位可以被编解码器模块重新处理(例如，逆抖动)和重新打包，以生成与来自CIS的原始的解码图像基本上相同的参考图像。
[0015]半导体SoC还可以包括显示器控制器和抖动单元。抖动单元可以抖动由多个像素构成的解码图像，以创建与每个像素对应的Μ个抖动的位和Ν个未抖动的位，Ν是小于Μ的正整数。存储器控制器可以在存储器中存储与解码图像对应的多个像素的Μ个抖动的位和Ν个未抖动的位。总线可以提供存储器、存储器控制器、编解码器模块和处理器之间的通信，其中，总线宽度可以是ΚΧΜ，Κ和Μ是大于1的正整数。SoC的处理器、编解码器、存储器控制器或另一个功能块可以使用存储器的地址来访问存储器中的Μ个抖动的位和N个未抖动的位的组(sets of)。这种访问可以包括在总线上并行地接收K个像素值的Μ个抖动的位。显示器控制器可以仅向显示器提供Μ个抖动的位，或者另外提供多个像素的Ν个未抖动的位。显示器控制器可以经由预定的接口将Μ位和Ν位提供给显示器。
[0016]类似于其他实施例的图像处理SoC，存储器的每个地址可以识别存储器的最小可访问单位，例如，存储器的最小可访问单位是Μ位。处理器、编解码器、存储器控制器或其他功能块也可以借助存储器的最小可访问单位通过总线来访问多个像素的Ν个未抖动的位。存储器可以形成在与半导体SoC相同的芯片内，或者存储器可以形成在(一个或多个)不同的芯片中。
[0017]在半导体SoC的某些实施例中，可以绕开编解码器模块的一些内部处理块(例如，抖动电路)，使得针对将要被存储的每个像素将P个未处理(例如，未抖动)的位和N个未处理的位提供给存储器，其中P是大于或等于Μ的正整数。
[0018]执行图像处理的半导体SoC可以是较大的图像处理系统的部分。该系统可以包括CMOS图像传感器(CIS)，所述CIS可以生成包括多个像素的第一图像数据的帧，所述多个像素中的每个像素具有包括第一图像数据的Μ个第一位和第一图像数据的N个第二位的像素值，Μ个第一位是像素值的较高有效位，并且与Μ个第一位相比，Ν个第二位是像素值的较低有效位。该系统还可以包括处理器，该处理器可以对第一图像数据执行信号处理操作，以生成第二图像数据的Μ个第三位和第一图像数据的Ν个第四位。该系统还可以包括存储器控制器，以将第二图像数据的Μ个第三位和第一图像数据的Ν个第四位存储到存储器。存储器可以在SoC外部。
[0019]该系统还可以包括显示装置和显示器控制模块，使得显示器控制器可以将第二图像数据的至少Μ个第三位提供给显示装置；根据显示装置，显示器控制器也可以灵活地提供第一图像数据的Ν个第四位。因此，显示装置可以处理第二图像数据的Μ个第三位(例如，或者另外，第一图像数据的Ν个第四位)，以根据处理后的第二图像数据显示屏幕。显示装置可以按照每个像素Μ个第四位来实现色深/灰度。显示器控制模块可以通过选择性地访问存储器的第一区域并且将与存储器的第一区域中的第二图像数据对应的每像素Μ个第四位提供给显示装置来支持这个操作。类似地，根据显示装置，显示装置可以通过Μ个第四位和Ν个第三位来实现色深/灰度，因此，显示器控制模块可以通过分别提供第一地址和第二地址来从存储器的第一区域和第二区域提供(Μ+Ν)位。由可变的Μ和Ν中的每个表示的位数可以是可配置的(例如，经由处理器由用户配置)。在图像处理系统的不同实施例中，显示器控制器可以根据系统中的显示器的类型来灵活地、选择性地将Μ位或(Μ+Ν)位的图像数据发送到显示装置。
[0020]第二图像数据的Μ个第三位可以是在存储器的第一区域的第一位置处可访问的，并且第一图像数据的Ν个第四位可以是在存储器的第二区域的第二位置处可访问的。例如，存储器控制器可以读取第二图像数据的像素值并将其提供给处理器，该处理器可以是编解码器模块。编解码器模块可以在第二图像数据被存储在存储器中之前执行抖动操作，并且编解码器模块可以在从存储器读取第二图像数据之后执行逆抖动操作。编解码器可以对变化的位宽度的图像数据的像素进行灵活的操作。
[0021]每个第一位置可以在第一地址处仅存储第二图像数据的仅一个像素值的Μ个第三位。每个第二位置可以在第二地址处存储第一图像数据的多个像素值的多组Ν个第四位。存储器的控制器在将第一图像数据的Ν个第四位存储到存储器的第二区域的第二位置时，可以将第二图像数据的Μ个第三位同时存储到存储器的第一区域的第一位置。第一地址和第二地址中的每个可以识别存储器的最小可访问存储单位。
[0022]用于第二图像数据(例如，包括第一图像数据的Ν个第三位)的数据访问的图像处理系统内的总线可以具有可变的位宽度，例如，总线可以具有ΚΧΜ位的位宽度，其中Κ是正整数。Κ可以是大于或等于2的整数。可以在总线上并行地执行访问，例如，访问第二图像数据的对应的Μ个像素值的Κ组Μ个第三位。
[0023]在图像处理系统中的数据访问中，第一图像数据的帧的像素值和第二图像数据的帧的像素值中的对应像素值可以相同(例如，第一图像数据的N个第二位可以与第一图像数据的N个第四位基本相同)。
[0024]例如，在架构信息与总线的宽度有关的情况下，图像处理系统的处理器可以参考图像处理系统的架构信息来确定可变的Μ和N的位数。在一些实施例中，Μ可以被确定为8，Ν可以被确定为2。Μ可以是8位的倍数。
[0025]在一些实施例中，图像处理SoC可以包括应用处理器，该应用处理器可以包括被配置为对解码图像进行接收和解码的编解码器模块。解码图像可以被表示为多个像素，每个像素具有由包括第一位和第二位的多个位构成的像素值。编解码器模块可以包括被配置为对解码图像执行抖动操作的抖动单元。存储器控制器可以被配置为在第一操作中从存储器仅访问所述多个像素的像素数据的第一位，并可以被配置为在第二操作中从存储器访问所述多个像素的第一位和第二位。SoC可以包括被配置为与显示器通信的显示器接口，还可以包括被配置为经由显示器接口与显示器通信的显示器控制器。显示器控制器可以被配置为在第一模式中将多个像素中的每个像素的像素值的第一位数发送到显示器接口，并且在第二模式中将多个像素中的每个像素的像素值的第二位数发送到显示器接口。
[0026]图像处理系统可以包括基本像上述实施例中那样配置的SoC。图像处理系统还可以包括CMOS图像传感器、显示器和存储器。另外的实施例可以包括操作图像处理器的方法、操作其中具有图像处理器的SoC的方法，并且还有些实施例可以包括操作图像处理系统的方法。
【附图说明】
[0027]根据下面结合附图进行的详细描述，将更清楚地理解发明构思的示例实施例，在附图中:
[0028]图1是根据发明构思的实施例的包括图像处理器的系统的示例的框图；
[0029]图2是根据发明构思的实施例的图像处理系统被实现为片上系统(SoC)的示例的框图；
[0030]图3是作为图2的SoC的示例的SoC的框图；
[0031]图4和5是在图像处理器和存储器之间的像素数据发送/接收操作的示例的框图；
[0032]图6是作为图5的编解码器模块的示例的编解码器模块的框图；
[0033]图7A和7B是在存储器中存储像素数据的示例的框图；
[0034]图8A和8B是在存储器中存储像素数据的另一个示例的框图；
[0035]图9A和9B示出参照图6描述的抖动操作和逆抖动操作的示例；
[0036]图10是在存储器和对像素数据执行信号处理的逻辑单元之间传输数据的示例的框图；
[0037]图11是根据发明构思的实施例的操作图像处理系统的方法的流程图；
[0038]图12是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
[0039]图13A和13B是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图；
[0040]图14是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图；
[0041]图15是根据发明构思的实施例的作为图像处理器的编解码器模块的示例的框图；
[0042]图16是根据发明构思的另一个实施例的图像处理系统的框图；
[0043]图17是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
[0044]图18是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
[0045]图19是根据发明构思的实施例的利用图像处理系统的显示器驱动电路的框图；
[0046]图20示出根据发明构思的实施例的包括利用图像处理系统的移动设备的内容提供系统的整体结构；以及
[0047]图21示出根据发明构思的实施例的装备有图像处理系统的移动终端的示例。
【具体实施方式】
[0048]如在此使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和所有组合。诸如“……中的至少一个”的表述在一系列元件之前使用时修饰整个系列的元件而不修饰该系列中的单个元件。
[0049]在下文中，将参照附图详细地描述发明构思的实施例。然而，发明构思可以以许多不同形式实施，不应该被解释为局限于在此阐述的实施例。虽然发明构思可进行各种修改和可替换的形式，但是其特定实施例在附图中示出作为示例，并将在此详细地描述。这些示例性实施例仅是示例，可以有许多不需要在此提供细节的实施方式和变型。还应该强调的是，本公开提供可以替换的示例的细节，但是可以替换示例的这种列出不是穷举的。此外，各种示例之间的任何细节的一致性不应该被解释为要求这样的细节，对在此描述的每一种特征列出每一种可能的变型是不切实际的。应该理解的是，发明构思不限于描述的具体形式，并且包括落入在发明构思的精神和范围内的所有修改、等同物和替换。在整个说明书和附图中，相同的附图标记表示相同的元件。在附图中，为了使发明构思清楚，放大了结构的尺寸。
[0050]将理解的是，虽然在此可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应该受这些术语的限制。除非上下文另有说明，否则这些术语仅用来将一个元件、组件、区域、层或部分与另一个元件、组件、区域、层或部分区分开，例如，作为命名约定。因此，在不脱离本发明的教导的情况下，下面在说明书的一个部分中讨论的第一元件、组件、区域、层或部分可以在说明书的另一个部分中或者在权利要求书中被称为第二元件、组件、区域、层或部分。另外，在某些情况下，即使在说明书中不使用“第一”、“第二”等描述术语，其在权利要求中仍可以被称为“第一”或“第二”以将要求保护的不同元件相互区分开。
[0051]在此使用的术语仅出于描述示例性实施例的目的，并且不意图限制发明构思。如在此使用的，除非上下文明确地另有说明，否则单数形式“一”、“一个(种)(者)”和“该(所述)”也意图包括复数形式。将要理解，例如“包括”、“包含”、“含有”和“具有”的术语在此使用时，表示存在所述的特征、整型、步骤、操作、元件、组件或其组合，但不排除存在或添加一个或多个其它的特征、整型、步骤、操作、元件、组件或其组合。
[0052]除非另有定义，否则在这里使用的所有的术语(包括技术术语和科学术语)具有与发明构思所属的技术领域的普通技术人员所通常理解的含义相同的含义。还将理解的是，术语(诸如常用词典中定义的术语)应该被解释为具有与其在相关领域的语境中的含义一致的含义，并且将不以理想化或过于形式化的意义来解释它们，除非在此另有明确的定义。说明书可以将实施例的部分称为模块、单元、块等。应该理解的是，这些模块、单元和块是可以包括例如可配置或可