用于处理图像的装置和方法、以及成像装置制造方法
【专利摘要】本发明提供了用于处理图像的装置和方法、以及成像装置。一种时钟信号发生器（42）根据用于传送的第一时钟信号（CLKA）以及基于存储在寄存器（41）中的疏化率（HOW）、水平前空白数据片数量（HSB）、有效水平像素数量（HW）以及水平后空白数据片数量（HEB）来生成第二时钟信号（CLKB）和时钟信息（ICLK）。疏化处理器（43）根据第一时钟信号（CLKA）和水平同步信号（SHA）取回图像数据（GDA）。疏化处理器（43）对图像数据（GDA）执行疏化处理以生成疏化图像数据（WDT），并且将疏化图像数据存储在存储器（44）中。读取控制器（46）根据频率比第一时钟信号（CLKA）低的第二时钟信号（CLKB）从存储器（44）依次读取疏化图像数据。
【专利说明】用于处理图像的装置和方法、以及成像装置
【技术领域】
[0001]本公开内容涉及一种用于处理图像的装置和方法、以及一种成像装置。
【背景技术】
[0002]诸如数码相机等的成像装置将由例如电荷耦合器件(CXD)图像传感器获取的成像信号转换成图像数据，利用多个处理单元处理图像数据，并且将处理后的图像数据存储在存储器中。参考例如第2010-130108号和第2010-68414号日本早期公开专利公布。
【发明内容】
[0003]根据实施例的一个方面，提供了一种图像处理装置。该图像处理装置包括:疏化(thinning)处理器，根据第一时钟信号接收在特定时段内从图像传感器输出的图像数据，其中，疏化处理器基于包含在图像数据中的有效数据的有效水平像素数量和疏化率来对有效数据执行疏化处理以生成疏化图像数据，并且疏化处理器将疏化图像数据存储在存储器中；时钟信号发生器，生成具有基于在所述特定时段内所提供的图像数据的数据片数量、有效水平像素数量和疏化率的频率的第二时钟信号；以及读取控制器，根据第二时钟信号从存储器读取疏化图像数据。
[0004]本公开内容降低了成像装置的功耗。
[0005]本发明的其他目的和优点将会部分地在以下描述中进行阐述，并且部分地从描述中将会变得明显，或者可以通过实现本发明来获知。借助于在所附权利要求中特别指出的元素和组合，将实现和获得本发明的目的和优点。
[0006]应当理解，如所声称的，以上的总体描述和以下的详细描述都是示例性和说明性的，而不作为对本发明的限制。
【专利附图】
【附图说明】
[0007]图1是成像装置的示意图。
[0008]图2是疏化电路的电路框图。
[0009]图3是时钟生成电路的电路框图。
[0010]图4是示出水平疏化处理的图。
[0011]图5是示出图像数据的图。
[0012]图6是示出疏化电路的操作的流程图。
[0013]图7是示出时钟生成电路的操作的流程图。
[0014]图8是示出与水平疏化处理有关的操作的时序图。
[0015]图9是示出与水平疏化处理有关的操作的时序图。
[0016]图1OA至图1OC是示出输出像素和时钟信号的说明图。
[0017]图11是示出与垂直疏化处理有关的操作的时序图。【具体实施方式】
[0018]现在将参照附图来描述图像处理装置和成像装置的一个实施例。
[0019]如图1所示，成像装置10包括图像传感器11、图像处理装置12、存储器13以及操作单元14。
[0020]图像传感器11包括例如多个成像元件的二维阵列。每个成像元件例如为(XD、CMOS等。图像传感器11输出由多个成像元件获取的关于每一个画面(单个帧)的图像数据。图像处理装置12对从图像传感器11输出的图像数据执行各种类型的图像处理。图像处理可以对应于通过操作单元14设置的操作模式。操作单元14包括触摸面板和各种类型的开关。对操作单元14进行操作以设置例如成像条件、所生成的图像数据的大小以及图像数据的处理。图像处理装置12将在某个处理阶段的图像数据存储在存储器13中。存储器13为可重写存储器，诸如同步动态随机存取存储器(SDRAM)。图像处理装置12将经受了预先设置的处理或对应于操作单元14的操作的处理的图像数据存储在存储卡15中。
[0021]图像处理装置12包括中央处理单元(CPU) 21、预处理单元22、颜色处理单元23、图像处理单元24、编解码器25、卡接口 26 (被表示为“卡I/F”)以及将这些元件相互连接的总线27。
[0022]图像处理装置12包括生成并输出时序信号的时序信号发生器28。时序信号包括第一时钟信号CLKA、水平同步信号SHA以及垂直同步信号SVA。图像传感器11根据第一时钟信号CLKA来进行操作，以将入射光转换成电信号并生成关于每个帧的图像数据GDA，并且根据水平同步信号SHA、垂直同步信号SVA和第一时钟信号CLKA来输出图像数据GDA。
[0023]预处理单元22响应于同步信号来接收从图像传感器11输出的图像数据GDA，并且将图像数据GDA存储在存储器13中。
[0024]颜色处理单元23从存储器13读取图像数据并且对所读取的图像数据的格式进行转换。例如，颜色处理单元23将RGB格式的图像数据(Bayer数据)转换成YCbCr格式的图像数据，并且将转换后的图像数据存储在存储器13中。
[0025]编解码器25读取存储在存储器13中的图像数据，根据诸如联合图像专家组(JPEG)处理的特定处理来对所读取的图像数据进行编码，并且将编码后的图像数据存储在存储器13中。
[0026]图像处理单元24可以是一个或多个处理单元。图像处理单元24执行例如用于改变一帧的像素数量的分辨率转换、用于将图像的色调转换为深褐色等的色调转换、边缘增强以及噪声去除。图像处理单元24读取存储在存储器13中的图像数据，对图像数据执行特定图像处理，并且将处理后的图像数据存储在存储器13中。
[0027]卡接口 26连接至附接至成像装置10的存储槽等的存储卡15，并且将数据输入至存储卡15以及从存储卡15输出数据。存储卡15将存储在存储器13中的图像数据或者由图像处理单元24或编解码器25生成的图像数据进行存储。存储卡15还可以存储原始数据。
[0028]CPU21对图像处理装置12中的各个部件进行控制。CPU21为每个操作单元设置与通过操作单元14所选择的操作模式相对应的处理信息。例如，CPU21为预处理单元22设置通过操作单元14所选择的图像大小。所设置的图像大小是保存在存储器13中的图像数据的大小，并且根据水平像素数量和垂直像素数量来指定。[0029]预先为预处理单元22设置与图像传感器11相对应的大小信息。大小信息表示从图像传感器11输出的图像数据的大小。在一个示例中，大小信息表示在从图像传感器11输出的图像数据中所包含的有效数据和空白数据的数据片数量。
[0030]图5示出了从图像传感器11输出的关于单个帧的图像数据GDA。关于单个帧的图像数据GDA包括与由图像传感器11成像的图像相对应的有效数据GDP以及与所成像的图像不对应的空白数据GBL。图像数据GDA由多个行数据构成。图像传感器11响应于水平同步信号SHA来输出行数据。每个行数据均包括多个数据片，并且每个数据片均表示像素值或空白值。有效数据GDP的行数被称为垂直有效像素数量VW。包含在单行数据中的有效数据GDP的数据片数量被称为有效水平像素数量HW。在有效数据GDP的头行数据之前的行数据被称为垂直前空白数据，并且垂直前空白数据的行数被称为垂直前空白数据片数量VSB0在有效GDP的最终行数据之后的行数据被称为垂直后空白数据，并且垂直后空白数据的行数被称为垂直后空白数据片数量VEB。每个行数据中的有效数据GDP之前的数据被称为水平前空白数据，并且水平前空白数据的数据片数量被称为水平前空白数据片数量HSB。在每个行数据中的有效数据GDP之后的数据被称为水平后空白数据，并且水平后空白数据的数据片数量被称为水平后空白数据片数量HEB。
[0031]如图1所示，预处理单元22包括疏化电路31和校正电路32。疏化电路31对包含在图像数据GDA的各行数据中的有效数据(参见图5)执行疏化处理，并且生成与所设置的图像大小相对应的数据片数量的图像数据(也被称为疏化图像数据)。所设置的图像大小是与要存储在存储器13中的图像数据的大小相对应的数据片数量，并且可以是例如水平像素数量和垂直像素数量。为预处理单元22设置了用于从原始图像数据生成疏化图像数据的疏化率。在一个示例中，疏化率是根据所设置的图像大小指定的疏化图像数据的数据片数量与由图像传感器11输出的单行的有效数据GDP的数据片数量(像素数量)的比率。预处理单元22基于疏化率来执行疏化处理，并且将从图像传感器11输出的原始图像数据的大小(原始大小)调整为用于存储在存储器13中的图像数据的大小(所设置的图像大小)。
[0032]现在将描述疏化处理。
[0033]在图4所示的示例中，在一个水平扫描时段期间(从一个水平同步信号SHA到下一个水平同步信号SHA)，图像传感器11输出图像数据GDA的一个行数据，即，水平前空白数据片数量HSB的水平前空白数据B1、有效水平像素数量HW的有效图像数据H)(有效像素数据)以及水平后空白数据片数量HEB的水平后空白数据B2。在水平同步信号SHA (—个水平扫描时段)期间疏化电路31取回的数据片数量HIS是水平前空白数据片数量HSB、有效水平像素数量HW以及水平后空白数据片数量HEB的总和(HIS=HSB+HW+HEB)。
[0034]基于疏化率HOW来执行用于调整图像数据⑶P的大小的疏化处理。疏化率HOW是由疏化电路31取回的图像数据的像素数量(例如，数据片数量)与由疏化电路31输出的图像数据的像素数量(例如，数据片数量)的比率，或者是对应于这样的比率的设置值。例如，疏化率HOW是疏化电路31输出一个像素的图像数据所需的输入像素的数量。例如，如果疏化率HOW为2，那么疏化电路31取回两个像素的图像数据，并且输出一个像素的图像数据。由疏化电路31输出的图像数据的数据片数量HOS可以是通过将由疏化电路31取回的图像数据的有效水平像素数量HW除以疏化率HOW而获得的值(H0S=HW/H0W)。
[0035]在输入数据片数量HIS的图像数据的传送时段(S卩，一个水平扫描时段)期间，疏化电路31输出输出数据片数量HOS的图像数据。疏化电路31根据第二时钟信号CLKB来输出该输出数据片数量HOS的图像数据。
[0036]疏化电路31输出一个图像数据片的时段(即，第二时钟信号CLKB的周期Ab)比传送一个输入图像数据片的第一时钟信号CLKA的周期长。例如，假设第一时钟信号CLKA的周期为“1”，那么根据如下等式计算第二时钟信号CLKB的周期Ab。
[0037]λ b=输入数据片数量HIS/输出数据片数量HOS= (HSB+HW+HEB) / (HW/H0W)
[0038]周期λ b是第二时钟信号CLKB的周期相对于第一时钟信号CLKA的周期之比，并且可以被称为输出时钟比。
[0039]根据第二时钟信号CLKB的周期λ b来设置用于根据第一时钟信号CLKA生成第二时钟信号CLKB的时钟生成电路的操作。例如，当时钟生成电路利用分频电路生成第二时钟信号CLKB时，分频电路中的分频比可以是不超过以上述方式算出的时钟信号CLKB的周期入b的最大整数。
[0040]为了将提供给疏化电路31的图像数据GDA与由疏化电路31输出的图像数据GDB进行比较，图4将分别对应于图像数据GDA和图像数据GDB的水平同步信号SHA、SHB的位置示为一致。图4示出了包含在图像数据GDA中的有效数据的数据量与疏化处理之后的图像数据的数据量的比较。实际上，疏化电路31将对应于所取回的图像数据GDA的、已经过疏化处理的图像数据GDB存储在内部存储器44中，并且随后输出存储器44中的图像数据GDB。
[0041 ] 校正电路32对从疏化电路31输出的已经过疏化处理的图像数据⑶B执行校正处理。校正处理可以是例如白平衡调整或增益调整、或者对缺陷信号的校正。校正电路32将校正后的图像数据存储在存储器13中。用于校正调整大小后的图像数据⑶B的计算量和时间比用于校正原始大小的图像数据GDA的计算量和时间少。因此，减少了包括校正电路32的图像处理装置12的计算量，并且通过利用校正电路32对调整大小后的图像数据⑶B执行校正处理，减少了处理时间。
[0042]疏化电路31根据所生成的已经过疏化处理的图像数据⑶B来生成第二时钟信号CLKB和同步信号SHB、SVB。第二时钟信号CLKB和同步信号SHB、SVB均具有与通过疏化处理所生成的图像数据GDB的数据片数量相对应的周期。校正电路32与从疏化电路31输出的第二时钟信号CLKB和同步信号SVB、SHB同步地进行操作，并且对调整大小后的图像数据GDB执行校正处理。第二时钟信号CLKB的频率低于用于传送原始大小的图像数据的第一时钟信号CLKA的频率。因此，与根据第一时钟信号CLKA进行操作的校正电路32的操作次数相比，根据第二时钟信号CLKB进行操作的校正电路32的操作次数减少。这降低了在校正电路32的校正处理期间的功耗。
[0043]疏化电路31输出对应于所生成的第二时钟信号CLKB的时钟信息ICLK。时钟信息ICLK表示第二时钟信号CLKB相对于第一时钟信号CLKA的状态。在疏化电路31对第一时钟信号CLKA进行分频以生成第二时钟信号CLKB的示例中，时钟信息ICLK可以是第二时钟信号CLKB相对于第一时钟信号CLKA的分频比。
[0044]时钟信息ICLK被提供给颜色处理单元23、图像处理单元24和编解码器25中的每一个。颜色处理单元23包括用于根据第一时钟信号CLKA生成操作时钟信号的分频电路23a。颜色处理单元23根据分频电路23a生成的操作时钟信号进行操作。分频电路23a根据时钟信息ICLK改变所生成的操作时钟信号的频率。因而，操作时钟信号的频率根据所设置的图像大小而减小，以降低在颜色处理单元23的处理期间的功耗。
[0045]同样地，图像处理单元24的分频电路24a和编解码器25的分频电路25a根据时钟信息ICLK分别改变所生成的操作时钟信号的频率。这降低了在图像处理单元24和编解码器25的处理期间的功耗。
[0046]现在将描述疏化电路31的一个示例。
[0047]如图2所示，疏化电路31包括寄存器41、时钟信号发生器42、疏化处理器43、存储器44、同步器45、读取控制器46以及同步信号发生器47。
[0048]寄存器41存储疏化率HOW、水平前空白数据片数量HSB、有效水平像素数量HW和水平后空白数据片数量HEB。疏化率HOW对应于输入图像数据的像素数量与输出图像数据的像素数量的比率。
[0049]时钟信号发生器42基于存储在寄存器41中的数量H0W、HSB、HW、HEB来对用于传送的第一时钟信号CLKA进行分频，并且生成用于输出的第二时钟信号CLKB。时钟信号发生器42基于第一时钟信号CLKA和第二时钟信号CLKB来生成时钟信息ICLK。例如，时钟信息ICLK对应于用于传送已经过疏化的有效像素数据的第二时钟信号CLKB的周期。例如，时钟信息ICLK对应于用于根据用于传送图像数据GDA的第一时钟信号CLKA来生成用于输出的第二时钟信号CLKB的分频比。
[0050]在一个示例中，存储器44包括两个或更多个存储体(bank)。每个存储体可以是行存储器(line memory)，该行存储器具有能够存储从图1所示的图像传感器11输出的完整大小的行数据的存储容量。存储器44例如是双端口存储器。
[0051]疏化处理器43根据用于传送的第一时钟信号CLKA和水平同步信号SHA来取回图像数据GDA。疏化处理器43基于存储在寄存器41中的疏化率HOW、水平前空白数据片数量HSB以及水平后空白数据片数量HEB来对图像数据GDA执行疏化处理。然后，疏化处理器43将处理后的图像数据WDT存储在存储器44中。
[0052]在简单的疏化处理中，在多个输入数据片(例如，像素值)当中，例如，以偶数编号的输入数据片为非疏化目标数据片，而以奇数编号的输入数据片为疏化目标数据片。疏化处理器43将非疏化目标数据片存储在存储器44中，但未将疏化目标数据片存储在存储器44中。
[0053]疏化处理器43基于水平同步信号SHA、第一时钟信号CLKA和水平前空白数据片数量HSB来检测包含在一个行数据中的有效像素数据的数据片。例如，疏化处理器43在输入水平同步信号SHA之后对根据第一时钟信号CLKA所提供的输入像素数据片数量进行计数。疏化处理器43将计数值与水平前空白数据片数量HSB进行比较，并且确定输入像素数据片是否为有效像素数据片。疏化处理器43获取在水平前空白数据片数量HSB的图像数据之后所提供的有效像素数据片。
[0054]在完成对包含在一个行数据中的有效像素数据的处理之后，疏化处理器43输出写入结束信号WEND。例如，疏化处理器43对根据第一时钟信号CLKA所输入的有效像素数据片数量进行计数。疏化处理器43将计数值与有效水平像素数量HW进行比较，并且基于比较结果来确定是否已完成对一个行数据的疏化处理。在完成对有效像素数据的处理之后，疏化处理器43输出具有特定电平(例如，H电平“I”)的写入结束信号WEND。然后，疏化处理器43切换存储器44的写入存储体。例如，疏化处理器43使用于经受写入的存储体的写入使能信号WEN有效(assert)，并且使用于不经受写入的存储体的写入使能信号WEN无效(negate)。
[0055]同步器45根据第二时钟信号CLKB来进行操作。同步器45对疏化处理器43的写入结束信号进行监测，并且响应于具有特定电平(H电平)的写入结束信号WEND来输出具有特定电平(H电平)的读取开始信号RST。当已开始对下一个行数据进行处理时，疏化处理器43对写入结束信号WEND进行复位。例如，疏化处理器43响应于水平同步信号SHA来对写入结束信号WEND进行复位。在一个示例中，写入结束信号WEND的复位是指从特定电平(H电平)变为复位电平(L电平)。同步器45响应于具有复位电平的写入结束信号WEND来对读取开始信号RST进行复位。
[0056]读取控制器46根据第二时钟信号CLKB来进行操作。读取控制器46响应于具有特定电平(例如，H电平)的读取开始信号RST来开始读取存储在存储器44中的图像数据。例如，读取控制器46使读取使能信号REN有效，将读取地址信号(未示出)输出至存储器44，并且依次读取已经过疏化处理的存储在存储器44中的图像数据。然后，读取控制器46将从存储器44输出的疏化图像数据RDT发送至同步信号发生器47。
[0057]读取控制器46基于寄存器41的疏化率HOW和有效水平像素数量HW来计算疏化后的有效像素数量Hwb。疏化后的有效像素数量Hwb是通过将疏化之前的有效水平像素数量除以疏化率HOW而获得的值(=HW/H0W)。读取控制器46从存储器44读取疏化后的有效像素数量Hwb的图像数据，并且切换读取存储体。例如，读取控制器46使用于读取存储体的读取使能信号REN有效，并且使用于已完成读取的存储体的读取使能信号REN无效。
[0058]同步信号发生器47根据第二时钟信号CLKB来进行操作。同步信号发生器47响应于读取控制器46的读取处理来输出脉冲状的水平同步信号SHB。在一个示例中，当读取控制器46使读取使能信号REN有效时，同步信号发生器47输出脉冲状的水平同步信号SHB。在另一个示例中，同步信号发生器47响应于从同步器45输出的读取开始信号RST来输出脉冲状的水平同步信号SHB。
[0059]现在将描述由疏化电路31执行的处理。
[0060]图6的左侧示出了疏化电路31的疏化处理器43将图像数据写入存储器44(参见图2)的处理。图6的右侧示出了疏化电路31的读取控制器46从存储器44读取图像数据的处理。
[0061]首先，将描述疏化处理器43的处理。
[0062]在步骤71中，疏化处理器43监测水平同步信号SHA。当检测到水平同步信号SHA时，在步骤72中，疏化处理器43确定所接收到的图像数据片是否为水平前空白数据，并且等待对水平前空白数据的接收完成。在替选的示例中，疏化处理器43在接收图像数据期间对第一时钟信号CLKA进行计数，并且将计数值与水平前空白数据片数量HSB进行比较以确定对水平前空白数据的接收的结束。
[0063]在步骤73中，疏化处理器43对计数值WX进行初始化(O )。计数值WX对应于所接收到的有效像素在水平方向上的像素位置。
[0064]然后，在步骤74中，疏化处理器43获取有效像素的图像数据，并且将计数值WX递增(WX=WX+1)。在步骤75中，疏化处理器43确定输入像素[WX]是非疏化像素还是疏化像素。如果输入像素[WX]是疏化像素，那么疏化处理器43进行至步骤74，而如果输入像素[WX]是非疏化像素，那么疏化处理器43进行至以下步骤76。
[0065]疏化处理器43在步骤76中将输入像素[WX]存储在存储器44中，并且在步骤77中将计数值WX与有效水平像素数量HW进行比较。如果计数值WX与有效水平像素数量HW不同，那么疏化处理器43进行至步骤74，而如果计数值WX与有效水平像素数量一致，那么疏化处理器43进行至步骤78。
[0066]在步骤78中，疏化处理器43使写入结束信号WEND有效。在步骤79中，疏化处理器43切换存储器44中被写入数据的存储体。然后，疏化处理器43进行至步骤71。
[0067]现在将描述读取控制器46的处理。
[0068]在步骤81中，读取控制器46监测写入结束信号WEND。当检测到写入结束信号WEND时，在步骤82中，读取控制器46初始化计数值RX (=0)。计数值RX对应于从存储器44读取的像素数据片数量。
[0069]然后，读取控制器46在步骤83中使计数值RX递增(RX=RX+1 )，在步骤84中从存储器44读取图像数据，并且在步骤85中输出图像数据。
[0070]然后，读取控制器46在步骤86中将计数值RX与疏化后的有效像素数量Hwb进行比较。如果计数值RX与疏化后的有效像素数量Hwb不同，那么读取控制器46进行至步骤83，而如果计数值RX与疏化后的有效像素数量Hwb —致，那么读取控制器46进行至下一个步骤87。
[0071]在步骤87中，读取控制器46对存储器44中的读取对象存储体进行切换，然后进行至步骤81。
[0072]现在将描述时钟信号发生器42的一个不例。
[0073]将参照图3描述时钟信号发生器42。时钟信号发生器42包括分频电路51和控制电路52。分频电路51将第一时钟信号CLKA进行分频，并且生成具有不同分频比的多个分频时钟信号。
[0074]控制电路52包括加法器61、移位电路62、选择器63、64以及时钟信号选择电路65。
[0075]加法器61将存储在图2中所示的寄存器41中的水平前空白数据片数量HSB、有效水平像素数量HW和水平后空白数据片数量HEB相加，计算在一个水平扫描时段内疏化电路31取回的输入数据片数量(HIS=HSB+HW+HEB)，并且输出所算出的输入数据片数量HIS。
[0076]选择器63被设置有写入图2的存储器44的图像数据的数据片数量Hwhow [X: O]。数据片数量HwhOw[X:0]例如是计数器的计数值，在图2中所示的疏化处理器43中每次图像数据被写入存储器44中时，对计数器的计数值进行递增计数。计数值对应于图4中所述的输出数据片数量H0S。数据片数量Hwhow [X: O]中的值“X”根据来自图1所示的图像传感器11的输出图像数据的水平大小而改变。
[0077]在数据片数量Hwhow[X:O]中的多个位当中，选择器63输出与具有位值“I”的位值相对应的值或表示该位位置的值来作为移位量Sft。在图3的示例中，选择器63包括针对每个位位置设置优先顺序的优先级映射。针对输入数据的每个位置赋予优先级。例如，最高有效位(MSB)具有最高优先级，并且优先顺序从最高有效位(MSB)到最低有效位(LSB)减小。选择器63输出与在数据片数量HwhOw[X:0]的各位当中具有位值“I”的最高有效位的位置相对应的值来作为移位量Sft。
[0078]例如，当数据片数量Hwhow [X: O]为[250]时，数据片数量Hwhow [X: O]的二进制表达为“00011111010B”。选择器63输出与具有位值“I”的最高有效侧位的位置相对应的“7”来作为移位量Sft。
[0079]移位电路62以从选择器63输出的移位量Sft将从加法器61输出的输入数据片数量HIS的每个位朝向右侧(朝向最低有效位侧)移位，并将在移位之后已变为空的位位置的位值设置为“O”。移位电路62输出移位后的值Hwrb [X:O]。
[0080]以与选择器63相同的方式，选择器64输出与在移位后的数据片值Hwrb[X:0]中的位当中具有位值“I”的最高有效侧位的位置相对应的值来作为位信息ICLK。从选择器64输出的时钟信息ICLK对应于第二时钟信号CLKB的频率相对于第一时钟信号CLKA的频率的比。例如，当从加法器61输出的输入数据片数量HIS为“ 1000”时，输入数据片数量HIS的二进制表达为“001111101000B”。当以移位量Sft将输入数据片数量HIS朝向右侧移位时，值Hwrb:[X:O]就变为“0111B”。因此，选择器64输出与在“0111B”的位当中位值为“I”的最高有效侧位的位置相对应的“2”来作为时钟信息ICLK。
[0081]时钟信号选择电路65基于时钟信息ICLK来选择分频电路51生成的多个分频时钟信号之一。时钟信号选择电路65生成具有与时钟信息ICLK (例如，2)作为“2”的指数的分频比(例如，4)相对应的频率的分频时钟信号。例如，当时钟信息ICLK为“2”时，生成了第一时钟信号CLKA被分频为1/4的分频时钟信号。时钟信号选择电路65输出所选择的分频时钟信号来作为第二时钟信号CLKB。
[0082]现在将描述时钟信号发生器42的处理。
[0083]如图7所示，在步骤91中，时钟信号发生器42计算总大小，即，在水平同步信号之间传送的图像数据的数据片数量HIS。在所示的示例中，时钟信号发生器42的加法器61将水平前空白数据片数量HSB、有效水平像素数量HW和水平后空白数据片数量HEB相加以计算总大小。
[0084]然后，在步骤92中，时钟信号发生器42获取疏化之后的数据片数量Hwhow。数据片数量Hwhow是等于写入图2中的存储器44的数据片数量HOS的值。可以通过对写入图2中的存储器44的疏化图像数据的数据片数量WDT进行计数来获取数据片数量HwhOw(H0S)。
[0085]在步骤93中，时钟信号发生器42基于疏化之后的数据片数量Hwhow来获取移位量Sft。时钟信号发生器42依次从数据片数量Hwhow的最高有效位(MSB)到最低有效位(LSB)确定数据片数量Hwhow的每个位的值是否为“I”。时钟信号发生器42保持与首先被确定为具有位值“I”的位的位置相对应的值作为移位量Sft。
[0086]在步骤94中，时钟信号发生器42基于总大小HIS和移位量Sft来计算移位之后的数据片值Hwrb。例如，时钟信号发生器42通过以移位量Sft将表示总大小HIS的多个位朝向右侧移位来计算移位之后的数据片值Hwrb。
[0087]在步骤95中，时钟信号发生器42基于移位之后的数据片值Hwrb来获取时钟信息ICLK。以与步骤93相同的方式，时钟信号发生器42从移位之后的数据片值Hwrb的最高有效位(MSB)朝向最低有效位(LSB)确定移位之后的数据片值Hwrb的位位置的值是否为I。时钟信号发生器42保持与首先被确定为具有位值“I”的位的位置相对应的值作为时钟信息 ICLK0[0088]在步骤96中，时钟信号发生器42基于时钟信息ICLK来设置第二时钟信号CLKB。例如，时钟信号发生器42基于时钟信息ICLK和第一时钟信号CLKA的频率来设置第二时钟信号CLKB的频率。当时钟信息ICLK为“O”时，时钟信号发生器42将第二时钟信号CLKB的频率设置为等于第一时钟信号CLKA的频率。当时钟信息ICLK为“I”时，时钟信号发生器42将第二时钟信号CLKB的频率设置为第一时钟信号CLKA的频率的1/2。当时钟信息ICLK为“2”时，时钟信号发生器42将第二时钟信号CLKB的频率设置为第一时钟信号CLKA的频率的1/4。
[0089]现在将描述疏化电路31的操作。
[0090]如图8所示，第一行的图像数据在两个水平同步信号SHA之间传送。第一行的图像数据包括水平前空白数据片数量HSB的空白数据、有效水平像素数量HW的有效图像数据以及水平后空白数据片数量HEB的空白数据。在图8中，对于包含在有效图像数据中的多个像素，每个圆圈代表非疏化像素，而每个十字代表经受疏化的像素。疏化电路31仅将非疏化像素存储在图2所示的存储器44中。在图8的示例中，每行均包括9个像素，并且第一行的图像数据包括非疏化像素[O]至[4]。
[0091]当第一行的最后非疏化像素[4]存储在存储器44中时，疏化电路31 (疏化处理器43)输出脉冲状的写入结束信号WEND。响应于写入结束信号WEND，疏化电路31 (读取控制器46)开始从存储器44读取数据。
[0092]在此情况下，疏化电路31 (读取控制器46)与对应于分频比(频率)的第二时钟信号CLKB同步地读取数据，其中该分频比(频率)是基于在存储器44中的疏化之后的数据片数量Hwhow而设置的。在所示的示例中，读取控制器46首先与第二时钟信号CLKB同步地从存储器44读取像素[O]。读取控制器46与水平同步信号SHB同步地输出像素[O]。然后，以相同的方式，与第二时钟信号CLKB同步地从存储器44读取像素[I]，并且输出像素[I]。同样地，输出从存储器44读取的像素[2]、像素[3]、像素[4]。以此方式，输出第一行的疏化图像数据。
[0093]然后，读取控制器46从存储器44读取第二行的像素[5]，并且与下一个水平同步信号SHB同步地输出像素[5]。随后，以相同的方式，读取控制器46输出从存储器44读取的像素[6]至[9]。以这样的方式输出第二行的疏化图像数据。
[0094]图9示出了根据时钟信号CLKA输出像素的参考示例的疏化电路。在参考示例中，以与图8相同的方式，与第一时钟信号CLKA同步地从存储器44依次读取第一行的非疏化像素[O]至[4]。响应于水平同步信号SHB，依次输出像素[O]至[4]。
[0095]然而，当第一行的疏化图像数据结束时，将第二行的图像数据存储到存储器44还未结束。这在输出下一行的像素以前产生了空白期。即使在这样的空白期中，也连续输出第一时钟信号CLKA。因此,在空白期内，用于生成第一时钟信号CLKA的电路和根据第一时钟信号CLKA进行操作的电路是活动的。当执行不同的图像处理时，以相同的方式产生这样的空白期。这些空白期不是必要的。
[0096]当完成将第二行的图像数据存储到存储器44时(脉冲状的写入结束信号WEND)，依次从存储器44读取第二行的像素[5]至[9]。在输出像素[9]之后，空白期持续直到输出下一行的数据为止。
[0097]与图9所示的参考示例相比，本实施例减少了这样不必要的空白期。因而，与图9所示的参考示例相比，成像装置10的功耗较小。由于第二时钟信号CLKB的频率低于第一时钟信号CLKA的频率，所以成像装置10可能不执行高速像素输出操作。这降低了在成像装置10的处理期间的功耗。
[0098]已描述了在执行疏化处理的情况。然而，当不执行疏化处理时，也可以降低功耗。
[0099]更具体地，如图1OA所示，当基于第一时钟信号CLKA来输出像素[I]至[6]时，空白期持续直到在输出像素[6]之后输出下一行的像素[I]为止。图1OA中的箭头表示单个水平时段。
[0100]相反，在图1OB所示的示例中，疏化率HOW为“I”。在此情况下，根据第二时钟信号CLKB，在单个水平时段内输出像素[I]至[6]。也就是说，根据数据片数量设置第二时钟信号CLKB的频率，其中该数据片数量不包括图4所示的水平前空白数据片数量HSB的空白数据和水平后空白数据片数量HEB的空白数据。因而，即使当不执行疏化处理时，也降低了功耗。
[0101]在图1OC所示的示例中，执行疏化处理并且输出处理后的像素[I]、像素[3]、像素
[5]。由于减少了所输出的像素数量，图1OC的第二时钟信号CLKB的频率变得比图1OB中的频率低，并且进一步降低了功耗。
[0102]以上已描述了针对图像数据在水平方向上所执行的疏化处理。这同样可应用于在垂直方向上的疏化处理。
[0103]更具体地，如图11所示，图像传感器11在垂直同步信号SVA期间输出多个水平同步信号SHA，并且在水平同步信号SHA期间输出每行的数据。图11示出了关于两行的垂直前空白的数据B、包括有效图像数据的行数据LO至L7以及关于两行的垂直后空白的数据B。未输出垂直前空白和垂直后空白。对行数据LO至L7执行疏化处理从而输出行数据L0、L2、L4和L6。因而，由于疏化处理，在垂直同步信号SVA之间传送的行数据数量变为“4”，并且可以相应地降低第二时钟信号CLKB的频率。这降低了在处理期间的功耗。
[0104]在一个示例中，没有对行数据LO至L7执行疏化处理，并且没有输出垂直前空白和垂直后空白。在此情况下，第二时钟信号CLKB的频率减小，并且相应地降低了功耗。
[0105]本实施例具有下述优点。
[0106](I)疏化率HOW、水平前空白数据片数量HSB、有效水平像素数量HW以及水平后空白数据片数量HEB均存储在疏化电路31的寄存器41中。疏化率HOW对应于输入图像数据的像素数量和输出图像数据的像素数量。时钟信号发生器42基于存储在寄存器41中的数量HOW、HSB、HW和HEB来对用于传送的第一时钟信号CLKA进行分频，并且生成用于输出的第二时钟信号CLKB。还生成对应于第二时钟信号CLKB的时钟信息ICLK。
[0107]疏化处理器43根据用于传送的第一时钟信号CLKA和水平同步信号SHA来取回图像数据GDA。疏化处理器43基于存储在寄存器41中的疏化率HOW、水平前空白数据片数量HSB以及水平后空白数据片数量HEB来对图像数据GDA执行疏化处理，并且将疏化图像数据WDT存储在存储器44中。读取控制器46根据第二时钟信号CLKB从存储器44依次读取疏化图像数据WDT的数据片，并且将所读取的数据片提供给同步信号发生器47。
[0108]与对应于分频比(频率)的第二时钟信号CLKB同步地执行数据的读取，其中该分频比(频率)是基于存储在存储器44中的数据片数量Hwhow而设置的。由于第二时钟信号CLKB的频率比第一时钟信号CLKA的频率低，所以可不需要高速操作并且功耗会较小。这降低了在成像装置10的处理期间的功耗。
[0109](2)时钟信号发生器42的选择器63输出数据片数量HwhOw[X:0]中的位值为“I”的位位置的最大值来作为移位量Sft。移位电路62以从选择器63输出的移位量Sft将从加法器61输出的输入数据片数量HIS中的每个位朝向右侧(最低有效位侧)移位，并且输出移位后的值Hwrb [X: O]。以与选择器63相同的方式,选择器64输出位位置的值中的最大值的时钟信息ICLK，该位位置是利用移位之后的数据片值Hwrb[X:0]中的位的为“I”的位位置来设置的。
[0110]从选择器64输出的时钟信息ICLK对应于第二时钟信号CLKB相对于第一时钟信号CLKA的时钟比。因此，在不执行分频的情况下生成时钟信息ICLK。移位电路62和选择器63、64的电路规模小于除法电路的规模。这抑制了图像处理装置12的电路规模的增加。
[0111]对于本领域技术人员来说应当明显的是，在不背离本发明的精神或范围的情况下，本发明可以以许多其它的具体形式来实现。特别地，应当理解，本发明可以以如下形式来实现。
[0112]在疏化处理器43中，可以计算对应于疏化率HOW的多个像素的图像数据的平均值，并且可以输出所算出的平均值的图像数据。可以基于疏化像素的图像数据和在例如疏化方向(水平方向)上相邻的两个周围像素的图像数据来校正非疏化像素的图像数据，并且可以输出校正后的图像数据。
[0113]上述实施例的图像数据GDA具有包括在有效数据⑶P之前和之后添加的空白数据GBL的格式。然而，可以忽略在有效数据GDP之前的空白数据和在有效数据GDP之后的空白数据之一或两者。当对不具有空白数据的仅有效数据GDP的图像数据执行疏化处理时，根据疏化之后的图像数据的数据片数量Hwhow来设置第二时钟信号CLKB的频率，该第二时钟信号CLKB用于输出在疏化处理中根据疏化率HOW进行疏化之后的、存储在存储器44中的图像数据。这降低了功耗。
[0114]可以省略预处理单元22的校正电路32。疏化电路31可以将图像数据存储在存储器13中。疏化电路31可以将图像数据提供给除存储器13以外的处理单元，诸如颜色处理单元23。
[0115]校正电路32可以以与颜色处理单元23等相同的方式连接至总线27，或者可以对从存储器13读取的图像数据执行校正处理。
[0116]本文所述的所有示例和条件语言旨在用于教示目的，以帮助读者理解本发明的原理和由发明人促进本领域所贡献的构思，并且将会被解释为不限于这样具体所述的示例和条件，在本说明书中的这样的示例的组织也不涉及表明本发明的优势和劣势。虽然已经详细描述本发明的实施例，但应当理解，在不背离本发明的精神和范围的情况下可以对其作出各种改变、替代和变更。
【权利要求】
1.一种图像处理装置，包括: 疏化处理器，根据第一时钟信号接收在特定时段内从图像传感器输出的图像数据，其中，所述疏化处理器基于包含在所述图像数据中的有效数据的有效水平像素数量和疏化率来对所述有效数据执行疏化处理，以生成疏化图像数据，并且所述疏化处理器将所述疏化图像数据存储在存储器中； 时钟信号发生器，生成具有基于在所述特定时段内提供的所述图像数据的数据片数量、所述有效水平像素数量和所述疏化率的频率的第二时钟信号；以及 读取控制器，根据所述第二时钟信号从所述存储器读取所述疏化图像数据。
2.根据权利要求1所述的图像处理装置，其中，所述时钟信号发生器包括: 分频电路，对所述第一时钟信号进行分频，并且输出多个分频时钟信号， 第一选择器，根据所述有效水平像素数量和所述疏化率，从存储在所述存储器中的所述疏化图像数据的数据片数量中选择一个具有特定位值的位，以输出与所选择的位的位置对应的移位量， 移位电路，以所述移位量将在所述特定时段内所提供的所述图像数据的数据片数量的二进制表达移位，以生成并输出移位后的数据片数量， 第二选择器，从所述移位后的数据片数量中选择一个具有特定位值的位，以输出与所选择的位的位置对应的时钟信息，以及 时钟信号选择电 路，基于所述时钟信息选择所述分频电路的所述分频时钟信号之一，以输出所选择的分频时钟信号作为所述第二时钟信号。
3.根据权利要求2所述的图像处理装置，还包括: 寄存器，存储所述有效水平像素数量、所述疏化率、在所述图像数据的所述有效数据之前的从所述图像传感器输出的水平前空白数据片数量以及在所述图像数据的所述有效数据之后的从所述图像传感器输出的水平后空白数据片数量， 其中，所述时钟信号发生器包括加法器，所述加法器基于所述水平前空白数据片数量、所述水平后空白数据片数量以及所述有效水平像素数量，计算在所述特定时段内所提供的所述图像数据的数据片数量。
4.根据权利要求1至3中任一项所述的图像处理装置，还包括同步器，所述同步器响应于从所述疏化处理器输出的写入结束信号来输出读取开始信号，其中， 当完成将所述疏化图像数据写入所述存储器时，所述疏化处理器将所述写入结束信号提供给所述同步器，以及 所述读取控制器响应于来自所述同步器的所述读取开始信号来开始从所述存储器读取数据。
5.根据权利要求1至3中任一项所述的图像处理装置，还包括同步信号发生器，所述同步信号发生器针对从所述读取控制器输出的数据，生成对应于所述第二时钟信号的同步信号。
6.根据权利要求2或3所述的图像处理装置，其中， 所述疏化处理器对写入所述存储器的所述疏化图像数据的数据片数量进行计数以输出计数值；以及 所述第一选择器使用从所述疏化处理器输出的计数值作为所述疏化图像数据的数据片数量来输出对应于所述位位置的移位量。
7.根据权利要求1所述的图像处理装置，其中， 所述时钟信号发生器包括分频电路，所述分频电路对所述第一时钟信号进行分频以生成多个分频时钟信号，其中，所述时钟信号发生器: 通过将所述有效水平像素数量除以所述疏化率来计算存储在所述存储器中的所述疏化图像数据的数据片数量， 通过将在所述特定时段内所提供的所述图像数据的数据片数量除以所述疏化图像数据的数据片数量来计算所述时钟信息， 基于所述时钟信息来选择所述分频电路的所述分频时钟信号之一，以及 输出所选择的分频信号作为所述第二时钟信号。
8.根据权利要求1所述的图像处理装置，其中， 所述特定时段是根据第一水平同步信号的周期确定的单个水平扫描时段， 在所述单个水平扫描时段内的所述第二时钟信号的脉冲数量小于在所述单个水平扫描时段内的所述第一时钟信号的脉冲数量， 所述图像数据是包括空白数据和除所述空白数据之外的有效数据的单行图像数据，所述疏化处理器移除所述空白数据，并从所述单行图像数据中的有效数据中移除对应于所述疏化率的有效像素数据片数量，以生成单行疏化图像数据，并且所述疏化处理器将所述单行疏化图像数据存储在所述存储器中， 所述读取控制器根据所述第二时钟信号，从所述存储器读取一行所述疏化图像数据，以及 所述读取控制器在基本上与所述疏化处理器接收下一单行图像数据的单个水平扫描时段相同的时段内，根据对应于所述第二时钟信号的第二同步信号来输出所读取的单行疏化图像数据。
9.一种用于处理图像的方法，所述方法包括: 根据第一时钟信号接收在特定时段内从图像传感器输出的图像数据； 基于包含在所述图像数据中的有效数据的有效水平像素数量和疏化率来对所述有效数据执行疏化处理，以生成疏化图像数据； 将所述疏化图像数据存储在存储器中； 生成具有基于在所述特定时段内所提供的所述图像数据的数据片数量、所述有效水平像素数量以及所述疏化率的频率的第二时钟信号；以及 根据所述第二时钟信号从所述存储器读取所述疏化图像数据。
10.根据权利要求9所述的方法，还包括: 对所述第一时钟信号进行分频以生成多个分频时钟信号； 基于所述有效水平像素数量和所述疏化率，从所述疏化图像数据的数据片数量中选择一个具有特定位值的位，以生成与所选择的位的位置对应的移位量； 生成移位后的数据片数量，在移位后的数据片数量中，在所述特定时段内所提供的所述图像数据的数据片数量的二进制表达以所述移位量被移位； 从所述移位后的数据片数量中选择一个具有特定位值的位，以生成与所选择的位的位置对应的时钟信息；以及基于所述时钟信息，选择所述分频时钟信号之一，并且输出所选择的分频时钟作为所述第二时钟信号。
11.根据权利要求10所述的方法，还包括: 将以下各项存储在寄存器中:所述有效水平像素数量、所述疏化率、在所述图像数据中的所述有效数据之前的从所述图像传感器输出的水平前空白数据片数量以及在所述图像数据中的所述有效数据之后的从所述图像传感器输出的水平后空白数据片数量；以及通过将所述水平前空白数据片数量、所述水平后空白数据片数量以及所述有效水平像素数量相加来计算在所述特定时段内所提供的所述图像数据的数据片数量。
12.—种成像装置，包括: 图像传感器； 预处理单元，对从所述图像传感器输出的图像数据进行处理，并且将预处理后的图像数据存储在第一存储器中；以及 图像处理单元，对存储在所述第一存储器中的所述预处理后的图像数据执行特定的图像处理， 其中，所述预处理单元包括: 疏化处理器，根据第一时钟信号接收在特定时段内从所述图像传感器输出的图像数据，其中，所述疏化处理器基于包含在所述图像数据中的有效数据的有效水平像素数量和疏化率来对所述有效数据执行疏化处理，以生成疏化图像数据，并且所述疏化处理器将所述疏化图像数据存储在第二存储器中， 时钟信号发生器，生成具有基于在所述特定时段内所提供的所述图像数据的数据片数量、所述有效水平像素数量以及所述疏化率的频率的第二时钟信号，其中，所述时钟信号发生器输出对应于所述第二时钟信号的时钟信息，以及 读取控制器，根据所述第二时钟信号从所述第二存储器读取所述疏化图像数据， 其中，所述图像处理单元包括分频电路，所述分频电路根据时钟信息生成操作时钟信号。
【文档编号】H04N5/341GK103716555SQ201310456327
【公开日】2014年4月9日 申请日期:2013年9月29日 优先权日:2012年10月2日
【发明者】沟口祐介, 大原邦裕 申请人:富士通半导体股份有限公司