专利名称：图像处理设备、图像处理方法和成像设备的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和成像设备。
背景技术：
通常，成像设备(例如，数字静止相机)执行预处理，例如，对畸变图像进行校正的处理、校正色差的处理以及放大或缩小图像尺寸的处理。另外，使用诸如JPEG(联合图像专家组)的编码方法，成像设备减小通过预处理获得的数据量。例如在日本专利公开No. 2003-051748中所述，编码包括提取针对进行编码的数据的一部分，对提取的数据进行编码以用于估计，以及基于编码的数据量改变编码参数，由此对所有数据进行编码。例如在日本专利公开No. 2007-158884中所述，编码还包括提取要进行编码的目标数据的一部分以预先获得直流(DC)分量从而增强编码效率。
发明内容
当对输入图像的一部分进行编码以用于预处理时(在下文中，部分图像称作预处理图像)，通过预处理读取的图像数据量在两种情况(一种是图像发生畸变的情况和另一种是图像没有发生畸变的情况)之间可以不同。图IA示出了已经通过图像处理对畸变进行校正的典型图像。图IB示出了由于没有畸变在图像处理中没有进行校正的典型的处理前的图像。图IC示出了要通过图像处理对透镜畸变进行校正的典型的处理前的图像。在如图IB所示没有畸变的情况下，不管预处理图像位于输入图像中什么位置，将在预处理中提供给编码部分的在图像处理之后的预处理图像最终设置成预定尺寸(例如， 用作编码的处理单位的尺寸)所需的图像处理之前的预处理图像的尺寸相同。即，不管预处理图像位于输入图像中的什么位置，读取图像数据量相同。例如，如果如图IA所示用于预处理图像的区域WA设置在中心，则如图IB所示，可以采用输入图像的中心区域Wa(= WA)作为可以使用其图像的预处理读取区域。如果用于预处理图像的区域WB设置在边缘处 (宽度与图IA所示的区域WA相同)，则可以采用输入图像的边缘区域Wb ( = WB)作为可使用其图像的预处理读取区域，如图IB所示。然而，当如图IC所示图像发生畸变时，读取图像数据量可以根据预处理读取区域的位置而不同。例如，如果用于预处理图像的区域WA设置在中心处，则可以采用输入图像的区域Wa( = WA)作为可以使用其图像的预处理读取区域。但是，由于图像的边缘部分发生畸变，所以需要针对预处理读取区域设置比区域WB宽的区域Wc (> WB)。否则，不能够获得图像处理后的区域WB的预处理图像。因此，存在读取图像数据量根据预处理图像的位置而不同的情况。该问题在于，当读取数据量增加时，处理时间和功耗相应增加。本发明鉴于以上情形做出并且本发明提供了一种执行作为输入图像的一部分的预处理图像的图像处理和编码，以预先获得对输入图像进行编码所需的信息并且同时例如降低处理时间和功耗的图像处理设备、图像处理方法和成像设备。根据本发明的一个实施例，提供了一种图像处理设备，包括图像处理部分，被构造为对输入图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据在所述输入图像中所述处理前的图像的位置而不同；编码部分，被构造为对从所述图像处理部分输出的处理后的图像进行编码；以及预处理指示部分，被构造为在所述输入图像的图像处理和编码之前，所述预处理指示部分指示所述图像处理部分对作为所述输入图像的一部分的预处理图像执行图像处理作为预处理，并且将处理后的预处理图像发送至所述编码部分，以从所述编码部分预先获取用于对所述输入图像进行编码的所需信息，其中，所述预处理指示部分确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。本发明公开的图像处理设备的图像处理部分执行用于获得处理后的图像所需的处理前的图像的尺寸根据输入图像中处理前图像的位置而不同的图像处理。例如，图像处理部分可以执行包括以下处理中的至少一种的图像处理使缩放率随颜色分量而不同的图像成为相同尺寸的处理，使缩放率随图像位置而不同的图像成为相同尺寸的处理，应用抽头计数随图像位置而不同的滤波器的处理，和对由透镜导致的图像畸变进行校正的处理。 编码部分例如使用JPEG方法对从图像处理部分输出的处理的图像进行编码。在编码之前， 预处理指示部分指示图像处理部分对作为输入图像的一部分的预处理图像执行图像处理并且将处理后的预处理图像发送至编码部分以预先获取对输入图像进行编码所需的信息。 例如，预处理指示部分可以获得代码量作为编码所需的信息。如果编码部分以预定代码顺序对前值差分进行编码，预处理指示部分可以预先获得用于计算前值差分的前值。另外，预处理指示部分确定预处理图像，以使得用于获得处理的预处理图像所需的处理前图像的尺寸减小。即，预处理指示部分可以选择用于获得预处理图像所需的读取图像数据量小的屏幕中的位置作为用于预处理图像的区域。在使用获得预处理图像所需的处理前的图像的区域作为预处理读取区域预先获得编码所需的信息的预处理处理中，读取预处理读取区域的图像数据并且执行图像处理和编码。此外，如果编码部分以与预定代码顺序不同的顺序对输入图像进行编码，则可以提供重新排序部分以将从编码部分输出的代码重新排序成预定代码顺序。根据本发明的另一个实施例，提供了一种图像处理方法，包括对输入图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据所述输入图像中的所述处理前的图像的位置而不同；对所述图像处理后的图像进行编码； 在所述编码之前，对作为所述输入图像的一部分的预处理图像执行图像处理和编码，以预先获取用于对所述输入图像进行编码的所需信息；以及在所述预处理过程中，确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。根据本发明的另一个方面，提供了一种成像设备，包括成像部分，被构造为产生拍摄的图像；图像处理部分，被构造为对所述拍摄的图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据所述拍摄的图像中的所述处理前的图像的位置而不同；编码部分，被构造为对从所述图像处理部分输出的处理后的图像进行编码；以及预处理指示部分，被构造为在所述拍摄的图像的图像处理和编码之前，所述预处理指示部分指示所述图像处理部分对作为所述获取的图像的一部分的预处理图像执行图像处理，并且将处理后的预处理图像发送至所述编码部分，以从所述编码部分预先获取用于对所述拍摄的图像进行编码的所需信息，其中，所述预处理指示部分确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。根据上述本发明，在输入图像的图像处理和编码之前，执行预处理，其中对作为输入图像的一部分的预处理图像进行处理和编码以预先获得对输入图像进行编码所需的信息。预处理包括确定预处理图像以减小用于获得处理后的预处理图像所需的处理前的图像的尺寸的。这使得可以通过预处理降低从输入图像读取以进行图像处理的数据量，由此能够降低处理时间和功耗等。
图1A、1B和IC是示出在预处理期间读取的图像数据量通常在两种情况(即，目标图像发生畸变的情况和图像没有发生畸变的另一种情况)下如何不同的解释图；图2是示出图像处理设备应用到成像设备的典型结构的示意图；图3A、3B和3C是示出图像处理部分的典型内部结构的示意图；图4是示出使用存储在易失性存储部分中的图像数据执行预处理的例子的示意图；图5是示出在进行编码之前图像处理后的图像数据临时存储在易失性存储部分中的例子的示意图；图6是示出从具有小图像畸变的区域读取图像数据的例子的示意图；图7是示出代码量估计处理的流程图；图8A、8B和8C是示出拍摄的图像的右侧具有大畸变而左侧具有小畸变的代码量估计的示意图；图9A、9B和9C是示出拍摄的图像的上部具有大畸变而下部具有小畸变的代码量估计的示意图；的不意图；理的例子；图
10是示出通常如何对拍摄的图像进行编码的流程11是示出图像处理的单位在水平方向上为2块而在垂直方向上为3块的例子
12是示出DC分量获取处理的流程13A、13B和13C示出了拍摄的图像的右侧具有大畸变而左侧具有小畸变的预处
14是示出通常如何对拍摄的图像进行编码的流程15是示出使用块“2”列作为预处理图像的编码操作的示意16A、16B、16C、16D和16E是示出使用块“2”列作为预处理图像的图像处理和编
码操作的示意图；图17A和图17B是如何对编码的数据的块单位进行重新排序的示意图；图18A和图18B是示出对由透镜导致的图像畸变进行校正的第一例子的示意19A和图19B是示出对由透镜导致的图像畸变进行校正的第二例子的示意20A和图20B是示出对缩放率随位置而不同的图像进行校正的例子的示意21A和图21B是示出对缩放率随颜色而不同的图像进行校正的例子的示意22A和图22B是不出对具有|旲糊的拍摄的图像进行校正的例子的不意图；以及图23A、23B、23C和23D是示出当顺序执行模糊校正和畸变校正时有效确定预处理图像的操作的示意图。
具体实施例方式现在将描述本发明的一些优选实施例。将在下面标题之下进行描述I.图像处理设备的结构2.图像处理设备的操作3.作为预处理的估计代码量的操作4.作为预处理的获得DC分量的操作5.用于预处理的预处理图像的具体例子〈I.图像处理设备的结构>图2是示出本发明的图像处理设备应用到成像设备10的典型结构的示意图。成像设备10包括成像光学系统11、成像部分12、模拟信号处理部分13、模拟/数字(A/D)转换部分14、图像处理部分15、编码部分16、重新排序部分17、记录部分18、易失性存储部分
19、显示部分20、控制部分25、输入部分26和非易失性存储部分27。在成像设备10中，图像处理部分15、编码部分16、重新排序部分17、记录部分18、易失性存储部分19、显示部分
20、控制部分25和非易失性存储部分27经由总线29进行互连。成像光学系统11主要由透镜组成并且在成像部分12的受光面形成未示出的物体的光学图像。使用诸如互补金属氧化物半导体(CMOS)或者电荷耦合器件(CCD)的固态图像传感装置构造成像部分12。成像部分12执行光电转换，产生通过成像光学系统11在它的受光面上形成并且表示光学图像的拍摄的图像的图像信号。成像部分12将这样产生的图像信号输出到模拟信号处理部分13。模拟信号处理部分13对从成像部分12输出的模拟图像信号执行诸如相关双重采样(CDS)和模拟放大的处理，并且将处理后的图像信号输出到A/D转换部分14。A/D转换部分14将从模拟信号处理部分13输出的模拟图像信号转换成数字信号，并且将代表转换后的图像信号的图像数据输出到图像处理部分15。图像处理部分15对从A/D转换部分14输出的图像数据执行相机信号处理和不同校正处理。图3A到图3C示出了图像处理部分15的典型内部结构。图像处理部分15包括用于处理相机信号的模块，例如，白平衡调整部分151、颜色转换部分152、伪颜色抑制部分153和伽马校正部分154。另外，图像处理部分15包括色差校正部分155、畸变校正部分 156和模糊校正部分157例如作为执行处理的模块，由此，用于获得处理后的图像所需的处理前的图像的尺寸根据拍摄的图像中的图像位置而不同。白平衡调整部分151调整诸如三元色的信号水平的图像数据，从而以最佳颜色再现拍摄的图像。使用已知的变换矩阵，颜色转换部分152将白平衡调整后的三元色数据转换成亮度数据和色差数据。伪颜色抑制部分153对色差数据执行在饱和部分处抑制伪颜色数据的处理。伽马校正部分154对图像数据进行校正以符合使用的显示装置的伽马特征。色差校正部分155执行使缩放率随颜色分量而不同的图像成为相同尺寸的处理。 例如，色差校正部分155可以计算来自成像光学系统11的色差量，并且以对计算的色差量进行校正的方式对图像数据执行色差校正。畸变校正部分156执行使缩放率随图像位置而不同的的图像称为相同尺寸的处理或者对由透镜产生的图像畸变进行校正的处理。例如， 畸变校正部分156可以以对由成像光学系统11中的透镜畸变导致的畸变的图像进行校正的方式对图像数据执行畸变校正处理。模糊校正部分157通常可以由用于执行增益调整以使得校正的图像将具有关于产生模糊图像的PSF(点散布函数)频率特性的期望频率特性的滤波器组成。模糊校正部分157通过执行滤波处理(其中，滤波器中的抽头的数目根据图像位置(即，发现模糊的地方)而不同)去除模糊。对图像数据进行处理的顺序不限于图3A所示的顺序。该顺序还可以是图3B和图 3C所示之一。除了图3A到图3C中所示的组件以外，图像处理部分15还可以包括用于执行信号处理和校正的新模块。作为另一种替代，可以从图像处理部分15的结构去除如图3A 到图3C所示的用于执行信号处理和校正的一些模块。图2中的编码部分16对从图像处理部分输出的图像数据进行编码以产生编码的数据。重新排序部分17将由编码部分16产生的以块为单位的编码的数据重新排序成预定块顺序。记录部分18将由重新排序部分17进行重新排序的以块为单位的编码的数据记录到记录介质。易失性存储部分19用作工作存储部分。例如，易失性存储部分19可以临时存储拍摄的图像的图像数据。显示部分20由液晶显示部件、有机电致发光显示部件等等构成。显示部分20显示拍摄的图像、相机通过(camera-through)图像以及关于成像设备的设置和操作的菜单和其它指示。输入部分26连接到控制部分25。为了接受用户的输入操作，输入部分26包括诸如电源开关、快门键和变焦键的不同操作键，以及用于显示菜单、选择菜单项和执行各种设置的操作键。输入部分26向控制部分25输出反映用户的操作的操作信号。控制部分25由微计算机等等构成。控制部分25读取并执行存储在非易失性存储部分27中的程序以用反映用户的操作的方式控制成像设备10的组件。控制部分25还用作预处理指示部分。在编码之前，控制部分25指示图像处理部分15对作为输入图像的一部分的预处理图像执行图像处理并且将处理后的预处理图像发送到编码部分16以预先获取对输入图像进行编码所需的信息。另外，控制部分25确定预处理图像以使得图像处理部分向例如编码部分16提供可采用编码单元的尺寸的处理后的预处理图像所需的处理前的图像的尺寸减小。<2.图像处理设备的操作>成像设备10执行预处理(例如，代码量的估计和DC分量的获取)。为了使用预处理的结果对图像数据进行编码，成像设备10临时存储要被编码到易失性存储部分19中的图像数据并且利用为预处理目的保持在易失性存储部分19中的图像数据。如果由图像处理部分15执行的任何处理耗时，则获取图像之间的间隔不能够缩短。为了缩短图像获取间隔，成像设备10可以将由图像处理部分15部分处理的图像数据存储在易失性存储部分19中并，然后从它读取图像数据，使得图像处理部分15可以执行其余处理。另外，如果由图像处理部分15处理的图像数据临时存储在易失性存储部分19中， 使得保持在其中的图像数据可用于预处理或者用于对所有拍摄的图像进行编码，则到易失性存储部分19的通信量增加。因此，当执行预处理或者对所有拍摄的图像进行编码时，成像设备10可以向编码部分16提供由图像处理部分15处理的图像数据，而没有将图像数据临时存储在易失性存储部分19中。图4示出了使用针对畸变进行校正并且临时存储在易失性存储部分19中的图像数据执行预处理的例子。在这个例子中，针对畸变未进行校正的图像数据示出图像的左侧没有畸变，而图像的右侧畸变较大。例如，如果预处理图像位于块“8”、“16”和“24”中，则成像设备10从易失性存储部分19读取块“8”、“16”和“24”的图像数据，并且使得图像处理部分15针对畸变对读取的图像数据进行校正并且将校正的图像数据送给编码部分16。在如上所述成像设备10向编码部分16提供针对畸变进行校正的图像数据的情况下，与如图5所示图像处理后的图像数据被临时存储在易失性存储部分19中相比较，对易失性存储部分19的通信量较轻。在预处理中，如果从要针对畸变进行校正的块读取图像数据并且如果预处理图像位于如图4所示图像畸变较大的区域内，则与预处理图像位于图像畸变可忽略的区域内的情况相比较，要进行读取的数据量更大。因此，成像设备10确定预处理图像以使得图像处理部分15将处理后的预处理图像送给编码部分16所需的处理前的图像的尺寸减小。即，成像设备10选择用于获得预处理图像所需的读取图像数据量较小的屏幕中的位置作为预处理图像的区域，并且将用于获得预处理图像所需的处理前的图像的区域看做预处理读取区域。另外，成像设备10从预处理读取区域读取图像数据，针对畸变对读取图像数据进行校正，并且预先获得使用针对畸变进行校正的图像数据对输入图像进行编码所需的信息。另外，成像设备10使用预先从预处理获得的结果对输入图像进行编码。〈3.作为预处理的估计代码量的操作>在下文解释用于预处理中估计代码量的典型操作。假设用于预处理中的图像数据是要针对畸变进行校正并且存储在易失性存储部分19中的图像数据。图7是示出代码量估计处理的流程图。在步骤STl中，控制部分25设置代码量估计区域。例如，在要对源于透镜畸变的畸变图像进行校正的情况下，能够基于使用的透镜、 变焦因子等等确定产生的畸变的属性。因此，控制部分25根据使用的透镜、变焦因子等等确定畸变较小的图像区域。另外，控制部分25确定预处理图像以使得用于获得预处理中的处理后的预处理图像所需的处理前的图像的尺寸减小。另外，控制部分25设置获得确定的预处理图像所需的处理前的图像的区域作为代码量估计区域。随后，控制部分进入步骤 ST2。针对代码量估计，可以关于处理图像提供例如以等间隔布置的相同尺寸的预处理图像。然后可以使用从正进行编码的预处理图像导出的代码量估计拍摄的图像的代码量。 图8A示出了拍摄的图像的右侧畸变较大而它的左侧畸变较小的例子。图8B示出了采用块 “2”、“4”、“6”和“8”的列作为预处理图像并且设置区域GAp2、GAp4、GAp6和GApS作为代码量估计区域。与如图8C所示的采用块“1”、“3”、“5”和“7”的列作为预处理图像并且设置区域GApl、GAp3、GAp5和GAp7作为代码量估计区域相比较，图8B的例子需要读取的数据量更大。因此，控制部分25确定具有小畸变的图像部分中的预处理图像。S卩，控制部分25 选择块“ I ”、“3”、“5”和“7”的列中的图像作为预处理图像并且设置区域GApl、GAp3、GAp5 和GAp7作为代码量估计区域(即，预处理读取区域)。
如图9A所示，假设拍摄的图像的上部的畸变大而它下部的畸变小。在这种情况下，如果如图9B所示采用块“1”、“17”和“33”的行作为代码量估计区域GAql、GAql7和 GAq33，则这将导致需要读取更大量的数据。因此，控制部分25设置具有小畸变的图像部分中的代码量估计区域。即，如图9C所示，控制部分25设置块“9”、“25”和“41”的行作为代码量估计区域GAq9、GAq25和GAq41。在步骤ST2中，控制部分25从易失性存储部分19读取代码量估计区域的图像数据，并且将读取图像数据送给图像处理部分15。在步骤ST2以后，控制部分25进入步骤 ST3。在步骤ST3中，图像处理部分15执行图像处理。图像处理部分15可以对代码量估计区域的读取图像数据执行畸变校正和其它处理。另外，在进入步骤ST4之前，图像处理部分15向编码部分16输出处理后的图像数据。在步骤ST4中，编码部分16执行编码。编码部分16对从图像处理部分15提供的处理后的图像数据进行编码以产生编码的数据。在产生编码的数据以后，到达步骤ST5。在步骤ST5中，控制部分25确定编码参数。控制部分25基于当编码部分16对预处理图像的图像数据即代码量估计区域的图像数据进行编码时给出的代码量，估计正在进行编码的拍摄的图像的代码量。另外，基于代码量估计的结果，控制部分25确定编码参数以使得正在进行编码的拍摄的图像的代码量将到达期望量。例如，如果使用JPEG(联合图像专家组)方法对拍摄的图像进行编码，则确定量化台阶尺寸和其它参数，使得正在进行编码的拍摄的图像的代码量将与期望量一致。另外，成像设备10使用通过预处理确定的编码参数对拍摄的图像进行编码。图10 是示出通常如何对拍摄的图像进行编码的流程图。在步骤STll中，控制部分25对编码进行设置。控制部分25向编码部分16提供在图7所示的预处理中确定的编码参数，对由编码部分16执行的编码进行设置，并且进入步骤ST12。在步骤ST12中，控制部分25读取所有拍摄的图像。控制部分25顺序读取存储在易失性存储部分19中的所有拍摄的图像的图像数据，向图像处理部分15提供这样获取的图像数据，然后进入步骤ST13。在步骤ST13中，图像处理部分15执行图像处理。图像处理部分15对存储在易失性存储部分19中的拍摄的图像的图像数据执行畸变校正和其它处理，将处理后的图像数据输出到编码部分16，并且进入步骤ST14。在步骤ST14中，编码部分16执行编码。编码部分16对从图像处理部分15给出的处理后的图像数据进行编码。这使得可以获得拍摄的图像的期望量的编码数据。如上所述，确定预处理图像，以使得用于获得处理后的预处理图像所需的处理前的图像的尺寸减小。这样获得的预处理图像用于估计代码量。结果，当执行预处理时，可以降低从易失性存储部分19读取的图像数据量，使得可以降低处理时间和功耗。另外，由于由图像处理部分15处理的图像数据被提供给编码部分16，所以能够降低对易失性存储部分19的通信量。<4.作为预处理的获得DC分量的操作>下面解释编码部分16如何使用JPEG方法对图像数据进行编码以及在预处理中获取DC分量。该编码方法包括对作为紧接在前编码的块的DC分量的差分的前值差分进行编码以增强编码效率。为了高效执行图像处理和其它处理，成像设备10以多块增量为图像处理的单位读取图像数据。在这种情况下，可以预先在预处理中获得DC分量作为用于计算前值差分的前值。当以这种图像处理单位为增量读取图像数据时，在预处理中预先获取的DC 分量可用于对读取的块进行编码。例如，如果图像处理单位是水平方向上的两个块和垂直方向上的三个块(如图11 所示)，则成像设备10可以从易失性存储部分19读取块“1”、“2”、“9”、“10”、“17”和“18” 的图像数据以进行图像处理和编码。在这种情况下，如果在预处理中获得块“8”和“16”的 DC分量，则由此能够对块“9”和“ 17”进行编码。块“ I ”是第一块并且计算的DC分量被量化。使用块“I”的DC分量对块“2”进行编码。类似的是，分别使用块“9”和“17”的DC分量对块“ 10 ”和“ 18 ”进行编码。如上所述，成像设备10预先在预处理中获取DC分量。如果以该图像处理单位为增量读取图像数据，则成像设备10可以使用在预处理中获得的DC分量对由此读取的图像数据进行编码。图12是示出DC分量获取处理的流程图。在步骤ST21中，控制部分25设置预处理读取区域。例如，在要对源于透镜畸变的畸变的图像进行校正的情况下，能够基于使用的透镜、变焦因子、等等确定产生的畸变的性质。由此，控制部分25根据使用的透镜、变焦因子等等确定畸变较小的图像区域。另外，控制部分25基于图像区域的确定结果确定预处理图像，以使得在预处理中获得的处理后的预处理图像所需的处理前的图像的尺寸减小。另外，控制部分25设置获得确定的预处理图像所需的处理前的图像的区域作为预处理读取区域。控制部分25然后进入步骤ST22。现在假设获取的图像的右侧的畸变较大，而左侧的畸变较小(如图13A所示)。 在这种情况下，如果采用较大畸变图像部分中的块“8”的列作为预处理图像从而使得GApS 被当作预处理读取区域(如图13B所示)，要读取的数据量将会增加。因此，控制部分25在小畸变的图像部分中定位预处理图像并且相应地设置预处理读取区域。例如，如图13C所示，可以采用小畸变的图像部分中的块“2”的列的图像作为预处理图像并且区域GAp2被当作预处理读取区域。在步骤ST22中，控制部分25从易失性存储部分19读取预处理读取区域的图像数据，并且在进入步骤ST23之前，将读取图像数据送给图像处理部分15。在步骤ST23中，图像处理部分15执行图像处理。图像处理部分15可以对获取的预处理读取区域的图像数据执行畸变校正和其它处理。图像处理部分15然后将处理后的图像数据输出到编码部分16，然后进入步骤ST24。在步骤ST24中，编码部分16执行编码。编码部分16对从图像处理部分15给出的处理后的图像数据进行编码，然后进入步骤ST25。在步骤ST25中，控制部分25获取DC分量。当存储通过已经对预处理读取区域的图像数据进行编码的编码部分16获得的DC分量时，控制部分25终止预处理，该存储被执行以使得DC分量应用于所有拍摄的图像的接下来编码中。另外，成像设备10使用在预处理中获取的DC分量对拍摄的图像进行编码。图14 是示出通常如何对拍摄的图像进行编码的流程图。在步骤ST31中，控制部分25设置第一读取区域。控制部分25将在编码的前进方向上与在预处理中读取的块相邻的区域设置作为第一读取区域，然后进入步骤ST32。在步骤ST32中，控制部分25读取读取区域的图像数据。在进入步骤ST33之前， 控制部分25从易失性存储部分19读取读取区域的图像数据，并且将获取的图像数据提供给图像处理部分15。在步骤ST33中，图像处理部分15使用获取的图像数据执行图像处理。在进入步骤ST34之前，图像处理部分15使用以图像处理单位为增量获取的图像数据执行畸变校正和其它处理。在步骤ST34中，编码部分16执行编码。在进入步骤ST35之前，编码部分16使用在预处理中或者在先编码处理中获得的DC分量对图像数据进行编码。在步骤ST35中，控制部分25确定所有处理是否完成。如果仍有要进行处理和编码的任何图像数据，则控制部分25进入步骤ST36。如果已经对所有拍摄的图像进行了处理和编码，则控制部分25终止处理。在步骤ST36中，控制部分25确定读取区域是否在右边缘上。如果读取区域在拍摄的图像的右边缘上，则控制部分25进入步骤ST37。否则，控制部分进入步骤ST38。在步骤ST37中，控制部分25将读取区域移至左边缘。然后控制部分25进入步骤 ST39。在步骤ST38中，控制部分25将读取区域向右移动一个图像处理单位。在步骤ST38 以后，控制部分25进入步骤ST39。在步骤ST39中，控制部分25确定从移动后的读取区域读取图像数据是否完成。如果确定从移动的读取区域读取图像数据完成，则控制部分25进入步骤ST40。如果确定还有图像数据要从移动的读取区域读取，则控制部分25返回步骤ST32。在步骤ST40中，控制部分25将读取区域向下移动一个图像处理单位。在步骤ST40 以后，控制部分25返回到步骤ST32。图15示出了当采用块“2”的列的图像作为预处理图像设置预处理读取区域时执行的编码操作。当采用块“2”的列的图像作为预处理图像时，控制部分25设置由在编码的前进方向上与在预处理处理中读取的块相邻的图像处理单位组成的区域(即，由块“3”、“4”、 “11”、“12”、“19”和“20”组成的区域)作为第一读取区域。控制部分25然后读取读取区域的图像数据并且对读取数据进行处理和编码。由于在预处理中已经获得了块“2”、“10” 和“18”的DC分量，所以编码部分16使用获取的DC分量对块“3”、“11”和“19”进行编码。 另外，编码部分16能够使用在块“3”、“11”和“19”的编码处理中计算的DC分量对块“4”、 “12”和“20”进行编码。当第一读取区域的图像处理和编码完成时，控制部分25将读取区域移至由块 “5”、“6”、“13”、“14”、“21”和“22”组成的区域，并且使用新到达的读取区域的图像数据执行图像处理和编码。在要对块“ 5 ”、“ 13 ”和“ 21 ”进行编码的情况下，使用在块“ 4 ”、“12”和 “20”的编码处理中计算的DC分量。 控制部分25然后将读取区域移至由块“ 7 ”、“ 8 ”、“ 15 ”、“ 16，，、“ 23 ”和“ 24 ”组成的
区域，并且使用新到达的读取区域的图像数据执行图像处理和编码。此刻，读取区域位于图像的右边缘上。由此在该读取区域的图像处理和编码以后，控制部分25将读取区域移至图像的左边缘，即移至由块“ I ”、“ 2 ”、“9 ”、“ 10，，、“ 17 ”和“ 18 ”组成的区域。控制部分25然后使用新到达的读取区域的图像数据执行图像处理和编码。块“I”是第一块并且计算的DC 分量被量化。分别使用在块“8”和“ 16”的编码处理中计算的DC分量对块“9”和“ 17”进
行编码。然后向右移动读取区域。此时的读取区域由已经执行了图像处理和编码的块“3”、 “4”、“11”、“12”、“19”和“20”组成。由此，控制部分25向下移动读取区域以到达由块“27”、 “28”、“35”、“36”、“43”和“44”组成的区域，并且使用新到达的读取区域执行图像处理和编码。由于已经在预处理中获得了块“26”、“34”和“42”的DC分量，所以编码部分16能够使用这些DC分量对块“27”、“35”和“43”进行编码。能够同样地对所有拍摄的图像执行图像处理和编码。如上所述，控制部分25确定预处理图像，以使得用于获得处理后的预处理图像所需的处理前的图像的尺寸减小。使用这样确定的预处理图像，控制部分25预先获得用于计算前值差分的前值。这使得成像设备10将当预处理时要从易失性存储部分19读取的图像数据量最小化，由此降低处理时间和功耗。另外，由于通过图像处理部分15处理的图像数据被提供给编码部分16，所以成像设备10能够降低易失性存储部分19的通信量。顺便说一句，如果以减小读取数据量的方式设置预处理读取数据，并且如果将由在编码的前进方向上与在预处理中读取的块相邻的图像处理单位组成的区域设置作为第一读取区域，则可能不会以遵照使用种的编码方法的方式对最终编码的数据进行排序。图16A、16B、16C、16D和16E示出了当采用块“2”的列的图像作为预处理图像时执行的图像处理和编码操作。例如，使用块“2”的列的图像作为预处理图像，控制部分25可以设置由块“3”、“4”、“11”、“12”、“19”和“20”组成的区域作为第一读取区域，如图16A所示。当从第一读取区域开始图像处理时，从如图16B所示的第一读取区域产生处理后的图像数据。由于处理后的图像数据被提供给编码部分16，所以以图16C所示的块的顺序产生编码的数据。由于没有按照编码方法对这样产生的编码的数据的块进行正确排序，所以重新排序部分17以块为增量对编码的数据进行重新排序。图17A和图17B是示出如何对编码的数据的块单位进行重新排序的示意图。图 17A示出了当对处理后的图像数据进行编码时有效的块的典型顺序。重新排序部分17以块为增量对编码的数据进行重新排序，从而使得按照该编码方法对块进行正确排序，即向右以从“I”开始的块编号的升序重新布置这些块(如图17B所示)。在该重新排序以后，编码的数据被重新布置成图16D所示的顺序。当对这样重新排序的编码的数据进行解码时，能够以如图16E所示的块的正确顺序产生图像数据。<5.用于预处理的预处理图像的具体例子〉图18A到图19B示出了对由透镜导致的畸变进行校正的例子。图18A和图19A均指示校正前的图像，图18B和图19B均指示校正后的图像。可归因于透镜的图像畸变趋于不出现在中心而是出现在边缘处。如图18A到图19B所示，控制部分25由此通过确定由虚线指示的中心处的预处理图像设置预处理读取区域。与在如点划线指示的边缘处确定预处理图像相比较，这种设置使得要在预处理中读取的图像数据量更小。这使得成像设备10降低处理时间和功耗。图20A和图20B示出了对缩放率随位置而不同的图像进行校正的例子。图20A示出了校正前的图像，图20B指示校正后的图像。当缩放率随图像中的位置而不同时，控制部分25在缩小率较大的位置处(即，附图的左边上)确定预处理图像，以便设置预处理读取区域。与预处理图像位于中心或右侧处相比较，这种设置使得要在预处理中读取的图像数据量更小。这使得成像设备10降低处理时间和功耗。图21A和图21B示出了对缩放率随颜色而不同的图像进行校正的例子。图21A示出了校正前的图像，图21B指示校正后的图像。该例子示出蓝色图像的缩小率较大，红色图像的放大率较大。在由图像处理部分15校正色差的情况下，图像的缩放率越靠近屏幕的边缘越大，越靠近屏幕中心越小。因此，控制部分25在中心处确定预处理图像的位置，从而设置预处理读取区域。与在边缘处确定预处理图像的位置相比较，该设置使得要在预处理进行读取的图像数据量更小。这使得成像设备10降低处理时间和功耗。图22A和图22B示出了对模糊的拍摄图像进行校正的例子。在图22A中，右侧上人的图像模糊。通常，使用数字滤波器完成模糊图像的校正。为了执行过滤处理，通常需要读取比针对进行校正的区域要宽的区域的图像数据。如果数字滤波器中的抽头的数目增加， 则从其读取图像数据的区域相应地增加。即，当在图像处理中执行模糊校正时，通常需要从比模糊区域要宽的区域读取图像数据。因此，控制部分25确定存在较小模糊的预处理图像的位置。与在存在很多模糊的位置确定预处理图像的位置相比，这使得要在预处理中读取的数据量更小。这又使得成像设备10降低处理时间和功耗。另外，当图像处理部分15执行畸变校正、色差校正和模糊校正时，成像设备10可以考虑这些校正处理的每个所需的图像数据量，以使得预处理图像的位置最佳。图23A、23B、23C和23D示出了当顺序对从易失性存储部分19读取的图像数据有效确定预处理图像的操作。例如，图23A示出了由图像处理部分15处理的图像中的预处理图像的三个候选区域(每5个像素宽)。在图23A中，图像的最左区域、最右区域和中心区域被选择为预处理图像的候选区域。图23B指示获得校正后的预处理图像所需的校正前的预处理读取区域。例如，图 23B示出为了获得畸变校正和其它校正后的最左候选区域的预处理图像，需要从校正前的图像获取比最左候选区域(5个像素宽)宽2个像素的区域的图像数据。即，如果使用左边缘上具有7个像素宽度的预处理读取区域的图像数据执行畸变校正，则能够产生图23A 所示的最左候选区域的预处理图像。同样，图23B示出为了获得最右候选区域的预处理图像，需要从校正前的图像获取比最右候选区域(5个像素宽)宽2个像素的区域的图像数据。图23B还示出为了获得中心候选区域的预处理图像，需要从校正前的图像获取在两侧上比中心候选区域(5个像素宽)要窄一个像素的区域的图像数据。图23C示出了要针对模糊进行校正并且获得针对模糊进行校正的候选区域的预处理图像所需的预处理读取区域。在图23C中，假设最左候选区域是没有模糊的预处理图像的区域，中心候选区域是显著模糊的预处理图像的区域，最右候选区域是可忽略模糊的预处理图像的区域。图像中的没有模糊的最左候选区域不需要用于模糊校正的过滤处理。因此，图23C 指示为了获得校正后的最左候选区域的预处理图像，需要从校正前的图像获取校正前的最左候选区域(即，7个像素宽的区域)的图像数据。即，如果使用7个像素宽的最左区域的图像数据执行模糊校正，则能够产生图23B中所示的最左候选区域的预处理图像。图23C还示出为了执行最右候选区域的预处理图像的模糊校正，需要获取比校正前的最右候选区域宽了与滤波器的抽头计数对应的数目的像素的区域。例如，显示了需要从校正前的图像获得比校正前的最右候选区域宽I个像素的区域的图像数据。另外，图 23C指示为了校正中心候选区域的预处理图像的模糊，需要获取比校正前的中心候选区域宽了与滤波器的抽头计数对应的数目的像素的区域。例如，为了通过增加的抽头计数校正许多模糊，显示了需要从校正前的图像获取在左侧上比校正前的中心候选区域宽3个像素而在右侧上宽2个像素的区域的图像数据。S卩，为了通过从易失性存储部分19读取图像数据获得候选区域的预处理图像以进行模糊校正和畸变校正，需要读取图23D中所示的区域的图像数据。例如，为了获得图 23A所示的最左候选区域的图像，需要设置7个像素宽的最左区域作为预处理读取区域，并且相应地从易失性存储部分19读取图像数据。另外，为了获得图23A所示的最右候选区域的图像，需要设置8个像素宽的最右区域作为预处理读取区域，并且相应地从易失性存储部分19读取图像数据。另外，为了获得图23A所示的中心候选区域的图像，需要设置8个像素宽的中心区域作为预处理读取区域，并且相应地从易失性存储部分19读取图像数据。因此，控制部分25将要从易失性存储部分19读取的图像数据量进行比较，并且选择具有最小数据量的最左候选区域的图像作为预处理图像。另外，控制部分25设置获得作为预处理图像的最左候选区域的图像所需的处理前的图像的区域作为预处理读取区域。以这种方式，当结合要执行的校正处理时，控制部分25通过考虑各个校正处理所需的区域设置预处理读取区域。这使得成像设备10降低处理时间和功耗。可以通过硬件、软件或者二者的组合执行在这个说明书中解释的这一系列处理。 在通过软件执行图像处理和编码的情况下，组成处理序列的程序可以从计算机的专用硬件加载到它的内部存储器以用于执行，或者在程序执行时从适宜源安装到通用计算机或能够基于安装的程序执行各种功能的设备等等。例如，程序可以预记录在用作记录介质的硬盘或ROM(只读存储器)上。或者，程序可以临时或永久存储(记录)在可移动记录介质(例如，软盘、CD-ROM(紧凑盘只读存储器)、M0(磁光)盘、DVD (数字多功能盘)、磁盘或半导体存储器)上。可以提供这些可移动记录介质作为所谓的套装软件。除了从上述可移动记录介质安装到计算机以外，程序还可以经由LAN(局域网)或者互联网从下载网站以无线方式或者以有线方式转移到计算机。计算机可以接收这些转移的程序并且将它们安装在适宜的内置记录介质(例如，硬盘)上。使用本文公开的技术的图像处理设备、图像处理方法和成像设备执行预处理，使得在对输入图像进行图像处理以后而在对处理的图像进行编码之前，对作为输入图像的一部分的预处理图像进行处理和编码以预先获得用于对输入图像进行编码所需的信息。该预处理包括确定预处理图像，以使得用于获得处理后的预处理图像所需的处理前的图像的尺寸减小。这使得可以在预处理中减小针对图像处理目的要从输入图像读取的数据量，由此能够降低处理时间和功耗。这样，本发明的技术可以有利地适用于诸如数字相机等等的成像设备。
应该明白，尽管结合特定实施例描述了本发明，但是显而易见，本领域技术人员鉴于上述描述可以想到多种替代、变型和修改。因此，本发明旨在包括落入权利要求的精神和范围内的所有这些替代、变型和修改。本申请包含与在于2011年I月18日提交到日本专利局的日本优先权专利申请JP 2011-007687中公开的主题有关的主题，该日本优先权专利申请的全部内容以引用方式并入本文。
权利要求
1.一种图像处理设备，包括图像处理部分，被构造为对输入图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据在所述输入图像中所述处理前的图像的位置而不同；编码部分，被构造为对从所述图像处理部分输出的处理后的图像进行编码；以及预处理指示部分，被构造为在所述输入图像的图像处理和编码之前，所述预处理指示部分指示所述图像处理部分对作为所述输入图像的一部分的预处理图像执行图像处理作为预处理，并且将处理后的预处理图像发送至所述编码部分，以从所述编码部分预先获取用于对所述输入图像进行编码的所需信息，其中，所述预处理指示部分确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。
2.根据权利要求I的图像处理设备，其中，所述图像处理部分执行包括以下处理中的至少一种的图像处理使缩放率随颜色分量而不同的图像成为相同尺寸的处理，使缩放率随图像位置而不同的图像成为相同尺寸的处理，应用抽头计数随图像位置而不同的滤波器的处理，和对由透镜导致的图像畸变进行校正的处理。
3.根据权利要求I的图像处理设备，其中，所述预处理指示部分获得代码量作为编码所需的息。
4.根据权利要求I的图像处理设备，其中，所述编码部分以预定代码顺序对前值差分进行编码；以及在所述预处理中，所述预处理指示部分预先获得用于计算所述前值差分的前值。
5.根据权利要求4的图像处理设备，其中，所述编码部分使用JPEG方法执行编码；以及所述预处理指示部分在所述预处理期间预先获得直流分量。
6.根据权利要求I的图像处理设备，其中，所述预处理指示部分使用所述处理后的预处理图像作为用于所述编码的处理的单位的尺寸。
7.根据权利要求I的图像处理设备，还包括重新排序部分，被构造为对代码顺序进行重新排序，其中，所述编码部分以与预定代码顺序不同的顺序对所述输入图像进行编码；以及所述重新排序部分将从所述编码部分输出的代码重新排序成所述预定代码顺序。
8.—种图像处理方法，包括对输入图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据所述输入图像中的所述处理前的图像的位置而不同；对所述图像处理后的图像进行编码；在所述编码之前，对作为所述输入图像的一部分的预处理图像执行图像处理和编码， 以预先获取用于对所述输入图像进行编码的所需信息；以及在所述预处理过程中，确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。
9.一种成像设备，包括成像部分，被构造为产生拍摄的图像；图像处理部分，被构造为对所述拍摄的图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据所述拍摄的图像中的所述处理前的图像的位置而不同；编码部分，被构造为对从所述图像处理部分输出的处理后的图像进行编码；以及预处理指示部分，被构造为在所述拍摄的图像的图像处理和编码之前，所述预处理指示部分指示所述图像处理部分对作为所述获取的图像的一部分的预处理图像执行图像处理，并且将处理后的预处理图像发送至所述编码部分，以从所述编码部分预先获取用于对所述拍摄的图像进行编码的所需信息，其中，所述预处理指示部分确定所述预处理图像以使得用于获得所述处理后的预处理图像所需的所述处理前的图像的尺寸减小。
全文摘要
本发明提供了一种图像处理设备、图像处理方法和成像设备。图像处理设备包括图像处理部分，被构造为对输入图像执行图像处理，使得在所述图像处理中，用于获得处理后的图像所需的处理前的图像的尺寸根据在所述输入图像中所述处理前的图像的位置而不同；编码部分，被构造为对从所述图像处理部分输出的处理后的图像进行编码；以及预处理指示部分，被构造为在所述输入图像的图像处理和编码之前，所述预处理指示部分指示所述图像处理部分对作为所述输入图像的一部分的预处理图像执行图像处理作为预处理，并且将处理后的预处理图像发送至所述编码部分，以从所述编码部分预先获取用于对所述输入图像进行编码的所需信息。
文档编号H04N9/64GK102611825SQ20121000657
公开日2012年7月25日 申请日期2012年1月11日 优先权日2011年1月18日
发明者尾崎浩治 申请人:索尼公司