专利名称：用于修改图像数据的方法、设备、软件和配置的制作方法
技术领域：
本发明涉及小型数码相机的图像数据的可编程修改。
背景技术：
用照相机拍摄的图像质量受到照相机和光学系统的特性的影响。数码相机的传感器具有特定的分辨率和特定的特性，这限定了拍摄图像的质量。在光学特征中，图像角度、缩放和焦距在小照相机中特别影响图像质量，这是由于小的设备尺寸而不能无限地改进照相机的特征。此外，光学系统总是引入失真。一些失真由光学装置补偿，比如通过安装反号的光学元件以校正由光学元件引起的失真。光学失真也可以通过在图像处理中考虑物体的诸如光分布的特性来补偿。通常，光学失真在数码相机中可编程地进行校正。图像质量也主要受到用户技术的影响，因为用户通常选择对图像质量有直接和间接影响的某些参数。此外，例如在拍摄图像的瞬间照相机的摇摆引起最终图像的模糊。
光学系统从来不能完全没有失真地制成。因此，一般的目标是实现可接受水平的图像质量。例如一些失真的校正造成设备的总重量或成本的过度增加，并且因此这是不明智的。一种可接受的图像质量取决于应用、对象和使用目的。例如，与诸如安装在移动电话中的照相机的用于通用目的的小照相机相比，专业使用的相机更需要不同等级的图像质量。通常，图像质量的校正是理想效果与设备的成本和尺寸这两方面之间的折衷。这样，如今最终图像能够再次进行可编程处理以实现理想效果。
发明内容
本发明的一个目的是提高小型数码相机的图像质量。本发明的另一个目的是使小型数码相机的特征多样化。本发明的一个目的是补偿照相机设备为拍摄设置的限制和边界条件。
这些目的的实现是通过在单个曝光时间期间从照相机传感器读出传感器数据和通过从在整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体，使得读出传感器数据和/或合成的数据实体在将数据实体被传送到图像处理部件之前得以分析。
本发明的特征在于在独立权利要求的特征部分提出的那些特征。本发明的其它实施例在从属权利要求中描述。
在按照本发明的实施例的方法中，为了在把传感器数据传送到图像处理部件之前对其进行处理，在单个曝光时间期间从照相机的传感器中读出传感器数据，并且从在整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体，从而读出的传感器数据和/或合成的数据实体在数据实体可被传送到图像处理部件之前得以分析。在本发明的实施例中，整个曝光时间由单个曝光时间组成并且对应于新式照相机的常规曝光时间。在本申请中，单个曝光时间用以表示在传感器数据读出之前传感器进行曝光的时间。在整个曝光时间期间读出的单独数据项目合成为代表最终图像的数据实体。
一种按照本发明的实施例的用于在将传感器数据传送到图像处理部件之前对其进行处理的设备，包括用于在单独的曝光时间期间读出照相机传感器的传感器数据的装置，用于分析读出的传感器数据的装置，用于从在整个曝光时间期间读出的传感器数据合成将代表最终图像的数据实体的装置，和用于分析数据实体的装置。
按照本发明的实施例的用于在将传感器数据传送到图像处理部件之前对其进行处理的软件部件，包括用于在整个曝光时间期间几次读出照相机传感器的传感器数据的可编程装置，用于分析读出的传感器数据的可编程装置，用于从在整个曝光时间期间读出的传感器数据合成将代表最终图像的数据实体的可编程装置，和用于分析数据实体的可编程装置。
按照本发明的一个实施例，在整个曝光时间期间通常对传感器数据进行几次读出，使得能够在整个曝光时间期间执行几次分析。按照一个实施例，在整个曝光时间期间检查曝光值。在检查曝光值的同时，将在整个曝光时间期间几次读出的传感器数据合成或累加成数据实体，并且分析该数据实体。如果需要，在不能基于现存数据确定最佳曝光值的情况下，在整个曝光时间之后仍能读出传感器数据。从而在曝光期间曝光值能够改变。能够逐个像素地调整曝光，或者能够对全部传感器区域确定一个并且是相同的曝光值。尽管按照现有技术在执行曝光之前测量曝光值，但是按照该实施例在单个曝光时间期间测量曝光值，整个曝光时间由单个曝光组成，并且基于在整个曝光时间期间测量的单个曝光值确定将使用的曝光值。按照本发明的实施例，实现了与按照现有技术确定曝光值相比的优势。如果在传感器曝光期间光量增加，按照预定的曝光值将要组成的照片变得曝光过度。按照本发明的一个实施例，在整个曝光时间期间检测到像素饱和的情况下，能够立即停止曝光。此外，按照本发明的一些实施例，有可能部分地曝光景物，从而对于较暗的区域会比较亮的区域确定更长的曝光时间。使用按照这些实施例的方法，实现更精确的曝光值，与在单个曝光瞬间期间发生的瞬间情况和条件直接成比例，整个曝光时间由单个曝光时间组成。
按照一个实施例，在曝光时间期间，在处理传感器数据的同时，考虑由运动传感器检测到的运动。按照现有技术，已经有可能仅仅机械地补偿稳定(静止)图像的运动。按照本发明的一个实施例，基于在单个曝光时间期间检测的运动，由运动传感器检测的引起最终图像中的模糊的照相机运动能够在整个曝光时间期间得以补偿。通常，点或像素向相反的方向偏移对应于运动传感器检测到的运动的量。已经偏移像素之后，数据合成到数据实体中，从而已经分析并校正了合成到数据实体中的数据。接下来，能够补偿最终图像中由运动引起的模糊，或者在用图像处理部件处理数据实体之前甚至已经完全消除了这种模糊。按照一个实施例，检测到的运动也影响将要确定的曝光值。在不能补偿运动的情况下，曝光时间能够被中断，在这种情况下运动不会在最终图像中引起不期望的模糊。
按照本发明的一个实施例，为了在整个曝光期间在各种距离上聚焦产生的图像，焦距，即焦点的距离在单个曝光时间期间是变化的。通常，焦距基于图像范围中出现的物体来确定，从而成像光学部件聚焦在每个物体的距离上。以这种方式，有可能与拍摄物体的距离无关地实现一种在一个范围内拍摄的所有物体的正确的聚焦表现。按照实施例，在整个曝光时间期间合成的数据实体，提供在近和远的距离都正确的图像，数据实体代表将要组成的最终图像。也就是说，近的和远的物体都正确地成像。在单个曝光时间期间聚焦的每个区域或物体作为将在整个曝光时间期间累加的数据实体的一部分来进行合成，最终图像由它们组成。从而，将被组成的最终图像的分辨率取决于存储器的量，也就是数据能够多么精确地存储，而不是按照现有技术的系统中的情况取决于传感器的分辨率。按照现有技术，光学部件聚焦在给定的距离，这能够正确并清晰地成像，同时其他距离会稍微不正确地成像。按照本发明的实施例，在整个曝光时间期间的焦距变化能够直接提供传统上例如通过组合可编程的若干完成后的(最终)图像获得的图像。
按照本发明的一个实施例，将要拍摄的图像范围在整个曝光时间期间能够改变。例如，传感器或整个照相机从原始位置有小的运动或位移导致将要拍摄的图像范围偏移。与在每个单独曝光时间期间只成像一个稳定的图像范围相比，当在整个曝光时间期间从若干相邻的、部分重叠的图像范围读出传感器数据时，从更大的范围并用更高的精确度获得信息。与稳定的图像范围相比，小的位移使得图像范围从特定的边界区域偏移或从超出原始图像范围的区域偏移。这样边界区域提供额外的信息。接下来，在整个曝光时间期间，从传感器读出的数据能够提供一个数据实体，由此数据实体建立的最终图像覆盖了与基于传感器尺寸可实现的图像范围相比较大的图像范围。此外，对图像的中央区域进行成像，并且每次读出的传感器数据被读出。从而中央区域提供更多的信息，并且最终图像变得更精确。组成最终图像的数据实体能够包括更多的涉及中央区域的信息，并且传感器分辨率不限制中央区域中的数据密度。按照本发明的实施例，最终图像的分辨率取决于存储器和它的容量，而不是如在传统的拍摄设备中那样取决于传感器的分辨率。
按照另一个实施例，将要拍摄的物体或景物及其环境能够进行存储，即通过移动照相机读出到传感器。视图就像它扫描的一样。这建立的与实际的相比数字上更小的焦距，加宽了视角。最终读出图像的尺寸(视角)取决于读出或扫描到传感器中的图像的尺寸。将要扫描的图像尺寸自然受到可用于数据合成和对合成的数据实体的存储和处理的存储器数量的限制。通常，曝光区域在照相机显示器上成像。用户可以通过摇摆照相机控制这样的角视图加宽，这导致在显示器上成像的甚至更大的图像范围。用户能够向还没有曝光的方向移动照相机，并且以这种方式将要拍摄的视图在期望的方向加宽。
本发明的实施例特别地可适用于非常小型的照相机设备。尽管照相机需要其外部尺寸尽可能地小并且从而物理上小型化，但是通常也限制了线路的数量。一些照相机设备安装有所谓的电子快门，这隐藏了来自光能动部分的负荷。但是，这些负荷是模拟形式的，因此从环境中收集噪声。如果照相机设备未装配机械快门，则传感器的读出速度受到输出总线的限制。通常，传感器输出通过一个串行总线连接到读出头，从而串行总线限制了传感器的读取速度。传感器的读取速度通常是500Mbit/秒的数量级。读取5百万像素每个像素10比特的传感器给出1/10秒的传感器读取速度。如果物体或照相机移动，该传感器读取速度显示为最终图像中很大的失真，因为这样顶部行像素与底部行像素相比在不同的等级，原因是物体已经移动了1/10秒的距离。按照本发明的实施例，传感器读取速度不受限于传输总线的速度，因为传感器提供有单独的存储器单元，这能够在单个曝光时间期间使用来存储读取的传感器数据，并将其合成为从整个曝光时间期间读出的传感器数据收集的数据实体。以这种方式，在单个曝光时间期间读出的每条传感器数据能够与数据传输速度无关地存储。按照本发明的一个实施例，以数字形式形成电子快门。
按照另一个实施例，在没有光的情况下成像一个黑色物体，从而例如在产生过程中，将黑色物体读出到存储器作为一个参考图像。在此之后从传感器读出像素数据时，将其合成到该存储器中作为一个数据实体，在单个曝光时间期间读出的每条像素数据与参考图像相比较。使用该参考图像，有可能在将像素数据合成到数据实体之前，检测静态噪声并从数据中进而也从最终图像中消除该噪声。
按照本发明的一个实施例的方法，在视频成像期间能够拍摄静止图像。视频图像通常由以已知的这类方法平滑并连续输出的数据组成。按照本发明的实施例，在整个曝光时间期间，代表静止图像的数据实体也存储在存储器中，在其中合成了数据实体。代表静止图像的这种数据实体能够例如在由传输总线的容量允许时被传送到图像处理部分。
本发明的有优势的实施例将在下文中通过参考附图更详细地进行论述，其中图1举例说明了按照本发明的一个实施例的方法，图2示出了按照本发明的一个实施例的分析方法，图3举例说明了按照本发明的一个实施例的设备，以及图4示出了按照本发明的一个实施例的用于在照相机设备外部组合数据实体以形成最终图像的方法。
具体实施例方式
下面将通过参考附图描述本发明的各种实施例，附图因此作为说明书的一部分。说明书提出了一些能够使用和利用本发明的示例性实施例。能够理解到，也能够利用其他实施例，并且在不脱离本发明的保护范围的情况下作出结构和功能上的修改。
图1示出了按照本发明的一个实施例的方法，该方法在整个曝光时间期间执行。整个曝光时间在步骤101开始。在该申请文本中，术语单个曝光时间用于指传感器像素曝光和拍摄的对象被存储在照相机传感器期间的时间。整个曝光时间由在它期间出现的单个曝光时间组成并对应于新式照相机常规曝光时间。因而，整个曝光时间是快门打开允许光进入传感器期间的时间。整个曝光时间越长，能够通过传感器的光越多，反之亦然。另一方面，曝光时间越短，拍摄物体移动并从而引起图像模糊的时间越短。整个曝光时间通常是1/25或1/30秒。按照本发明的一个实施例，确定曝光时间的曝光值能够基于在整个曝光时间期间收集的数据进行改变。在实施例中曝光时间不是恒定的，而是随着条件变化而变化的。曝光值用于确定曝光时间的长度，并且曝光时间通常与焦距成正比地确定。
在步骤102，在单个曝光时间期间，从照相机传感器读出传感器数据。传感器频繁地读出，例如以1/25000秒的频率读出。按照本发明的一个实施例，传感器数据以高频率读出，从而在传感器数据读出期间，整个曝光时间和单个曝光时间的频率比是1∶10、1∶100、1∶1000或1∶10000的数量级。这样，整个曝光时间能够包括数量级为10、100、1000或10000的单个曝光时间。传感器数据能够在单个曝光时间期间读出。
在步骤103中读出的传感器数据转换为数字形式。通常，数据在该步骤中也进行放大。在此之后，数据处于可进行处理的形式。按照本发明的一个实施例，在步骤104中对传感器数据进行分析之前，读出的传感器数据转换为数字形式。步骤104涉及对从传感器读出的和转换为数字形式的传感器数据的分析。对传感器数据的分析意味着例如在步骤105中把传感器数据合成为数据实体之前，对传感器数据补偿检测到的运动。数据实体由从照相机传感器读出并在整个曝光时间期间收集的传感器数据组成。按照一个实施例，在按照步骤104把数据合成为数据实体之前，转换后的数据能够进行处理。例如，数据能够与某种限制值或数据实体中已有的数据进行比较。基于这种比较，接着有可能选择连接数据的某些部分作为数据实体的一部分。例如，当改变焦距时，根据在单个曝光时间期间从传感器读出的数据来存储该焦距上精确成像的对象。在接下来的单独曝光时间之前改变焦距，从而精确成像不同的对象。这样最终数据包括按照图像范围中每个物体的距离的各种聚焦距离的聚焦信息。按照另一个实施例，在步骤106中对附加地或替换地产生并从传感器数据合成的数据实体进行分析。数据实体可以是一个由基于读出的每个传感器数据存储的数据组成的连续统一体，包括在整个曝光时间期间读出的所有数据。按照该实施例，对数据实体进行分析，并能够基于分析来修改数据实体。按照一个实施例，在一个整个曝光时间期间读出的传感器数据转换为数字形式并合成为一个数据实体，在此之后合成的数字数据实体在被传送到图像处理部件之前进行分析。例如，曝光时间通常通过检查数据实体来调整。
一旦数据已经进行了分析并有可能修改，或者数据的某些部分已经被选择为数据实体的一部分，将在步骤107中检查整个曝光时间是否已经完成或者整个曝光时间是否仍有剩余。在整个曝光时间仍然可用的情况下，在按照步骤102的一些随后的单个曝光时间期间，通过从照相机的传感器读出接下来的传感器数据继续进行。如果在步骤107检测到整个曝光时间结束，则进入到步骤108并结束执行。通常，在步骤108，已经产生一个数据实体，它包括按照本发明的实施例处理的数据以便组成某种类型图像。处理后的数据实体通常被传送到图像处理部件用于产生最终图像。数据实体能够附加或替换地存储在设备存储器中，它能够在以后恢复用于产生一幅图片。
图2示出了按照一个实施例的分析步骤，其中处理在单个曝光时间期间从照相机传感器读出的传感器数据和/或在整个曝光时间期间组成它的数据实体。图2的实施例示出了一些处理步骤，它们能够用按照本发明的实施例的设备执行。处理步骤可以以与这里示出的顺序不同的顺序执行，或者可以执行其中的一些或选择出的步骤。按照本发明的一个实施例，在单个曝光时间期间读出并处理传感器数据。读取的传感器数据存储在照相机的存储器单元中，用于产生代表最终图像的数据实体。存储的数据能够例如如图2中的实施例中所示的那样进行处理。在图2的实施例中，在步骤201，将像素数据合成到数据实体中。在图2的实施例中的步骤201中，检查产生的数据实体。在基于步骤202的检查，检查出的曝光值是最佳的情况下，能够进入随后的步骤。在步骤202中检测出曝光值不是最佳可能的情况下，曝光值在步骤203中按照某种预定的规则进行修改，从而实现最佳的曝光值。在步骤204中，仍然有可能检查为当前收集的数据实体分配的整个曝光时间是否已经结束。在步骤204中整个曝光时间已经结束的情况下，进入步骤215，其中产生的数据实体被传送到图像处理部件，用于组成最终图片。按照一个实施例，数据实体在步骤215中存储在设备存储器中，它能够在此后取回到图像处理部件用于组成一幅图像。在步骤204中整个曝光时间仍有剩余的情况下，能够进入随后的步骤205。按照一个实施例，有可能按照步骤202-203只检查曝光时间。按照本发明的一个实施例，通过检查曝光调整并基于进行的分析确定曝光值数据，在整个曝光时间期间分析数据实体。按照一个实施例，在全部传感器区域上统一地检查曝光调整。按照另一个实施例，曝光能够在单独像素的区域上按照特定像素地进行调整。按照一个实施例，能够以所谓的特定的块的方式，在某种选择的像素的区域上检查曝光。
在步骤205中，在单个曝光时间期间从照相机传感器读出传感器数据。在步骤206中，检查是否已经为位于将要拍摄的景物中的各种物体确定焦距。按照本发明的一个实施例，在整个曝光时间期间焦距和物体发生改变，从而实现对多种距离的焦点信息。通常，对于单个曝光时间的焦距或焦点距离这样进行选择，使得图像范围中的每个物体清晰地成像。也就是说，焦距对应于物体距离。通常不在没有物体的距离上作出聚焦，因为不需要从没有物体的距离的精确的图像实现精确的图像。相反，在没有物体的距离上的聚焦通常只花费设备的容量，而不产生任何重要的附加信息。在步骤206中，检查是否已经对位于在整个曝光时间期间要拍摄的景物的各种距离上的物体确定了焦距。在仍然没有对任意物体的任意距离进行检查的情况下，在步骤207中改变了焦距。通常，例如从最近的物体到最远的物体，焦距改变到下一个最近的物体。按照一个实施例，用特定步骤增加焦距，使得当在该距离的一个物体在将要拍摄的景物中被检测时，在该距离上作出聚焦。按照一个实施例，照相机光圈在整个曝光时间期间进行调整。在传感器上的光量能够通过光圈来进行调整。同时，光圈调整影响最终图像的景深。随后，也能够按照本发明的实施例通过调整光圈来精确地拍摄在各种距离上的物体。按照一个实施例，在最终图像中的每个对象的聚焦信息包括在将传送到图像处理部件的数据实体中，从而与物体距离无关地精确地拍摄每个物体。在步骤208中，检查整个曝光时间是否已经结束。在由单个曝光时间组成的整个曝光时间结束的情况下，进入步骤215，在其中产生的数据实体被传送到图像处理部件。按照一个实施例，对于读取的传感器数据只执行焦距检查和可能的改变，此后，在步骤208检查到相关的整个曝光时间还有剩余的情况下，按照步骤205传感器数据在此再一次被读出。在图2的实施例中，在步骤208中确定整个曝光时间还有剩余时进入步骤209。
在步骤209，检查在单个曝光时间期间，对于照相机或拍摄对象已经检测到了运动。运动传感器，它可用是一个物理传感器或例如一个运动估计器，能够按照本发明发送关于检测到的运动的信息给处理部件，或者处理部件能够例如以特定的时间间隔检测运动传感器是否检测到一个运动。总的来说，运动传感器例如通过发送一个信号到处理模块来表示一个检测到的运动。按照本发明的一个实施例，在运动传感器表示在单个曝光时间期间照相机/物体的运动的情况下，在该单个曝光时间期间从传感器读出的像素数据向与表示的运动相反的方向移动，用于从最终图像中消除由运动引起的模糊。在步骤209中已经检测到运动的情况下，进入步骤210，其中对像素数据进行偏移使得这种偏移补偿了在步骤209中检测到的运动。像素数据向相反的方向偏移对应于检测到的运动的量。该运动补偿后的像素合成到代表最终图像的数据实体中。按照一个实施例，能够补偿照相机或物体的不期望的运动，这些运动通常将在最终图像中引起模糊。按照一个实施例，能从最终图像中完全消除由照相机运动引起的模糊。在步骤211检查整个曝光时间是否有任何剩余。在整个曝光时间完成的情况下，进入步骤215，其中产生的数据实体被传送到图像处理部件。按照一个实施例，该数据实体还能够进行处理，例如，能够在按照步骤215把数据实体传送到图像处理部件之前，在某种预定的范围上选择特定的存储数据作为数据实体的一部分。在步骤211中整个曝光时间仍有剩余的情况下，进入下列步骤。取决于实施例，下列步骤可用是根据步骤214移动到步骤201，在其中将分析后的数据合成为数据实体，或者可以是如图2所示出地，根据步骤212进行曝光位置的偏移。
在步骤212中，传感器上成像的景物的位置，即将曝光的景物被位移。实际上，该位移能够例如通过改变焦距来实现，这也使得视角相应变宽或变窄。按照一个实施例，与焦距的检查同时进行曝光景物变化的检查，因为这些变化是互相依赖的并且能够从而同时进行修改。按照本发明的一个实施例，在单个曝光时间期间，在传感器、光学系统或拍摄设备中产生一个小位移，从而在整个曝光时间期间对比对应于传感器尺寸的图像范围较大的图像范围进行曝光。按照实施例的位移和由它们在景物中引起的偏差非常小，其幅度范围通常是微米级的。传感器的像素尺寸通常是2-10微米的量级或者甚至小于2微米。通过改变焦点长度在大很多的图像范围上获得额外的信息。按照一个实施例，成像物体在传感器区域上移动，从而在整个曝光时间期间传感器就像扫描图像物体一样。这样用一个小传感器也能够读出一个大物体。按照本发明的实施例，从整个曝光时间期间读取的传感器数据合成的数据实体包括关于对各种位移位置公共的中央区域的更多的细节信息和对每个位移位置特定的边界区域上的附加信息。按照一个实施例，将要拍摄的景物的中央区域是互相稍稍偏离的每个视角的公共区域。按照实施例，与传感器只在稳定景物上读出的情况相比将从中央区域接收到更大量的和更精确的许多数据。从而，景物的中央区域能够被非常精确地拍摄，因为按照实施例，与能够按照由传感器分辨率设置的边界条件接收到的数据相比，中央区域提供更多的数据。按照本发明的一个实施例，从与传感器中心区域相关的，对整个曝光时间期间读出的传感器数据公共的信息合成数据实体，用于形成分辨率比传感器分辨率更高的图像。位移的方向，即将要拍摄的景物的偏移的方向确定与前一个景物相比哪个边界区域或哪些边界区域保持被覆盖和按顺序哪个看起来是新出现的。当改变焦距时，边界区域通常在所有方向上外围扩展或缩小到相同的程度。因此来自新出现的边界区域的数据先前还没被接收到传感器。以这种方式，除了先前的数据，全部新数据也能够从传感器读出，并且新数据能够附属于在整个曝光时间内产生的数据实体。从而，拍摄的景物的尺寸不受传感器尺寸的限制，但是有可能拍摄与由传感器尺寸限定的景物相比更宽的景物。按照本发明的一个实施例，在整个曝光时间期间读出的单个传感器数据被合成为一个数据实体，用于形成一幅图像，它包括与传感器的常规图像范围相比更宽的图像范围。
在步骤213中，再次检查整个曝光时间是否已经结束。如果在步骤213中整个曝光时间还有剩余，按照步骤214进入步骤201，其中数据合成为数据实体。如果整个曝光时间在步骤213结束，产生的数据实体在步骤215中被传送到图像处理部件。按照一个实施例，数据实体能够从存储的数据收集或者能够在按照步骤215把数据实体传送到图像处理部件之前再次修改该数据。图2的实施例中示出的分析步骤能够以不同的顺序执行，或者能够按照应用排除其中的一个或一些步骤。按照一个实施例，除了在图2的实施例中示出的通过偏移点或像素的运动补偿之外，在步骤209由运动传感器检测到的运动还引起检查曝光值和曝光值中可能的变化。
按照一个实施例的示例性设备包括如图3所示的一个光学系统301、一个数据处理模块302、和一个图像处理部件。光学系统301包括光学部件，即镜头系统。光学系统301也可以包括一个用于开始成像处理的激励器。数据处理模块302通常包括一个曝光块3021，在其中确定曝光值。曝光值受到曝光时间和镜头系统变暗调整，即打开的大小的影响。通常，曝光值在曝光块3021中自动确定。在一些最先进的设备中，影响曝光值的参数也能够人为调整。数据处理模块302通常也包括一个自动聚焦模块3022，其中自动确定作出聚焦的焦距。按照现有技术，数据从数据处理模块302发送到图像处理部件303用于产生一个数字图像文件。图像文件能够在设备的显示器单元上显示并例如存储在存储器卡中，或者在设备的类似的存储器单元304中。按照本发明的一些实施例，在把传感器数据传送到图像处理部件303之前处理从传感器306读出的传感器数据。按照本发明的一些实施例的模块在图3中表示在用虚线限定的区域中。
在按照本发明的实施例的设备中，在把从传感器读出的数据传送到图像处理部件303之前，对数据进行处理。按照本发明的一个实施例的设备，用于在把传感器数据发送到图像传感部件303之前对其进行处理，该设备包括用于在一个整个曝光时间期间至少两次或更多次读出照相机传感器306的传感器数据的装置、用于分析读出的传感器数据的装置309、用于从整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体的装置308、和用于分析数据实体的装置312。
在曝光模块3021中确定的曝光时间通常是例如1/25秒的数量级。传感器306在特定的整个曝光时间期间读出若干次，例如每秒25000次。按照一些实施例，按照本发明的设备包括用于在一个整个曝光时间期间以10、100、1000或10000次的数量级读出传感器数据的装置。通常单个曝光时间的数量等于传感器读取次数的数量，在单个曝光时间期间传感器进行曝光并且它组成整个曝光时间。从而整个曝光时间和单个曝光时间之间的比能够是1∶10、1∶100、1∶1000或1∶10000的数量级。
按照一个实施例的设备包括用于把读出的传感器数据转换为数字形式的装置307。数字形式的数据接着能够进行处理、修改和存储。在合成模块308中，从转换后的数字数据合成代表将要组成的最终图像的数据实体。按照一个实施例拍摄设备包括用于对从传感器数据产生的数字数据实体进行分析的装置312。产生的数字数据实体在其被传送到图像处理部件303之前能够进行分析和修改。例如，能够调整曝光值或焦距。
按照本发明的一个实施例的拍摄设备包括一个用于指示照相机运动的运动传感器305和用于将从传感器读出的像素数据向与指示的照相机运动相反的方向偏移来消除在将要组成的最终图像中由数据实体的运动引起的模糊的装置311。像素偏移模块311确定图像的像素或点如何偏移、偏移多少和在什么条件下偏移。通常，在运动传感器305指示一个照相机运动的情况下，像素通过像素偏移模块311进行偏移来补偿图像中不期望的模糊。运动传感器305能够以给定的时间间隔读出，或者运动传感器305能够在检测到运动时传递关于照相机运动的信息。运动传感器除了是一个物理传感器之外，也能够例如是一个运动估计器，它通过把从传感器读出的单个像素数据与先前合成的数据实体相比较来检测整体运动。关于照相机运动的信息发送到一个IF控制器，它通常是一个串行IF端口309。在IF控制器309接收关于照相机运动的信息的情况下，它能够传递运动信息给像素偏移模块311，其中像素按照某种特定的指令来偏移。通常，照相机运动这样补偿，从而像素数据或点数据向与运动相反的方向偏移到与运动相对应的程度。照相机或拍摄物体的运动在最终图像上的影响能够用按照本发明的一个实施例的设备完全消除。通常，在最终图像中至少显著的模糊能够得以补偿，并且能够获得所谓的足够好的图像。经运动补偿的、校正后的像素数据合成到数据实体中。
串行IF控制器309也接收在曝光模块3021中确定的关于曝光值的信息。IF控制器309把曝光值传递到计时模块310，在其中能够分析和修改特定的曝光值和与其相关的参数。由运动传感器305检测的运动也能够影响曝光值的修改。按照本发明的一个实施例的拍摄设备包括用于检查传感器数据的曝光调整和用于基于在整个曝光阶段期间的检查确定曝光时间的装置310。按照一个实施例，拍摄设备包括用于传感器-特定地检查在整个传感器区域上的曝光调整的装置310。按照另一个实施例，拍摄设备包括用于像素-特定地在单个像素的区域上检查曝光调整的装置310。按照第三个实施例，拍摄设备包括用于检查在特定像素的区域上，每次一个包含特定像素的块，的曝光调整的装置310。新的特定曝光值通过IF控制器312传递到数据处理模块302的曝光模块3021，其中使用新的曝光值。按照一个实施例，也能够类似地对于焦距确定一个新的值，在此情况下将新焦距值，作为新的曝光值的替换或补充，发送到数据处理模块302，并且使用新的值。
按照本发明的一个实施例的设备包括用于在整个曝光时间期间改变焦距和物体用于产生对于各种距离的焦点信息的装置。按照一个实施例，串行IF控制器312传递关于焦距的信息到数据处理模块302的自动聚焦模块3022。按照本发明的一个实施例接收的新的焦距信息在数据处理模块302中使用，该信息在随后的单个曝光时间期间使用。按照一个实施例，在其有效期间，随后的传感器数据在随后的单个曝光时间期间按照新接收的焦距值读出。以这种方式，有可能获得在各种距离上聚焦的图像。按照另一个实施例，在整个曝光时间期间在各种距离上的物体能够通过调整光圈来精确地拍摄。一种按照一个实施例的设备包括用于在将要传送到图像处理部件的数据实体中包括最终图像中每个物体的聚焦信息的装置，以便与距离无关地精确拍摄每个物体。这样有可能实现与它们的距离无关的精确拍摄位于各种距离上的所有物体。关于聚焦在各种距离上的所有物体或区域的信息在合成模块308中合成到数据实体中，它代表在整个曝光时间内曝光的最终图像。
按照一个实施例的设备包括用于扫描每次曝光的图像范围和用于借助于照相机外部的图像处理部件产生能够用于组成完整的最终图像的数据实体的装置。该实施例使得用户能够扫描与在拍摄期间通过移动照相机的照相机的图像范围相比更广阔的图像范围。
按照本发明的一个实施例的设备，包括用于在单个曝光时间期间产生传感器中或拍摄设备中的最小位移的装置，以便在整个曝光时间期间曝光与对应于传感器尺寸的图像范围相比更宽的图像范围。通常传感器或拍摄设备从其原始位置位移。该位移通常是微米数量级，它小于传感器的点尺寸。这允许在整个曝光时间期间从传感器中读出若干相邻帧。所有读取的帧的信息能够在合成模块308中合成为数据实体，它代表在整个曝光时间期间组成的最终图像。按照一个实施例的一种设备包括用于把整个曝光时间期间读出的传感器数据合成为数据实体的装置308，以便组成包括比传感器的常规图像范围更宽的图像范围的图像。按照另一个实施例的设备包括用于把与传感器中央区域相关的对在整个曝光时间期间读出的传感器数据是公共的信息合成到数据实体中的装置308，用于组成分辨率比传感器分辨率更高的图像。因此，按照该实施例的配置提供关于图像的中央部分的详细的附加信息和/或关于图像边缘部分的额外的附加信息。按照一个实施例，合成模块308在存储器单元313中存储数据并处理存储在存储器单元313中的数据。照相机的存储器单元313通常是一个随机存取存储器(read-alter memory)，并且它通过存储器控制器312进行处理。
按照本发明的实施例的装置通常至少部分是可编程装置。按照一个实施例，照相机传感器装配有用于扩展存储器的物理外部存储器单元和物理像素偏移及像素数据合成装置，它能够例如用硅嵌入逻辑实现。按照本发明的一个实施例的用于在把传感器数据传送到图像处理部件之前对其进行处理的软件部件包括用于在整个曝光时间期间至少两次或更多次地读出照相机的传感器数据的可编程装置、用于分析读出的传感器数据的可编程装置、和用于从整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体的可编程装置。按照一个实施例的串行IF控制器包括用于以特定方式分析和处理数据的装置。按照一个实施例的计时模块包括用于基于特定条件确定曝光量或诸如曝光时间或开口尺寸的影响它的参数的装置。按照一个实施例的像素偏移模块包括用于在某种预定条件下以一个特定程度向一个特定方向偏移点或像素，即通常是从传感器读出的像素数据，的可编程装置。一个可编程装置通常是用于在某种预定条件下执行某种动作的一个可执行软件、计算机语言代码或指令集。通常，用于执行按照本发明的实施例的方法的装置至少一部分是可编程装置。
图4示出了一个实施例，其中按照本发明的实施例用户能够建立数据实体，在照相机设备外部将数据实体合成到一个连续图像中。这样，照相机设备的存储器不限制最终图像的尺寸。按照本发明的实施例在整个曝光时间期间在步骤401产生一个数据实体。数据实体例如可以是经运动补偿的，或者它可以包括针对位于不同距离的将要拍摄的景物中的物体的聚焦信息。按照一个实施例，以这种方式产生的数据实体包括数据实体是较大、较宽的所谓全景图像的一部分的指示，例如它由若干等同的数据实体组成。在步骤402数据实体被传送到图像处理存储器。在图像处理存储器中累加的图像实体实时显示以允许用户控制该累加。图像处理存储器通常是一个照相机设备外部的存储器单元。这样实时显示累加的数据实体的显示器单元通常也是一个照相机设备外部的显示器。按照一个实施例，照相机设备的显示器单元将累加的数据实体显示为草图，草图不包括包含在数据实体中的所有数据，但是仍是可识别的。使用有合理保留的数据量，草图能够在照相机设备的显示器上实时地示出。按照一个实施例，图像处理存储器是一个用于存储数据实体的特定存储器单元。图像处理存储器通常也包括一个处理模块，借助于该处理模块，合成图像处理存储器中的数据实体，用于组成最终图像。
在步骤403中，最终图像由多个数据实体组成。在步骤403中，按照一个实施例，有可能检查数据实体的公共特征以便找出重叠或相邻的数据实体。步骤403在该实施例中在照相机设备外部执行，使得照相机设备的存储器量不限制其完成。图4中所示的实施例使得用户能够逐个部分地拍摄一个期望的物体或景物。用户就好像每次扫描整个视图的一部分。在物体或景物的一部分被拍摄并且产生其数据实体之后，数据实体被传送到外部存储器单元，用户偏移照相机，从而物体或景物的下一部分能够曝光以便产生一个数据实体。按照一个实施例，数据实体包括将由若干数据实体组成的图像的一部分的指示。按照另一个实施例，基于某种规则外部处理单元知道如何从特定数据实体合成最终图像。例如，最终图像能够由以特定的时间间隔一个接一个产生的数据实体组成。当产生或存储两个数据实体之间的时间间隔超过特定的限制值时，数据实体不再就像属于同一最终图像的那样进行计数。
权利要求
1.一种用于在将传感器数据传送到图像处理部件(303)之前对其进行处理的方法，其特征在于在单个曝光时间(101，106)期间从照相机传感器(306)中读出传感器数据(102)以及从在整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体(105)，使得读取的传感器数据(102)和/或合成的数据实体(105)在数据实体(104)可被传送到该图像处理部件(303)之前得以分析(104，106)。
2.按照权利要求1所述的方法，其特征在于在整个曝光时间期间(101，107)以至少两次或更多次的高频率读出(102)该传感器数据。
3.按照权利要求1所述的方法，其特征在于该传感器数据以高频率读出(102)，使得该整个曝光时间(101，107)的频率和单个曝光时间的频率之比是1∶10、1∶100、1∶1000或1∶10000的数量级，在曝光时间期间读取该传感器数据。
4.按照权利要求1-3所述的方法，其特征在于在该整个曝光时间(101，107)期间读出的该传感器数据被转换为数字形式(103)，并且被合成到一个数据实体(105)中，其后该合成的数字数据实体在被传送到该图像处理部件(303)之前得以分析(106)。
5.按照权利要求1-4所述的方法，其特征在于在该整个曝光时间(101，107)期间分析(106)该数据实体，从而检查(201，202)曝光调整并且基于执行的分析确定曝光时间(202，203)。
6.按照权利要求5所述的方法，其特征在于在全部传感器区域上、在单个像素区域上或在特定像素区域上检查(201)曝光调整。
7.按照权利要求1-3所述的方法，其特征在于该读取的传感器数据被转换为数字形式(103)并且该数字传感器数据在该传感器数据被合成到该数据实体中之前得以分析(104)。
8.按照权利要求1-3或7所述的方法，其特征在于在该整个曝光时间(101，107)期间，在运动传感器(305)指示一个照相机运动(209)的情况下，该数字数据实体向与该指示的照相机运动相反的方向偏移(210)，以便在将要由该数据实体组成的该最终图像中消除由运动引起的模糊。
9.按照权利要求1-3所述的方法，其特征在于在该整个曝光时间(101，107)期间聚焦的距离和物体是变化的(207)，从而对各种距离获得聚焦信息。
10.按照权利要求9所述的方法，其特征在于包含在该最终图像中的物体的聚焦信息包括在将要传送到该图像处理部件(303)的数据实体中，由此每个物体得以精确地成像，而与该物体距离无关。
11.按照权利要求1-3所述的方法，其特征在于在该整个曝光时间(101，107)期间在该传感器(306)或该拍摄设备中引起位移，使得在该整个曝光时间期间，与对应于该传感器(306)尺寸的图像范围相比曝光较大的图像范围。
12.按照权利要求11所述的方法，其特征在于该读取的传感器数据包括关于对各种位移位置公共的中央区域的更多的细节信息和关于对每个位移位置特定的边界区域的附加信息。
13.按照权利要求11-12所述的方法，其特征在于在该整个曝光时间间读出的该传感器数据被合成到数据实体中，以便组成一幅图像，该图像包括比该传感器的常规成像范围较广阔的图像范围。
14.按照权利要求11-12所述的方法，其特征在于从关于传感器中央区域的、对于该整个曝光时间期间读出的该传感器数据公共的信息合成该数据实体，以便组成分辨率高于该传感器的分辨率的图像。
15.按照权利要求1所述的方法，其特征在于在该整个曝光时间期间产生的该数据实体被传送到外部存储器，在其中通过将该数据实体合成到一个完整图像中，该最终图像由至少两个或更多的数据实体组成。
16.一种用于在将传感器数据传送到图像处理部件(303)之前对其进行处理的设备，其特征在于它包括用于在单个曝光时间(101，107)期间读出照相机传感器(306)的该传感器数据的装置、用于分析读取的传感器数据的装置(309)、用于从在整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体的装置(308)、以及用于分析该数据实体的装置(312)。
17.按照权利要求15所述的设备，其特征在于它包括用于在该整个曝光时间(101，107)期间以至少两次或更多次的高频率读出该传感器数据(102)的装置。
18.按照权利要求15所述的设备，其特征在于它包括用于在整个曝光时间期间(101，107)以10、100、1000或10000次的数量级读出该传感器数据(102)的装置。
19.按照权利要求15所述的设备，其特征在于它包括用于将该读出的传感器数据转换为数字形式的装置(307)，用于分析该数字传感器数据的装置(309)并且将该分析的数字传感器数据合成到该数据实体的装置。
20.按照权利要求15或18所述的设备，其特征在于它包括一个用于指示照相机运动的运动传感器(305)和用于将数字数据实体向与该指示的照相机运动相反的方向偏移的装置(311)，以便从将要由该数据实体组成的最终图像中消除由运动引起的模糊。
21.按照权利要求15所述的设备，其特征在于它包括用于分析从该传感器数据(312)产生的该数字数据实体的装置。
22.按照权利要求15或20所述的设备，其特征在于它包括用于检查该传感器数据的曝光调整的装置(309，312)和用于通过在该整个曝光时间期间分析该数据实体来确定曝光值的装置(310)。
23.按照权利要求21所述的设备，其特征在于它包括用于在全部传感器区域上、在单个像素区域上或在特定像素的区域上检查曝光调整的装置(309)。
24.按照权利要求15所述的设备，其特征在于它包括用于在曝光阶段期间改变聚焦的距离和物体以便建立各种距离的聚焦信息的装置(312)。
25.按照权利要求23所述的设备，其特征在于它包括用于在将要发送到该图像处理部件的该数据实体中包括包含在该最终图像中的每个物体的聚焦信息的装置(308)，以便与距离无关地精确地拍摄每个物体。
26.按照权利要求15所述的设备，其特征在于它包括用于在该整个曝光时间期间引起该传感器(306)中或该拍摄设备中的摇摆的装置，以便在该整个曝光时间期间曝光与对应于该传感器尺寸的图像范围相比较大的图像范围。
27.按照权利要求25所述的设备，其特征在于它包括用于将在该整个曝光时间期间读出的该传感器数据合成到数据实体中以组成一幅图像的装置(308)，该图像包括比该传感器的常规图像范围较广阔的图像范围。
28.按照权利要求25-26所述的设备，其特征在于它包括用于将关于该传感器中央区域的、对该整个曝光时间期间读出的该传感器数据公共的信息合成到数据实体中的装置(308)，以便组成一幅其分辨率比该传感器的分辨率较高的图像。
29.按照权利要求15-27所述的设备，其特征在于所述装置的至少一部分是可编程装置。
30.一种用于在将传感器数据传送到图像处理部件(303)之前对其进行处理的软件，其特征在于它包括用于执行按照权利要求1-13所述的方法的可编程装置。
31.一种用于在将传感器数据传送到图像处理部件(303)之前对其进行处理的软件部件，其特征在于它包括用于在一个整个曝光时间(101，107)期间至少两次或更多次地读出照相机传感器(306)的传感器数据的可编程装置、用于分析在单个曝光时间期间读出的传感器数据的可编程装置(309)、用于从在该整个曝光时间期间读出的传感器数据合成代表最终图像的数据实体的可编程装置(308)、以及用于分析该数据实体的可编程装置(312)。
全文摘要
本发明涉及一种小型数码相机的图像数据的可编程修改。在按照本发明的实施例的方法中，传感器数据在被传送到图像处理部件(303)之前进行处理。传感器数据在一个整个曝光时间(101，107)期间几次从照相机传感器(306)读出并且从在单个曝光时间期间读出的传感器数据合成代表最终图像的数据实体(308)。传感器数据和/或数据实体在数据实体可被传送到图像处理部件(303)之前进行分析(309，312)。
文档编号H04N5/335GK101088284SQ200580044794
公开日2007年12月12日 申请日期2005年11月14日 优先权日2004年11月18日
发明者P·阿奥南 申请人:诺基亚公司