控制高动态范围自动曝光控制成像中的信噪比的制作方法

本申请涉及多重曝光成像，并且特别涉及多重曝光自动曝光控制(aec)成像。

背景技术：

在多重曝光自动曝光控制(aec)成像中，相似影调之间经常发生突然的信噪比(snr)转换。在视觉上可能明显可见的信噪比转换，可能会降低图像质量并且在图像中引入不期望的伪影。该信噪比转换是由合并具有不同snr型(snrprofile)的多重曝光图像所导致的。

技术实现要素：

在实施例中，一种装置包括：输入端，该输入端在操作中接收图像数据；以及数字图像处理电路。该数字图像处理电路在操作中：基于该图像数据来确定阴影阈值；针对具有相应的多个曝光时间的多次曝光的每次合并转换(mergetransition)，基于用于该合并转换的阈值信噪比(snr)来确定相应的阈值积分比值；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值和曝光时间来生成输出图像。在实施例中，生成该输出图像包括：基于用于每次合并转换的该确定的积分比值，合并该多次曝光。在实施例中，该数字图像处理电路基于用于该多次合并转换的该积分比值来调整多次后续曝光的曝光时间。在实施例中，生成该输出图像包括：将命令发送到传感器，以捕获具有该调整的曝光时间的该多次后续曝光；在该输入端处接收具有该调整的曝光时间的该多次后续曝光；及以通过合并具有该调整的曝光时间的该多次后续曝光来生成该输出图像。在实施例中，该多个曝光时间彼此之间不同。在实施例中，确定用于该合并转换的该积分比值包括：识别具有最短曝光时间的第一次曝光的饱和点和该阴影阈值之间的第一比值；将该第一比值划分为用于每次合并转换的相应的积分比值；以及基于用于合并转换的该阈值积分比值来调整该积分比值。在实施例中，该第一次曝光的该饱和点是该第一次曝光的最大像素级(pixellevel)。在实施例中，将该第一比值划分包括：将该第一比值的一部分设置为用于该多次曝光的该第一次曝光和第二次曝光之间的第一次合并转换的第一积分比值，并且将该第一比值的剩余部分设置为用于该第二次曝光的第二积分比值。在实施例中，确定用于每次合并转换的该阈值积分比值包括：基于用来捕获该多次曝光的传感器的snr模型来确定该阈值积分比值。在实施例中，合并该多次曝光包括：使用该多次曝光的第一次曝光来提供场景的上层中间影调区域的像素，使用该多次曝光的一次或多次其他曝光来提供该场景的下层中间影调区域的像素，并且使用该多次曝光的另一次曝光来提供该场景的阴影区域的像素。

在实施例中，一种系统包括：传感器，该传感器在操作中捕获场景的图像并且输出代表该场景的图像数据；以及具有数字图像处理电路的控制器，该数字图像处理电路在操作中：接收该图像数据；基于该图像数据来确定阴影阈值；针对具有相应的多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的所期望的最小阈值信噪比(snr)来确定相应的阈值积分；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值来生成输出图像。

在实施例中，一种方法包括：接收图像数据；基于该图像数据来确定阴影阈值；针对具有相应多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的阈值信噪比(snr)来确定相应的阈值积分比值；基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值；以及基于用于每次合并转换的该确定的积分比值来生成输出图像。

在实施例中，一种装置，包括：用于接收图像数据的部件；用于基于该图像数据来确定阴影阈值的部件；用于针对具有相应多个曝光时间的多次曝光的每次合并转换，基于用于该合并转换的阈值信噪比(snr)来确定相应的阈值积分比值的部件；用于基于该阴影阈值和该阈值积分比值来确定用于每次合并转换的积分比值的部件；以及用于基于用于每次合并转换的该确定的积分比值来生成输出图像的部件。

附图说明

图1示出了传感器的信噪比曲线。

图2示出了在高动态范围成像中进行合并的示例。

图3示出了在高动态范围成像中传感器的信噪比曲线的示例。

图4示出了自动曝光控制成像设备的框图。

图5示出了在高动态范围成像中控制信噪比的方法。

图6示出了在高动态范围成像中传感器的信噪比曲线的示例。

图7示出了根据至少一个实施例将具有最短曝光时间的曝光的饱和点和具有最长曝光时间的曝光的饱和点之间的比值分割为两个积分比值的示例。

图8示出了根据至少一个实施例的积分比值调整的示例。

图9示出了根据至少一个实施例的积分比值调整的示例。

图10示出了基于多次曝光来生成输出图像的方法的流程图。

图11示出了用于生成输出图像的方法的流程图。

具体实施方式

图1示出了传感器的信噪比(snr)曲线102。该snr曲线102特定于传感器，并且特定于模拟增益和数字增益。该snr曲线102将由传感器捕获的图像中的像素的snr作为像素强度的函数示出。一般而言，用于像素的snr随着像素强度的增加而增加。也就是说，与较暗的像素相比，更亮的图像像素与更高的snr相关联。相对于噪声的贡献，由传感器捕获的场景对像素的贡献会随着像素亮度的增加而增加。因此，对于图1示出其snr曲线102的示例性传感器，几乎与所有传感器一样，相对于在更亮的区域中，在较暗区域中关于信号功率引入了更多的噪声功率。

该snr曲线102适用于针对给定曝光时间由给定传感器捕获的图像。不同的snr曲线可能适用于传感器的不同曝光时间。曝光时间是像素聚集场景光的时间长度。众所周知，一般而言，曝光时间越长，结果捕获的像素就越亮。如果曝光时间短，与本来用更长曝光时间可能捕获的相比，获得图像较暗。然而，长时间曝光通常会导致在图像中引入运动伪影(诸如模糊或“重影(ghost)”)。例如，如果场景中的对象移动，由于长时间曝光，将会在捕获的图像中跟踪到该移动。

高动态范围成像尝试通过合并多次曝光来产生图像，其中该多次曝光中的每一次均和相应的多个曝光时间相关联。相应的多次曝光的多个曝光时间可能会彼此不同。

图2示出了在高动态范围成像中进行合并的示例。在该示例中，场景的图像112包括多次曝光114、116、118。第一次曝光114具有相对较短的第一曝光时间。第二次曝光116具有比第一曝光时间更长的第二曝光时间。第三次曝光118具有比第二曝光时间更长的第三曝光时间。

第一次曝光114可以用来捕获相对照明良好并且明亮的场景的区域。因为这些区域较明亮，可以使用较短的曝光时间。该较短的曝光时间最大限度地减少了第一次曝光中的运动伪影。第二次曝光116可以用来捕获不如第一次曝光的区域的照明良好和明亮的场景区域。例如，使用第二次曝光116可以捕获灰色区域和部分阴影区域。另一方面，第三次曝光118可以捕捉场景的阴影。

如图2所示，使用具有最长曝光时间的第三次曝光118来捕获车库内部。使用具有中等曝光时间的第二次曝光116来捕获场景中数的树的阴影。使用具有最短曝光时间的第一次曝光114来捕获不在阴影中的明亮的场景部分。

应注意的是，虽然参照图2对三次曝光进行了描述，但是，可以使用任意次数的曝光(诸如二次曝光或四次曝光)进行高动态范围成像。此外，本文所述技术适用于任意次数的曝光。

图3示出了在高动态范围成像中传感器的信噪比(snr)曲线122的示例。该snr曲线122包括三个线段124、126、128。该三个线段124、126、128分别与多次曝光相关联。与第一次曝光相关联的第一个线段124在图3示出，以从19档(stop)向22档延伸。档是应用于像素强度的以2为底的对数的结果。例如，像素范围可以是2⁰到2²²，其中，2²²被认为是传感器的饱和点。该饱和点是能够被传感器捕获的图像数据的最大点。该饱和点还可以是由传感器捕获的最亮像素级。

强度介于19档和22档之间的像素可以由第一次曝光提供，并且如snr曲线122所提供的，可以具有介于32分贝和39分贝(db)之间的相关联的snr。第二次曝光用于强度介于15.5档和19档之间的像素。因为第二次曝光的曝光时间比第一次曝光的时间长，所以，可以为针对比第一次曝光的像素更暗的像素，使用第二次曝光。具有最长曝光时间的第三次曝光用于介于1档和15.5档之间的像素。如图3所示，针对图像阴影中的像素，snr降低。

图4示出了自动曝光控制成像设备400的框图。该成像设备400包括控制器402、传感器404和内存406。该控制器402可以是任何类型的控制器(诸如微控制器，或者处理器)，并且在操作上耦合到传感器404，该传感器404可以是光学传感器，诸如照相机。该控制器402包括被配置成进行本文所述的成像处理和snr控制的电路。该控制器402指示传感器404捕获场景(例如，传感器404指向的场景)的图像(曝光)。该控制器402可以通过将命令发送到传感器404来指示传感器404捕获曝光。该控制器402可以在命令中指定要在捕获曝光时使用的曝光时间。该曝光时间可以是传感器404快门保持打开用于待采集的曝光的时间的时间长度。一般而言，曝光时间与捕获的曝光的亮度成正比。

传感器404根据曝光时间来捕获曝光，并将该曝光发送到控制器402进行处理。控制器402在其输入端处接收该曝光。控制器402可以指示传感器404捕获如本文所述多次曝光。该多次曝光的每一次都可以和不同的曝光时间相关联。控制器402处理从如本文所述的传感器404接收的曝光。控制器402被耦合到内存406，并且控制器402可以使得曝光被存储在内存406中。此外，内存406还可以存储用于传感器404的snr模型(或曲线)，命令的曝光时间等。控制器402可以访问存储在内存406中的snr模型，并且可以使用该snr模型来控制多次曝光图像的snr。内存406可以存储可执行指令，其中，当控制器402执行该可执行指令时，该可执行指令会使控制器402控制多次曝光图像处理中的曝光时间和/或snr，并且一般执行如本文所述的图像处理。

图5示出了在高动态范围成像中控制信噪比(snr)的方法500。在方法500中，在502中，成像设备的控制器(诸如参照图4中编号402所描述的控制器)获得场景的多次曝光。多次曝光分别与多个曝光时间相关联。多次曝光的第一次曝光具有最短的曝光时间，并且多次曝光的最后一次曝光具有最长的曝光时间。为了便于描述，本文所述的多次曝光包括三次曝光。然而，应注意到，可以使用任何其他次数的曝光。

在504中，控制器为每次曝光(例如，上层中间影调(第一次曝光)、下层中间影调(第二次曝光)和阴影(第三次曝光)504)设置所期望的最小snr。所期望的最小snr可以由用户指定。用于上层中间影调的所期望的最小snr可能是所期望的最小snr中的最高者。相反，用于阴影的所期望的最小snr可能是所期望的最小snr中的最小者。如图6所示，例如，用于阴影(线602)的所期望的最小snr被设置成20db，用于下层中间影调(线604)的所期望的最小snr被设置成25db，并且用于上层中间影调(线606)的所期望的最小snr被设置成30db。

相对较低的所期望的最小snr可能带来较少的运动伪影(诸如模糊和“重影”)和噪声较大的图像，而相对较高的所期望的最小snr可能会带来较多的运动伪影和噪声较小的图像。可以使用用于传感器的噪声模型(可以在传感器的固件中访问)针对在传感器处接收的给定的光量准确地预测snr。根据光的亮度，可以将其分类为“阴影”，“中间影调”或“强光部分(highlights)”。

在506中，控制器获得第一次曝光的饱和点和来自图像统计的阴影阈值之间的第一比值。如本文所述，第一次曝光具有多个曝光时间中的最短曝光时间。第一次曝光的饱和点可以是第一次曝光的最大分辨率(诸如，如果传感器分辨率为22位，则为2²²)。可以灵活地定义阴影阈值，由此，可以将曝光的像素的百分比视为阴影。例如，可以将曝光的4％的像素视为在阴影中。为了确定阴影阈值，可以捕获一个或多个测试曝光，并且可以获得该测试曝光的直方图。可以将阴影阈值设置为例如4％，并且可以将该阴影阈值视为测试曝光或一组曝光的底部4％的像素级的所有像素。

如图6所示，线608表示第一次曝光的饱和点，而线610表示从(多次)测试曝光的统计中确定的阴影的像素级。如图6所示，阴影阈值可能是亮度在10档以下的任一像素或任一组像素。由图6中的线612指示的第一比值是第一次曝光的饱和点和阴影的像素级的除数。因为第一次曝光的饱和点是2²²而阴影阈值是2¹⁰，所以，第一比值被确定为2²²/2¹⁰＝2¹²或12档。

在508中，控制器获得具有最长曝光时间的第三次曝光的饱和点和满足用于阴影的所期望的最小snr(20db)的阴影阈值之间的第二比值。如图6所示，第三次曝光的饱和点是15.2档。此外，10档的阴影像素级满足用于阴影的所期望的最小snr。因此，第二比值是15.2档和10档(或5.2档)之间的差。第二比值由图6中的线614表示。

在510中，控制器获得的第三比值是第一比值和第二比值之间的差。应注意的事，该差是当在对数域中运算时获得的。当在线性域中运算时，第三比值被获得为第一比值和第二比值的商数。第三比值是具有最短曝光时间的第一次曝光的饱和点和具有最长曝光时间的第三次曝光的饱和点之间的比值。第三比值由图6中的线616表示。

在512中，控制器获得符合用于每次合并转换的所期望的最小snr的每次曝光之间的阈值积分时间比值。该阈值积分比值被定义为满足用于曝光的所期望的最小snr时所处的强度(例如，在每档测量的)。该阈值积分时间可以从传感器的snr模型获得。该snr模型可以由传感器的制造商指定，并且可以表示不同亮度级的snr以便用于由传感器捕获的曝光。制造商制造的给定传感器可以具有与相同制造商或其他制造商制造的其他传感器不同的snr模型。

参照图6，对具有最短曝光时间的第一次曝光的第一snr曲线618进行外推，以找到满足用于第一snr曲线618的所期望的最小snr的档数。在18.5档满足所期望的最小snr(620)。类似地，对第二次曝光的第二snr曲线622进行外推，以找到满足用于第二snr曲线622的所期望的最小snr的档数。在14.9档满足用于下层中间影调和阴影之间的合并转换的所期望的最小snr(624)。另外，对第三次曝光的第三snr曲线626进行外推，以找到满足用于第三snr曲线626(阴影)的所期望的最小snr的档数。在9.9档满足所期望的最小snr(628)。

在514中，对第一次曝光到第二次曝光的积分时间的比值、以及第二次曝光到第三次曝光的积分时间的比值之间的第三比值进行分割或划分。例如，控制器可以对第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值之间的第三比值616进行同等地分割。因此，该积分比值相乘以产生该第三比值616。在根据其基于所期望的最小snr604、606确定的对应的阈值积分比值来限制每个比值的同时，第三比值616在该积分比值之间被划分。可以对图6的第三比值616进行划分，并且第三比值616的第一部分可以相对于第一次曝光被指定为第二次曝光的积分时间，并且第三比值的第二部分可以相对于第二次曝光被指定为第三次曝光的积分时间。

在516中，控制器调整积分比值，以获得如本文所述的图像的整个影调范围的snr之间的权衡。例如，可以增加或减少第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值，以控制用于第一次曝光和第二次曝光的snr。

图7示出了根据至少一个实施例将具有最短曝光时间的第一次曝光的饱和点和具有最长曝光时间的第三次曝光的饱和点之间的比值分割为两个积分比值的示例。在图7中，第三比值616为6档(22-16档)。该比值在第一次曝光到第二次曝光的积分时间的比值、以及第二次曝光到第三次曝光的积分时间的比值之间的被等分。第一次曝光包括具有介于19档和22档之间的强度的像素，并且第二次曝光包括具有介于16档和19档之间的强度的像素。使用以上分割，用于第一次曝光的snr高于用于第一次曝光的30db的所期望的最小snr。类似地，也在第二次曝光的像素范围中满足了用于第二次曝光的27db的所期望的最小snr。另外，阴影处的信噪比(线610所示)符合用于阴影的所期望的最小snr。

可以调整连续积分之间的积分时间比值，以提高阴影处的snr。例如，如果第二次曝光到第三次曝光的积分时间比值增加(例如，增加1档)，则阴影处的snr级将增加约5db。然而，可以通过用于每次合并转换的所确定的阈值积分比值来限制第一次曝光到第二次曝光的积分比值、以及第二次曝光到第三次曝光的积分比值。例如，可能不需要将第一次曝光到第二次曝光的积分比值增加超过1档以上，因为这会导致snr级在第一次曝光和第二次曝光之间的合并转换中降到30db的所期望的最小snr级以下。

图8示出了根据至少一个实施例的积分比值调整的示例。图8中的图像的阴影比图7的图像要暗。与图7中的10档相反，图8中的图像的阴影处于9档(线610)。为了提高阴影处的snr，将第一次和第二次曝光的积分比值增加到阈值积分时间，从而达到所期望的最小snr。在实施例中，没有对第一次和第二次曝光的积分比值进行任何进一步地增加，因为这会造成违背用于上层中间影调的所期望的最小snr。

另一方面，可以进一步增加第二次曝光到第三次曝光的积分比值，而不会侵害用于下层中间音调(位于624处)的所期望的最小snr。可以以下层中间影调的snr为代价，进一步增加第二次曝光到第三次曝光的积分比值，以增加阴影的snr。

可以基于图8所示的积分比值来生成输出图像。第一次曝光的第一组像素可以和第二次曝光的第二组像素、以及第三次曝光的第三次组像素合并来形成该输出图像。第一次曝光可以产生在第一次曝光中亮度介于18.3档和22档之间的像素。第二次曝光可以产生在第二次曝光中亮度介于14.5档和18.3档之间的像素。第三次曝光可以产生在第三次曝光中亮度低于14.5档的像素。

图9示出了根据至少一个实施例的积分比值调整的示例。在图9中，图像的阴影位于8.2档。第一次曝光到第二次曝光、以及第二次曝光到第三次曝光的积分比值均增加到其相应的阈值积分比值(分别位于620和624)。然而，尽管增加了积分比值，但是阴影仍然下降到低于其所期望的最小snr(位于602处)。因为第一次曝光到第二次曝光、以及第二次曝光到第三次曝光的积分比值均处于其所确定的阈值处，所以，阴影的snr未增加。因此，在图9中，中间影调的snr优先于阴影的snr。

图10示出了基于多次曝光来生成输出图像的流程图。在方法1000中，在1002处，控制器(诸如参照图4描述的控制器402)接收多个曝光。在1004处，控制器确定连续积分之间的积分比值。例如，积分比值可以通过分割参照图5至图9描述的第三比值616来确定。

在1006中，控制器基于积分比值来确定所期望的最小snr是否满足每次曝光。如果根据满足所建立的所期望的最小snr的(曝光之间的)合并转换中的积分比值结果来合并多次曝光，则可以满足所期望的最小snr。

如果得到肯定的结果，在1008中，控制器基于在1004中确定的积分比值通过合并多次曝光来产生输出图像。如果得到否定的结果，调整积分比值以便改善在输出图像的影调范围中的snr性能。调整积分比值可能会导致所期望的最小snr信噪比满足所有合并转换。在1010中，控制器存储多个曝光。存储多个曝光可以包括对多个曝光进行缓冲。

在1012中，控制器对积分比值进行调整。调整积分比值可以包括增加积分比值，使得其对应的阈值积分比值得到满足或者变得接近得到满足。在1014中，控制器基于调整的积分比值来确定是否满足所期望的最小snr。如果是，控制器在1016中存储积分比值并且基于在1008中所调整的积分比值通过合并多个曝光来产生输出图像。在存储积分比值之后，可以使用积分比值来确定用于后续多次曝光的曝光时间。

在1014中如果为否，方法1000重新在1012中调整积分比值。如果不满足所期望的最小snr，则可以循环重复1012和1014有限的次数(例如，四次)，然后方法1000终止。例如，如果在多次阈值调整后不满足所期望的最小snr，则可以基于不满足所期望的最小snr的调整后的比值来产生输出图像，或者可以采用默认曝光比值等等。

对于给定的多次曝光，如果不满足所期望的最小snr，则可以采用具有不同曝光时间的另外的多次曝光。例如，如果不满足用于具有最长曝光时间的曝光的所期望的最小snr，则可以增加曝光时间来提高曝光的snr。

图11示出了用于产生输出图像的方法的流程图。在方法1100中，在1102处，控制器(诸如参照图4描述的控制器402)接收图像数据。如本文所述，在1104中，控制器确定分别对应于多次连续积分的多个积分比值。当用来生成输出图像时，该积分比值可能无法满足用于多次曝光的所期望的最小snr。可以调整多个曝光时间的至少一个，以便提高用于其相应曝光的snr。例如，如果即使在将多个积分比值分别设置成确定的多个阈值积分比值时，仍无法满足用于曝光的所期望的最小snr，则增加曝光的曝光时间来提高其snr。增加曝光时间可能会导致在合并转换中曝光的snr满足或超出所期望的最小snr。

在1106中，控制器基于多个积分比值中的一个积分比值，来调整多次后续曝光的曝光时间。在1108中，控制器使传感器分别捕获具有多次后续曝光时间的多次后续曝光。例如，控制器可以将命令发送到传感器来捕获具有相应的多次后续曝光时间的多次后续曝光。控制器可以从传感器接收多次后续曝光(或表示多次后续曝光的数据)。在1110中，控制器通过合并多次后续曝光来生成输出图像。

在实施例中，可以使用整体场景亮度来控制传感器的像素增益。可以基于测试曝光的平均能量来设置像素增益。为了获取平均能量，可以获得测试曝光的直方图。测试曝光的平均能量可以是测试曝光的平均像素强度。

在获取测试曝光的平均像素能量之后，可以获得整体场景亮度作为平均像素能量和测试曝光的曝光时间的乘积。然后可以将整体场景亮度与两个阈值(阈值上限和阈值下限)进行对比。这两个阈值用来形成滞后，由此如果整体场景亮度下降到低于阈值下限，则可以增加像素增益。进一步地，如果整体场景亮度增加到高于阈值上限，则减少像素增益。像素增益可以用来控制多次曝光的snr以及通过合并多个曝光而生成的输出图像。

影响像素增益的因素包括积分时间、以及传感器的模拟增益和数字增益。如果由于整体场景亮度变化而试图修改像素增益，则可以修改积分时间、模拟增益和/或数字增益来完成对像素增益的所期望的更改。

可以结合上述各种实施例以提供更进一步的实施例。如有必要，可以修改这些实施例的各个方面，以利用不同的专利、申请和公开物的概念来提供又进一步的实施例。

根据上述具体描述，可以对这些实施例作以上和其它改变。一般而言，在所附的权利要求书中，所用的术语不应被解释为将权利要求限制为说明书和权利要求书中公开的特定实施例，而应当被解释为包括所有可能的实施例、以及这样的权利要求书所包含的等同物的全部范围。因此，权利要求不受本公开内容的限制。