包括摄像传感器的装置的制作方法

包括摄像传感器的装置
1.相关申请的交叉引用
2.本技术要求于2021年7月9日提交的法国专利申请no.2107444的权益，该申请在此引入作为参考。
技术领域
3.本发明涉及摄像装置，并且更具体地涉及具有卷帘快门摄像传感器的摄像装置。


背景技术：

4.卷帘式快门摄像传感器包括光电检测器矩阵，其中光电检测器按列和按行排列。摄像传感器被配置为通过执行由光电探测器发射的信号的逐行采集来获得图像。这种类型的获取被称为卷帘快门。
5.特别地，根据给定的频率执行摄像传感器的光电探测器行的卷帘快门扫描。因此，图像的各行不是精确地在相同时刻采集的。针对每行，行的卷帘快门扫描包括在给定积分时间内执行的曝光阶段，随后是读取阶段。在曝光阶段，行的光电检测器检测它们接收的光。然后，在读取阶段期间，读取由光检测器检测的光量。
6.此外，存在由通过脉冲宽度调制的控制信号(也由来自脉冲宽度调制的缩写pwm已知)控制的光源。例如，具有发光二极管(led)的光源被配置为通过由脉冲宽度调制的信号来控制发光二极管的发射。特别地，这种光源由根据给定频率周期性发射的控制信号的脉冲控制。
7.由这种源发射的光的强度在控制信号的脉冲期间增大，然后在脉冲之后减小，直到下一个脉冲。因此，由这种光源发射的光的强度随时间变化。特别地，这种光源周期性地发射光脉冲。这种光源的光脉冲的周期例如对应于两个连续脉冲的两个上升沿之间的持续时间。
8.摄像传感器可以获取由这种光源照射的图像。然而，光源的光脉冲的周期可以不同于摄像传感器的每行的积分时间。
9.因此，在拍摄传感器的一行光电探测器的采集期间，所感测的光强度可以不同于在当前采集之前或之后的多行光电探测器的采集期间所感测的光强度，之前或之后的多行光电探测器的采集期间与当前采集在时间上偏移了读取时间。
10.这具有在所获取的图像中获得具有不同亮度的条带的效果。因此，所获取的图像不对应于所感知的现实。


技术实现要素：

11.实施例提供了摄像装置和摄像传感器。各个实施例在所获取的图像中提供具有基本相同亮度的条带(例如，来自多排光电探测器)。各个其它实施例提供在所获取的图像中具有减小或消除的亮度差异的条带。
12.例如，已经提出了这样配置的摄像传感器，使得其积分时间是光源的光脉冲周期
的倍数。因此，光检测器的曝光持续时间允许接收相同的平均光强度。然而，光源的光脉冲的频率未被归一化。因此，这样的摄像传感器不允许针对具有不同于经适配积分时间的光脉冲频率的光源消除具有不同亮度的条带。
13.此外，还提出了以消除不同亮度之前检测具有不同亮度的条带的方式在连续采集的两个图像之间进行求差。然而，一旦物体或人在用于实现该求差的两个图像之间采集的场景中移动，则这种解决方案无法被适用。
14.还提出了以这样的方式添加环境光传感器，即在根据光源的光脉冲的测量频率调整摄像传感器的积分时间之前检测光源的光脉冲的频率。然而，这种解决方案是昂贵的，并且需要在包括摄像传感器的装置中提供环境光传感器的位置。该附加位置可以被认为是美学上令人不愉快的。
15.因此，需要提出一种用于图像获取的简单且成本不高的解决方案，该解决方案允许获得由人造光源照射的场景的图像，该人造光源不具有与光源的光脉冲的频率无关的具有不同亮度的条带。
16.根据一个实施例，提出了一种装置，其包括：
17.－扫描摄像传感器，其被配置为能够根据所述传感器的给定积分时间获取由具有规则光脉冲的源照射的场景的图像，所述源的光脉冲根据给定周期开始周期性地发射，使得当所述传感器的积分时间与所述光脉冲的周期不同时，所获取的图像能够具有含有不同亮度的规则连续带，
18.－处理单元，被配置为：
19.о生成表示由所述摄像传感器获取的图像中存在的具有不同亮度的条带的规则连续的特征向量，所述特征向量独立于所拍摄场景的对象的反射率和所述场景中的光的水平，
20.о基于所生成的特征向量确定所述图像中的条带的频率，
21.о基于所确定的所述图像中的条带的频率确定所述源的脉冲的周期，
[0022]-控制单元，被配置为调整所述摄像传感器的积分时间，使得所述积分时间是所确定的所述源的光脉冲的周期的倍数。
[0023]
因为特征向量无关于所拍摄场景的对象的反射率和场景中的光水平，所以可以简单地标识特征向量中具有不同亮度的条带。这允许精确地确定具有不同亮度的条带的频率，从而精确地确定由光源发射的光脉冲的频率。
[0024]
通过根据所确定的具有不同亮度的条带的频率来调整摄像传感器的积分时间，执行对摄像传感器的光电检测器行的扫描，使得光电检测器行暴露于相同的平均光强度。因此，调整后获得的图像不具有不同亮度的条带。
[0025]
这样的装置因此允许消除在调整之后获得的图像中具有不同亮度的条带。
[0026]
这种装置不需要使用诸如环境光传感器的附加传感器来确定光源的光脉冲的频率。
[0027]
所获取的图像由具有各个颜色分量的像素组成。
[0028]
在有利的实施例中，为了生成与图像的颜色分量相关联的特征向量，处理单元被配置为：
[0029]
－针对所述所采集的图像的每一行：
[0030]
о对该行的具有颜色分量的像素的值进行求和，以便为该行获得表示该颜色分量的值，然后
[0031]
о将表示该颜色分量的值除以表示图像的相邻行的该相同颜色分量的值。
[0032]
对每行的具有相同颜色分量的像素的值求和以获得允许改善关于噪声的鲁棒性的表示值。
[0033]
该除法允许使特征向量无关于所拍摄场景的对象的反射率和场景中的光水平。
[0034]
然而，在有利的实施例中，为了生成与图像的颜色分量相关联的特征向量，处理单元被配置为：
[0035]
－针对所述所采集的图像的每一行：
[0036]
о对该行的具有颜色分量的像素的值进行求和，以便为该行获得表示该颜色分量的值，然后
[0037]
о计算表示该行的该颜色分量的值的对数值，
[0038]
о执行表示该行的该颜色分量的值的对数值与表示图像的相邻行的相同颜色分量的值的对数值之间的区分。
[0039]
进入对数域允许简化处理单元的计算，以生成关于在前述实施例中执行的除法的特征向量。此外，对数域的使用允许通过对数的自然压缩效应来减小在其中记录结果所需的存储器大小。
[0040]
优选地，为了生成与所述图像的亮度相关联的特征向量，所述处理单元被配置为：
[0041]
－针对所述所采集的图像的每一行：
[0042]
о对该行的具有相同颜色分量的像素的值进行求和，以便为该行获得每个颜色分量的表示值，然后
[0043]
о基于表示该相同行以及可选地相邻行的各个颜色分量的值来计算表示该行的亮度的值，
[0044]
о计算表示该行的亮度的值的对数值，
[0045]
о计算表示该行的亮度的值的对数值与表示该图像的相邻行的亮度的值的对数值之间的差。
[0046]
与亮度相关联的特征向量具有高信噪比的优点。
[0047]
有利地，扫描摄像传感器被配置为获取连续图像，连续图像中的每个图像能够具有规则的连续条带。因此，所获取的图像可以由具有各个颜色分量的像素组成。
[0048]
在有利的实施例中，为了生成与图像的颜色分量相关联的特征向量，处理单元被配置为：
[0049]
－针对所述所采集的图像的每一行：
[0050]
о对具有该行的颜色分量的像素的值进行求和，以便为该行获得表示该颜色分量的值，然后
[0051]
о将表示该颜色分量的值除以表示连续图像的后续图像或先前图像的相同行的该相同颜色分量的值。
[0052]
然而，在有利的实施例中，为了生成与图像的颜色分量相关联的特征向量，处理单元被配置为：
[0053]
－针对所述所采集的图像的每一行：
[0054]
о对具有该行的颜色分量的像素的值进行求和，以便为该行获得表示该颜色分量的值，然后
[0055]
о计算表示该行的该颜色分量的值的对数值，
[0056]
о计算表示该行的该颜色分量的值的对数值与表示连续图像中的后续图像或先前图像的相同行的该相同颜色分量的值的对数值之间的差。
[0057]
优选地，为了生成与所述图像的亮度相关联的特征向量，所述处理单元被配置为：
[0058]
－针对所述所采集的图像的每一行：
[0059]
о对该行的具有相同颜色分量的像素的值进行求和，以便为该行获得每个颜色分量的表示值，然后
[0060]
о基于表示该相同行和相邻行的各个颜色分量的值来计算表示该行的亮度的值，
[0061]
о计算表示该行的亮度的值的对数值，
[0062]
о执行在表示该行的亮度的值的对数值与表示后续图像或连续图像中的先前图像的相同行的亮度的值的对数值之间的求差。
[0063]
根据另一实施例，提出了一种用于调整扫描摄像传感器的积分时间的方法，包括：
[0064]
－根据给定积分时间获取由具有规则光脉冲的源照射的场景的图像，所述源的光脉冲根据给定周期是周期性的，使得当所述传感器的积分时间不同于所述光脉冲的周期时，所获取的图像可以具有含有不同亮度的规则连续条带，
[0065]
－生成表示在由所述摄像传感器获取的图像中存在的具有不同亮度的规则连续条带的特征向量，所述特征向量无关于所拍摄场景的对象的反射率和所述场景中的光的水平，
[0066]
－基于所生成的特征向量确定图像中的条带的频率，
[0067]
－基于所确定的图像中的条带的频率确定源的脉冲的周期，
[0068]
－调整摄像传感器的积分时间，使得积分时间是源的光脉冲的周期的倍数。
附图说明
[0069]
本发明的其他优点和特征将在检查实施例和实现方式的详细描述(绝不是限制性的)以及附图时显现，在附图中：
[0070]
图1示出了根据实施例的装置；
[0071]
图2示出了各行光电探测器的曝光阶段按时间偏移；
[0072]
图3示出了由摄像传感器获得的图像的示例；
[0073]
图4示出了用于调整摄像传感器的积分时间以便减少或消除所采集的图像中的不同带中的不同亮度的方法；
[0074]
图5示出了用于生成根据第一实施例获取的特征向量的方法；
[0075]
图6示出了根据第二实施例的用于生成采集图像的特征向量的方法；
[0076]
图7示出了根据第三实施例的用于生成采集图像的特征向量的方法；
[0077]
图8示出了根据第四实施例的用于生成采集图像的特征向量的方法；以及
[0078]
图9示出了根据实施例的特征向量vcs的图表示意。
具体实施方式
[0079]
图1示出了根据实施例的装置app。装置app包括摄像传感器cph、控制单元uco和处理单元ut。
[0080]
摄像传感器cph包括光电检测器mphd的矩阵。矩阵mphd的光电检测器phd按行和列布置。光电检测器phd与不同的颜色分量相关联，特别是与红色r、绿色gr/gb和蓝色b分量相关联。例如，可以根据本领域技术人员公知的bayer(拜尔)矩阵来组织光电探测器phd。
[0081]
摄像传感器cph被配置为通过获取基于由光电探测器phd感测的光而由光电探测器phd生成的信号来获取场景的图像。
[0082]
特别地，逐行地执行由光电探测器phd生成的信号的采集。换句话说，摄像传感器cph允许通过扫描传感器cph的光电探测器phd
·
行来获得图像。
[0083]
扫描导致各行光电探测器的光电探测器phd的信号的时间方面的获取偏移。
[0084]
特别地，如图2所示，一行光电检测器phd的采集包括曝光阶段pexp，其中该行的光电检测器检测它们在给定积分时间期间接收的光。然后，采集包括读取阶段plec，其中读取由光检测器phd检测的光量。
[0085]
根据由装置app的控制单元uco定义的扫描频率来执行光检测器行phd的扫描。
[0086]
图2示出了光电探测器phd的各个行lphd的曝光阶段pexp在时间方面偏移。
[0087]
此外，所拍摄的场景可以由具有规则光脉冲的源照射。例如，该源可以是具有发光二极管的源。
[0088]
这种光源根据给定频率发射光脉冲。
[0089]
如图2所示，由这种光源发射的光的强度isrc在脉冲imp的时刻最大。
[0090]
摄像传感器的积分时间不能是照射场景的光源的光脉冲周期的倍数。
[0091]
因此，各行光电探测器的曝光阶段pexp可以相针对光源的光脉冲imp偏移。因此，由各行检测的光的强度isrc可以变化。如图3所示，由摄像传感器获得的图像img因此具有含有不同亮度的条带bdl。
[0092]
装置app被配置为实现用于调整摄像传感器的积分时间的方法，以便消除所采集的图像中具有不同亮度的条带。这种调整方法在图4中示出。
[0093]
该调整方法包括步骤40，在该步骤中，摄像传感器cph利用规则的光脉冲执行对由光源照射的场景的至少一个图像img的采集。特别地，该摄像装置可以进行连续图像的采集。
[0094]
然后，在步骤41中，将至少一个图像发送到处理单元。
[0095]
然后，在步骤42中，处理单元ut基于至少一个获取的图像img生成至少一个特征向量vcs。该至少一个特征向量以这样的方式生成，即能够区分图像img中具有不同亮度的条带，而与所拍摄场景的物体的反射率以及场景中的光水平无关。优选地，处理单元ut被配置为针对图像的每个颜色分量生成特征向量vcs。
[0096]
然后，在步骤43中，处理单元ut基于至少一个特征向量vcs确定具有不同亮度的条带的频率。具有不同亮度的条带的频率取决于光脉冲的频率和根据以下公式扫描传感器的光电探测器行的频率：
[0097][0098]
其中f
bandes
是图像的每行具有不同亮度的条带的频率，f
balayage
是传感器的光电探测器行随时间的扫描频率，并且f
impulsions
是光脉冲随时间的频率。
[0099]
处理单元ut然后将所计算的光源的光脉冲的频率发送到控制单元uco。
[0100]
最后，在步骤44中，控制单元uco调整摄像传感器的积分时间，使得积分时间是光源的光脉冲周期的倍数。
[0101]
因此，在采集的下一图像nimg中具有不同亮度的条带被消除，这是因为在摄像传感器的光电检测器的各行的曝光阶段期间的平均光强度保持恒定。
[0102]
更具体地，处理单元可以实现各个方法来获得特征向量。
[0103]
图5示出了用于孤立地或连续地生成所采集的图像img的特征向量vcs的方法的第一实施例。
[0104]
在该第一实施例中，在步骤50中，处理单元ut为图像的每一行添加图像img的相同行的具有相同颜色分量的像素的值，以便为每一行获得表示该颜色分量的行的值。
[0105]
然后，在步骤51中，处理单元ut针对图像的每一行并且针对每个颜色分量，在表示该行的该颜色分量的值和表示该相同图像的相邻行的该相同颜色分量的值之间执行除法。可替换地，针对图像的每行并且针对每个颜色分量，处理单元执行在表示该行的该颜色分量的值和表示所获取的一系列图像的在先前图像的相同行的该相同颜色分量的值之间的除法、或者在所获取的图像序列的随后图像的该相同颜色分量的值之间的除法。
[0106]
所执行的除法允许获得图像的每个颜色分量的特征向量vcs。与颜色分量相关联的每个特征向量包括对该颜色分量的图像的每行执行的除法的结果。
[0107]
通过上述除法获得的特征向量vcs具有无关于场景对象的反射率和场景中的光水平的优点。因此，特征向量vcs允许主要显现所生成的图像中出现的具有不同亮度的两个条带之间的亮度变化。因此，基于这样的特征向量检测具有不同亮度的条带更简单。
[0108]
然而，该除法涉及计算资源方面的显著成本。
[0109]
为了简化必须由处理单元ut执行的计算，进入对数域以避免在表示值之间执行除法是有利的。
[0110]
在这方面，图6示出了用于生成图像img的特征向量vcs的方法的第二实施例，该图像img是孤立地或连续地采集的图像。
[0111]
在该第二实施例中，在步骤60中，处理单元ut为图像的每一行添加图像的相同行的具有相同颜色分量的像素的值，以便为每一行获得表示该颜色分量的该行的值。
[0112]
然后，针对每行和针对每个颜色分量，处理单元ut在步骤61中计算表示该行中的该颜色分量的值的对数值。特别地，处理单元计算表示该行的颜色分量的每个值的二进制对数。
[0113]
然后，在步骤62中，处理单元ut针对图像的每行并且针对每个颜色分量计算在表示图像的该行的该颜色分量的值的对数值与表示图像的相邻行的相同颜色分量的值的对数值之间的差。可替换地，处理单元ut可以针对图像的每行并且针对每个颜色分量计算在表示图像的该行的该颜色分量的值的对数值与表示在获取的一系列图像的在前图像或在
后图像的相同行的相同颜色分量的值的对数值之间的差。
[0114]
所执行的求差允许获得图像的每个颜色分量的特征向量vcs。与颜色分量相关联的每个特征向量包括对该颜色分量的图像的每行执行的求差的结果。
[0115]
因此，在该实施例中，处理单元简单地执行对数域中的求差而不是除法。这允许简化处理单元ut的计算。
[0116]
图7示出了用于生成图像img的特征向量vcs的方法的第三实施例，该图像img是孤立地或连续地采集的图像。
[0117]
在该第三实施例中，在步骤70中，处理单元ut针对每行并且针对每个颜色分量计数要考虑的像素数目，以生成该颜色分量的特征向量。例如，处理单元可以考虑行的具有相同颜色分量的所有像素。
[0118]
然而，可替换地，处理单元可以仅考虑行的具有相同颜色分量的像素的一部分。这允许排除具有异常值的某些像素，该异常值由生成该异常值的光电探测器的饱和生成，或由所拍摄场景中的标记轮廓生成。
[0119]
然后，在步骤71中，处理单元ut计算要考虑的像素数的对数值。特别地，处理单元ut计算要考虑的像素数目的二进制对数。
[0120]
在步骤72中，处理单元ut还针对每行并且针对每个颜色分量，为图像的每行添加要考虑的图像的相同行的具有相同颜色分量的像素的值，以便为每行获得表示该颜色分量的行的值。
[0121]
然后，在步骤73中，针对每行和针对每个颜色分量，处理单元ut计算表示该行中的该颜色分量的值的对数值。特别地，处理单元ut计算表示该行的颜色分量的每个值的二进制对数。
[0122]
然后，在步骤74中，处理单元ut通过执行表示该颜色分量的值的对数值与要考虑的像素数目的对数值之间的求差来为每行并且为每个颜色分量计算归一化的对数值。因此，归一化的对数值类似于要考虑的图像的相同行的具有相同颜色分量的像素的值的平均值。
[0123]
然后，在步骤75中，处理单元针对图像的每行并且针对每个颜色分量计算与图像的该行的该颜色分量相关联的归一化对数值和与图像的相邻行的相同颜色分量相关联的归一化对数值之间的差。可替换地，处理单元可以针对图像的每行并且针对每个颜色分量计算与图像的该行的该颜色分量相关联的归一化对数值和与所获取的一系列图像中的先前图像或后续图像的相同行的相同颜色分量相关联的归一化对数值之间的差。
[0124]
由处理单元执行的这些差异允许获得图像的每个颜色分量的特征向量vcs。与颜色分量相关联的每个特征向量vcs包括对该颜色分量的图像的每行执行的求差的结果。
[0125]
图8示出了用于生成图像img的特征向量vcs的方法的第四实施例，该图像img是孤立地或连续地采集的图像。
[0126]
在该第四实施例中，在步骤80中，处理单元ut针对每行并且针对每个颜色分量计数要考虑的像素数目，以生成该颜色分量的特征向量。
[0127]
在步骤81中，处理单元ut还针对每行并且针对每个颜色分量，为图像的每行添加要考虑的图像的相同行的具有相同颜色分量的像素的值，以便为每行获得表示该颜色分量的行的值。
[0128]
然后，在步骤82中，针对每一行，处理单元ut用表示该行的亮度y的值来替换表示该行的绿色分量的值。在bayer矩阵的情况下，通过表示该行和可选地相邻行的颜色分量的值的加权平均来计算表示行的亮度的值。
[0129]
然后，在步骤83中，针对每行以及针对红色和蓝色分量以及针对亮度，处理单元ut计算表示该行中的该颜色分量或该亮度的值的对数值。特别地，处理单元ut计算表示该行的红色和蓝色分量以及亮度的每个值的二进制对数。
[0130]
在步骤84中，处理单元ut还计算要考虑的像素数量的对数值。特别地，处理单元计算要考虑的像素数量的二进制对数。
[0131]
然后，在步骤85中，处理单元ut通过执行表示该颜色分量或亮度的值的对数值与要考虑的像素数量的对数值之间的求差，为每行以及为红色和蓝色分量以及为亮度计算归一化的对数值。
[0132]
然后，在步骤86中，处理单元ut为图像的每行以及为红色和蓝色分量计算与图像的该行的该颜色分量相关联的归一化对数值和与图像的相邻行的相同颜色分量相关联的归一化对数值之间的差。处理单元ut还为图像的每行计算与图像的该行的亮度相关联的归一化对数值和与图像的相邻行的亮度相关联的归一化对数值之间的差。
[0133]
可替换地，处理单元ut可以为图像的每行以及为红色和蓝色分量计算与该图像的该行的该颜色分量相关联的归一化对数值和与一系列图像中的先前图像或后续图像的相同行的相同颜色分量相关联的归一化对数值之间的差。因此，处理单元ut还为图像的每行计算与图像的该行的亮度相关联的归一化对数值和与一系列图像中的先前图像或后续图像的相同行的亮度相关联的归一化对数值之间的差。
[0134]
由处理单元ut执行的这些求差允许获得红色和蓝色分量以及图像亮度的特征向量vcs。
[0135]
与亮度相关联的特征向量具有高信噪比的优点。
[0136]
图9示出了可以通过上述实施例获得的特征向量vcs的图形表示。
[0137]
特征向量vcs具有用于由摄像传感器获取的图像的各行limg的值v_vcs。如图9所示，值v_vcs仅针对图像中存在具有不同亮度的条带的边缘上的行而变化。这些变化在图9中是幅度峰值pc的形式。
[0138]
具有不同亮度的条带的频率因此可以从特征向量vcs中提取，以便执行对摄像传感器的积分时间的调整，以消除在场景的在后采集的图像中具有不同亮度的条带，如上所述。
[0139]
虽然已经参考说明性实施例描述了本发明，但是该描述不旨在以限制的意义来解释。针对本领域技术人员来说，在参考说明书的基础上，说明性实施例的各个修改和组合以及本发明的其它实施例将是显而易见的。因此，所附权利要求书旨在涵盖任何此类修改或实施例。