本发明涉及一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，以及涉及一种数字相机，所述数字相机包括用于产生第一图像的图像传感器和图像处理装置。本发明还涉及一种图像处理装置的应用、一种相应的图像处理方法、一种用于设计数字相机的设计方案以及一种计算机程序设备和一种计算机程序产品。
背景技术
数字相机通常使用在工业领域中。这例如在德国专利申请de102013000301a1中描述。在此，使用具有多种不同的图像传感器的多种不同的模型。
图1示意地并且示例性地示出具有物镜12的数字相机10。图像场景11经由物镜12成像到图像传感器上，所述图像传感器具有规则布置的光敏元件、所谓的像素。图像传感器将呈电子数据的形式的第一图像13传输给通常位于相机10中的计算单元14，所述计算单元例如包括处理器、数字信号处理器(dsp)或所谓的现场可编辑门阵列(fpga)。在此会需要的是，将模拟的图像数据转换成数字的图像数据，例如借助于模数转换器(在图中未示出)。在计算单元14中可能还对图像数据执行期望的数学运算、例如色彩校正或换算成其他图像格式。由此，得到第二图像15，所述第二图像随后经由接口(interface)16输出。替选地，初始图像也能够在数字相机10之外被计算，例如借助于计算机。
数字相机的图像质量参数通常根据欧洲机器视觉协会的标准1288、所谓的emva标准1288(2010年11月29日的3.0发布)来确定。这特别适用于工业应用的相机。所述标准在此描述相机的物理模型，测量的执行，测量数据的评估和呈emva标准1288数据手册形式的结果的显示。通过所述标准，使用者能够将不同的制造商的不同的相机模型彼此比较和进而做出适合的购买决定。
在emva标准1288数据手册中的重要的值是量子效率(qe，英语为“quantumefficiency”)，所述量子效率在那里描述为η(λ)。与射入的波长λ相关的所述值描述在每像素单位曝光时间产生的光电子μe的平均统计数量与在相同的曝光时间之入射到像素上的光子μp的平均数量的比值。小的qe值表示：在统计平均中，仅少量光子转换成光电子。那么图像传感器几乎是瞎的。大的qe值表示：大量光子转换成光电子。那么相机是更为光敏的。这由大多数使用者偏爱。
图2以简化的形式示出数字相机的像素的基于emva标准1288的物理模型。在曝光时间期间，数量np的光子p射到像素上。光子的一部分在那里转换成电子e并且存储。电子的数量于是为ne。所述转换以统计概率进行，所述概率称作为量子效率。在曝光时间结束之后，数量ne的电子e转换成像素值y，所述像素值以数字单位(dn，英语为“digitalnumber”)说明。所述转换以所述的转换增益(k)进行，所述转换增益因此是比例常数。在emva标准1288中描述的其他项、如例如暗噪声nd或量子化噪声σq在该处出于简化的原因忽略。
大量专利文献关注于如下问题，如何能够改进qe。示例性地在此提到美国专利文献us4,822,748、us5,005,063、us5,055,900、us6,005,619、us6,259,085、us6,825,878、us7,038,232和us8,304,759。量子效率的改进在此分别通过在开发或制造图像传感器期间的措施来实现。图像传感器的开发是非常成本高昂的并且通常要求在至少七位数欧元范围中的投资。开发或改进用于图像传感器的制造方法也是相当昂贵的。
此外，这些方式的缺点是，由此总是只改进特定的图像传感器类型、特定的生产技术、如例如ccd(英语为“charge-coupleddevice”)或cmos(英语为“complementarymetaloxidesemiconductors”)、或只改进制造商的特定的图像传感器族。如果为大量的相机模型使用大量不同的图像传感器，那么必须为每种图像传感器执行这些措施，由此所述成本甚至多倍增长。
用于改进量子效率的其他方式存在于kodakapplicationnote“nir-enhancedmodeoperationofkodakinterlineccdsforusewithkodakkai-1003,kai-2000,kai-2093,kai-4000,kai-4010andkai-4020interlineccdimagesensors(2002年11月11日的第一版)”。在此阐述，用于红外光的qe如何能够通过所述的ccd图像传感器的特殊的电运行方式提高。所述方式的缺点是，所述方式仅在特定的波长范围中、即在红外中改进qe，仅可用于特定制造商、即柯达的特定的ccd图像传感器，需要相机的运行和布线中的电子变化，并且此外会出现在过度曝光情况下变严重的“敷霜”伪像的问题。
emva标准1288数据手册中的第二重要值是饱和容量(csat，英语为“saturationcapacity”)。该值描述一个像素最大能够接收的电子的数量ne。因为每个检测到的电子都是随机过程的结果，电子的数量经受统计学波动。根据大数法则，相对误差以ne的根降低。高的饱和容量允许大数量的电子和进而小的相对误差，并且从而对于大量应用是优选的。
大量专利文献，如例如美国专利文献us6,515,703和us7,115,855专注于饱和电容的提高。所述专利文献涉及图像传感器的开发和制造并且具有在上文中关于此提到的缺点。
emva标准1288数据手册中的第三重要值是最大的信噪比(maxsnr，用于为“maximumsignal-to-noiseratio”)。snr值允许好的预测：图像中的弱的细节在其消失于噪声中之前能够以何种程度识别。光子p和从中生成的电子e的统计性质仅允许给出最大的snr值，所述最大的snr值最好对应于电子的数量ne的根。对于高品质的数字相机，高的maxsnr值是值得期望的，而因此是对于用户重要的选择标准。
此外，美国专利文献us5,250,824、6,124,606和us6,822213专注于snr的提高。所述参考文献又涉及图像传感器的开发和制造并且具有如上关于此提到的缺点。
emva标准1288数据手册中的第四重要值是动态范围(dr，英语为“dynamicrange”)。高动态范围有助于，能够同时识别在图像的亮的和暗的区域中的细节。因此，dr对于用户而言也具有大的实际意义，并且能够是选择数据相机的重要标准。
提到的大量专利文献专注于动态范围的提高。在此示例性地提到美国专利文献us6,864,920、us7,446,812、us7,518,645、us7,554,588和us7,636,115。这些专利文献又涉及在开发、制造或运行图像传感器时的措施。关于开发和制造图像传感器，又提到上述缺点。关于图像传感器的运行，得到如下缺点：相机必须以相应的耗费关于此适配。适配通常仅对于特定的图像传感器或图像传感器族起作用，并且对于其他图像传感器或图像传感器族必须以相应的耗费重新执行。此外，图像传感器的改变的运行通常引起问题，所述问题的原因在于，不同于如何记录图像的常见的方式和方法。例如，双重曝光的前提是：在记录的场景中不发生运动。如果情况如此，那么会出现非常干扰性的运动伪像。此外，较高数量的用于图像的部分记录降低相机的最大可达到的帧率，这同样有非常不利的影响。
总结地能够得知，量子效率、饱和容量、maxsnr或动态范围的提高根据现有技术通常是耗费的且昂贵的，尤其因为措施总是只对于特殊的图像传感器、图像传感器的类型或图像传感器族执行。
技术实现要素：
本发明基于如下目的，提供一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，所述图像处理装置能够实现，以简单的、低成本的并且图像传感器无关的方式改进像素质量值，例如量子效率、饱和容量、最大信噪比或动态范围。
根据本发明的第一方面，提供一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，其中图像处理装置构成为，从第一图像中计算第二图像，
其中从第二图像中确定的像素质量值大于图像传感器的给定的像素质量值，和
其中对于由图像传感器在均匀的、恒定的亮度下记录的第一图像，用于第二图像的相邻像素的相关系数大于用于第一图像的相邻像素的相关系数。
本发明基于发明人的如下知识：数字相机的像素质量值，例如量子效率、饱和容量、最大信噪比或动态范围不必强制性地与数字相机的图像传感器的像素质量值相同。所述构思为开创性的创新，因为迄今例如用于图像传感器和数字相机的量子效率的值视为永恒不变地相同。这也很大程度上适用于饱和容量、最大信噪比和动态范围，只要不使用特殊的图像传感器或图像记录技术。通过从图像传感器的图像(第一图像)中计算第二图像，使得从第二图像中确定的像素质量值——以与由图像传感器在均匀的、恒定的亮度下记录的第一图像的相邻像素相比提高用于第二图像的相邻像素的相关系数为代价——与图像传感器的给定的像素质量值相比提高(改进)，像素质量值的改进能够借助基本上全部在市场上可自由将获得的、便宜的图像传感器来实现，而不必借助昂贵的措施在结构方面或生产方面改变所述图像传感器。如发明人在实验中证明的那样，因此显著改进像素质量值，而第二图像的相邻像素之间的相关性的提高不会引起第二图像的视觉可感受的显著的变差。从图像传感器的图像(第一图像)中计算的第二图像那么能够用作为数字相机的图像，并且如果图像处理装置由数字相机包围，例如经由适当的接口输出(见下文)。
根据一个有利的改进方案，图像处理装置构成为，通过局部的图像处理算子来计算第二图像的像素的值，所述图像处理算子分别应用于第一图像的相应的像素并且对第一图像的关于相应的像素的预定的和包括多个像素的周围区域的像素的值进行处理。通过将局部的图像处理算子的处理限制到第一图像的关于相应的像素的预定的和包括多个像素的周围区域，限制用于计算第二图像的像素的值的计算耗费。
如果图像传感器是单色图像传感器，那么优选地，能够处理预定的周围区域的全部像素的值。然而这不适用于彩色传感器，所述彩色传感器使用所谓的mosaik滤镜，例如所谓的拜尔图形，所述mosaik滤镜例如从美国专利文献us3,971,065(在那里尤其是图6)中已知。在此，在这些像素上存在由用于红色(r)、绿色(g)和蓝色(b)的颜色滤镜构成的规则的图案，使得每个像素仅对于相应的颜色的光是敏感的。在拜尔图形中，绿色的频率是红色或蓝色的二倍。在此有利的是，分别仅处理预定的周围区域的如下像素的值，所述像素的颜色(和可能相位)等于相应的像素的颜色(和相位)。
根据另一有利的改进方案，预定的周围区域具有相应的像素作为第一、优选中央的像素，和/或预定的周围区域是具有相同的、尤其奇数个行与列、尤其大小为3×3或更大像素的周围区域。通过使用正方形形状，图像处理算子能够非常好对称地构成(参见下文)。此外，通过选择奇数个行和列，始终存在中间行和中间列，使得预定的周围区域对中地存在于第一图像的相应的像素的中点上。
根据另一有利的改进方案，局部的图像处理算子适配为，将第二图像的像素的值作为预定的周围区域的像素的值的加权和来计算。
根据另一有利的改进方案，相应的像素的值的权重与预定的周围区域的其余像素的值的权重的和之间的比值处于2.2247至40.4298、优选4.2913至40.4298、更优选10.3385至40.4298、最优选20.3562至40.4298的比值范围中。借助所述值，例如量子效率的改进处于5％至100％、优选5％至50％、更优选5％至20％、最优选5％至10％的范围中。借此，像素质量值能够显著改进，而第二图像的相邻像素之间的相关性的升高在此不会引起第二图像的视觉可感受的显著的变差。像素质量值小于5％的改进是没有意义的，因为根据emva标准1288例如确定量子效率要求借助于校准的光电二极管来测量辐照强度e。(这是必需的，以便在曝光时间texp期间射到像素的面a上的光子μp的数量经由方程μp＝(a·e·texp)/(h·(c/λ)来计算，其中h是普朗克常量，并且c是光速)。根据使用何种波长，所述光电子二极管的精度典型地位于3％和5％之间。根据emva1288，所述偏差于是为量子效率的最小的系统误差。
根据另一有利的改进方案
像素质量值在给定的波长带的情况下是量子效率或是饱和容量或动态范围，其中权重的和的平方除以局部的图像处理算子的l2范数的平方的商等于像素质量改进因数，或者
像素质量值是最大信噪比，其中权重的和的平方除以局部的图像处理算子的l2范数的商等于像素质量改进因数的平方，
其中从第二图像中确定的像素质量值基本上比图像传感器的给定的像素质量值大了像素质量改进因数。
根据另一有利的改进方案，权重的和等于亮度变化因数，其中从第二图像中确定的亮度与从第一图像中确定的亮度相比以亮度变化因数变化。
根据另一有利的改进方案，从第二图像中确定的像素质量值基本上比图像传感器的给定的像素质量值大了像素质量改进因数，其中像素质量改进因数处于5％至100％、优选5％至50％、更优选5％至20％、最优选5％至10％的像素质量改进范围中，和/或从第二图像中确定的亮度相对于从第一图像中确定的亮度以亮度变化因数变化。
根据另一有利的改进方案，图像处理装置包括用于设定像素质量改进因数和/或亮度改变因数的操作机构，优选不大于像素质量改进范围。
根据另一有利的改进方案，操作机构构成为，像素质量改变因数的变化不改变从第二图像中确定的亮度，和/或亮度变化因数的变化不改变从第二图像中确定的像素质量改进因数。
根据另一有利的改进方案，局部的图像处理算子沿行方向和列方向是镜像对称的以及是90°旋转对称的。由此，结果是，能够避免移动、不对称和各向异性，这在第二图像中会感觉为是干扰的。
根据本发明的另一方面，提供一种数字相机、优选工业相机，其中数字相机包括：
-图像传感器，用于产生第一图像，和
-根据本发明的实施例所述的图像处理装置，用于处理图像传感器的第一图像。
根据一个有利的改进方案，数字相机此外包括：
-接口，
-其中数字相机适配为，经由接口输出第二图像。
根据本发明的另一方面，提出一种根据本发明的实施所述的图像处理装置的应用，所述图像处理装置用于改进数字相机、优选工业相机的像素质量值，所述数字相机具有接口，其中第二图像经由接口输出。
根据本发明的另一方面，提供一种图像处理方法，所述图像处理方法用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，其中图像处理方法构成为，从第一图像中计算第二图像，
其中从第二图像中确定的像素质量值大于图像传感器的给定的像素质量值，和
其中对于由图像传感器在均匀的、恒定的亮度下记录的第一图像，用于第二图像的相邻像素的相关系数大于用于第一图像的相邻像素的相关系数。
根据本发明的另一方面，提供一种用于针对期望的像素质量值来设计数字相机、优选工业相机的设计方法，其中数字相机包括用于产生第一图像的图像传感器，所述图像传感器具有给定的像素质量值，其中图像传感器的给定的像素质量值比期望的像素质量值差，其中该设计方法构成为，从第一图像中计算第二图像，其中从第二图像中确定的像素质量值基本上等于期望的像素质量值。
根据本发明的另一方面，提供一种计算机设备，其中计算机设备包括计算单元，所述计算单元构成为用于执行图像处理方法。
根据本发明的另一方面，提供一种计算机程序产品，其中计算机程序产品包括代码机构，用于当计算机程序产品在计算机设备上执行时，促使计算机设备执行图像处理方法。
要理解的是，图像处理装置、数字相机、图像处理装置的应用、图像处理方法、设计方法、计算机设备和计算机程序产品具有相似的和/或相同的优选的实施方式，尤其如在实施例中限定的那样。
要理解的是，本发明的优选的实施方式也能够是各个实施方式的特征的任意组合。
附图说明
本发明的优选的实施方式在下文中参照所附的附图详细阐述，其中
图1示意地并且示例性地示出数字相机的构造，
图2以简化形式示出数字相机的像素的基于emva标准1288的物理模型，
图3示意地并且示例性地示出第一图像如何通过计算转换成第二图像，
图4示意地并且示例性地示出用于阐述限制量子效率的问题的模型式的描述的视图，
图5示意地并且示例性地示出，第二图像如何由虚拟像素的值组成，所述像素的面积略微超过图像传感器的像素的面积，
图6示意地并且示例性地示出虚拟像素的交叠区域的形成，
图7示意地并且示例性地示出用于3×3系数的线性滤镜，
图8示意地并且示例性地示出，如何借助于借助滤镜对第一图像的数字像素值y进行过滤，得到具有值z的第二图像，
图9示意地并且示例性地示出操作元件bh和bq，所述操作元件作用于滤镜，
图10示意地并且示例性地示出，期望的图像处理算子如何通过依次执行多个过滤步骤实现，
图11示意地并且示例性地示出点滤镜，
图12示意地并且示例性地示出将根据本发明的过滤用于量子效率的结果，
图13示意地并且示例性地示出根据本发明的过滤用于饱和容量的结果，
图14示意地并且示例性地示出根据本发明的过滤用于最大信噪比的结果，以及
图15示意地并且示例性地示出根据本发明的过滤用于动态范围的结果。
具体实施方式
在附图中，相同的或相应的元件或单元分别设有相同的或相应的附图标记。如果一个元件或一个单元已经结合附图描述，那么可能结合其他附图时省去详尽的示出。
如描述的那样，根据本发明，从数字相机的图像传感器的第一图像中计算具有改进的像素质量值的第二图像---以与由图像传感器在均匀的、恒定的亮度情况下记录的第一图像的相邻像素相比提高用于第二图像的相邻像素的相关系数为代价，其中所述图像传感器具有给定的像素质量值，例如量子效率、饱和容量、最大信噪比或动态范围。
如这能够有利地进行那样，下面示例性地针对量子效率进行描述，其中首先要根据图4阐述对量子效率的限制的问题的模型式的描述。作为像素20的量子效率的在实践中出现的限制的最重要的原因，在该描述中考虑的是，像素20的有效光敏面22小于其总面。在现代的图像传感器中，光敏面例如因电子器件的印制导线或电极的遮盖而降低，或者通过位于其下的硅中的有助于收集电子的区域，例如因为在那里出现的电子复合，扩散或漂移离开。
最终，与实际出现的量子效率明显小于100％的具体原因无关地，这因此也理解成像素虽然具有完美的qe，在此然而不是整面光敏的。对此，在此增加有效光敏面积(ela，英语为“effectivelightsensitivearea”)的术语。借此将量子效率的亏损在概念上转换成像素面积(pixelflaeche)。
由此得到发明性的构思，为了校正或为了改进量子效率，将ela匹配于期望的量值。对此，有利地从“虚拟”像素中构建第二图像41(参见图3)，所述“虚拟”像素以数学方式从数字相机的图像传感器的第一图像40的像素中计算。计算在此能够在图像处理装置、例如数字相机10的计算单元14(参见图1)中进行。所述计算然而也能够后置地在外部计算单元中进行。
根据图5提出，第二图像41由虚拟像素32的值组成，所述虚拟像素的面a2略微超过图像传感器30的像素的面(a，英语为“area”)。在此，虚拟像素的边长大于第一像素的中点的间距。由此，虚拟像素的ela31相对于第一像素30的ela22升高，因为这经由面a的一部分限定，虚拟像素的面a2大于a，和进而虚拟像素的ela也大于第一像素的ela。这引起，在入射到像素30上的光子np的平均数量相同的情况下，由于虚拟像素的较大的ela，在曝光时间期间在虚拟像素中收集更大平均数量的电子μe。因为量子效率作为μe除以μp的商计算，这对应于更高的qe。因此，通过使用虚拟增大的像素面a1，有原因地针对并且解决过小的ela的问题，收集更多电子，并且量子效率升高。
为了计算虚拟像素的值，优选利用相邻像素35或36的值。由于过小的ela丧失光子，所述光子不引起电子的形成。因此，需要附加的电子，所述电子仅处于周围区域(相邻区域)中。因此，实际上，更多电子能够有助于虚拟像素的值并且量子效率升高。
由于虚拟像素32的面a2相对于第一像素30的面a增大，一般虚拟像素的在图6中示出的边长wp大于相邻的虚拟像素dp的中点53和54的间距，其中后者与相邻的第一像素的中点的间距是相同的。所述事实在竖直方向上和在水平方向上都适用。
由此，形成虚拟像素的交叠区域51。概念上与交叠区域51相关联的电子有助于多个虚拟像素的信号。所述交叠予以有意地考虑。
如果借助图像传感器在均匀的、恒定的亮度下记录图像，那么在第一图像中通常存在噪声，其中亮度值通常不相关。但因为现在交叠区域51有助于虚拟像素50和52的值，那么在两个虚拟像素的值之间存在相关性。借此，在相应的测量中，分别相邻的像素之间的协方差也不再消失，而是具有如下值，所述值明显地不同于零。因此，用于第二图像41的相邻像素的相关系数大于用于第一图像40的相邻像素的相关系数。
交叠51原则上引起不利的效果，使得由此会出现调制传递函数(mtf)的轻微下降和从而出现第二图像中的更低的图像锐度。所述缺点根据实际实验的执行归为可接受的，因为该缺点在qe适度提高的情况下不会被大多数观察者以肉眼看到。
提出：虚拟像素的计算通过线性滤镜、即局部的图像处理算子来进行，所述图像处理算子总是用于第一图像的相应的像素，并且对第一图像的关于相应的像素的预定的和包括多个像素的周围区域的像素的值进行处理。这种滤镜示例性地在图7中示出，针对3×3，系数为c00、c01、c02、c10、c11、c12、c20、c21和c22。通过所述滤镜，第二图像的像素的值作为预定的周围区域的像素的值的加权和计算。权重在此刚好是滤镜系数c00、c01、c02，……。因为在emva1288中像素的模型是线性的，所以基于图像传感器的线性像素应用线性滤镜引起线性的虚拟像素，所述线性的虚拟像素在其方面再次符合在emva1288中像素的线性模型。
基于如下思想，线性过滤如何根据标准emva1288作用于测量值。
在emva标准1288中，简而言之从数字像素值y中确定平均值μy和噪声值σy。从噪声值中能够通过乘方来确定噪声方差σy2。根据所谓的光子转换法，在比较亮的和暗的图像时，从在此称作δμy的平均值μy的差值和在此称作δσy2的方差σy2的差值的关系中，计算转换增益k。所述转换增益允许，将数字信号μy的平均值向回计算成用于电子μe的数量的平均值，这通过如下方式实现：μy除以k。对于单色的图像传感器，确定用于带宽不宽于50nm的“唯一的”波长的量子效率。对于彩色传感器，为每个色彩通道确定量子效率值。
现在如示意地并且示例性地在图8中示出的那样，如果借助于滤镜f对第一图像40的数字像素值y进行过滤，那么得到具有值z的第二图像41。所述第二图像具有另外的平均值μz和具有另外的方差σy2的标准偏差σz。从平均值的差值δμz和方差的差值δσz2中，现在能够确定虚拟的转换增益k2，借助于所述虚拟的转换增益，能够得到虚拟电子ne.2的数量的虚拟平均值μe.2和虚拟的量子效率qe2。为了更好的理解，在此要注意的是，虚拟电子的数量绝不仅是假设的，而是在放大的ela上实际上真实存在。因此，通过过滤f，能够实现用于量子效率的新的值qe2，所述值能够在期望时超过第一qe值。
根据本发明的滤镜优选是相对弱的滤镜，通过所述滤镜仅显著改进像素质量值，而第二图像的相邻像素之间的相关性的提高在此不会引起第二图像的可视觉上感受的显著的变差。这有利地通过如下方式实现：用于相应的像素(图7中的c11)的滤镜系数明显大于用于其余像素(图7中的c00、c01、c02、c10、c12、c20、c21、c22)的滤镜系数。c11与其余的滤镜系数的和的比值说明，以多大强度过滤。如果比值具有高的值，那么过滤是极其弱的(因为c11是大的)，如果比值是小的，那么过滤是较强的，因为现在其余像素的值也更强地融入到过滤的结果中。尤其提出，相应的像素的值的权重(滤镜系数)和预定的周围区域的其余像素的值的权重(滤镜系数)的和之间的比值位于2.2247至40.4298、优选4.2913至40.4298、更优选10.3385至40.4298、最优选20.3562至40.4298的比值范围中。借助所述值，量子效率的改进在5％至100％、优选5％至50％、更优选5％至20％、最优选5％至10％的范围中。
两个下面示出的3×3滤镜应称作两个示例性的滤镜：
0.005630.006030.00563
0.006030.953310.00603
0.005630.006030.00563
和
0.018750.020410.01875
0.020410.843330.02041
0.018750.020410.01875
第一滤镜具有20.4398的比值，并且量子效率通过使用所述滤镜提高10.03％。第二滤镜具有5.3839的比值，并且量子效率通过使用所述滤镜提高40.27％。
此外提出，预设亮度变化因数h，以便从第二图像41中确定的亮度相对于从第一图像中确定的亮度应变化(即围绕所述亮度，第二图像应通过过滤变亮/变暗)。那么适当的是，选择线性滤镜f，使得其系数和具有值h，因为那么在应用滤镜时实现期望的亮度。系数和在此理解成滤镜系数c00、c01、c02……的和。
适当地选择亮度变化因数h例如是值1。在该情况下，图像处理算子对图像亮度无影响。在适当地选择滤镜系数时，得到对qe2和k2的分别反转的效果。因此，能够实现提高的第二量子效率qe2，而第二图像41的数字值的值域相对于第一图像40不改变。如果数字值y的值域良好地利用，那么由此数字值z的值域也与相同的方式良好地利用，并且例如取消通过必要的限幅引起的饱和问题，限幅防止数值溢出。
对h的另一良好的选择通过如下方式得出：滤镜的中间元素、例如在图7中元素c11等于一。由此，第二转换增益k2相对于第一转换增益k保持恒定，并且第二量子效率qe2相对于第一量子效率qe的变化立即在图像亮度方面正确可见。对h的所述选择是特别直观的，因为其使数字相机的光敏性通过更高的量子效率的改进立即以由使用者可直观预期的方式和方法可见。
能够设有用于设定亮度变化因数h的操作元件bh。所述操作元件例如能够构成为硬件或软件中的转动或滑动调控器，构成为数字寄存器或构成为程序界面(api)中的可用户编程的指令。操作元件bh连同对值h的作用在图9的左侧示出，所述值再次作用于滤镜f。
所述操作元件bh能够与如下效果关联：滤镜f的系数c00、c01、c02……共同地与期望的值成比例地缩放。由此，仅图像亮度经由值k2改变，而qe2的值保持与bh的设定无关。
此外提出，预设因数q(像素质量改进因数)，以便量子效率通过线性过滤升高或者在需要时也降低。
能够提出用于设定值q的操作元件bq。如操作元件bh那样，所述操作元件同样例如能够构成为硬件或软件中的转动或滑动调控器，构成为数字寄存器或构成为程序界面(api)中的可用户编程的指令。操作元件bq连同对值q的作用在图9的右侧示出，所述值再次作用于滤镜f。
提出，选择线性滤镜f，使得系数和的平方除以系数的l2范数的平方的商具有值q。l2范数在此作为滤镜的系数的平方和的平方根来计算。在一维滤镜的情况下，l2范数对应于欧几里得范数，而在二维滤镜的情况下对应于弗罗宾尼斯范数。
基于如下知识，使用具有元素c00、c01、c02……的线性滤镜f如何作用于平均值μz和噪声值σz：假设，第一像素的平均值全部等于值μy，能够推导出关联关系：第二像素μz的平均值从第一像素μy的平均值乘以系数的和得出。假设，具有值y00、y01、y02……的第一像素的噪声在统计平均值上是相等的，分别具有值σy并且在不同的像素之间不相关，那么借助于高斯误差传播推导出：从第一像素的平均噪声中通过乘以因数得出第二像素μz的平均噪声，所述因数的值刚好为滤镜的元素的平方根。噪声在此分别在以数字值dn测量。因此，线性过滤的噪声指数刚好对应于线性滤镜f的l2范数。
因此，此外能够推导出：k2当该值根据标准emva1288确定时从值k1通过乘以滤镜的l2范数的平方再除以滤镜的系数和得出。如果现在将值k2插入到μe.2的条件方程中，那么借此能够值qe2作为ne.2除以np的商计算。得出，qe2从qe通过乘以滤镜的系数和的平方除以滤镜的l2范数的平方得出。但因为现在量子效率应刚好以因数q提高，那么因此有益的是，选择滤镜，使得滤镜的系数和的平方除以滤镜的l2范数的平方的商刚好得出所述值q，因为因此刚好实现期望的效果。
提出：虚拟像素的计算通过沿竖直的、水平的和45°对角线的方向对称的滤镜执行。由此，避免干扰性的移动、不对称或各向异性。
此外提出：线性滤镜使用具有至少为值3的奇数行和相同的奇数列的正方形的形状。通过使用正方形的形状，之前要求的对称特性能够良好地满足。并且通过选择奇数行和列，始终存在中间行和中间列，使得滤镜对中地位于像素30的中点37上。由此，能够实现虚拟像素32，所述虚拟像素的中点与像素20的中点21相同。由此，避免空间误差。这种滤镜在图7中以三行和三列示出。
具有所述特性的线性滤镜例如能够在如下情况下实现：对于在图7中示出的系数适用的是：c00＝c02＝c20＝c22并且c01＝c10＝c12＝c21。
对提到的借助l2范数f的滤镜过滤替选地，期望的局部的图像处理算子也能够通过依次执行多个过滤步骤来实现。那么适当的是，选择滤镜，使得相应的滤镜的相应的系数和的平方除以相应的滤镜的相应的l2范数的平方的相应的商的乘积具有值q。由此，实现量子效率的期望的变化。
对此的实例在图10中示出。首先能够借助一维的竖直的滤镜进行过滤，所述滤镜例如具有元素a0、a1、a2，如在图10(a)中示出的那样，并且随后借助一维的水平的滤镜进行过滤，所述滤镜例如具有元素b0、b1、b2，如在图10(b)中那样。因为两个滤镜是线性的，所以以相反的顺序使用滤镜也是可能的，并且得到相同的结果。结果也与二维滤镜的过滤相同，所述二维滤镜由两个示出的一维滤镜的外部乘积得出。
在此，上述竖直的或水平的对称特性在如下情况下能够满足：对称地选择竖直的或水平的滤镜。对于在图10中示出的实例在如下情况下是这种情况：a0＝a2或b0＝b2。
此外，如果竖直的和水平的滤镜的系数彼此相等，即如果对于图10中的滤镜系数适用a0＝b0，a1＝b1，a2＝b2，那么满足上述45°对角线的对称特性。
通过对于多个依次构成的滤镜，其相应的系数和的平方除以相应的l2范数的平方的相应的商的乘积具有值q，能够适当的是，分别选择滤镜，使得相应的系数和的平方除以相应的l2数的平方的商分别具有q的n次方根的值，其中n描述依次执行的滤镜的数量。因此确保，对于滤镜，相应的滤镜的相应的系数和的平方除以相应的滤镜的相应的l2范数的平方的相应的商的乘积具有值q。
确定滤镜使得滤镜的系数和的平方除以滤镜的l2范数的平方的商刚好得出所述值q的可能性在于在如下计算中：
选择系数和为一的低通滤镜tf和系数和为零的高通滤镜hf，所述高通滤镜与低通滤镜相加得到所谓的点滤镜pf，在所述点滤镜中，仅中央的元素具有值一并且其中全部其他值等于零。这种点滤镜pf示例性地在图11中示出。
在此，例如作为低通滤镜tf能够选择所谓的箱式滤镜(boxfilter)，在所述箱式滤镜中，全部系数具有值一除以系数的数量。
选择低通滤镜tf的另一良好的可能性在于，将系数和虚拟像素32的面积与同系数相关联的第一像素35和36的面积a的相应的交集33和34除以虚拟像素32的面积的面积比值相关联。通过所述选择，低通过滤刚好对应于虚拟像素的面积份额。
选择高通滤镜hf的一个良好的可能性在于，形成点滤镜pf减去低通滤镜tf的差值。通过所述选择，自动地满足tf加上hf的和得出点滤镜pf的要求。
现在，确定线性组合因数α，使得从tf加α乘hf计算的滤镜刚好满足如下特性：滤镜f的系数和的平方除以滤镜f的l2范数的平方的商刚好得出所述值q。
通过上述选择系数和为一的滤镜tf和系数和为0的滤镜hf，滤镜f作为tf加α乘hf自动地始终具有系数和1。由此，α的选择如下简化：现在仅f的l2范数的平方应具有值q。
值α能够通过二次方程确定，所述二次方程通过如下方式得到：滤镜tf的l2范数加α乘hf的计算公式根据α求解，所述hf应等于值q。在此，通常对α得到两个解，其中物理上有意义的是对于中央的系数具有更高值的解。
如果现在期望亮度变化因数h的值不等于1，那么迄今得到的滤镜f乘以值h，这通过如下方式实现：全部系数分别乘以值h。由此，得到新的滤镜，所述滤镜将亮度以值h改变，并且将量子效率以值q(像素质量值改进因数)改变。
描述的用于确定滤镜的系数和的平方除以滤镜的l2范数的平方的商刚好得出所述值q的滤镜的方法当然也能够转用于确定滤镜的系数和的平方除以滤镜的l2范数的平方的商得出其他期望的值的滤镜，例如q的n次方根，这通过如下方式实现：值q通过相应的其他期望的值替换。
图12示出根据本发明的过滤的应用的结果。在此，选择相机并且多次经受根据emva1288的分析。对于在此使用的光波长，相机具有53.59％的qe。在各个分析期间，针对q的不同的值执行根据本发明的借助滤镜f的过滤，其中q在三十二个步骤中从1.0至2.0(对应于0％至100％)等距地变化。亮度在此通过过滤不改变，即亮度变化系数h分别具有为一的值。可见的是，用于量子效率的测量值如预期的那样与q成比列地缩放。从中能够推导出，本发明如期望的那样作用。
借助根据本发明的过滤，具有图像传感器的全部相机的量子效率升高，所述图像传感器在其基本功能方面符合用于emva1288标准中的模型。这涉及相机的绝大部分并且还有图像传感器的绝大部分。大多数当今的数字相机具有计算单元14。因为用于根据本发明的过滤的计算耗费是小的，所以所述过滤通常能够无问题地并且没有其他构件耗费地集成到已经存在的计算单元中。因为根据本发明的过滤与图像传感器的准确的结构无关，所以所述过滤能够在具有多种不同的图像传感器的多种不同的相机模型中以始终相同的方式和方法使用。由此，仅存在小的开发成本。
对集成到相机中替选地，根据本发明的过滤也能够在外部的计算单元中执行。借此，本发明也可用于如下相机，所述相机不具有自己的计算单元。对此，例如能够提出，过滤在所谓的驱动器中进行，所述驱动器接收相机的图像数据，并且将所述图像数据提供给在外部的计算单元上的其他应用程序。
根据本发明的过滤能够实时地执行。当然也可能的是，所述过滤与记录第一图像相比在明显更靠后的时刻执行。因此，本发明也能够针对所存储的图像来应用。
本发明能够应用于单个图像或图像序列，即应用于所谓的视频数据流。对此，从视频数据流中单独地提取其第一图像，并且从中计算第二图像，所述第一图像和第二图像再次组成视频数据流。
本发明能够用于单色图像或彩色图像。在彩色图像的情况下能够提出，为了计算具有特定颜色的虚拟像素，仅使用相同颜色的第一像素。
与用于改进量子效率相同的方法也能够执行以提高饱和容量。这在图13中示出。为刚好相同的实验，为所述实验示出图12中的qe值。因为虚拟像素的面积与q成比列地升高，所以在虚拟像素中与在第一像素中相比也能够存储更多电子。因此，通过应用相同的滤镜f，也实现饱和容量csat以因数q升高。
当然，在饱和容纳增大的情况下应该注意到，在亮度升高时，即在h的数值大于1时，可能会出现数字饱和效应，所述数字饱和效应抵消饱和容量的升高。所述问题能够通过如下方式避免：为数字数据设有足够大的值域。替选地，能够通过如下方式避免所述问题：将h足够小地选择。如果为第二图像使用与第一图像相同的值域，那么例如能够通过选择h等于一来避免所述问题。
据此，类似于操作元件bq，也能够设有操作元件bs，借助所述操作元件能够设定因数s，以便要提高饱和容量。从值s中能够以从值q中刚好相同的方式和方法确定滤镜f。在此，在计算中q简单地通过s替换。
图14还示出与在图12和图13中相同的实验的结果。然而这次描绘最大的snr值。清楚可见的是，根据本发明的过滤适合于，将snr值升高到期望的程度。如何精确改变maxsnr的数值的公式能够从标准emva1288中得出。
据此，类似于操作元件bq，也能够设有操作元件bm，借助所述操作元件能够设定因数m，以便应提高最大的snr值。从数值m中能够以与从值q中刚好相同的方式和方法确定滤镜f。对此，能够从标准emva1288中推导出最大的snr和qe之间的关联关系。最大的snr良好近似地作为在电子中测量的饱和容量的平方根来计算。因此，良好的选择是，为了计算f使所谓的数值q等于m的平方。
在最大的snr增大的情况下也必须注意，在亮度升高时，即在h的值大于1时，可能会出现数字饱和效应，所述数字饱和效应抵消最大的snr的升高。所述问题能够通过如下方式避免：为数字数据设有足够大的值域。替选地，能够通过如下方式避免所述问题：将h足够小地选择。如果为第二图像使用与第一图像相同的值域，那么例如能够通过选择h等于一来避免所述问题。
最后，图15针对相同的实验示出动态范围dr在q改变时如何改变。可见的是，动态范围也能够通过使用根据本发明的过滤升高。dr和q之间的关联关系在数学上不怎么简单，因为在此存在量子化效应的附加的影响。(原则上关联关系也如在饱和容量和量子效率的情况下那样是线性的，其中在此增加量子化效应的附加的影响。尤其地，在图15的左边的区域中，可见量子化效应的影响，而在图15的右边的区域中，出现近似线性的表现)。
类似于操作元件bq，也能够设有操作元件bd，借助所述操作元件能够设定值d，所述值与这种作用相关联：d的升高引起动态范围的升高，并且d的减小引起动态范围的减小。这例如能够通过如下方式实现：使q等于d。
根据本发明的图像处理装置优选能够用于改进数字相机、尤其工业相机的像素质量值，例如量子效率、饱和容量、最大信噪比或动态范围，所述数字相机具有接口，其中第二图像经由接口输出。
此外，描述的发明能够在一种设计方法中使用，所述设计方法用于针对期望的像素质量值、例如量子效率、饱和容量、最大信噪比或动态范围来设计数字相机，优选工业相机，其中数字相机包括用于产生第一图像的图像传感器，所述图像传感器具有给定的像素质量值，其中图像传感器的给定的像素质量值比期望的像素质量值差，其中设计方法构成为，从第一图像中计算第二图像，其中从第二图像中确定的像素质量值基本上等于期望的像素质量值。
术语“基本上”在上述公开的范围中如下理解：不排除例如通过数字饱和效应、量子化效应等造成的偏差。如描述的那样，所述效应在量子效率中与在饱和效应和最大信噪比中和在动态范围中相比起的作用较小，在所述饱和容量和最大信噪比中，数字饱和效应能够变得显著，在所述动态范围中，附加地能够出现量子化效应。