用于生成图像分辨率更佳的超分辨率图像的方法及测量装置制造方法
【专利摘要】在用于拍摄不可见光谱范围内的一列单帧图像(6,7,8)的装置中，提出一种用于生成SR图像(11)的方法，该SR图像(11)的图像分辨率高于单帧图像(6,7,8)的图像分辨率，其中对于单帧图像(6,7,8)，通过计算光流确定位移向量场(11,12)，并根据位移向量场(11,12)的值将单帧图像(6,7,8)分割成图块(20,21,22,23,24,25)，其中进行优化过程利用单独分配给图块(20,21,22,23,24,25)的可变参数由单帧图像(6,7,8)算出SR图像(11)。
【专利说明】用于生成图像分辨率更佳的超分辨率图像的方法及测量装
【技术领域】
[0001]本发明涉及一种用于生成图像分辨率更佳的超分辨率图像(SR图像)的方法，其中拍摄不可见光谱范围内的一列由像素组成的单帧图像，并在优化过程中可通过将序列中的单帧图像借助抽样函数建模为SR图像的采样的方式而将单帧图像合成SR图像，。
【背景技术】
[0002]然而，在不可见光谱范围中，通过用于拍摄单帧图像的测量装置的探测器限定图像分辨率，其特点在于探测器尺寸过小且每测量面的探测器数量过多导致制造成本过高。
[0003]本发明要解决的问题在于，如何能在毋须提高探测器分辨率的情况下提高分辨率。
[0004]对此，人们已研究出一系列方法，这些方法可利用摄影机或探测器的移动将多个拍摄的单帧图像合成分辨率更佳的SR图像。
[0005]这种合成在此设计成可将单帧图像表达为SR图像的采样，通过这些采样可建模测量装置的光学性质及探测器的分辨率。
[0006]这些已知方法由此利用单帧图像之间的细微偏移实现SR图像的较高图像分辨率。然而在实践中，在单帧图像彼此偏差较大的情况下，例如由于拍摄对象移动或显著变化，在此仍会遇到一些问题。
[0007]在这种情况下存在的风险在于，SR图像还具有不包含在单帧图像内的伪像，因此在该情况下通常不采纳已拍摄的单帧图像序列，重新拍摄新的单帧图像序列来完成SR图像。
[0008]本发明还涉及一种测量装置，该测量装置具有用于拍摄不可见光谱范围内一列图像的装置。有利地，这种测量装置用于实施所述方法。
【发明内容】
[0009]本发明的目的在于，使前述方法更加稳健。
[0010]为解决该目的，根据本发明在上述方法中设置成，在第一步中，自动计算流向序列的单帧图像的光流并为每一单帧图像分配描述光流的位移向量场；在第二步中，将单帧图像分割成至少两个图块，其中每一图块内的像素分别在位移向量场值域的预定分区中具有位移向量；在第三步中，采取优化过程，其中对于图块，改变至少一个单独的可变参数。通过这些特征，可有利地实现根据图像内容将优化过程调整成可以不同于处理图像内容微弱变化或不变的图像范围的方式处理图像内容显著变化的图像范围。一种典型的可通过本发明良好处理的情况是处理代表在固定背景前移动对象的单帧图像。所提及的确实小于单帧图像并由此小于各单帧图像子集的图像范围通过所述分割区分为多个图块并准备用于下一处理过程。
[0011]优选地，单帧图像及SR图像是二维图像。[0012]利用已知方法通过单帧图像的相互比较计算光流。作为计算结果的位移向量场逐像素地或局部地描述对应于像素或像素组的图像内容在单帧图像间移动。
[0013]呈现各单帧图像的像素上的位移向量场的总向量描述位移向量场的值域。在分区中将该值域分开，并分割成多个图块，对于这些图块，位移向量场接受分区中的位移向量。由此，单帧图像被分割成与位移向量场的值域分区数相同多个的图块。位移向量的长度分别描述两个单帧图像间局部图像内容移动的距离，因此可以这种方式将在其中单帧图像间的图像内容变化显著的图像范围与其中图像内容仅有细微变化或完全没有变化的图像范围区分开。位移向量的角度表明相对位移的方向，因此可以简单的方式将其图像内容在互异方向移动的图像范围区分开并分别单独考虑分开的图像范围。
[0014]这些图块在此可具有矩形，这种矩形状在分割中可根据其尺寸进行调整，或者还可采用具有非矩形的图块。这些图块可连续构成或由多个彼此分开的组成部分构成。
[0015]特别有利地，在根据本发明方法的预备步骤中利用测量装置的图像获取装置拍摄单帧图像并将其备用于下一处理过程。
[0016]在优化过程中，利用已知方法优化能量函数，该能量函数描述在拍摄单帧图像中使用的成像镜组以及在拍摄单帧图像中使用的探测器的成像性能。在优化中，改变SR图像及至少一个描述成像特性的可变参数，直至序列的单帧图像可通过抽样函数以尽可能小的误差表达为SR图像的采样。
[0017]出于数学描述成像性能，通常将算子应用于SR图像，该算子至少由利用与点扩散函数的卷积运算和分辨率归算组成。
[0018]本发明的优势在于，可分别将适当的可变参数或适当的可变参数组应用于各图块。通过这种方式，优化过程可更加适合于单帧图像的图像内容，由此增加该方法的稳健性。
[0019]例如可设置，在第三步中，对于每一图块，从相关分区选出位移向量并用于确定优化过程的起始点。其优势在于，在少数计算步骤之后即可得出结果，因此可缩短优化过程。
[0020]优选地，在一种设置中，在优化过程中分别遮蔽图块。通过这种方式可容易实现用于各图块的优化过程相互不受影响或干扰。在此，在遮蔽之下利用数字矩阵表达各图像的合成，由其隐藏无关或干扰性图像片段。
[0021]在本发明一实施方案中的设置中，将序列的单帧图像选为参考单帧图像。其优势在于，可通过简单方式确定用于计算光流的参考图像。
[0022]在此可设置，参考单帧图像在连续拍摄单帧图像期间移入单帧图像序列中。
[0023]特别有利地，根据参考单帧图像计算位移向量场。
[0024]在本发明一实施方案的设置中，在计算光流之前，在全局配准中对每一单帧图片计算全局或刚体变换，通过这种变换能够以最佳方式使单帧图像的相应图像内容互相叠合或与参考单帧图像叠合。其优势在于，可缩减计算光流所需的计算量。其优势进一步在于，可在分割之前补偿全部图像内容的同类图像偏移。通过这种方式能够容易算出偏移或背景运动。
[0025]在此，根据全局或刚体变换表达图像内容的转变，其同样或以相同方式用于单帧图像的像素。由此，全局或刚体变换与局部或基于像素的变换相反并将单帧图像的位移、旋转和/或缩放作为整体与其他单帧图像或与参考单帧图像比较。[0026]在本发明一实施方案的设置中，在优化过程中优化能量函数。优选地，能量函数评估单帧图像与通过数学模型映射的SR图像的偏差，该数学模型描述所用测量装置的成像特性。这种数学建模可包括至少一个用于描述成像过程的卷积运算及用于描述所用探测器的分辨率归算。其优势在于，利用已提供的装置可自动(即由计算机执行)确定SR图像。
[0027]在一种设置中，能量函数可具有模拟图像噪音的项。其优势在于，可建立实际成像过程的模型。
[0028]在一种设置中，可变参数可分别描述图块的图像相对位移。其优势在于，可模拟用于拍摄的测量装置在时间上前后连续拍摄的两个单帧图像之间的不自主运动并可用于生成SR图像。
[0029]在一种设置中，可变参数可分别定义抽样函数或点扩散函数。在此，根据点扩散函数表达通过所用测量装置描述理想化的点状对象的成像的函数。利用抽样函数可描述例如由探测器的尺寸及分辨率导致的离散化。
[0030]在本发明一实施方案的设置中，由图块中的部分单帧图像分别推导出SR图块中的部分SR图像。其优势在于，可对SR图像的SR图块分别实行优化过程，这可再次提高对图块中各图像内容及其变化的相称性。例如在一设置中，在SR图块上彼此单独算出需计算用于评估能量函数的积分并且/或者对各SR图块使用不同的用于重建能量函数中单帧图像的点扩散函数。
[0031]在一种设置中，在优化过程中优化可变参数之后反复创建适当的SR图像，随后对于该SR图像重新优化可变参数。其优势在于，可实现再次提高SR图像的质量。
[0032]在本发明一实施方案的设置中，在第三步中可指定对单帧图像的哪一图块实行优化过程。其优势在于，可借助遮蔽或诸如此类方式指定应在优化过程中选出的图块。由此，由优化过程排除由于图像内容变化显著而无法获得可用结果的图块。通过这种方式，可再次提高其他图块的SR图像或SR图块结果的质量。
[0033]还可设置，仅在单帧图像的图块或SR图像的SR图块相应的位移向量位于预定区间之内的情况下才对其实行优化过程。通过这种方式可避免具有变化较大的图像内容的图块对计算结果产生不利影响。
[0034]可选择设置，仅在单帧图像的图块或SR图像的SR图块相应的位移向量位于预定区间之外的情况下才对其实行优化过程。其优势在于，可通过简单方式将由于图像内容变化过小而预期不会明显提高图像分辨率的图块排出后续处理。由此可精简计算量。然后可设置，对于这些图块，单帧图像之间几乎未改变的图像内容被收入相应的SR图块或SR图像，通过插值或复制测量值补充SR图像，从而达到图像的图像分辨率。
[0035]不可见光谱范围是红外线光谱范围且所拍摄单帧图像是热影像的情况下，采用本发明可具有尤其显著的优势。
[0036]为解决上述问题，根据本发明在前述类型的测量装置的设置中，构造设置用于实施根据本发明的方法的像质评定单元。优选地，通过对像质评定单元相应编程实现这种设置，其中对于根据本发明的各方法步骤分别可行地提供相应的过程模块。
【专利附图】
【附图说明】
[0037]下面根据具体实施方案进行详细说明，但本发明不仅限于这些实施方案。通过权利要求所述的一个或多个特征相互结合并且/或者与下述实施方案所述的一个或多个特征相结合亦可得出其他实施方案。
[0038]在附图中:
[0039]图1表示说明根据本发明的方法的高度简化的原理示意图；
[0040]图2表示根据本发明的测量装置的三维正向斜视图；
[0041]图3表示如图2所示的根据本发明的测量装置的三维背向斜视图。
【具体实施方式】
[0042]图2和图3在正视及后视的三维斜视图中表示整体以标号I代表的根据本发明的测量装置。在所述的实施方案中，测量装置I构造成热成像摄像机。
[0043]测量装置I具有用于以已知方式拍摄不可见光谱范围内图像序列的拍摄装置2。在此处表示的作为测量装置I的热成像摄像机中，采用红外线光谱范围。
[0044]对此，拍摄装置2包括摄影镜组3以及设置在摄影镜组3之后测量装置I内部的摄影探测器4，利用该摄影镜组3可捕捉不可见光谱范围内的电磁辐射。
[0045]摄影探测器4在所述的不可见范围内易感并用于捕捉图像，由此配置二维测量值装置，其反映测量值、此处温度或有关温度的大小的空间分布。
[0046]摄影探测器4具有探测器分辨率，通过该探测器分辨率使所拍摄图像由像素组成，其中每一像素均配有所拍摄图像的测量值。
[0047]在测量装置I中构造像质评定单元5，该像质评定单元5设置用于执行下述根据本发明的方法。
[0048]在所述实施方案中，像质评定单元5构造成数据处理单元并通过相应编程配置而成。
[0049]在利用摄影镜组3捕获并测定所述不可见光谱范围内的电磁辐射的情况下，即利用测量装置I的摄影探测器4，通过已知方式拍摄一列单帧图像6、7、8并准备用于后续处理过程。
[0050]由此，作为测量结果，对每一单帧图像6、7、8均存在一列二维测量值，其中每测量值形成像素9、10。在图1中，尽管单帧图像6、7、8是由多像素组成，但仅举例表示出两个像素 9、10。
[0051]由每一单帧图片6、7、8的像素9、10的数目表明单帧图像6、7、8的图像分辨率，通过摄影探测器4的探测器分辨率确定该图像分辨率。在此，摄影探测器4可具有探测元件的二维晶格结构或以析像技术构造。
[0052]下文将详细阐述利用根据本发明的方法将单帧图像6、7、8合成为图像分辨率更佳的SR图像11，由此SR图像的图像分辨率高于单帧图像6、7、8的图像分辨率。
[0053]在此可由SR图像11模拟单帧图像6、7、8，由此每将描述图像分辨率降回单帧图像6、7、8的图像分辨率的抽样函数用于SR图像11，即可至少近乎重构单帧图像6、7、8。
[0054]在根据本发明的方法中，在第一步中自动(即由计算机执行)计算流向单帧图像
6、7、8的光流。对此，例如将单帧图像7选为参考单帧图像，可算出单帧图像6和8的图像局部相对于单帧图像7发生位移或一般变形的量和方向，从而使图像局部相互叠合。在此，通过几个相邻像素9、10表示出所述图像局部。[0055]由此，在计算结果中，各单帧图像6、7、8均对应位移向量场12、13，其中在参考单帧图像7中对应全部零化的位移向量场(在图1中未进一步示出)。
[0056]由此，位移向量场12、13由有关的单帧图像6、7、8的各像素9、10的位移向量14、15、16、17、18、19 组成。
[0057]在图1中，出于简化视图目的，仅表示出几个位移向量14、15、16、17、18、19。
[0058]由图1可看出，单帧图像6、7、8内的位移向量14、15、16、17、18、19并未对全部像素9、10保持不变，而是在各单帧图像6、7、8的像素9、10发生变化。因此，位移向量场11、
12、13通常与位置相关。其原因在于，单帧图像6、7、8中拍摄的场景在拍摄单帧图像6、7、8之间以不同方式发生改变，例如由于对象相对于静态或缓慢变化的背景移动。
[0059]由此，各位移向量场12、13确定值域，在该值域内位移向量14、15、16、17、18、19在单帧图像6、7、8的像素9、10发生变化。在此，通过位移向量14、15、16、17、18、19的方向及其长度确定各位移向量14、15、16、17、18、19，其方向和长度共同形成值域。
[0060]在根据本发明的方法的第二步中，将单帧图像分割成图块20、21、22、23、24、25，从而使图块20、21、22、23、24、25内的像素9、10分别位于位移向量场12、13的值域的预定分区中，而各相关图块20、21、22、23、24、25之外的像素9、10具有位于上述分区之外的位移向量14、15、16、17、18、19。对此，事先将各值域分成分区。
[0061]在图1中，图块22或25形成各单帧图像6或8中图块20及21或23及24的补充部分。
[0062]由此，图块20及23或21及24可与图像部分26或27 —致，在单帧图像7中通过相应的几何形状表明图像部分26或27。在这种情况下，图块20或23内的位移向量描述图像部分26在单帧图像6或8间相对于单帧图像7的位移，同时图块21或24内的位移向量
15、18描述图像部分27在单帧图像6或8中相对于单帧图像7的位移。
[0063]在这种情况下，位移向量14或17描述所拍摄场景的背景28的图像位移。这些位移向量14或17可在前置的粗配准中零化。
[0064]在图1中，出于简化视图目的，图块20、21、22、23、24、25内的位移向量14、15、16、
17、18、19相互平行并具有相同的长度。但所述分区还可设置成图块20、21、22、23、24、25内的位移向量14、15、16、17、18、19可在一定角度范围内和/或一定长度范围内互相偏移。
[0065]而预定分区的边界确定图块20、21、22、23、24、25的界限。由此还可看出，图块20、21、22、23、24、25并非一直连续，而包括多个相互分开的一组像素9、10。
[0066]在根据本发明的方法的第三步中，进行优化法将单帧图像6、7、8合成为SR图像11，其中，对于图块20、21、22、23、24、25，分别改变至少一个独立(即单独)的可变参数。
[0067]对此，对于每一图块20、21、22、23、24、25，由位移向量场12、13的值域的相应分区中分别选出位移向量29、30、31、32、33、34。所选的位移向量29、30、31、32、33、34可分别由相关图块20、21、22、23、24、25中各单帧图像6、8的像素9、10上的位移向量场12、13具有的位移向量14、15、16、17、18、19产生。但还可通过各个分区的预定值(例如各分区的平均值或极限值)确定位移向量29、30、31、32、33、34。
[0068]在优化过程中，优化评估单帧图像6、7、8与重构单帧图像的偏差的能量函数，所述重构单帧图像可通过装置I的摄像装置2的成像过程的数学建模由初步产生的SR图像11导出。可通过计算各单帧图像6、7、8与相应重构间的方差和或其平方根形成该评估。[0069]出于对成像过程建模，将算子用于初步产生的SR图像11，该算子通过SR图像11与点扩散函数的卷积描述对应的图像位移。
[0070]在优化过程中，SR图像11的图像内容及所述的点扩散函数反复变化，直至由SR图像11重构的单帧图像与所拍摄的单帧图像6、7、8形成尽可能良好的一致性。
[0071]能量函数包含额外的模拟图像噪音的附加项。
[0072]为利用各图块20、21、22、23、24、25的单独可变参数进行优化过程，可由单帧图像
6、7、8在图块20、21、22、23、24、25中的部分推导SR图像在SR图块35、36、37中的部分。
[0073]例如，还可分别为图块20、23或21、24选取SR图块35、36，SR图块35、36共含SR图像11对应于单帧图像6、8的对应图块20、23或21、24的像素；并且将SR图块37选为SR图像11的SR图块35、36的补充部分。
[0074]对每一位移向量29、30、31、32、33、34选择利用相关位移向量29、30、31、32、33、34数学描述图像相对位移的点扩散函数38、39、40、41、42、43。
[0075]在一实施方案中，点扩散函数38、39、40、41、42、43构造成其位置分别描述图像位移的狄拉克函数。在另一实施方案中，可采用其它点扩散函数，如高斯函数。
[0076]在优化过程中，先后遮蔽图块20、21、22、23、24、25或SR图块35、36、37，从而通过相关的点扩散函数38、39、40、41、42、43计算各图块20、21、22、23、24、25或SR图块35、36、37对能量函数的贡献。
[0077]对于用作参考单帧图像的单帧图像7，采用全局点扩散函数45。
[0078]在优化过程中，将图像扩散函数38、39、40、41、42、43、44的图像位置或焦点变为可变参数。图1中表示的点扩散函数38、39、40、41、42、43、44用作优化法的起始点。
[0079]在所述分割之前，如上述，在单帧图像6、7、8间进行粗配准，由此可使对应于所拍摄场景的背景28的图块22、25的位移向量14、17完全或几乎完全零化。
[0080]倘若证实图块20、21、22、23、24、25中的位移向量14、15、16、17、18、19位于预定范围之外并由此表明图像位移过大，则在优化过程中整体完全遮蔽相关图块20、21、22、23、24,25ο
[0081]由此，这些属于图片内容变化过大的图块20、21、22、23、24、25不会不适宜地改变优化过程的结果。还可在优化过程中相应遮蔽相关的SR图块35、36、37。
[0082]可选地，还可在优化过程中仅选择改变其相关位移向量14、15、16、17、18、19位于预定范围内的图块20、21、22、23、24、25或SR图块35、36、37，所述预定区间表征置信水平。
[0083]在优化过程中，首先对初步产生的SR图像11优化点扩散函数38、39、40、41、42、43,44的可变参数。对于由此取得的一组优化可变参数,随之改变SR图像11的图像内容，直至能量函数更接近其最佳点。随后，再次改变这组可变参数。反复继续这一过程，直至符合结束条件。
[0084]计算最佳SR图像11之后,在显示装置45 (如显示器)上显示出该SR图像。
[0085]算出的最佳SR图像还可在输出装置46 (如数据输出)上备用于后续处理过程。
[0086]在测量装置I中连续进行所述方法，其中以规律的时间间隔拍摄单帧图像6、7、8的序列的新单帧图像6、7、8。参考单帧图像7随着时间进程在这一单帧图像6、7、8的序列中移动，并且在由单帧图像6、7、8的拍摄预定数目确定的规律时间间隔中，从实际的单帧图像6、7、8计算并输出新的SR图像11。通过这种方式，在通过拍摄新单帧图像6、7、8确定的时钟信号中更新显示装置45上的显示。
[0087]换言之，根据本发明的方法提出改进目前已知的超分辨率方法，考虑局部运动的运动估计并相应遮蔽单帧图像6、7、8的图像区域26、27、28。随后计算高分辨率的SR图像11的分步利用这种遮蔽及局部运动。
[0088]在用于拍摄不可见光谱范围内的一列单帧图像6、7、8的装置中，提出一种用于生成SR图像11的方法，该SR图像11的图像分辨率高于单帧图像6、7、8的图像分辨率，在该方法中，对于单帧图像6、7、8，通过计算光流确定位移向量场11、12，并根据位移向量场11、12的值将单帧图像6、7、8分割成图块20、21、22、23、24、25，其中进行优化过程利用单独分配给图块20、21、22、23、24、25的可变参数由单帧图像(6、7、8)算出SR图像(11)。
【权利要求】
1.本发明涉及一种用于生成图像分辨率更佳的SR图像(11)的方法，其中拍摄不可见光谱范围内一序列由像素(9，10)组成的单帧图像(6，7，8)，并且在优化过程中，通过将序列中的单帧图像(6，7，8)借助抽样函数建模为一 SR图像(11)的采样的方式，将所述单帧图像(6，7，8)合成所述SR图像(11)， 其特征在于: 第一步，自动计算流向所述序列的单帧图像(6，7，8)的光流并为每一单帧图像(6,7,8)分配一描述所述光流的位移向量场(11,12)； 第二步，将所述单帧图像(6，7，8)分割成至少两个图块(20，21，22，23，24，25)，其中每一图块(20，21，22，23，24，25)内的像素(9，10)分别在对应位移向量场(11，12)的值域的一预定分区中具有一位移向量(14，15，16，17，18，19)； 第三步，执行上述优化过程，其中对于所述图块(20，21，22，23，24，25)，分别改变至少一单独的可变参数。
2.根据权利要求1所述的方法，其特征在于:在所述第三步中，对于每一图块(20，21，22，23，24，25)，从其相关分区选出一位移向量(29，20，31，32，33，34)并用于确定优化过程的起始点。
3.根据权利要求1或2所述的方法，其特征在于:将所述序列的一单帧图像(6，7，8)选为参考单帧图像(7)，并且/或者根据所述参考单帧图像(7)计算所述位移向量场(11，12)。
4.根据权利要求1-3中任一项所述的方法，其特征在于:在计算光流之前，在一全局配准中对每一单帧图片(6，7，8)计算全局或刚体变换，通过所述变换可以最佳方式使所述单帧图像出，7，8)的相应图像内容互相叠合或与一参考单帧图像(7)叠合。
5.根据权利要求1-4中任一项所述的方法，其特征在于:在优化过程中优化一能量函数，并且/或者所述能量函数具有模拟图像噪音的项。
6.根据权利要求1-5中任一项所述的方法，其特征在于:所述可变参数分别描述所述图块(20，21，22，23，24，25)的相对图像位移，并且/或者所述可变参数分别确定一抽样函数或一点扩散函数(38，39，40，41，42，43，44)。
7.根据权利要求1-6中任一项所述的方法，其特征在于:由所述图块(20，21，22，23，24，25)中的单帧图像(6，7，8)部分分别推导出SR图块(35，36，37)中的SR图像(11)部分，并且/或者为一单帧图像(6，7，8)的一图块(20，21，22，23，24，25)分配的抽样函数或点扩散函数(38，39，40，41，42，43，44)应用于由所述图块导出的SR图像(35，36，37)的一 SR 图块(20，21，22，23，24，25)。
8.根据权利要求1-7中任一项所述的方法，其特征在于:在优化过程中，优化所述可变参数之后反复创建一适当的SR图像(11)，对于该SR图像(11)重新优化所述可变参数。
9.根据权利要求1-8中任一项所述的方法，其特征在于:在所述第三步中，指定对其执行优化过程的所述单帧图像(6，7，8)的图块(20，21，22，23，24，25)，并且/或者仅在所述单帧图像(6，7，8)的图块(20，21，22，23，24，25)或所述 SR 图像(11)的 SR 图块(35，36，37)的相关位移向量(14，15，16，17，18，19)位于预定区间之内或预定区间之外时才对其执行优化过程。
10.一种测量装置(I)，该测量装置包括用于在一不可见光谱范围内拍摄一序列单帧图像(6，7，8)的摄像装置(2)，其特征在于:一像质评定单元(5)构造用于实施根据前述任一权利要求 所述的方法。
【文档编号】G06T3/40GK103999123SQ201280061888
【公开日】2014年8月20日 申请日期:2012年12月10日 优先权日:2011年12月16日
【发明者】简-美素·埃弗斯-森纳, 马丁·斯特拉特曼, 马提亚·施米德尔, 约尔格·兰格 申请人:特斯托股份公司