通过几何修正和翘曲进行的运动分析的制作方法
【专利摘要】燃气涡轮机中的在具有大于400F的温度的热的大气中的对象在3D空间中移动。该移动可包括振动移动。该移动包括绕着轴的旋转移动和沿着轴的平移移动。用可以是高速摄像机的摄像机来记录对象的图像。为对象提供在图像中被跟踪的图案。确定对象的参考图像中的子补片的翘曲以形成标准形式的被翘曲区域。将该翘曲分段地应用于后续图像中的各区域以产生已修正图像。对经分段修正的图像应用诸如SSD跟踪的标准跟踪以确定对象的移动。由处理器来执行图像修正和对象跟踪。
【专利说明】通过几何修正和翘曲进行的运动分析
[0001]相关案件声明
本申请要求2011年9月19日提交的美国临时专利申请序列号61/536，255的优先权和权益，该专利申请通过引用被完全结合到本文中。
【技术领域】
[0002]本发明涉及对400F及更高温度下的涡轮机中的对象移动的基于图像的非接触测量。
【背景技术】
[0003]监视诸如被用于发电的燃气涡轮机的各部件在工作期间的振动行为是有用的。涡轮机的内部部件在远在室温以上的温度下工作。并且，涡轮机的主要区域在工作期间对于诸如加速度计之类的传感器而言并不是容易接近的。用于监视涡轮机部件在工作期间的振动行为的非接触测量解决方案是优选的。
[0004]相信当前没有基于摄像机的系统或方法可用于提供涡轮机的特定部件的图像以使得能够准确地分析此类部件在3D空间中的高频振动。
[0005]相应地，需要改进且新型的基于摄像机的方法和系统来记录在3D空间中移动且允许准确的移动分析的工作中的涡轮机的部件的图像。
【发明内容】
[0006]提供了用以跟踪多个图像中的3D对象的方法。根据本发明的一个方面，一种方法可以包括步骤:在3D对象上提供预定图案、识别所述多个图像中的参考图像中的包含3D对象上的预定图案的至少一部分的补片(patch)、确定该补片中的多个子补片、针对该补片中的所述多个子补片中的每一个使所述预定图案的被捕捉部分翘曲成标准形式图像形状、确定第二图像中的在所述补片内部的图像区域、由处理器将翘曲应用于所述补片内部的第二图像的图像数据；以及所述处理器根据所述参考图像和第二图像来确定所述3D对象的移动。
[0007]根据本发明的另一方面，上述方法可以包括通过对所述参考图像和第二图像应用平方差和(SSD)跟踪来确定该移动的步骤。
[0008]根据本发明的另一方面，3D对象是在具有大于400华氏度的温度的大气中移动的润轮机的一部分。
[0009]根据本发明的又一方面，所述预定图案是棋盘图案。并且，所述标准形式图像形状可以是正方形。该补片可以覆盖约3600个像素。
[0010]根据本发明的另一方面，3D对象的移动包括频率大于100 Hz的振动移动。
[0011]根据本发明的另一方面，3D对象经历绕着轴的圆周移动和沿着轴的平移移动。
[0012]根据本发明的另一方面，可以用红外线图像传感器来产生所述多个图像。
[0013]根据本发明的另一方面，可以通过子补片中的每个图像元素到已修正图像中的图像元素的2X2投影变换来确定翘曲。
[0014]根据本发明的另一方面，还提供了一种用以执行本文所述步骤的系统。该系统包括被使能为存储包括指令的数据的存储器和被使能为执行指令以执行本文所述步骤的处理器。
【专利附图】
【附图说明】
[0015]图1和2图示出根据本发明的一方面的两个移动机器部件和背景的由摄像机实现的图像。
[0016]图3图示出根据本发明的一方面的用以跟踪移动的机器部件上的补片；
图4图示出根据本发明的一方面的图像中的补片移动；
图5图示出机器部件的图像和其中将应用图像翘曲的位置；
图6-11图示出根据本发明的各方面的图像翘曲；
图12图示出根据本发明的一方面的对被翘曲的补片的跟踪；
图13图示出根据本发明的各方面的图像翘曲；
图14图示出根据本发明的一方面的对被翘曲的补片的跟踪；
图15图示出根据本发明的各方面的所执行的步骤；以及 图16图示出根据本发明的一方面的基于处理器的系统。
【具体实施方式】
[0017]根据本发明的一方面，监视并从视频图像分析工作中的涡轮机中的至少一个引擎部件的独立的2D和3D运动。所述视频图像是用视频摄像机捕捉的。在本发明的一个实施例中，部件在具有超过300华氏度或者甚至超过400华氏度或者甚至超过500华氏度或者甚至超过600华氏度的温度的涡轮机的暖和的或热的部分内部具有移动。
[0018]在本发明的另一实施例中，部件的移动包括振动。该振动可具有小于100 Hz的频率分量。该振动可具有100 Hz或更高的频率分量。频率分量可以在高达300 Hz的范围内。在本发明的一个实施例中，用以记录涡轮机的相对高温部分中的所述至少一个部件的移动的视频摄像机是具有红外(IR)图像传感器且以例如每秒2000巾贞的闻巾贞速率进彳丁记录的闻速摄像机。在本发明的另一实施例中，分析涡轮机中的至少两个引擎部件的2D和3D运动。
[0019]该问题是困难的，因为引擎部件执行独立的运动且受到它们被附着到的基座的未知运动的影响。因此，对象的所观察到的图像运动是基座的未知运动与单独的引擎部件运动的组合。此外，存在由周围区域中的热空气引起的烟雾效应。此烟雾在部件上引起不同的光学效应，并且被假设为至少在对象的小部分或对象图像的小补片上是恒定的。根据本发明的一方面，提供了用以通过使用高速摄像机来分析具有与室温相比相对高的温度的涡轮机中的一个或多个引擎部件的仅单独运动的方法和系统，所述运动可以是高频运动。
[0020]图1以样本图像的形式示出了装置的一个配置，并且图2以示意图的形式图示出装置的一个配置。两个引擎部件101和102正在被跟踪并且它们的移动被分析。所述两个引擎部件可独立于第三部件103进行移动，或者可被附着于可以是引擎框架的第三引擎部件103。用以记录引擎部件101和/或102的摄像机可附着于框架103，或者可独立于基座或框架103。为了促进对101和/或102的移动的分析，用区别图案来覆盖这些部件。在本发明的一个实施例中，该图案是具有不同的可区别色彩的正方形的棋盘图案。图案的尺寸是以其使得能够实现对预期运动的充分检测的方式被选择的。在本发明的一个实施例中，某些或所有正方形被提供有使得能够实现自动定位和跟踪的区别标记。
[0021]部件101和102的移动可以是任何移动，但是出于示例分析的目的，假设其为沿着轴的轴向移动和绕着轴201和202的圆周或旋转移动。用摄像机拍摄的图像是2D图像。对象101和102的旋转移动和轴向移动因此在2D图像中看起来是棋盘图案的平移移动。对象在z方向(垂直于屏幕或图像平面)上的移动将产生棋盘元素的尺寸的变化。
[0022]除非棋盘图案位于图像平面内且对象的移动在该图像平面内，否则棋盘图案将由于投影失真而失真并且可能在对象绕着其轴旋转时进一步失真。
[0023]想要实现的是通过连续图像来跟随或跟踪具有例如棋盘图案的图案的对象的移动，其中，绕着轴的旋转移动和/或沿着轴的移动呈现为2D平面中的平移移动。例如，对象上的图案中的正方形301的小的移动(旋转的和/或平移的)将呈现为在X和y方向上沿着矢量sxy移动的新位置302上的正方形。
[0024]因此，采取2D平移运动模型，并且通过跟踪对象上的棋盘图案中的补片的图像间平移移动来跟踪对象。这在图3中针对包括具有9个重叠补片401的机器部件101的图像被图示出。每个补片包括4个矩形且与下一补片的重叠是I个矩形。
[0025]通过应用标准平方差和(SSD)跟踪技术来单独地跟踪9个部分重叠的补片。将中心窗口的运动矢量与周围8个窗口的运动矢量的平均值相比较。检查运动矢量的一致性。由于补片全部在单个对象上，所以它们应显示出一致的运动。在图4中图示出来自部件101上的401中的不同补片的运动矢量的范数，其中，在横轴上提供了帧数且竖轴指示运动矢量的范数。人 们可以注意到图4中的运动矢量的范数的大的偏差，从而意味着跟踪是位置敏感的，并且因此以如在图4中所反映的形式是不可靠的。
[0026]存在使3D部件在2D图像中的跟踪失真的至少两个效应:a)投影失真和b)热(或烟雾)相关失真。所记录的图像/是/ =的结果，其中，?/b反映由于热和烟雾
而引起的光学失真且/Pi?反映投影失真。光学失真是由涡轮机中的暖和的和热的空气和/或气体的运动产生的并受其影响，并且将被认为仅在小区域上是相对一致的。投影失真取决于对象的形状。因此，所记录的图像和与3D空间中的原始图案相比的图像的失真至少是位置相关的。
[0027]根据本发明的一方面，应用在3D空间中被跟踪的对象上的图案的实际形状和尺寸的知识，以通过分析随着对象在3D空间中移动而从图像获取的对象的图像来跟踪对象随时间推移的移动。根据本发明的一方面，在图像中，将被布置在对象上的图案的至少一个元素(其中该元素的图像看起来是失真的)翘曲成标准形式。预期的是，在被翘曲成标准形式的图像中对象上的不同补片相对于彼此将显示出一致的移动，因此提供用于跟踪诸如涡轮机的机器中的热的大气中的引擎部件的可靠的非接触监视方法。
[0028]根据本发明的一方面，通过应用以下步骤来实现对图像中的至少经历该图像中的投影失真的对象的跟踪:
(1)为对象提供图案；
(2)(针对每个对象)用分段翘曲来矫正输入图像；以及(3)独立地跟踪多个(部分重叠的)窗口。
[0029]为了检查上述方法的可行性，可以通过(4)比较运动矢量并检查它们的一致性来进行验证。
[0030] 如例如图1中所示的引擎部件上的棋盘图案具有黑的和白的正方形，所述正方形具有已知尺寸(例如3.818mmX3.818mm)。在本发明的一个实施例中，该图案具有正方形，其中经受本文所述的方法的图案的正方形的边等于或大于3_。在本发明的一个实施例中，该图案具有正方形，其中经受本文所述的方法的图案的正方形的边小于3mm。在本发明的一个实施例中，该图案具有各元素，每个元素具有经受本文所述的方法的表面并且该表面小于9_2。在本发明的一个实施例中，该图案具有各元素，每个元素具有经受本文所述的方法的表面并且该表面等于或大于9mm2。在本发明的一个实施例中，该图案具有矩形，其中共享侧边的所有矩形具有不同的色彩。应注意的是，其他图案也是可能的且可以用来跟踪对象。一个目的是测量圆柱形引擎部件的轴向和圆周方向上的度量运动。出于此目的，使用棋盘图案作为说明性示例。
[0031]根据本发明的一个方面，使每个图像中的感兴趣区域(ROI)翘曲成规范模板。具体地，由于是棋盘图案，在输入图像中选择正方形区域的四个拐角并将其映射到经几何修正的图像中的正方形。由于引擎部件是圆柱形对象，所以存在用于几何修正的两个解决方案。
[0032](I)可以使用圆柱形引擎部件的物理模型(例如CAD)并导出该几何修正映射；
(2)可以从输入图像中选择小的区域并使用2X2投影变换Pi将它们映射到经几何修
正的图像中的相应位置(正方形的四个拐角)。针对平面表面(棋盘)上的每个场景点X，可以将其在图像中的成像点u线性地映射到规范图像正方形的点I
[0033]由于引擎部件不是平面的，所以仅将这样的变换应用到其中这样的线性映射是良好近似的小区域。结果，针对几何修正步骤实现了分段翘曲。此翘曲还修正热气体的(局部)效应。
【权利要求】
1.一种用以在多个图像中跟踪3D对象的方法，包括: 在所述3D对象上提供预定图案； 在所述多个图像中的参考图像中识别包含所述3D对象上的所述预定图案的至少一部分的补片； 确定所述补片中的多个子补片； 针对所述补片中的所述多个子补片中的每一个，使所述预定图案的被捕捉部分翘曲成标准形式图像形状； 确定第二图像中的所述补片内部的图像区域； 通过处理器将翘曲应用到第二图像中的补片内部的图像数据；以及 所述处理器根据所述参考图像和所述第二图像来确定所述3D对象的移动。
2.权利要求1的方法，其中，通过对所述参考图像和第二图像应用平方差和(SSD)跟踪来确定所述移动。
3.权利要求1的方法，其中，所述3D对象是在具有大于400华氏度的温度的大气中移动的涡轮机的一部分。
4.权利要求1的方法，其中，所述预定图案是棋盘图案。
5.权利要求1的方法，其中，所述标准形式图像形状是正方形。
6.权利要 求1的方法，其中，所述补片覆盖约3600个像素。
7.权利要求1的方法，其中，所述3D对象的所述移动包括频率大于100Hz的振动移动。
8.权利要求1的方法，其中，所述3D对象经历绕着轴的圆周移动和沿着所述轴的平移移动。
9.权利要求1的方法，其中，所述多个图像是用红外图像传感器产生的。
10.权利要求1的方法，其中，翘曲是通过子补片中的每个图像元素到已修正图像中的图像元素的2X2投影变换来确定的。
11.一种用以在多个图像中跟踪3D对象的系统，包括: 存储器，其被使能为用以存储包括指令的数据； 处理器，其被使能为用以执行指令以执行步骤: 在所述多个图像中的参考图像中识别包含所述3D对象上的预定图案的至少一部分的补片； 确定所述补片中的多个子补片； 针对所述补片中的所述多个子补片中的每一个，使所述预定图案的被捕捉部分翘曲成标准形式图像形状； 确定第二图像中的所述补片内部的图像区域； 使第二图像中的所述补片内部的图像数据翘曲；以及 根据所述参考图像和所述第二图像来确定所述3D对象的移动。
12.权利要求11的系统，其中，通过对所述参考图像和第二图像应用平方差和(SSD)跟踪来确定所述移动。
13.权利要求11的系统，其中，所述3D对象是在具有大于400华氏度的温度的大气中移动的润轮机的一部分。
14.权利要求11的系统，其中，所述预定图案是棋盘图案。
15.权利要求11的系统，其中，所述标准形式图像形状是正方形。
16.权利要求11的系统，其中，所述补片覆盖约3600个像素。
17.权利要求11的系统,其中，所述3D对象的所述移动包括频率大于100Hz的振动移动。
18.权利要求11的系统，其中，所述3D对象经历绕着轴的圆周移动和沿着所述轴的平移移动。
19.权利要求11的系统，其中，所述多个图像是用红外图像传感器产生的。
20.权利要求11的系统，其中，翘曲是通过子补片中的每个图像元素到已修正图像中的图像元素的2X2投影变换来确定的。`
【文档编号】G06T7/20GK103797515SQ201280045515
【公开日】2014年5月14日 申请日期:2012年8月24日 优先权日:2011年9月19日
【发明者】Y.根克, G.李, C.小哈彻 申请人:西门子公司, 西门子能源公司