专利名称：结构远程检测系统与方法
技术领域：
本发明涉及如飞行器结构的远程检测方法。这种检测方法可以远距离检查结构， 例如维修操作时的远距离检测方法。本发明也涉及到实施这一方法的系统。这项发明可在计算机辅助控制和结构检测领域里应用。尤其是在航空领域飞行器结构组装或维修方面的应用。
背景技术：
鉴于飞行器为获准飞行所需达到的安全标准，维修阶段是飞行器寿命的关键阶段。在维修阶段需要对飞行器结构的详细检查，包括修理或更换有缺陷的部件。目前，飞行器维修是人工完成的。当飞行器在地面上时，维修技师上机检查飞行器结构的不同区域。对于这项检查，维修技师拥有一本手册，其中列出飞行器结构的各个部件。这本手册一般为纸张形式，有时是电子形式。维修技师检查是否各个部件符合手册所列各项。因此，飞行器结构检查是由维修技师进行的目视检查。当维修技师发现有缺陷的部件，他记下这个部件号，以便随后用一个新的部件更换或修理。这样的目视检查是维修技师独自在飞行器上检查结构状态。因此他是独自决定更换或修理结构部件。这本手册无疑是很珍贵的帮助，但只能依靠维修技师的技能来作出决定。当然可以考虑多个维修技师一起检查飞行器，但这样会增加维修成本。由于维修通常是由航空公司执行，所以超出费用由各航空公司支付。此外，在飞行器结构中，某些部件是重叠的，部分或全部重叠，因此很难查看一个部件。因此，对维修技师来说很难决定是更换还是修理这一部件。加之，结构的每一部件都有编号。部件号就标注在部件上。还有，要让技师知道哪个部件应该更换或修理，他必须能够读取其部件号。但如果是全部或部分的叠加部件，就可能难以目视读取有关部件号。
发明内容
本发明的目的正是为了克服上述技术的缺点。所以，本发明提供了一种计算机协助飞行器结构的检测方法。这个方法可以使专家远程协助维修技师。根据这一方法，在飞行器上维修技师对结构待查区域实现三维图像；这个三维图像叠加在结构数字模型上，以便确定部件的地理位置。这个叠加在数字模型上的三维图像可以显示在远离飞行器的电脑上。因此专家可以查看电脑上的叠加图像，帮助技师。更具体地说，本发明涉及一种远程结构检测方法，其特征在于它包括以下操作a)实现待查结构区域的三维图像b)将这个三维图像叠加在事先存储的结构数字模型上。c)在结构模型上，确定待查结构区域的地理位置，并d)在三维图像和数字模型叠加上，检查待查结构区域。
本发明的方法可以包括以下一项或多项特点-立体测光实现三维图像。-为实现三维图像的操作a)包括待查结构区域依次和间断的照明角度，它们来自每个不同位置的光源，每个照明角度拍摄一次待查结构区域，并通过处理这样获取的不同图像以实现三维图像。-操作a)含有四个待查结构区域的取像，四个不同的照明角度。-步骤c)确定地理位置包括遥控瞄准结构区域部件的操作。-它包括通过探测和读取固定在结构部件上芯片内的数据，进行待查区域预定位的预备步骤。本发明还涉及结构远程检测方法的实施系统，其特征在于它包括_ 一个取像装置(10)适合安装在待查结构区域(2)附近，并具有多个光源(12)分布在摄像机(11)附近，并-连接到取像装置(10)的图像处理装置(6)能够将摄像机(11)拍摄的图像生成待查结构区域的三维图像，并且-远离结构的电脑(4、5)，前述电脑或图像处理装置能够将结构区域数字模型与
三维图像重叠。这种远程检测系统可包括以下一项或多项特点-光源是由四个发光二极管构成，分别位于取像装置正面各角。-它包括无线连接到图像处理装置的电脑。-取像装置包括一个遥控激光束发射装置。
图1以示意图形式表示发明系统，以及系统各个元素的位置。图2以示意图形式表示发明系统的取像装置。图3表示由图2装置实现的图像系列。图4A、4B、4C和4D表示图3系列图像的放大。图5表示从图4A、4B、4C、4D等图像所获取的三维图像。图6表示飞行器结构数字模型举例。图7表示三维图像与飞行器结构图数字模型的叠加。图8表示装有激光束发射装置的取像装置。
具体实施例方式本发明涉及一种电脑辅助结构检测方法。在这个方法中，待查结构位于第一位置， 而电脑位于远离第一位置的第二位置。这两个位置可以相距几米到几公里或数百公里。图 1以示意图方式表示一个可以实施本发明方法的安装示例。在这个例子中，待查结构为飞行器结构，是维修检查。飞行器结构称为一个部件或一组部件，机械、电气、电子、液压等部件，参与建造飞行器。因此，一个飞行器结构可能只是或大或小的飞行器一部分或整个飞行器。图1表示一名维修技师(1)正研究一架飞行器的结构(2)。维修技师(1)配备了一个取像装置(10)。这个取像装置(10)连接到位于飞行器内或飞行器附近第一位置的图像处理装置(6)图像处理装置(10)可以是电脑，例如便携式电脑类。这种取像装置(10) 和图像处理装置(6)的结合，由维修技师就地使用能够独立检查飞行器结构。取像装置(10)也可以连接到远离第一位置的第二位置电脑(5)。例如，第二位置可以是拥有飞行器的航空公司办公楼，第一位置可以是该航空公司检修车间或机场停机坪。取像装置(10)通过传统连接方法连接到图像处理装置(6)。在图1的例子中，取像装置(10)通过无线方式连接到图像处理装置(6)，这个图像处理装置本身通过无线方式连接到电脑(5)。图1还显示了第三位置，远离第一和第二位置。例如，第三位置可以是飞行器制造商的场所。在这第三位置，有一个专家或专家小组(3)，配备一台电脑(4)，如便携式电脑。第三位置的电脑⑷通过无线方式连接到图像处理装置(6)和电脑(5)。航空公司专家和飞行器制造商专家可分别在电脑(5)和电脑(4)接收经图像处理装置(6)处理后所获图像。正如随后我们将看到的更多细节，这帧图像既可是飞行器结构三维图像与相应的飞行器结构数字模型的重叠图像，也可以是待查结构的三维图像(在电脑里将与数字模型重叠)。因此，技师可以独立检查飞行器的结构，并自己决定需要更换的缺陷部件。在无把握的情况下，他可征询第二位置航空公司专家或第三位置飞行器制造商专家的意见。按照本发明的方法，结构检查是将真实结构区域与相应的数字化结构区域比较。 航空公司或飞行器制造商专家与维修技师可以一起相互沟通，交流意见并共同决定需要修理或更换的部件，而无需专家前往飞行器停机现场。将在后面列举沟通方式。本发明检查方法的实施系统包括一个便携式取像装置(10)，维修技师可方便移动本系统。它还包括一帧图像处理设备(6)和电脑(4和5)。图像处理设备(6)可以是传统电脑、便携电脑、平板电脑或其它图像处理装置。它放在待查结构的附近。可以安装在飞行器内或在结构所在附近场所内。它通过有线或无线方式连接到取像装置(10)。技师可以在图像处理装置(10)直接查看结构重叠图像，专家可以从远距电脑查看同一结构重叠图像。这样维修技师便可得到专家远程协助。例如，当飞行器停泊在外国机场时，在航空公司或飞行器制造商场所内的专家们便可以协助负责国外飞行器维修的技师。取像装置(10)能够产生三维图像。图2所示为三维图像取像装置的一个例子。在这个例子中，取像装置(10)包括了一条电源电缆(13)，这条电缆(13)保证装置的电源；也可以保证将信息传输给图像处理装置(6)。不过应该指出的是，可以用安装在装置内的电池组实现取像装置的电源，向图像处理装置(6)的数据传输则可以通过无线连接实现。图2的取像装置(10)包括一个三维摄像机，由其镜头(11)代表。还包括了摄像机镜头(11)周围的光源(12)。光源(12)均勻分布在镜头(11)周围。在本发明首选的实现模式，光源(12)数量为四个，分布在取像装置前面各角落。每个光源由一个发光二极管 (LED)实现，或由数个LED组件实现。每个LED或LED组件有充足的电功率足以照亮待查结构区域。可以在LED前放置透镜以便放大或改变照明。在图2的例子中，显示四个LED安装在取像装置的同一表面。不过也可以安装在装置的侧面，实现投影。这四个光源(12)是为了间断照亮待查结构，即指每一个光源依次照亮同一待查结构。一个光源的每次照明，摄像机便实现照亮结构区域的图像。结构区域的照明以闪光形式进行，时间间隔非常短。事实上，目视只能看到每秒25帧图像，但摄像机可以捕捉到多得多的图像。如果LED每1/25秒闪亮1/100秒，LED每次闪亮便产生一帧图像。因此，每秒100帧的摄像机，每1/25秒便可以产生一组4帧图像。每次闪光产生一帧结构区域图像。同一结构区域的几帧图像，例如当有四个光源时就依次产生四帧图像，每帧图像由不同的照明角度产生。例如，在图2的例子里有四帧图像，这些图像经过处理提供一帧三维图像，也就是说，待查结构区域的一帧三维图像。这种三维图像的实现方法使用立体测光技术。这项技术是从不同的照明角度对同一目标产生多帧图像，使每帧图像包含同一目标的不同阴影。图像处理分析阴影对每幅图像的影响，并重建具有所有细节的目标三维图像。因此，光源越多，图像越多，所获三维图像就越精确。立体测光图像约有12级灰度，不仅包括各种距离，还可以给它们排序。这项技术至今一直用于实现个人三维图像，现在把它应用在本发明中，应用于飞行器结构类型的机械结构。作为本发明的一部分，它也可以应用于飞行器结构之外的其它结构，如汽车结构、 建筑物结构或公共工程结构等。图3代表立体测光摄像的两个例子。图3的A部分显示了使用立体测光技术的典型例子；图3的B部分显示了在本发明范围内使用这一立体测光技术的例子。在第一系列图像里，图3的A部分，一个人由4个光源照明，每个照明角度产生一帧图像。这些图像所用光源的位置由一个灯泡代表。可以看到，每帧图像上，不同角度的光源照亮人物，产生不同的阴影。对这些阴影进行处理可以获取面部的三维图像。在第二系列的图像上，图3的B部分显示了飞行器结构区域的立体测光方法。从四个不同的角度照明待查结构区域，对每帧图像产生具有不同级灰度的不同阴影。最后的图像显示对前四帧图像进行处理所获得的三维图像。图4A更详细地显示了图3的图像1以及光源的位置。同样，图4B、4C和4D分别显示了图3中的图像2、3和4，以及产生每帧图像所用光源的位置。图5显示处理图像1、2、3和4所获取的三维图像。这种处理使用四帧图像的不同级灰度，来确定不同的高度，形成三维图像的立体感。在本发明中，图像1、2、3和4由取像装置(10)产生，传输到图像处理装置(6)进行处理实现三维图像。图5用一个圆10表示实现三维图像的取像装置位置。可以从上述说明得知，如此获得的三维图像是待查结构区域的真实图像。假如维修技师的双目位于取像装置的位置 10，这一图像则与维修技师所见情况一致。在本发明方法中，待查结构区域的真实图像，即三维图像，是叠加在同一结构区域的数字图像上。这一数字图像是待查结构区域的理论图像。它构成结构数字模型。事实上， 目前的大部分结构，尤其是飞行器结构都是在制造前用电脑设计的。因此，在结构本身存在之前，就已经有结构的数字化形式。这种结构的数字化形式是结构的虚拟模型。图6显示了对应于图5三维图像结构区域的飞行器结构区域数字模型的例子。本发明建议用这个数字模型作为结构的理论图像。如此，按照本发明，将待查结构区域的三维图像叠加在同一结构的数字模型上。这个叠加在数字模型上的三维图像可以给待查区域地理定位，即结构整体区域的地理定位。这种三维图像和模型的叠加，可在图像处理装置(6)或专家电脑内实现。当由图像处理装置(6)执行时，叠加图像传输到电脑4和电脑5。当由电脑执行时，则是三维图像传输到电脑4和5，而数字模型则存储或导入在上述电脑内。因此，本发明的方法是从摄像机11产生的图像，生成待查结构区域的三维图像， 将这帧三维图像与事先存储的数字模型叠加。专家便可以在结构模型上确定待查结构区域的地理位置，并在这帧三维图像和数字模型叠加的图像上，检查上述待查区域。图7显示图5的三维图像和图6的模型。此外，还显示了待查区域三维图像与同一区域模型的重叠图像。从这帧重叠图像，专家可以细化和确认地理位置。专家便知道待查区域在该结构的具体位置。换句话说，他知道哪里是由取像装置的拍摄区域。当待查区域已地理定位时，便可以研究该区域内的各部件状态了。专家便可以从三维图像研究一个真实部件，即结构的一个部件可能受损，并把它与相应的虚拟部件比较。通过这一对比，他可以判断是否真实部件有缺陷，或是否这一部件处可接受状态。这一与结构虚拟模型重叠的三维图像可以显示叠置部件，也就是说一些部件位于其它部件之下，以及位于结构表面之下的部件，裸目目视只能看到表面部分。此外，专家还可以查看不同叠置部件之间的体积。专家还能通过虚拟模型重叠已经记录的区域修理。在结构检查期间，专家可以通过传统的通信手段与维修技师交流。他可以通过电脑进行沟通，例如，通过互联网或内部网，或者通过电话或任何已知的通信手段。通过这种沟通，可以要求另一结构区域的图像，也可以要求维修技师重做一次测量或交换意见，或要求技师更换或修理某一部件。为了与技师交流，例如向他指出损坏的部件，专家可以使用激光束作为指针。遥控激光发射装置产生激光束，如图2所示14。这一激光束14形成指针，可以在待查结构区域内精确指出一个构件。激光指针可以显示交叉形、圆形、方形或任何其他形状来指出待查区域内的构件。图8显示本发明取像装置的一个例子，它配备了激光束发射装置14。这个发射装置14包括一个激光发生器15，发射激光束20。它还包括一个棱镜16，形成指针的形状。这个棱镜可以是交叉形状，使激光指针成为交叉形。这个镜头可以互换，以便获得不同形状的指针。对棱镜16输出的激光束可以调整其水平或垂直方向。这个指向是通过激光束对镜子或棱镜的反射获得，镜子或棱镜由水平电机17和垂直电机19移动，一旦定向，激光束通过出口 18发射。激光束20的指向从电脑4或5远程控制，换句话说，激光束由专家遥控。专家在电脑上查看结构区域，可以通过连接在电脑上的鼠标进行遥控。用这种方法，专家可以告诉技师必须维修或互换的具体构件。这种遥控激光指针可以减少由于技师和专家之间的误解而产生的错误。激光指针也可以构成固定在虚拟模型部件上的目标，从而消除取像装置的干扰移动。这种激光指针的固定方法可以将飞行器虚拟点固定在对应的模型虚拟点上。一旦固定了激光指针，便可以在观测区域有关部件周围拍摄。例如，可以在一个螺栓周围拍摄，从壁板或部件的另一边找到与这一螺栓对应的螺母。
此外，我们知道在一个结构的每个部件上安装芯片越来越普遍，以便快速了解部件的性能和特点。这些RFID型芯片，包含有关形状、位置等信息。本发明的方法可以包括待查结构区域预定位的预备步骤。为此，本发明系统的取像装置包括一个芯片阅读器，能够读取待拍照部件芯片的存储数据。这种预定位的优点是可以减轻电脑对待查结构区域地理定位信息处理的负担。使用这一方法，只要取像装置接近芯片的位置，便可直接确定部件的定位。由芯片提供区域的位置，可以直接在该区域上实现地理定位处理。上述说明描述了本发明的一个飞行器维修案例。本发明也可以应用到飞行器结构部件装配，例如，检查安装后的装配质量，查看如此装配的结构是否完全符合模型。在对飞行器应用装配工艺规程前，通过将虚拟图像镶嵌在真实图像上，本发明还可以帮助分析或预览装配工艺规程。在设备或嵌入式系统故障的情况下，本发明还可由机组人员在飞行中使用。它也可以在飞行中用来现场拍摄发生在飞行器上的特殊事件，所产生的图像可用作事件进展的证据。上述发明系统对维修和远程决定提供帮助。它也可以作为飞行器上维修技师和航空公司维修单位之间的连接。本发明的系统还可以进行结构的自动识别，例如，当建立连接后，一系列的比特可以识别飞行器和相关结构。本系统可以构成与飞行器交货配套的维修和技术支持。上述方法使用一台录像照相机。可以把热成像摄像机加在取像装置里进行机翼检查；也可以添加摄影测量摄像机进行尺寸测量记录。
权利要求
1.一种用于结构的远程检测方法，其特征在于它包括以下操作a)实现待查结构区域的三维图像b)将这个三维图像叠加在事先存储的结构数字模型上。c)在结构模型上，确定待查结构区域的地理位置，并d)在三维图像和数字模型的叠加上，检查待查结构区域。
2.根据权利要求1的方法，其特征是三维图像通过立体测光实现。
3.根据权利要求2的方法，其特征是实现三维图像的操作a)包括 -通过每个位置不同的光源(12)，对待查结构区域依次和间断照明， -每次照明，对待查结构区域进行取像，并-对如此获得的不同图像进行处理实现三维图像。
4.根据权利要求3的方法，其特征是操作a)包括了在四种不同照明角度条件下，对待查结构区域的四次取像(图像1、图像2、图像3、图像4)。
5.根据权利要求1至4任意一条的方法，其特征是地理定位的步骤c}包括结构区域部件的遥控瞄准操作。
6.根据权利要求1至5任意一条的方法，其特征是它包括了待查区域预定位的预备步骤，通过对固定在结构部件上的每个芯片内含数据的探测和读取进行。
7.根据权利要求1至6任何一条的结构远程检测方法实施系统，其特征在于它包括 _一个取像装置(10)适合安装在待查结构区域(2)附近，并具有多个光源(12)分布在摄像机(11)附近，并-连接到取像装置(10)的图像处理装置(6)能够将摄像机(11)拍摄的图像生成待查结构区域的三维图像，并且-远离结构的电脑(4、5)，前述电脑或图像处理装置能够将三维图像与结构区域数字模型重叠。
8.根据权利要求7的系统，其特征是光源(12)是由四个发光二极管构成，它们分布在取像装置(10)正面的各角。
9.根据权利要求7或8的系统，其特征是它包括一台电脑(4、5)，通过无线方式连接到图像处理装置(6)。
10.根据权利要求7至9的系统，其特征是取像装置(10)包括一个遥控激光束发射装置(14)。
全文摘要
本发明涉及一种结构远程检测方法，其特征在于它包括以下操作实现待查结构区域的三维图像，将这个三维图像叠加在事先存储的结构数字模型上。在结构模型上，确定待查结构区域的地理位置，并在三维图像和数字模型的叠加图像上，检查待查结构区域。它也涉及到这一方法的实施系统，包括取像装置(10)适合安装在待查结构区域(2)附近，和一个图像处理装置(5)，它与取像装置(10)具有一定的距离，这个图像处理装置用于从摄像机(11)实现的图像生成三维图像。
文档编号G01N21/88GK102439394SQ201080021275
公开日2012年5月2日 申请日期2010年5月12日 优先权日2009年5月14日
发明者塞缪尔·比尔甘代, 弗朗索瓦·鲁伊尔 申请人:空中客车营运有限公司