一种基于单个相机的三维变形光测方法及装置与流程

本发明涉及一种三维变形光测领域，特别涉及一种基于单个相机的三维变形光测方法及装置。

背景技术：

数字图像相关(dic)方法是一种通过比较变形前后被测物体表面随机散斑图像直接测量全场位移和应变的非接触式光测力学方法，主要用于对材料或结构表面受各种外载荷作用下的位移和应变场进行测量。dic方法可分为基于单个相机测量的二维数字图像相关方法(2d-dic)和基于两个或多个相机测量的三维数字图像相关方法(stereo-dic)。2d-dic法已经发展的非常成熟，在实验室环境下测量精度很高，但只能用于平面物体表面的面内变形测量。在工程应用中被测物体表面往往是曲面，且在外载作用下变形比较复杂。stereo-dic方法可以适用于曲面物体表面的三维变形测量，但需要两个或多个摄像头同时进行拍摄，针对小尺寸试验件或狭窄空间作业受到一定限制。

为解决现用技术问题的上述缺陷，有必要提出一种基于单个相机的三维变形光测方法及装置。

技术实现要素：

有鉴于此，本发明的目的在于提出一种基于单个相机的三维变形光测方法及装置，构建一个完整简单高效的三维变形光测方案，其能够应用于小尺寸试验件或狭窄空间，且能够适用于曲面物体表面的三维变形测量。

为实现上述目的，本发明提出了一种基于单个相机的三维变形光测方法，其中，所述基于单个相机的三维变形光测方法包括：

s1)：将光栅置于摄像头和被测物体之间；

s2)：基于测量得到所述光栅到所述被测物体的距离z，标定得到成像系统的物距zobj和放大倍数m；

s3)：通过所述摄像头获取所述被测物体的第一负级衍射图像、原始图像以及第一正级衍射图像；

s4)：基于变形前的第一负级衍射图像和变形后的第一负极衍射图像得到计算点的第一负级位移矢量(u-1,v-1)，以及基于变形前的第一正级衍射图像和变形后的第一正极衍射图像得到计算点的第一正级位移矢量(u+1,v+1)；

s5)：基于第一负级位移矢量(u-1,v-1)、第一正级位移矢量(u+1,v+1)、所述距离z、成像系统的物距zobj以及所述放大倍数m，计算得到被测物体的三维变形。

如上所述的基于单个相机的三维变形光测方法，其中，在步骤s3)中，所述第一负级衍射图像为-1级衍射图像，所述第一正级衍射图像为+1级衍射图像。

如上所述的基于单个相机的三维变形光测方法，其中，在步骤s4)中，在变形前的-1级衍射图像中确定计算区域、图像子区和计算步长参数，然后分别在变形前+1级衍射图像、变形后-1级衍射图像、变形后+1级衍射图像中利用数字图像相关方法确定计算区域中的计算点的相应位置，以计算得到第一负级位移矢量(u-1,v-1)和第一正级位移矢量(u+1,v+1)。

如上所述的基于单个相机的三维变形光测方法，其中，在步骤s5)中，通过下式计算得出所述三维变形分量：

其中，所述三维变形分量为(u,v,w)。

如上所述的基于单个相机的三维变形光测方法，其中，通过下式计算得出所述第一负级位移矢量(u-1,v-1)和第一正级位移矢量(u+1,v+1)，

其中，计算点在变形前的-1级衍射图像中的位置为(x-1，y-1)，所述计算点在变形后的-1级衍射图像中的相应位置为(x’-1，y’-1)，所述计算点在变形前的+1级衍射图像中的相应位置为(x+1，y+1)，以及所述计算点在变形后的+1级衍射图像中的相应位置为(x’+1，y’+1)。

如上所述的基于单个相机的三维变形光测方法，其中，所述数字图像相关方法为二维数字图像相关方法。

本发明还提出了一种基于单个相机的三维变形光测装置，其中，所述基于单个相机的三维变形光测装置包括：

定位模块，用于将光栅定位于摄像头和被测物体之间；

图像采集模块，用于通过所述摄像头获取所述被测物体的第一负级衍射图像、原始图像以及第一正级衍射图像；

位移矢量获取模块，用于基于变形前的第一负级衍射图像和变形后的第一负极衍射图像得到计算点的第一负级位移矢量(u-1,v-1)，以及基于变形前的第一正级衍射图像和变形后的第一正极衍射图像得到计算点的第一正级位移矢量(u+1,v+1)；

标定模块，用于基于测量得到的所述光栅到所述被测物体的距离z，标定得到成像系统的物距zobj和放大倍数m；

三维变形获取模块，用于基于第一负级位移矢量(u-1,v-1)、第一正级位移矢量(u+1,v+1)、所述距离z、成像系统的物距zobj以及所述放大倍数m，计算得到被测物体的三维变形。

如上所述的基于单个相机的三维变形光测装置，其中，所述第一负级衍射图像为-1级衍射图像，所述第一正级衍射图像为+1级衍射图像。

本发明还提出了一种终端设备，其中，该终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于单个相机的三维变形光测方法的步骤。

本发明还提出了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上所述的基于单个相机的三维变形光测方法的步骤。

本发明的三维变形光测方法基于单个相机能够实现测量曲面物体表面的三维变形测量，同样适用于小尺寸试验件或狭窄空间作业。此外，本发明的三维变形光测装置基于单个摄像头和ccd相机测量物体表面的三维形貌和三维位移，整套测量系统结构简洁，节省空间。

此外，本发明的三维变形光测方法通过光栅的衍射作用将被测物体表面图像分为多级衍射图像，利用立体视觉算法实现对物体表面的三维变形测量，为物体表面的三维变形测量提供新的方案。

附图说明

图1为本发明实施例的基于单个相机的三维变形光测方法的流程图；

图2本发明实施例提供的单相机stereo-dic方法光路示意图；

图3为本发明实施例提供的单相机stereo-dic方法计算原理示意图；

图4为本发明实施例的基于单个相机的三维变形光测装置的结构示意图；以及

图5为本发明实施例提供的终端设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

下面结合附图详细说明本发明实施例的技术方案。

如图1所示，本发明提出了一种基于单个相机的三维变形光测方法，其中，该基于单个相机的三维变形光测方法包括如下步骤：

s1)：将光栅置于摄像头和被测物体之间；

s2)：基于测量得到光栅到被测物体的距离z，标定得到成像系统的物距zobj和放大倍数m；

s3)：通过摄像头获取被测物体的第一负级衍射图像、原始图像以及第一正级衍射图像；

s4)：基于变形前的第一负级衍射图像和变形后的第一负极衍射图像得到计算点的第一负级位移矢量(u-1,v-1)，以及基于变形前的第一正级衍射图像和变形后的第一正极衍射图像得到计算点的第一正级位移矢量(u+1,v+1)；

s5)：基于第一负级位移矢量(u-1,v-1)、第一正级位移矢量(u+1,v+1)、距离z、成像系统的物距zobj以及放大倍数m，计算得到被测物体的三维变形。

具体地，在本发明的具体实施例中，将光栅置于摄像头和被测物体中间，通过光栅的衍射作用，摄像头可以采集到被测物体的0级图像(原始图像)和-1级衍射图像、+1级衍射图像，即在上述步骤s3)中，第一负级衍射图像为-1级衍射图像，第一正级衍射图像为+1级衍射图像，通过将第一负极衍射图像到原始图像的衍射级数与第一正极衍射图像到原始图像的衍射级数相同可以增加本发明的三维变形光测方法的准确性。

进一步地，在步骤s4)中，在变形前的-1级衍射图像中确定计算区域、图像子区和计算步长参数，然后分别在变形前+1级衍射图像、变形后-1级衍射图像、变形后+1级衍射图像中利用数字图像相关方法确定计算区域中的计算点的相应位置，以计算得到第一负级位移矢量(u-1,v-1)和第一正级位移矢量(u+1,v+1)。在本实施例中，第一负级位移矢量(u-1,v-1)也可称为-1级位移矢量(u-1,v-1)，第一正级位移矢量(u+1,v+1)也可称为+1级位移矢量(u+1,v+1)。具体地，如图2至图3所示，对于试样表面三维位移的测量，先在变形前的-1级衍射图像中确定计算区域、图像子区(也可以称为参考子区)和计算步长等参数，如确定-1级衍射图像中计算点的位置坐标(x-1，y-1)，然后随后分别在变形前+1级衍射图像、变形后-1级衍射图像、变形后+1级衍射图像中利用2d-dic方法确定这些计算点的相应位置，根据确定的计算点相应位置计算得到变形前+1级衍射图像、变形后-1级衍射图像、变形后+1级衍射图像中相应计算点的位置坐标分别为(x’-1，y’-1)、(x+1，y+1)以及(x’+1，y’+1)。其中，利用2d-dic方法确定这些计算点的相应位置为本领域的技术人员所熟知的方法，在此不再进行详细地赘述。

根据下式(1)计算得出第一负级位移矢量(u-1,v-1)和第一正级位移矢量(u+1,v+1)，

通过测量得到光栅到被测物体的距离z，标定得到成像系统的物距zobj和放大倍数m，其中，根据光栅到被测物体的距离z进行标定以得到成像系统的物距zobj和放大倍数m为本领域技术人员所熟知，在此不再对该过程进行详细的赘述，此外，根据已知光栅的衍射角θ，可以通过下式(2)计算得到物体表面任意一点的三维位移分量：

其中，所述三维变形分量为(u,v,w)。

根据这些计算点得出的多个三维变形分量，从而得出被测物体的三维变形。

如图4所示，本发明还提出了一种基于单个相机的三维变形光测装置，其中，该基于单个相机的三维变形光测装置包括：定位模块10、图像采集模块20、位移矢量获取模块30、标定模块40以及三维变形获取模块50，其中，定位模块10用于将光栅定位于摄像头和被测物体之间，图像采集模块20用于通过摄像头获取被测物体的第一负级衍射图像、原始图像以及第一正级衍射图像，位移矢量获取模块30用于基于变形前的第一负级衍射图像和变形后的第一负极衍射图像得到计算点的第一负级位移矢量(u-1,v-1)，以及基于变形前的第一正级衍射图像和变形后的第一正极衍射图像得到计算点的第一正级位移矢量(u+1,v+1)；标定模块40用于基于测量得到的所述光栅到所述被测物体的距离z，标定得到成像系统的物距zobj和放大倍数m，以及三维变形获取模块50用于基于第一负级位移矢量(u-1,v-1)、第一正级位移矢量(u+1,v+1)、所述距离z、成像系统的物距zobj以及所述放大倍数m，计算得到被测物体的三维变形。

图5是本发明一实施例提供的一种终端设备的示意图。如图5所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62，例如基于单个相机的三维变形光测程序。处理器60执行计算机程序62时实现上述各个基于单个相机的三维变形光测方法的实施例中的步骤，例如上述所示的步骤s1至步骤s5。或者，处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块10至50的功能。

示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器60执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序62在终端设备6中的执行过程。

终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图5仅仅终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(centralprocessingunit，cpu)，还可以是其它通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备6所需的其它程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。

本发明实施的技术方案中，首先利用所设计的深度卷积神经网络模型对自然场景下的仪表盘信息进行特征提取，然后根据提取的信息做数字的识别、指针的定位、及读数的判定。该方案在对比和结合以往的指针式仪表识别设计的基础上，一方面解决了自然场景下的仪表盘信息难以提取的问题，另一方面解决了仪表盘上倾斜数字识别的问题，是一种泛化性高、鲁棒性强、通用性好的方案。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。