数字图像变形表征方法、装置、电子设备及介质与流程

本发明涉及光学测量技术领域，尤其涉及一种图像质量和变形梯度调控的数字图像变形表征方法、装置、电子设备及介质。

背景技术：

数字散斑相关方法是通过比较变形前后散斑图像所包含的散斑信息，进而得到相应的变形场的一种光学测量方法。该方法具有不损伤被测试件、易于操作、可适应恶劣测试环境(例如高温高压)等优点，在航空航天、生物医学等领域均得到了广泛的应用。

数字散斑相关方法可以分为局部数字散斑相关和全局数字散斑相关两种，其中局部数字散斑相关是在图像中划分一系列独立的子区，具有较高的计算效率；而全局数字散斑相关是在图像中划分一系列由节点连接的单元，可以保证位移场的连续性。单元或子区尺寸是数字散斑相关的一个重要参数，直接影响计算结果的精度。由于所用散斑图像各不相同，待测位移场形式千变万化，目前单元或子区尺寸的选取尚没有统一的标准，多依赖于使用者的经验。

尤其是在对非线性位移场进行测定时，如果单元或子区尺寸过大，则单元或子区的形函数将无法准确刻画单元或子区内的复杂变形，进而导致计算误差的增加。如果单元或子区尺寸过小，则单元或子区内散斑信息过少，引起随机误差增大。变形情况和图像质量的双重限制使得计算结果对单元或子区尺寸的取值更加敏感。

此外，实际应用中还存在不同区域图像质量显著不同的情况。例如：复合材料不同组分上油漆、墨水的粘附能力不同；或复合材料不同组分对光的吸收能力不同，使得其中参杂的荧光颗粒被激发的数量不同。这时不仅单元或子区尺寸的选择更加困难，甚至均匀分布的单元或子区尺寸将难以满足要求。

上述问题限制了数字散斑相关方法在复杂问题中的进一步应用。

技术实现要素：

针对上述现有数字散斑相关方法的不足，本发明提供了一种图像质量和变形梯度调控的数字图像变形表征方法、装置、电子设备及介质。

根据本发明实施例的第一方面，提供一种图像质量和变形梯度调控的数字图像变形表征方法，该方法包括：

步骤1：提供变形前的散斑图像和变形后的散斑图像；

步骤2：针对变形前的散斑图像和/或变形后的散斑图像，通过海森(hessian)矩阵条件数的变化，确定单元或子区尺寸最小值lmin；

步骤3：根据单元或子区尺寸最小值lmin，通过整像素搜索或指定初始网格或子区分布，粗略计算位移场；

步骤4：根据位移场及切向量相关函数c(r)＝(t(s)·t(s+r))min＝c0，确定单元或子区尺寸最大值lmax，其中t(s)为s处曲线或面的切向量，c0为临界值；

步骤5：根据确定的单元或子区尺寸最大值lmax，判断是否满足收敛条件或i＞n，i为迭代次数，n为循环次数，如果满足收敛条件，则输出当前位移场，实现图像质量和变形梯度调控的数字图像变形表征。

上述方案中，步骤1中所述变形后的散斑图像是所述变形前的散斑图像移动某一位移得到的，比较变形后散斑图像与变形前散斑图像的差异能够获得相应的位移场。

上述方案中，步骤2中所述确定单元或子区尺寸最小值lmin，

是根据散斑图像的图像质量，采用变形前的散斑图像，通过hessian矩阵条件数的变化，将使hessian条件数剧烈增加的单元或子区尺寸作为单元或子区尺寸的最小值；或者

是根据散斑图像的图像质量，采用变形后的散斑图像，通过hessian矩阵条件数的变化，将使hessian条件数剧烈增加的单元或子区尺寸作为单元或子区尺寸的最小值；或者

是根据散斑图像的图像质量，分别采用变形前的散斑图像和变形后的散斑图像，各确定一个单元或子区尺寸的最小值，然后再取平均值作为单元或子区尺寸的最小值。

上述方案中，步骤2中所述单元或子区是使用三角形或四边形。

上述方案中，步骤3中所述计算位移场时需要用到变形前的散斑图像和变形后的散斑图像，变形前的散斑图像和变形后的散斑图像二者对应一个位移场。

上述方案中，步骤3中所述计算位移场使用全局数字散斑相关方法或局部数字散斑相关方法。

上述方案中，所述步骤5还包括：如果不满足收敛条件，则根据各点应变梯度和图像质量重新指定网格或子区分布，执行数字散斑相关计算，并返回执行步骤4和步骤5，直至满足收敛条件。

根据本发明实施例的第二方面，提供一种图像质量和变形梯度调控的数字图像变形表征装置，该装置包括：

图像提供模块，用于提供变形前的散斑图像和变形后的散斑图像；

第一处理模块，用于针对变形前的散斑图像和/或变形后的散斑图像，通过hessian矩阵条件数的变化，确定单元或子区尺寸最小值lmin；

第二处理模块，用于根据单元或子区尺寸最小值lmin，通过整像素搜索或指定初始网格或子区分布，粗略计算位移场；

第三处理模块，用于根据位移场及切向量相关函数c(r)＝(t(s)·t(s+r))min＝c0，确定单元或子区尺寸最大值lmax，其中t(s)为s处曲线或面的切向量，c0为临界值；以及

数字图像变形表征模块，用于根据确定的单元或子区尺寸最大值lmax，判断是否满足收敛条件或i＞n，i为迭代次数，n为循环次数，如果满足收敛条件，则输出当前位移场，实现对图像质量和变形梯度调控的数字图像变形表征。

根据本发明实施例的第三方面，提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的数字图像变形表征方法。

根据本发明实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现上述的数字图像变形表征方法。

与现有技术相比，本发明提供的图像质量和变形梯度调控的数字图像变形表征方法、装置、电子设备及介质，可以适应复杂的变形情况及图像质量，具有更高的精确性和准确性，易于使用。

附图说明

为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。其中：

图1示意性示出了根据本发明一示例性实施例的图像质量和变形梯度调控的数字图像变形表征的方法流程示意图。

图2a示意性示出了根据本发明一示例性实施例中变形前的散斑图像。

图2b示意性示出了根据本发明一示例性实施例中变形后的散斑图像。

图3示意性示出了根据本发明一示例性实施例中沿x方向的位移场分布。

图4示意性示出了根据本发明一示例性实施例中用于计算的网格。

图5a示意性示出了根据本发明一示例性实施例中本发明方法与传统方法的误差均值对比示意图。

图5b示意性示出了根据本发明一示例性实施例中本发明方法与传统方法的误差标准差对比示意图。

图6示意性示出了根据本发明一示例性实施例的图像质量和变形梯度调控的数字图像变形表征装置的框图；

图7示意性示出了根据本发明一示例性实施例的电子设备的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1示意性示出了根据本发明一示例性实施例的图像质量和变形梯度调控的数字图像变形表征的方法流程示意图。在本实施例中，使用模拟散斑图像，图像尺寸为400像素×400像素，其中左部分包含400×200×0.02个散斑颗粒，右部分包含400×200×0.06个散斑颗粒。散斑粒子为直径1.2像素的圆形，图像没有噪声。位移场为单正弦位移场：u＝5sin(2πx/300)、v＝0。现对图2a中白色方框内的位移场进行计算，使用全局数字散斑相关方法，其中误差函数为零均值归一化最小平方距离相关函数，单元类型为三节点三角形单元，迭代方法为牛顿-拉弗森迭代。具体步骤如下：

步骤1：提供变形前的散斑图像和变形后的散斑图像；

如图2a和图2b所示，图2a是变形前的散斑图像，图2b是变形后的散斑图像；其中，变形后的散斑图像是所述变形前的散斑图像移动某一位移得到的，比较变形后散斑图像与变形前散斑图像的差异能够获得相应的位移场。

步骤2：针对变形前的散斑图像和/或变形后的散斑图像，通过海森(hessian)矩阵条件数的变化，确定单元或子区尺寸最小值lmin：

确定单元尺寸最小值时，是根据散斑图像的图像质量，使用变形前的图像或变形后的图像中的任一个都是可以的，也可以分别根据二者确定最小值，再取平均值。

在数学中，hessian矩阵(hessianmatrix或hessian)是一个多变量实值函数的二阶偏导数组成的方块矩阵，hessian矩阵被应用于牛顿法解决的大规模优化问题。

随着单元尺寸的减小，单元内包含的信息减少，hessian随之增大，进而导致计算误差增大。因此使hessian条件数剧烈增加的单元尺寸可以作为单元尺寸的最小值。在本实施例中，使用变形前图像确定图像质量，使用正则化工具箱中的l拐角发现算法确定单元尺寸最小值lmin＝10像素。

步骤3：根据单元或子区尺寸最小值lmin，通过整像素搜索或指定初始网格或子区分布，粗略计算位移场：

其中，计算位移场时需要用到变形前的散斑图像和变形后的散斑图像，这两张图像对应一个位移场；

变形后的散斑图像是变形前的散斑图像移动一定位移得到的，根据变形前的散斑图像和变形后的散斑图像可以求解得到相应位移场。

此处以lmax＝2lmin＝20像素作为单元尺寸最大值划分网格，并使用数字散斑相关算法计算位移场。不同位置的单元尺寸满足：

且：

β(x，y)＝c1q(x，y)/qmax+c2g(x，y)/gmax(2)

其中用于描述点(x，y)处的图像质量，q值越大说明该点图像质量越好，可以使用更小尺寸的单元。w为高斯窗函数，(xi，yi)为高斯窗内的所有整像素点，此处高斯窗取为半径为5像素的圆形。

fx(xi，yi)和fx(xi，yi)分别是点(xi，yi)处灰度沿x和y方向的梯度。用于描述点(x，y)处的应变梯度，g值更小的位置可以使用更大尺寸的单元。e为格林应变张量。c1和c2为对应的加权系数，表明应变梯度和图像质量对计算的影响程度，此处认为二者影响程度相当，取c1＝c2＝0.5。由于此时位移场未知，故仅考虑β(x，y)的第一项。

步骤4：根据上一步所得位移场及切向量相关函数c(r)＝(t(s)·t(s+r))min＝c0，确定单元或子区尺寸最大值lmax，其中t(s)为s处曲线或面的切向量，c0为临界值：单元或子区尺寸过大时，单元或子区形函数将不能准确逼近单元或子区内复杂的位移场，因此确定单元或子区尺寸最大值时，是基于位移场，而不是散斑图像。

在本实施例中，形函数对位移曲线的描述相当于使用一系列直线段来逼近曲线。当切向量t(s)和t(s+r)在同一条直线上时，c(r)＝1，表明这两点之间的位移曲线完全可以用一条直线代替；随着直线段长度r的增大，c(r)越来越小，使用其逼近曲线的精度将越来越低。当相关函数小于临界值c0时，得到单元尺寸最大值lmax＝29像素，此处取c0＝0.997。

步骤5：根据确定的单元或子区尺寸最大值lmax，判断是否满足收敛条件或i＞n，i为迭代次数，n为循环次数，如果满足收敛条件，则输出当前位移场，实现图像质量和变形梯度调控的数字图像变形表征；否则，根据各点应变梯度和图像质量重新指定网格或子区分布，执行数字散斑相关计算，并重复执行步骤4和步骤5，直至满足收敛条件。

在本实施例中，取δl＝1像素，n＝5次；此时未达到收敛条件，继续执行计算，以lmin＝10像素和lmax＝29像素为范围重新划分网格，各点单元尺寸仍满足式(1)和式(2)，保持c1＝c2＝0.5，再次进行数字散斑相关计算。

重复执行步骤4和步骤5，在循环5次后终止计算。第2～5次循环所得的单元尺寸最大值分别为：像素，像素，像素，像素。最终的网格分布如图4，其中更深的颜色代表更小的网格尺寸。可以看出，应变梯度大、图像质量好的位置具有更小尺寸的单元。

图5a是依照本发明实施例的采用本发明方法与采用传统方法计算的误差均值对比示意图，图5b是依照本发明实施例的采用本发明方法与采用传统方法计算的误差标准差对比示意图。本发明使用的是不均匀网格，传统方法使用的是均匀网格，其网格尺寸可以不同。通过直接对比可知采用本发明方法的准确性和精确性均高于传统方法(或与传统方法最优值相当)，证明了本发明具有的有益效果。

图6示意性示出了根据本发明一示例性实施例的图像处理装置的框图，如图6所示，该装置600例如可以包括图像提供模块610、第一处理模块620、第二处理模块630、第三处理模块640及数字图像变形表征模块650。

其中：

图像提供模块610，用于提供变形前的散斑图像和变形后的散斑图像；

第一处理模块620，用于针对变形前的散斑图像和/或变形后的散斑图像，通过hessian矩阵条件数的变化，确定单元或子区尺寸最小值lmin；

第二处理模块630，用于根据单元或子区尺寸最小值lmin，通过整像素搜索或指定初始网格或子区分布，粗略计算位移场；

第三处理模块640，用于根据位移场及切向量相关函数c(r)＝(t(s)·t(s+r))min＝c0，确定单元或子区尺寸最大值lmax，其中t(s)为s处曲线或面的切向量，c0为临界值；以及

数字图像变形表征模块650，用于根据确定的单元或子区尺寸最大值lmax，判断是否满足收敛条件或i＞n，i为迭代次数，n为循环次数，如果满足收敛条件，则输出当前位移场，实现图像质量和变形梯度调控的数字图像变形表征。

本实施例的装置在实施上，可以以软件的方式安装于用于数字散斑相关计算的电脑，提供实时检测；也可以安装于用于数字散斑相关计算的后台服务器，提供大批量后台检测。

需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，具体细节请参照方法实施例部分，在此不再赘述。

根据本发明的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，图像提供模块610、第一处理模块620、第二处理模块630、第三处理模块640及数字图像变形表征模块650中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，图像提供模块610、第一处理模块620、第二处理模块630、第三处理模块640及数字图像变形表征模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者图像提供模块610、第一处理模块620、第二处理模块630、第三处理模块640及数字图像变形表征模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7是根据一示例性实施例示出的一种电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700包括处理器710、计算机可读存储介质720。该电子设备700可以执行根据本发明实施例的方法。

具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存等等。

计算机可读存储介质720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时，使得处理器710能够根据本发明的方法求解本实施例或其它任何变形。

计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721a、模块721b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本发明实施例的方法或其它任何变形。

根据本发明的实施例图像提供模块610、第一处理模块620、第二处理模块630、第三处理模块640及数字图像变形表征模块650中的至少一个可以实现为参考图7描述的计算机程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。