一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置

1.本技术涉及生物摩擦磨损技术领域，特别涉及一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置。


背景技术：

2.磨损颗粒包括铁磁性磨粒、有色金属磨粒以及陶瓷屑等，常见于机械摩擦领域和生物摩擦学领域等。对磨损颗粒的研究在这些领域中很常见，如在机械摩擦领域，通常在设备上安装在线传感器来实时监测连续循环润滑系统中的油液状态，油液中磨损颗粒的检测对于判断机械故障及异常磨损状态具有重要意义。在生物摩擦学领域，对磨损颗粒的研究也常有报道，如，在人工关节的应用研究上，关节摩擦副运动过程中产生的磨损颗粒，由于磨损颗粒是摩擦表面剥离、脱落的生成物，从而磨损颗粒含有大量详尽而重要的摩擦学信息(例如，磨粒尺寸、数量、成份和形貌特征等)，通过摩擦学信息可以反应置换关节的磨损形式和机理。由此，通过分析磨损颗粒与微观磨损状态间的对应关系，可以寻求关节材料在人体环境中复杂摩擦磨损趋势中的变化规律，这对于人工关节使用状态的监测和无损故障诊断具有重要的现实意义。
3.目前对于磨损颗粒的研究主要是通过图像方式对磨损颗粒进行三维重构，其中，三维重构可以包括不需要辅助光源的基于运动的三维重建方法和基于轮廓的三维重建方法，以及需要辅助光源的单幅图像明暗变化的三维重建方法。基于运动的三维重建方法(structure from motion,sfm)是通过相机与目标物体发生相对运动对目标进行重建。该方法通过采集目标物体多视图，通过对极几何的知识实现物体的三维重建，其基本流程为相机标定、特征点检测与匹配、三角测量以及生成三维点云。由于显微镜头光学畸变较大，在相机标定过程中会影响标定结果的精确性，从而导致生成点云的不准确。
4.基于轮廓的三维重建方法(shape-from-silhouette,sfs)为通过获取多视图的轮廓信息，计算获取到的轮廓信息间的空间关系来实现物体的三维重建。基于轮廓的三维重建需要进行旋转轴的确定以及判断不同视图之间的旋转关系。在复杂的流体环境中，往往会由于判断的不准确而引入误差。
5.单幅图像明暗变化的三维重建方法是通过单幅图像明暗变化恢复三维形状(shape-from-shading,sfs)，其可以看作成像过程的逆过程。但是，由于单幅图像的信息量小，从而需要加入大量的约束条件限制，进而限制了单幅图像明暗变化的三维重建方法的适用范围。
6.因而现有技术还有待改进和提高。


技术实现要素：

7.本技术要解决的技术问题在于，针对现有技术的不足，提供一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置。
8.为了解决上述技术问题，本技术实施例第一方面提供了一种基于多聚焦图像的磨
损颗粒表面重构方法，所述方法包括：
9.获取待重构磨损颗粒的多聚焦图像序列；
10.采用差分进化算法确定所述多聚焦图像序列对应的划分参数，并基于所述划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分，以得到各聚焦图像各自对应的若干图像块；
11.计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像；
12.确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像。
13.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述多聚焦图像序列为通过多聚焦图像采集装置采集得到的，其中，所述多聚焦图像采集装置包括设置有载物台的工作台、设置于所述工作台上的立柱，以及连接于所述立柱上的采集组件和驱动机构，所述驱动机构与所述采集组件相连接并驱动所述采集组件沿所述立柱向靠近或远离所述载物台的方向运动；所述采集组件包括沿立柱延伸方向布置的相机、环形光源以及镜头，所述载物台位于所述镜头下方。
14.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述获取待重构磨损颗粒的多聚焦图像序列之后，所述方法还包括：
15.对于多聚焦图像序列中任意两个相邻聚焦图像，检测两个相邻聚焦图像中的第一聚焦图像的sift特征点和两个相邻聚焦图像中的第二聚焦图像的sift特征点；
16.采用klt算法将所述第一聚焦图像的sift特征点与所述第二聚焦图像的sift特征点进行匹配，并基于匹配后的各sift特征点确定所述第一聚焦图像和所述第二聚焦图像间的仿射变换矩阵；
17.以所述多聚焦图像序列中的第一帧聚焦图像作为参考图像，基于各相邻聚焦图像间的仿射变换矩阵，对所述多聚焦图像序列中的各聚焦图像进行运动补偿以配准所述多聚焦图像序列。
18.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述采用差分进化算法确定所述多聚焦图像序列对应的划分参数具体包括：
19.随机生成初始种群，其中，所述初始种群包括若干初始划分参数；
20.对于初始种群中的每个初始划分参数，基于所述初始划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分以得到各聚焦图像各自对应的若干图像块；计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列进行融合以得到融合图像；
21.分别计算各融合图像的全局聚焦度值，基于各融合图像的全局聚焦度值在所述初始种群中选取目标划分参数；
22.基于目标划分参数通过交叉变异操作形成中间种群，并基于所述中间种群作和所述初始种群确定新一代种群；
23.将新一代种群作为初始种群并继续执行对于初始种群中的每个初始划分参数，基于所述初始划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分的步骤直至满足迭代终止条件，以得到所述多聚焦图像序列对应的划分参数。
24.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述计算划分得到的各图像块的聚焦度值具体包括：
25.对所述多聚焦图像序列中的每个聚焦图像进行非下采样小波变换，以得到各聚焦图像中的各像素点的总高频系数；
26.计算各图像块中的各像素点的总高频系数之和，以得到各图像块的聚焦度值。
27.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像具体包括：
28.对于对应相同区域位置的若干图像块，选取若干图像块中聚焦度值最大的图像块作为目标图像块，以得到各区域位置各自对应的目标图像块；
29.将各区域位置各自对应的目标图像块拼接以得到融合图像。
30.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像具体包括：
31.对于融合图像中的每个像素位置，在所述多聚焦图像序列中的各聚焦图像选取所述像素位置对应的候选像素点，并确定各候选像素点的候选聚焦度值；
32.对各候选像素点的候选聚焦度值进行高斯拟合以得到聚焦度值曲线，并选取所述聚焦度值曲线的峰值作为所述像素位置对应的目标聚焦度值；
33.基于所述目标聚焦度值确定所述像素位置对应的深度值，以得到所述待重构磨损颗粒对应的重构图像。
34.所述基于多聚焦图像的磨损颗粒表面重构方法，其中，所述确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像之后，所述方法包括：
35.采用核回归算法对所述重构图像进行平滑处理，并将平滑处理后的重构图像作为待重构磨损颗粒的表面重构图像。
36.本技术实施例第二方面提供了一种多聚焦图像采集装置，所述的装置包括设置有载物台的工作台、设置于所述工作台上的立柱，以及连接于所述立柱上的采集组件和驱动机构，所述驱动机构与所述采集组件相连接并驱动所述采集组件沿所述立柱向靠近或远离所述载物台的方向运动；所述采集组件包括沿立柱延伸方向布置的相机、环形光源以及镜头，所述载物台位于所述镜头下方。
37.本技术实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
38.所述通信总线实现处理器和存储器之间的连接通信；
39.所述处理器执行所述计算机可读程序时实现如上任一所述的基于多聚焦图像的磨损颗粒表面重构方法中的步骤。
40.有益效果：与现有技术相比，本技术提供了一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置，所述方法包括获取待重构磨损颗粒的多聚焦图像序列；采用差分进化算法确定所述多聚焦图像序列对应的划分参数，并基于所述划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分，以得到各聚焦图像各自对应的若干图像块；计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像；确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像。本实施通过差分进化算法确定多聚焦图像序列对应的划分参数，并基于划分
得到的各图像块的聚焦度值来选取融合图像块，这样可以提高融合图像块的聚焦程度，从而可以提高重构图像的清晰度。
附图说明
41.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本技术提供的多聚焦图像采集装置的一个视角的结构示意图。
43.图2为本技术提供的多聚焦图像采集装置的一个视角的结构示意图
44.图3为本技术提供的多聚焦图像采集装置的一个视角的结构示意图
45.图4为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法的流程图。
46.图5为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的高斯差分尺度空间生成过程的示意图。
47.图6为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的极点确定过程的示意图。
48.图7为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的主梯度方向确定过程的示意图。
49.图8为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的关键点描述子确定过程的示意图。
50.图9为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的固定帧运动补偿示意图。
51.图10为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的划分参数确定过程的流程示意图。
52.图11为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的高频分量系数图的示意图。
53.图12为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的聚焦度值反映聚焦区域的示意图。
54.图13为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法中的聚焦度值区域的示意图。
55.图14为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法确定重构图像与激光共聚焦图像的一组对比示意图。
56.图15为本技术提供的基于多聚焦图像的磨损颗粒表面重构方法确定重构图像与激光共聚焦图像的一组对比示意图。
57.图16为本技术提供的终端设备的结构原理图。
具体实施方式
58.本技术提供一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细
说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
59.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
60.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
61.应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
62.发明人经过研究发现，磨损颗粒包括铁磁性磨粒、有色金属磨粒以及陶瓷屑等，常见于机械摩擦领域和生物摩擦学领域等。对磨损颗粒的研究在这些领域中很常见，如在机械摩擦领域，通常在设备上安装在线传感器来实时监测连续循环润滑系统中的油液状态，油液中磨损颗粒的检测对于判断机械故障及异常磨损状态具有重要意义。在生物摩擦学领域，对磨损颗粒的研究也常有报道，如，在人工关节的应用研究上，关节摩擦副运动过程中产生的磨损颗粒，由于磨损颗粒是摩擦表面剥离、脱落的生成物，从而磨损颗粒含有大量详尽而重要的摩擦学信息(例如，磨粒尺寸、数量、成份和形貌特征等)，通过摩擦学信息可以反应置换关节的磨损形式和机理。由此，通过分析磨损颗粒与微观磨损状态间的对应关系，可以寻求关节材料在人体环境中复杂摩擦磨损趋势中的变化规律，这对于人工关节使用状态的监测和无损故障诊断具有重要的现实意义。
63.目前对于磨损颗粒的研究主要是通过图像方式对磨损颗粒进行三维重构，其中，三维重构可以包括不需要辅助光源的基于运动的三维重建方法和基于轮廓的三维重建方法，以及需要辅助光源的单幅图像明暗变化的三维重建方法。基于运动的三维重建方法(structure from motion,sfm)是通过相机与目标物体发生相对运动对目标进行重建。该方法通过采集目标物体多视图，通过对极几何的知识实现物体的三维重建，其基本流程为相机标定、特征点检测与匹配、三角测量以及生成三维点云。由于显微镜头光学畸变较大，在相机标定过程中会影响标定结果的精确性，从而导致生成点云的不准确。
64.基于轮廓的三维重建方法(shape-from-silhouette,sfs)为通过获取多视图的轮廓信息，计算获取到的轮廓信息间的空间关系来实现物体的三维重建。基于轮廓的三维重建需要进行旋转轴的确定以及判断不同视图之间的旋转关系。在复杂的流体环境中，往往会由于判断的不准确而引入误差。
65.单幅图像明暗变化的三维重建方法是通过单幅图像明暗变化恢复三维形状(shape-from-shading,sfs)，其可以看作成像过程的逆过程。但是，由于单幅图像的信息量小，从而需要加入大量的约束条件限制，进而限制了单幅图像明暗变化的三维重建方法的
适用范围。
66.为了解决上述问题，在本技术实施例中，获取待重构磨损颗粒的多聚焦图像序列；采用差分进化算法确定所述多聚焦图像序列对应的划分参数，并基于所述划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分，以得到各聚焦图像各自对应的若干图像块；计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像；确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像。本实施通过差分进化算法确定多聚焦图像序列对应的划分参数，并基于划分得到的各图像块的聚焦度值来选取融合图像块，这样可以提高融合图像块的聚焦程度，从而可以提高重构图像的清晰度。
67.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
68.本实施例提供的基于多聚焦图像的磨损颗粒表面重构方法需要获取多聚焦图像序列，从而为了获取多聚焦图像序列，本实施例提供了一种多聚焦图像采集装置，如图1、如图2和图3所示，所述的装置包括工作台1，所述工作台1上设置有载物台2以及立柱3，所述立柱3一端与所述工作台1连接，另一端向远离所述工作台1的方向延伸；所述立柱3上设置有采集组件7以及驱动机构4，所述驱动机构4与所述采集组件7相连接并驱动所述采集组件7沿所述立柱5向靠近或远离所述载物台2的方向运动。其中，所述采集组件7包括沿立柱延伸方向布置的相机71、环形光源72以及镜头73，所述载物台2位于所述镜头73下方，所述环形光源72用于为相机71提供光源；所述相机71可以与外部设备连接，将其采集的图像通过连接线传输给外部设备，所述驱动机构4可以采用伺服电机，所述立柱3沿其延伸方向设置有刻度尺，通过所述刻度值反映所述采集组件7的移动距离。此外，所述采集组件7通过连接组件与立柱3相连接，连接组件包括滑台5以及连接件6，滑台5滑动连接于立柱3上并与驱动机构4相连接，连接件6一端与滑台5连接，另一端向靠近载物台2方向延伸并与所述采集组件7相连接。本实施例在相机通过驱动机构驱动沿立柱滑动过程中采集多聚焦图像序列，这样通过一个相机可以拍摄到多张聚焦不同的聚焦图像，从而避免因显微镜头光学畸变而影响重构图像的图像准确性的问题。
69.所述的装置的工作过程为：控制伺服电机转动以通过伺服电机滑台沿立柱滑动，滑台通过连接件带动采集组件运动，相机在运动过程中进行图像采集或视频录制以得到多聚焦图像序列。其中，所述相机的相机参数可以根据实际需要设定，相机参数可以包括对比度、曝光时间、白平衡、视频帧率以及文件存放位置等。也就是说，设置采集机构沿立柱的运动速度及运动行程，并同时启动伺服电机以及采集组件即可获取放置于载物台上的被测物体的多聚焦图像序列。
70.在一个实现方式中，滑台移动速度范围为0.0025mm/s-30cm/s，台行程为340mm，采集组件的采集频率为30帧/s。例如，滑台移动速度为2.5um/s，滑台以2.5um/s的速度运行100um则需要40s，40s可以拍摄为1200帧，此外，在确定滑台移动速度以及拍摄张数后，可以根据曝光方式可以确定两帧之间距离。
71.本实施例提供了一种基于多聚焦图像的磨损颗粒表面重构方法，如图4所示，所述方法包括：
72.s10、获取待重构磨损颗粒的多聚焦图像序列。
73.具体地，所述多聚焦图像序列包括若干聚焦图像，若干聚焦图像中的每个聚焦图
像均包括有待重构磨损颗粒，并且若干聚焦图像是拍摄的同一场景，并且若干聚焦图像中的每张聚焦图像聚焦于不同位置。在一个实现方式中，所述多聚焦图像序列可以通过上述多聚焦图像采集装置采集得到的，该装置的具体结构和工作过程可以参照上述说明，这里就不在赘述。
74.在本实施例的一个实现方式中，所述获取待重构磨损颗粒的多聚焦图像序列之后，所述方法还包括：
75.对于多聚焦图像序列中任意两个相邻聚焦图像，检测两个相邻聚焦图像中的第一聚焦图像的sift特征点和两个相邻聚焦图像中的第二聚焦图像的sift特征点；
76.采用klt算法将所述第一聚焦图像的sift特征点与所述第二聚焦图像的sift特征点进行匹配，并基于匹配后的各sift特征点确定所述第一聚焦图像和所述第二聚焦图像间的仿射变换矩阵；
77.以所述多聚焦图像序列中的第一帧聚焦图像作为参考图像，基于各相邻聚焦图像间的仿射变换矩阵，对所述多聚焦图像序列中的各聚焦图像进行运动补偿以配准所述多聚焦图像序列。
78.具体地，第一聚焦图像和第二聚焦图像均为多聚焦图像序列中的聚焦图像，并且第一聚焦图像和第二聚焦图像为两个相邻图像帧，其中，相邻图像帧指的是按照采集顺序两个图像帧为相邻采集得到的。例如，按照图像采集顺序采集到第一聚焦图像之后就采集到第二聚焦图像，第一聚焦图像和第二聚焦图像之间不存在其他聚焦图像。此外，在获取第一聚焦图像的sift特征点和两个相邻聚焦图像中的第二聚焦图像的sift特征点之前，可以对第一聚焦图像和第二聚焦图像进行预处理，其中，预处理可以包括直方图均衡化以及图像滤波增强等。
79.sift特征点的获取过程具体包括尺度空间和极值点检测、关键点定位及其主方向确定和关键点描述子生成，这里以第一聚焦图像的sift特征点的过程为例，对sift特征点的获取过程进行说明。
80.1、尺度空间和极值点检测
81.获取第一聚焦图像i(x，y)的高斯尺度空间，其高斯尺度空间可以表示为：
82.l(x，y，σ)＝g(x，y，σ)i(x，y)
83.根据第一聚焦图像的高斯尺度空间生成高斯差分尺度空间(difference of gaussian，dog)，如图5所示，高斯差分尺度空间dog可以表示为：
84.d(x，y，σ)＝(g(x，y，kσ)-g(x，y，σ))i(x，y)
[0085][0086]
其中，g(x，y，σ)为高斯核函数，σ为尺度空间因子，k为组内总层数的倒数。
[0087]
在确定dog尺度空间后，如图6所示，在dog尺度空间中将每个像素的像素值和其对应的所有相邻像素的像素值进行比较，以得到极值点。
[0088]
2、关键点定位及主方向的确定
[0089]
关键点包括dog尺度空间的局部极值点。首先利用拟合关系确定关键点的精确位置及尺度，并计算各关键点的梯度，然后使用直方图统计领域内像素的梯度和方向，以得到关键点的领域像素的梯度方向直方图，并将梯度方向直方图中的峰值方向为关键点的主方
向。例如，如图7所示，图中第五个直方图的方向为主梯度方向。
[0090]
3、关键点描述子生成；
[0091]
如图8所示，把坐标轴移动到关键点的主方向上，以关键点为中心取8
×
8窗口，由此计算图像每个像素的梯度，再建立45
°
的等间距梯度直方图，计算得到不同方向的累计值，最后使用归一化处理得到的累加值作为一个描述子。
[0092]
klt算法为以待跟踪窗口在视频相邻两帧间的灰度差平方和(ssd)作为度量的匹配算，假设一个特征窗口w包含特征纹理信息，假设t时刻对应的视频帧用i(x，y，t)表示，t+τ时刻对应的视频帧用i(x，y，t+τ)表示，那么对应的位置满足下式：
[0093]
i(x，y，t+τ)＝i(x-δx，y-δy，t)
[0094]
其中，δx，δy为特征点x(x，y)的偏移量，i(x，y，t+τ)的每个像素点均可由i(x，y，t)相对应的像素点平移d(δx，δy)所得。
[0095]
第一聚焦图像表示为i，第二聚焦图像表示为j，第一聚焦图像和第二聚焦图像之间的误差ε可以表示为：
[0096][0097]
其中，w为给定的特征窗口，ω(x)为常设为1的权重函数。
[0098]
在w窗口内，i以为中心，j以为中心，为半径，由此将j(x)-i(x-d)更改为对称的形式相应的，ε可以表示为：
[0099][0100]
将进行泰勒展开，删除最高次项仅保留前两项，并对d进行求导可以得到：
[0101][0102]
其中，g为泰勒展开式的一阶泰勒系数，g
x
和gy分别表示x和y两个方向上的一阶泰勒系数。
[0103]
对每个像素点进行牛顿迭代可以得到：
[0104][0105]
其中，d表示特征窗口w中心的平移，dk表示第k次迭代所得的d值。通常情况下，在迭代过程中，需要计算初始估计值d0，其中d0＝0。
[0106]
仿射变换矩阵用于反映第一聚焦图像和第二聚焦图像间的全局运动，仿射变换矩阵可以通过使用ransac算法确定得到，其中，ransac算法的数学模型为：
[0107][0108]
其中，表示为仿射变换矩阵，a
11
，a
12
，a
21
，a
22
表示旋转参数和缩放参数；a
13
，a
23
表示平移参数。
[0109]
在获取到各相邻聚焦图像间的仿射变换矩阵，用于采集多聚焦图像序列的原始相机路径c
t
可以表示为：
[0110]ct
＝c
t-1ht-1
，t＝1，2，...，n
[0111]
其中，t表示第t帧聚焦图像，h
t-1
表示第t-1帧聚焦图像与第t帧聚焦图像的仿射变换h
t
，n表示为视频总帧数。
[0112]
在本实施例的一个实现中，在以所述多聚焦图像序列中的第一帧聚焦图像作为参考图像，基于各相邻聚焦图像间的仿射变换矩阵，对所述多聚焦图像序列中的各聚焦图像进行运动补偿时，可以采用固定帧补偿法。其中，如图9所示，固定帧补偿法为选定参考图像，通过已有全局运动估计算法估计参考图像与每一当前帧的运动矢量，并对当前帧直接进行运动补偿。本实施例通过采用固定帧补偿方式进行运动补充，可以提高多聚焦图像序列中的各聚焦图像的稳定性，去除摄像系统的随机抖动所产生的干扰。
[0113]
所述固定帧补偿法的过程可以为：
[0114]
对当前帧pk的像素坐标[x，y]k进行仿射变换得到新的坐标[x
′
，y
′
]
t
，其中，[x
′
，y
′
]
t
的计算公式可以为：
[0115][0116]
将pk中原坐标位置的像素值pk[x,y]赋给该新坐标pk'[x',y']，则得到补偿后的图像。
[0117]
s20、采用差分进化算法确定所述多聚焦图像序列对应的划分参数，并基于所述划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分，以得到各聚焦图像各自对应的若干图像块。
[0118]
具体地，所述划分参数为基于差分进化算法确定得到，所述划分参数包括单个图像块的块尺寸。各聚焦图像各自对应的若干图像块的数量相同，并且对于一个聚焦图像中的一个图像块a，其他各聚焦图像对应的若干图像块中均存在一个图像块b，各图像块在各自对应的聚焦图像中的区域位置与图像块a在其对应的聚焦图像中的区域位置相同。也就是说，多聚焦图像序列中的各聚焦图像经过配准后，各聚焦图像的图像尺寸相同，并且各聚焦图像的图像边缘相同。
[0119]
在本实施例的一个实现方式中，如图10所示，所述采用差分进化算法确定所述多聚焦图像序列对应的划分参数具体包括：
[0120]
随机生成初始种群，其中，所述初始种群包括若干初始划分参数；
[0121]
对于初始种群中的每个初始划分参数，基于所述初始划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分以得到各聚焦图像各自对应的若干图像块；计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列进行融合以得到融合图像；
[0122]
分别计算各融合图像的全局聚焦度值，基于各融合图像的全局聚焦度值在所述初始种群中选取目标划分参数；
[0123]
基于目标划分参数通过交叉变异操作形成中间种群，并基于所述中间种群作和所述初始种群确定新一代种群；
[0124]
将新一代种群作为初始种群并继续执行对于初始种群中的每个初始划分参数，基于所述初始划分参数对所述多聚焦图像序列中的各聚焦图像进行区域划分的步骤直至满足迭代终止条件，以得到所述多聚焦图像序列对应的划分参数。
[0125]
具体地，在随机生成初始种群之前，需要预设设置差分进化算法的控制参数，其中，控制参数可以包括交叉概率、变异概率、种群规模和迭代终止条件等。初始种群为随机生成的，初始种群包括若干初始划分参数，其中，若干初始划分参数中的各初始划分参数互不相同。
[0126]
在获取到初始种群后，对于初始种群中的每个初始划分参数，均按照该初始划分参数对多聚焦图像序列进行区域划分，并计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列进行融合以得到融合图像，其中，基于各初始划分参数对多聚焦图像序列进行区域划分的过程与上述基于划分参数对多聚焦图像序列进行区域划分的过程相同，这里就不在说明。
[0127]
在本实施例的一个实现方式中，所述计算划分得到的各图像块的聚焦度值具体包括：
[0128]
对所述多聚焦图像序列中的每个聚焦图像进行非下采样小波变换，以得到各聚焦图像中的各像素点的总高频系数；
[0129]
计算各图像块中的各像素点的总高频系数之和，以得到各图像块的聚焦度值。
[0130]
具体地，所述非下采样小波变换为应用滤波器组对信号c0进行处理，得到集合w＝{ω1,
…
,ωj,cj}，其中，ωj表示在j尺度上的小波系数，cj表示最粗分辨率上的小波系数，分解应用的是多孔算法：
[0131][0132]
此外，当l/2j为整数或0时，有h
(j)
[l]＝h[l]，如
[0133]h(1)
＝(
…
,h[-2],0,h[-1],0,h[0],0,h[1],0,h[2],
…
)
[0134]
通过下式可以得到重构
[0135]
[0136]
对于滤波器组只需要检验重构条件：
[0137][0138]
因此在合成原型滤波器组时有更高的自由度。
[0139]
进一步，在对所述多聚焦图像序列中的每个聚焦图像进行非下采样小波变换时，每个聚焦图像可以对应得到三个高频分量系数图和一个低频系数图，其中，三个高频分量系数图和一个低频系数图的图像尺寸均与聚焦图像的图像尺寸相同，并且三个高频分量系数图中各高频分量系数图对应的分量不同。在一个实现方式中，三个高频分量系数图分别对应于水平分量、竖直分量以及对角分量。例如，如图11所示，聚焦远景场的磨损颗粒的聚焦图像和聚焦近景场的磨损颗粒的聚焦图像经过非下采样小波变换后分别得到三张与聚焦图像的图像尺寸相同的高频分量系数图，分别为高频水平分量图像、高频竖直分量图像以及高频对角分量图像。
[0140]
在本实施例的一个实现方式，所述聚焦图像中的各像素点的聚焦度值为基于高频分量系数图确定，并且在通过非下采样小波变换得到各聚焦图像各自对应的高频分量系数图后，可以对各每个像素点的高频分量系数进行模板卷积计算，以扩大聚焦像素点与离焦像素点之间的高频系数差距。此外，由于每个聚焦图像可以获取到三个高频分量系数图，从而每个像素点对应的有三个高频分量系数。从而在获取到各聚焦图像各自对应的三个高频分量系数图后，可以基于每个像素点对应的三个高频分量系数来确定该像素点的总高频系数，其中，总高频系数可以等于各高频分量系数绝对值之和。
[0141]
例如，聚焦图像中的每个像素点对应的三个高频分量系数表示为：
[0142][0143][0144][0145]
其中，上标h、v、d分别表示高频水平分量、高频垂直分量、高频对角分量，下标i表示图像序列中第i幅聚焦图像。
[0146]
那么，每个像素点的总高频系数di(x,y)可以表示为：
[0147][0148]
进一步，在获取到总高频系数后，将各像素点各自对应的总高频系数作为各像素点的聚焦程度，然后基于该各像素点的聚焦程度计算各图像块的聚焦度值，其中，各图像块的聚焦度值可以为：
[0149][0150]
其中，wn×n是以(x,y)为中心，大小为n
×
n的正方形邻域，n
×
n为初始划分参数，(i,j)是正方形邻域中的位置。
[0151]
在采用所述聚焦度值fm
nswt
(x,y)反映图像块的聚焦程度时，如图12所示，聚焦度值越大，则图像块的聚焦程度越高，反之，聚焦度值越小，图像块的聚焦程度越小，从而在基于基于各图像块的聚焦度值将所述多聚焦图像序列融合时，对于每个区域位置可以选择聚
焦度值最大的图像块作为目标图像块，这样可以提高融合得到的融合图像中的各图像块的聚焦程度，从而提高融合图像的图像清晰度。
[0152]
在本实施例的一个实现方式中，所述基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像具体包括：
[0153]
对于对应相同区域位置的若干图像块，选取若干图像块中聚焦度值最大的图像块作为目标图像块，以得到各区域位置各自对应的目标图像块；
[0154]
将各区域位置各自对应的目标图像块拼接以得到融合图像。
[0155]
具体地，图像块是对聚焦图像进行划分得到的，从而每个图像块均为聚焦图像中的一图像区域，从而每个图像块在聚焦图像中均对应一个区域位置。可以理解的是，区域位置指的是该图像块在其对应的聚焦图像中所处的位置。此外，由于各聚焦图像的图像尺寸相同，并且按照相同的初始划分参数进行划分，从而每个聚焦图像划分得到的图像块一一对应。由此，对于每个区域位置，各聚焦图像划分得到的若干图像块中均存在一个图像块对应于该区域位置，也就是说，对于每个区域位置可以获取到若干图像块。此外，在获取到每个区域位置对应的若干图像块后，在该区域位置对应的若干图像块中选取聚焦度值最大的图像块作为目标图像块，然后将各区域位置各自对应的目标图像块拼接以得到融合图像可以得到融合图像，其中，融合图像的图像尺寸与聚焦图像的图像尺寸相同。
[0156]
所述融合图像的全局聚焦度值用于反映融合图像的聚焦程度，其中，全局聚焦度值可以等于融合图像中的各图像块的聚焦度值的和。也就是说，在获取到融合图像后，计算融合图像中的各图像块的聚焦度值的和，并将计算得到的和作为融合图像对应的全局聚焦度值。由此，每个初始划分参数均会对应一个全局聚焦度值，那么可以基于全局聚焦度值在若干初始划分参数中选取目标划分参数，其中，目标划分参数可以为若干初始划分参数中对应于最大全局聚焦度值的初始划分参数。
[0157]
在获取到目标划分参数后，可以通过对目标划分参数进行交叉变异操作形成中间种群，其中，变异操作可以采用变异算子扩大搜索空间，将当前g代种群中随机选择的划分参数进行组合，其中，变异划分参数v
i，g+1
可以表示为：
[0158]vi，g+1
＝x
r1，g
+f(x
r2，g-x
r3，g
)
[0159]
x
i，g
＝x
i(l)
+randi[0，1](x
i(h)-x
i(l)
)，i＝r1，r2，r3
[0160]
其中，i，r1，r2，r3是互不相等的，取值为{1，2，...，np}，np代表种群规模，g代表第g代，g+1代表第g+1代，x
i(h)
和x
i(l)
分别是种群个体元素的上限和下限，x
i，g
中下标i代表d维划分参数的第i个元素。
[0161]
f为[0，2]的非负权重因子，小的f值会带来更快的收敛，大的f值会带来更多的多样性。迭代开始，f值取得最大总高频系数，随着迭代次数的增加，f值会逐渐减小。
[0162]
所述交叉操作采用de采用交叉操作，试验划分参数u
i，g+1
由突变分割参数v
i，g+1
和目标划分参数x
i，g
的元素生成；其中，试验划分参数u
i，g+1
的表达式可以为：
[0163]
[0164]
s30、计算划分得到的各图像块的聚焦度值，并基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像。
[0165]
具体地，所述各图像块的聚焦度值的计算过程以及基于各图像块的聚焦度值将所述多聚焦图像序列融合以得到融合图像的过程均与上述确定划分参数过程中的计算过程相同，具体可以参数上述说明，这里就不在赘述。
[0166]
s40、确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像。
[0167]
具体地，所述重构图像中的每个像素点均包括深度值，也就是说，重构图像是通过为融合图像中的各像素点配置深度值所形成的，以使得所述重构图像为待重构磨损颗粒表面的三维重构图像。
[0168]
在一个实现方式中，所述确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像具体包括：
[0169]
对于融合图像中的每个像素位置，在所述多聚焦图像序列中的各聚焦图像选取所述像素位置对应的候选像素点，并确定各候选像素点的候选聚焦度值；
[0170]
对各候选像素点的候选聚焦度值进行高斯拟合以得到聚焦度值曲线，并选取所述聚焦度值曲线的峰值作为所述像素位置对应的目标聚焦度值；
[0171]
基于所述目标聚焦度值确定所述像素位置对应的深度值，以得到所述待重构磨损颗粒对应的重构图像。
[0172]
具体地，对于融合图像中的每个像素位置，多聚焦图像序列中的各聚焦图像中均存在一个候选像素点与该像素位置相对应，也就是说，候选像素点在其所处聚焦图像中的像素位置为所述像素位置。由此，像素位置对应的候选像素点的数量等于多聚焦图像序列中的聚焦图像的数量。例如，多聚焦图像序列包括20张聚焦图像，那么候选像素点的数量为20。
[0173]
在获取到各候选像素点后，确定每个候选像素点的候选聚焦度值，其中，所述候选聚焦度值等于以所述候选像素点为中心的候选图像块的聚焦度值，候选图像块的图像尺寸等于基于划分参数划分得到的图像块的图像尺寸。例如，划分参数为n
×
n，那么基于划分参数划分得到的图像块的图像尺寸为n
×
n，相应的，候选图像块的图像尺寸为n
×
n，候选像素点的聚焦值为该n
×
n的候选图像块中所有像素点的总高频系数之和。由此，确定各候选像素点的候选聚焦度值的过程可以为：对于每个候选像素点，在该候选像素点所处的聚焦图像中选取以该候选像素点为中心，以划分参数为区域参数的候选图像块，并计算该候选图像块中所有像素点的总高频系数之后以得到该候选像素点的候选聚焦度值。
[0174]
在获取到的各候选像素点的候选聚焦度值后，由于多聚焦图像序列中的聚焦图像为离散采集的，相应的，各候选聚焦度值为离散点。又由于基于聚焦度值曲线在峰值处具有高斯分布的性质，从而可以对各候选聚焦度值进行高斯拟合以得到聚焦度值曲线，如图13所示，聚焦度值曲线为各聚焦图像的焦点深度与聚焦度值的函数曲线。此外，在获取到聚焦度值曲线后，将聚焦度值曲线的峰值作为像素位置对应的目标聚焦度值，然后基于聚焦度值曲线可以确定峰值对应的焦点深度，并将峰值对应的焦点深度作为所述像素位置对应的深度值，以得到所述待重构磨损颗粒对应的重构图像。
[0175]
在本实施例的一个实现方式中，为了提高重构图像的清晰度，在获取到重构图像
之后，还可以对所述重构图像进行平滑处理，够突出中的细节信息及克服初始深度图中不光滑和边缘模糊等问题。基于此，所述确定所述融合图像中的各像素点的深度值，以得到所述待重构磨损颗粒对应的重构图像之后，所述方法包括：
[0176]
采用核回归算法对所述重构图像进行平滑处理，并将平滑处理后的重构图像作为待重构磨损颗粒的表面重构图像。
[0177]
具体地，所述核回归算法为属于局部回归，其具有面向无规范数据，回归函数无固定形式，使用前无需对数据做相应的预处理操作；完全由数据驱动，适用范围广，稳定性高以及模型的精度高的优点。其中，所述核回归算法采用的回归模型为：
[0178][0179]
其中，xi＝[x
1i
,x
2i
]
t
表示重构图像中像素位置为(x
1i
,x
2i
)的像素点，其中，i＝1,2,
…
,p，p表示一个局部窗口内像素点的总数，描述的是第i个像素点xi处的初始深度值，εi为独立同分布的干扰信号。
[0180]
核回归算法的目标是通过预估计值恢复未知回归函数t(xi)。为了预测函数t(xi)在某个像素点x的值，对t(xi)进行n阶局部平滑。假设x是xi附近的一个采样点，则t(xi)的n阶泰勒级数展开以得到n阶泰勒展开式，然后通过加权最小二乘法在x处对n阶泰勒展开式进行局部拟合，将拟合的多项式在x处的值作为回归函数在x处的估计值t(x)，再利用最小二乘法优化参数以及对局部窗口内中心点周围的其它像素权重的控制函数将n阶泰勒展开式转换为带权值的最小平方优化问题，通过求解最小平方优化问题来得到各像素点的平滑深度值，从而得到平滑后的重构图像，其中，最小平方优化问题采用高斯核作为核函数。
[0181]
为了说明本采用实施例提供的基于多聚焦图像的磨损颗粒表面重构方法得到的重构图像的效果，本实施例提供了采用本实施例提供的方法以及通过激光共聚焦显微镜采集的磨损颗粒表面图。如图14和图15所示，采用本方法得到的重构图像可以情绪且完全的显示磨损颗粒表面。
[0182]
综上所述，本实施例提供了一种基于多聚焦图像的磨损颗粒表面重构方法，方法包括获取待重构磨损颗粒的多聚焦图像序列；采用差分进化算法确定多聚焦图像序列对应的划分参数，基于划分参数对多聚焦图像序列中的各聚焦图像进行区域划分以得到各聚焦图像各自对应的若干图像块；计算划分得到的各图像块的聚焦度值，基于各图像块的聚焦度值将多聚焦图像序列融合以得到融合图像；确定融合图像中的各像素点的深度值以得到待重构磨损颗粒对应的重构图像。本实施通过差分进化算法确定多聚焦图像序列对应的划分参数，并基于划分得到的各图像块的聚焦度值来选取融合图像块，这样可以提高融合图像块的聚焦程度，从而可以提高重构图像的清晰度。此外，本实施例在获取到多聚焦图像序列之后，还对多聚焦图像序列中的聚焦图像间配准操作，并且在获取到重构图像之后通过核回归算法进行平滑，从而可以进一步提高重构图像的清晰度。
[0183]
基于上述基于多聚焦图像的磨损颗粒表面重构方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于多聚焦图像的磨损颗粒表面重构方法中的步骤。
[0184]
基于上述基于多聚焦图像的磨损颗粒表面重构方法，本技术还提供了一种终端设
备，如图16所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0185]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0186]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0187]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0188]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0189]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。