一种基于面结构光视点规划的强反光零件自动化测量方法

本发明属于三维测量领域，更具体地，涉及一种基于面结构光视点规划的强反光零件自动化测量方法。

背景技术：

1、强反光零件广泛应用于航空、航天、船舶、能源动力等国家重大装备工程中，其质量的好坏将会直接影响到工业产品质量以及机器的寿命，而三维形貌的测量对于零件的质量检测有着至关重要的作用。面结构光方法具有测量精度高、测量速度快等优点，工业机器人具有操作灵活方便的优点，将两者结合的自动化测量方法能够在保证实现高精度测量，提高产品质量的同时，提高检测效率，降低成本，从而提高产品的市场竞争力。其中，精准和高效的测量视点规划是实现强反光零件自动化测量的关键。

2、目前针对强反光零件自动化测量的视点规划，仍采用传统方式，即先通过完全随机采样的方式围绕被测工件的cad模型生成采样视点，随后基于所采样的面片法线方向直接生成视点位置，然后以可见性、机器人可达性等为约束进行视点筛选，获得满足覆盖率要求的最优视点集。

3、然而，完全随机采样的方法生成候选视点，可能会导致两个问题，一是采样不稳定，即当面片数量较多时，完全随机的方法有可能出现有些面片一直不被采样的情况；二是采样不平衡，即当部分区域面片密度较大时，该区域可能会有很多的采样点，而其余地方采样点过少。这将会导致视点采样不完整、不准确，无法包含或是反映被测零件的完整信息。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于面结构光视点规划的强反光零件自动化测量方法，由此解决现有的视点规划方法难以针对强反光零件实现快速完整三维测量的技术问题。

2、为实现上述目的，按照本发明的第一方面，提供了一种基于面结构光视点规划的强反光零件自动化测量方法，包括：

3、s1，根据待测强反光零件的stl模型随机生成三维测头的多个测量视点；分别确定所述stl模型的各三角面片所在的局部区域中，在所有随机视点下的可见性次数低于阈值的三角面片的数量，并对所述数量进行归一化得到所述各三角面片的采样概率；其中，将所述各三角面片及与其相邻、二次相邻的三角面片组成的区域作为所述各三角面片所在的局部区域；所述三维测头包括双目相机及投影仪；

4、s2，基于所述采样概率随机指定一个目标三角面片，确定所述目标三角面片所在的局部区域的测量视点是否可达，若是则将其作为候选视点并加入候选视点集，进入s3，否则再次基于所述采样概率随机指定一个三角面片；

5、s3，确定在所述候选视点下所述stl模型中可见的三角面片；

6、s4，将所述候选视点下在当前时刻的左右相机的曝光时间、曝光图像及融合hdr图像输入至预先训练好的多重曝光时间预测网络，得到对应的多重曝光时间；根据所述多重曝光时间获取下一时刻的hdr融合图像，判断各所述可见的三角面片在所述下一时刻的hdr融合图像中的强度是否在预设范围内，若是则该可见的三角面片可测，否则不可测；

7、s5，重复执行s2-s4，直至候选视点集中的候选视点使测量覆盖率达到要求；从所述候选视点集中筛选出使测量时间成本最优的视点序列，使所述三维测头按照所述视点序列中的视点顺序及视点位置在对应的多重曝光时间下对所述待测强反光零件进行测量。

8、按照本发明的第二方面，提供了一种基于面结构光视点规划的强反光零件自动化测量系统，包括：计算机可读存储介质和处理器；

9、所述计算机可读存储介质用于存储可执行指令；

10、所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。

11、按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行如第一方面所述的方法。

12、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

13、1、目前的视点生成方法通过完全随机采样的方式生成采样视点，易导致部分面片一直不被采样，或是部分区域面片采样不足。本发明提供的方法，基于局部区域可见性的生成视点，通过每一个面片及其相邻二次面片的可见性计算采样概率；面片的可见性之和越高，其被采样的概率就越大；反之，可见性之和越低的面片，其被采样的概率就越小。这样，可以确保每个面片都有合适的机会被采样，从而避免了部分面片被过度采样或被忽略的问题，为后面的视点筛选提供了有效的保障。

14、2、现有视点生成方法往往基于采样面片法线直接生成视点位置，再基于势场法等计算视点方向(z轴)，随机生成x、y轴方向，忽略了相邻面片以及测头实际测量视场范围的影响，可能会出现模型边缘部分生成的采样视点质量差以及视点位姿计算不准确的问题。本发明首先考虑局部区域的影响，以生成更合适的视点位置。这意味着在确定视点位置时，不仅要考虑当前面片的法线，还要考虑相邻面片的法线和位置，从而确保生成的视点位置更为合理和准确。其次，本发明使用势场法来计算视点的方向。与传统方法不同的是，本发明还引入了主轴分析方法(pac方法)来计算视点坐标系。这种方法可以更好地考虑结构光的视场范围，从而生成与实际测量视场范围更为匹配的视点坐标系。

15、3、在现有的视点规划技术中，常规做法是将目标物体视作具有漫反射表面的实体，或虽然纳入物体的真实反射特性但仍然依赖于一个固定的曝光时间来确定可测区域。这样的方法往往不能够完全适应物体表面的多样化反射特性，从而导致规划结果与实际情况有所偏差，或者测量效率低下。为了克服这些限制，本发明依据左右相机辐照度图像来自动生成多个曝光时间，确保在视点获取最优的测量结果。这种策略不仅能够更精准地识别当前视点下的可测区域，而且能够更全面和精确地捕捉到物体的表面信息，显著提升视点规划的效果和效率，为自动化三维测量提供更为可靠的基础。

16、4、传统的多重曝光时间预测方法往往只考虑单个相机图像，忽视了双目相机系统中两个相机间的协调和相互影响，容易导致一方的图像达到最佳灰度水平时，另一方却出现过曝或其他质量问题，从而影响整体的测量精度和可靠性。本发明提出了一种基于双目相机辐照度图的多重曝光时间预测方法，综合利用双目相机系统的辐照度图像信息来精准计算多重曝光时间。它能够准确提取和分析左右相机图像中的强度信息，确保整个测量过程中两者都能保持在最佳灰度状态，避免了因单方面存在问题导致的测量不稳定和误差。通过这样的方法，我们不仅可以实现更稳定和准确的测量结果，还能显著提高双目相机系统在复杂环境中的测量性能和可靠性。

17、综上，本发明提供的方法充分考虑到局部区域可见性和结构光测量视场的影响，生成更加合适的候选视点，同时针对强反光表面自适应的生成多重曝光时间，保证单个视点下可测区域最大化。

技术特征：

1.一种基于面结构光视点规划的强反光零件自动化测量方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，步骤s1中，所述stl模型的各三角面片所在的局部区域中，在所有随机视点下的可见性次数低于阈值的三角面片的数量采用以下公式近似计算：

3.如权利要求1或2所述的方法，其特征在于，步骤s2中，所述确定所述局部区域的测量视点是否可达，包括：

4.如权利要求1所述的方法，其特征在于，步骤s1中，所述得到所述各三角面片的采样概率之后，还包括：

5.如权利要求1所述的方法，其特征在于，所述候选视点下左右相机的曝光图像基于所述候选视点下左右相机的曝光时间与所述候选视点下左相机辐照度图及右相机匹配辐照度图获取；

6.如权利要求1所述的方法，其特征在于，所述多重曝光时间预测网络基于dqn构建，动作为曝光时间的倍数，状态包括当前时刻左右相机的曝光时间、曝光图像及融合hdr图像，奖励函数包括：

7.如权利要求6所述的方法，其特征在于，所述奖励函数还包括：

8.如权利要求6或7所述的方法，其特征在于，在初始状态下，

9.一种基于面结构光视点规划的强反光零件自动化测量系统，其特征在于，包括：计算机可读存储介质和处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行如权利要求1-8任一项所述的方法。

技术总结
本发明公开了一种基于面结构光视点规划的强反光零件自动化测量方法，属于三维测量领域，该方法基于局部区域可见性的生成视点，通过每一个面片及其相邻二次面片的可见性计算采样概率；可以确保每个面片都有合适的机会被采样，从而避免了部分面片被过度采样或被忽略的问题，为视点筛选提供了有效的保障；依据左右相机辐照度图像来自动生成多个曝光时间，确保在视点获取最优的测量结果。这种策略不仅能够更精准地识别当前视点下的可测区域，而且能够更全面和精确地捕捉到物体的表面信息，显著提升视点规划的效果和效率，为自动化三维测量提供更为可靠的基础。

技术研发人员：李中伟,张攀,钟凯,郝倩,黄锦涛,赵陇兵,李家乐
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/4/7