曲面屏图像采集方法、装置及终端设备与流程

本发明属于计算机视觉技术领域，更具体地，涉及一种曲面屏图像采集方法、装置及终端设备。

背景技术：

随着曲面屏手机越来越流行，对曲面屏产品的检测需求也随之增加；其中，对于曲面屏曲面角的检测是整个检测环节中的重点。对于曲面屏上的裂纹等缺陷检测需要借助工业显微镜成像的方式，工业显微镜虽然具有成像精度高的优点，但是受限于其自身的视野小，在取像时无法一次性拍全整个检测区域，需要不断调节相机的位置和倾斜角度依次进行拍摄，经过多次拍摄才能得到曲面角的完整图像。

目前主要通过调节曲面屏载台的位置，对曲面屏不同边角位置进行取图，但是由于曲面屏的曲面角属于二维曲面，加之工业显微镜的景深较小，需要进行数十次乃至上百次的拍摄才能完成整个曲面角的取图，这种方式存在取图及检测效率低且检测精度不理想的问题，无法满足实际生产过程中客户对于节拍时间（takttime，tt）的要求。

技术实现要素：

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种曲面屏图像采集方法、装置及终端设备，其目的在于解决现有的曲面屏取像方式存在的取像效率低且检测精度不理想的问题。

为实现上述目的，按照本发明的一个方面，提供了一种曲面屏图像采集方法，其特征在于，包括以下步骤：

基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段，分别从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点；

根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面区域时的姿态信息；

根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令，控制取像设备或待测曲面屏移动依次完成各段曲面区域的取像，得到待测曲面屏的曲面角图像。

优选的，上述曲面屏检测方法，分别从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点具体为：

将每段曲面区域的拱顶高度所在方向作为投影方向，且以在垂直于所述投影方向上与曲面区域相切的平面作为投影平面；

分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为取像设备在拍摄对应曲面区域时的焦点。

优选的，上述曲面屏检测方法，按照对所述曲面角对应的圆心角进行等角度划分的方式将该曲面角划分为多段。

优选的，上述曲面屏检测方法，确定每段曲面区域的投影平面的方法为：

依次从每段曲面区域的四个端点中任意选取三个确定一虚拟平面，在生成的四个虚拟平面中，将每个虚拟平面到剩余一个端点之间的垂直位移记为第一位移；平移该虚拟平面使其与曲面区域相切并将虚拟平面从平移前到平移后的位移记为第二位移；

当第一位移与第二位移方向相同时，以第二位移的长度作为对应曲面区域的拱顶高度；

当第一位移与第二位移方向相反时，以两者长度之和作为对应曲面区域的拱顶高度；

在四个虚拟平面中，取所述拱顶高度最小时对应的虚拟平面平移至与曲面区域相切时的平面作为该段曲面区域的投影平面。

优选的，上述曲面屏检测方法，每段曲面区域的拱顶高度不大于取像设备的拍摄景深。

优选的，上述曲面屏检测方法，所述姿态信息包括取像设备在三维坐标系中的坐标值以及取像设备与xyz坐标轴的夹角。

优选的，上述曲面屏检测方法还包括：

对每段曲面区域进行取像后得到初始图像，采用自动对焦反馈机制，根据对当前曲面区域取像后得到的初始图像进行自适应对焦，并控制对焦后的取像设备拍摄当前曲面区域的图像。

优选的，上述曲面屏检测方法还包括：

按照取像顺序对各段曲面区域的图像进行拼接，得到完整的曲面角图像。

优选的，上述曲面屏检测方法所述取像设备为相机和显微镜头。

按照本发明的第二个方面，还提供了一种曲面屏图像采集装置，该装置包括：

对焦模块，基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段，分别从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点；

计算模块，根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面区域时的姿态信息；

控制模块，根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令，控制取像设备移动依次完成各段曲面区域的取像，得到待测曲面屏的曲面角图像。

按照本发明的第三个方面，还提供了一种终端设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述曲面屏图像采集方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

（1）本发明在充分满足镜头景深的前提下，将整个曲面角划分为多段曲面区域，并基于曲面屏模型精确计算相机在拍摄每段曲面区域时的姿态信息，根据该姿态信息生成位置调节指令，控制相机或待测显示屏在整个拍摄过程中自动循迹，依次完成各段曲面区域的拍摄；本发明可以实现曲面屏曲面角区域的快速定位和检测，不仅大大减少了拍摄次数，缩短了取像时间，而且提高了取像以及检测精度。

（2）本发明在对每段曲面区域进行取图后都会根据自动对焦反馈机制进行自适应对焦，对相机或载物台的位置进行调节，保证了取图效果的最优化，进而提高后续检测的精度。本发明提高了曲面屏曲面角检测时的效率和精度，更加有助于曲面屏缺陷检测的量产过程。

附图说明

图1是本发明实施例提供的曲面屏图像采集方法的流程图；

图2是本发明实施例提供的曲面角划分方式示意图；

图3是本发明实施例提供的各段曲面区域的投影平面的确定方式的示意图；

图4是本发明实施例提供的连续取像过程中相机的运行轨迹示意图；

图5是本发明实施例提供的曲面屏图像采集装置的逻辑框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

图1是本实施例提供的一种曲面屏图像采集方法的流程图，参见图1，该方法包括以下步骤：

s1：基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段，分别从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点；

本实施例中，首先获取创建好的待测曲面屏的三维模型，取三维模型中的一个曲面角将其划分为多段，具体的划分方式本实施例不作具体限定，为了确保每段曲面区域在后续取像时的取像清晰度，要求划分后的每段曲面区域的拱顶高度均不大于相机的拍摄景深。作为一个优选的示例，本例按照对曲面角对应的圆心角进行等角度划分的方式将该曲面角划分为多段，在满足每段曲面区域的拱顶高度均不大于相机的拍摄景深的前提下，曲面角划分的段数尽可能少，有利于减少取像次数，缩短检测时间。

进一步的，为了提高成像清晰度，本实施例选取相机在拍摄每段曲面区域时所需的景深最大时对应的位置作为取像焦点；该取像焦点的确定方法为：将每段曲面区域的拱顶高度所在方向作为投影方向，且以在垂直于投影方向上与曲面区域相切的平面作为投影平面；分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为取像设备在拍摄对应曲面区域时的焦点。

图2是本实施例提供的曲面角划分方式示意图，本实施例中，按照曲率中心等角度将曲面角划分为9段，分段后，每段曲面区域具有四个端点，本实施例在待测曲面屏的平面区域所在平面上构建x轴、y轴，并以此构建三维坐标系，三维坐标系确定之后，可以分别确定各段曲面区域的四个端点的坐标；然后分别以每段曲面区域在垂直于其拱顶高度方向上的投影平面的几何中心作为相机在拍摄对应曲面区域时的焦点；由于每段曲面区域均为三维结构体，四个端点中的任意三个端点即可确定一个平面，有可能出现每段曲面区域的投影平面并非唯一确定的情况，四个投影平面及其分别对应的几何中心之间可能存在微小差异，虽然这种微小差异不会对相机的对焦点的确定以及成像精度带来显著影响，但是，本实施例提出了一种更加优选的方式来确定每段曲面区域的投影平面，具体的，本实施例通过以下方式来获取每段曲面区域在垂直于其拱顶高度方向上的投影平面：

如图3所示，依次从每段曲面区域的四个端点中任意选取三个确定一个虚拟平面，将该虚拟平面与剩余一个端点之间的垂直距离记为第一位移；平移该虚拟平面使其与曲面区域相切，将该虚拟平面在平移前后的垂直距离记为第二位移；如果第一位移与第二位移位于平移前的虚拟平面的同一侧，则以第二位移作为对应曲面区域的拱顶高度；如果第一位移与第二位移分别位于平移前的虚拟平面的不同侧，则以两者之和作为对应曲面区域的拱顶高度；按照相同的方式确定其它三个虚拟平面的拱顶高度，在四个虚拟平面中，取拱顶高度最小时对应的虚拟平面平移至与曲面区域相切时的平面作为该段曲面区域的投影平面，将曲面区域在该平面上做投影，投影图形的几何中心作为相机的对焦点。

s2：根据焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面区域时的姿态信息；

获取相机在拍摄每段曲面区域时的焦点之后，根据该焦点的坐标值、相机镜头的工作距离即可计算相机在拍摄每段曲面区域时的姿态信息；本实施例中，相机镜头为工业显微镜头，相机的姿态信息包括相机在三维坐标系中的坐标值以及相机与xyz坐标轴的夹角；相机与xyz坐标轴的夹角不同，代表相机在拍摄每段曲面区域时的倾斜角度不同。

s3：根据姿态信息生成位置调节指令，控制取像设备或待测曲面屏移动依次完成各段曲面区域的取像，得到待测曲面屏的曲面角图像。

如图4所示，得到相机在拍摄9段曲面区域时分别对应的姿态信息后，根据该姿态信息生成位置调节指令并下发给执行机构，由执行结构控制相机或待测曲面屏移动到指定位置，依次完成9段曲面区域的拍摄；需要指出的是，在拍摄过程中可以控制相机移动到与姿态信息对应的指定位置处，也可以控制待测曲面屏（承载待测曲面屏的载物台）移动，两者效果等同；当采用移动相机的方式时，该执行机构包括驱动电机和六维调节架（x，y，z，θx，θy，θz），其中，x表示相机沿x轴方向水平移动，θx表示相机绕x轴旋转，其他参数不再赘述；相机固定在六维调节架，六维调节架在驱动电机的控制下带动相机移动和/或旋转，对相机姿态进行调整。

为了获取高清晰度的拍摄图像以提高后续的检测精度，本实施例提供的曲面屏检测方法还包括以下自适应对焦的步骤，具体的：对每段曲面区域进行取像后得到初始图像，采用自动对焦反馈机制，根据对当前曲面区域取像后得到的初始图像进行自适应对焦，根据取图的效果对相机或待测曲面屏的高度进行调节，实现相机自动对焦，并控制对焦后的相机拍摄当前曲面区域的图像，直至得到清晰的曲面区域图像。在对每段曲面区域进行取图时均采用自动对焦反馈机制进行自适应对焦，保证了取图效果的最优化。

在获取到各段曲面区域的清晰图像后，即可分别基于各段图像进行缺陷检测；作为一个优选的示例，本实施例按照取像顺序对各段曲面区域的图像进行拼接，得到完整的曲面角图像；然后基于完整的曲面角图像进行缺陷检测，有利于直观展现缺陷在曲面角上的位置以及分布。

实施例二

本实施例提供了一种曲面屏图像采集装置，用于实现实施例一中的曲面屏图像采集方法；该装置可以采用软件和/或硬件的方式实现，并可集成在终端设备上；如图5所示，该装置包括对焦模块、计算模块和控制模块；其中，

对焦模块被配置为基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段，分别从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点；具体的：将每段曲面区域的拱顶高度所在方向作为投影方向，且以在垂直于所述投影方向上与曲面区域相切的平面作为投影平面；对焦模块分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为取像设备在拍摄对应曲面区域时的焦点。

计算模块被配置为根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面区域时的姿态信息。

控制模块被配置为根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令，控制取像设备移动依次完成各段曲面区域的取像，得到待测曲面屏的曲面角图像。

以上各功能模块的具体实现功能参见实施例一，此处不再赘述。

实施例三

本实施例提供了一种曲面屏图像采集系统的结构示意图，该系统包括终端设备、取像设备、执行机构和载物台；

其中，该终端设备包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行实施例一中曲面屏图像采集方法的步骤，具体步骤参见实施例一，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

该终端设备也可以与一个或多个外部设备(如键盘、指向终端、显示器等)通信，还可与一个或者多个使得用户能与该终端设备交互的终端通信，和/或与使得该终端设备能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口进行。并且，终端设备还可以通过网络适配器与一个或者多个网络(例如局域网(localareanetwork，lan)，广域网(wideareanetwork，wan)和/或公共网络，例如因特网)通信。

本实施例中，取像设备包括相机和显微镜头，执行机构包括驱动电机和六维调节架，相机固定在六维调节架上，待测曲面屏固定在载物台上；执行结构与终端设备电连接，在终端设备下发的位置调节指令的触发下控制六维调节架动作，对相机的姿态进行调节；或者控制载物台移动，调节待测曲面屏与相机之间的相对位置。

在实际的检测过程中，首先将曲面屏固定在载物台上，将相机和显微镜头通过六维调节架固定在待测曲面屏上方；终端设备根据计算得到的姿态信息控制相机移动到指定位置并给与相机一定的倾斜角度，进行拍图检测。终端设备控制相机自动循迹，依次完成各段曲面区域的拍摄。在拍摄过程中，终端设备采用自动对焦反馈机制，根据对当前曲面区域的取图效果对相机或待测曲面屏的高度进行调节，实现相机自动对焦，并控制对焦后的相机拍摄当前曲面区域的图像，直至得到清晰的曲面区域图像。此外，该终端设备中还配置有缺陷检测算法，在获得各段曲面区域的清晰图像之后，执行缺陷检测算法对图像进行缺陷检测；或者先按照取像顺序对各段曲面区域的图像进行拼接，得到完整的曲面角图像，然后基于完整的曲面角图像进行缺陷检测。

本发明提供的曲面屏图像采集方法、装置及终端设备，在充分满足镜头景深的前提下，将整个曲面角划分为多段曲面区域，并基于曲面屏模型精确计算相机在拍摄每段曲面区域时的姿态信息，根据该姿态信息生成位置调节指令，控制相机或待测显示屏在整个拍摄过程中自动循迹，依次完成各段曲面区域的拍摄；本发明可以实现曲面屏曲面角区域的快速定位和检测，不仅大大减少了拍摄次数，缩短了取像时间，而且提高了取像以及检测精度，更加有助于曲面屏缺陷检测的量产过程。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。