矫治器变形检测方法、装置、设备及计算机可读存储介质【
技术领域：
：】1.本发明涉及医疗器械领域，具体涉及医疗器械的质量检测技术，尤其涉及一种矫治器变形检测方法、装置、设备及计算机可读存储介质。
背景技术：
：：2.由于美观、便捷以及利于清洁等优点，基于高分子材料的壳状牙齿正畸矫治器(如隐形矫治器)越来越受欢迎。壳状牙齿正畸矫治器是利用变形产生的回弹力把牙齿从一个布局重新定位到另一布局。3.壳状牙齿正畸矫治器(以下简称：矫治器)生产过程通常需要经历如下流程：光固化模具成型-》利用光固化模具对矫治器压膜-》矫治器裁剪、脱壳-》矫治器研磨、清洗-》矫治器分拣、包装。4.在矫治器剪裁、脱壳、研磨、清洗等一系列步骤中，由于外力或是光固化模具引入的问题，矫治器有一定几率发生变形。变形的矫治器属于瑕疵产品，无法佩戴以到达矫正牙齿的目的，需要被识别并处理。5.现有技术中，主要通过以下方式识别矫治器的变形：在生产过程中，由操作工人进行目视检查；在质检阶段，由质检人员进行目视检查；在成品质检阶段，由质检人员进行单步目视检查(上下翘检测)和多步对比目视检查(扩弓缩弓检测)。6.然而，上述主要通过人工识别光固化模具和矫治器的缺陷的方式，至少存在以下问题：由于产量的需求、质量控制的要求和质检人员的人数限制，目视检查非常繁重，给操作工人和质检人员带来巨大的工作压力；矫治器变形的目视检查受到操作工人和质检人员的主观因素(如视力、经验、疲劳程度等)影响，无法形成客观统一的评价标准，不利于质量控制；部分变形非常难以判断，或是非常细微从而难以察觉。7.因此，现有技术通过人工识别矫治器变形的方式，无法准确、有效识别矫治器的变形，并且需要占用大量的人力资源，质检成本高、时间长、效率低，无法有效控制矫治器的质量。技术实现要素：8.本发明的多个方面提供一种矫治器变形检测方法、装置、设备及计算机可读存储介质，用以准确、有效识别矫治器的变形。9.本发明的一方面，提供一种矫治器变形检测方法，包括：10.获取矫治器的多个角度的待检测图像；11.分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到所述各角度的待检测图像的特征；12.基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征；13.基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果；14.基于所述分类结果，确定所述矫治器是否存在变形。15.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述变形包括以下任意一项或多项：总体变形，局部变形；16.所述总体变形包括以下任意一项或多项：上翘，下翘，扩弓，缩弓；17.所述局部变形包括以下任意一项或多项：翻边，拖拽，牵引附件变形。18.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取矫治器的多个角度的待检测图像，包括：19.利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述矫治器进行图像采集，得到所述多个角度的待检测图像。20.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取矫治器的多个角度的待检测图像之后，还包括：21.基于角度相邻原则，将所述多个角度的待检测图像分为k组待检测图像；其中，k的取值为大于1的整数；22.所述基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征，包括：23.基于注意力机制，对所述k组待检测图像的特征进行融合，得到融合特征。24.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基于注意力机制，对所述k组待检测图像的特征进行融合，得到融合特征，包括：25.分别针对所述k组待检测图像中的每一组待检测图像的特征，对所述每一组待检测图像的特征进行融合，得到第一子融合特征；26.利用空间注意力模块，获取所述第一子融合特征中各待检测图像的特征对应的空间注意力权重值；27.基于所述每张待检测图像的特征对应的空间注意力权重值，对所述第一子融合特征进行加权，得到第二子融合特征；28.分别针对所述k组待检测图像对应的k个第二子融合特征，利用通过注意力模块，获取所述k个第二子融合特征各第二融合子特征对应的通道注意力权重值；29.基于所述k个第二子融合特征对应的通道注意力权重值，对所述k个第二子融合特征进行加权融合，得到所述融合特征。30.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，利用预先训练得到的多视角卷积神经网络，执行所述分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到所述各角度的待检测图像的特征的操作，所述基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征的操作，以及所述基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果的操作。31.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：32.获取训练集，所述训练集包括多个样本的样本图像，所述多个样本包括至少一个正样本和至少一个负样本，所述多个样本中每个样本的样本图像包括多个角度的样本图像，所述每个样本的多个角度的样本图像作为一个整体标注有是否存在变形的标注信息；33.分别将所述训练集中每个样本的多个角度的样本图像输入待训练的多视角卷积神经网络，经所述待训练的多视角卷积神经网络输出所述每个样本是否存在变形的预测分类结果；34.根据所述每个样本对应的标注信息和预测分类结果，对所述待训练的多视角卷积神经网络进行训练，直至满足预设训练完成条件，得到所述多视角卷积神经网络。35.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取训练集，包括：36.分别针对至少一个存在变形的矫治器中的每个存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述存在变形的每个矫治器进行图像采集，得到一个正样本的多个角度的样本图像，并将所述一个正样本的多个角度的样本图像作为一个整体标注存在变形的标注信息；37.分别针对至少一个不存在变形的矫治器中的每个不存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述不存在变形的每个矫治器进行图像采集，得到一个负样本的多个角度的样本图像，并将所述一个负样本的多个角度的样本图像作为一个整体标注不存在变形的标注信息；38.基于所述至少一个存在变形的矫治器对应的至少一个正样本的多个角度的样本图像，和所述至少一个不存在变形的矫治器对应的至少一个负样本的多个角度的样本图像，得到所述训练集。39.本发明的另一方面，提供一种矫治器变形检测装置，包括：40.第一获取模块，用于获取矫治器的多个角度的待检测图像；41.特征提取模块，用于分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到所述各角度的待检测图像的特征；42.特征融合模块，用于基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征；43.分类模块，用于基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果；44.确定模块，用于基于所述分类结果，确定所述矫治器是否存在变形。45.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述变形包括以下任意一项或多项：总体变形，局部变形；46.所述总体变形包括以下任意一项或多项：上翘，下翘，扩弓，缩弓；47.所述局部变形包括以下任意一项或多项：翻边，拖拽，牵引附件变形。48.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一获取模块，具体用于：49.利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述矫治器进行图像采集，得到所述多个角度的待检测图像。50.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：51.分组模块，用于基于角度相邻原则，将所述多个角度的待检测图像分为k组待检测图像；其中，k的取值为大于1的整数；52.所述特征融合模块，具体用于：基于注意力机制，对所述k组待检测图像的特征进行融合，得到融合特征。53.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述特征融合模块，具体用于：54.分别针对所述k组待检测图像中的每一组待检测图像的特征，对所述每一组待检测图像的特征进行融合，得到第一子融合特征；55.利用空间注意力模块，获取所述第一子融合特征中各待检测图像的特征对应的空间注意力权重值；56.基于所述每张待检测图像的特征对应的空间注意力权重值，对所述第一子融合特征进行加权，得到第二子融合特征；57.分别针对所述k组待检测图像对应的k个第二子融合特征，利用通过注意力模块，获取所述k个第二子融合特征各第二融合子特征对应的通道注意力权重值；58.基于所述k个第二子融合特征对应的通道注意力权重值，对所述k个第二子融合特征进行加权融合，得到所述融合特征。59.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述特征提取模块、特征融合模块和所述分类模块通过预先训练得到的多视角卷积神经网络实现。60.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：61.第二获取模块，用于获取训练集，所述训练集包括多个样本的样本图像，所述多个样本包括至少一个正样本和至少一个负样本，所述多个样本中每个样本的样本图像包括多个角度的样本图像，所述每个样本的多个角度的样本图像作为一个整体标注有是否存在变形的标注信息；62.训练模块，用于分别将所述训练集中每个样本的多个角度的样本图像输入待训练的多视角卷积神经网络，经所述待训练的多视角卷积神经网络输出所述每个样本是否存在变形的预测分类结果；以及根据所述每个样本对应的标注信息和预测分类结果，对所述待训练的多视角卷积神经网络进行训练，直至满足预设训练完成条件，得到所述多视角卷积神经网络。63.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二获取模块，具体用于：64.分别针对至少一个存在变形的矫治器中的每个存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述存在变形的每个矫治器进行图像采集，得到一个正样本的多个角度的样本图像，并将所述一个正样本的多个角度的样本图像作为一个整体标注存在变形的标注信息；65.分别针对至少一个不存在变形的矫治器中的每个不存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述不存在变形的每个矫治器进行图像采集，得到一个负样本的多个角度的样本图像，并将所述一个负样本的多个角度的样本图像作为一个整体标注不存在变形的标注信息；66.基于所述至少一个存在变形的矫治器对应的至少一个正样本的多个角度的样本图像，和所述至少一个不存在变形的矫治器对应的至少一个负样本的多个角度的样本图像，得到所述训练集。67.本发明的另一方面，提供一种设备，所述设备包括：68.一个或多个处理器；69.存储装置，用于存储一个或多个程序，70.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一方面所提供的矫治器变形检测。71.本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面所提供的矫治器变形检测。72.由上述技术方案可知，本发明实施例通过获取矫治器的多个角度的待检测图像，分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到各角度的待检测图像的特征，然后，基于注意力机制对所述多个角度的待检测图像的特征进行融合，得到融合特征，进而，基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果，从而基于所述分类结果确定所述矫治器是否存在变形，本发明实施例基于计算机视觉技术的方式，实现了对矫治器变形的检测，可以准确、有效识别矫治器是否存在变形。73.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，避免占用操作工人和质检人员，节省了人力资源，降低了质检成本，减少了质检时间，提高了质检效率，减轻了操作工人和质检人员的工作负荷，从而提高了生产效率，有利于助力产能提升。74.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以有效控制矫治器的出厂质量，有助于形成完善的质量追溯及相关反馈机制。75.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以检测对于人眼来说难度较大的变形，从而能够有效处理识别难例，提升质量控制水平。76.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，检测准确率较高，在复杂生产环境下可靠。【附图说明】77.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。78.图1为本发明一实施例提供的矫治器变形检测方法的流程示意图；79.图2为本发明一应用实施例中多视角图像采集系统的图像采集示意图；80.图3为本发明一实施例中基于注意力机制对k组待检测图像的特征进行融合的流程示意图；81.图4为本发明一实施例中基于注意力机制对k组待检测图像的特征进行融合的过程示意图；82.图5为本发明一实施例中空间注意力模块的一个工作过程示意图；83.图6为本发明一实施例中通道注意力模块的一个工作过程示意图；84.图7为本发明另一实施例提供的矫治器变形检测装置的结构示意图；85.图8为本发明另一实施例提供的矫治器变形检测装置的结构示意图；86.图9为适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。【具体实施方式】87.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。88.需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、个人电脑(personalcomputer，pc)、mp3播放器、mp4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。89.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。90.本发明的主要思想是基于计算机视觉技术的方式对矫治器进行变形检测。并基于注意力机制对多个角度的待检测图像的特征进行融合得到的融合特征，进行分类来得到矫治器是否存在变形的分类结果，从而可以准确、有效识别矫治器是否存在变形。91.图1为本发明一实施例提供的矫治器变形检测方法的流程示意图，如图1所示。92.101、获取矫治器的多个角度的待检测图像。93.102、分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到各角度的待检测图像的特征。94.103、基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征。95.104、基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果。96.可选地，在本实施例的一个可能的实现方式中，所述矫治器是否存在变形的分类结果可以是：矫治器存在变形或者矫治器不存在变形，也可以是矫治器存在变形的概率和矫治器不存在变形的概率。97.105、基于所述分类结果，确定所述矫治器是否存在变形。98.可选地，在本实施例的一个可能的实现方式中，若所述矫治器是否存在变形的分类结果是矫治器存在变形或者矫治器不存在变形，则直接以该分类结果作为矫治器是否存在变形的结果；若矫治器是否存在变形的分类结果是矫治器存在变形的概率和矫治器不存在变形的概率，则可以根据矫治器存在变形的概率和矫治器不存在变形的概率之间的大小来确定矫治器是否存在变形，选取概率较大的分类结果作为矫治器是否存在变形的结果。99.在矫治器的变形检测中，存在单视角信息不足(即单个视角图像通常不足以判断矫治器是否变形)、多视角信息不对齐(矫治器的相同位置在不同视角图像中处于不同位置)、多视角信息冗余(相邻的视角图像大量雷同)的问题，本实施例采用基于注意力机制对多个角度的待检测图像的特征进行的融合方式，基于得到的融合特征来进行变形检测，可以有效克服单视角信息不足、多视角信息不对齐和多视角信息冗余的问题，有效且高效地融合各个视角的待检测图像的特征，从而实现对矫治器变形的有效、准确检测，提升变形检测的准确率，提高检出率且降低误报率。100.需要说明的是，101～105的执行主体的部分或全部可以为位于本地终端即服务提供商的终端设备的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit，sdk)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。101.可以理解的是，所述应用可以是安装在终端上的本地程序(nativeapp)，或者还可以是终端上的浏览器的一个网页程序(webapp)，本实施例对此不进行特别限定。102.这样，基于计算机视觉技术的方式，实现了对矫治器变形的检测，可以准确、有效识别矫治器是否存在变形。103.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，避免占用操作工人和质检人员，节省了人力资源，降低了质检成本，减少了质检时间，提高了质检效率，减轻了操作工人和质检人员的工作负荷，从而提高了生产效率，有利于助力产能提升。104.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以有效控制矫治器的出厂质量，有助于形成完善的质量追溯及相关反馈机制。105.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以检测对于人眼来说难度较大的变形，从而能够有效处理识别难例，提升质量控制水平。106.另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，检测准确率较高，在复杂生产环境下可靠。107.本发明人通过研究发现，矫治器的变形可以分为总体变形和局部变形，其中总体变形主要包括上翘、下翘、扩弓、缩弓；局部变形主要包括翻边、拖拽等小变形。其中，上翘和下翘主要出现在单步矫治器方案中，是由于脱壳或其他外力的影响下，导致单个矫治器发生左右两边的上下翘的变形模式，目前主要由质检人员通过观察单个矫治器的形状进行判断，观察方法通常为置于平面看是否翘起，或是拿于手中侧面多个角度看是否翘起。扩弓和缩弓主要出现在多步矫治器方案中，矫治器存在扩弓和缩弓现象，即矫治器无上下翘但弓形角度偏大或偏小，扩弓和缩弓目前主要由质检人员在进分拣线前，手持某一病例的全套矫治器或者系列步骤的矫治器来进行判断。108.可选地，在本实施例的一个可能的实现方式中，所述变形可以包括以下任意一项或多项：总体变形，局部变形。其中，总体变形例如可以包括但不限于以下任意一项或多项：上翘，下翘，扩弓，缩弓等；局部变形例如可以包括但不限于以下任意一项或多项：翻边，拖拽，牵引附件变形等。109.基于本实施例，可以实现对矫治器可能存在的局部变形和总体变形的全面检测。110.可选地，在本实施例的一个可能的实现方式中，在101中，可以利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对待检测的矫治器进行图像采集，得到所述多个角度的待检测图像。如图2所示，为本发明一应用实施例中多视角图像采集系统的图像采集示意图。111.由于矫治器的变形具有三维特性，本实施例中，采用与人眼观察模式类似的置于平面观察+侧面多角度观察的方式，采用多视角图像采集系统采集图像，采用俯视+侧上方环形拍照的图像采集方式，形成矫治器的多视角二维图像作为所述多个角度的待检测图像。在具体实现中，可以根据矫治器不同的材质，调整工业相机的光圈、焦距，此外对于矫治器采用背光，调整光源的明暗和色彩，使得工业相机能采集到清晰的矫治器的图像。另外，可以设置合适的侧上方环形拍照时相机与水平面的角度，并在环形拍照时拍摄预设足够数量的角度，例如24个角度的待检测图像。112.可选地，在本实施例的一个可能的实现方式中，在101之后，可以基于角度相邻原则，将所述多个角度的待检测图像分为k组待检测图像；其中，k的取值为大于1的整数，例如，在其中一个示例中，k的取值为6。相应地，在103中，可以基于注意力机制，对所述k组待检测图像的特征进行融合，得到融合特征。113.可选地，在本实施例的一个可能的实现方式中，可以预先利用训练集对待训练的多视角卷积神经网络进行训练，得到多视角卷积神经网络，利用预先训练得到的多视角卷积神经网络，执行上述102～104的操作。114.可选地，在本实施例的一个可能的实现方式中，多视角卷积神经网络可以包括特征提取模块、特征融合模块和分类模块(分类器)来实现。115.在一个具体示例中，特征提取模块具体可以通过一个全卷积模块来实现，例如可以采用vgg、alexnet、resnet等网络中的卷积层实现。116.在一个具体示例中，特征融合模块具体可以采用常用的特征融合手段，如最大池化(maxpooling)、平均池化(averagepooling)或堆叠(stack)其中之一方式实现。但上述常用的特征融合手段过于简单，无法解决多视角信息冗余和多视觉信息不对齐问题。基于此，本实施例提出了基于注意力机制的特征融合模块，以有效解决多视角信息冗余和多视觉信息不对齐问题。117.在一个具体示例中，分类模块可以通过由全连接层、激活层、dropout层、sigmoid层或softmax层组成的卷积神经网络实现。118.图3为本发明一实施例中基于注意力机制对k组待检测图像的特征进行融合的流程示意图，图4为本发明一实施例中基于注意力机制对k组待检测图像的特征进行融合的过程示意图，如图3和图4所示。119.301、分别针对所述k组待检测图像中的每一组待检测图像的特征，对每一组待检测图像的特征进行融合，得到第一子融合特征。120.302、利用空间注意力模块，获取第一子融合特征中各待检测图像的特征对应的空间注意力权重值。121.303、基于每张待检测图像的特征对应的空间注意力权重值，对第一子融合特征进行加权，得到第二子融合特征。122.304、分别针对所述k组待检测图像对应的k个第二子融合特征，利用通过注意力模块，获取k个第二子融合特征各第二融合子特征对应的通道注意力权重值。123.305、基于k个第二子融合特征对应的通道注意力权重值，对所述k个第二子融合特征进行加权融合，得到融合特征。124.由于矫治器的变形具有三维特性，单张图片由于拍照的角度和矫治器的遮挡，无法完全描述整个矫治器的三维性质，因此单一视角图像的信息不足以判断矫治器是否变形。本实施例采集多视角图片(多个角度的待检测图像)用于变形检测，但是多个角度的待检测图像存在信息不对齐和信息冗余的问题，其中信息不对齐是由于拍照角度的不同，导致矫治器的相同位置在不同图像中被投影到不同位置，如果使用上述常用的融合方式，将导致信息的融合不够准确；信息冗余是指在相邻角度的图像中的信息非常类似，利用上述常用的融合方式，将导致本应有区分效果的局部描述子无法被有效利用，这些都不利于最后的变形检测效果。125.基于此，本实施例提出了基于注意力机制的特征融合模块，可以称为分组视角卷积模块注意力模块(groupviewconvolutionblockattentionmodule，gvcbam)，结合利用了图像分组进行特征融合、空间注意力机制和通道注意力机制等手段，从而可以有效解决多个角度的待检测图像存在信息不对齐和信息冗余的问题，全面结合利用矫治器的三维信息检测矫治器是否存在变形。126.如图4所示，将多个角度的待检测图像分成k组，例如k＝4，即360度/k＝90度范围内为一个分组，同一分组内图像(即每一组待检测图像)可以采用常用的简单融合操作(例如通过池化层进行平均池化)，得到第一子融合特征；然后分别对每一组待检测图像的特征加入空间注意力模块，得到新的每一组特征(即上述第二子融合特征)；再利用通道注意力模块，将新的k组特征(即k个第二子融合特征)带注意力地融合在一起，得到总体特征(即融合特征)。图5为本发明一实施例中空间注意力模块的一个工作过程示意图。图6为本发明一实施例中通道注意力模块的一个工作过程示意图。127.结合图5，在一个具体示例中，同一分组内图像进行平均池化得到第一子融合特征，可以表示为：128.fg＝avgpool([fg0，...，fgn])[0129]其中，fg0，…，fgn即为第g组待检测图像的特征进行平均池化得到的各个特征，n＝多角度的数量/分组数k，fg即为第g组待检测图像的特征进行平均池化得到的第一子融合特征。[0130]在一个具体示例中，利用空间注意力模块得到每一组待检测图像的第二子融合特征，可以表示为：[0131]ms(fg)＝σ(f7×7([avgpool(fg)；maxpool(fg)])[0132]其中，ms(fg)表示第二子融合特征，avgpool表示平均池化，maxpool表示最大池化；f7＊7为卷积核为7＊7的卷积操作；σ为激活函数(sigmoid)操作，sigmoid操作以后的数值在0到1之间，起到注意力的效果。[0133]其中注意力的原理是：注意力的权重值在0到1之间，得到注意力权重值后，会对应地乘以相应的特征，起到一个软掩膜的作用。直观来讲，注意力的权重值比较大(即接近1)的地方，特征可以被完整保留，注意力的权重值比较大(即接近0)的地方，特征将会被消除(乘完后趋于0)。注意力的权重值可以通过预先学习得到，使注意力模块可以自动调整值得关注的位置(即对最终的分类结果有较大决定作用的位置)。[0134]基于实施例，通过空间注意力机制实现了对同组内待检测图像注意力的作用，从而可以实现多视角待检测图像中重要信息保留和冗余信息消除的效果。[0135]结合图6，在一个具体示例中，各组第二子融合特征经maxpool和avgpool后，通过共享全连接层，再相加注意力，再通过sigmoid操作得到各组待检测图像对应的通道注意力权重值，最后将k组待检测图像对应的k个第二子融合特征在通道注意力权重值上进行加权求和，得到总体特征(即融合特征)。其中，利用通道注意力模块得到融合特征，可以表示为：[0136]mc([fg，g∈[1，k]])＝σ([mlp(avgpool(fg))+mlp(maxpool(fg))]g∈[1，k][0137]其中，mc([fg，g∈[1，k]])表示融合特征；σ为sigmoid操作，作用于k组中的各组维度，sigmoid操作以后的数值在0到1之间，起到注意力的效果；fg为第g组待检测图像的特征进行平均池化得到的第一子融合特征，g的取值为从1到k中的任一整数；avgpool(fg)和maxpool(fg)表示第g组待检测图像的特征对应的第二子融合特征ms(fg)；mlp为共享全连接层。[0138]基于实施例，通过通道注意力机制实现了对不同视角的各组待检测图像注意力的作用，从而可以实现多视角待检测图像中重要信息保留和冗余信息消除的效果。[0139]可选地，在本实施例的一个可能的实现方式中，可以通过如下方式训练得到所述多视角卷积神经网络：[0140]首先，获取训练集，所述训练集包括多个样本的样本图像，所述多个样本包括至少一个正样本和至少一个负样本，其中，多个样本中每个样本的样本图像包括多个角度的样本图像，每个样本的多个角度的样本图像作为一个整体标注有是否存在变形的标注信息；[0141]然后，分别将训练集中每个样本的多个角度的样本图像输入待训练的多视角卷积神经网络，经待训练的多视角卷积神经网络输出所述每个样本是否存在变形的预测分类结果；[0142]进而，根据每个样本对应的标注信息和预测分类结果，对待训练的多视角卷积神经网络进行训练，直至满足预设训练完成条件，得到多视角卷积神经网络。[0143]可选地，在本实施例的一个可能的实现方式中，所述预设训练完成条件例如可以包括但不限于：对待训练的多视角卷积神经网络的训练次数的达到预设次数，和/或，训练集中样本对应的标注信息和预测分类结果之间的差异小于预设阈值。[0144]可选地，在本实施例的一个可能的实现方式中，可以通过如下方式获取训练集：[0145]可以预先收集大量存在变形和不存在变形的矫治器，分别针对至少一个存在变形的矫治器中的每个存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对存在变形的每个矫治器进行图像采集，得到一个正样本的多个角度的样本图像，例如可以采用图2所示的多视角图像采集系统采集足够数量角度(例如24个角度)的样本图像，并将该一个正样本的多个角度的样本图像作为一个整体标注存在变形的标注信息；[0146]分别针对至少一个不存在变形的矫治器中的每个不存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对不存在变形的每个矫治器进行图像采集，得到一个负样本的多个角度的样本图像，例如可以采用图2所示的多视角图像采集系统采集足够数量角度(例如24个角度)的样本图像，并将该一个负样本的多个角度的样本图像作为一个整体标注不存在变形的标注信息；[0147]然后，基于所述至少一个存在变形的矫治器对应的至少一个正样本的多个角度的样本图像，和所述至少一个不存在变形的矫治器对应的至少一个负样本的多个角度的样本图像，得到训练集。[0148]可选地，在本实施例的一个可能的实现方式中，在训练待训练的多视角卷积神经网络的过程中，可以采用迁移学习的方法，将待训练的多视角卷积神经网络的参数初始化为imagenet预训练的参数值，在此基础上再采用合适的学习更新策略，利用分类数据集(即训练集)对待训练的多视角卷积神经网络的参数进行调整，从而实现对待训练的多视角卷积神经网络的训练。[0149]在基于深度学习的模型训练中，由于模型包含的参数很多，为了达到训练收敛和较好效果的目的，需要大量的训练数据(百万量级的数据)，通常无法收集并标注如此海量的数据集。imagenet是公开的比较大的数据集，研究学者们在此数据集上做了大量的研究工作，在此数据集上已经训练出效果很好的分类模型，本实施例中采用迁移学习的方式，将待训练的多视角卷积神经网络的参数初始化为imagenet预训练的参数值，在此基础上再采用合适的学习更新策略，利用分类数据集对待训练的多视角卷积神经网络的参数进行更新，可以加快待训练的多视角卷积神经网络的收敛，提高训练效果。[0150]本发明实施例基于深度学习的技术方案，在应用时通常可以通过如下流程实现：[0151]a)，获取样本，采集样本的电子表征(即图像)；[0152]b)，对样本的图像标注相应的标注信息，形成数据集，将数据集按照一定比例分为训练集、验证集和测试集；[0153]c)，设计深度学习模型(即待训练的多视角卷积神经网络)，利用训练集训练深度学习模型；设定评价指标，通过验证集筛选出最佳深度学习模型；[0154]d)，设定评价指标，评估筛选出的深度学习模型测试集上的性能表现。如果不满足部署要求，回到步骤a)继续收集样本继续执行流程，或回到步骤c)更改设计深度学习模型继续执行流程；如果满足部署要求，进入步骤e)的部署环节；[0155]e)，部署深度学习模型，获取待检测图像，应用d)中部署的深度学习模型进行矫治器变形检测。[0156]f)，对变形检测结果进行后处理，如确认为矫治器存在变形，进行文字反馈或者报警。[0157]本实施例中，采用基于深度学习的方式，利用预先训练得到的多视角卷积神经网络，实现了对矫治器的变形检测，可以准确、有效识别矫治器是否存在变形。[0158]本实施例中，基于计算机视觉技术的方式，实现了对矫治器变形的检测，可以准确、有效识别矫治器是否存在变形。[0159]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，避免占用操作工人和质检人员，节省了人力资源，降低了质检成本，减少了质检时间，提高了质检效率，减轻了操作工人和质检人员的工作负荷，从而提高了生产效率，有利于助力产能提升。[0160]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以有效控制矫治器的出厂质量，有助于形成完善的质量追溯及相关反馈机制。[0161]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以检测对于人眼来说难度较大的变形，从而能够有效处理识别难例，提升质量控制水平。[0162]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，检测准确率较高，在复杂生产环境下可靠。[0163]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。[0164]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。[0165]图7为本发明另一实施例提供的矫治器变形检测装置的结构示意图，如图7所示。本实施例的矫治器变形检测装置可以包括第一获取模块701、特征提取模块702、特征融合模块703、分类模块704和确定模块705。其中，第一获取模块701，用于获取矫治器的多个角度的待检测图像；特征提取模块702，用于分别对所述多个角度的待检测图像中各角度的待检测图像进行特征提取，得到所述各角度的待检测图像的特征；特征融合模块703，用于基于注意力机制，对所述多个角度的待检测图像的特征进行融合，得到融合特征；分类模块704，用于基于所述融合特征进行分类，得到所述矫治器是否存在变形的分类结果；确定模块705，用于基于所述分类结果，确定所述矫治器是否存在变形。[0166]需要说明的是，本实施例所提供的矫治器变形检测装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit，sdk)等功能单元，或者还可以为位于网络侧服务器中的搜索引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。[0167]可以理解的是，所述应用可以是安装在终端上的本地程序(nativeapp)，或者还可以是终端上的浏览器的一个网页程序(webapp)，本实施例对此不进行特别限定。[0168]可选地，在本实施例的一个可能的实现方式中，所述变形可以包括以下任意一项或多项：总体变形，局部变形。其中，总体变形例如可以包括但不限于以下任意一项或多项：上翘，下翘，扩弓，缩弓等；局部变形例如可以包括但不限于以下任意一项或多项：翻边，拖拽，牵引附件变形等。[0169]可选地，在本实施例的一个可能的实现方式中，第一获取模块701，具体用于：利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述矫治器进行图像采集，得到所述多个角度的待检测图像。[0170]图8为本发明另一实施例提供的矫治器变形检测装置的结构示意图。如图8所示，该实施例的矫治器变形检测装置还包括：分组模块801，用于基于角度相邻原则，将所述多个角度的待检测图像分为k组待检测图像；其中，k的取值为大于1的整数。相应地，特征融合模块703，具体用于：基于注意力机制，对所述k组待检测图像的特征进行融合，得到融合特征。[0171]可选地，在本实施例的一个可能的实现方式中，特征融合模块703，具体用于：分别针对所述k组待检测图像中的每一组待检测图像的特征，对所述每一组待检测图像的特征进行融合，得到第一子融合特征；利用空间注意力模块，获取所述第一子融合特征中各待检测图像的特征对应的空间注意力权重值；基于所述每张待检测图像的特征对应的空间注意力权重值，对所述第一子融合特征进行加权，得到第二子融合特征；分别针对所述k组待检测图像对应的k个第二子融合特征，利用通过注意力模块，获取所述k个第二子融合特征各第二融合子特征对应的通道注意力权重值；以及基于所述k个第二子融合特征对应的通道注意力权重值，对所述k个第二子融合特征进行加权融合，得到所述融合特征。[0172]可选地，在本实施例的一个可能的实现方式中，特征提取模块702、特征融合模块703和分类模块704可以通过一个预先训练得到的多视角卷积神经网络实现。[0173]另外，再参见图8，上述实施例的矫治器变形检测装置还可以包括：第二获取模块802和训练模块803。其中，第二获取模块802，用于获取训练集，所述训练集包括多个样本的样本图像，所述多个样本包括至少一个正样本和至少一个负样本，所述多个样本中每个样本的样本图像包括多个角度的样本图像，所述每个样本的多个角度的样本图像作为一个整体标注有是否存在变形的标注信息；训练模块803，用于分别将所述训练集中每个样本的多个角度的样本图像输入待训练的多视角卷积神经网络，经所述待训练的多视角卷积神经网络输出所述每个样本是否存在变形的预测分类结果；以及根据所述每个样本对应的标注信息和预测分类结果，对所述待训练的多视角卷积神经网络进行训练，直至满足预设训练完成条件，得到所述多视角卷积神经网络。[0174]可选地，在本实施例的一个可能的实现方式中，第二获取模块802，具体用于：分别针对至少一个存在变形的矫治器中的每个存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述存在变形的每个矫治器进行图像采集，得到一个正样本的多个角度的样本图像，并将所述一个正样本的多个角度的样本图像作为一个整体标注存在变形的标注信息；分别针对至少一个不存在变形的矫治器中的每个不存在变形的矫治器，利用多视角图像采集系统，采用俯视+侧上方环形的图像采集方式对所述不存在变形的每个矫治器进行图像采集，得到一个负样本的多个角度的样本图像，并将所述一个负样本的多个角度的样本图像作为一个整体标注不存在变形的标注信息；以及基于所述至少一个存在变形的矫治器对应的至少一个正样本的多个角度的样本图像，和所述至少一个不存在变形的矫治器对应的至少一个负样本的多个角度的样本图像，得到所述训练集。[0175]需要说明的是，图1～图6对应的实施例中方法，可以由图7～图8所示实施例提供的矫治器变形检测装置实现。详细描述可以参见图1～图6对应的实施例中的相关内容，此处不再赘述。[0176]本实施例中，基于计算机视觉技术的方式，实现了对矫治器变形的检测，可以准确、有效识别矫治器是否存在变形。[0177]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，避免占用操作工人和质检人员，节省了人力资源，降低了质检成本，减少了质检时间，提高了质检效率，减轻了操作工人和质检人员的工作负荷，从而提高了生产效率，有利于助力产能提升。[0178]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以有效控制矫治器的出厂质量，有助于形成完善的质量追溯及相关反馈机制。[0179]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，可以检测对于人眼来说难度较大的变形，从而能够有效处理识别难例，提升质量控制水平。[0180]另外，采用本发明所提供的技术方案，基于计算机视觉技术的方式，对矫治器进行变形检测，实现了矫治器变形问题的高效识别，检测准确率较高，在复杂生产环境下可靠。[0181]图9示出了适于用来实现本发明实施方式的示例性计算机系统/服务器的框图。图9显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。[0182]如图9所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储装置或者系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。[0183]总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。[0184]计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。[0185]系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。[0186]具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。[0187]计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口44进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。[0188]处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所对应的实施例所提供的图像处理方法。[0189]本发明另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所对应的实施例所提供的矫治器变形检测方法。[0190]具体来说，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0191]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0192]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。[0193]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0194]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0195]在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0196]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0197]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0198]上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0199]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12当前第1页12