扩散器脱落检测方法、装置及电子设备与流程

本发明涉及3d摄像技术领域，尤其是涉及一种扩散器脱落检测方法、装置及电子设备。

背景技术

随着3d模组的广泛应用，越来越多的移动终端会带有3d摄像模组，例如常见的飞行时间(time-of-flight)模组技术，通过传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

上述摄像模组通常在红外光源前面安装了扩散器(diffuser，也称扩散片或散射器)，使得红外光能够均匀的照射到整个拍摄场景。如果没有扩散器，红外光源发出的红外光会聚集成一束，导致3d相机无法正常感知场景内被拍摄物体的深度。在实际使用过程中，3d摄像模组受到碰撞或震动会有一定概率出现扩散器脱落的问题，使得3d摄像头模组失效。

针对现有技术中，检测扩散器脱落的精度较差的问题，目前尚未提出有效的解决方案。

技术实现要素：

有鉴于此，本发明的目的在于提供一种扩散器脱落检测方法、装置及电子设备，可以提高检测扩散器脱落的精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种扩散器脱落检测方法，所述扩散器设置于摄像装置，该方法包括：通过所述摄像装置获取待检测图像；将所述待检测图像输入预先训练的特征提取网络，以使所述特征提取网络提取所述待检测图像的特征；其中，所述特征提取网络是由新样本集训练生成的；所述新样本集是由给定样本进行组合得到的新样本组构成的；将所述特征输入预先训练的分类器，得到分类结果；根据所述分类结果确定是否发生扩散器脱落。

进一步，所述方法还包括：将所述新样本集中的一个所述新样本组输入所述特征提取网络；所述新样本组包括至少两个所述给定样本；通过所述特征提取网络分别提取每个所述给定样本的特征；如果两个所述给定样本属于相同类别的样本，将两个所述给定样本的所述特征进行最小化处理，以训练所述特征提取网络；所述类别包括非脱落类别和脱落类别；如果两个所述给定样本不属于相同类别的样本，将两个所述给定样本的所述特征进行最大化处理，以训练所述特征提取网络；依次输入所述新样本集中的新样本组，直至所述特征提取网络收敛时停止。

进一步，所述将所述新样本集中的一个所述新样本组输入特征提取网络的步骤，包括：将一个脱落样本、一个正常样本和一个攻击样本组成所述新样本组输入所述特征提取网络；所述将两个所述给定样本的所述特征进行最小化处理的步骤，包括：将所述攻击样本和所述正常样本的所述特征进行最小化处理；所述将两个所述给定样本的所述特征进行最大化处理的步骤，包括：将所述脱落样本和所述正常样本的所述特征进行最大化处理；将所述脱落样本和所述攻击样本的所述特征进行最大化处理。

进一步，所述将所述新样本集中的一个所述新样本组输入特征提取网络的步骤，包括：随机选择两个所述给定样本组成所述新样本组，并将所述新样本组输入所述特征提取网络。

进一步，所述将两个所述训练样本的所述特征进行最小化处理的步骤，包括：计算两个所述特征的向量间的距离，将所述距离最小化，以进行最小化处理。

进一步，所述将两个所述训练样本的所述特征进行最大化处理的步骤，包括：计算两个所述特征的向量间的距离，并将所述距离最大化，以进行最大化处理。

进一步，所述方法还包括：通过所述预先训练的特征提取网络，对脱落样本、正常样本和攻击样本进行特征提取；将所述脱落样本的特征划分为脱落类别，将所述正常样本和攻击样本的特征划分为非脱落类别，对所述分类器进行训练。

进一步，所述方法还包括：当确定发生扩散器脱落时，进行报警提醒。

第二方面，本发明实施例还提供了一种扩散器脱落检测装置，所述扩散器设置于摄像装置，该装置包括：获取模块，用于通过所述摄像装置获取待检测图像；特征提取模块，用于将所述待检测图像输入预先训练的特征提取网络，以使所述特征提取网络提取所述待检测图像的特征；其中，所述特征提取网络是由新样本集训练生成的；所述新样本集是由给定样本进行组合得到的新样本组构成的；分类模块，用于将所述特征输入预先训练的分类器，得到分类结果；判断模块，用于根据所述分类结果确定是否发生扩散器脱落。

第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种扩散器脱落检测方法、装置及电子设备，可以通过预先训练的特征提取网络对待检测图像进行特征提取，该待采集图像是由待检测摄像装置获取的，该特征提取网络是由给定样本进行组合得到的新样本集进行训练得到的，在提取得到特征后进行分类，并确定是否发生扩散器脱落的情况，可以对摄像装置进行更高效的扩散器脱落检测，且检测准确度更高。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种处理设备的结构示意图；

图2为本发明实施例提供的一种扩散器脱落检测方法的流程图；

图3为本发明实施例提供的一种特征提取网络训练方法的流程图；

图4为本发明实施例提供的一种给定样本的示意图；

图5为本发明实施例提供的一种训练特征提取网络的示意图；

图6为本发明实施例提供的另一种训练特征提取网络的示意图；

图7为本发明实施例提供的一种扩散器脱落检测装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着3d感测技术在智能终端上的应用，对3d摄像模组的扩散器脱落检测成为新问题。智能终端厂商或摄像模组厂商对于扩散器的检测精度要求在99.9％以上，尤其是要尽量降低良品的误识。在智能终端用户实际使用智能终端时，也存在检测扩散器是否脱落的需要。现有的检测扩散器是否脱落的方法精度较差，无法满足厂商或用户需求。为改善此问题，本发明实施例提供了一种扩散器脱落检测方法、装置及电子设备，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的扩散器脱落检测方法、装置及电子设备的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑阵列(pla)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。所述图像采集装置110包括3d摄像模组，该3d摄像模组包括扩散器。

示例性地，用于实现根据本发明实施例的扩散器脱落检测方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

参见图2所示的一种扩散器脱落检测方法的流程图，该扩散器设置于摄像装置，该方法可由前述实施例提供的电子设备执行，该方法具体包括如下步骤：

步骤s202，通过摄像装置获取待检测图像。

该摄像装置既可以安装于智能终端上，也可以是独立使用的。在对摄像装置进行扩散器脱落检测时，由该摄像装置采集图像，作为待检测图像。例如，通过上述智能终端接收及存储该待检测图像，或其他与该摄像装置连接的外接设备接收及存储该待检测图像。

步骤s204，将待检测图像输入预先训练的特征提取网络，以使特征提取网络提取待检测图像的特征。

其中，特征提取网络是由给定样本进行组合得到的新样本集训练生成的。由特征提取网络进行深度学习的方式，特征提取的准确度更高，且不需要人工调整参数，但是运算速度相对较慢，需要预先对模型进行训练。

由于扩散器脱落的情况并不常见，因此存在脱落样本少、需要处理情况多的问题。上述给定样本包括脱落样本和非脱落样本，本实施例可以将脱落样本以及非脱落样本进行组合，例如一个脱落样本与一个非脱落样本组合、一个脱落样本与两个非脱落样本组合、两个脱落样本组合或者两个非脱落样本组合等方式，得到新样本组，该新样本组的数量大于脱落样本与正常样本的数量和，将上述新样本组构成的新样本集作为特征提取网络的训练样本集。通过上述方式增加了特征提取网络的训练样本数量，从而可以仅通过原始的小样本数据获得更准确的提取模型。

步骤s206，将特征输入预先训练的分类器，得到分类结果。

在训练分类器时，输入的样本为上述特征提取网络提取训练样本得到的特征，可以将每个训练样本表示为一个特征向量。将对应于脱落样本的特征向量标记为一类，将对应于非脱落样本的特征向量标记为另一类，通过两者对分类器进行训练。其中，脱落样本为扩散器脱落时摄像装置采集的图像；非脱落样本包括正常样本和攻击样本，该正常样本为扩散器正常工作时摄像装置采集的图像；该攻击样本为近似脱落信号，是在扩散器正常安装工作，但用户操作不当或其他因素导致拍摄异常的情况下采集到的图像。

上述分类器训练完成后，即可对特征提取网络提取的特征进行分类。

步骤s208，根据分类结果确定是否发生扩散器脱落。

在分类器输出待检测图像的特征的分类结果后，即可根据该分类结果确定摄像装置是否发生扩散器脱落的情况。当确定发生扩散器脱落时，可以进行报警提醒，从而方便智能终端的用户出现问题需要进行维修，或方便厂商将问题摄像装置剔除或进行维修。

本发明实施例提供的上述扩散器脱落检测方法，可以通过预先训练的特征提取网络对待检测图像进行特征提取，该待采集图像是由待检测摄像装置获取的，该特征提取网络是由给定样本进行组合得到的新样本组进行训练得到的，在提取得到特征后进行分类，并确定是否发生扩散器脱落的情况，可以对摄像装置进行更高效的扩散器脱落检测，且检测准确度更高。

在上述方法中使用的特征提取网络，是基于小样本的特征学习方案进行训练的，参见图3所示的特征提取网络训练方法的流程图，该方法具体包括如下步骤：

步骤s302，将新样本集中的一个新样本组输入特征提取网络。新样本组包括至少两个给定样本。

该特征提取网络可以是现有的可进行图像特征提取的神经网络。对给定样本进行组合，组合方式可以是随机样本组合，例如任意两个给定样本组合或者三个给定样本组合，将组合后的多个给定样本作为一个新样本组，输入到特征提取网络中。通过将新样本组的形式可以增加训练样本的数量。

步骤s304，通过特征提取网络分别提取每个给定样本的特征。

在进行训练前，特征提取网络使用初始参数进行给定样本的特征提取。

步骤s306，如果两个给定样本属于相同类别的样本，将两个给定样本的特征进行最小化处理，以训练特征提取网络。

上述类别包括非脱落类别和脱落类别，将给定样本中的正常样本和攻击样本划分为非脱落类别，将脱落样本划分为脱落类别。参见图4所示的给定样本的示意图，自左至右依次是正常样本、攻击样本和脱落样本，以ir(infraredradiation，红外线)图像为例。其中，正常样本是扩散器正常工作时摄像装置采集的图像；攻击样本指近似脱落信号，是在扩散器正常安装工作，但用户操作不当或其他因素导致拍摄异常的情况下采集到的图像，一般在图像中会有一个比较明显的光斑，例如用户的手指非常靠近摄像装置的镜头；脱落样本是在扩散器脱落时摄像装置采集的图像，由于摄像装置的光源前无扩散器，导致光源发出的光为较窄的一束，采集的图像也仅很小一部分存在内容，其他部分无。

步骤s308，如果两个给定样本不属于相同类别的样本，将两个给定样本的特征进行最大化处理，以训练特征提取网络。

对上述新样本组中属于相同类别的给定样本，将两个给定样本的特征进行最小化处理；对上述新样本组中属于不同类别的给定样本，将两个给定样本的特征进行最大化处理；从而优化上述特征提取网络的参数。最大化和最小化处理，可以通过特征对应的特征向量的距离来进行，例如：计算两个特征向量间的距离，最大化即将该距离最大化，最小化即将该距离最小化。例如，样本1得到特征为f1(多维向量)，样本2得到特征为f2(同样维度的特征向量)，最大化就使得向量之间距离最大max|f1-f2|^2，最小化为min|f1-f2|^2。通过最大化/最小化上述特征向量的距离后，就可以回传特征提取网络，最终优化特征提取网络的参数，使其提取的特征进行分类的结果更准确。其中优化上述网络的方法，可以采用现有网络优化方法，例如梯度下降优化算法等。

步骤s310，依次输入所述新样本集中的新样本组，直至特征提取网络收敛时停止。

在训练过程中，每次输入一个上述新样本组进行训练，得到优化之后的特征提取网络，之后再选取第二批样本，在上述优化的特征提取网络基础上再优化，直到网络收敛为止。

考虑到给定样本可能包括三种：正常样本、攻击样本和脱落样本，可以将一个脱落样本、一个正常样本和一个攻击样本作为一个新样本组输入特征提取网络进行训练，也可以随机选择两个样本作为一个新样本组输入特征提取网络进行训练。

参见图5所示的训练特征提取网络的示意图，以一个脱落样本、一个正常样本和一个攻击样本组成新样本组输入特征提取网络为例进行说明。特征提取网络对上述样本进行特征提取，分别得到脱落特征、攻击特征和正常特征。如图5所示，将每两个特征进行最大化或最小化处理，具体为：将攻击特征和正常特征进行最小化处理；将脱落特征和正常特征进行最大化处理；将脱落特征和攻击特征进行最大化处理。在上述方式中每次以三个样本输入，对特征提取网络进行不断训练，直到收敛为止。

参见图6所示的训练特征提取网络的示意图，以随机选择的两个样本输入特征提取网络为例进行说明。每次输入两个样本，在图6中以样本1和样本2为例，两样本为从所有样本中随机挑选，特征提取网络对上述样本进行特征提取，分别得到样本1特征和样本2特征。如图6所示，将两个特征进行最大化或最小化处理，具体为：同类样本进行最小化处理，例如样本1和样本2同属于上述非脱落类别或脱落类别；将不同类样本进行最大化处理，例如样本1和样本2分别属于上述非脱落类别和脱落类别。

在使用上述分类器进行分类前，还需要对其进行训练，分类器可以是现有的svm(supportvectormachine，支持向量机)，也可以是其他适用的分类器，本实施例对此不作限定。对分类器的训练过程，可以按如下步骤进行：

(1)通过预先训练的特征提取网络，对脱落样本、正常样本和攻击样本进行特征提取；

(2)将脱落样本的特征划分为脱落类别，将正常样本和攻击样本的特征划分为非脱落类别，对分类器进行训练。其中，每个样本表示为一个特征向量，将脱落样本的特征向量归为一类、正常样本以及攻击样本的特征向量归为一类进行训练。

上述方法，通过将脱落样本和非脱落样本(包括正常样本和攻击样本)进行成对组合，来增大训练样本集，并且学习得到脱落样本和非脱落样本的特征，由此进行脱落检测，可以基于小样本的脱落样本进行网络训练，并且基于该网络可以进行高效的脱落检测。

实施例三：

对于实施例二中所提供的扩散器脱落检测方法，本发明实施例提供了一种扩散器脱落检测装置，参见图7所示的一种扩散器脱落检测装置的结构框图，包括：

获取模块701，用于通过摄像装置获取待检测图像；

特征提取模块702，用于将待检测图像输入预先训练的特征提取网络，以使特征提取网络提取待检测图像的特征；其中，特征提取网络是由新样本集训练生成的；新样本集是由给定样本进行组合得到的新样本组构成的；

分类模块703，用于将特征提输入预先训练的分类器，得到分类结果；

判断模块704，用于根据分类结果确定是否发生扩散器脱落。

本发明实施例提供的上述扩散器脱落检测装置，可以通过预先训练的特征提取网络对待检测图像进行特征提取，该待采集图像是由待检测摄像装置获取的，该特征提取网络是由给定样本进行组合得到的新样本集进行训练得到的，在提取得到特征后进行分类，并确定是否发生扩散器脱落的情况，可以对摄像装置进行更高效的扩散器脱落检测，且检测准确度更高。

在一种实施方式中，上述装置还包括特征提取网络训练模块，用于：将新样本集中的一个新样本组输入特征提取网络；新样本组包括至少两个给定样本；通过特征提取网络分别提取每个给定样本的特征；如果两个给定样本属于相同类别的样本，将两个给定样本的特征进行最小化处理，以训练特征提取网络；类别包括正常类别和脱落类别；如果两个给定样本不属于相同类别的样本，将两个给定样本的特征进行最大化处理，以训练特征提取网络；依次输入所述新样本集中的新样本组，直至特征提取网络收敛时停止。

其中，上述特征提取网络训练模块，还用于：将一个脱落样本、一个正常样本和一个攻击样本组成新样本组输入特征提取网络；将两个给定样本的特征进行最小化处理，以优化特征提取网络的参数的步骤，包括：将攻击样本和正常样本的特征进行最小化处理；将两个给定样本的特征进行最大化处理，以优化特征提取网络的参数的步骤，包括：将脱落样本和正常样本的特征进行最大化处理；将脱落样本和攻击样本的特征进行最大化处理。

上述特征提取网络训练模块，还用于：随机选择两个给定样本组成新样本组，并将新样本组输入特征提取网络。上述特征提取网络训练模块，还用于：计算两个特征的向量间的距离，将距离最小化，以进行最小化处理。上述特征提取网络训练模块，还用于：计算两个特征的向量间的距离，并将距离最大化，以进行最大化处理。上述特征提取网络训练模块，还用于：根据以下公式计算两个特征的向量间的距离：|f1–f2|^2；其中f1和f2分别表示特征的特征向量。

在另一种实施方式中，上述装置还包括分类器训练模块，用于：通过预先训练的特征提取网络，对脱落样本、正常样本和攻击样本进行特征提取；将脱落样本的特征划分为脱落类别，将正常样本和攻击样本的特征划分为非脱落类别，对分类器进行训练。

在另一种实施方式中，上述装置还包括提醒模块，用于当确定发生扩散器脱落时，进行报警提醒。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

此外，本实施例还提供了一种电子设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例二提供的扩散器脱落检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例二所提供的方法的步骤。

本发明实施例所提供的一种扩散器脱落检测方法、装置及处理设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。