移动终端及检测方法、存储装置与流程

本发明涉及图像检测技术领域，特别是涉及一种移动终端及检测方法、存储装置。

背景技术：

现代社会生活中人们忙于生活，工作，很少有人可以定期去眼镜店检查眼镜是否存在形变，另外定期花费时间去眼镜店检查眼镜是否存在形变用户也会觉得很麻烦，很浪费时间，但戴眼镜的用户经常会被眼镜形变以及脏污困扰着，不注意眼镜脏污和形变，长时间佩戴已经形变或脏污的眼镜会影响用户的视力，并且当眼镜形变严重时还会导致用户眼睛四周变形(尤其是爱美的女孩子无法容忍)，注意眼镜形变，隔段时间去眼镜店检查，又太麻烦以及耽误时间。

技术实现要素：

本发明主要解决的技术问题是提供一种移动终端及检测方法、存储装置，以方便用户随时随地进行眼镜形变以及脏污的检测，提醒用户及时采取补救措施，省时省力。

为解决上述技术问题，本发明采用的一个技术方案是：

提供一种检测方法，包括：

拍摄包含目标物体的3d图像；

获取所述3d图像的3d数据；

识别所述3d图像中的目标物体；

根据所述目标物体从所述3d数据中提取所述目标物体的3d数据；及

对所述目标物体的3d数据进行检测以判断所述目标物体是否正常。

为解决上述技术问题，本发明采用的另一个技术方案是：

提供一种移动终端，包括处理器及存储器，所述存储器用于存储检测装置以执行上述的检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

为解决上述技术问题，本发明采用的另一个技术方案是：

提供一种存储装置，存储有程序文件，所述程序文件能够被执行以实现如上述的检测方法。

本发明的有益效果是：区别于现有技术的情况，本发明通过拍摄包含所述目标物体的3d图像；获取所述3d图像的3d数据；识别所述3d图像中的目标物体；根据所述目标物体从所述3d数据中提取所述目标物体的3d数据；对所述目标物体的3d数据进行检测以判断所述目标物体是否正常，以方便用户随时随地进行眼镜形变以及脏污的检测，提醒用户及时采取补救措施，省时省力。

附图说明

图1至图3是本发明检测方法的流程示意图；

图4是本发明移动终端的结构示意图；

图5是本发明存储装置的结构示意图；

图6是本发明检测装置的结构示意图；

图7是本发明识别模块的结构示意图；

图8是本发明检测模块的结构示意图；

图9是本发明移动终端对眼镜进行形变检测的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的说明。

请参阅图1，是本发明检测方法的流程示意图。结合图5～图9所述检测方法包括：

步骤s1：拍摄包含目标物体的3d图像。

通过摄像模块10拍摄包含目标物体的3d图像。

其中，所述摄像模块10为3d摄像头，所述目标物体为眼镜100。

步骤s2：获取所述3d图像的3d数据。

通过获取模块20获取所述3d图像的3d数据，所述3d数据包括所述3d图像的像素坐标数据。

步骤s3：识别所述3d图像中的目标物体。

通过识别模块30中的卷积神经网络单元31对包含有所述眼镜100的若干3d图像进行训练来获取所述眼镜的信息，以从所述包含有眼镜100的3d图像中识别所述眼镜100。

步骤s4：根据所述目标物体从所述3d数据中提取所述目标物体的3d数据。

通过提取模块40根据所述眼镜100从所述3d图像的像素坐标数据提取所述眼镜100的像素坐标数据。

步骤s5：对所述目标物体的3d数据进行检测以判断所述目标物体是否正常。

请参阅图2，其中，步骤s5包括：

步骤s51：对所述眼镜100进行形变检测。

其中，所述眼镜100包括镜片101、镜框102、镜腿103以及鼻托104。所述眼镜100的3d图像包括基准面130、第一参考点110及第二参考点120以及相互对称的其他参考点，以141和142为例。

步骤s52：将提取到的目标物体的3d数据与预先存储的正常眼镜的3d数据进行比较。

步骤s53：在一致时，所述眼镜100正常。

步骤s54：在不一致时，获取所述两相互对称的其他参考点141和142到所述基准面130的第一距离l1和第二距离l2以及所述两对称其他参考点141和142到所述基准面130的投影位置。

步骤s55：判断所述第一距离l1与所述第二距离l2是否相等且所述投影是否相交与所述基准面130上的同一点。

若所述第一距离l1和第二距离l2相等且所述投影相交与所述基准面130上的同一点，所述眼镜100正常。

步骤s56：若所述第一距离l1与所述第二距离l2不相等且所述投影相交于所述基准面130上同一点时；或所述第一距离l1与所述第二距离l2不相等且所述投影不相交于所述基准面130上同一点时；或所述第一距离l1与所述第二距离l2相等且所述投影不相交于所述基准面130上同一点时，所述眼镜100形变。

在本实施例中，选择所述眼镜100上不易形变的点作为第一参考点110和第二参考点120，以通过所述第一参考点110和第二参考点120连接线s的中点o垂直于所述连接线s的平面作为基准面130进行形变检测。

其中，所述第一参考点110为眼镜100的左镜框102与左镜腿103的连接点，所述第二参考点120为眼镜100的右镜框102与右镜腿103的连接点。所述基准面130为通过所述第一参考点110与所述第二参考点120连接线s的中点o且垂直于所述连接线s的平面，所述互相对称的其他参考点141和142为除过所述第一参考点110和第二参考点120的所述眼镜100在正常情况下的镜片101、镜框102、镜腿103以及鼻托104上的相互对称的其他参考点。

请参阅图3，其中，步骤s5包括：

步骤s15：对所述眼镜100的镜片101脏污进行检测。

步骤s25：将所述眼镜100的镜片101像素信息与预先存储的正常眼镜的3d数据(基准图象)的像素信息进行比较。

步骤s35：在所述眼镜100的镜片101像素信息与基准图象像素信息一致时，所述眼镜100正常。

步骤s45：在所述眼镜100的镜片101像素信息与基准图象像素信息存在差异时，所述眼镜100的镜片101有脏污。

本实施方式中，所述像素信息包括像素的颜色以及像素的亮暗。所述基准图像为预先拍摄并储存的相同背景环境下的干净的未形变的眼镜3d图像或检测时拍摄的背景均一的眼镜3d图像自身。一种脏污检测方式是通过将检测时拍摄的所述眼镜的3d图像与所述预先拍摄的眼睛的3d图像的镜片区域或检测时拍摄的背景均一的眼镜3d图像自身的镜片区域进行像素颜色以及亮暗对比。检测时拍摄的眼镜3d图像镜片区域与预先拍摄的眼镜3d图像的镜片区域的像素颜色和/或亮暗对比结果相同(误差允许范围内)，则所述眼镜镜片正常无明显脏污；若所述镜片区域的像素颜色和/或亮暗对比结果不相同(超出误差允许范围)，则所述眼镜镜片不正常存在明显脏污；另一种脏污检测方式是对检测时拍摄的所述眼镜3d图像自身的镜片区域进行像素颜色以及亮暗的自身均一性对比。若所述镜片区域不存在像素的颜色和/或亮暗与周围像素电明显不同的，均一性较好，则所述眼镜镜片正常无明显脏污；若所述镜片区域存在像素的颜色和/或亮暗与周围像素电明显不同的，则所述眼镜镜片不正常存在明显脏污。

通过上述方式，用户无需花费过多的时间和精力去眼镜店检测眼镜形变是否形变，可随时随地通过自拍的方式进行眼镜形变以及脏污的检测，可以及时的检测到眼镜是否存在形变及脏污，以避免眼镜形变严重对用户眼睛带来的眼睛形变和视力影响。

请参阅图4，是本发明移动终端的结构示意图。所述移动终端200包括处理器210及存储器220，所述存储器220用于存储检测装置1以执行上述的检测方法的程序，所述处理器210被配置为用于执行所述存储器220中存储的程序，所述移动终端200中的其他元件及功能与现有移动终端的器件及功能相同，在此不再赘述。

其中，处理器210还可以称为cpu(centralprocessingunit，中央处理单元)。处理器210可能是一种集成电路芯片，具有信号的处理能力。处理器210还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述检测装置1可以以软件的形成安装于所述移动终端200中，对应打开所述软件即可进行相关检测。

所述移动终端200可以是手机、pad以及其他智能电子显示设备。

通过上述方式，将所述检测装置1以自拍软件的形式安装于手机中。用户在日常生活中打开自拍软件进行自拍时，就可以在自拍的同时对眼镜的形变和脏污进行检测，简单方便，一举两得，并且省去花费时间和精力定期去眼镜店检测眼镜。

请参阅图5，是本发明存储装置的结构示意图。所述存储装置300存储有程序文件310，所述程序文件310能够被执行以实现上述的检测方法。

其中，该程序文件310可以以软件产品的形式存储在上述存储装置300中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置300包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

请参阅图6，是本发明检测装置的结构示意图，所述检测装置1用于检测目标物体，所述检测装置1包括：

摄像模块10，用于拍摄包含所述目标物体的3d图像；

获取模块20，与所述摄像模块10连接，用于获取所述3d图像的3d数据；

识别模块30，与所述摄像模块10连接，用于识别所述3d图像中的目标物体；

提取模块40，与所述获取模块20和识别模块30连接，用于根据所述目标物体从所述3d数据中提取所述目标物体的3d数据；及

检测模块50，与所述提取模块40连接，用于对所述目标物体的3d数据进行检测以判断所述目标物体是否正常。

其中，所述摄像模块10为3d摄像头，所述目标物体为眼镜。

结合图7，所述识别模块30包括卷积神经网络单元31，通过所述卷积神经网络单元31对包含有所述眼镜的若干3d图像进行训练来获取所述眼镜的信息，以从所述包含有眼镜的3d图像中识别所述眼镜。

结合图8，所述检测模块50包括对称检测单元51和像素检测单元52。所述对称检测单元51用于对所述眼镜进行形变检测，如图9所示，所述眼镜100包括镜片101、镜框102、镜腿103以及鼻托104。所述眼镜100的3d图像包括基准面130、第一参考点110及第二参考点120以及相互对称的其他参考点，所述相互对称的其他参考点以141和142为例，所述眼镜100的3d数据包括所述眼镜100的像素坐标数据(如参考点141及142在x轴、y轴及z轴的坐标数据)，所述形变检测单元51将从所述提取模块40接收到的目标物体的3d数据与预先存储的正常眼镜的3d数据(其中，所述预先存储的正常眼镜的3d数据是佩戴者购买所述眼镜后即通过拍照获得的所述眼镜的数据)进行比较，一致时，所述眼镜正常(即所述眼镜与购买时的形状相同)，不一致时所述对称检测单元51获取所述两相互对称的其他参考点141和142到所述基准面130的第一距离l1和第二距离l2，并判断所述第一距离l1与所述第二距离l2是否相等以及所述两相互对称的其他参考点141和142到基准面130的投影是否交于一点，若所述第一距离l1和第二距离l2相等且所述两相互对称的其他参考点141和142到基准面130的投影是交于一点(如图9所示，相互对称的其他参考点141和142到基准面130的投影是交于通同一点m)，所述眼镜100正常(即人为认为正常，其可能由于佩戴者根据自身需要调整了所述眼镜的形状)；若所述第一距离l1与所述第二距离l2不相等且所述投影相交于所述基准面130上同一点时；或所述第一距离l1与所述第二距离l2不相等且所述投影不相交于所述基准面130上同一点时；或所述第一距离l1与所述第二距离l2相等且所述投影不相交于所述基准面130上同一点时，所述眼镜100形变。

在本实施例中，选择所述眼镜100上不易形变的点作为第一参考点110和第二参考点120，以通过所述第一参考点110和第二参考点120连接线s的中点o且垂直于所述第一参考点110和第二参考点120的接线s的平面作为基准面130进行形变检测。

其中，所述第一参考点110为眼镜100的左镜框102与左镜腿103的连接点，所述第二参考点120为眼镜的右镜框102与右镜腿103的连接点。所述基准面130为通过所述第一参考点110与所述第二参考点120连接线s的中点o且垂直于所述连接线s的平面，所述互相对称的其他参考点141和142为除过所述第一参考点110和第二参考点120的所述眼镜在正常情况下的镜片101、镜框102、镜腿103以及鼻托104上的相互对称的其他参考点。

所述像素检测单元52用于对所述眼镜100的镜片101脏污进行检测。所述像素检测单元52将所述眼镜100的镜片101像素信息与预先存储的正常眼镜的3d数据进行比较，在所述眼镜100的镜片101像素信息与预先存储的正常眼镜的3d数据一致时，所述眼镜正常(即所述眼镜的镜片没有脏污)，在所述眼镜100的镜片101像素信息与预先存储的正常眼镜的3d数据存在差异时，所述眼镜100的镜片101有脏污。

本实施方式中，所述像素信息包括像素的颜色以及像素的亮暗。所述预先存储的正常眼镜的3d数据为预先拍摄并储存的相同背景环境下的干净的未形变的眼镜3d图像。通过将检测时拍摄的所述眼镜的3d图像与所述预先拍摄的眼睛的3d图像的镜片区域进行像素颜色以及亮暗的对比，若所述镜片区域的像素颜色和/或亮暗对比结果相同(误差允许范围内)，则所述眼镜镜片正常，无明显脏污；若所述镜片区域的像素颜色和/或亮暗对比结果不相同(超出误差允许范围)，则所述眼镜镜片不正常，存在明显脏污。

在本实施方式中还可以通过将检测时拍摄的3d图像与预先拍摄的3d图像对比确定眼镜的3d数据。

在其他通过像素单元52对镜片101进行脏污检测的实施方式中，所述预先存储的正常眼镜的3d数据(基准图像)为检测时拍摄的背景均一的眼镜3d图像自身。对检测时拍摄的所述眼镜3d图像自身的镜片区域进行像素颜色以及亮暗的自身均一性对比，若所述镜片区域不存在像素的颜色和/或亮暗与周围像素电明显不同的，均一性较好，则所述眼镜镜片正常无明显脏污；若所述镜片区域存在像素的颜色和/或亮暗与周围像素电明显不同的，则所述眼镜镜片不正常存在明显脏污。

另，本发明所述检测时拍摄的背景均一的眼镜3d图像，是指检测时在单一颜色背景下或存在规律性纹路的背景下拍摄的眼镜3d图像。在所述背景均一的眼镜3d图像为单一颜色背景下的3d图像时，为避免脏污颜色与背景颜色相同造成的误差一般选择不同单色背景进行多次检测以确定所述眼镜上是否存在脏污；当所述背景均一的眼镜3d图像为在规律性纹路的背景下拍摄的眼镜3d图像时，所述识别模块40可识别出眼镜区域的规律性纹路为背景，所述像素检测单元52在进行像素信息检测时会将该背景像素信息排除，避免将背景像素信息误认为脏污。

在应用中，用户打开移动终端200的3d摄像头，通过所述3d摄像头拍摄一张佩戴正常眼镜的人脸3d图像，并将该人脸3d图像作为基准图像储存。再次拍摄一张佩戴眼镜的3d图像，通过获取单元20获取所述佩戴眼镜3d图像的3d数据。通过识别模块30中的经过训练识别眼镜的卷积神经网络单元31对所述3d图像进行识别，以识别出所述3d图像中的眼镜3d图像，提取模块40根据所述眼镜从所述3d数据中提取所述眼镜的3d数据，检测模块50中的对称检测单元51用于对所述眼镜进行形变检测。其中，以眼镜的左镜框与左镜腿的连接点为所述第一参考点110，以眼镜的右镜框与右镜腿的连接点为所述第二参考点120，以通过所述第一参考点110与所述第二参考点120连接线s的中点o且垂直于所述连接线s的平面为基准面130。所述形变检测单元51将从所述提取模块40接收到的目标物体的3d数据与预先存储的正常眼镜的3d数据进行比较，一致时，所述眼镜正常；不一致时，所述对称检测单元51获取所述两相互对称的其他参考点141和142所述对称检测单元51获取所述两相互对称的其他参考点141和142(所述眼镜上除过第一参考点110与所述第二参考点120的两对称参考点)到所述基准面130的第一距离l1和第二距离l2以及所述两相互对称的其他参考点141和142到基准面130的投影是否交于一点，并判断所述第一距离l1与所述第二距离l2是否相等以及所述投影是否相交与所述基准面130上的同一点。若所述第一距离l1和第二距离l2相等且所述两相互对称的其他参考点141和142在所述基准面130上的投影相交于同一点，所述眼镜100正常；若所述第一距离l1与所述第二距离l2不相等且所述投影相交于所述基准面130上同一点时，所述眼镜100形变；或所述第一距离l1与所述第二距离l2不相等且所述投影不相交于所述基准面130上同一点时，所述眼镜100形变；或所述第一距离l1与所述第二距离l2相等且所述投影不相交于所述基准面130上同一点时，所述眼镜100形变。

检测模块50中的像素检测单元52通过将检测时拍摄的所述眼镜的3d图像与所述预先拍摄的基准图像的镜片区域进行像素颜色以及亮暗的对比，若所述镜片区域的像素颜色和/或亮暗对比结果相同(误差允许范围内)，则所述眼镜镜片正常无明显脏污；若所述镜片区域的像素颜色和/或亮暗对比结果不相同(超出误差允许范围)，则所述眼镜镜片不正常存在明显脏污，以得出检测结果。

另，所述识别模块40可识别出眼镜区域的人脸结构(例如：眉毛、眼睫毛、眼球等)为背景，所述像素检测单元52在进行像素信息检测时会将该背景像素信息排除，避免将背景像素信息误认为脏污。

通过上述方式，用户可以自行使用简单操作的移动终端200进行眼镜形变以及脏污的检测，根据检测结果用户可以及时采取补救措施，以避免眼镜形变严重对用户眼睛带来的眼睛形变和视力影响，既省时又省力。

本发明通过拍摄包含眼镜的3d图像，获取所述3d图像的3d数据；卷积神经网络单元识别所述3d图像中的眼镜；根据所述眼镜从所述3d数据中提取所述眼镜的3d数据；检测所述眼镜上的两对称点与基准面的距离是否相等以及两对称点在基准面上的投影是否相交于一点以检测眼镜是否形变，将眼镜镜片区域的像素信息与基准图像的像素信息进行比较以检测眼镜是否脏污，以方便用户随时随地进行眼镜形变以及脏污的检测，提醒用户及时采取补救措施，省时省力。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。