一种残缺检测方法及装置与流程
本发明属于遥感影像技术领域，特别是涉及一种残缺检测方法及装置。
背景技术：
输电线路主要承担电能的输送功能，对电网的安全、可靠运行起着至关重要的作用，直接影响国民经济的稳定发展。但是由于大多输电线都暴露在自然环境下，经历着风吹日晒、雨雪、电闪雷击、污移及沉陷等外界环境的侵害，同时还需要承受机械载荷的内部压力。上述因素都会造成输电线部件不同程度的老化甚至破损，若不能及时发现和消除这些输电线中的隐患，就可能给输电环节带来很大危害，对国家电网的安全运行构成严重的潜在威胁。因此，定期检查输电线是一项有效保证输电线安全、正常输送的重要工作。
绝缘子是架空输电线路的重要组成部分，其作用是支撑导线和防止电流回地。由于绝缘子要长期经受风吹、日晒、雨淋，再加上自身机械疲劳，容易出现破碎、裂缝等损伤，使绝缘子不能正常的发挥作用。
目前，电力部门对无人机巡线检测技术进行了大量的实验研究，一些电力部门也开展了无人机巡线的应用。利用无人机巡线方式可以每小时采集到数百兆的图像视频数据，应用到识别、判断输电线图像数据过程中，主要是工作人员采用肉眼方式判断图像中的绝缘子是否存在破碎、裂缝等异常现象。这需要大量的人力物力财力，且采用肉眼方式检测精度较低；并且长时间的人工作业，容易引起视觉疲劳，易发生误判和漏判情况。
技术实现要素：
有鉴于此，本发明提供一种残缺检测方法及装置，在一定程度上解决了目前的绝缘子检测方式检测精度较低、易发生误判和漏判的问题。
依据本发明的第一方面，提供了一种残缺检测方法，所述方法包括：
从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；
对每两个所述二维图像进行特征点匹配，得到多个特征点对；
根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；
对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；
获取所述目标三维图像中至少一组测试点之间的测试距离；
根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。
可选地，所述遥感图像包括第一对象、第二对象、待测对象及其他对象；所述第一对象为细长直线形状，所述第二对象的宽度与所述第一对象的宽度的差值、所述待测对象的宽度与所述第一对象的宽度的差值均大于第一阈值；所述从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像，包括：
分别去除多个遥感图像中的所述其他对象，得到多个第一图像；
对所述第一图像进行二值化处理，得到多个二值化图像；
利用开运算算法从所述二值化图像中去除所述第一对象，得到包括第二对象、待测对象的第二图像；
利用最大类间方差法从所述第二图像中去除所述第二对象，得到仅包括待测对象的二维图像。
可选地，所述分别去除多个遥感图像中的所述其他对象，包括：
将所述遥感图像从rgb颜色空间转换到hsi颜色空间，得到hsi图像，所述hsi图像中包括h变量值、i变量值和s变量值；
从所述hsi图像中去除i变量值大于第二阈值的像素点，得到只包括第一对象、第二对象、待测对象的第一图像；
所述对所述第一图像进行二值化处理，得到多个二值化图像，包括：
将所述第一图像中s变量值小于第三阈值的像素点的灰度值设置为255，大于或等于第三阈值的像素点的灰度值设置为0，得到二值化图像。
可选地，所述利用最大类间方差法从所述第二图像中去除所述第二对象，得到仅包括待测对象的二维图像，包括：
在所述第二图像中确定使得所述第二对象和所述待测对象的灰度方差最大的目标灰度值；
利用所述目标灰度值从所述第二图像中提取仅包括所述第二对象的第二对象图像；
分别将所述第二图像和所述第二对象图像中的对应位置处的像素点的灰度值作差，得到每个像素点的差值；
根据所述每个像素点的差值得到仅包括待测对象的二维图像。
可选地，所述在所述第二图像中确定使得所述第二对象和所述待测对象的灰度方差最大的目标灰度值，包括：
建立所述第二图像的灰度直方图；
根据任意一个灰度值t将所述灰度直方图分为灰度值小于t的前景区域和灰度值大于t的背景区域；
确定所述前景区域中的像素数占所述灰度直方图的总像素数的第一比例，并确定所述背景区域的像素数占所述灰度直方图的总像素数的第二比例；
根据所述第一比例、所述第二比例分别确定所述前景区域的第一平均灰度值和所述背景区域的第二平均灰度值；
根据所述第一平均灰度值和所述第二平均灰度值确定所述灰度直方图的第三平均灰度值；
根据所述第一比例、所述第二比例、所述第一平均灰度值、所述第二平均灰度值、所述第三平均灰度值确定所述前景区域和所述背景区域的类间方差；
确定能够使得所述类间方差最大的所述任意一个灰度值t的目标值，得到目标灰度值。
可选地，所述利用所述目标灰度值从所述第二图像中提取仅包括所述第二对象的第二对象图像，包括：
将所述灰度直方图中的灰度值小于目标灰度值的前景区域对应的图像确定为仅包括所述第二对象的第二对象图像。
可选地，所述对每两个所述二维图像进行特征点匹配，得到多个特征点对，包括：
对所述二维图像进行高斯滤波，得到滤波图像；
确定所述滤波图像的海森矩阵，并根据所述海森矩阵计算所述二维图像的特征值；
根据所述特征值确定所述二维图像中的每个目标区域的特征点；所述目标区域为以任意一个像素点为中心，以预设像素点数量为半径的区域；
从所述特征点中任意选取第一特征点，将所述第一特征点对应的特征向量与所述相邻的二维图像中的所有特征点对应的特征向量分别进行内积计算，得到多个内积值；
确定所述多个内积值中最大的内积值是否大于或等于第四阈值；
若是，则确定所述第一特征点与所述最大的内积值对应的第二特征点匹配；
将所述第一特征点与所述第二特征点确定为特征点对。
可选地，所述对多个所述三维图像进行配准融合，包括：
利用迭代最近点算法对所述多个三维图像进行配准融合。
可选地，所述获取所述目标三维图像中至少一组测试点之间的测试距离，包括：
将所述目标三维图像的经纬度坐标系下的点的坐标值转换到二维投影坐标系下，得到所述目标三维图像中的点的二维坐标；
获取所述目标三维图像中至少一组测试点的二维坐标之间的几何距离，得到测试距离；所述一组测试点为所述目标三维图像上的两个点。
可选地，所述根据所述测试距离与预设的标准距离之间的差值确定所述任意两个点对应位置处的待测对象是否存在残缺，包括：
从预设的标准待测对象中获取目标参考点之间的几何距离，得到标准距离；所述目标参考点的三维坐标与所述测试点的三维坐标对应；
确定所述测试距离与所述标准距离之间的差值；
若所述差值大于第五阈值，则确定所述测试点对应位置处的待测对象存在残缺；
若所述差值小于或等于所述第五阈值，则确定所述测试点对应位置处的待测对象不存在残缺。
本发明实施例还提供一种残缺检测装置，所述装置包括：
二维图像获取模块，用于从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；
特征点匹配模块，用于对每两个所述二维图像进行特征点匹配，得到多个特征点对；
三维图像生成模块，用于根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；
目标三维图像生成模块，用于对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；
测试距离获取模块，用于获取所述目标三维图像中至少一组测试点之间的测试距离；
残缺确定模块，用于根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。
可选地，所述遥感图像包括第一对象、第二对象、待测对象及其他对象；所述第一对象为细长直线形状，所述第二对象的宽度与所述第一对象的宽度的差值、所述待测对象的宽度与所述第一对象的宽度的差值均大于第一阈值；所述二维图像获取模块，包括：
第一图像生成子模块，用于分别去除多个遥感图像中的所述其他对象，得到多个第一图像；
二值化处理子模块，用于对所述第一图像进行二值化处理，得到多个二值化图像；
开运算子模块，用于利用开运算算法从所述二值化图像中去除所述第一对象，得到包括第二对象、待测对象的第二图像；
二维图像生成子模块，用于利用最大类间方差法从所述第二图像中去除所述第二对象，得到仅包括待测对象的二维图像。
可选地，所述第一图像生成子模块，包括：
颜色空间转换单元，用于将所述遥感图像从rgb颜色空间转换到hsi颜色空间，得到hsi图像，所述hsi图像中包括h变量值、i变量值和s变量值；
第一图像生成单元，用于从所述hsi图像中去除i变量值大于第二阈值的像素点，得到只包括第一对象、第二对象、待测对象的第一图像；
所述二值化处理子模块，包括：
二值化处理单元，用于将所述第一图像中s变量值小于第三阈值的像素点的灰度值设置为255，大于或等于第三阈值的像素点的灰度值设置为0，得到二值化图像。
可选地，所述二维图像生成子模块，包括：
目标灰度值确定单元，用于在所述第二图像中确定使得所述第二对象和所述待测对象的灰度方差最大的目标灰度值；
提取单元，用于利用所述目标灰度值从所述第二图像中提取仅包括所述第二对象的第二对象图像；
作差单元，用于分别将所述第二图像和所述第二对象图像中的对应位置处的像素点的灰度值作差，得到每个像素点的差值；
二维图像生成单元，用于根据所述每个像素点的差值得到仅包括待测对象的二维图像。
可选地，其特征在于，所述目标灰度值确定单元，包括：
直方图建立子单元，用于建立所述第二图像的灰度直方图；
分割子单元，用于根据任意一个灰度值t将所述灰度直方图分为灰度值小于t的前景区域和灰度值大于t的背景区域；
比例确定子单元，用于确定所述前景区域中的像素数占所述灰度直方图的总像素数的第一比例，并确定所述背景区域的像素数占所述灰度直方图的总像素数的第二比例；
平均灰度值确定第一子单元，用于根据所述第一比例、所述第二比例分别确定所述前景区域的第一平均灰度值和所述背景区域的第二平均灰度值；
平均灰度值确定第二子单元，根据所述第一平均灰度值和所述第二平均灰度值确定所述灰度直方图的第三平均灰度值；
类间方差确定子单元，用于根据所述第一比例、所述第二比例、所述第一平均灰度值、所述第二平均灰度值、所述第三平均灰度值确定所述前景区域和所述背景区域的类间方差；
目标灰度值确定子单元，用于确定能够使得所述类间方差最大的所述任意一个灰度值t的目标值，得到目标灰度值。
可选地，所述提取单元，包括：
提取子单元，用于将所述灰度直方图中的灰度值小于目标灰度值的前景区域对应的图像确定为仅包括所述第二对象的第二对象图像。
可选地，所述特征点匹配模块，包括：
高斯滤波子模块，用于对所述二维图像进行高斯滤波，得到滤波图像；
特征值计算子模块，用于确定所述滤波图像的海森矩阵，并根据所述海森矩阵计算所述二维图像的特征值；
特征点确定子模块，用于根据所述特征值确定所述二维图像中的每个目标区域的特征点；所述目标区域为以任意一个像素点为中心，以预设像素点数量为半径的区域；
内积计算子模块，用于从所述特征点中任意选取第一特征点，将所述第一特征点对应的特征向量与所述相邻的二维图像中的所有特征点对应的特征向量分别进行内积计算，得到多个内积值；
确定子模块，用于确定所述多个内积值中最大的内积值是否大于或等于第四阈值；
匹配子模块，用于若是，则确定所述第一特征点与所述最大的内积值对应的第二特征点匹配；
特征点对确定子模块，用于将所述第一特征点与所述第二特征点确定为特征点对。
可选地，所述目标三维图像生成模块，包括：
配准融合子模块，用于利用迭代最近点算法对所述多个三维图像进行配准融合。
可选地，所述测试距离获取模块，包括：
转换子模块，用于将所述目标三维图像的经纬度坐标系下的点的坐标值转换到二维投影坐标系下，得到所述目标三维图像中的点的二维坐标；
测试距离获取子模块，用于获取所述目标三维图像中至少一组测试点的二维坐标之间的几何距离，得到测试距离；所述一组测试点为所述目标三维图像上的两个点。
可选地，所述残缺确定模块，包括：
标准距离获取子模块，用于从预设的标准待测对象中获取目标参考点之间的几何距离，得到标准距离；所述目标参考点的三维坐标与所述测试点的三维坐标对应；
差值确定子模块，用于确定所述测试距离与所述标准距离之间的差值；
残缺确定第一子模块，用于若所述差值大于第五阈值，则确定所述测试点对应位置处的待测对象存在残缺；
残缺确定第二子模块，用于若所述差值小于或等于所述第五阈值，则确定所述测试点对应位置处的待测对象不存在残缺。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的残缺检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的残缺检测方法的步骤。
针对在先技术，本发明具备如下优点：
本发明提供的一种残缺检测方法及装置，从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；对每两个所述二维图像进行特征点匹配，得到多个特征点对；根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；获取所述目标三维图像中至少一组测试点之间的测试距离；根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。在上述方法中，从遥感图像中提取出仅包括待测对象的二维图像，通过对二维图像进行特征点匹配得到三维图像，通过对多个三维图像进行配准融合，得到精确的目标三维图像。通过检测目标三维图像中测试点之间的距离可以判定待测对象是否存在残缺。整个检测过程为计算机自动执行，节省了人力，提高了检测精度，大大降低了误判和漏判的机率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种残缺检测方法的步骤流程图；
图2是本发明实施例提供的另一种残缺检测检测方法的步骤流程图；
图3是本发明实施例提供的一种遥感图像的示意图；
图4是本发明实施例提供的一种残缺检测检测装置的框图；
图5是本发明实施例提供的另一种残缺检测检测装置的框图；
图6是本发明实施例提供的一种用于残缺检测的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种残缺检测方法的步骤流程图，应用于电子设备，如图1所示，该方法可以包括：
步骤101、从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像。
在本发明实施例中，待测对象为安装于高压输电线上的绝缘子，遥感图像是指利用无人机、直升机等飞行器针对高压输电线上的绝缘子拍摄的图像。红外摄影仪、数码摄像机、高分辨望远镜、可见光录像机等设备可以作为拍摄工具。为了方便图像处理，针对同一待测对象，可在同一航线上连续拍摄多个遥感图像。
因为绝缘子一般位于电力塔上，而不同的电力塔之间由电力线连接，因此在本发明的遥感图像中，一般除了待测对象绝缘子，还会包括电力塔和部分电力线以及背景天空图像。要对待测对象进行残缺检测，首先需要从每个遥感图像中去除其他对象，如电力塔、电力线、天空等对象，得到仅包括待测对象的多个二维图像。
步骤102、对每两个所述二维图像进行特征点匹配，得到多个特征点对。
在本发明实施例中，可以从多个连续拍摄的二维图像中，每两个二维图像作为一组，选取多组二维图像。为了保证每组二维图像中两个图像的相似度，以提高匹配效率，可以选取相邻的两个二维图像作为一组。
在分组之后，分别对每一组中的两个二维图像进行特征点匹配，即利用物体上的特征点对不同视角的图像中的同一个物体进行匹配。特征点是指物体上不会随着相机的移动、旋转或者光照的变化而变化的点。一个图像的特征点由关键点和描述子两部分组成。关键点指的是该特征点在图像中的位置，有些还具有方向、尺度信息；描述子通常是一个向量，按照人为的设计的方式，描述关键点周围像素的信息。通常描述子是按照外观相似的特征应该有相似的描述子设计的。
进行特征点匹配的算法比较多，其具体的匹配步骤大致都是：提取图像中的关键点，这部分是查找图像中具有某些特征的像素；根据得到的关键点位置，计算特征点的描述子；根据特征点的描述子，进行匹配。
每组中的两个二维图像进行匹配，可以得到多个特征点对。
步骤103、根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像。
在本发明实施例中，因为每两个二维图像都是针对同一待测对象的，具有大面积的共同区域，因此可对两幅二维图像进行密集匹配，得到待测对象的三维图像。具体地，可选取同一航线中相邻两个二维图像进行匹配，相邻二维图像的视角更为相似，共同区域面积更大，匹配速度更快。
此过程中需要对拍摄每组二维图像的两个摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用匹配得到的特征点对计算图像像素间位置偏差，获得待测对象的三维深度信息，进而生成待测对象的三维图像，即绝缘子的三维图像。
步骤104、对多个所述三维图像进行配准融合，得到目标三维图像。
在本发明实施例中，由于拍摄角度的限制，由每组二维图像生成的三维图像不能获取待测对象的全部空间数据，因此要对多个三维图像进行拼接，得到最精准的待测对象的目标三维图像。
对于两个来自不同坐标系的三维图像构成的三维数据点集，找到两个点集空间的变换关系，使得两个点集能统一到同一坐标系统中，即配准过程。配准的目标是在全局坐标框架中找到单独获取的视图的相对位置和方向，使得它们之间的相交区域完全重叠。
具体地，可以采用点云配准融合方法。点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(pointcloud)。点云图像是最基础也最常见的三维图像。配准融合指为了得到待测对象的完整数据模型，需要确定一个合适的坐标变换，将从各个视角得到的点集合并到一个统一的坐标系下，形成一个完整的数据点云。在本发明实施例中即是形成一个完整的目标三维图像。
配准融合分为粗配准(coarseregistration)和精配准(fineregistration)两个阶段。精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。粗配准是指在点云相对位置姿态完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。
本发明实施例对于配准融合的方法不做具体限定，只要最终能够得到精准的待测对象的目标三维图像即可。
步骤105、获取所述目标三维图像中至少一组测试点之间的测试距离。
在本发明实施例中，可以通过测量对侧对象的三维图像中两点间的空间距离，来检测待测对象是否存在残缺。可以从目标三维图像中选取多组测试点，每一组测试点包括两个点，来进行多角度多方位的测量。
具体地，可以采用测量两点间的测地线距离方法、投影转换方法等来获取每组测试点之间的空间距离，空间距离即测试距离。
本发明实施例对于获取测试点之间的测试距离的方法不做具体限定。
步骤106、根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。
在本发明实施例中，给定无残缺的标准绝缘子，获取标准绝缘子上所述测试点对应位置处的空间距离，得到标准距离。将步骤105得到的测试距离与标准距离进行比较，若两者的差值大于或等于给定的阈值，则确定待测对象在测试点存在残缺；若两者的差值小于给定的阈值，则确定待测对象在测试点不存在残缺。
综上所述，本发明实施例提供的残缺检测方法，从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；对每两个所述二维图像进行特征点匹配，得到多个特征点对；根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；获取所述目标三维图像中至少一组测试点之间的测试距离；根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。在上述方法中，从遥感图像中提取出仅包括待测对象的二维图像，通过对二维图像进行特征点匹配得到三维图像，通过对多个三维图像进行配准融合，得到精确的目标三维图像。通过检测目标三维图像中测试点之间的距离可以判定待测对象是否存在残缺。整个检测过程为计算机自动执行，节省了人力，提高了检测精度，大大降低了误判和漏判的机率。
图2是本发明实施例提供的另一种残缺检测方法的步骤流程图，如图2所示，该方法可以包括：
步骤201、分别去除多个遥感图像中的所述其他对象，得到多个第一图像。
在本发明实施例中，所述遥感图像包括第一对象、第二对象、待测对象及其他对象；所述第一对象为细长直线形状，所述第二对象的宽度与所述第一对象的宽度的差值、所述待测对象的宽度与所述第一对象的宽度的差值均大于第一阈值。
本发明中的遥感图像是指利用无人机、直升机等飞行器针对高压输电线上的绝缘子拍摄的图像。其中，第一对象为电力线，通常为细长直线形状；第二对象为电力塔，待测对象为绝缘子，其他对象为天空等背景。电力塔和绝缘子的宽度远远大于电力线。可以预先确定宽度差值的阈值为第一阈值，若电力塔与电力线的宽度差值、绝缘子与电力线的宽度差值均大于第一阈值，则可以采用开运算算法从遥感图像中去除电力线。
图3是本发明实施例提供的遥感图像的示意图。在图3中，s1所示为第一对象即电力线，s2所示为第二对象即电力塔，s3所示为待测对象即绝缘子，s4所示为其他对象即天空等背景。在图3中，可明显看到，第一对象为细长直线形状，第二对象的宽度、待测对象的宽度明显大于第一对象的宽度。
要对待测对象进行分析，需要去除遥感图像中的第一对象、第二对象及其他对象。因为在自然环境下，电力塔、电力线、绝缘子的光谱值和周围的背景光谱值差异较为明显，因此可以通过二维ostu阈值分割法将电力塔、电力线、绝缘子从背景中提取出来。
可选地，步骤201包括以下步骤2011-步骤2012：
步骤2011、将所述遥感图像从rgb颜色空间转换到hsi颜色空间，得到hsi图像。
在本发明实施例中，遥感图像为rgb(redgreeblue，红、绿、蓝)颜色空间，将其转换到hsi(huesaturationintensity，色调、色饱和度、亮度)颜色空间，以方便进行图像处理。具体转换中使用的公式可以如下：
其中，h为每个像素在his颜色空间下的h分量值，s为s分量值，i为i分量值，r为每个像素在rgb空间下的r分类值，b为b分量值，g为g分量值，min表示最小值，
步骤2012、从所述hsi图像中去除i变量值大于第二阈值的像素点，得到只包括第一对象、第二对象、待测对象的第一图像。
在本发明实施例中，由于电力塔和电力线、绝缘子是由金属和塑料组成，相对于周围背景，在hsi颜色空间里i变量表现特殊，经过多次测试统计确定电力塔、电力线、绝缘子在hsi空间中i变量的值总是不超过0.75。因此，可通过此特征从遥感图像中去除其他对象。具体地，设置第二阈值为0.75，从hsi图像中去除i变量值大于第二阈值的像素点，即得到只包括第一对象、第二对象、待测对象的第一图像。
本步骤通过测试确定电力塔、电力线、绝缘子在hsi空间中i变量的值总是不超过第二阈值，并利用该特征，将其他对象从遥感图像中去除，方法简便且效果较好。
步骤202、对所述第一图像进行二值化处理，得到多个二值化图像。
在本发明实施例中，图像的二值化处理就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。将256个亮度等级的灰度图像通过适当的阀值选取而获得仍然可以反映图像整体和局部特征的二值化图像。
其中，所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。在第一图像中，经过二值化处理，第一对象、第二对象、待测对象的灰度值被设置为255，其他背景的灰度值被设置为0。
可选地，所述步骤202包括步骤2021：
步骤2021、将所述第一图像中s变量值小于第三阈值的像素点的灰度值设置为255，大于或等于第三阈值的像素点的灰度值设置为0，得到二值化图像。
在本发明实施例中，选取s变量值的阈值为第三阈值。具体地，通过实际对比测试，得出第三阈值的经验值为0.392。即将所述第一图像中s变量值小于0.392的像素点的灰度值设置为255，大于或等于0.392的像素点的灰度值设置为0。最终得到第一对象、第二对象、待测对象的灰度值为255，其他背景的灰度值为0的二值化图像。
本步骤中通过测试确定将s变量值小于第三阈值的像素点的灰度值设置为255，大于或等于第三阈值的像素点的灰度值设置为0，可得到较好的二值化效果。
步骤203、利用开运算算法从所述二值化图像中去除所述第一对象，得到包括第二对象、待测对象的第二图像。
在本发明实施例中，膨胀是加长或变粗二值图像中的对象，腐蚀是收缩或细化二值图像中的对象。开运算是对二值图像中的对象先腐蚀运算，再膨胀运算的操作，其作用是把连在一起的两块目标分开。具体是利用结构元素在二值化图像中先采用腐蚀算法进行遍历处理，再采用膨胀算法进行遍历处理，进而可以将二值化图像中的两块目标分开。
在二值化图像中电力线跟绝缘子和电力塔相比，电力线的宽度明显小于绝缘子和电力塔，因此可以通过开运算，在二值化图像中将电力线与绝缘子、电力塔分开。具体地，通过反复测试发现，采用5*5的结构元素进行遍历处理，刚好可以将电力线去掉，从而得到保留电力塔和绝缘子的第二图像。
本步骤中利用电力线、电力塔、绝缘子的结构特点，选用开运算算法将电力线从二值化图像中去除，去除效果较好。
步骤204、利用最大类间方差法从所述第二图像中去除所述第二对象，得到仅包括待测对象的二维图像。
在本发明实施例中，第二对象即电力塔在第二图像中具有光谱显著性，可利用光谱值分割方法从第二图像中提取第二对象。具体地，可使用最大类间方差法进行分割。最大类间方差法是一种自适应阈值确定的方法，是一种基于全局的二值化算法。它是根据图像的灰度特性，将图像分为前景和背景两个部分。当取最佳阈值时，两部分之间的差别是最大的，在最大类间方差法中所采用的衡量差别的标准就是最大类间方差。前景和背景之间的类间方差如果越大，就说明构成图像的两个部分之间的差别越大，当部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时就意味着错分概率最小。
因此，可利用最大类间方差衡量第二对象和待测对象之间的差别，当差别最大时，即可将第二对象与待测对象分割，得到仅包括待测对象的二维图像。
可选地，步骤204包括以下步骤2041-步骤2044：
步骤2041、在所述第二图像中确定使得所述第二对象和所述待测对象的灰度方差最大的目标灰度值。
在本发明实施例中，最大类间方差法是根据图像的灰度特性，将图像分为前景和背景两个部分。当取最佳阈值时，前景和背景之间的差别是最大的，灰度方差也是最大的。该最佳阈值即目标灰度值。因此，获取目标灰度值是最大类间方差法的关键。
可选地，步骤2041包括以下步骤20411-步骤20417：
步骤20411、建立所述第二图像的灰度直方图。
在本发明实施例中，将第二图像分为l个灰度级，建立第二图像的灰度直方图。若n代表图像的像素点总数，ni代表第i个灰度级的像素点总数，则图像的像素点总数n可以表示为：
其中，每个灰度级的出现概率pi为：
pi＝ni/n(公式3)
步骤20412、根据任意一个灰度值t将所述灰度直方图分为灰度值小于t的前景区域和灰度值大于t的背景区域。
在本发明实施例中，可以取任意一个灰度值t，将大于或等于灰度值t的像素点作为前景区域a，小于灰度值t的像素点作为背景区域b。
步骤20413、确定所述前景区域中的像素数占所述灰度直方图的总像素数的第一比例，并确定所述背景区域的像素数占所述灰度直方图的总像素数的第二比例。
在本发明实施例中，将第一比例表示为pa，将第二比例表示为pb，则
步骤20414、根据所述第一比例、所述第二比例分别确定所述前景区域的第一平均灰度值和所述背景区域的第二平均灰度值。
在本发明实施例中，将第一平均灰度值表示为ωa，第二平均灰度值表示为ωb，则：
步骤20415、根据所述第一平均灰度值和所述第二平均灰度值确定所述灰度直方图的第三平均灰度值。
在本发明实施例中，将第三平均灰度值表示为ω0，则：
ω0＝pa*ωa+pb*ωb(公式5)
步骤20416、根据所述第一比例、所述第二比例、所述第一平均灰度值、所述第二平均灰度值、所述第三平均灰度值确定所述前景区域和所述背景区域的类间方差。
在本发明实施例中，将类间方差表示为σ2，则：
σ2＝pa*(ωa-ω0)2+pb*(ωb-ω0)2(公式6)
步骤20417、确定能够使得所述类间方差最大的所述任意一个灰度值t的目标值，得到目标灰度值。
在本发明实施例中，因为t的取值决定了pa、pb的取值，进一步决定了ωa、ωb、ω0的取值，因此t的取值最终决定了σ2的取值。因此，可以通过反复的实验确定能够使σ2最大的t的目标取值，并将目标取值作为目标灰度值。
步骤2042、利用所述目标灰度值从所述第二图像中提取仅包括所述第二对象的第二对象图像。
在本发明实施例中，根据最大类间方差法原理，目标灰度值为最佳分割门限，因此，可以根据目标灰度值将待测对象和第二对象分开。即可以从所述第二图像中提取仅包括所述第二对象的第二对象图像。
可选地，步骤2042包括步骤20421：
步骤20421、将所述灰度直方图中的灰度值小于目标灰度值的前景区域对应的图像确定为仅包括所述第二对象的第二对象图像。
在本发明实施例中，因为前景区域为灰度值小于t的区域，即第二对象所在的区域，因此，可将灰度值小于目标灰度值的前景区域对应的图像确定为仅包括所述第二对象的第二对象图像。
步骤2043、分别将所述第二图像和所述第二对象图像中的对应位置处的像素点的灰度值作差，得到每个像素点的差值。
在本发明实施例中，分割出第二对象图像之后，将第二图像和第二对象图像对应位置处的像素点的灰度值作差，差值对应为待测对象的每个像素点的灰度值。
步骤2044、根据所述每个像素点的差值得到仅包括待测对象的二维图像。
在本发明实施例中，差值对应为待测对象的每个像素点的灰度值，因此所有的差值组成了仅包括待测对象的二维图像。
在步骤2041-步骤2044中，通过最大类间方差法将第二对象从第二图像中提取出来，得到仅包括待测对象的二维图像，此过程算法简单，利用第二对象和待测对象面积相差不大的特点，能够有效的对图像进行分割。
步骤205、对所述二维图像进行高斯滤波，得到滤波图像。
在本发明实施例中，为了避免后续图像处理中的误差传递，可对每个仅包括待测对象的二维图像进行高斯滤波，以消除噪声，得到标准差为σ的滤波图像g(σ)。
步骤206、确定所述滤波图像的海森矩阵，并根据所述海森矩阵计算所述二维图像的特征值。
在本发明实施例中，可以利用加速稳健特征算法对每两个二维图像进行特征点匹配。具体地，首先确定滤波图像中每个像素点所对应的海森矩阵(hessianmatrix)。设每个像素点的坐标为(x,y),g(σ)为标准差为σ的滤波图像，则每个像素点对应的海森矩阵h(x,σ)可以表示为：
其中lxx(x,σ)是滤波图像g(σ)在x方向的二阶导数，其他的lyy(x,σ)lxy(x,σ)都是g(σ)的二阶导数。
根据矩阵的特征值求解算法进一步计算海森矩阵的特征值。具体地，矩阵的特征值求解方法为现有技术，此处不再赘述。
步骤207、根据所述特征值确定所述二维图像中的每个目标区域的特征点；所述目标区域为以任意一个像素点为中心，以预设像素点数量为半径的区域。
在本发明实施例中，对图像的每个像素点提取特征值，然后寻找每个目标区域内最大的特征值，将该点作为该目标区域的特征点。
目标区域为以任意一个像素点为中心，以预设像素点数量为半径的区域，例如，该预设像素点数量可以取值为3，则目标区域为以某一个像素点为中心，半径为3像素的区域。
步骤208、从所述特征点中任意选取第一特征点，将所述第一特征点对应的特征向量与所述相邻的二维图像中的所有特征点对应的特征向量分别进行内积计算，得到多个内积值。
在本发明实施例中，欲进行特征点的匹配，需要提取特征点的特征向量。具体地，提取特征向量的过程是：以特征点为圆心，半径为6个像素点建立圆领域，对圆领域内的像素点进行哈尔小波响应运算。设计一个以特征点为中心，张角为60度的扇形滑动窗口，统计这个扇形区域内的哈尔小波特征总和。以步长为0.2弧度左右，旋转这个滑动窗口，再统计小波特征总和。小波特征总和最大的方向为主方向。将特征点附近的区域划分4*4个子区域，每个子区域作为一个种子点，每个种子点有8个方向；将坐标轴旋转为特征点的方向，以确保旋转不变性；插值计算每个种子点八个方向的梯度，4*4*8＝128个梯度信息即为该特征点的特征向量。
将所述第一特征点对应的特征向量与所述相邻的二维图像中的所有特征点对应的特征向量分别进行内积计算，具体过程是：将第一特征点对应的特征向量(特征向量维度为[1,128])与相邻的二维图像中的第二特征点(特征向量维度为[1，128])进行内积计算，得到128*128个计算结果。即第一特征点与相邻的二维图像中的任意一个特征点进行内积计算，可得到128*128个内积值。
步骤209、确定所述多个内积值中最大的内积值是否大于或等于第四阈值。
在本发明实施例中，从128*128个内积值中选择最大的内积值，将这个最大的内积值与预设的第四阈值进行比较。
步骤210、若是，则确定所述第一特征点与所述最大的内积值对应的第二特征点匹配。
在本发明实施例中，若最大的内积值大于或等于第四阈值，则判定为第一特征点和第二特征点匹配成功，反之则匹配失败。
步骤211、将所述第一特征点与所述第二特征点确定为特征点对。
在本发明实施例中，可将匹配成功的两个特征点作为特征点对。
在步骤206-步骤211中，根据每个像素点的海森矩阵计算特征值，并求取特征点，将两个二维图像中的特征点进行匹配，得到特征点对，使用上述方法可对特征点进行快速、准确的匹配。
步骤212、根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像。
在本发明实施例中，步骤212可参照步骤103，此处不再赘述。
步骤213、利用迭代最近点算法对所述多个三维图像进行配准融合，得到目标三维图像。
在本发明实施例中，迭代最近算法即icp(iterativeclosestpoint)算法，其基本原理是：
分别在待匹配的目标点云p和源点云q中，按照一定的约束条件，找到最邻近点(pi,qi)，然后计算出最优匹配参数r和s，使得误差函数最小。
误差函数为e(r,s)为：
其中n为最邻近点对的个数，pi为目标点云p中的一点，qi为源点云q中与pi对应的最近点，r为旋转矩阵，s为平移矩阵。
迭代最近算法的步骤如下：
(1)在目标点云p中取点集pi∈p；
(2)找出源点云q中的对应点集qi∈q，使得||pi-qi||为最小；
(3)计算旋转矩阵r和平移矩阵s，使得误差函数最小；
(4)对pi使用上一步求得的旋转矩阵r和平移矩阵s进行旋转和平移变换，得到新的对应点集pi'＝{pi'＝rpi+s,pi∈p}；
(5)计算pi'与对应点集qi的平均距离d；
(6)如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算。否则返回第2步，直到满足收敛条件为止。
采用迭代最近算法进行多个三维图像的配准融合，可以获得非常精准的配准效果，不必对处理的点集进行分割和特征提取，且在较好的初值情况下，可以得到很好的算法收敛性。
步骤214、将所述目标三维图像的经纬度坐标系下的点的坐标值转换到二维投影坐标系下，得到所述目标三维图像中的点的二维坐标。
在本发明实施例中，可以采用投影转换方法来获取目标三维图像中的每组测试点之间的空间距离。具体地，目标三维图像中每个三维点具有x、y、z三个方向坐标值，从三维点中取出x、y坐标的值来构造二维点，再将构造的二维点的投影转换到wgs1984(worldgeodeticsystem，世界大地坐标系)投影坐标系下，得到目标三维图像中的点的二维坐标。
步骤215、获取所述目标三维图像中至少一组测试点的二维坐标之间的几何距离，得到测试距离；所述一组测试点为所述目标三维图像上的两个点。
在本发明实施例中，从目标三维图像中取至少一组测试点，一组测试点包括两个点对象，利用这两个点对象的二维坐标使用平面几何距离方法计算这两个点之间的距离，得到测试距离。
步骤216、从预设的标准待测对象中获取目标参考点之间的几何距离得到标准距离；所述目标参考点的三维坐标与所述测试点的三维坐标对应。
在本发明实施例中，给定无残缺的标准绝缘子，获取标准绝缘子上与测试点的三维坐标对应的目标参考点，目标参考点包括两个参考点对象。获取这两个参考点对象之间的距离，得到标准距离。
步骤217、确定所述测试距离与所述标准距离之间的差值。
在本发明实施例中，比较所述测试距离与所述标准距离，得到差值。
步骤218、若所述差值大于第五阈值，则确定所述测试点对应位置处的待测对象存在残缺。
在本发明实施例中，给定预设的第五阈值，若两者的差值大于或等于给定的阈值，则确定待测对象在测试点存在残缺。
步骤219、若所述差值小于或等于所述第五阈值，则确定所述测试点对应位置处的待测对象不存在残缺。
在本发明实施例中，若两者的差值小于给定的阈值，则确定待测对象在测试点不存在残缺。
可以从目标三维图像中选取多组测试点进行检测，以全方位多角度确定绝缘子是否存在残缺。
上述步骤214-步骤219采用坐标转换的方法，计算待测对象上至少一组测试点之间的测试距离，并根据测试距离与预设的标准距离之间的差值确定测试点对应位置处的待测对象是否存在残缺，上述方法检测速度快，且精测精度较高。
综上所述，本发明实施例提供的残缺检测方法，除具有图1中的残缺检测方法的有益效果外，还通过测试确定电力塔、电力线、绝缘子在hsi空间中i变量的值总是不超过第二阈值，并利用该特征，将其他对象从遥感图像中去除，方法简便且效果较好；并且，通过最大类间方差法将第二对象从第二图像中提取出来，得到仅包括待测对象的二维图像，此过程算法简单，利用第二对象和待测对象面积相差不大的特点，能够有效的对图像进行分割。并且，采用迭代最近算法进行多个三维图像的配准融合，可以获得非常精准的配准效果，不必对处理的点集进行分割和特征提取，且在较好的初值情况下，可以得到很好的算法收敛性。此外，采用坐标转换的方法，计算待测对象上至少一组测试点之间的测试距离，并根据测试距离与预设的标准距离之间的差值确定测试点对应位置处的待测对象是否存在残缺，上述方法检测速度快，且精测精度较高。
图4是本发明实施例提供的残缺检测装置的框图。如图4所示，该装置300可以包括：
二维图像获取模块301，用于从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；
特征点匹配模块302，用于对每两个所述二维图像进行特征点匹配，得到多个特征点对；
三维图像生成模块303，用于根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；
目标三维图像生成模块304，用于对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；
测试距离获取模块305，用于获取所述目标三维图像中至少一组测试点之间的测试距离；
残缺确定模块306，用于根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
综上所述，本发明实施例提供的残缺检测装置，从针对同一待测对象的多个遥感图像中获取仅包括所述待测对象的多个二维图像；对每两个所述二维图像进行特征点匹配，得到多个特征点对；根据每两个所述二维图像对应的多个特征点对生成所述待测对象的三维图像；对多个所述三维图像进行配准融合，得到待测对象的目标三维图像；获取所述目标三维图像中至少一组测试点之间的测试距离；根据所述测试距离与预设的标准距离之间的差值确定所述测试点对应位置处的待测对象是否存在残缺。在上述方法中，从遥感图像中提取出仅包括待测对象的二维图像，通过对二维图像进行特征点匹配得到三维图像，通过对多个三维图像进行配准融合，得到精确的目标三维图像。通过检测目标三维图像中测试点之间的距离可以判定待测对象是否存在残缺。整个检测过程为计算机自动执行，节省了人力，提高了检测精度，大大降低了误判和漏判的机率。
在图4的基础上，图5是本发明实施例提供的另一种残缺检测装置的框图。如图5所示，所述所述二维图像获取模块301，包括：
第一图像生成子模块3011，用于分别去除多个遥感图像中的所述其他对象，得到多个第一图像；
二值化处理子模块3012，用于对所述第一图像进行二值化处理，得到多个二值化图像；
开运算子模块3013，用于利用开运算算法从所述二值化图像中去除所述第一对象，得到包括第二对象、待测对象的第二图像；
二维图像生成子模块3014，用于利用最大类间方差法从所述第二图像中去除所述第二对象，得到仅包括待测对象的二维图像。
可选地，所述第一图像生成子模块3011，包括：
颜色空间转换单元，用于将所述遥感图像从rgb颜色空间转换到hsi颜色空间，得到hsi图像，所述hsi图像中包括h变量值、i变量值和s变量值；
第一图像生成单元，用于从所述hsi图像中去除i变量值大于第二阈值的像素点，得到只包括第一对象、第二对象、待测对象的第一图像；
所述二值化处理子模块3012，包括：
二值化处理单元，用于将所述第一图像中s变量值小于第三阈值的像素点的灰度值设置为255，大于或等于第三阈值的像素点的灰度值设置为0，得到二值化图像。
可选地，所述二维图像生成子模块3014，包括：
目标灰度值确定单元，用于在所述第二图像中确定使得所述第二对象和所述待测对象的灰度方差最大的目标灰度值；
提取单元，用于利用所述目标灰度值从所述第二图像中提取仅包括所述第二对象的第二对象图像；
作差单元，用于分别将所述第二图像和所述第二对象图像中的对应位置处的像素点的灰度值作差，得到每个像素点的差值；
二维图像生成单元，用于根据所述每个像素点的差值得到仅包括待测对象的二维图像。
可选地，所述目标灰度值确定单元，包括：
直方图建立子单元，用于建立所述第二图像的灰度直方图；
分割子单元，用于根据任意一个灰度值t将所述灰度直方图分为灰度值小于t的前景区域和灰度值大于t的背景区域；
比例确定子单元，用于确定所述前景区域中的像素数占所述灰度直方图的总像素数的第一比例，并确定所述背景区域的像素数占所述灰度直方图的总像素数的第二比例；
平均灰度值确定第一子单元，用于根据所述第一比例、所述第二比例分别确定所述前景区域的第一平均灰度值和所述背景区域的第二平均灰度值；
平均灰度值确定第二子单元，根据所述第一平均灰度值和所述第二平均灰度值确定所述灰度直方图的第三平均灰度值；
类间方差确定子单元，用于根据所述第一比例、所述第二比例、所述第一平均灰度值、所述第二平均灰度值、所述第三平均灰度值确定所述前景区域和所述背景区域的类间方差；
目标灰度值确定子单元，用于确定能够使得所述类间方差最大的所述任意一个灰度值t的目标值，得到目标灰度值。
可选地，所述提取单元，包括：
提取子单元，用于将所述灰度直方图中的灰度值小于目标灰度值的前景区域对应的图像确定为仅包括所述第二对象的第二对象图像。
可选地，所述特征点匹配模块302，包括：
高斯滤波子模块3021，用于对所述二维图像进行高斯滤波，得到滤波图像；
特征值计算子模块3022，用于确定所述滤波图像的海森矩阵，并根据所述海森矩阵计算所述二维图像的特征值；
特征点确定子模块3023，用于根据所述特征值确定所述二维图像中的每个目标区域的特征点；所述目标区域为以任意一个像素点为中心，以预设像素点数量为半径的区域；
内积计算子模块3024，用于从所述特征点中任意选取第一特征点，将所述第一特征点对应的特征向量与所述相邻的二维图像中的所有特征点对应的特征向量分别进行内积计算，得到多个内积值；
确定子模块3025，用于确定所述多个内积值中最大的内积值是否大于或等于第四阈值；
匹配子模块3026，用于若是，则确定所述第一特征点与所述最大的内积值对应的第二特征点匹配；
特征点对确定子模块3027，用于将所述第一特征点与所述第二特征点确定为特征点对。
可选地，所述目标三维图像生成模块304，包括：
配准融合子模块3041，用于利用迭代最近点算法对所述多个三维图像进行配准融合。
可选地，所述测试距离获取模块305，包括：
转换子模块3051，用于将所述目标三维图像的经纬度坐标系下的点的坐标值转换到二维投影坐标系下，得到所述目标三维图像中的点的二维坐标；
测试距离获取子模块3052，用于获取所述目标三维图像中至少一组测试点的二维坐标之间的几何距离，得到测试距离；所述一组测试点为所述目标三维图像上的两个点。
可选地，所述残缺确定模块306，包括：
标准距离获取子模块3061，用于从预设的标准待测对象中获取目标参考点之间的几何距离，得到标准距离；所述目标参考点的三维坐标与所述测试点的三维坐标对应；
差值确定子模块3062，用于确定所述测试距离与所述标准距离之间的差值；
残缺确定第一子模块3063，用于若所述差值大于第五阈值，则确定所述测试点对应位置处的待测对象存在残缺；
残缺确定第二子模块3064，用于若所述差值小于或等于所述第五阈值，则确定所述测试点对应位置处的待测对象不存在残缺。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
综上所述，本发明实施例提供的残缺检测装置，除具有图4中的残缺检测装置的有益效果外，还通过测试确定电力塔、电力线、绝缘子在hsi空间中i变量的值总是不超过第二阈值，并利用该特征，将其他对象从遥感图像中去除，方法简便且效果较好；并且，通过最大类间方差法将第二对象从第二图像中提取出来，得到仅包括待测对象的二维图像，此过程算法简单，利用第二对象和待测对象面积相差不大的特点，能够有效的对图像进行分割。并且，采用迭代最近算法进行多个三维图像的配准融合，可以获得非常精准的配准效果，不必对处理的点集进行分割和特征提取，且在较好的初值情况下，可以得到很好的算法收敛性。此外，采用坐标转换的方法，计算待测对象上至少一组测试点之间的测试距离，并根据测试距离与预设的标准距离之间的差值确定测试点对应位置处的待测对象是否存在残缺，上述方法检测速度快，且精测精度较高。
优选的，本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述残缺检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述残缺检测方法方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。
图6是本发明实施例的一种用于残缺检测的电子设备400的框图。例如，电子设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(i/o)的接口412，传感器组件414，以及通信组件416、处理器420。
处理组件402通常控制电子设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述目标图像获取方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(mic)，当电子设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
i/o接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为电子设备400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为电子设备400的显示器和小键盘，传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变，用户与电子设备400接触的存在或不存在，电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、4g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
在示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的残缺检测方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的至少一个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的至少一个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的残缺检测方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
- 还没有人留言评论。精彩留言会获得点赞！