图像采集设备的采集方向确定方法、装置及电子设备与流程

本发明涉及计算机应用技术领域，特别涉及一种图像采集设备的采集方向确定方法、装置及电子设备。

背景技术：

随着科技的不断发展，图像识别已成为智能识别领域重要的一部分。通过对采集的图像进行图像识别，从而识别出图像中的物体，提高物体识别的智能性。

对采集的图像进行物体识别后，根据识别的物体确定图像采集设备当前的采集方向。目前，在对物体进行图像识别而确定图像采集设备的采集方向时，需预先对物体进行多角度的样本图像采集，进而通过预先采集的大量样本图像识别物体。然而，由于预先采集的大量样本图像是2d图像，图像中只包含物体的某一面的图像信息，而在某一方向采集物体的图像时，该图像可能包括物体的多角度信息，而由于预先采集的样本图像较多，导致样本图像的存储量较大，且图像匹配运算时需要较大的运算量。

技术实现要素：

为了解决相关技术中，在通过图像识别确定图像采集设备的采集方向时的样本图像存储量较大且运算量较大的技术问题，本发明提供了一种图像采集设备的采集方向确定方法、装置及电子设备。本发明可以应用于物体方位朝向确定、工业装配核验等场景。

第一方面，提供了一种图像采集设备的采集方向确定方法，包括：

获取图像采集设备当前采集的识别图像；

提取所述识别图像的图像特征；

将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像；

根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向。

可选的，所述提取所述识别图像的图像特征的步骤包括：

对所述识别图像构造dog尺度空间，检测在不同尺度下都存在的特征点；

对所述特征点周围像素进行区域分块；

计算各区域分块内的梯度直方图，生成特征向量，形成所述图像特征。

可选的，所述对所述特征点周围像素进行区域分块的步骤之前，所述方法还包括：

提取所述特征点的对比度；

从检测的特征点中删除低对比度的特征点及位于所述识别图像边缘的特征点。

可选的，所述将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像的步骤之前，所述方法还包括：

确定预设场景中物体的包络面；

垂直各包络面进行样本图像的采集；

提取所述样本图像的特征，形成识别基准库。

可选的，所述垂直各包络面进行样本图像的采集的步骤包括：

对预设场景中的物体进行各包络面的垂直拍摄得到包络面图像；

按照物体的特征面对各包络面图像进行剪裁；

采用白色补齐经过剪裁后的包络面图像中空白区域，使形成预设尺寸的矩形图像，并将所述矩形图像作为样本图像。

可选的，所述将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像的步骤包括：

将识别图像与识别基准库中的样本图像进行特征的拼接，得到各样本图像与识别图像之间的重叠部分；

根据所述重叠部分，在所述识别基准库中确定与所述图像特征相似度最高的目标样本图像。

可选的，所述根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向的步骤包括：

在所述识别基准库中查找对所述目标样本图像标记的物体相对方向；

根据所述物体相对方向确定所述图像采集设备相对所述物体的采集方向。

第二方面，提供了一种图像采集设备的采集方向确定装置，包括：

识别图像获取模块，用于获取图像采集设备当前采集的识别图像；

图像特征提取模块，用于提取所述识别图像的图像特征；

匹配运算模块，用于获将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像；

采集方向确定模块，用于获根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向。

第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

第四方面，提供了一种计算机可读存储介质，用于存储程序，所述程序在被执行时使得电子设备执行如第一方面所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

在确定图像采集设备的采集方向时，通过获取图像采集设备当前采集的识别图像后，提取识别图像的图像特征，将图像特征在预先构建的识别基准库中进行匹配运算，从识别基准库中确定与图像特征相似度最高的目标样本图像，根据目标样本图像对应的方向确定图像采集设备的采集方向，从而只需获取在预设场景中采集的识别图像，就可以自动确定图像采集设备的采集方向，大大减小对识别图像进行匹配运算时的运算量，也提高图像识别的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅为示例性，并不能限制本发明范围。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种图像采集设备的采集方向确定方法的流程图。

图2是图1对应实施例的图像采集设备的采集方向确定方法中步骤s120的一种具体实现流程图。

图3是图1对应实施例的图像采集设备的采集方向确定方法中步骤s130的一种具体实现流程图。

图4是图1对应实施例的图像采集设备的采集方向确定方法中步骤s140的一种具体实现流程图。

图5是根据图1对应实施例示出的图像采集设备的采集方向确定方法中形成所述识别基准库的一种具体实现流程图。

图6是图5对应实施例示出的形成所述识别基准库的方法中步骤s220的一种具体实现流程图。

图7是根据一示例性实施例示出的对一六面体进行拍摄示意图。

图8是根据一示例性实施例示出的一种图像采集设备的采集方向确定装置的框图。

图9是图8对应实施例示出的图像采集设备的采集方向确定装置中图像特征提取模块120的一种框图。

图10是图9对应实施例示出的图像采集设备的采集方向确定装置中图像特征提取模块120的另一种框图。

图11是图8对应实施例示出的图像采集设备的采集方向确定装置的另一种框图。

图12是图11对应实施例示出的图像采集设备的采集方向确定装置中样本图像采集模块210的一种框图。

图13是图8对应实施例示出的图像采集设备的采集方向确定装置中匹配运算模块130的一种框图。

图14是图8对应实施例示出的图像采集设备的采集方向确定装置中采集方向确定模块140的一种框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、与本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像采集设备的采集方向确定方法的流程图。该图像采集设备的采集方向确定方法可用于智能手机、电脑、摄像头等电子设备中。如图1所示，该图像采集设备的采集方向确定方法可以包括步骤s110、步骤s120、步骤s130、步骤s140。

步骤s110，获取图像采集设备当前采集的识别图像。

步骤s120，提取所述识别图像的图像特征。

步骤s130，将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像。

步骤s140，根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向。

识别图像是图像采集设备在通过图像确定其采集方向时采集或接收的图像。

在获取到识别图像后，通过sift(scale-invariantfeaturetransform，尺度不变特征转换)算法提取识别图像的图像特征。

图像特征包括特征点及其描述子。

sift是一种图像的局部描述子，具有尺度、旋转、平移的不变性，而且对光照变化、仿射变换和3维投影变换具有一定的鲁棒性。另外，它还具有以下有点：

a.很好的独特性，适于在海量特征数据库中进行快速、准确的匹配。

b.算法产生的特征点在图像中的密度很大，速度可以达到实时要求。

c.由于sift特征描述子是向量的形式，它可以与其他形式的特征向量进行联合。

具体的，图2是根据图1对应实施例示出的步骤s120的细节描述，如图2所示，步骤s120可以包括步骤s121、步骤s122、步骤s123和步骤s124。

由于在实际拍摄中，可能存在物体的旋转、缩放或者亮度变换等问题，通过sift算法来寻找特征点，sift算法的实质是在不同的尺度空间上查找关键点，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。sift所查找的关键点都是一些十分突出，不会因光照，仿射便函和噪声等因素而变换的“稳定”特征点，如角点、边缘点、暗区的亮点以及亮区的暗点等。

由于sift算法的实质是在不同的尺度空间上查找关键点，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。sift所查找的关键点都是一些十分突出，不会因光照，仿射便函和噪声等因素而变换的“稳定”特征点，如角点、边缘点、暗区的亮点以及亮区的暗点等。

对于特征点的描述，步骤如下：

步骤s121，构造dog尺度空间，检测在不同尺度下都存在的特征点。

步骤s122，删除低对比度的特征点以及不稳定的边缘响应点。

通过提取各特征点的对比度，从检测的特征点中删除低对比度的特征点及位于识别图像边缘的特征点。

由于低对比度的极值点偏离过大，而边缘响应点存在不稳定性因素，因此，通过删除低对比度的特征点以及不稳定的边缘响应点，能够有效提高后续进行匹配的准确性。

步骤s123，对所述特征点周围像素进行区域分块。

以特征点的为中心、以3×1.5σ为半径的领域内计算各个像素点的梯度的幅角和幅值，然后使用直方图对梯度的幅角进行统计。

步骤s124，计算各区域分块内的梯度直方图，生成特征向量，形成所述图像特征。

首先将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块是其像素内8个方向的直方图统计，共可形成128维的特征向量，作为特征点的描述子。

通过sift算法对关键点周围像素进行区域分块，计算块内梯度直方图，生成具有独特性的特征向量。

将所述图像特征在预先构建的识别基准库中进行匹配运算时，将识别图像的图像特征与识别基准库中各样本图像的图像特征采用图像匹配算法进行匹配运算，计算二者的欧式距离，欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定识别基准库中与识别图像匹配的目标样本图像。

可选的，当与识别图像之间的欧式距离达到设定阈值的样本图像数量为两个以上时，可通过换取另一种图像匹配算法再重新计算这两个以上的样本图像与识别图像之间的欧式距离，从而保证确定目标样本图像的准确性。

由于识别基准库中各样本图像是与方向对应的，因此，在从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像后，通过查找目标样本图像对应的方向，再通过该方向确定图像采集设备的采集方向。

具体的，识别基准库中的各样本图像是与物体的相对方向相对应的，例如，与物体o1对应样本图像包括p11、p12、p13、p14，样本图像p11相对物体o1的方向为东方，样本图像p12相对物体o1的方向为南方，样本图像p13相对物体o1的方向为西方，样本图像p14相对物体o1的方向为北方。

因此，通过确定与识别图像匹配的目标样本图像后，即可根据目标样本图像相对物体的方向确定图像采集设备的采集方向。

具体的，图3是根据图1对应实施例示出的步骤s130的细节描述，如图3所示，步骤s130可以包括步骤s131和步骤s132。

步骤s131，将识别图像与识别基准库中的样本图像进行特征的拼接，得到各样本图像与识别图像之间的重叠部分。

步骤s132，根据所述重叠部分，在所述识别基准库中确定与所述图像特征相似度最高的目标样本图像。

重叠部分是样本图像与识别图像之间相同的部分。

可以理解的是，重叠部分越大，则表明样本图像与识别图像相同的部分就越多。

通过比较各样本图像与识别图像之间的重叠部分，选取重叠部分最大的样本图像作为与所述图像特征相似度最高的目标样本图像。

具体的，图4是根据图1对应实施例示出的步骤s140的细节描述，如图4所示，步骤s140可以包括步骤s141和步骤s142。

步骤s141，在所述识别基准库中查找对所述目标样本图像标记的物体相对方向。

步骤s142，根据所述物体相对方向确定所述图像采集设备相对所述物体的采集方向。

识别基准库中，各样本图像标记有物体相对方向。

因此，在确定目标样本图像标记后，根据对目标样本图像标记的物体相对方向即可确定图像采集设备相对所述物体的采集方向。

可选的，根据对偶图的遍历顺序判断当前工作方位是否正确，若有偏移，按如下旋转方法旋转物体，直到某一包络面env对应方向正对镜头：得到包络面env对应的目标样本图像与识别图像之间的重叠部分后，保持拍摄镜头不动，旋转物体，直到拍摄点与包络面的垂线与包络面的交点为包络面的重心。

利用如上所述的方法，在确定图像采集设备的采集方向时，通过获取图像采集设备当前采集的识别图像后，提取所述识别图像的图像特征，将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像，根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向，从而只需获取在预设场景中采集的识别图像，就可以自动确定图像采集设备的采集方向，大大减小对识别图像进行匹配运算时的运算量，也提高图像识别的准确性。

图5是根据图1对应实施例示出的图像采集设备的采集方向确定方法中形成所述识别基准库的一种具体实现流程图。如图5所示，形成所述识别基准库的方法可以包括步骤s210、步骤s220和步骤s230。

步骤s210，确定预设场景中物体的包络面。

步骤s220，垂直各包络面进行样本图像的采集。

步骤s230，提取所述样本图像的特征，形成识别基准库。

先根据实际需要，人为确定需要识别的场景数目，规定好每一个方向对应的物体方位，这样方便后面计算机进行标记。再根据设定好的角度，对每一个方向拍摄物体2d照片，得到样本图像。进而按照图2对应实施例的示出的方法计算每张样本图像的特征点，使用sift算法，为后面的图像匹配做准备。

在本实施例行实施例中，通过确定物体在预设场景中的包络面，进而根据包络面进行样本图像的采集。

首先，规定物体的包络多面体pol，包络多面体pol的面统称为物体的包络面env。不同包络面env相对物体的角度也是不相同的。

物体的两个包络面env两个有公共边，则称这两个包络面相邻，从而存储物体各包络面env之间的相邻关系，该存储结构实际上是该包络多面体pol的对偶图；也可以通过预先定义某一方向的包络面env，然后根据各包络面env与该方向的包络面env之间的角度，描述各包络面env之间的关系。

可选的，当以对偶图存储各包络面env之间的相邻关系时，对于任意一个包络面env，其存在相邻的上下左右包络面，按从上到下，从左到右逆时针顺序对每一个包络面进行遍历。如果物体的特征面很多，可以逐步增加特征面，使其能尽可能反应物体的特征信息。

当包络多面体pol为长方体时，对于任意一个包络面env，其存在相邻的上下左右包络面，按从上到下、从左到右逆时针顺序对每一个包络面进行遍历。如果物体的特征面很多，可以逐步增加包络面图像的采集，使其能尽可能反应物体的特征信息。

每个包络面垂直拍摄一张，且拍摄点与包络面的垂线与包络面的交点为包络面的重心。拍摄距离适中，尽量包含拍摄物体。

可选的，如图6所示，步骤s220可包括步骤s221、步骤s222、步骤s223。

步骤s221，对预设场景中的物体进行各包络面的垂直拍摄得到包络面图像。

步骤s222，按照物体的特征面对各包络面图像进行剪裁。

步骤s223，采用白色补齐经过剪裁后的包络面图像中空白区域，使形成预设尺寸的矩形图像，并将所述矩形图像作为样本图像。

通常的，物体为3d立体的。

可选的，旋转物体直到某包络面所对方向正对镜头，拍摄该方向的包络面图像后，保持拍摄镜头不动，旋转物体，直到拍摄点与包络面的垂线与包络面的交点为包络面的重心。

对于每个包络面图像进行剪裁，剩余部分为之前规定好的3d物体的包络面env，其余部分用白色补齐，使其成为矩形图像，使得到的样本图像与识别图像的尺寸一致，从而更加方便识别图像与样本图像的匹配运算。

在将当前采集的识别图像与样本图像进行比对时，得到各包络面图像与当前采集的识别图像之间的重叠部分，从而确定与当前采集的识别图像正中心区域重合的包络面图像，并将该包络面图像所对应的方向为当前拍摄方向。

图7是根据一示例性实施例示出的对一六面体进行拍摄示意图，其六个包络面为abb1a1、bcc1b1、cdd1c1、daa1d1、abcd、a1b1c1d1，面a2b2c2d2为实际拍摄时摄像头的对应面。

利用以上所述的方法，通过预先进行样本图像的采集，并将采集的样本图像与相对物体的方向进行对应存储，在对当前采集的图像与之前预先采集的图像匹配后，只需根据与当前采集的图像匹配的样本图像，将该样本图像相对物体的方向确定为当前图像采集设备的方向，大大提高了确定图像采集设备的采集方向的方便性，并且在预先进行样本图像采集时，对物体的每一个方向只需进行一个样本图像的采集，无需对物体的各个角度均进行大量的图像采集，从而减少样本图像的存储量及匹配运算时的计算量，有效提高了确定图像采集设备采集方向的效率。

下述为本发明装置实施例，可以用于执行本上述图像采集设备的采集方向确定方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明图像采集设备的采集方向确定方法实施例。

图8是根据一示例性实施例示出的一种图像采集设备的采集方向确定装置的框图，该装置包括但不限于：识别图像获取模块110、图像特征提取模块120、匹配运算模块130及采集方向确定模块140。

识别图像获取模块110，用于获取图像采集设备当前采集的识别图像；

图像特征提取模块120，用于提取所述识别图像的图像特征；

匹配运算模块130，用于将所述图像特征在预先构建的识别基准库中进行匹配运算，从所述识别基准库中确定与所述图像特征相似度最高的目标样本图像；

采集方向确定模块140，用于根据所述目标样本图像对应的方向确定所述图像采集设备的采集方向。

上述装置中各个模块的功能和作用的实现过程，具体见上述图像采集设备的采集方向确定方法中对应步骤的实现过程，在此不再赘述。

可选的，如图9所示，图8中所述的图像特征提取模块120包括但不限于：特征点检测单元121、区域分块单元122和图像特征形成单元123。

特征点检测单元121，用于对所述识别图像构造dog尺度空间，检测在不同尺度下都存在的特征点；

区域分块单元122，用于对所述特征点周围像素进行区域分块；

图像特征形成单元123，用于计算各区域分块内的梯度直方图，生成特征向量，形成所述图像特征。

可选的，如图10所示，图9中所述的图像特征提取模块120还包括但不限于：对比度提取单元124和特征点删除单元125。

对比度提取单元124，用于提取所述特征点的对比度；

特征点删除单元125，用于从检测的特征点中删除低对比度的特征点及位于所述识别图像边缘的特征点。

图11是根据一示例性实施例示出的一种图像采集设备的采集方向确定装置的框图，该装置包括但不限于：包络面模块210、样本图像采集模块220和识别基准库形成模块230。

拍摄模块210，用于确定预设场景中物体的包络面；

样本图像采集模块220，用于垂直各包络面进行样本图像的采集；

识别基准库形成模块230，用于提取所述样本图像的特征，形成识别基准库。

可选的，如图12所示，图11中所述的样本图像采集模块220还包括但不限于：包络面图像拍摄单元221、剪裁单元222和样本图像形成单元223。

包络面图像拍摄单元221，用于对预设场景中的物体进行各包络面的垂直拍摄得到包络面图像；

剪裁单元222，用于按照物体的特征面对各包络面图像进行剪裁；

样本图像形成单元223，用于采用白色补齐经过剪裁后的包络面图像中空白区域，使形成预设尺寸的矩形图像，并将所述矩形图像作为样本图像。

可选的，如图13所示，图8中所述的匹配运算模块130还包括但不限于：拼接单元131和目标样本图像确定单元132。

拼接单元131，用于将识别图像与识别基准库中的样本图像进行特征的拼接，得到各样本图像与识别图像之间的重叠部分；

目标样本图像确定单元132，用于根据所述重叠部分，在所述识别基准库中确定与所述图像特征相似度最高的目标样本图像。

可选的，如图14所示，图8中所述的采集方向确定模块140还包括但不限于：物体相对方向查找单元141和采集方向确定单元142。

物体相对方向查找单元141，用于在所述识别基准库中查找对所述目标样本图像标记的物体相对方向；

采集方向确定单元142，用于根据所述物体相对方向确定所述图像采集设备相对所述物体的采集方向。

可选的，本发明还提供一种电子设备，执行如上述示例性实施例任一所示的图像采集设备的采集方向确定方法的全部或者部分步骤。电子设备包括：

处理器；以及

与所述处理器通信连接的存储器；其中，

所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如上述任一示例性实施例所述的方法。

该实施例中的终端中处理器执行操作的具体方式已经在有关该图像采集设备的采集方向确定方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读性存储介质，例如可以为包括指令的临时性和非临时性计算机可读性存储介质。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。