甘蔗图像中感兴趣区域获取方法、装置、设备及存储介质与流程

本发明属于图像识别技术领域，涉及一种甘蔗图像中感兴趣区域获取方法、装置、设备及存储介质。

背景技术：

目前，国内外在甘蔗茎节识别方面的研究较多，为解决甘蔗切种时的防伤芽提供技术支持。

在一些提取甘蔗图像中感兴趣区域的方式中，通过将甘蔗图像中模板区域像素进行纵向投影，判断投影向量元素是否为零，若投影向量中元素为零的比例超过预定值，则确定该模板区域为感兴趣区域。由于甘蔗图像背景中可能存在干扰线、甘蔗碎叶、甘蔗蜡粉等干扰物体，上述这种方式在提取甘蔗感兴趣区域时并没有对这些干扰因素进行处理过滤，因此获取到的甘蔗图像中感兴趣区域的准确性较低。

技术实现要素：

为了解决相关技术中在识别甘蔗图像中感兴趣区域时，因受到甘蔗背景中的甘蔗碎叶、大面积干扰物的影响导致识别准确性较低的问题，本申请中提供了一种甘蔗图像中感兴趣区域获取方法、装置、设备及存储介质。所述技术方案如下：

第一方面，本申请提供了一种甘蔗图像中感兴趣区域获取方法，该方法包括：对甘蔗图像进行纠偏处理，得到纠偏图像，纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行；对纠偏图像进行图像预处理，图像预处理包括灰度化、二值化、膨胀、腐蚀处理；搜索图像预处理后的纠偏图像中的轮廓；按照预定方式获取包含轮廓的旋转矩形；从旋转矩形中搜索包含甘蔗轮廓的旋转矩形，将搜索到的旋转矩形确定为甘蔗图像的感兴趣区域。

可选的，在对甘蔗图像进行纠偏处理时，包括：对甘蔗图像进行图像预处理；搜索图像预处理后的甘蔗图像中的轮廓；获取包含轮廓的最小旋转矩形；获取最小旋转矩形的角度；通过角度对甘蔗图像进行纠偏，得到纠偏图像。

可选的，在获取包含轮廓的最小旋转矩形时，包括：利用minarearect函数循环获取包含各个轮廓所对应点集的最小旋转矩形。

可选的，在获取最小旋转矩形的角度时，包括：过最小旋转矩形的四个点中的最低点做x轴；将x轴逆时针旋转，确定出旋转过程中最小旋转矩形的第一条与x轴重合的边；将边与x轴之间的夹角确定为最小旋转矩形的角度。

可选的，在通过角度对甘蔗图像进行纠偏，得到纠偏图像时，包括：利用角度对最小旋转矩形进行仿射变换，得到纠偏图像。

可选的，在搜索图像预处理后的纠偏图像中的轮廓时，包括：将纠偏图像作为findcontours轮廓查找函数的输入，得到输出向量，输出向量包括至少一个元素，每个元素保存了一组由连续的点构成的点集的向量，每一组点集用于指示一个轮廓。

可选的，在按照预定方式获取包含轮廓的旋转矩形时，包括：利用minarearect函数，获取具备预定高度和预定宽度的包含轮廓的旋转矩形，预定高度和预定宽度与甘蔗图像的尺寸、甘蔗的平均直径、采集甘蔗图像的相机至被采集的甘蔗之间的距离、相机的焦距相关。

第二方面，本申请还提供了一种甘蔗图像中感兴趣区域获取装置，该装置包括：纠偏模块，被配置为对甘蔗图像进行纠偏处理，得到纠偏图像，纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行；预处理模块，被配置为对纠偏模块纠偏处理后的纠偏图像进行图像预处理，图像预处理包括灰度化、二值化、膨胀、腐蚀处理；搜索模块，被配置为搜索预处理模块图像预处理后的纠偏图像中的轮廓；获取模块，被配置为按照预定方式获取包含搜索模块搜索到的轮廓的旋转矩形；确定模块，被配置为从获取模块获取到的旋转矩形中搜索包含甘蔗轮廓的旋转矩形，将搜索到的旋转矩形确定为甘蔗图像的感兴趣区域。

第三方面，本申请还提供了一种甘蔗图像中感兴趣区域获取设备，该甘蔗图像中感兴趣区域获取设备包括存储器和处理器，存储器和处理器之间进行通信连接，存储器中存储有至少一个计算机指令，处理器通过执行计算机指令，以执行如第一方面以及第一方面各种可选方式中提供的甘蔗图像中感兴趣区域获取方法。

第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于提供给计算机执行如第一方面以及第一方面各种可选方式中提供的甘蔗图像中感兴趣区域获取方法。

上述各个技术方案至少可以实现如下有益效果：

通过对甘蔗图像进行纠偏，对纠偏后的甘蔗图像进行灰度化、二值化、膨胀、腐蚀处理，降低了甘蔗图像中背景干扰物的影响，同时能够减少甘蔗图像中搜索到的非甘蔗轮廓，提高了甘蔗中感兴趣区域的识别准确度，也提高了算法识别的执行效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请一个实施例中提供的甘蔗图像中感兴趣区域获取方法的方法流程图；

图2a是本申请另一个实施例中提供的甘蔗图像中感兴趣区域获取方法的方法流程图；

图2b是本申请一个实施例中提供的对甘蔗图像进行纠偏处理时的流程图；

图2c是本申请一个实施例中提供的获取最小旋转矩形的角度时的流程图；

图3a是本申请一个实施例中提供的甘蔗图像rgb空间r分量图像的示意图；

图3b是本申请一个实施例中提供的二值图像的示意图；

图3c是本申请一个实施例中提供的膨胀、腐蚀处理后的二值图像的示意图；

图3d是本申请一个实施例中提供的最小旋转矩形及其角度的示意图；

图3e是本申请一个实施例中提供的纠偏后的最小矩形区域的示意图；

图3f是本申请一个实施例中提供的获得的甘蔗图像中感兴趣区域的示意图；

图4是本申请一个实施例中提供的甘蔗图像中感兴趣区域获取装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是本申请一个实施例中提供的甘蔗图像中感兴趣区域获取方法的方法流程图，该甘蔗图像中感兴趣区域获取方法包括：

步骤101，对甘蔗图像进行纠偏处理，得到纠偏图像，纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行；

这里的甘蔗图像是指对甘蔗拍摄后得到的图像，该图像中除了包含甘蔗的像素，还包括图像背景。比如，为了提高甘蔗图像中甘蔗的识别度，图像背景可以为与甘蔗颜色差别较大的颜色，比如黑色。

在对甘蔗拍照，得到甘蔗图像后，甘蔗图像中甘蔗的中心轴线通常与甘蔗图像中的x轴形成夹角，为了便于后续对甘蔗图像中感兴趣区域的确定，本申请中预先将甘蔗图像进行纠偏处理，得到纠偏图像。纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行。

步骤102，对纠偏图像进行图像预处理，图像预处理包括灰度化、二值化、膨胀、腐蚀处理；

步骤103，搜索图像预处理后的纠偏图像中的轮廓；

这里的轮廓是指纠偏图像中连续的点构成的点集。

步骤104，按照预定方式获取包含轮廓的旋转矩形；

步骤105，从旋转矩形中搜索包含甘蔗轮廓的旋转矩形，将搜索到的旋转矩形确定为甘蔗图像的感兴趣区域。

综上所述，本申请提供的甘蔗图像中感兴趣区域获取方法，通过对甘蔗图像进行纠偏，对纠偏后的甘蔗图像进行灰度化、二值化、膨胀、腐蚀处理，降低了甘蔗图像中背景干扰物的影响，提高了甘蔗中感兴趣区域的识别准确度。

图2是本申请另一个实施例中提供的甘蔗图像中感兴趣区域获取方法的方法流程图，该甘蔗图像中感兴趣区域获取方法包括：

步骤201，按照预定方式对甘蔗进行拍照，获取甘蔗图像。

在一种可能的实现方式中，在按照预定方式对甘蔗进行拍照，获取甘蔗图像时，采用了面阵相机，将绿皮甘蔗放置于黑色背景上，将面阵相机的焦距调为预定焦距，将面阵相机的镜头放置于绿皮甘蔗上方的预定距离处，采集该绿皮甘蔗的甘蔗图像。

显然，这里的甘蔗图像通常包括甘蔗茎节的特征。

在本申请的实验验证中，采用mer-133-54gc-p水星面阵相机，镜头采用m0814-mp2，焦距为8mm，光源型号为lt-300*18w，甘蔗选用绿皮甘蔗，以黑色为背景采集甘蔗图像。相机镜头至甘蔗的高度距离为310mm，采集到的图像尺寸为1280*960，利用已配置opencv3.2的vs2015软件进行图像处理。

步骤202，对甘蔗图像进行纠偏处理，得到纠偏图像，纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行。

这里的甘蔗图像是指对甘蔗拍摄后得到的图像，该图像中除了包含甘蔗的像素，还包括图像背景。比如，为了提高甘蔗图像中甘蔗的识别度，图像背景可以为与甘蔗颜色差别较大的颜色，比如黑色。

在对甘蔗拍照，得到甘蔗图像后，甘蔗图像中甘蔗的中心轴线通常与甘蔗图像中的x轴形成夹角，为了便于后续对甘蔗图像中感兴趣区域的确定，本申请中预先将甘蔗图像进行纠偏处理，得到纠偏图像。纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行。

在一种可能的实现方式中，请参见图2b所示，其是本申请一个实施例中提供的对甘蔗图像进行纠偏处理时的流程图，在对甘蔗图像进行纠偏处理，得到纠偏图像时，包括：

步骤202a，对甘蔗图像进行图像预处理；

这里对甘蔗图像进行图像预处理时，可以先对甘蔗图像进行灰度化处理，得到灰度图像，然后再该对灰度图像进行二值化处理，得到二值图像，再对该二值图像进行膨胀、腐蚀处理。

一般来讲，步骤201获取的甘蔗图像通常为rgb彩色图像，彩色图像处理的耗时时间长，将甘蔗图像从rgb三通道的彩色空间转换到单通道的灰度空间，即对甘蔗图像进行灰度化处理，可以减少计算量，加快算法执行速度。

灰度化处理后得到的灰度图像的背景中通常有很多干扰信息，例如甘蔗蜡粉、碎叶等落入采集区域的亮色物体，其构成了甘蔗图像的干扰。本申请中可以再得到灰度图像后，使用中值模糊对灰度图像进行去噪，中值模糊可以抑制背景中的椒盐噪声，去除不必要的干扰信息，通过实验确定中值模糊结构元素大小范围可以为5-10，中值模糊结构元素尺寸选择9×9。

在一种可选的方式中，甘蔗图像rgb空间r分量图像如图3a所示。

从灰度图像中尚不能直接获取到该灰度图像的感兴趣区域，将该灰度图像二值化，得到二值图像。比如，将灰度图像中的像素值大于二值化阈值的像素点置为1，将灰度图像中像素值小于二值化阈值的像素点置为0。通常，二值图像中的前景为1，背景为0。从二值图像中可以明显的区分出甘蔗感兴趣区域和黑色背景区域。

上述预定阈值的取值可以通过实验确定，该二值化阈值的取值要求是，二值化后图像中的目标与背景能够明显区分。通过实验发现这里的二值化阈值在40～60之间能较好的区分甘蔗和背景，比如二值化阈值可以取值为42、45、48、50、53、55、59等数值。本申请中该二值化阈值取值为50。

本申请中在对灰度图像进行二值化处理时选用的二值化函数为threshold，函数的输入是灰度图像，输出是二值图像。

二值图像中甘蔗区域中可能会存在孔洞，如图3b所示。这是由甘蔗表面黑色杂物形成的，黑色杂物的亮度较低，二值化后像素的值都为0，在二值图上表现为黑色。

这些孔洞使得甘蔗区域不连通，如果不做处理，在查找图像中轮廓的过程中，轮廓数多，算法执行效率变慢。通过膨胀操作可以将部分孔洞填充，膨胀操作之后，甘蔗感兴趣区域的面积会增大，通过相同结构元素的腐蚀操作恢复甘蔗感兴趣区域的大小。膨胀、腐蚀操作后的二值图像如图3c所示。通过实验确定，膨胀、腐蚀操作都选择矩形结构元素，结构元素的大小可以为20*20。

步骤202b，搜索图像预处理后的甘蔗图像中的轮廓；

在图像采集区域中，存在甘蔗、甘蔗蜡粉、误落入的杂物、黑色背景等，甘蔗感兴趣区域只包含甘蔗及小面积黑色背景。使用findcontours轮廓查找函数查找甘蔗图像中的轮廓，通过实验，选择二值图像作为函数的输入比边缘图像作为函数的输入轮廓查找性能好。二值图像作为输入，函数输出为是一个向量，向量内每个元素保存了一组由连续的点构成的点的集合的向量，每一组点集就是一个轮廓，这些轮廓中有甘蔗轮廓、甘蔗内部孔洞的轮廓以及图像背景上的干扰物的轮廓。

也就是说，在搜索图像预处理后的甘蔗图像中的轮廓时，将图像预处理后的甘蔗图像作为findcontours轮廓查找函数的输入，得到输出向量，输出向量包括至少一个元素，每个元素保存了一组由连续的点构成的点集的向量，每一组点集用于指示一个轮廓。

一般来讲，轮廓信息所包含的信息量比边缘信息多，图像的识别准确度更高。

步骤202c，获取包含轮廓的最小旋转矩形；

在获取包含轮廓的最小旋转矩形时，可以利用minarearect函数循环获取包含各个轮廓所对应点集的最小旋转矩形。

也就是说，使用minarearect函数循环获取包含轮廓点集的最小旋转矩形，通过限制旋转矩形的宽和高，定位到包含甘蔗轮廓的旋转矩形。

步骤202d，获取最小旋转矩形的角度；

在一种可能的实现方式中，请参见图2c所示，其是本申请一个实施例中提供的获取最小旋转矩形的角度时的流程图，在获取最小旋转矩形的角度时，可以包括：

s1、过最小旋转矩形的四个点中的最低点做x轴；

请参见图3d所示，其是本申请一个实施例中提供的最小旋转矩形及其角度的示意图，在图3d中，该最小旋转矩形的四个点(a、b、c和d)中的最低点为点a，过点a做x轴，x轴一般是指水平轴。

s2、将x轴逆时针旋转，确定出旋转过程中最小旋转矩形的第一条与x轴重合的边；

图3d中的最小旋转矩形的四个边为a、b、c和d，在将x轴逆时针旋转时，第一条与x轴重合的边应当为边a。

s3、将边与x轴之间的夹角确定为最小旋转矩形的角度。

将图3d中的边a与x轴之间的夹角θ确定为该最小旋转矩形的角度。

步骤202e，通过角度对甘蔗图像进行纠偏，得到纠偏图像。

由于甘蔗直径及弯曲度不一致等特性，采集到的甘蔗图像中的甘蔗中心轴线与图像的x轴方向不平行，即甘蔗是倾斜的，这种情况会对甘蔗茎节的识别造成极大的干扰。为避免以上情况，通过仿射变换将原图像进行纠偏，纠偏后甘蔗的中心轴线与图像的x轴平行。仿射变换后二维图形的“平直性”和“平行性”不变，可以保证甘蔗图像纠偏后各特征不发生改变，纠偏后可以使用直线检测、列灰度检测等方法检测甘蔗茎节。放射变换函数warpaffine的输入是偏斜甘蔗图像和旋转矩形的角度θ，函数的输出为旋转后的甘蔗图像。在纠偏图像中，最小旋转矩形被纠偏后如图3e所示。

也就是说，在通过角度对甘蔗图像进行纠偏，得到纠偏图像时，可以利用步骤202d获得的角度对最小旋转矩形进行仿射变换，得到纠偏图像。仿射变换控制方程为：

其中x、y分别为纠偏前甘蔗图像中像素点的横坐标和纵坐标，u、v为纠偏后甘蔗图像的横坐标和纵坐标。

利用最小旋转矩形得到的角度相对于传统技术中通过图像中最长直线获取角度的方式更为准确。因为甘蔗图像中最长直线可能会受到背景区域的干扰，导致角度不准确。

步骤203，对纠偏图像进行图像预处理，图像预处理包括灰度化、二值化、膨胀、腐蚀处理。

这里的图像预处理的过程与步骤202a类似，这里就不再赘述。

步骤204，搜索图像预处理后的纠偏图像中的轮廓。

将纠偏图像作为findcontours轮廓查找函数的输入，得到输出向量，输出向量包括至少一个元素，每个元素保存了一组由连续的点构成的点集的向量，每一组点集用于指示一个轮廓。

步骤205，按照预定方式获取包含轮廓的旋转矩形。

利用minarearect函数，获取具备预定高度和预定宽度的包含轮廓的旋转矩形，预定高度和预定宽度与甘蔗图像的尺寸、甘蔗的平均直径、采集甘蔗图像的相机至被采集的甘蔗之间的距离、相机的焦距相关。

旋转矩形的四个顶点分别为(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)。求得包含甘蔗感兴趣区域的矩形，感兴趣区域矩形的两个对角点的坐标是(x1，y1)和(x3，y3)，感兴趣区域的宽度为(x2-x1)，感兴趣区域的高度为(y0-y1)。将感兴趣区域作为甘蔗茎节识别算法的输入，将提高算法的执行效率和准确率。

本申请可选的实现方式中，使用findcontours轮廓查找函数查找甘蔗图像中的轮廓，甘蔗轮廓的旋转矩形的高度限定在[100，300]，旋转矩形的宽度限定在[1000，1280]，以此为限制条件搜索得到包含甘蔗轮廓的旋转矩形。

步骤206，从旋转矩形中搜索包含甘蔗轮廓的旋转矩形，将搜索到的旋转矩形确定为甘蔗图像的感兴趣区域。

得到的甘蔗图像的感兴趣区域如图3f所示。

在一种可能的实现中，程序的实现过程如下：

本申请提供的甘蔗图像中感兴趣区域获取方法，通过实验采集130张甘蔗图像，均能准确获得甘蔗感兴趣区域。

在实际应用中，在得到甘蔗图像的感兴趣区域之后，可以将感兴趣区域作为甘蔗茎节识别算法的输入，以输出识别的甘蔗茎节。

综上所述，本申请提供的甘蔗图像中感兴趣区域获取方法，通过对甘蔗图像进行纠偏，对纠偏后的甘蔗图像进行灰度化、二值化、膨胀、腐蚀处理，降低了甘蔗图像中背景干扰物的影响，提高了甘蔗中感兴趣区域的识别准确度。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图4是本申请一个实施例中提供的甘蔗图像中感兴趣区域获取装置的结构示意图，该甘蔗图像中感兴趣区域获取装置包括：纠偏模块410、预处理模块420、搜索模块430、获取模块440和确定模块450。

纠偏模块410，被配置为对甘蔗图像进行纠偏处理，得到纠偏图像，纠偏图像中甘蔗的中心轴线与甘蔗图像的x轴平行；

预处理模块420，被配置为对纠偏模块410纠偏处理后的纠偏图像进行图像预处理，图像预处理包括灰度化、二值化、膨胀、腐蚀处理；

搜索模块430，被配置为搜索预处理模块420图像预处理后的纠偏图像中的轮廓；

获取模块440，被配置为按照预定方式获取包含搜索模块430搜索到的轮廓的旋转矩形；

确定模块450，被配置为从获取模块440获取到的旋转矩形中搜索包含甘蔗轮廓的旋转矩形，将搜索到的旋转矩形确定为甘蔗图像的感兴趣区域。

在一种可能的实现方式中，纠偏模块410可以包括：预处理单元、搜索单元、第一获取单元、第二获取单元和纠偏单元。

预处理单元，被配置为对甘蔗图像进行图像预处理；

搜索单元，被配置为搜索预处理单元图像预处理后的甘蔗图像中的轮廓；

第一获取单元，被配置为获取包含搜索单元搜索得到的轮廓的最小旋转矩形；

第二获取单元，被配置为获取第一获取单元获取到的最小旋转矩形的角度；

纠偏单元，被配置为通过第二获取单元获取到的角度对甘蔗图像进行纠偏，得到纠偏图像。

在另一种可能的实现方式中，第一获取单元还可以被配置为利用minarearect函数循环获取包含各个轮廓所对应点集的最小旋转矩形。

在另一种可能的实现方式中，第二获取单元还可以被配置为过最小旋转矩形的四个点中的最低点做x轴；将x轴逆时针旋转，确定出旋转过程中最小旋转矩形的第一条与x轴重合的边；将边与x轴之间的夹角确定为最小旋转矩形的角度。

在另一种可能的实现方式中，纠偏单元还可以被配置为利用角度对最小旋转矩形进行仿射变换，得到纠偏图像。

在另一种可能的实现方式中，搜索模块430还可以被配置为将纠偏图像作为findcontours轮廓查找函数的输入，得到输出向量，输出向量包括至少一个元素，每个元素保存了一组由连续的点构成的点集的向量，每一组点集用于指示一个轮廓。

在另一种可能的实现方式中，获取模块440还可以被配置为利用minarearect函数，获取具备预定高度和预定宽度的包含轮廓的旋转矩形，预定高度和预定宽度与甘蔗图像的尺寸、甘蔗的平均直径、采集甘蔗图像的相机至被采集的甘蔗之间的距离、相机的焦距相关。

综上所述，本申请提供的甘蔗图像中感兴趣区域获取装置，通过对甘蔗图像进行纠偏，对纠偏后的甘蔗图像进行灰度化、二值化、膨胀、腐蚀处理，降低了甘蔗图像中背景干扰物的影响，提高了甘蔗中感兴趣区域的识别准确度。

本申请还提供了一种甘蔗图像中感兴趣区域获取设备，该甘蔗图像中感兴趣区域获取设备包括存储器和处理器，所述存储器和所述处理器之间进行通信连接，所述存储器中存储有至少一个计算机指令，所述处理器通过执行所述计算机指令，以执行上述的甘蔗图像中感兴趣区域获取方法。

一般来讲，甘蔗图像中感兴趣区域获取设备可以为服务器，或者安装甘蔗图像中感兴趣区域获取软件的计算机中，比如常见的台式电脑、笔记本等。

另外，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令用于提供给计算机执行上述的甘蔗图像中感兴趣区域获取方法。

一般的，计算机可读存储介质可以为固态硬盘、移动硬盘、u盘、存储阵列等。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。