果实识别定位的方法、装置及系统的制作方法
【专利摘要】本发明提供一种果实识别定位的方法、装置及系统，方法包括：采集待处理果实的当前图像作为第一图像；获得第一成熟果实区域；周期性采集待处理果实的当前图像作为第二图像，并控制线结构光发生器向待处理果实的方向发出具有预设颜色的水平线结构光；根据第一成熟果实区域在第一图像中的位置信息，获取第二图像中的第二成熟果实区域；判断第二成熟果实区域内各像素中是否存在第一像素，若是，则根据第一像素获得线结构光区域；将线结构光区域的一个或多个像素作为定位点；根据定位点的图像坐标，获得待处理果实中的成熟果实的空间坐标。本发明提供的果实识别定位的方法、装置及系统降低了空间定位的失败率。
【专利说明】果实识别定位的方法、装置及系统
【技术领域】
[0001]本发明涉及图像处理技术，尤其涉及一种果实识别定位的方法、装置及系统。
【背景技术】
[0002]随着计算机技术和信息采集与处理技术的发展，机器人逐渐进入农业生产领域，近年来，用于实现果实自动化收获的采摘机器人越来越受到重视。
[0003]采摘机器人通过从果实生长环境中识别出目标果实，再对目标果实定位获得其空间位置，最后使用采摘执行部件采摘目标果实，完成果实自动化收获作业，由于采摘执行部件依靠果实识别定位技术提供的目标果实空间位置进行采摘，因此，果实识别定位技术对于保证采摘机器人的作业精度和成功率具有重要作用。
[0004]现有果实识别定位技术普遍采用双目视觉方法对目标果实进行识别定位，即通过两个摄像机同时从两个角度对同一目标果实拍摄图像，并从两幅图像中分别识别出目标果实区域，然后通过两个目标果实区域进行特征匹配，从而根据三角关系计算得到目标果实的空间坐标，现有技术至少存在以下缺陷:由于果实生长环境的光照角度和强度的多变，同一目标果实在两个角度拍摄的图像中成像特征差异较大，容易发生无法获取特征匹配点而造成特征匹配失败，导致空间定位失败率高。
【发明内容】
[0005]本发明提供一种果实识别定位的方法、装置及系统，以解决现有果实识别定位技术中空间定位失败率高的缺陷。
[0006]为实现上述目的，本发明提供了一种果实识别和定位的方法，其中，包括:
[0007]采集待处理果实的当前图像作为第一图像；
[0008]通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域；
[0009]根据所述第一图像中的成熟果实区域，获得第一成熟果实区域；
[0010]周期性采集所述待处理果实的当前图像作为第二图像，并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光，且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动；
[0011]根据所述第一成熟果实区域在所述第一图像中的位置信息，获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域；
[0012]判断所述第二成熟果实区域内各像素中是否存在第一像素，所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素，若是，则根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动；
[0013]将所述线结构光区域的一个或多个像素作为定位点，获取所述定位点在所述第二图像中的图像坐标；
[0014]根据所述定位点在所述第二图像中的图像坐标，通过线结构光三维定位技术获得所述定位点的空间坐标，并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
[0015]本发明还提供了一种果实识别和定位的装置，其中，包括:
[0016]第一采集模块，用于采集待处理果实的当前图像作为第一图像；
[0017]识别模块，用于通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域；
[0018]第一处理模块，用于根据所述第一图像中的成熟果实区域，获得第一成熟果实区域；
[0019]第二采集模块，用于周期性采集所述待处理果实的当前图像作为第二图像，并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光，且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动；
[0020]第一获取模块，用于根据所述第一成熟果实区域在所述第一图像中的位置信息，获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域；
[0021]第一判断模块，用于判断所述第二成熟果实区域内各像素中是否存在第一像素，所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素；
[0022]执行模块，用于若是，则根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动；
[0023]第二获取模块，用于将所述线结构光区域的一个或多个像素作为定位点，获取所述定位点在所述第二图像中的图像坐标；
[0024]第二处理模块，用于根据所述定位点在所述第二图像中的图像坐标，通过线结构光三维定位技术获得所述定位点的空间坐标，并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
[0025]此外，本发明还提供了一种果实识别和定位的系统，其中，包括果实识别和定位的设备和控制器，所述控制器包括本发明提供的果实识别和定位的装置，所述果实识别和定位的设备包括支撑柱、摄像头、摄像头固定件、移动单元、线结构光发生器、线结构光发生器固定件；
[0026]所述支撑柱竖直设置；
[0027]所述摄像头水平设置在所述摄像头固定件的一端，且所述摄像头固定件的另一端设置在所述支撑柱上，所述摄像头将采集的所述待处理果实的当前图像发送至所述控制器；
[0028]所述移动单元包括电机、丝杆和滑块，所述电机设置在所述支撑柱的顶部，所述丝杆竖直设置在所述支撑柱的内腔，且所述丝杆一端与所述电机输出轴连接，所述滑块设置在所述丝杆上；
[0029]所述线结构光发生器水平设置在所述线结构发生器固定件的一端，所述线结构发生器固定件的另一端与所述滑块固定连接，所述线结构光发生器用于接收所述控制器发送的控制信号向所述待处理果实的方向发出具有预设颜色的水平线结构光；
[0030]所述电机用于接收所述控制器发送的控制信号驱动所述丝杆转动，并通过所述滑块和所述线结构发生器固定件驱动所述线结构光发生器沿竖直方向移动，以使得所述水平线结构光沿竖直方向移动，且接收所述控制器发送的控制信号停止驱动所述线结构光发生器沿竖直方向移动。
[0031]本发明提供的果实识别定位的方法、装置及系统，只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别，获得待处理果实的成熟果实区域，以及通过对成熟果实区域进行水平线结构光的颜色特征匹配，获得成熟果实区域中的线结构光区域，并根据线结构光区域中像素的图像坐标，获得成熟果实的空间坐标，由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配，降低了空间定位的失败率。
【专利附图】
【附图说明】
[0032]图1为本发明实施例提供的果实识别定位的方法的流程图；
[0033]图2为本发明实施例提供的果实识别定位的装置的结构示意图；
[0034]图3为本发明实施例提供的果实识别定位的系统的结构示意图；
[0035]图4为本发明实施例提供的果实识别定位的系统中线结构发生器固定件的结构示意图。
[0036]附图标记:
[0037]10-支撑柱； 11-壳体；12-基柱；
[0038]13-U形卡； 14-侧竖槽；15-底座；
[0039]20-摄像头； 30-摄像头固定件；31_调整孔；
[0040]40-移动单兀；41-电机；42-编码器；
[0041]43-滑块； 50-线结构光发生器；60-线结构发生器固定件；
[0042]61-平台；62-环形凹槽。
【具体实施方式】
[0043]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0044]图1为本发明实施例提供的果实识别定位的方法的流程图，如图1所示，本实施例的方法包括:
[0045]步骤101、采集待处理果实的当前图像作为第一图像。
[0046]其中，所述待处理果实可以为番茄、柑橘、苹果等果实，本实施例在此不对其进行限制，具体的，待处理果实的当前图像为经过位置调整后的摄像机视场内果实的平面图像，且该步骤中摄像机只需触发采集单幅待处理果实的当前图像，并将该单幅待处理果实的当前图像作为第一图像。
[0047]步骤102、通过对 所述第一图像进行识别，获得所述第一图像中的成熟果实区域。
[0048]具体的，第一图像中包括成熟果实和未成熟果实的多个果实，为获取多个果实中的成熟果实在第一图像中的像素区域，需要依据颜色特征，或者圆形度、凹度、面积比等形状特征，或者均匀度纹理特征等特征量对第一图像进行识别，由于颜色特征计算简单，可以方便、快速的获取第一图像中的成熟果实区域，步骤102优选的是依据成熟果实颜色特征，通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域，其中，步骤102具体可以包括:
[0049]判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征条件的像素，若是，则根据满足所述待处理果实的成熟果实颜色特征条件的像素获得待选成熟果实区域；
[0050]具体的，表示摄像机采集图像的颜色信息的色彩空间可以是RGB、HIS等，其中，RGB色彩空间是以R、G、B分量值表示图像中像素的颜色特征，R、G、B分量值分别为图像中红、绿、蓝的亮度值，HIS色彩空间是以H、1、S颜色分量值表示图像中像素的颜色特征，H分量值是色调值，S分量是饱和度值，I分量值是亮度值，由于环境光照因素的影响仅与I分量表示的亮度值相关，为了在判断第一图像内各像素中是否存在满足待处理果实的成熟果实颜色特征条件的像素的过程中，排除环境光照因素的影响，优选在HIS色彩空间的基础上仅利用第一图像内各像素的故、Si分量值进行识别。
[0051]为了更加直观的理解本实施例，通过以下举例进行说明，具体的，本例中的待处理果实为番茄，由于成熟番茄果实颜色特征为H=248，S=116，成熟番茄果实颜色特征条件可以为:
【权利要求】
1.一种果实识别和定位的方法，其特征在于，包括: 采集待处理果实的当前图像作为第一图像； 通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域； 根据所述第一图像中的成熟果实区域，获得第一成熟果实区域； 周期性采集所述待处理果实的当前图像作为第二图像，并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光，且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动； 根据所述第一成熟果实区域在所述第一图像中的位置信息，获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域； 判断所述第二成熟果实区域内各像素中是否存在第一像素，所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素，若是，则根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动； 将所述线结构光区域的一个或多个像素作为定位点，获取所述定位点在所述第二图像中的图像坐标； 根据所述定位点在所述第二图像中的图像坐标，通过线结构光三维定位技术获得所述定位点的空间坐标，并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
2.根据权利要求1所述的果实识别和定位的方法，其特征在于，所述根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前，还包括:` 判断所述第一像素中是否存在第二像素，所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素； 所述根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动，具体包括: 若所述第一像素中存在所述第二像素，则根据所述第一像素获得所述线结构光区域。
3.根据权利要求1所述的果实识别和定位的方法，其特征在于，所述通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域具体包括: 判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征条件的像素，若是，则根据满足所述待处理果实的成熟果实颜色特征条件的像素获得待选成熟果实区域； 判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量，若是，则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
4.根据权利要求1-3任一所述的果实识别和定位的方法，其特征在于，根据所述第一图像中的成熟果实区域，获得第一成熟果实区域具体包括: 通过对所述第一图像中的成熟果实区域进行轮廓处理，获得所述第一成熟果实区域。
5.一种果实识别和定位的装置，其特征在于，包括: 第一采集模块，用于采集待处理果实的当前图像作为第一图像； 识别模块，用于通过对所述第一图像进行识别，获得所述第一图像中的成熟果实区域；第一处理模块，用于根据所述第一图像中的成熟果实区域，获得第一成熟果实区域；第二采集模块，用于周期性采集所述待处理果实的当前图像作为第二图像，并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光，且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动；第一获取模块，用于根据所述第一成熟果实区域在所述第一图像中的位置信息，获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域； 第一判断模块，用于判断所述第二成熟果实区域内各像素中是否存在第一像素，所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素； 执行模块，用于若是，则根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动； 第二获取模块，用于将所述线结构光区域的一个或多个像素作为定位点，获取所述定位点在所述第二图像中的图像坐标； 第二处理模块，用于根据所述定位点在所述第二图像中的图像坐标，通过线结构光三维定位技术获得所述定位点的空间坐标，并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
6.根据权利要求5所述的果实识别和定位的装置，其特征在于，所述装置还包括:第二判断模块，用于在所述执行模块根据所述第一像素获得线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前，判断所述第一像素中是否存在第二像素，所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素；` 所述执行模块，具体用于若所述第二成熟果实区域内各像素中存在所述第一像素，且所述第一像素中存在所述第二像素，则根据所述第一像素获得所述线结构光区域，且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
7.根据权利要求5所述的果实识别和定位的装置，其特征在于，所述识别模块具体包括: 第一判断单元，用于判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征的像素，若是，则根据满足所述待处理果实的成熟果实颜色特征的像素获得待选成熟果实区域； 第二判断单元，用于判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量，若是，则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
8.根据权利要求5-7任一所述的果实识别和定位的装置，其特征在于，所述第一处理模块，具体用于通过对所述第一图像中的成熟果实区域进行轮廓处理，获得所述第一成熟果实区域。
9.一种果实识别和定位的系统，其特征在于，包括果实识别和定位的设备和控制器，所述控制器包括权利要求5-7任一所述的果实识别和定位的装置，所述果实识别和定位的设备包括支撑柱、摄像头、摄像头固定件、移动单元、线结构光发生器、线结构光发生器固定件；所述支撑柱竖直设置； 所述摄像头水平设置在所述摄像头固定件的一端，且所述摄像头固定件的另一端设置在所述支撑柱上，所述摄像头将采集的所述待处理果实的当前图像发送至所述控制器； 所述移动单元包括电机、丝杆和滑块，所述电机设置在所述支撑柱的顶部，所述丝杆竖直设置在所述支撑柱的内腔，且所述丝杆一端与所述电机输出轴连接，所述滑块设置在所述丝杆上； 所述线结构光发生器水平设置在所述线结构发生器固定件的一端，所述线结构发生器固定件的另一端与所述滑块固定连接，所述线结构光发生器用于接收所述控制器发送的控制信号向所述待处理果实的方向发出具有预设颜色的水平线结构光； 所述电机用于接收所述控制器发送的控制信号驱动所述丝杆转动，并通过所述滑块和所述线结构发生器固定件驱动所述线结构光发生器沿竖直方向移动，以使得所述水平线结构光沿竖直方向移动，且接收所述控制器发送的控制信号停止驱动所述线结构光发生器沿竖直方向移动。
10.根据权利要求9所述的果实识别和定位的系统，其特征在于，所述线结构发生器固定件的一端设置有具有环形凹槽的平台，所述线结构光发生器的底部插设于所述环形凹槽中，且所述线结构光发生器可沿所述环形凹槽的中心轴线转动，以调整所述线结构光发生光的角度。`
【文档编号】G01C11/06GK103727877SQ201310714110
【公开日】2014年4月16日 申请日期:2013年12月20日 优先权日:2013年12月20日
【发明者】冯青春, 王秀, 程伟, 周建军 申请人:北京农业信息技术研究中心