植株长势的检测方法、设备、装置及计算机存储介质与流程

所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。在一些可能的实施方式中，根据本公开的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的植株长势的检测方法中的步骤。例如，处理器可以执行如图4中所示的步骤401-406。下面参照图12来描述根据本公开的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图12所示，电子设备1200以通用电子设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理器1201、上述至少一个计算机存储介质1202、连接不同系统组件(包括计算机存储介质1202和处理器1201)的总线1203。总线1203表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。计算机存储介质1202可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(ram)1221和/或高速缓存存储介质1222，还可以进一步包括只读计算机存储介质(rom)1223。计算机存储介质1202还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225，这样的程序模块1224包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。电子设备1200也可以与一个或多个外部设备1204(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1205进行。并且，电子设备1200还可以通过网络适配器1206与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1206通过总线1203与用于电子设备1200的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。在一些可能的实施方式中，本公开提供的一种植株长势的检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的植株长势的检测方法中的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(ram)、只读计算机存储介质(rom)、可擦式可编程只读计算机存储介质(eprom或闪存)、光纤、便携式紧凑盘只读计算机存储介质(cd-rom)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。本公开的实施方式的植株长势的检测的程序产品可以采用便携式紧凑盘只读计算机存储介质(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、cd-rom、光学计算机存储介质等)上实施的计算机程序产品的形式。本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

背景技术：

1、在农业的生产过程中，植株长势是检测植株生长状态的重要指标，也是预测植株产量的重要依据。所以，运用科学的方式对植株的长势进行检测对于农民来说是至关重要的。

2、现有技术中，植株长势的检测方法主要是人工根据自己的经验来对各植株的长势进行评估，但是此方式需要花费大量的时间，导致植株长势的检测效率较低。

技术实现思路

1、本公开示例性的实施方式中提供一种植株长势的检测方法、设备、装置及计算机存储介质，用于提高植株长势的检测效率。

2、本公开的第一方面提供一种植株长势的检测方法，所述方法包括：

3、每隔指定时长，获取植株的顶端图像和植株的侧面图像；

4、将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置；

5、针对所述顶端图像中的任意一个植株，基于所述植株的包围盒的位置，确定所述植株的宽度；以及，

6、利用所述侧面图像，确定所述植株的茎秆高度；以及，

7、根据所述植株的测量距离，得到所述植株的高度，其中，所述测量距离是通过深度传感器测量得到的，且所述测量距离为所述植株顶端与所述深度传感器之间的距离；

8、通过所述植株的宽度、所述茎秆高度和所述植株的高度，得到所述植株的长势。

9、本实施例中通过每隔指定时长，获取植株的顶端图像和植株的侧面图像，并将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置，然后通过各植株包围盒的位置分别确定出各植株的宽度，以及利用所述侧面图像，确定所述植株的茎秆高度，并根据所述植株的测量距离，得到所述植株的高度，以此得到植株的长势。由此，本实施例中可以自动的确定出植株的长势情况，并不需要人工来进行估计，所以，提高了植株长势的检测效率，并且相较于人工的估计，本实施例中的方式对各植株的长势检测的标准一致，并不会出现像人工检测时标准不一的情况的，所以，提高了植株长势的检测的准确率。

10、在一个实施例中，所述植株长势还包括植株密度；

11、所述将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置之后，所述方法还包括：

12、根据所述顶端图像中各包围盒的总数量和预设的视野面积，得到与所述顶端图像对应的中间植株密度；

13、将各指定时长分别对应的各顶端图像的中间植株密度的平均值，确定为所述植株密度。

14、本实施例中通过各指定时长分别对应的顶端图像的中间植株密度的平均值来确定出植株密度，提高了植株密度的准确率。

15、在一个实施例中，所述包围盒的位置包括所述包围盒中四个顶点的图像位置坐标；

16、所述基于所述植株的包围盒的位置，确定所述植株的宽度，包括：

17、针对所述包围盒中的任意一个顶点，利用预设的深度相机标定矩阵将所述顶点的图像位置坐标进行转换，得到所述顶点在世界坐标系中的实际位置坐标；

18、基于所述包围盒中各顶点的实际位置坐标，得到所述包围盒的长度和宽度，其中，所述宽度的数值大于所述长度的数值；

19、基于所述包围盒的宽度，确定所述植株的宽度。

20、本实施例中通过将包围盒中各顶点的图像位置坐标转换为各顶点在世界坐标系中的实际位置坐标，并通过各顶点的实际位置坐标确定出包围盒的宽度，然后将包围盒的宽度确定为所述植株的宽度。由此，本实施例中通过包围盒顶点的实际位置坐标确定出植株的宽度，使得确定出的植株的宽度更加准确。

21、在一个实施例中，所述利用所述侧面图像，确定所述植株的茎秆高度，包括：

22、将所述侧面图像输入至预先训练好的茎秆检测模型中进行茎秆检测，得到所述植株侧面图像中各植株的茎秆的包围盒的位置，其中，所述包围盒的位置包括所述包围盒中各顶点的图像位置坐标；

23、利用预设的植株位置序号与茎秆位置序号的对应关系，确定与所述植株的植株位置序号相对应的目标茎秆位置序号；

24、通过预设的视觉相机标定矩阵将与目标所述茎秆位置序号相对应的茎秆的包围盒的各顶点的图像位置坐标进行转换，得到所述各顶点在世界坐标系中的实际位置坐标；

25、基于所述各顶点的实际位置坐标，得到所述植株的茎秆高度。

26、本实施例中通过茎秆检测模型来对侧面图像进行茎秆检测，得到茎秆的包围盒，并通过茎秆的包围盒中各顶点在世界坐标系中的实际位置坐标来确定出植株的茎秆高度，由此，提高了确定出的植株的茎秆高度的准确率。

27、在一个实施例中，所述植株长势还包括高度比例参数；

28、所述根据所述植株的测量距离，得到所述植株的高度之后，所述方法还包括：

29、将所述植株的茎秆高度与所述植株的高度相除，得到所述植株的高度比例参数。

30、在一个实施例中，通过以下方式对所述植株检测模型进行训练：

31、获取训练样本，其中，所述训练样本中包括植株的顶端图像，且所述顶端图像中包括各植株的包围盒的标注位置；

32、将所述训练样本输入至所述植株检测模型中进行植株检测，得到各植株的包围盒的预测位置；

33、根据所述各植株的包围盒的标注位置和所述各植株的包围盒的预测位置，得到误差值；

34、若所述误差值大于指定阈值，则对所述植株检测模型的指定参数进行调整后，返回将所述训练样本输入至所述植株检测模型中进行植株检测的步骤，直至所述误差值不大于所述指定阈值，则结束对所述植株检测模型的训练。

35、本实施例中通过训练样本来对植株检测模型进行训练，并根据得到的训练样本中各植株的包围盒的预测位置与标注位置得到模型的误差值，当误差值大于指定阈值时，则对植株检测模型的参数进行调整后继续利用训练样本对植株检测模型进行训练，直至得到的误差值不大于指定阈值，则结束模型的训练。由此，保证植株检测模型的准确率，进一步提高了植株长势检测的准确率。

36、本公开第二方面提供一种植株长势的检测设备，所述设备包括深度传感器、视觉传感器和处理器，其中：

37、所述深度传感器，用于获取植株的顶端图像以及植株的测量距离，其中，所述测量距离为植株的顶端与所述深度传感器之间的距离；

38、所述视觉传感器，用于获取植株的侧面图像；

39、所述处理器，分别与所述深度传感器和所述视觉传感器连接，用于每隔指定时长，将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置；

40、针对所述顶端图像中的任意一个植株，基于所述植株的包围盒的位置，确定所述植株的宽度；以及，

41、利用所述侧面图像，确定所述植株的茎秆高度；以及，

42、根据所述植株的测量距离，得到所述植株的高度；

43、通过所述植株的宽度、所述茎秆高度和所述植株的高度，得到所述植株的长势。

44、在一个实施例中，所述植株长势还包括植株密度；

45、所述处理器，还用于：

46、所述将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置之后，根据所述顶端图像中各包围盒的总数量和预设的视野面积，得到与所述顶端图像对应的中间植株密度；

47、将各指定时长分别对应的各顶端图像的中间植株密度的平均值，确定为所述植株密度。

48、在一个实施例中，所述包围盒的位置包括所述包围盒中四个顶点的图像位置坐标；

49、所述处理器执行所述基于所述植株的包围盒的位置，确定所述植株的宽度，具体用于：

50、针对所述包围盒中的任意一个顶点，利用预设的深度相机标定矩阵将所述顶点的图像位置坐标进行转换，得到所述顶点在世界坐标系中的实际位置坐标；

51、基于所述包围盒中各顶点的实际位置坐标，得到所述包围盒的长度和宽度，其中，所述宽度的数值大于所述长度的数值；

52、基于所述包围盒的宽度，确定所述植株的宽度。

53、在一个实施例中，所述包围盒的位置包括包围盒中四个顶点的图像位置坐标；

54、所述处理器执行所述基于所述植株的包围盒的位置，确定所述植株的宽度，具体用于：

55、将所述侧面图像输入至预先训练好的茎秆检测模型中进行茎秆检测，得到所述植株侧面图像中各植株的茎秆的包围盒的位置，其中，所述包围盒的位置包括所述包围盒中各顶点的图像位置坐标；

56、利用预设的植株位置序号与茎秆位置序号的对应关系，确定与所述植株的植株位置序号相对应的目标茎秆位置序号；

57、通过预设的视觉相机标定矩阵将与目标所述茎秆位置序号相对应的茎秆的包围盒的各顶点的图像位置坐标进行转换，得到所述各顶点在世界坐标系中的实际位置坐标；

58、基于所述各顶点的实际位置坐标，得到所述植株的茎秆高度。

59、在一个实施例中，所述植株长势还包括高度比例参数；

60、所述根据所述植株的测量距离，得到所述植株的高度之后，所述方法还包括：

61、将所述植株的茎秆高度与所述植株的高度相除，得到所述植株的高度比例参数。

62、在一个实施例中，所述处理器，还用于：

63、通过以下方式对所述植株检测模型进行训练：

64、获取训练样本，其中，所述训练样本中包括植株的顶端图像，且所述顶端图像中包括各植株的包围盒的标注位置；

65、将所述训练样本输入至所述植株检测模型中进行植株检测，得到各植株的包围盒的预测位置；

66、根据所述各植株的包围盒的标注位置和所述各植株的包围盒的预测位置，得到误差值；

67、若所述误差值大于指定阈值，则对所述植株检测模型的指定参数进行调整后，返回将所述训练样本输入至所述植株检测模型中进行植株检测的步骤，直至所述误差值不大于所述指定阈值，则结束对所述植株检测模型的训练。

68、根据本公开实施例的第三方面，提供一种植株长势的检测装置，所述装置包括：

69、植株图像获取模块，用于每隔指定时长，获取植株的顶端图像和植株的侧面图像；

70、植株检测模块，用于将所述顶端图像输入至预先训练好的植株检测模型中进行植株检测，得到所述顶端图像中各植株的包围盒的位置；

71、植株宽度确定模块，用于针对所述顶端图像中的任意一个植株，基于所述植株的包围盒的位置，确定所述植株的宽度；以及，

72、茎秆高度确定模块，用于利用所述侧面图像，确定所述植株的茎秆高度；以及，

73、植株高度确定模块，用于根据所述植株的测量距离，得到所述植株的高度，其中，所述测量距离是通过深度传感器测量得到的，且所述测量距离为所述植株顶端与所述深度传感器之间的距离；

74、植株长势确定模块，用于通过所述植株的宽度、所述茎秆高度和所述植株的高度，得到所述植株的长势。

75、根据本公开实施例提供的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。