用于分析植物的表型的3D影像生成方法及其系统与流程

本发明涉及用于分析植物的表型的3d影像生成方法及其系统，具体来讲涉及一种精确地推定获取植物的影像的3d传感器的位置的技术。

背景技术：

植物的表型分析是指测定植物的高度、叶子的数量、颜色及模样等生育信息并进行分析的技术。

植物的叶子、茎、枝、果实等结构大部分具有薄且不规则的结构，叶子一般是层叠的，因此需要从多种视点观察植物结构，由于不同的时间、不同的时期下植物的生育条件是不同的，因此具有需要实时观察的特殊性。

以往采用由人直接测定的方法，而由于近来影像及通信技术发达，因此在尝试利用3d传感器进行自动测定及分析的技术。

利用3d传感器的植物测定技术可分为固定3d传感器并移动植物的方式及固定植物并移动3d传感器的方式共两种。

固定3d传感器并旋转移动植物的方式容易获取传感器的位置，而由于植物移动发生叶子晃动等问题，因此为获取精确影像，需要在移动植物后等到叶子等保持不动为止，从而耗时长，不适合高速感测。

固定植物并移动3d传感器的方式能够解决上述方式的问题，但具有无法获取移动的3d传感器的精确位置的问题，因此具有整合和3d建模方面耗时长的局限性。

技术实现要素：

技术问题

为解决上述问题，本发明的目的在于提供一种在影像腔体内侧壁设置形成图案的多个标记并用此进行两个步骤的坐标系整合以推定3d传感器的精确姿势的方法及系统。

技术方案

用于达成上述目的的用于分析植物的表型的3d影像生成系统的特征在于可包括：多个标记，其设置于影像腔体的内侧壁且形成图案；3d传感器，其获取植物的影像；机器人，其包括安装在所述影像腔体的被设置部的机器人基座及用于安装所述3d传感器的末端器，驱动使得所述3d传感器能够在围绕所述植物旋转的过程中获取影像；以及传感器姿势推定部，其利用所述多个标记的位置信息相互整合所述影像腔体的坐标系、所述机器人的坐标系及所述3d传感器的坐标系以推定所述3d传感器的姿势。

其中，所述传感器姿势推定部可包括：坐标整合部，其利用所述多个标记的位置信息推定所述3d传感器和所述机器人、所述机器人和所述影像腔体之间的坐标变换关系并整合坐标系；以及传感器姿势优化部，其根据所述坐标整合部的整合利用所述机器人的姿势信息推定所述3d传感器的姿势，根据检测的所述多个标记的位置信息优化所述3d传感器的姿势。

并且，所述坐标整合部可包括：第一坐标变换部，其利用所述机器人的动力学信息推定所述机器人基座与所述末端器之间的坐标变换关系；以及第二坐标变换部，其利用所述多个标记的位置信息推定所述影像腔体与所述3d传感器之间的坐标变换关系。

并且，所述坐标整合部可包括：第三坐标变换部，其利用基于所述机器人的姿势信息的3d传感器的限定的运动信息，以多种姿势移动所述机器人的过程中，利用检测的所述多个标记的位置信息，推定所述机器人的末端器与所述3d传感器之间的坐标变换关系及所述影像腔体与所述机器人基座之间的坐标变换关系。

进一步地，所述传感器姿势优化部可以从拍摄的影像内检索所述多个标记的位置以优化所述3d传感器的姿势，以此最小化所述3d传感器的拍摄信号发生时刻和拍摄时刻之间存在差异而发生的所述3d传感器的姿势的不整合。

并且，所述多个标记可包括反光贴(retroreflectorsticker)。

另外，用于达成上述目的的用于分析植物的表型的3d影像生成方法的特征在于可包括：驱动包括安装有所述3d传感器的末端器的机器人使得所述3d传感器以多种姿势拍摄形成于影像腔体的内侧壁的图案的步骤；以及利用所述图案的位置信息相互整合所述影像腔体的坐标系、所述机器人的坐标系及所述3d传感器的坐标系以推定所述3d传感器的姿势的步骤。

其中，推定所述3d传感器的姿势的步骤可包括：利用所述图案的位置信息推定所述3d传感器与所述机器人之间的坐标变换关系及所述机器人与所述影像腔体之间的坐标变换关系以整合坐标系的步骤；以及推定基于所述机器人的姿势的所述3d传感器的姿势并根据检测的所述图案的位置信息优化所述3d传感器的姿势的步骤。

并且，整合所述坐标系的步骤包括：利用所述机器人的动力学信息推定所述机器人的机器人基座与所述末端器之间的坐标变换关系的步骤；利用所述图案的位置信息推定所述影像腔体与所述3d传感器之间的坐标变换关系的步骤；以及利用以多种姿势移动所述机器人的过程中检测的所述图案的位置信息推定所述机器人的末端器与所述3d传感器之间的坐标变换关系及所述影像腔体与所述机器人基座之间的坐标变换关系的步骤，优化所述3d传感器的姿势的步骤可以从拍摄的影像内重新检索所述图案的位置以优化所述3d传感器的姿势，以此最小化所述3d传感器的拍摄信号发生时刻和拍摄时刻之间存在差异而发生的所述3d传感器的姿势的不整合。

技术效果

如上所述，根据本发明的用于分析植物的表型的3d影像生成方法及其系统，能够在影像腔体内侧壁设置形成图案的多个标记并用此进行两个步骤的坐标系整合以推定3d传感器的精确姿势。

并且，能够对小且细的植物实时复原精密3d影像结构，与现有的3d校准相比，3d结构复原精确度高、速度快。

进一步地，本发明尤其能够提高对细且具有多形性的植物的3d影像结构复原精确度，从而提高后续三维分割(3dsegmentation)、纹理映射(texturemapping)等3d影像后处理的精确度使得3d分析能够更精确。

附图说明

图1为本发明一个实施例的用于分析植物的表型的3d影像生成系统的简要示意图；

图2显示图1的构成的坐标系；

图3为图1的传感器姿势推定部的具体构成图；

图4为利用图1的用于分析植物的表型的3d影像生成系统的用于分析植物的表型的3d影像生成方法的流程图；

图5为关于图4的坐标系整合和3d传感器的姿势优化方法的更具体的方法的流程图；

图6显示上述实施例的植物的影像生成系统及方法的实现例。

附图标记说明

1：影像腔体10：标记

20：机器人21：机器人基座

23：末端器30：3d传感器

40：传感器姿势推定部41：坐标整合部

43：传感器姿势优化部

具体实施方式

以下参见附图对本发明的具体实施例进行说明。

图1为本发明一个实施例的用于分析植物的表型的3d影像生成系统的简要示意图，图2显示图1的构成的坐标系。参见图1，本发明一个实施例的用于分析植物的表型的3d影像生成系统包括设置于影像腔体1上且设置为形成预定图案的多个标记10、机器人(robot)20、3d传感器30及传感器姿势推定部40。

多个标记10可设置于影像腔体1的内侧壁且设置成形成预定图案。多个标记10在推定3d传感器的姿势时作为基准，其可以是反光贴(retroreflectorsticker)。对于图案而言，可考虑以3d传感器30主要感测的位置为中心容易检测到的位置或容易匹配的形态的图案。

机器人20结合有3d传感器30，驱动使得3d传感器30围绕植物旋转的过程中获取影像，包括安装在影像腔体1的被设置部的机器人基座21、用于安装3d传感器30的末端器(end-effector)23。

机器人基座21固定设置在被设置部，其位置不变，3d传感器30安装于末端器23，末端器23通过驱动使3d传感器30以植物为中心旋转360度。尽管图1中并未示出，但机器人20除机器人基座21及末端器23之外还包括横框架(未示出)、横框架旋转机构(未示出)、横驱动部(未示出)等，这些构成相互结合且驱动使得末端器23以机器人基座21为旋转中心在植物周围旋转。并且，末端器23设置成可上下左右移动，可根据植物的种类、生长时期、大小适当地变更设置拍摄位置。

3d传感器30用于获取植物的影像，安装于机器人20的末端器23。3d传感器30随着机器人20的末端器23的运动具有六自由度(x、y、z，俯仰(pitch)、偏航(yaw)、翻滚(roll))的姿势。

传感器姿势推定部40用于利用3d摄像机获取的影像中多个标记10的位置信息相互整合影像腔体1的坐标系、机器人20的坐标系及3d传感器30的坐标系并以此推定3d传感器30的姿势，可以由用于坐标整合及推定的软件及运行软件的处理器构成。

图3为图1的传感器姿势推定部40的具体构成图。参见图3，本发明一个实施例的传感器姿势推定部40包括坐标整合部41及传感器姿势优化部43。

坐标整合部41利用影像内多个标记10的位置信息推定3d传感器30与所述机器人20、机器人20与影像腔体1之间的坐标变换关系并整合坐标系，在以多种姿势移动机器人20的过程中观察多个标记10的位置，利用基于机器人20姿势的3d传感器30的受制约的运动信息整合精确坐标系。

参见图2，获取植物的影像时应考虑的坐标系有影像腔体l坐标系、机器人基座21坐标系、末端器23坐标系及3d传感器30坐标系共四种。其中，影像腔体1的空间坐标系是可任意设定的固定值，将用于测定设置于影像腔体1的内侧壁的多个标记10的位置的坐标系用作影像腔体1的坐标系。机器人20的坐标系不同于影像腔体1的坐标系，是设置时便已经固定但与影像腔体1之间的相互关系则不详的值。3d传感器30安装固定于机器人20的末端器23，坐标系向光学原点或传感器平面的方向设定，是与末端器23的坐标系之间的变换为固定关系但相互关系则不详的值。

参见图3，坐标整合部41包括第一坐标变换部41a、第二坐标变换部41b及第三坐标变换部41c。

第一坐标变换部41a用于通过机器人20的动力学信息推定机器人基座21与末端器23之间的坐标变换关系，由于机器人20的动力学信息是已知的，因此可用此推定机器人基座21与末端器23之间的坐标变换关系。

第二坐标变换部41b利用多个标记10的位置信息推定影像腔体1与3d传感器30之间的坐标变换关系。

第三坐标变换部41c利用基于机器人20的姿势信息的3d传感器30的限定的运动信息，以多种姿势移动机器人20的过程中利用检测的所述多个标记10的位置信息，推定机器人20的末端器23与3d传感器30之间的坐标变换关系及影像腔体1与机器人基座21之间的坐标变换关系以整合精确坐标系。

传感器姿势优化部43利用基于移动的机器人20的姿势信息大致推定3d传感器30的姿势，用该信息检测多个标记10的位置后，在修正机器人20姿势信息的同时优化3d传感器30的姿势。

3d传感器30的姿势可在观察配置于影像腔体1的多个标记10的过程中大致获取，但可能会由于3d传感器30的视角不足或观察的标记10的位置检测精确度不足的问题、3d传感器30扫描植物影像时向传感器下达获取数据的命令的时刻和实际获取时刻之间存在差异导致同步精确度不足等问题而无法在以机器人20姿势在预想的位置观察到标记10。

本发明的传感器姿势优化部43为了最小化这种3d传感器30的姿势的不整合，能够以移动方向为基准从拍摄的影像内重新检索多个标记10的位置以优化3d传感器30的姿势，准确地获知3d传感器30的当前位置。

图4为利用图1的用于分析植物的表型的3d影像生成系统的用于分析植物的表型的3d影像生成方法的流程图。根据需要省略与上述实施例重复的说明。

首先用反光贴在影像腔体1内侧壁形成预定的图案。在此，反光贴的位置是内部已知的值。

参见图4，驱动机器人20以在机器人20的多种姿势下通过3d传感器30拍摄形成于影像腔体1的内侧壁的图案(s10)。例如，为生成植物的3d影像而在围绕植物360度旋转的同时获取影像，以10度间隔拍摄影像。

在此，利用影像内的图案的位置信息推定机器人20和影像腔体1、机器人20和3d传感器30之间的坐标系的变换并相互整合(s20)。并且，一边修正机器人姿势信息一边推定3d传感器30的姿势(s30)。

图5是关于图4所示的坐标系整合和3d传感器30姿势推定方法的更具体的方法的流程图。

参见图5，首先利用机器人20的动力学信息推定机器人基座21与末端器23之间的坐标变换关系(s21)。并且，利用由多个标记10构成的图案的位置信息推定影像腔体1与3d传感器30之间的坐标变换关系(s23)。并且，利用在以多种姿势移动机器人20的过程中检测的图案的位置信息推定机器人20的末端器23与3d传感器30之间的坐标变换关系及影像腔体1与机器人基座21之间的坐标变换关系(s25)。

通过如上所述的步骤，相互整合影像腔体1的坐标系、机器人20的坐标系及3d传感器30的坐标系。并且，通过所述坐标系整合推定基于机器人20的姿势的所述3d传感器30的姿势，以移动方向为基准从拍摄的影像内重新检索多个标记10的位置以优化3d传感器30的姿势(s31)。

以下对本发明一个实施例的坐标系整合及姿势推定的一个例子进行说明。

下述数学式1表示本发明一个实施例的坐标整合部41的坐标系整合的初始解算式。

[数学式1]

tⁱcstsetⁱertrc＝1

→t¹cstsetⁱer＝trc^-1

其中，trc^-1在所有姿势都是不变的，因此

tⁱcstsetⁱer＝tⁱcstsetⁱer

→(tⁱcs)^-1tⁱcstse＝tsetⁱer(tⁱer)^-1

(上式中，trc：影像腔体1和机器人基座21之间的坐标变换矩阵，tse：末端器23和3d传感器30之间的坐标变换矩阵，tⁱer：在第i个姿势机器人基座21和末端器23之间的坐标变换矩阵，tⁱcs：在第i个姿势3d传感器30和影像腔体1之间的坐标变换矩阵)

在通过驱动机器人20得到的多种姿势，利用上述数学式1求出tse的初始解。trc.tse是固定值同时也是未知值，tⁱer.tⁱcs是能够通过测定得到的值，如上所述，tⁱer是由第一坐标变换部41根据机器人20的动力学信息算出的值，tⁱcs是由第二坐标变换部41b基于图案算出的值。

因此，上述数学式1的(tⁱcs)^-1tⁱcstse＝tsetⁱer(tⁱer)^-1中只有tse是未知值，因此可通过矩阵方程式求出其初始解。

坐标整合部41求出初始解后执行精确校准，此处利用基于机器人驱动式的限定的3d传感器30姿势推定方式。这利用了由于3d传感器30的位置取决于机器人20的运动，因此不可能位于任意位置的原理。

在第i个姿势影像腔体1和3d传感器30之间的变换，即(tⁱcs)^-1可如下表示：

[数学式2]

(tⁱcs)＝tsetⁱer(vi)trc

(其中，vi：表示在第i个姿势的机器人驱动参数)

标记10中的k在第i个姿势被3d传感器30观察到的情况下，实际观察到的位置可用表示，预测的观察位置可如下表示。

[数学式3]

pⁱk＝proj(k，d，(tⁱcs)^-1)

(其中，proj(...)：影像投影式，k：3d传感器内部参数(intrinsicparameter)，d：传感器畸变参数(disortionparameter))

价值函数可如下表示，可通过非线性优化算出tse和trc。

[数学式4]

[数学式5]

以下对本发明一个实施例的传感器姿势优化部43的动作进行说明。拍摄影像时拍摄获取信号发生时刻和实际拍摄时刻无差异的情况下，即将3d传感器30停在特定位置进行拍摄的情况下，可用上述数学式2算出3d传感器30的姿势。

然而，3d传感器30在移动过程中获取影像的情况下，拍摄获取信号发生时刻和实际拍摄时刻存在差异，因此为解除这种3d传感器30的姿势不整合，将获取时的机器人驱动参数作为未知数(unknown)执行数学式5的优化。

为此，在影像内以3d传感器30的移动方向为基准重新搜索特定观察位置在此，利用深度(depth)信息去除植物区域，若机器人驱动参数中有固定值则在优化时去除。

传感器姿势优化部43可采用多种方式的优化算法，例如可使用列文伯格-马夸尔特(levenberg-marquardt)算法等局部优化(localoptimization)方法。

图6显示上述实施例的植物的影像生成系统及方法的实现例，图6的(a)是简要显示影像腔体1内壁设置有多个标记10(红点)，在影像腔体1内围绕植物360旋转的过程中获取影像的机器人20和摄像机的照片，(b)显示通过本系统及方法获取的植物的3d影像。

如上所述，本发明相互整合影像腔体1的空间坐标系和机器人20的坐标系、3d传感器30的坐标系等三个坐标系，可从影像腔体1的空间坐标系上准确地推定在特定时刻的精确的3d传感器30的六自由度姿势。

以上记载了构成本发明实施例的所有构成要素结合成一体或结合工作，但本发明并非局限于这些实施例。即，在本发明的目的范围内，其所有构成要素可选择性结合为一个以上工作。并且，其所有构成要素可分别是一个独立的硬件，但也可以选择性地结合其各构成要素的一部分或全部构成为具有在一个或多个硬件上执行组合的一部分或全部功能的程序模块的计算机程序。构成该计算机程序的代码及代码片段可被本发明技术领域的技术人员容易推导。这种计算机程序存储在计算机可读取的存储介质(computerreadablemedia)并被计算机读取及执行，从而能够实现本发明的实施例。计算机程序的存储介质可包括磁性记录介质、光记录介质、载波介质等。

另外，以上记载的“包括”、“构成”或“具有”等术语在没有特殊相反记载的情况下表示可内置有相应构成要素，因此应理解为还可以包括其他构成要素，而不得理解为其他构成要素排除在外。若无另行定义，包括技术术语或科学术语在内的所有术语均表示与本发明所属技术领域的普通技术人员的一般理解相同的意思。词典上定义的术语等通常使用的术语应解释为与相关技术的文章脉络相一致的含义，本方面中无明确定义的前提下不得解释为理想或过度形式性的含义。

以上说明只是例示本发明的技术思想，本发明所属技术领域的普通技术人员应当理解：其依然可以在不脱离本发明的本质特性的范围内进行多种修正及变形。因此，本发明公开的实施例并非用于限定本发明的技术思想，而是用于说明，本发明技术思想的范围不受这些实施例的限定。因此应根据技术方案的范围解释本发明的范围，应解释与其相同的范围内的所有技术思想包含于本发明的范围。