农机前方作业环境视觉感知透视效应的消除方法和系统

本发明涉及图像处理技术领域，具体地，涉及农机前方作业环境视觉感知透视效应的消除方法和系统。

背景技术：

作业农机前方环境感知是实现农机无人化作业的基础，而视觉技术是农机环境感知的常用技术。不同于一般工业应用场合中相机成像轴线垂直于被感知对象，为了使得前视视距较远以便采集远端田地状况，农机前方作业环境感知时相机安装在一定高度并以一定的俯视角度针对前方田地，得到近大远小、无穷远处行线相交的透视图像。具体地，类似平行的作物行线在图像中聚向远方，矩形的田地在透视图中呈现成近大远小的四边形。透视图像中对应越远方的部分不属农机作业的区域越多。由于视觉感知最终应提交与实地相符的处理结果，如作物行线，用于指导农机作业操作。同一田地的作物行行线间距、作物尺度、行线方向等具有一定的一致性。为便于指导后续操作、简化算法，提高识别率及识别精度，农机前方田地视觉感知中应进行消除透视效应的前道处理。其中，消除透视效应包括二个操作，一个操作是对透视引起的近大远小的感兴趣区域(roi)载剪；另一操作是对透视roi内各点进行逆透视变换。

经过对现有技术的检索，申请号为：cn201810776433.4，名称为“作物行识别方法及装置”，公开了通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图，所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到；获取作物行透视图中预定区域的垂直投影图像的作物行边缘点，并获取作物行鸟瞰图的所有作物行的骨架线交点集；根据作物行边缘点的坐标对所有作物行的骨架线交点集进行划分，得到对应的每个作物行的骨架线交点集；分别对对应的每个作物行的骨架线交点集进行直线拟合，得到对应的作物行。但是，这种方式的数据运算量大，处理效率低下。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种农机前方作业环境视觉感知透视效应的消除方法和系统。

第一方面，本发明提供一种农机前方作业环境视觉感知透视效应的消除方法，包括：

步骤1：进行相机标定，得到相机内参和相机的安装参数；

步骤2：根据所述相机内参和所述相机的安装参数，构建单点透视坐标转换公式；其中，所述单点透视坐标转换公式用于将透视图片中任一点的坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标；

步骤3：农机作业过程中，在相机所采集到的透视图片内选取roi顶点，并根据所述单点透视坐标转换公式和所述roi顶点，确定逆透视变换矩阵；

步骤4：根据所述逆透视变换矩阵，对所述roi顶点确定的区域范围内的各个单点进行逆透视变换，得到消除透视效应后的逆透视图。

可选地，所述步骤1中的相机内参包括：相机横向视场角、相机纵向视场角、相机横向分辨率、相机纵向分辨率；所述相机的安装参数包括：相机安装俯仰角、相机安装高度。

可选地，所述步骤2中单点透视坐标转换公式如下：

其中，x表示世界坐标系下的x轴坐标，y表示世界坐标系下的y轴坐标，u表示透视图片中某一点的x轴坐标，v表示透视图片中某一点的y轴坐标，h表示相机安装高度，m表示相机纵向分辨率，θ表示相机安装俯仰角，2α表示相机纵向视场角，2β表示相机横向视场角，n表示相机横向分辨率，u'表示透视图片中某一点在逆透视图中对应的x轴坐标，v'表示透视图片中某一点在逆透视图中对应的y轴坐标，c表示重构成像的像素当量。

可选地，所述步骤3包括：

农机作业过程中，根据作业感知要求的前向距离、横向距离，在相机所采集到的透视图片内选取梯形区域的四个roi顶点(ui,vi)，其中，ui表示第i个roi顶点的横坐标，vi表示第i个roi顶点的纵坐标，i＝1,2,3,4；

令

其中，ui'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的横坐标，vi'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的纵坐标；a表示逆透视变换矩阵，a11表示逆透视变换矩阵第1行第1列的元素，a12表示逆透视变换矩阵第1行第2列的元素，a13表示逆透视变换矩阵第1行第3列的元素，a21表示逆透视变换矩阵第2行第1列的元素，a22表示逆透视变换矩阵第2行第2列的元素，a23表示逆透视变换矩阵第2行第3列的元素，a31表示逆透视变换矩阵第3行第1列的元素，a32表示逆透视变换矩阵第3行第2列的元素。

可选地，所述步骤4包括：

在所述roi顶点确定的区域范围内选择p个单点，通过所述逆透视变换矩阵将所述p个单点进行逆透视变换，得到对应的p个目标点；其中，p为大于1的自然数；

基于所述目标点，进行插值运算，得到q个像素点，q为大于p的自然数；

基于所述q个像素点，生成消除透视效应后的逆透视图。

第二方面，本发明提供一种农机前方作业环境视觉感知透视效应的消除系统，包括：

相机标定模块，用于进行相机标定，得到相机内参和相机的安装参数；

转换模块，用于根据所述相机内参和所述相机的安装参数，构建单点透视坐标转换公式；其中，所述单点透视坐标转换公式用于将透视图片中任一点的坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标；

确定模块，用于在相机所采集到的透视图片内选取roi顶点，并根据所述单点透视坐标转换公式和所述roi顶点，确定逆透视变换矩阵；

逆转换模块，用于根据所述逆透视变换矩阵，对所述roi顶点确定的区域范围内的各个单点进行逆透视变换，得到消除透视效应后的逆透视图。

可选地，所述相机内参包括：相机横向视场角、相机纵向视场角、相机横向分辨率、相机纵向分辨率；所述相机的安装参数包括：相机安装俯仰角、相机安装高度。

可选地，所述单点透视坐标转换公式如下：

其中，x表示世界坐标系下的x轴坐标，y表示世界坐标系下的y轴坐标，u表示透视图片中某一点的x轴坐标，v表示透视图片中某一点的y轴坐标，h表示相机安装高度，m表示相机纵向分辨率，θ表示相机安装俯仰角，2α表示相机纵向视场角，2β表示相机横向视场角，n表示相机横向分辨率，u'表示透视图片中某一点在逆透视图中对应的x轴坐标，v'表示透视图片中某一点在逆透视图中对应的y轴坐标，c表示重构成像的像素当量。

可选地，所述确定模块，具体用于：

农机作业过程中，根据作业感知要求的前向距离、横向距离，在相机所采集到的透视图片内选取梯形区域的四个roi顶点(ui,vi)，其中，ui表示第i个roi顶点的横坐标，vi表示第i个roi顶点的纵坐标，i＝1,2,3,4；

令

其中，ui'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的横坐标，vi'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的纵坐标；a表示逆透视变换矩阵，a11表示逆透视变换矩阵第1行第1列的元素，a12表示逆透视变换矩阵第1行第2列的元素，a13表示逆透视变换矩阵第1行第3列的元素，a21表示逆透视变换矩阵第2行第1列的元素，a22表示逆透视变换矩阵第2行第2列的元素，a23表示逆透视变换矩阵第2行第3列的元素，a31表示逆透视变换矩阵第3行第1列的元素，a32表示逆透视变换矩阵第3行第2列的元素。

可选地，所述逆转换模块，具体用于：

在所述roi顶点确定的区域范围内选择p个单点，通过所述逆透视变换矩阵将所述p个单点进行逆透视变换，得到对应的p个目标点；其中，p为大于1的自然数；

基于所述目标点，进行插值运算，得到q个像素点，q为大于p的自然数；

基于所述q个像素点，生成消除透视效应后的逆透视图。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的农机前方作业环境视觉感知透视效应的消除方法和系统，通过在透视图片中选取的roi顶点确定逆透视变换矩阵，有效保证逆透视变换矩阵的准确性，通过对输入原始透视图中roi顶点形成的区域内进行各单点的逆透视变换，实现了空间roi到图像roi的端到端直接转化，从而显著降低图像转换的运算量，提高了图像处理效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的农机前方作业环境视觉感知透视效应的消除方法的原理示意图；

图2为本发明实施例中透视图片中roi顶点的选取结果示意图；

图3为本发明实施例中消除透视效应后的逆透视图的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的农机前方作业环境视觉感知透视效应的消除方法的原理示意图，如图1所示，本实施例可以包括如下步骤：

参数标定步骤：进行相机标定，得到相机内参和相机的安装参数。

本实施例中，相机内参包括：相机横向视场角、相机纵向视场角、相机横向分辨率、相机纵向分辨率；相机的安装参数包括：相机安装俯仰角、相机安装高度。

单点透视坐标转换公式参数求取步骤：根据相机内参和相机的安装参数，构建单点透视坐标转换公式；其中，单点透视坐标转换公式用于将透视图片中任一点的坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标。

本实施例中，单点透视坐标转换公式如下：

其中，x表示世界坐标系下的x轴坐标，y表示世界坐标系下的y轴坐标，u表示透视图片中某一点的x轴坐标，v表示透视图片中某一点的y轴坐标，h表示相机安装高度，单位为米，m表示相机纵向分辨率，单位为像素，θ表示相机安装俯仰角，单位为度，2α表示相机纵向视场角，单位为度，2β表示相机横向视场角，单位为度，n表示相机横向分辨率，单位为像素，u'表示透视图片中某一点在逆透视图中对应的x轴坐标，v'表示透视图片中某一点在逆透视图中对应的y轴坐标，c表示重构成像的像素当量，单位为米/像素。

矩阵标定步骤：当农机进行作业时，在相机所采集到的透视图片内选取roi顶点，并根据单点透视坐标转换公式和roi顶点，确定逆透视变换矩阵。

本实施例中，农机作业过程中，根据作业感知要求的前向距离、横向距离，在相机所采集到的透视图片内选取梯形区域的四个roi顶点(ui,vi)，其中，ui表示第i个roi顶点的横坐标，vi表示第i个roi顶点的纵坐标，i＝1,2,3,4；

令

其中，ui'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的横坐标，vi'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的纵坐标；a表示逆透视变换矩阵，a11表示逆透视变换矩阵第1行第1列的元素，a12表示逆透视变换矩阵第1行第2列的元素，a13表示逆透视变换矩阵第1行第3列的元素，a21表示逆透视变换矩阵第2行第1列的元素，a22表示逆透视变换矩阵第2行第2列的元素，a23表示逆透视变换矩阵第2行第3列的元素，a31表示逆透视变换矩阵第3行第1列的元素，a32表示逆透视变换矩阵第3行第2列的元素。

图2为本发明实施例中透视图片中roi顶点的选取结果示意图，如图2所示，可以由人工按作业感知要求的前向、横向距离要求，在相机原始透视图中选出对应近方和远方的4个roi顶点，这四个roi顶点在透视图呈现为近大远小的四边形的4个顶点。

在线变化步骤：根据逆透视变换矩阵，对roi顶点确定的区域范围内的各个单点进行逆透视变换，得到消除透视效应后的逆透视图。

本实施例中，在roi顶点确定的区域范围内选择p个单点，通过逆透视变换矩阵将p个单点进行逆透视变换，得到对应的p个目标点；其中，p为大于1的自然数；基于目标点，进行插值运算，得到q个像素点，q为大于p的自然数；基于q个像素点，生成消除透视效应后的逆透视图。

图3为本发明实施例中消除透视效应后的逆透视图的示意图，如图3所示，由4个roi顶点求取获取逆透视变换矩阵，有效保证逆透视变换矩阵的准确性。在线变换中对输入原始透视图中4个roi顶点形成的四边形区域内进行各单点逆透视变换并进行插值计算。相对于整副图像直接逆透视变换，或整副图像逆透视变换完成后再掩码选取roi的操作，本实施例显著降低了运算量，实现了空间roi到图像roi的端到端直接转化。

本发明实施例还提供一种农机前方作业环境视觉感知透视效应的消除系统，包括：

相机标定模块，用于进行相机标定，得到相机内参和相机的安装参数；

转换模块，用于根据相机内参和相机的安装参数，构建单点透视坐标转换公式；其中，单点透视坐标转换公式用于将透视图片中任一点的坐标转换为世界坐标系对应的坐标，以及逆透视图中对应的坐标；

确定模块，用于在相机所采集到的透视图片内选取roi顶点，并根据单点透视坐标转换公式和roi顶点，确定逆透视变换矩阵；

逆转换模块，用于根据逆透视变换矩阵，对roi顶点确定的区域范围内的各个单点进行逆透视变换，得到消除透视效应后的逆透视图。

可选地，相机内参包括：相机横向视场角、相机纵向视场角、相机横向分辨率、相机纵向分辨率；相机的安装参数包括：相机安装俯仰角、相机安装高度。

可选地，单点透视坐标转换公式如下：

其中，x表示世界坐标系下的x轴坐标，y表示世界坐标系下的y轴坐标，u表示透视图片中某一点的x轴坐标，v表示透视图片中某一点的y轴坐标，h表示相机安装高度，m表示相机纵向分辨率，θ表示相机安装俯仰角，2α表示相机纵向视场角，2β表示相机横向视场角，n表示相机横向分辨率，u'表示透视图片中某一点在逆透视图中对应的x轴坐标，v'表示透视图片中某一点在逆透视图中对应的y轴坐标，c表示重构成像的像素当量。

可选地，确定模块，具体用于：

农机作业过程中，根据作业感知要求的前向距离、横向距离，在相机所采集到的透视图片内选取梯形区域的四个roi顶点(ui,vi)，其中，ui表示第i个roi顶点的横坐标，vi表示第i个roi顶点的纵坐标，i＝1,2,3,4；

令

其中，ui'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的横坐标，vi'表示基于单点透视坐标转换公式计算得到的第i个roi顶点的纵坐标；a表示逆透视变换矩阵，a11表示逆透视变换矩阵第1行第1列的元素，a12表示逆透视变换矩阵第1行第2列的元素，a13表示逆透视变换矩阵第1行第3列的元素，a21表示逆透视变换矩阵第2行第1列的元素，a22表示逆透视变换矩阵第2行第2列的元素，a23表示逆透视变换矩阵第2行第3列的元素，a31表示逆透视变换矩阵第3行第1列的元素，a32表示逆透视变换矩阵第3行第2列的元素。

可选地，逆转换模块，具体用于：

在roi顶点确定的区域范围内选择p个单点，通过逆透视变换矩阵将p个单点进行逆透视变换，得到对应的p个目标点；其中，p为大于1的自然数；

基于目标点，进行插值运算，得到q个像素点，q为大于p的自然数；

基于q个像素点，生成消除透视效应后的逆透视图。

需要说明的是，本发明提供的农机前方作业环境视觉感知透视效应的消除方法中的步骤，可以利用农机前方作业环境视觉感知透视效应的消除系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。