岩石检测方法及装置与流程

本发明涉及图像处理领域，具体而言，涉及一种岩石检测方法及装置。

背景技术：

火星探测器着陆时，需要规避撞击坑、岩石等障碍。与撞击坑相比，岩石具有分布密度大、体积小等特点。Golombek的研究表明在“火星探路者”号着陆场周围分布着一定数量的岩石，其高度约为底部直径的1/2。在欧洲航天局(European Space Agency,ESA)2018火星探测任务(Exobiology on Mars,ExoMars)与美国国家航空航天局(National Aeronautics and Space Administration,NASA)火星2020探测任务(Mars 2020)中，岩石分布区域均是确定理想着陆点的一项重要考虑因素，因此火星地表岩石区域检测是障碍检测的一项重要内容。

针对岩石的检测方法，主要有以下方法：一、基于岩石阴影和岩石轮廓线提取相结合的方法，这种方法的前提是岩石存在较明显的阴影区域；二、对着陆区进行多分辨率分析的方法，该方法采用多灰度阈值的分割方法，利用聚类算法对岩石进行标记，构建岩石分布拓扑图，但此方法的基础是根据着陆区光照特性进行检测，光照条件发生变化时此方法是否有效并未得到进一步研究；三、基于灰度直方图的检测方法，将岩石障碍区域从图像中分割出来，但需要人工设置阈值，自适应性差。以上的研究方法主要是依靠岩石的阴影信息，当岩石的阴影信息不明显时检测效果将会受到影响，同时受光照条件影响较大。

技术实现要素：

有鉴于此，本发明实施例提供了一种岩石检测方法及装置，通过对配准后的待测区域的光学图像与深度图分别求取显著图并进行融合，确定融合显著图中岩石所在位置，从而确定待测区域内岩石所在位置，使空间探测器在着陆时可以避开岩石所在区域，改善现有技术中检测岩石的位置需要依靠岩石阴影信息且受到光照条件影响较大的问题。

为了实现上述目的，本发明采用的技术方案如下：

一种岩石检测方法，应用于火星地表岩石检测，所述方法包括：获取火星地表待测区域的光学图像以及深度图像；将所述光学图像以及所述深度图像进行配准；分别获取配准后的所述光学图像的光学图像显著图以及配准后的所述深度图像的深度图像显著图；将所述光学图像显著图以及所述深度图像显著图融合获得融合显著图；确定所述融合显著图中岩石所在位置，从而确定待测区域内岩石所在位置。

一种岩石检测装置，应用于火星地表岩石检测，所述装置包括：图像获取模块，用于获取火星地表待测区域的光学图像以及深度图像；配准模块，用于将所述光学图像以及所述深度图像进行配准；显著图获取模块，用于分别获取配准后的所述光学图像的光学图像显著图以及配准后的所述深度图像的深度图像显著图；融合模块，用于将所述光学图像显著图以及所述深度图像显著图融合获得融合显著图；岩石检测模块，用于确定所述融合显著图中岩石所在位置，从而确定待测区域内岩石所在位置。

本发明实施例提供的岩石检测方法及装置，在获取火星地表待测区域的光学图像以及深度图像并配准后，由于待测区域内的岩石在获得的待测区域的图像中具有显著性特征，分别获取配准后的光学图像的光学图像显著图以及配准后的深度图像的深度图像显著图，并且将光学图像显著图以及深度图像显著图进行融合获得融合显著图，从而可以从融合显著图中确定岩石所在位置，实现不依赖岩石阴影信息实现岩石的检测，且降低了光照条件对检测的影响。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明较佳实施例提供的计算机的方框示意图；

图2示出了本发明第一实施例提供的岩石检测方法的流程图；

图3示出了本发明第一实施例提供的岩石检测方法的部分步骤的流程图；

图4示出了本发明第一实施例提供的一种光学图像的示意图；

图5示出了本发明第一实施例提供的与图4的光学图像对应的深度图像的示意图；

图6示出了图5中的深度图像配准到图4中的配准区域范围；

图7示出了本发明第一实施例提供的另一种光学图像的示意图；

图8示出了本发明第一实施例提供的与图7的光学图像对应的深度图像的示意图；

图9示出了图7所示的光学图像的显著图；

图10示出了图8所示的深度图像的显著图；

图11示出了图9与图10融合后的融合显著图；

图12示出了本发明第二实施例提供的岩石检测装置的功能模块图；

图13示出了本发明第二实施例提供的岩石检测装置的部分模块的功能模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是本发明较佳实施例提供的计算机100的方框示意图，该计算机可以安装于用于火星着陆的火星探测器。所述计算机100包括岩石检测装置200、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、显示单元106及其他。

所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、显示单元106各元件相互之间直接或间接地电性连接，以实现坐标数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述岩石检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述岩石检测装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(Programmable Read-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的流过程定义的服务器/计算机所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器103，包括中央处理器103(Central Processing Unit，简称CPU)、网络处理器103(Network Processor，简称NP)等；还可以是数字信号处理器103(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器103可以是微处理器103或者该处理器103也可以是任何常规的处理器103等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。如将摄像机等图像获取设备耦合至处理器103以及存储器101，以获取图像获取设备拍摄获得的图像。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105提供给用户输入数据实现用户与计算机的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

显示单元106在所述计算机与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

可以理解的，图1所示的结构仅为示意，计算机100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

图2示出了本发明实施例提供的岩石检测方法的流程图，应用于火星地表岩石检测，以使火星探测器在着陆前能根据地表是否有岩石存在以及岩石所在位置，选择最佳着陆点。请参见图2，该方法包括：

步骤S110：获取火星地表待测区域的光学图像以及深度图像。

处理器获取待测区域的光学图像以及深度图像，该光学图像以及深度图像可以通过相应的图像获取设备获得。例如，通过光学相机拍摄待测区域的光学图像，通过距离测量装置如激光雷达获取待测区域的深度图像。当然，光学图像以及深度图像也可以通过其他图像获取设备获得，如通过RGBD传感器获取深度图像，通过kinect传感器获取光学图像以及深度图像，在本实施例中并不作为限定。

步骤S120：将所述光学图像以及所述深度图像进行配准。

通过配准，将两幅图像统一在同一坐标系内，使同一地理位置在不同图像中的坐标能相互匹配。

在本实施例中，配准方式可以是将深度图像配准到光学图像中，也可以是将光学图像配准到深度图像中或者将深度图像以及光学图像配准到某一固定的坐标系统中，并不作为限制。

优选的，由于相对于光学图像，通常深度图像的视野范围更小，本实施例中优选将深度图像配准到光学图像中，即将深度图像的坐标变换到光学图像的坐标区域内，并以此作为示例详细说明。

在配准过程中，首先确定深度图像与光学图像之间的转换关系，再根据转换关系将光学图像以及深度图像转换到同一坐标系内。具体的，请参见图3，该配准过程包括：

步骤S121：确定多个标记点分别在光学图像中的第一坐标以及在深度图像中的第二坐标。

该多个标记点可以是待测区域内的多个不同的地理位置点，第一坐标以及第二坐标均为在相应的图像中的图像坐标。例如，指定待测区域内某一物体为标志物，以该标志物的多个角点作为标记点，分别确定该标记物的多个角点在光学图像中的坐标为相应角点的第一坐标以及深在度图像中的坐标为相应角点的第二坐标。

步骤S122：计算所述第一坐标以及所述第二坐标之间的转换参数。

根据所需的第一坐标以及第二坐标之间转换关系模型，计算第一坐标与第二坐标之间的转换参数，从而确定光学图像与深度图像之间的坐标转换参数。

具体的，考虑图像缩放、旋转、平移等因素，在本实施例中，建立第一坐标以及第二坐标之间转换关系模型为：

其中，(x₁₀,y₁₀)为待测区域内任意一点P在深度图像上的对应点P₀的坐标，(x₁₁,y₁₁)为该任意点P在光学图像上的对应点P₁的坐标，也就是说P₀与P₁为相互对应的坐标，s为缩放因子，θ为旋转角度，t_x、t_y分别为x方向和y方向的平移量，可以理解的，x方向为坐标x₁₀对应的方向，y方向为坐标y₁₀对应的方向。

对上述公式(1)进行变换如下：

对公式(2)进行变换，获得：

为方便计算，可以设scosθ＝a₁，ssinθ＝a₂，t_x＝a₃，t_y＝a₄，则式(3)可转换为

再设待测区域内另一点Q在深度图像中的对应点Q₀坐标为(x₂₀,y₂₀)，其在光学图像上对应的点Q₁的坐标为(x₂₁,y₂₁)，则根据式(4)有

合并公式(3)、(5)，得到

a₁、a₂、a₃、a₄为深度图像中坐标与光学图像中坐标之间的转换参数，可以计算得到

以确定的多个标记点中的其中两个标记点分别作为P点和Q点，将其坐标带入公式(7)，即将标记点P在深度图像中的第一坐标以及在光学图像中的第二坐标带入公式(7)，将标记点Q在深度图像中的第一坐标以及在光学图像中的第二坐标带入公式(7)，即可获得转换参数a₁、a₂、a₃、a₄的值。

为提高转换参数的准确性，在本实施例中，选择多个标记点计算转换参数，设第n个标记点在深度图像中的第一坐标为(x_n0,y_n0)，在光学图像中的第二坐标为(x_n1,y_n1)，将n个标记点在光学图像中的第一坐标以及深度图像中的第二坐标带入公式(5)，合并得到

通过求公式(8)中的参数a₁,a₂,a₃,a₄的值可以获得更加准确的第一坐标以及所述第二坐标之间的转换参数。

当然，在本实施例中，第一坐标以及第二坐标之间转换关系模型并不作为限定，也可以是其他，如仿射变换、透射变换、投影变换、非线性变换等，可以根据实际情况进行选择。

步骤S123：根据所述转换参数，将所述光学图像以及所述深度图像转换到同一坐标系内。

可以理解的，通过第一坐标以及第二坐标之间的转换参数，可以将深度图像中的任意坐标转换到光学图像中，对应上述转换参数a₁,a₂,a₃,a₄，转换公式为：

其中，(x₀,y₀)表示深度图像中任意一点的坐标，(x₁,y₁)表示该任意一点(x₀,y₀)在光学图像中对应的坐标。

将深度图像变换到光学图像的坐标区域内，可以通过计算深度图像的四个角点的角点坐标在光学图像内的坐标，从而获得深度图像在光学图像的坐标区域内的坐标范围。

例如，如图4表示获取的待测区域的光学图像，图5表示该待测区域对应的深度图像。如图5所示，深度图像的分辨率为m×n，那么在深度图像的坐标系内，其四个角点坐标分别为：左上角(0，0)，右上角(n,0)，左下角(0，m)，右下角(n，m)，通过公式(9)，可以求出其在光学图像中四个角点的坐标分别为(a₃,a₄)，(a₁n+a₃,a₂n+a₄)，(-a₂m+a₃,a₁m+a₄)，(a₁n-a₂m+a₃,a₂n+a₁m+a₄)，从而确定深度信息图像变换到光学图像中所对应的区域，如图6中方框001所示的区域。可以理解的，图4和图5对应的待测区域并不一定为火星地表的实际区域，图4和图5仅仅用于说明图像配准。

步骤S130：分别获取配准后的所述光学图像的光学图像显著图以及配准后的所述深度图像的深度图像显著图。

对配准后的光学图像以及深度图像求取显著图，其中，光学图像显著图即为光学图像的显著图，深度图像显著图即为深度图像的显著图。在本实施例中，显著图的获取算法并不限定，优选的，通过基于图论的视觉显著性算法(Graph-Based Visual Saliency，GBVS)获取配准后的所述光学图像的光学图像显著图，通过基于形状先验的显著性检测的方法(context-based saliency and object-level shape prior，CBS)获取配准后的所述深度图像的深度图像显著图。

具体的，通过基于图论的视觉显著性算法获取光学图像显著图包括：首先提取光学图像的特征向量，提取的为包括光学图像颜色、亮度以及方向三个方面的特征的特征向量。再生成光学图像显著图，该生成过程可以是，利用提取的特征向量生成激活图，在此基础上运用马尔可夫随机场的特点构建二维图像的马尔可夫链，通过求其平衡分布得到显著图。图7以及图8分别示出了配准后的同一待测区域的光学图像以及深度图像，其中图7为光学图像，图8为深度图像。通过基于图论的视觉显著性算法获得的图7的光学图像显著图如图9所示。

通过基于形状先验的显著性检测的方法获取深度图像显著图包括：a、通过深度图像的颜色与位置信息计算显著性，并生成显著图。b、提取显著图中显著部分的形状特征。c、分割图像。具体可以是通过构建能量函数，并使能量函数最小来进行分割。d、基于分割结果重新生成显著图，并返回步骤b，直到能量函数收敛停止迭代。如图10示出了通过基于形状先验的显著性检测的方法获得的图8的深度图像显著图。

步骤S140：将所述光学图像显著图以及所述深度图像显著图融合获得融合显著图。

步骤S150：确定所述融合显著图中岩石所在位置，从而确定待测区域内岩石所在位置。

如图9及图10所示，显著图为灰度图，图9中颜色较浅区域002以及003、图10中颜色较浅区域004以及005均具有显著性特征，并且为岩石对应所在区域，其像素值与其他背景区域具有明显差别。

在本实施例中，可以采用像素相乘的方法对光学图像显著图以及深度图像显著图进行融合，具体相乘的方式为将对应位置的像素相乘，如在光学图像显著图中坐标为(x1，y1)的像素点与深度图像显著图中坐标为(x1，y1)的对应像素点的像素值相乘，相乘结果为融合和的图像中坐标为(x1，y1)的像素值。再将融合后的图像进行二值化，获得融合显著图。根据显著图中岩石所在位置具有显著性特征，可以确定融合显著图中岩石所在位置。

如图9及图10所示，显著图中显著性部分颜色较浅，像素值较大，而背景部分颜色较深，像素值较小。在光学图像显著图以及深度图像显著图中像素值均较大的位置，对应相乘像素值仍相对较大，而像素值均较小或者在其中一幅显著图中像素值较小而在另一幅显著图中像素值较大的位置，对应相乘后像素值相对较小。因此，根据实际情况进行设定二值化的标准值后，可以使融合显著图中对应小于二值化标准值的较小像素值部分为第一像素值，使其中对应大于二值化标准的像素值较大部分为第二像素值，从而实现融合显著图中非显著部分为第一像素，判定为非岩石所在位置，显著性部分为第二像素，判定为岩石所在位置。

图9以及图10融合并二值化后的融合显著图如图11所示，其中白色区域为显著部分，判定为岩石所在位置，黑色区域为背景部分，判定为非岩石所在区域。

另外，在融合过程中，可以先将光学图像显著图以及深度图像显著图进行二值化，其中光学图像显著图中的显著部分二值化后像素值为1，其他部分二值化后像素值为0，同样的，深度图像显著图中的显著部分二值化后像素值为1，其他部分二值化后像素值为0。再对二值化后的光学图像显著图以及深度图像显著图进行融合，使在光学图像显著图以及深度图像显著图中的一幅中表现为显著特征而在另一幅中表现为非显著特征的部分在融合图像中像素值为0，表现为非显著特征，从而使在光学图像显著图以及深度图像显著图中均表现为显著特征的部分在融合显著图中表现为显著特征，使提取的显著图中显著部分更加精确，使从融合显著图中确定的岩石位置更加精确。

再将融合显著图中岩石所在位置对应到火星地表的待测区域，从而确定待测区域内岩石所在位置。

综上所述，本实施例提供的岩石检测方法，将火星地表待测区域的光学图像以及深度图像配准后求取显著图，再将获得的显著图进行融合，以融合得到的融合显著图中的显著部分对应的区域作为岩石所在位置，从而确定待测区域内岩石所在位置。

当然，也可以获取火星地表待测区域的包括其他信息的图像，如待测区域的红外图像等，通过获得的至少两幅包括待测区域的不同信息的图像的显著图来确定待测区域内岩石所在位置。

第二实施例

本实施例提供了一种岩石检测装置200，应用于火星地表岩石检测，请参见图12，所述装置200包括：图像获取模块210，用于获取火星地表待测区域的光学图像以及深度图像；配准模块220，用于将所述光学图像以及所述深度图像进行配准；显著图获取模块230，用于分别获取配准后的所述光学图像的光学图像显著图以及配准后的所述深度图像的深度图像显著图；融合模块240，用于将所述光学图像显著图以及所述深度图像显著图融合获得融合显著图；岩石检测模块250，用于确定所述融合显著图中岩石所在位置，从而确定待测区域内岩石所在位置。

进一步的，如图13所示，配准模块220包括：标记点确定子模块221，用于确定多个标记点分别在光学图像中的第一坐标以及在深度图像中的第二坐标；转换关系获取子模块222，用于计算所述第一坐标以及所述第二坐标之间的转换参数；转换子模块223，用于根据所述转换参数，将所述光学图像以及所述深度图像转换到同一坐标系内。

具体的，在本实施例中，所述显著图获取模块230可以用于通过基于图论的视觉显著性算法获取配准后的所述光学图像的光学图像显著图，用于通过基于形状先验的显著性检测的方法获取配准后的所述深度图像的深度图像显著图。

另外，所述岩石检测模块250可以包括：像素确定子模块，用于确定所述岩石对应的位置在融合显著图中的像素值；位置确定子模块，用于确定所述融合显著图中所述像素值对应的区域为所述岩石所在的位置。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。