基于双目立体视觉的三维重建装置、方法、系统及无人机的制作方法
【专利摘要】本发明公开了基于双目立体视觉的三维重建装置、方法、系统及无人机。该装置包括用于获取边缘像素集合的边缘获取单元、用于进行相似值评价的相似评价单元，用于从候选像素块集合中确定匹配像素块的匹配确定单元以及用于构建三维立体图像的视图重建单元。应用本发明，能够在保证视觉导航的准确度和精度的同时显著减小计算量，有利于提高障碍物检测的实时性。本发明尤其适用于高速小型无人机。
【专利说明】
基于双目立体视觉的Ξ维重建装置、方法、系统及无人机
技术领域
[0001 ]本公开设及视觉导航领域，更具体地，设及一种基于双目立体视觉的Ξ维重建装 置、一种基于双目立体视觉的Ξ维重建方法和一种基于双目立体视觉的Ξ维重建系统和一 种无人机。
【背景技术】
[0002] 无人机导航主要方法包括全球定位系统导航、惯性导航、超声波导航、激光测距导 航W及视觉导航等。目前应用最为广泛的无人机自主导航系统是使用全球定位系统(GPS) 导航定位和惯性导航系统（IMU)相结合，GPS估计精度受到信号和环境的影响，在遇到建筑 物遮挡或者无线电干扰较强的环境时定位精度很低。而IMU位置误差也会随时间累积，需要 其他传感器提供位置信息进行修正。因此该种方法更适合高空无人机导航，而对于环境更 加复杂，障碍物更多的低空导航该方法无法有效完成避障任务。另一方面，针对消费类别的 轻小型无人机对低负载，低功耗的要求，激光测距设备进行导航具有体积重量大的缺点，也 不适合作为小型无人机低空避障的导航方法，也有采用超声波测距进行避障的应用，但是 该种方法无法精确地得到障碍物所处的方位和角度，因而误差也较大，无法满足对定位精 度要求较高的无人机飞行避障的要求。
[0003] 目前基于视觉的导航方案主要有光流法、利用kinect等深度传感器进行环境Ξ维 重建、单目相机深度测距等。光流法是利用角点处提取光流信息并求解延伸焦点来估计障 碍物的位置，存在较大的估计误差。而深度传感器受到红外测距范围的限制，不适合应用于 室外环境的深度测量。单目相机进行深度测距需要借助飞机上的传感器返回准确的位姿信 息或者通过对相邻帖进行单应性计算获得帖间投影矩阵，再进行立体匹配求取视差，从而 精确定位障碍物。但由于传感器返回位姿精度低会导致投影矩阵误差大，最终将影响障碍 物定位的精度。单目相机深度测距方法也可W根据相邻帖特征点匹配求取单应性矩阵，但 是该方法计算量大，无法满足避障算法的实时性要求。
[0004] 针对上述方法准确度和精度不足的缺陷，有人提出可基于SURF特征点的双目立体 视觉进行环境Ξ维重建及障碍物检测。基于SURF特征点的双目立体视觉Ξ维重建及障碍物 检测的精度较高，但是由于其全画面像素特征匹配的算法复杂度很高，无法满足高速小型 无人机低空飞行过程中复杂频繁的障碍物规避要求，仍然不能令人满意。
【发明内容】
[0005] 本公开提出了能够显著减小双目立体视觉(Binocular Stereo Vision)S维重建 的计算量和计算时间的技术方案，并且相比于基于SURF特征点的双目立体视觉Ξ维重建方 案，基本不降低重建的准确度和精度。
[0006] 根据本公开的一方面，提出了一种基于双目立体视觉的Ξ维重建装置，该装置包 括:边缘获取单元，得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由 双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另 一目图像经边缘检测得到的所有边缘像素组成;相似评价单元，用于基于下式得到第一边 缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的 相似评价值SSAD:
[0007]
[000引其中，N表示每个边缘像素块中的像素点的数目，Pleft(i)表示边缘像素块Pleft中第 i个像素点的像素值，Pright(i)表示边缘像素块Pright中第i个像素点的像素值；匹配确定单 元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素 块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块 Pleft间的相似评价值SSAD大于评价值阔值的所有边缘像素块Pright组成;视图重建单元，用于 基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建S维立 体图像，L是拉普拉斯算子。
[0009] 根据本公开的另一方面，提出了一种基于双目立体视觉的Ξ维重建方法，该方法 包括:得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中 的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经 边缘检测得到的所有边缘像素组成;基于下式得到第一边缘像素集合中的每一边缘像素块 Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD :
[0010]
[00川其中，N表示每个边缘像素块中的像素点的数目，Pleft(i)表示边缘像素块Pleft中第 i个像素点的像素值，Pright(i)表示边缘像素块Pright中第i个像素点的像素值，L是拉普拉斯 算子;针对第一边缘像素集合中的每一边缘像素块Pleft，从该边缘像素块Pleft的候选像素块 集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft 间的相似评价值SSAD大于评价值阔值的所有边缘像素块Pright组成;基于匹配的边缘像素块 Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建S维立体图像。
[0012] 根据本公开的另一方面，提出了一种基于双目立体视觉的Ξ维重建系统，该系统 包括:双目摄像头，布置于无人飞行器上，用于拍摄双目图像;飞行控制器，包括接收机和处 理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图 像，所述处理器被配置为执行如上所述的方法。
[0013] 根据本公开的另一方面，提出了一种无人机，所述无人机采用了如上所述的装置 和/或方法和/或系统。
[0014] 本公开的各方面通过检测边缘图像、并通过定义的相似评价值在双目图像的边缘 像素块间寻找彼此匹配的边缘特征，从而能显著减小重建Ξ维视图的计算量和计算时间， 有利于大大提高障碍物检测的实时性，并且，经验证应用本公开能保证较高的导航准确度 和精度。本发明尤其适用于高速小型无人机。
【附图说明】
[0015] 包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的 示例性实施例、特征和方面，并且用于解释本发明的原理。相同的附图标记用于表示相同或 相似的部件。
[0016] 图1示出了基于双目立体视觉的Ξ维重建的原理示意图。
[0017] 图2示出了根据本公开的一个实施例的基于双目立体视觉的Ξ维重建装置的结构 框图。
[0018] 图3示出了根据本公开的一个实施例的示例性的基于双目立体视觉的Ξ维重建装 置的结构框图。
[0019] 图4示出了根据本公开的一个实施例的示例性的深度递进式的障碍物检测示意 图。
[0020] 图5示出了根据本公开的一个实施例的示例性的基于双目立体视觉的Ξ维重建装 置的结构框图。
[0021] 图6示出了根据本公开的一个实施例的基于双目立体视觉的Ξ维重建方法流程 图。
【具体实施方式】
[0022] W下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同 的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除 非特别指出，不必按比例绘制附图。
[0023] 在运里专用的词"示例性"意为"用作例子、实施例或说明性"。运里作为"示例性" 所说明的任何实施例不必解释为优于或好于其它实施例。
[0024] 另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。 本领域技术人员应当理解，没有某些具体细节，本发明同样可W实施。在一些实例中，对于 本领域技术人员熟知的方法、手段、元件和电路未作详细描述，W便于凸显本发明的主旨。
[0025] 此处，先对双目立体视觉Ξ维重建的基本原理进行简单介绍。
[0026] 摄像头成像模型采用通常的针孔模型描述Ξ维欧式空间到二维图像平面的投影 变换。双目立体视觉(Binocular Stereo Vision)系统一般由左摄像头和右摄像头两个摄 像头组成，其成像模型均采用针孔模型。如图1所示，点P在成像面左成像面化和右成像面Or 上的投影P1和P2的位置差定义为视差，用d表示;左右摄像头光屯、的距离称为基线距离，在图 1中标记为b。设左右摄像头的焦距大小均为f，点P在左成像面化上的投影P1的坐标为(U1， VI)，点P在右成像面Or上的投影P2的坐标(化，V2)，基于双目视差的；维重建原理，即可W得 到点P在世界坐标系下的Ξ维坐标(xK，yK，zK)为(此处设世界坐标系与左摄像头坐标系重 合)：
[0027]
[0028] 从而可构建Ξ维图像，即可先找出左右图像中相匹配的特征点，基于匹配的特征 点进一步确定该特征点的视差，然后基于该视差即可确定该特征点的Ξ维坐标(包括深度 Ze)。可W看出，由于左右摄像头的焦距f和基线距离b是一定的，因此只要确定视差d即可得 到相应的深度信息。基于算法原理可W看出找到匹配的像素点是进行Ξ维重建的关键。
[0029] 实施例1
[0030] 图2示出了根据本公开的一个实施例的基于双目立体视觉的Ξ维重建装置100的 结构框图。在本实施例中，装置100包括边缘获取单元101、相似评价单元102、匹配确定单元 103、视图重建单元104。边缘获取单元101用于得到第一边缘像素集合和第二边缘像素集 合。所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组 成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成。相似评价 单元用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合 中的每一边缘像素块Pright间的相似评价值SSAD :
[0031]
[0032] 其中，N表示每个边缘像素块中的像素点的数目，Pleft(i)表示边缘像素块Pleft中第 i个像素点的像素值，Pright(i)表示边缘像素块Pright中第i个像素点的像素值，L是拉普拉斯 算子。匹配确定单元103用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像 素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合 由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阔值的所有边缘像素块Pright组成。 本领域技术人员可W根据需要设置该评价值阔值。视图重建单元104用于基于匹配的边缘 像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建S维立体图像。
[0033] 本实施例中，通过对边缘像素点进行匹配，而非传统方法中对区域进行匹配，能大 大减少计算量。同时，本发明中通过采用定义的相似评价值SSAD寻找候选的相似像素块集 合，并从中最终确定匹配像素块，来补偿因为降低计算复杂度而牺牲的准确度。上述实施例 的计算复杂度大大小于基于SURF特征点的双目立体视觉Ξ维重建，并且基本不损害重建的 准确度和精度。
[0034] 在一种可能的实施方式中，边缘获取单元100可W采用拉普拉斯边缘检测算法得 到双目图像各自对应的第一边缘像素集合和第二边缘像素集合，例如，可采用拉普拉斯边 缘检测算法对通过左摄像头得到的图像进行边缘检测，W得到第一边缘像素集合;可采用 拉普拉斯边缘检测算法对通过右摄像头得到的图像进行边缘检测，W得到第二边缘像素集 合，W实现简单高效的边缘检测。本领域技术人员也可根据需要采用其他任意适用的技术 手段获取第一和第二边缘像素集合，例如，直接从其他部件接收第一和第二边缘像素集合。
[0035] 在一种可能的实施方式中，匹配确定单元103可W在水平方向采用自相似滤波从 边缘像素块Pleft的所述候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。此处 的"水平"指与左右摄像头的连线平行的方向。
[0036] -个物体存在自相似，通常指它和它本身的一部分完全或是几乎相似。例如一个 曲线自相似，即指每部分的曲线有一小块和它相似。自然界中有很多东西具有自相似性质， 例如海岸线、建筑物的窗户等。
[0037] 由于相似评价值SsAD的局部性，W及双目相机的左右摄像头是水平放置的，因此基 于SsAD得到的候选像素块集合中可能存在水平自相似的情况，而水平方向的误匹配将直接 影响Ξ维重建中求取的Ξ维坐标的准确度。因此根据本发明，可仅在水平方向对基于SSAD的 初步匹配结果进行自相似滤波，在初步匹配结果的领域范围内进行二次检测W剔除水平自 相似候选像素块，从而在消耗较少计算量的情况下避免当环境中存在水平连续出现的相似 物时出现误匹配，进一步提高匹配的准确度。此处，本领域技术人员可采用任意适用的自相 似滤波算法在水平方向进行自相似滤波。
[0038] 在一种可能的实施方式中，上述实施例中每一边缘像素块的每一维的长度在2~ 10之间，即4含N含100,例如，该像素块可W是5巧的像素块，也可W是4*6的像素块。发明人 经过深入研究和反复验证，将边缘像素块的大小设置在上述范围内，有利于在计算量和匹 配准确度两方面取得良好平衡，有利于实现较高的匹配效率。
[0039] 图3示出了根据本公开的一个实施例的基于双目立体视觉的Ξ维重建装置100的 结构框图。在该示例性实施例中，装置100还可W包括新障碍信息获取单元105和障碍物分 布确定单元106。新障碍信息获取单元105可W用于在所述Ξ维立体图像中仅在预设视差范 围[d_min，d_max]内进行障碍物检测，W得到新障碍物检测信息，其中d_min为预设视察范围的 最小视差，d_max为预设视差范围的最大视差。障碍物分布确定单元106可W用于基于所述新 障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。在现 有技术中，通常遍历从最大视差到零视差(对应于零深度至最大深度逐步进行障碍物检 巧。，但发明人研究发现，运其中有相当的检测信息是冗余的，例如，对于当前的无人机避障 任务而言，事实上并不需要对应于很小视差（即深度接近于无穷远）的障碍物信息。获取运 些冗余信息需要很大的计算量，保存运些冗余信息需要很大的存储量，是对资源的严重浪 费。因此，在本示例性实施例中，可仅在预设视差范围[d_min，d_max]内进行障碍物检测W大大 节省计算量和存储量，同时结合"短时记忆"（即在预设历史时间段内的历史障碍物检测信 息)得到当前无人机避障所需的障碍物分布信息。本领域技术人员可W根据需要设置d_min 和 djnax。
[0040] 应用图3所示的装置100可进行深度递进式的障碍物检测。图4示出了示出了根据 本公开的一个实施例的示例性的深度递进式的障碍物检测示意图。如图4所示，在当前时 亥IJ，只需在特定深度范围（如图4中圈出的黑色区域所示）内进行障碍物检测，并结合历史障 碍物检测信息(如图4中圈出的白色区域所示），W快速确定所需的障碍物分布信息。
[0041] 图5示出了根据本公开的一个实施例的示例性的基于双目立体视觉的Ξ维重建装 置100的结构框图。在该示例性实施例中，装置100还可W包括图像预处理单元107,其可用 于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后的双目图像传送至边缘获 取单元101。图像预处理单元107可W包括崎变校正子单元和平行校正子单元，W用于对图 像进行崎变校正和平行校正。
[0042] 在一种可能的实施方式中，崎变校正子单元可W包括校正矩阵获取模块和校正模 块。校正矩阵获取模块可W用于采用张正友标定法得到双目摄像头的标定参数、并基于所 述标定参数得到崎变校正投影矩阵。校正模块可W用于将所述崎变校正投影矩阵应用于输 入所述校正模块的每一帖图像W进行崎变校正。由于先获取基于全局优化目标得到的崎变 校正投影矩阵，并将其应用于后续的所有图像，从而避免针对每一帖双目图像分别计算崎 变校正所需的参数，有效提高了计算的实时性和计算效率。发明人经过大量对比实验后发 现，采用张正友标定法(诸如基于张正友标定法的matlab工具箱)实现摄像头标定，有利于 提高标定结果的准确度。例如，崎变校正投影矩阵可w是在离线状态下获得的。本领域技术 人员可采用任意适用的技术手段实现平行校正。
[00创实施例2
[0044] 图6示出了根据本公开的一个实施例的基于双目立体视觉的Ξ维重建方法流程 图。在本实施例中，该方法包括：
[0045] 步骤601，得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由 双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另 一目图像经边缘检测得到的所有边缘像素组成；
[0046] 步骤602,基于下式得到第一边缘像素集合中的每一边缘像素块Pieft与第二边缘 像素集合中的每一边缘像素块Pright间的相似评价值SSAD :
[0047]
其中，N表示每个边缘像素块中的像素点的数 目，Plef t ( i )表示边缘像素块Plef t中第i个像素点的像素值，Pright ( i )表示边缘像素块Pright中 第i个像素点的像素值，L是拉普拉斯算子；
[004引步骤603，针对第一边缘像素集合中的每一边缘像素块Pieft，从该边缘像素块Pieft 的候选像素块集合中确定该边缘像素块Pieft的匹配像素块，所述候选像素块集合由与该边 缘像素块Pieft间的相似评价值SSAD大于评价值阔值的所有边缘像素块Pright组成；
[00例步骤604,基于匹配的边缘像素块Pieft和Pright及匹配的边缘像素块Pieft和Fright 的视差构建Ξ维立体图像。
[0050] 在一种可能的实施方式中，得到双目图像各自对应的第一边缘像素集合和第二边 缘像素集合可W包括:可W采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘 像素集合和第二边缘像素集合。
[0051] 在一种可能的实施方式中，从边缘像素块Pieft的候选像素块集合中确定该边缘像 素块Pieft的匹配像素块可W包括:可W在水平方向采用自相似滤波从边缘像素块Pieft的候 选像素块集合中确定该边缘像素块Pieft的所述匹配像素块。
[0052] 在一种可能的实施方式中，该方法还可W包括:可W在所述Ξ维立体图像中仅在 预设视差范围[d_min，d_max]内进行障碍物检测，W得到新障碍物检测信息，其中d_min为预设 视差范围的最小视差，d_max为预设视差范围的最大视差;可W基于所述新障碍物检测信息 和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。
[0053] 在一种可能的实施方式中，该方法还可W包括:在得到边缘像素集合前，可W先对 双目摄像头拍摄得到的双目图像进行预处理，所述预处理可W进一步包括对图像进行崎变 校正和平行校正。进一步地，所述崎变校正可W包括:可W采用张正友标定法得到双目摄像 头的标定参数;可W基于所述标定参数得到崎变校正投影矩阵;可W将所述崎变校正投影 矩阵应用于输入所述校正模块的每一帖图像W进行崎变校正。
[0054] 在一种可能的实施方式中，每一所述边缘像素块的每一维的长度可W在2~10之 间。
[00巧]实施例3
[0056] 根据本公开的一个实施例，还公开了一种基于双目立体视觉的Ξ维重建系统，该 系统包括双目摄像头和飞行控制器。所述双目摄像头布置于无人飞行器上，用于拍摄双目 图像。所述飞行控制器包括接收机和处理器。所述接收机用于经由无线网络直接从无人飞 行器接收所述双目摄像头拍摄的双目图像，所述处理器被配置为包括如实施例1所述的装 置，和/或执行如实施例2所述的方法。在本实施例中，无人飞行器和飞行控制器间直接进行 无线数据传输，无需通过额外的地面站进行数据中转，进一步提高了导航的时效性。
[0057]在一种可能的实施方式中，该系统可W包括多组双目摄像头，其可W分别布置于 无人飞行器的前侧、后侧、左侧、右侧和下方。例如，该系统可W包括5组摄像头，可W在无人 飞行器的前侧、后侧、左侧、右侧和下方各布置一组摄像头。
[005引 实施例4
[0059] 根据本公开的一个实施例，还公开了一种无人机。该无人机采用如实施例1所述的 装置、和/或采用如实施例2所述的方法、和/或采用如实施例3所述的系统。具体细节可参见 上文中的详细描述。
[0060] W上所述，仅为本公开的【具体实施方式】，但本公开的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本公开掲露的技术范围内，可轻易想到变化或替换，都应涵 盖在本公开的保护范围之内。因此，本公开的保护范围应W所述权利要求的保护范围为准。
【主权项】
1. 一种基于双目立体视觉的三维重建装置，该装置包括： 边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素 集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集 合由另一目图像经边缘检测得到的所有边缘像素组成； 相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块Pieft与第二 边缘像素集合中的每一边缘像素块Pright间的相似评价值Ssad : Ssw =,, Ρ,^11~Ρ^Λ?\，其中，N表示每个边缘像素块中的像素点的数目， '+ Lipnifht(I))) Pleft⑴表示边缘像素块Plef冲第i个像素点的像素值，Prlght⑴表示边缘像素块P rlgh冲第i 个像素点的像素值，L是拉普拉斯算子； 匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块 Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与 该边缘像素块Pieft间的相似评价值Ssad大于评价值阈值的所有边缘像素块P right组成； 视图重建单元，用于基于匹配的边缘像素块Pleft和Pnght及匹配的边缘像素块Pleft和 Pright间的视差构建三维立体图像。2. 根据权利要求1所述的装置，其中，所述边缘获取单元用于采用拉普拉斯边缘检测算 法得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合。3. 根据权利要求1所述的装置，其中，匹配确定单元在水平方向采用自相似滤波从边缘 像素块Pleft的候选像素块集合中确定该边缘像素块Plef t的所述匹配像素块。4. 根据权利要求1所述的装置，该装置还包括： 新障碍信息获取单元，用于在所述三维立体图像中仅在预设视差范围[cLmin，d_max]内进 行障碍物检测，以得到新障碍物检测信息，其中d_minS预设视差范围的最小视差，d_max为预 设视差范围的最大视差； 障碍物分布确定单元，用于基于所述新障碍物检测信息和在预设历史时间段内的历史 障碍物检测信息得到障碍物分布信息。5. 根据权利要求1所述的装置，该装置还包括： 图像预处理单元，用于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后 的双目图像传送至所述边缘获取单元，其中，所述图像预处理单元进一步包括用于对图像 进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元； 进一步地，所述畸变校正子单元包括校正矩阵获取模块和校正模块，所述校正矩阵获 取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变 校正投影矩阵，所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每 一帧图像以进行畸变校正。6. 根据权利要求1所述的装置，其中，每一所述边缘像素块的每一维的长度在2~10之 间。7. -种基于双目立体视觉的三维重建方法，该方法包括： 得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的 一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边 缘检测得到的所有边缘像素组成； 基于下式得到第一边缘像素集合中的每一边缘像素块Pirft与第二边缘像素集合中的每 一边缘像素块Pright间的相似评价值Ssad : Ssad = ^- ^(;) .^，其中，N表示每个边缘像素块中的像素点的数目，Pim ul(p_(j))+L[p,.ight(m (i)表示边缘像素块Pirft中第i个像素点的像素值，pright(i)表示边缘像素块P right中第i个像 素点的像素值，L是拉普拉斯算子； 针对第一边缘像素集合中的每一边缘像素块Plrft,从该边缘像素块?1(^的候选像素块 集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft 间的相似评价值Ssad大于评价值阈值的所有边缘像素块P right组成； 基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三 维立体图像。8. 根据权利要求7所述的方法，其中，得到双目图像各自对应的第一边缘像素集合和第 二边缘像素集合包括： 采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘像素集合和第二边缘 像素集合。9. 根据权利要求7所述的方法，其中，从边缘像素块Plrft的候选像素块集合中确定该边 缘像素块Plef t的匹配像素块包括： 在水平方向采用自相似滤波从边缘像素块Pirft的候选像素块集合中确定该边缘像素块 Pleft的所述匹配像素块。10. 根据权利要求7所述的方法，该方法还包括： 在所述三维立体图像中仅在预设视差范围[d_min，cLmax]内进行障碍物检测，以得到新障 碍物检测信息，其中d_minS预设视差范围的最小视差，d_maxS预设视差范围的最大视差； 基于所述新障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍 物分布信息。11. 根据权利要求7所述的方法，该方法还包括： 在得到边缘像素集合前，先对双目摄像头拍摄得到的双目图像进行预处理，所述预处 理进一步包括对图像进行畸变校正和平行校正； 进一步地，所述畸变校正包括： 采用张正友标定法得到双目摄像头的标定参数； 基于所述标定参数得到畸变校正投影矩阵； 将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。12. 根据权利要求7所述的方法，其中，每一所述边缘像素块的每一维的长度在2~10之 间。13. -种基于双目立体视觉的三维重建系统，该系统包括： 双目摄像头，布置于无人飞行器上，用于拍摄双目图像； 飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器 接收所述双目摄像头拍摄的双目图像，所述处理器包括如权利1-6中任意一者所述的基于 双目立体视觉的三维重建装置。14. 根据权利要求13所述的系统，其中，该系统包括多组双目摄像头，所述多组双目摄 像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。15. -种无人机，所述无人机采用如权利1-6中任意一者所述的基于双目立体视觉的三 维重建装置、和/或采用如权利要求12-13中任意一者所述的基于双目立体视觉的三维重建 系统。
【文档编号】G06T15/10GK105844692SQ201610273969
【公开日】2016年8月10日
【申请日】2016年4月27日
【发明人】冯伟明
【申请人】北京博瑞空间科技发展有限公司