图像处理方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
【背景技术】
[0002] 在图像处理技术中，双目视觉可以用来还原场景的三维信息，是计算机视觉中的 一个热点研宄内容。其中，立体匹配是双目视觉中最为核心和困难的一个步骤，立体匹配的 精确程度影响着后续的景深估计和三维重建的效果，给双目视觉的应用带来了技术瓶颈。
[0003] 目前，已经出现了很多立体匹配算法，主要分为全局和局部的立体匹配算法，也有 全局和局部相结合的半全局立体匹配算法，这些算法在两幅可见光双目相机上可以获取满 足实际应用的效果，但是对异源传感器图像，如红外光和可见光图像的立体匹配，现有相关 的研宄工作比较少，并且由于图像传感器的成像原理不同，导致红外光与可见光的图像在 色彩上出现较大的差异，使得立体匹配的难度相较双可见光立体匹配要大，从而无法获取 满足实际应用的效果。
【发明内容】
[0004] 本发明的主要目的在于提出一种图像处理方法及装置，旨在解决红外光与可见光 图像的立体匹配难度大的问题。
[0005] 为实现上述目的，本发明提供的一种图像处理方法，包括：
[0006] 获取两异源传感器图像；
[0007] 计算所述两异源传感器图像的梯度方向图；
[0008] 遍历所述梯度方向图，计算匹配窗口的互信息，作为匹配代价；
[0009] 根据所述匹配代价并结合预设的立体匹配算法，计算获取相应像素点的初始视差 图像。
[0010] 优选地，所述根据所述匹配代价并结合预设的立体匹配算法，计算获取相应像素 点的初始视差图像的步骤包括：
[0011] 根据所述匹配代价构造全局能量优化函数，作为匹配代价累积函数；
[0012] 结合半全局立体匹配算法，利用多方向的动态规划算法优化所述匹配代价累积函 数，获取相应像素点的初始视差图像。
[0013] 优选地，所述方法还包括：
[0014] 利用交叉一致性算法和图像分割算法修正所述初始视差图像；
[0015] 利用滤波算法平滑修正后的视差图像。
[0016] 优选地，所述修正所述初始视差图像的步骤包括：
[0017] 排出所述初始视差图像中的错误匹配点。
[0018] 优选地，所述计算所述两异源传感器图像的梯度方向图的步骤包括：
[0019] 利用soble算子分别计算两异源传感器图像在水平和垂直方向的梯度大小和方 向；
[0020] 将所述梯度大小和方向归一化处理到适合图像处理的数值范围[0 255]，得到原 始图像的梯度方向图。
[0021] 优选地，所述两异源传感器图像分别为红外图像和可见光图像。
[0022] 本发明实施例还提出一种图像处理装置，包括：
[0023] 图像获取模块，用于获取两异源传感器图像；
[0024] 梯度方向图计算模块，用于计算所述两异源传感器图像的梯度方向图；
[0025] 匹配代价计算模块，用于遍历所述梯度方向图，计算匹配窗口的互信息，作为匹配 代价；
[0026] 全局能量优化模块，用于根据所述匹配代价并结合预设的立体匹配算法，计算获 取相应像素点的初始视差图像。
[0027] 优选地，所述全局能量优化模块，还用于根据所述匹配代价构造全局能量优化函 数，作为匹配代价累积函数；结合半全局立体匹配算法，利用多方向的动态规划算法优化所 述匹配代价累积函数，获取相应像素点的初始视差图像。
[0028] 优选地，所述装置还包括：
[0029] 视差图像优化模块，用于利用交叉一致性算法和图像分割算法修正所述初始视差 图像；利用滤波算法平滑修正后的视差图像。
[0030] 优选地，所述视差图像优化模块，还用于排出所述初始视差图像中的错误匹配点。
[0031] 优选地，所述梯度方向图计算模块，还用于利用soble算子分别计算两异源传感 器图像在水平和垂直方向的梯度大小和方向；将所述梯度大小和方向归一化处理到适合图 像处理的数值范围[0 255]，得到原始图像的梯度方向图。
[0032] 本发明提出的一种图像处理方法及装置，通过获取两异源传感器图像；计算所述 两异源传感器图像的梯度方向图；遍历梯度方向图，计算匹配窗口的互信息，作为匹配代 价；利用匹配代价构造全局能量优化函数，作为匹配代价累积函数；根据匹配代价累积函 数计算获取相应像素点的初始视差图像，由此基于梯度方向结合互信息的红外可见光立体 匹配方案，解决了红外光与可见光图像的立体匹配难度大的问题，满足实际应用需求。
【附图说明】
[0033] 图1是实现本发明各个实施例的移动终端的硬件结构示意图；
[0034] 图2是如图1所示的移动终端的无线通信系统示意图；
[0035] 图3是本发明图像处理方法第一实施例的流程示意图；
[0036] 图4是本发明实施例中像素点p与视差d在方向r上的匹配代价函数示意图；
[0037] 图5是本发明实施例中基于匹配代价累积函数获取初始的视差图像的示意图；
[0038] 图6是本发明图像处理方法第二实施例的流程示意图；
[0039] 图7(a)是本发明实施例中一种原始可见光图像；
[0040] 图7 (b)是本发明实施例中一种原始红外图像；
[0041] 图7(c)是图7(a)中可见光梯度方向图；
[0042] 图7(d)是图7(b)中红外光梯度方向图；
[0043] 图7 (e)是图7 (a)所示的原始可见光图像和图7 (b)所示的原始红外图像进行图 像处理后得到的初始视差图像示意图；
[0044] 图7(f)是图7(e)中的视差图像修正后的示意图；
[0045]图8是本发明图像处理装置第一实施例的功能模块示意图；
[0046] 图9是本发明图像处理装置第二实施例的功能模块示意图。
[0047] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0048] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0049] 现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用 用于表示元件的诸如"模块"、"部件"或"单元"的后缀仅为了有利于本发明的说明，其本身 并没有特定的意义。因此，"模块〃与〃部件〃可以混合地使用。
[0050] 移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移 动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理）、PAD(平板电脑）、 PMP(便携式多媒体播放器）、导航装置等等的移动终端以及诸如数字TV、台式计算机等等 的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用 于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0051] 图1为实现本发明各个实施例的移动终端的硬件结构示意。
[0052] 移动终端100可以包括无线通信单元110、A/V (音频/视频）输入单元120、用户 输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单 元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示 出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0053] 无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系 统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模 块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
[0054] 广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播 相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发 送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关 信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数 据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信 号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移 动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播 (DMB)的电子节目指南（EPG)、数字视频广播手持（DVB-H)的电子服务指南（ESG)等等的形 式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地， 广播接收模块111可以通过使用诸如多媒体广播-地面（DMB-T)、数字多媒体广播-卫星 (DMB-S)、数字视频广播-手持（DVB-H)，前向链路媒体（MediaFLCf)的数据广播系统、地面 数字广播综合服务（ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被 构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111 接