双光图像整合方法、整合设备及无人机与流程

本发明涉及无人机技术领域，尤其涉及一种双光图像整合方法、整合设备及无人机。

背景技术：

双光图像是指整合了两种或者更多类型的图像采集设备对同一个画面进行拍摄或者录像后获得的多通道图像。例如，同时由可见光镜头等可见光成像设备和红外热成像设备组成的双光拍摄系统。

应用该双光拍摄系统可以同时获得红外成像图像和可见光图像，两种图像之间各具特点，能够相互补充和配合，为后续的处理提供更多的功能选项。

但是，现有的双光拍摄系统拍摄获得的不同类型的图像数据在存储、传输和合成过程中仍然存在着一定的不足，制约了后续图像传输和图像存储的表现，如何改善对双光拍摄系统拍摄获得双光图像的数据处理策略，避免图像信息丢失、图像传输同步性差等缺陷是当前迫切需要解决的问题。

技术实现要素：

为了解决上述技术问题，本发明实施例提供一种保障图像传输同步性能的同时避免信息丢失的双光图像整合方法、整合设备及无人机。

为解决上述技术问题，本发明实施例提供以下技术方案：一种双光图像整合方法。所述双光图像整合方法包括：

分别接收来自第一图像设备的第一图像数据和来自第二图像设备的第二图像数据；

独立存储所述第一图像数据和所述第二图像数据；

组合所述第一图像数据和第二图像数据，合成第三图像数据；

传输所述第三图像数据。

可选地，所述第三图像数据为画中画图像；所述画中画图像包括主显示画面和叠加在所述主显示画面上的副显示画面。

可选地，所述组合所述第一图像数据和所述第二图像数据，合成所述第三图像数据的步骤，包括：

将所述第一图像数据缩放至与第一视频画面相对应的尺寸并且，将所述第二图像数据缩放至第二视频画面相对应的尺寸；

以所述第一视频画面为所述主显示画面，在所述主显示画面上叠加所述第二视频画面作为所述副显示画面；

或者以所述第二视频画面为所述主显示画面，在所述主显示画面上叠加所述第一视频画面作为所述副显示画面；

生成包括所述主显示画面和所述副显示画面的画中画图像。

可选地，所述第三图像数据为所述第一图像数据和第二图像数据，逐个像素融合获得的融合图像。

可选地，所述组合所述第一图像数据和第二图像数据，合成所述第三图像数据的步骤，包括：

根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的第二图像性质；

比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值；k为1至k的整数，k为所述第一图像数据和所述第二图像数据的像素数量；

根据所有像素位置的灰度值，获得所述融合图像。

可选地，所述根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的第二图像性质的步骤，包括：

通过预设的检测窗，判断在第k个像素位置的平滑程度是否超出预设的平滑阈值；

若是，则确定所述第k个像素位置的图像性质为平滑；

若否，则确定所述第k个像素位置的图像性质为非平滑。

可选地，所述比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值的步骤，包括：

在所述第一图像性质和第二图像性质均为平滑时，所述第k个像素位置的灰度值为第一图像数据和第二图像数据在所述第k个像素位置的灰度值的平均值；

在所述第一图像性质为平滑，所述第二图像性质为非平滑时，所述第k个像素位置的灰度值为第二图像数据在所述第k个像素位置的灰度值；

在所述第一图像性质为非平滑，所述第二图像性质为平滑时，所述第k个像素位置的灰度值为第一图像数据在所述第k个像素位置的灰度值。

可选地，所述比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值，包括：

在所述第一图像性质和第二图像性质均为非平滑时，比较所述第一图像数据和第二图像数据在所述第k个像素位置的灰度值；

选择所述最高的灰度值作为所述第k个像素位置的灰度值。

可选地，所述通过所述检测窗，判断在第k个像素位置的平滑程度是否超出预设的平滑阈值的步骤，包括：

计算所述第一图像数据中，第k个像素位置与若干个相邻的像素位置之间的灰度值差异；所述相邻的像素位置由所述检测窗选定；

判断所述与若干个相邻的像素位置之间的灰度值差异是否均小于预设的第一平滑阈值；

若是，确定所述第k个像素位置的第一图像性质为平滑；

若否，则确定所述第k个像素位置的第一图像性质为非平滑。

可选地，所述通过所述检测窗，判断在第k个像素位置的平滑程度是否超出预设的平滑阈值的步骤，包括：

计算所述第二图像数据中，第k个像素位置与若干个相邻的像素位置之间的灰度值差异；所述相邻的像素位置由所述检测窗选定；

判断所述与若干个相邻的像素位置之间的灰度值差异是否均小于预设的第二平滑阈值；

若是，确定所述第k个像素位置的第二图像性质为平滑；

若否，则确定所述第k个像素位置的第二图像性质为非平滑。

可选地，所述方法还包括：对所述融合图像执行一种或者多种视觉处理。

可选地，所述第一图像数据为红外热成像图像数据，所述第二图像数据为可见光图像数据。

可选地，所述方法还包括：以预设的编码算法，对所述第一图像数据、第二图像数据以及第三图像数据进行编码。

为解决上述技术问题，本发明实施例还提供以下技术方案：一种双光图像整合设备。

所述双光图像整合设备包括：接收端口，合成模组、输出端口以及大容量存储器；

所述接收端口用于接收来自第一图像设备的第一图像数据和来自第二图像设备的第二图像数据；

所述合成模组用于执行如上所述双光图像整合方法中组合所述第一图像数据和第二图像数据，合成第三图像数据的步骤；

所述接收端口用于输出所述第三图像数据；

所述大容量存储器用于独立存储所述第一图像数据和所述第二图像数据。

可选地，还包括编码模组；

所述编码模组用于以预设的编码算法，对所述第一图像数据、第二图像数据以及第三图像数据进行编码；

所述大容量存储器还用于独立存储所述编码后的第一图像数据和所述编码后的第二图像数据。

可选地，所述编码模组具体用于：在所述第一图像数据和所述第二图像数据为图片时，所述预设的编码算法为jpeg、dng或者tiff编码；在所述所述第一图像数据和所述第二图像数据为视频时，所述预设的编码算法为h265或h264编码；所述大容量存储器为sd卡。

为解决上述技术问题，本发明实施例还提供以下技术方案：一种无人机。所述无人机包括：

无人机主体；所述无人机主体上搭载有并列设置的第一图像设备和第二图像设备；

如上所述的双光图像整合设备；所述双光图像整合设备与所述第一图像设备和所述第二图像设备连接，接收所述第一图像数据和第二图像数据；

图传装置，所述图传装置与所述双光图像整合设备连接，向地面端传输所述双光图像整合设备合成的第三图像数据。

可选地，所述第一图像设备为红外摄像机，所述第二图像设备为高清摄像机。

与现有技术相比较，本发明实施例的提供双光图像整合方法根据后续不同的应用，将双光图像(即第一图像数据和第二图像数据)分别使用不同的数据处理方式进行处理，可以在避免图像存储时出现信息丢失的同时保持图像传输过程中双光图像的同步，可以很好的满足用户的需求。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明实施例的应用环境示意图；

图2为本发明实施例提供的电子计算平台的结构框图；

图3为本发明实施例提供的双光图像的应用示意图；

图4为本发明实施例提供的双光图像整合设备的示意图；

图5为本发明实施例提供的双光图像整合方法的方法流程图；

图6为本发明实施例提供的画中画图像的示意图；

图7为本发明另一实施例提供的画中画图像的示意图；

图8为本发明实施例提供的生成融合图像的方法流程图；

图9为本发明实施例提供的图像融合方法的方法流程图；

图10为本发明实施例提供的检测窗的示意图；

图11为本发明实施例提供的图像融合的检测窗的示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

双光图像一般是指采用包含两种或者更多类型以上的镜头的双光相机等双光图像采集设备采集获得的图像。为陈述简便，本发明实施例的双光相机为包含红外摄像头和可见光摄像头的图像采集设备，采集获得针对同一拍摄画面的红外热成像图像以及可见光高清图像。

图1为本发明实施例提供的应用环境。如图1所示，所述应用环境包括无人机10、智能终端20以及无线网络30。

无人机10可以是以任何类型的动力驱动的无人飞行载具，包括但不限于四轴无人机、固定翼飞行器以及直升机模型等。在本实施例中以四轴无人机为例进行陈述。

该无人机10可以根据实际情况的需要，具备相应的体积或者动力，从而提供能够满足使用需要的载重能力、飞行速度以及飞行续航里程等。无人机上还可以添加有一种或者多种功能模块，令无人机能够实现相应的功能。

例如，在本实施例中，该无人机10可以通过云台等安装固定支架，搭载有双光相机，用于采集双光图像。相对应地，该无人机10还可以设置图传装置，将双杠相机采集获得的双光图像上传至与无人机10建立连接的设备中。

无人机10上包含至少一个主控芯片，作为无人机10飞行和数据传输等的控制核心，整合一个或者多个模块，以执行相应的逻辑控制程序。

例如，在一些实施例中，所述主控芯片上可以包括用于对双光图像进行数据处理和后续应用双光图像整合设备，实现对双光图像的处理、传输或者存储。

图2为本发明实施例提供的电子计算平台的结构框图。该电子计算平台可以用于实现所述主控芯片中的全部或者部分功能模块的功能。如图2所示，该电子计算平台100可以包括：处理器110、存储器120以及通信模块130。

所述处理器110、存储器120以及通信模块130之间通过总线的方式，建立任意两者之间的通信连接。

处理器110可以为任何类型，具备一个或者多个处理核心的处理器。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。

存储器120作为一种非易失性计算机可读存储介质，例如至少一个磁盘存储器件、闪存器件、相对于处理器110远程设置的分布式存储设备或者其他非易失性固态存储器件。

存储器120可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，供处理器110调用以使处理器110执行一个或者多个方法步骤。存储器120还可以具有数据存储区，用以存储处理器110下发输出的运算处理结果。

通信模块130是用于建立通信连接，提供物理信道的功能模块。通信模块130可以是任何类型的无线或者有线通信模块，包括但不限于wifi模块或者蓝牙模块等。

智能终端20可以是任何类型，用以与无人机建立通信连接的智能设备，例如手机、平板电脑或者智能遥控器等。该智能终端20可以装配有一种或者多种不同的用户交互装置，用以采集用户指令或者向用户展示和反馈信息。

这些交互装置包括但不限于：按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如，智能终端20可以装配有触控显示屏，通过该触控显示屏接收用户对无人机的遥控指令并通过触控显示屏向用户展示由双光相机航拍获得的图像信息，用户还可以通过遥控触摸屏切换显示屏当前显示的图像信息。

在一些实施例中，无人机10与智能终端20之间还可以融合现有的图像视觉处理技术，进一步的提供更智能化的服务。例如无人机10可以通过双光相机采集图像的方式，由智能终端20对图像进行解析，从而实现用户对于无人机10的手势控制。

无线网络30可以是基于任何类型的数据传输原理，用于建立两个节点之间的数据传输信道的无线通信网络，例如位于不同信号频段的蓝牙网络、wifi网络、无线蜂窝网络或者其结合。

图1所示的应用环境仅显示了双光相机在无人机上的应用。本领域技术人员可以理解的是，该双光相机还可以被搭载在其它类型的移动载具(如遥控车)上，执行相同的功能。本发明实施例公开的关于双光相机和双光图像的发明思路并不限于在图1所示的无人机上应用。

图3为本发明实施例提供的双光图像的应用过程。在图3所示的实施例中，双光图像包括第一图像数据a和第二图像数据b。第一图像数据a和第二图像数据b可以被组合输出为单通道的第三图像数据。

如图3所示，由双光相机采集获得第一图像数据a和第二图像数据b通常会有如下几项流向：传输到大容量存储设备中进行保存(210)、传输至显示设备向用户展示(220)或者进行图像视觉处理(230)。

图4为本发明实施例提供的用于执行图3所示的双光图像应用过程的整合设备，可以配置有相应的硬件和软件单元以实现图2所示的数据处理过程。所述整合设备具体可以是现有任何类型的处理器芯片实现，其可以作为分立的芯片也可以作为其中一个功能模块，整合到无人机的飞控芯片内。

如图4所示，所述整合设备可以包括：接收端口41、合成模组42、输出端口43以及大容量存储器44。

其中，所述接收端口41是与双光相机或者数据源连接的输入端口，用于接收来自第一图像设备的第一图像数据和来自第二图像设备的第二图像数据。

所述合成模组42是一个进行图像数据合成的功能模块，可以由软件、硬件或者软硬件结合的方式实现，用于组合所述第一图像数据和第二图像数据，获得一个单通道的图像数据输出。

在一些实施例中，所述第三图像数据可以为画中画图像；所述画中画图像包括主显示画面和叠加在所述主显示画面上的副显示画面。

相对应地，所述合成模组42具体可以用于：首先将所述第一图像数据缩放至与第一视频画面相对应的尺寸并且，将所述第二图像数据缩放至第二视频画面相对应的尺寸。然后，以所述第一视频画面为所述主显示画面，在所述主显示画面上叠加作为所述副显示画面的所述第二视频画面；或者以所述第二视频画面为所述主显示画面，在所述主显示画面上叠加作为所述副显示画面的所述第一视频画面。最后，生成包括所述主显示画面和所述副显示画面的画中画图像。

在另一些实施例中，所述第三图像数据为所述第一图像数据和第二图像数据，逐个像素融合获得的融合图像。

相对应地，所述合成模组42具体可以用于：首先，根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的第二图像性质。其次，比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值；k为1至k的整数，k为所述第一图像数据和所述第二图像数据的像素数量。最后，根据所有像素位置的灰度值，获得所述融合图像。

本领域技术人员可以根据本发明实施例中揭露的合成模组42需要执行的功能步骤，选择使用对应的软件、硬件或者软硬件结合的方式来实现(例如一个或者多个比较电路，图像窗处理电路等)。根据所要实现的功能步骤，选择和设计硬件电路的方式为本领域技术人员所熟知，是本技术领域的公知常识，在此不作赘述。

所述接收端口43是一个数据输出端口，其可以与后续的多个处理模块连接，用于输出由所述第一图像数据和第二图像数据组合获得的第三图像数据。

大容量存储器44是可以是任何合适类型的非易失性的存储设备，用于提供足够的存储空间以保存采集获得的所有原始数据，包括但不限于，sd卡、ssd硬盘、机械硬盘或者闪存等。在本实施例中，所述大容量存储器44采用sd卡。

所述大容量存储器44可以根据实际需要选择合适的数量，例如可以设置为两个，分别用于第一图像数据或者第二图像数据的存储。当然，所述大容量存储器44也可以直接使用位于无人机中的其它系统提供的存储空间或者存储设备。例如，可以直接保存在无人机图传装置的存储设备中。

除了三种基本的图像数据的流向以外，还可以增加或者减少一些图像处理步骤，以满足不同的需要。

例如，还可以包括对图像数据的编码操作，以减少传输和存储所需要的数据量。亦即，以预设的编码算法，分别对所述第一图像数据、第二图像数据以及组合获得的第三图像数据进行编码(240)。

编码后的第一图像数据和第二图像数据可以被保存在大容量存储设备中。编码后的第三图像数据则可以提供给视觉处理或者智能终端，向用户展示。

所述预设的编码算法具体可以采用任何类型的编码算法，也可以针对图像数据的区别选择一种或者多种编码算法进行编码。例如，在所述第一图像数据和所述第二图像数据为图片时，所述预设的编码算法可以为jpeg、dng或者tiff编码。而在所述第一图像数据和所述第二图像数据为视频时，所述预设的编码算法为h265或者h264编码。

相对应地，所述整合设备还可以进一步的包括编码模组45。所述编码模组设置在输出端口和大容量存储器之间，用于执行上述的编码操作。

在传统的处理方法中，通常会将第一图像数据a和第二图像数据b进行组合后，作为一个单通道的第三图像数据提供给后续的处理模块(如大容量存储器等)。但是，在进行组合以后，大容量存储设备中保存的图像信息重叠在一起，无法剥离出原始的图像信息，使得保存的图像信息存在一定的缺失。

而在另一些双光相机设计中，两个不同类型的镜头和后续的图像处理结构完全独立设置。由此，第一图像数据a和第二图像数据b之间的相互独立传输的，两者之间容易出现不一致的问题。在显示设备向用户展示第一图像数据a和第二图像数据b时，同步性较差，严重影响了用户体验。

应用本发明实施例提供的双光图像整合方法，可以很好的克服以上传统处理方法存在的问题，同时解决保存时原始信息丢失和显示图像不同步的问题。在本实施例中，以所述第一图像数据为红外热成像数据，所述第二图像数据为可见光数据为例进行描述。

图5为本发明实施例提供的双光图像整合方法。如图5所示，该双光图像整合方法包括如下步骤：

501、分别接收来自第一图像设备的第一图像数据和来自第二图像设备的第二图像数据。

第一图像数据和第二图像数据是不同拍摄类型的图像数据，例如红外图像和可见光图像。该第一图像数据和第二图像数据是相互对应的。亦即，由并行设置的两个镜头所采集，是对同一个画面或者场景在不同类型的光线下的记录数据。

502、独立存储所述第一图像数据和所述第二图像数据。

在数据采集完成后，独立进行第一图像数据a和第二图像数据b的存储和记录时(流向210)。亦即，分别将第一图像数据a和第二图像数据b存储在同一存储设备的不同的存储区块或者不同的存储设备中。

503、组合所述第一图像数据和第二图像数据，合成第三图像数据。

组合、合成所述第一图像数据和第二图像数据的过程是指将两者的数据按照一定的算法规则，对两者的数据进行整合。最终合成获得的第三图像数据是一个单通道的图像数据，包含了第一图像数据和第二图像数据的信息。

504、提供所述第三图像数据。

单一通道的第三图像数据可以进一步的提供给后续的处理操作，例如提供至图传系统，提供给智能终端进行显示(流向220)或者进行视觉运算处理。

在本发明实施例提供的双光图像融合方法中合成获得的第三图像数据在传输过程中不存在双通道图像数据的同步性问题，在显示设备上显示时可以取得较好的显示效果，提高用户的使用体验。

当然，第三图像数据的合成方式可以根据流向的不同或者第三图像数据的不同而相应的调整。例如，在一些实施例中，所述第三图像数据可以是在显示设备中显示的画中画图像。

所述画中画图像是一种特别的内容呈现方式，是指在在全屏播放的主显示画面时，在该主显示画面其中一部分面积区域上插入同时播放的另一路副显示画面，以使用户可以同时观察到两路或以上的视频图像。

具体的，所述步骤503的合成方法可以包括如下步骤，以合成获得所述画中画图像：

首先，将所述第一图像数据缩放至与第一视频画面相对应的尺寸并将所述第二图像数据缩放至第二视频画面相对应的尺寸。

第一视频画面和第二视频画面的尺寸都是根据实际情况所确定的，与显示设备的屏幕大小、画中画大小以及是否被选择作为主显示画面等因素相关。

然后，根据用户的选择指令，从第一视频画面和第二视频画面中确定哪一个作为主显示画面。最后，将副显示画面叠加到主显示画面上，生成画中画图像。

例如，如图6所示，可以以所述第一视频画面为主显示画面，在所述主显示画面上叠加作为副显示画面的第二视频画面。

又或者如图7所示，以所述第二视频画面为主显示画面，在所述主显示画面上叠加作为副显示画面的所述第一视频画面上，生成画中画图像。

所述主显示画面是指画中画图像中全屏显示的部分。而副显示画面则是指叠加在全屏显示上的部分显示区域。用户可以根据自己的需要，选择第一视频画面或者第二视频画面作为画中画图像的主显示画面。当然，还可以相应的调整主显示画面和副显示画面的尺寸。

最后，将生成包括所述主显示画面和所述副显示画面的画中画图像。生成的画中画图像是一个单通道图像，经过第一图像数据和第二图像数据组合后获得，每一帧画中画图像都是完整的，传输到显示设备中不会存在同步性的问题。

在另一些实施例中，在提供给流向230时，所述第三图像数据可以为所述第一图像数据和第二图像数据，逐个像素融合获得的融合图像。

融合图像是提供给图像视觉处理的基础图像数据，其通过逐个像素点融合的方式来整合第一图像数据和第二图像数据。该图像视觉处理可以是任何合适的一种或者多种图像处理算法，包括边缘检测、人脸识别以及平滑处理等。

传统的融合图像是直接逐个像素点的比较第一图像数据和第二图像数据后，取两者中较大的灰度值作为融合图像在该像素点的灰度值。这样的简单的融合方式很容易导致图像细节的丢失而影响后续的图像视觉处理过程。例如，在第一图像数据有一部分区域具有较丰富的纹理，而第二图像数据对应的部分为高灰度区域时，融合图像在这个区域的纹理将会消失，无法保存。

为了尽可能的保存图像的细节，提高后续图像视觉处理的准确度，在一些实施例中，可以使用图8所示的方法步骤来获得融合图像。如图8所示，所述融合图像的过程包括：

801、根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的第二图像性质。

所述像素位置是指在像素点在图像中的位置，用于标识不同的像素点。例如，在一个二维图像中，像素点的像素位置可以由(x，y)这样的数组表示，x为像素点在图像长度上的位置，y为像素点在图像宽度上的位置。

在本实施例中，以k来表示不同的像素点位置。所述图像性质是指该像素位置的图像的特点，包括纹理是否丰富，过度是否平滑或者是否属于边缘等。通常可以采用像素位置的领域的方式来计算或者界定所述图像性质。

802、比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值。

其中，k为1至k的整数，k为所述第一图像数据和所述第二图像数据的像素数量。

对于一个二维图像来说，将长度和宽度包含的像素点数量相乘即可得到该二维图像的像素数量。如上所述，第一图像数据和第二图像数据之间的像素点是对应的，数量相同。

803、根据所有像素位置的灰度值，获得所述融合图像。

重复对每个像素位置都进行判断，确定各个像素位置的灰度值以后，便可以获得最终的融合图像提供给后续的视觉处理。

图9为本发明实施例提供的一种图像融合的具体方法。如图9所示，所述图像融合方法可以包括如下步骤：

901、设置检测窗的尺寸。所述检测窗是指在图像性质计算过程中，检测取样的窗口大小，用于定义一个合适尺寸的邻域。

902、通过预设的检测窗，判断在第k个像素位置的平滑程度是否小于预设的平滑阈值。若是，则执行步骤903、若否则执行步骤904。

具体的，检测窗可以根据实际情况设置合适的尺寸，例如，如图10所示的，可以设置为长宽均为3个像素的检测窗。每个都根据检测窗内的像素点之间的灰度值关系来计算图像性质。

图10为本发明实施例提供的检测窗的示意图。如图10所示，在一幅二维图像中，检测窗的尺寸为3ⅹ3，第k个像素位置通过xm，n表示，m和n分别表示二维图像中所在行和列的像素点。

首先依次计算在检测窗内，第k个像素位置与若干个相邻的像素位置之间的灰度值差值。亦即，分别计算xm-1，n和xm，n、xm+1，n和xm，n、xm，n-1和xm，n以及xm，n-1和xm，n之间的灰度值的差。

然后，判断上述计算获得灰度值的差是否均小于预设的平滑阈值。当所有的灰度值的差均小于平滑阈值时，执行步骤903。否则，则执行步骤904。该平滑阈值是一个经验数值，可以根据实际的图像数据、数据种类和/或其它相关因素，由本领域技术人员所选定。

903、确定所述第k个像素位置的图像性质为平滑。

平滑是指在这个像素位置的图像区域具有纹理较少的图像特性，通常可以表示在这个像素点具有较少的细节。

904、确定所述第k个像素位置的图像性质为非平滑。

非平滑是指相对于定义的标准而言，这个位置的图像区域具有比较丰富的纹理。这样的图像特性的可以表示该像素位置具有较多的细节，应当予以保留。

步骤901至步骤904均分别在第一图像数据和第二图像数据进行，从而确定在第k个像素位置的图像性质是否为平滑。

具体的，由于图像数据的种类不相同，第一图像数据和第二图像数据还可以在判断是否平滑是可以使用不同的判断标准或者平滑阈值。例如，对于第一图像数据使用第一平滑阈值，并且对于第二图像数据使用第二平滑阈值。并最终获得第一图像数据在像素位置k的第一图像性质(905a)和第二图像数据在相同像素位置的第二图像性质(905b)。

在确定了第一图像性质和第二图像性质以后，便可以继续执行如下步骤：

906、判断所述第一图像性质和第二图像性质是否相同。若是，则执行步骤907，若否，则执行步骤908。

907、判断所述第一图像性质和第二图像性质是否均为平滑。若是，则执行步骤909。若否，则执行步骤910。

908、判断所述第一图像性质和第二图像性质哪一个为非平滑。若第一图像性质为非平滑，执行步骤912。若第二图像性质为非平滑，执行步骤913。

909、计算第一图像数据和第二图像数据在所述第k个像素位置的灰度值的平均值作为所述第k个像素位置的灰度值。

910、比较所述第一图像数据和第二图像数据在所述第k个像素位置的灰度值。

911、以两者中较高的灰度值作为所述第k个像素位置的灰度值。

912、以第二图像数据在所述第k个像素位置的灰度值为所述第k个像素位置的灰度值。

913、以第一图像数据在所述第k个像素位置的灰度值为所述第k个像素位置的灰度值。

以下结合具体实例，详细描述图9所示的步骤在实际操作中的实现方式。假设所述第一图像数据为可见光，第二图像数据为红外热成像，检测窗的尺寸为3ⅹ3，。

其中，xm，n表示所述可见光在像素点(m，n)的灰度；t1为所述第一平滑阈值；ym，n表示所述红外热成像在像素点(m，n)的灰度，t2为所述第二平滑阈值，zm，n为融合图像在像素点(m，n)的灰度。

如图11所示，首先分别采集第一图像数据和第二图像数据中，包含像素点(m，n)在内，其周围一共9个像素点的灰度数据。

然后，按照如下由四段曲线组成的分段函数，计算融合图像在像素点(m，n)的灰度zm，n：

1)当满足以及时，令

该第一段曲线即为图9中步骤909的情形，对应的判断条件是第一图像性质和第二图像性质均为平滑。

2)当满足以及时，

令zm，n＝m，n

该第二段曲线为图9中步骤913的情形，对应的判断条件是第一图像性质为平滑，第二图像性质为非平滑。

3)当满足以及时，令zm，n＝m,n

该第三段曲线即为图9中步骤912的情形，对应的判断条件是第一图像性质为平滑，第二图像性质为非平滑。

4)在以上三种情况都不满足的情况下，令zm，n＝max(xm，n，ym，n)。

该第四段曲线即为图9中步骤911的情形，对应的判断条件是第一图像性质和第二图像性质均为非平滑。

通过以上方式可以根据每个像素位置的具体情况来计算最终的像素点灰度值。这样的可以更好的反映和保留两种图像数据中包含的图像细节。最终获得的融合图像的信息源较为丰富，后续的视觉处理算法的输出效果一致，也有利于提升视觉处理算法的处理性能。

本发明实施例提供的双光图像整合方法可以提供融合图像或者画中画图像。用户可以在智能终端20上输入相应的控制指令对显示屏幕显示的图画进行调整。例如，用户可以输入切换指令，将红外图像作为主显示画面，以可见光图像为副显示画面，或者还可以控制智能终端直接显示融合图像。

这样的，传输到图传装置的图像通过画中画的方式叠加为单通道的图像数据，解码显示后可以更好的支持智能终端实时查看，避免两路图像不同步的问题。

本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。