专利名称：智能型红外热像仪的装置和系统的制作方法
技术领域：
本实用新型涉及一种红外热像仪的装置和系统。具体涉及一种使用FPGA同时采集红外热图像和可见光图像，并在安装智能Android操作系统的DM3730嵌入式平台中实现可见光和热红外视频融合显示和多点触控人机交互功能。
背景技术：
目前，大多数红外热像仪都只有红外热图像显示，并没有结合可见光图像；然而具有可见光融合的红外热像仪往往能够更好地帮助定位潜在问题的位置。虽然已经有一部分红外热像仪具有可见光与红外热图像的融合显示功能，但是他们的热红外融合图像都只显示在中间一个局部区域或整幅图像进行融合，不能任意指定区域进行热红外融合显示，并且实现缩放功能，缺乏灵活度。FPGA(Field Programmable Gate Array)具有体系结构和逻辑单兀灵活、集成度高以及适用范围宽等特点。而同时具备采集两路数字视频的嵌入式设备少之又少，通常嵌入式处理器包括DSP等都只有一个标准的camera Interface数字视频接口。这是因为数字视频接口往往需要较多的引脚数目，占据了大量嵌入式处理器的引脚空间。然而由于FPGA的I/O接口多而且可灵活性配置，同时具备一定的图像处理能力，能够预先处理好输入嵌入式处理器的可见光图像和红外热图像，将大大减轻嵌入式处理器对视频图像的处理负担。美国德州仪器公司的DM3730数字多媒体处理器，它包含I个主频高达到IGHz的ARM Cortex-A8处理器，I个主频可达800MHz的TMS320C64x+DSP Core。强大的硬件结构能够处理复杂的更高级的用户应用，如多点触控、绚丽的界面显示等。加上美国德州仪器公司专用的DSP处理器，解决了运算密集型的特定算法，如可见光图像和热红外图像的配准算法及其融合算法的计算问题。DM3730是一颗专门为移动便携式设备设计的嵌入式处理器，提供高水平的性能外同时带来更低的功耗。这种处理器非常适合便携式的红外热像仪。一般的红外热像仪用户输入都只采用按键，极少采用触摸屏输入触控界面。而且即使有，其设计也只是使用电阻式触控面板，只能支持单点输入、清晰度低、操作不灵活。现在便携式设备几经愈来愈多地转用电容式触控面板，因电容式触控面板更耐用、视觉清晰度更高。此外，电容式触控面板能实现多触式应用系统，这将大幅改变人们对触控面板界面的理解。电容式触控面板势将成为主流触控技术，同时为市场带来无数创意极高的触控界面设计。2010年末数据显示,仅正式推出两年的操作系统的Android已经超越称霸十年的诺基亚Symbian系统,跃居全球最受欢迎的智能手机平台。Android是以Linux为核心的嵌入式操作平台，它允许开发者使用多种编程语言来开发Android应用程序，同时由于它是开放式操作系统，Android的应用得到了前所未有的快速发展。它能够实现层出不穷、更具用户体验的嵌入式应用。Android能够轻易支持多点触摸电容屏，实现多点触控，提高操控便捷性，进一步贴近用户体验。能够集成全球卫星定位系统(GPS)、W1-Fi无线网络、3G无线网络等系统应用。现在的红外热像仪基本都使用简单的Π界面，操作繁琐、复杂、不够人性化；而且功能单一，不具备无线网络功能、定位功能等，将Android系统应用于红外热像仪将有广泛的应用前景，让红外热像仪成为真正的智能型检测设备。
实用新型内容本实用新型提供了一种采用美国德州仪器公司的双核处理器DM3730和Altera公司的CycloneII系列FPGA芯片EP2C35F672C6构建的智能型红外热像仪的装置和系统。该装置实现了在Android操作系统上通过多点触控用户界面，实现红外热像仪多种功能，如融合显示可见光图像和热红外图像，人脸检测功能等。本实用新型提出的智能型红外热像仪的装置和系统包括嵌入式处理器(9);与嵌入式处理器(9)的视频输入接口连接的FPGA芯片(4);与FPGA芯片(4)通用I/O接口连接的CMOS传感器(2)和红外热成像机芯(I);与嵌入式处理器(9)的I2C接口连接的多触点电容触摸屏控制芯片(12);与多触点电容触摸屏控制芯片(12)连接的投射电容式触摸屏
(10)芯片(4)连接的同步动态随机存储器模组(3、6、5、7);与嵌入式处理器(9)连接的低电压双倍速率同步动态随机存储器(11)、液晶显示屏(15)、NAND型快闪存贮器(8)、USB-OTG 接口 (13)、SD CARD 接口 (14)和电源管理模块(16)。所述的嵌入式处理器(9)为美国德州仪器公司的双核处理器DM3730，包含一颗ARMCortex-A8核和一颗TMS320C64x+DSP核，负责操作系统和主应用程序的运行，包括配准融合算法、人脸检测算法的运算。所述的FPGA芯片(4)负责接收CMOS传感器(2)采集得到的可见光数字视频信号和IR113热红外机芯(I)输出的热红外数字视频信号，并将可见光视频信号和热红外视频信号的每帧图像组合成一帧图像，最后通过ITU-R BT656信号格式传输到主处理器DM3730 (9)的视频输入接口。
所述的投射电容式触摸屏(10)与多触点电容触摸屏控制芯片(12)相连接，并通过I2C总线与嵌入式处理器(9)DM3730通信，用户在投射电容式触摸屏(10)上通过多点触控方式输入手势信号，经多触点电容触摸屏控制芯片(12)传入嵌入式处理器(9)。本实用新型提供的装置实现一个红外热像仪的装置和系统，堪比一台先进的智能手机，能够使用人性化的多点触控，操控方便快捷、显示流畅自然。DM3730(9)内的ARMCortex-AS核心运行Android操作系统，DSP运行可见光图像与热红外图像的配准和融合算法、人脸检测算法。可见光图像与热红外图像的配准采用一种改进的SIFT特征配准算法，融合算法采用基于改进的YCbCk颜色传递的方法，可利用可见光Adaboost人脸检测算法定位热红外图像人脸位置。本项目提供的智能型红外热像仪的装置和系统的优点是显而易见的，主要优点可以归纳如下: 本实用新型采用DM3730作为主处理器，是因为DM3730能够在较高运行频率下达到非常低的功耗，能满足Android操作系统运行所需要的资源。同时我们采用了前端FPGA采集并组合了可见光图像和热红外图像，这样将大大降低DM3730在视频采集处理上的负担；同时DM3730拥有一颗高达800MHz的TMS320C64x+DSP处理器，能够为高密集计算的算法提供处理，解决了本项目中的图像配准和融合、人脸检测算法的运算问题。所以在本项目中DM3730处理器能够以较低的成本达到资源得到充分、合理利用，发挥了其最大效倉泛。 本实用新型所采用的DM3730处理器只有一个独立的Camera接口，而通过DM3730上的其它接口(如通用I/O)模拟camera Interface来输入另一路视频明显将会占用CPU大量资源，并不明智。所以本实用新型采用FPGA分别采集数字格式的可见光视频图像的热红外视频图像，通过内存乒乓操作，经过一定的算法处理组合到一幅图像中，最后按照标准的ITU-R BT656格式输出到DM3730，DM3730通过CameraInterface接收视频数据后送入ARM处理器作进一步处理。这样不仅降低了 DM3730主处理器的工作负担，而且增加了灵活性，如FPGA可以作更多的视频前处理，给DM3730降低计算负担；而且FPGA能够方便地再接入更多视频信号，为以后更多的扩展应用提供了平台。 本实用新型利用DM3730处理器上的TMS320C64x+DSP处理器处理可见光和热红外图像的配准、融合算法，人脸检测算法。其中利用高效可靠的可见光图像人脸检测算法先检测人脸在可见光中的位置，结合可见光与热红外图像配准算法从而定位热红外人脸位置。使某些特殊应用有更高的效率和准确度。如人群中体温检测，它可以减少某些不是人体而温度较高的物体的干扰。 本实用新型首次采用目前流行的Android操作系统作为系统开发的主系统，并提供了支持多点触控的电容触摸屏，具有多种在红外热像仪中基于多点触控的新操作方法，使本实用新型不仅操作直观、快捷、人性化，而且显示流畅自然。
图1是本实用新型发明的智能型红外热像仪的装置和系统的结构示意图。图2是本实用新型发明的图1中的FPGA芯片内部视频采集方案示意图。图3是本 实用新型发明图1中FPGA芯片实现的图像组合示意图。图4是本实用新型发明的程序模块图。
具体实施方式
以下结合附图对本实用新型作进一步描述。参见图1，本实用新型提供的智能型红外热像仪的装置和系统所述IR113机芯(I)和CMOS传感器(2)经过简单的光学配准后，通过并行数字视频接口与FPGA芯片EP2C35F672C6 (4)连接；所述 SDRAMl (3)、SDRAM2 (6)、SDRAM3 (5)、SDRAM4 (7)内存模组与FPGA (4)连接，所述 FPGA 芯片 EP2C35F672C6(4)通过与 DM3730 (9)的 Camera Interface 接口连接；所述IGB NAND FLASH模块⑶通过EMIF接口与DM3730 (9)连接；所述512MB低电压双倍数率同步动态随机存贮器(LPDDR) (11)与DM3730(9)的SDRAM内存控制器接口连接；所述USB-OTG模块(13)为DM3730(9)芯片提供的USB通信接口，通过OTG技术可以和各种USB主(host)、从(slave)设备或移动设备通信；所述SD CARD模块(14)为DM3730 (9)芯片提供的SD卡通信接口，可以将红外热像仪截获得到的图像等信息保存到SD卡中；所述多点电容触摸屏控制芯片模块(12)使用晶门科技的SSD2531通过I2C总线与DM3730 (9)连接，它能够驱动投射式电容触摸屏(10)，最大能够同时汇报4点绝对坐标；所述投射电容式触摸屏(10)和所述多点电容触摸屏控制芯片模块SSD2531 (12)连接；所述液晶显示屏(15)通过并行数字视频接口与DM3730 (9)连接，用于显示用户操作界面；所述电源管理模块TPS65930(16)为DM3730 (9)提供各种电源，并进行电源管理，优化系统工作的性能与功耗。图像采集是本实用新型的一个核心部分，需要将两路视频信号经由FPGA同时采集并汇合成一幅图像通过DM3730 (9)的Camera Interface送入ARM核作进一步处理。参见图2，FPGA视频采集模块通过两组SDRAM存储模块实现乒乓存储，从而使视频能够流畅运行。首先FPGA (4)的通过I2C控制器初始化CMOS传感器(2)。然后通过两组SDRAM缓存进行乒乓操作。第一组SDRAM缓存包括SDRAMl (3)和SDRAM2 (6)，第二组SDRAM缓存包括SDRAM3(5)和SDRAM4(7)，它们都使用独立的总线，能够同时并行存储和提取数据。两组SDRAM缓存是交替工作的，当SDRAMl (3)和SDRAM2 (6)分别同时接收CMOS传感器采集到的可见光视频信号和热红外机芯传送过来的热红外视频信号时，视频预处理模块将同时从SDRAM3(5)和SDRAM4(7)中读取上一帧采集到的视频图像数据；当两组SDRAM缓存都完成上述工作后则进行切换，SDRAM3 (5)和SDRAM4(7)接收视频，SDRAMl (3)和SDRAM2 (6)将数据送到视频预处理模块；如此循环，从而实现视频流畅输出。视频处理模块是对视频图像进行重组，视频预处理模块将一帧热红外视频图像和一帧可见光视频图像组合成一帧图像数据，然后通过视频输出模块将组合后的视频数据按照ITU-RBT656视频制式送出到DM3730 (9)的 CameraInterface 接 口。视频组合方式如图3所示，因为本实用新型的FPGA(4)视频输出ITU-R BT656视频制式采用720x576分辨率，而热红外图像和可见光图像的是两帧大小不一样的图像，则需要一种组合出在一幅720x576大小的图像上尽可能多地保存可见光和热红外图像细节的数据图像的方法。IR113红外热成像机芯(I)输出的数字图像分辨率最大为384x288，并且数据位宽为16，为得到最好的图像质量，热红外视频采用这个最大分辨率。然而CMOS传感器MT9M111(2)可以支持最大1280x1024分辨率的图像输出，并且可以配置输出图像的分辨率大小。同时它是一款集成片上系统SOC的CMOS传感器，支持多种数字视频输出格式如ITU-R BT.656 (YCbCr)，565RGB，555RGB等。为使图像数据存储和后续处理的便捷性，本系统选择了 CMOS传感器(2)视频输出模式为ITU-R BT.656数据格式，Y、Cb、Cr三分量样点之间比例为4: 2: 2 ;这样得到的每个像素位宽刚好为16bits，和热红外图像的像素位宽一致。同时因为热红外图像的16位数据都是像素点上的温度信息，这相当于只有灰度值而没有颜色的灰度图像。当可见光图像同时采用亮度和色度分开的数据模式时，更有利于后面采用的基于YCbCk颜色传递的可见光图像与热红外图像的融合方法。确定了可见光CMOS传感器的数据输出模式后，我们可以确定可见光视频输出的分辨率大小了。由于像素位宽一致所以，在一个每个数据都是16位的720x576的矩阵位中按顺序存放了 384x288数据(如图3中的热红外图像像素填充区域)后剩下的空间是720x576-384x288 = 304128(像素个数)，为了尽量使用剩下的空间，又尽量保持图像比例和热红外图像一致，我们配置CMOS传感器(2)输出图像分辨率为QSXGA(640x512)输出，然后利用图2中的图像预处理模块将可见光图像选取中间区域，切割为636x477分辨率大小，则所占用空间为303372，刚好小于并很接近304128。随后将切割的数据按逐行排列填写到720x576的矩阵剩余的空间中，如图3中的可见光图像像素填充区域；最后剩下的像素点填写为0，如图3中的其余区域。最后图2中的视频输出模块将组合后的数据按照ITU-R BT656制式送出。[0026]参见图4，是本实用新型的DM3730内部主要软件功能模块图。DM3730的ARM核运行Android操作系统。用户通过电容触摸屏来进行输入操作，输入操作经过手势识别模块识别不同的手势操作，最后将输入命令送入应用程序模块。应用程序用于显示整个操作界面，并按照用户的输入操作执行相应的任务。应用程序将根据需要，将FPGA采集到的组合帧视频并经过运行在ARM核的视频预处理模块重新分开成为两幅图像，并存储在系统的共享LPDDRSDRAM(ll) (DSP和ARM核的共享存储地址段)中作为缓存；需要融合显示时，应用程序将按顺序调用DSP核内的可见光图像和热红外图像配准算法、融合算法模块，处理完毕的数据将在共享DDR SDRAM中取得。应用程序将其显示到TFT显示屏中。本系统创新性的实现了在红外热像仪上的多点触摸屏操作功能。系统将按照用户的手势操作实现以下显示功能；1.手势旋转可见光、热红外图像；当系统显示捕捉到的红外或可见光视频或可见光和红外融合视频时，用户可以使用两个手指放在视频图像上，然后作逆时针或顺时针旋转操作，所选视频图像即按照旋转方向旋转90°。同时在使用系统浏览图片功能时，图片也能够实现旋转功能。2.手势放大缩小可见光、热红外图像；当系统显示捕捉到的红外或可见光视频或可见光和红外融合视频时，用户可使用两个手指放到视频图像上，当两个手指相互靠近或远离时，系统将以手指选择的矩形框为中心，缩放视频画面。同时可以使用手指拖动画面显示图像的不同部分。同样在使用系统浏览图片功能时，也能实现该缩放功能。3.手势拖动可见光、热红外图像；当系统显示捕捉到的热红外或可见光视频或可见光和热红外融合视频时，当画面没有完全显示所捕捉到的视频图像时，如实现了放大功能，可以使用单个手指拖动画面，以显示需要观察的图像部分。同样在使用系统浏览图片功能时，也能实现该功能。4.滑动浏览可见光、热红外图像。当系统使用系统浏览图片功能时，可以采用单个手指滑动手势功能实现热红外图片、可见光图片、融合图片的翻页功能。
权利要求1.智能型红外热像仪的装置和系统，其特征在于:包括嵌入式处理器(9);与嵌入式处理器(9)的视频输入接口连接的FPGA芯片(4);与FPGA芯片(4)通用I/O接口连接的CMOS传感器(2)和红外热成像机芯(I);与嵌入式处理器(9)的I2C接口连接的多触点电容触摸屏控制芯片(12);与多触点电容触摸屏控制芯片(12)连接的投射电容式触摸屏(10)；与FPGA芯片(4)连接的同步动态随机存储器模组(3、6、5、7);与嵌入式处理器(9)连接的低电压双倍速率同步动态随机存储器(11)、液晶显示屏(15)、NAND型快闪存贮器(8)、USB-OTG 接口 (13)、SD CARD 接口 (14)和电源管理模块(16)。
2.如权利I所述的智能型红外热像仪的装置和系统，其特征在于:所述的嵌入式处理器(9)为美国德州仪器公司的双核处理器DM3730，包含一颗ARM Cortex-A8核和一颗TMS320C64X+DSP核，负责操作系统和主应用程序的运行，包括配准融合算法、人脸检测算法的运算。
3.如权利I所述的智能型红外热像仪的装置和系统，其特征在于:所述的FPGA芯片(4)负责接收CMOS传感器⑵采集得到的可见光数字视频信号和IR113热红外机芯⑴输出的热红外数字视频信号，并将可见光视频信号和热红外视频信号的每帧图像组合成一帧图像，最后通过ITU-RBT656信号格式传输到主处理器DM3730 (9)的视频输入接口。
4.如权利I所述的智能型红外热像仪的装置和系统，其特征在于:所述的投射电容式触摸屏(10)与多触点电容触摸屏控制芯片(12)相连接，并通过I2C总线与嵌入式处理器(9)DM3730通信，用户在投射电容式触摸屏(10)上通过多点触控方式输入手势信号，经多触点电容触摸屏控制芯片(12)传入嵌入式处理器(9)。
专利摘要本实用新型提供一种智能型红外热像仪的装置和系统。它采用高速FPGA和SDRAM存储系统，通过将不同分辨率的可见光视频帧和热红外视频帧组合成一帧视频图像，并采用标准视频格式ITU-R BT656将视频送出到德州仪器公司的双核数字多媒体处理器DM3730的Camera Interface接口。DM3730的ARM核运行Android操作系统，DSP核运行可见光图像和热红外图像的配准和融合算法，并通过在可见光图像中运行人脸检测算法，结合前面所述的配准算法，从而获得人脸在热红外图像中的具体位置。在Android操作系统上通过投射电容式触摸屏的多点触控输入，实现了手势旋转可见光、热红外图像，手势放大缩小可见光、热红外图像，手势拖动可见光、热红外图像，滑动浏览可见光、热红外图像功能。
文档编号G06F3/044GK202956192SQ201220104230
公开日2013年5月29日 申请日期2012年3月16日 优先权日2012年3月16日
发明者马争鸣, 谭恒良, 张武, 田军, 杨晓峰 申请人:东莞华仪仪表科技有限公司, 中山大学