专利名称：一种适用于移动救援机器人的图像采集与处理系统的制作方法
技术领域：
本发明涉及一种图像处理系统，更特别地说，是指一种适用于移动^[援^L器人的 图像采集，以及对采集图像的处理。
技术背景近年来，多发的自然灾害(如地震、火灾、洪水等)，人为的恐怖祸害(如恐怖 活动、武力冲突等)，以及由炭疽热、SARS、禽流感等生化病毒和有毒物质、辐射 性物质等带来的恐怖，威胁着人们的安全，引起了人们广泛的关注。虽然人们对各种 灾难的警觉和反应能力有所提高，但在处理破坏性灾难事件时还是准备不够充分，很 多人依然死于非专业、不及时的救援活动。将机器人技术、营救行动技术、灾难学等 多学科知识有机融合，研制与开发用于搜寻和营救的移动救援机器人，是机器人学研究中一个富有挑战性的新领域。移动救援机器人在辅助救援工作中具有以下突出的优势1) 可以连续执行乏味的搜索救援任务，而不会像人一样感到疲倦；2) 不怕火、浓烟等危险和有害条件；3) 可以深入危险地带拍摄资,研究人员分析查找；4) 重量轻，与人和搜救犬相比引起建筑物二次坍塌的可能性小；5) 灵活，可以进入那些人和搜救犬都无法进入的危险地带，越来越得到大家的 广泛重视，并逐步得到广泛的应用。而移动救援机器人作用的发挥离不开^IL器人的探測感知技术，对救援机器人lf言 对环境图像信息的获取及遇险人员的搜寻t显得格外重要，这些都需要移动救援机器 人具有很强的图,取处理能力。针对救援 人应用场合环^杂、体积小巧、需要长时间的工作的特点，其搭载的图像采集与处理系统，应具有以下特点体积小巧， 功耗低，采集图像质量高，有一定的图像处理能力，以提高救援的效率。发明内容为了适用于小型化移动救援机器人在行进状态下，对四周环境信息采集的需要， 本发明设计出一种嵌入式的图像采集与处理系统，该图像采集与处理系统应用CMOS图像传感器对四周环境进行采集，并将获得的图像信息输出给ARM处理器,然后通过配置在ARM处理器中的图像局部特征提取处理模块进行特征提取，以更有效的获取环境信息便于救援人员进行及时的救援活动。本发明的一种适用于移动救援机器人的图像釆集与处理系统，其包括有图像传感单元(1)、图像预处理单元(2)、模数转换单元(3)、图像采集与格式转换单元(4)、边,测单元(5)、图像传输单元(6)和控制中心单元(7);图像传感单元(1)用于记录下移动救援机器人行进中的环境信息《； 倒像预处理单元(2)用于对接收到的环境信息^先进行增益放大后，再进行去除白噪声处理，从而获得去噪图像信息尸2;模数转换单元(3)用于对接收到的去噪图像信息尸2进行模数转换后输出YUV422格式图像g ;图像釆集与格式转换单元(4)用于对接收到的YUV422格式图像S采用整数 箅法规化处理得到RGB888格式图像^;边缘检测单元(5)依据不同场景和处理速度要求对接收到的RGB888格式图 像^进行处理获得特征增强图像g;图像传输单元(6)用于将S传输至控制中心单元(7);控斜中心单元(7)用于对接收到的S进行实时调度，较为直观的供救援者参考。本发明的一种适用于移动it援^L器人的图像采集与处理系统优点为(1) 本图像采集与处理系统仅采用了 COMS传感器和ARM处理器硬件，设备使 用简单，结构小巧紧凑，通过在硬件上内嵌软件的方式，f吏得控制可靠性高。(2) 在数据传输上充分利用ARM处理器的片上功能，提高了系统的图像采集速度与效率。(3) 可以采用多种图像处理手段使现有硬件能够实现更广的应用。(4) 软件上釆用Linux系统作为操作系统，增强了系统软件 可靠性、扩展性与 开放性。(5) 采用以太网有线通讯与GPRS无线通讯两种通讯方式，提高了系统的图像传 输距离与传输可靠性，拓展了系统的应用范围。(6) 采用基于PC的控制中心单元，方便系统对多个图像采集单，行控制，以适 应移动救援机器人对于多个图像釆集单元的需求。
图1是本发明移动^t援机器人的图像釆集与处理系统的结构框图。
具体实施方式
下面将结合附图对本发明做进一步的详细说明。参见图1所示，本发明是一种适用于移动救援机器人的图像采集与处理系统， 该图像采集与处理系统包括有图像传感单元1、图像预处理单元2、模数转换单元3、 图像采集与格式转换单元4、边缘裣测单元5、图像传输单元6和控制中心单元7。在本发明中，图像采集单元1、图像预处理单元2和模数转换单元3可以釆用 ( MOS传感器实现。CMOS传感器是OV公司生产的OV9650， 130万像素(1280 X1024像素)的图像传感器。在本发明中,图像格式转换单元4和边缘检測单元5可以采用ARM处理器实现。 ARM处理器是Intel生产的XScale系列PXA270型号处理器芯片。在本发明中，图像传输单元6可以采用有线和/或无线进行传输信息。在本发明中，控制中心单元7可以是一台PC机、笔记本等，该控制中心单元7 除了基本操作系统以外，还在安装有能够对g进行调度的处理软件。本发明的一种图像采集与处理系统中各个单元实现的功能作如下所述(一) 图像传感单元1图像传感单元1用于记录下移动救援机器人行进中的环境信息A。 在本发明中，环境信息A包括了移动救援机器人在行进中的各种信息，如受困人 员、道路状况、障碍物等摄像器件视野范围内的环境图像信息。(二) 图像预处理单元2图像预处理单元2用于对接收到的环境信息《先进行增益放大后，再进行去除 白噪声处理，从而获得去除千扰后的图像信息A (简称去噪图像信息g)。(三) 模数转换单元3模数转换单元3用于对接收到的去噪图像信息尸2进行模数转换后输出具有 YUV422格式(Y表示明高度，UV表示色差，U和V是构成彩色的两个分量，422 表示YUV图像数据的打包格式,即将码流Y。，U。,YhV,，Y2，U2,Y3,V3影射为四个像素: fYo,Uo,ViUY"U。，V丄[Y2,U2,V3UY3,U2，V3])的数字化图像信息尸3 (简称YUV422 格式图像尸3)。(四) 图像采集与格式转换单元4图像采集与格式转换单元4用于对接收到的YUV422格式图像尸3采用整数箅法 规化处理得到RGB888格式(R表示红色，G表示绿色，B表示蓝色，888表示 RGB颜色分量各占8比特)的图像信息户4 (简称RGB888格式图像A)。在本发明中，所述整数箅法规化处理是运用整型运算代替浮点运箅，具体软件语言表g形式为 0 = U-128;V = V-128;r# = V + ((Vxl03)》8;/ vg# = ((tl x 88) 8)+((V x 183)》8);Z># = 0 + ((t}xl98) 8);R = Y + *;G = Y-/"vgi/jf;tJ表示色差U运箅过程的中间变量，V表示色差V运箅过程的中间变量，r# 表示R分量与Y分量的差值，i"vg^f表示Y分量与G分量的差值，6t^表示B分 量与Y分量的差值。为了防止RGB888格式图像尸4出现溢出，本发明分别对RGB颜色分量的计箅,/(R>255) ,/(G>255) //(B>255) R = 255; G = 255; B = 255;结《行判断°判断规则为、(R, ， (B<0) °R = 0; G = 0; B = 0;(五) 边缘检测单元5边缘检測单元5依据不同场景和处理速度要求对接收到的RGB888格式图像尸4进行处理获得特征增强图像g 。在本发明中，为了快速的得到被探測环境下的全部信息，在边缘检測单元5对 接收到的RGB888格式图像尸4釆用自适应阈值方法来获取最佳阈值，然后对 RGB888格式图像g中的每一个像素点的像素值分别与最佳阈值作比较，大于最佳 阈值的赋值255，小于等于最佳阈值的赋值O，从而得到RGB888格式图像的二值 化图，即具有二值化的特征增强图像尸5;最后采用'peg压缩方法对RGB888格式 图像A和二值化的特征增强图像g进行压缩，并通过以太网使用UDP协议将压缩后 的RGB888格式图像户4和二值化的特征增强图像尸5传输给救援控制中心7。在本发明中，为了得到更加明晰清楚的被探测环境下物体的轮廓，在边缘检测单 元5对接收到的RGB888格式图像《采用canny算子的边缘检测方法获得具有物体轮廓信息的特征增强图像S (简称轮廓特征增强图像S)，其处理步骤如下步骤一 对RGB888格式图像尸4釆甩高斯滤波器进行图像平滑处理得到平滑图像；一+/高斯滤波器中的高斯平滑函数为H"，力-e 2一 ， //(^，力为^n维零均值离散高斯函数，G(;c,力为高斯平滑滤波后输出像素函数，/(x,力为原始图像的像 素函数，e为指数运箅，"为高斯滤波器宽度，义为像素点的横坐标，Y为像素点的 纵坐标。步骤二对平滑图像釆用一阶偏导的有限差分来计箅梯度的幅值和方向，并对计 箅得到的梯度幅值进行非极大值抑制，从而获得非极大值抑制图像；对平滑图像采用一阶偏导的有限差分来计算梯度购幅值和方向满足关系为<formula>formula see original document page 8</formula>其中巧为2X2 —阶有限差分模板，用来计箅原始图像函数的^轴的偏导数，ff2为2X2—阶有限差分模板，用来计算原始图像函数的少轴的偏导数，A(x力为原始 图像函数的对x轴的偏导函数，伊2(矽)为原始图像函数的对>/轴的偏导函数，伊(;c.y) 为图像的边缘强度，^为图像的边缘方向。得到全局梯度并不足以确定边缘，要确定边缘，必须保留局部梯度最大的点，而 抑制非极大值，对梯度幅值进行非极大值抑制是指利用梯度的方向将梯度角离散为圆 周的四个扇区，使用3X3窗口做抑制运算，在每一个点上，邻域的中心像素伊(x力 与沿着梯度线的两个像素相比，如果伊(x力不比沿着梯度线方向的两个像素值大，则 令伊(x力=0。步骤三对非极大值抑制图像采用双阈值算法检测和连接边缘。 双阈值箅法对非极大值抑制图象作用两个阈值rl和r2,且2rl-r2，从而可以 得到两个阈值边缘图象M[/,/]和W2[/,/。由于W2[U〗使用高阈值得到，因而含有 很少的假边缘，伹有间断(不闭合)。双阈值法要在iV2p^]中把边缘连接成轮廓，当 到达轮廓的端点时，该箅法就在M[O]的八邻域位置寻找可以连接到轮廓上的边缘， 这样，箅法不断地在iV屮,y;i中收集边缘，直到将iV2。力]连接起来为止。其中八邻域是指该像素点为中心周围3X3区域中除去中心点外其余八个像素点。(六) 图像传输单元6图像传输单元6用于将尸5传输至控制中心单元7;(七) 控制中心单元7控制中心单元7用于对接收到的g进行实时调度，较为直观的供Ht援者参考。 本发明的一种适用于移动救援机器人的图像采集与处理系统，该系统采用了较为 ,筒单的设备CMOS传感^% ARM处理器，以及分别内嵌这两个芯片上的图像处理 软件的配合，使得在移动救援机器人的整体尺寸达到小型化设计，更有利于为实施救 援H供全面、充分的场景信息。
权利要求
1、一种适用于移动救援机器人的图像采集与处理系统，其特征在于该图像采集与处理系统包括有图像传感单元(1)、图像预处理单元(2)、模数转换单元(3)、图像采集与格式转换单元(4)、边缘检测单元(5)、图像传输单元(6)和控制中心单元(7)；图像传感单元(1)用于记录下移动救援机器人行进中的环境信息P1；图像预处理单元(2)用于对接收到的环境信息P1先进行增益放大后，再进行去除白噪声处理，从而获得去噪图像信息P2；模数转换单元(3)用于对接收到的去噪图像信息P2进行模数转换后输出YUV422格式图像P3；图像采集与格式转换单元(4)用于对接收到的YUV422格式图像P3采用整数算法规化处理得到RGB888格式图像P4；边缘检测单元(5)依据不同场景和处理速度要求对接收到的RGB888格式图像P4进行处理获得特征增强图像P5；图像传输单元(6)用于将P5传输至控制中心单元(7)；控制中心单元(7)用于对接收到的P5进行实时调度，较为直观的供救援者参考。
2、 根据权利要求1所述的适用于移动救援机器人的图像采集与处理系统，其特征在f所述整数箅法规化处理为 D = U-128;V-V-128;喊-V + ((Vxl03)》8;一# = ((t5 x 88)》8)+((V x 183) 8);W = t} + ((tjx 198)》8); °R = Y +喊；G = Y — /wvgcft/;
3、 根据权利要求1所述的适用于移动救援机器人的图像采集与处理系统，其特征在 于为了防止RGB888格式图像A出现溢出，分别对RGB颜色分量的计箅结果进行判断；其判断规则为:<formula>formula see original document page 0</formula>
4、根据权利要求1所述的适用于移动救援机器人的图像采集与处理系统，其特征在 于在边缘检测单元(5)对接收到的RGB888格式图像^采用canny算子的边缘检测方法获得具有物体轮廓信息的特征增强图像尸5 ，其处理步骤如下 步骤一对RGB888格式图像尸4采用髙斯滤波器迸行图像平滑处理得到平滑图像；步骤二对平滑图像采用一阶偏导的有限差分来计算梯度的幅值和方向，并对计 算得到的梯度幅值进行非极大值抑制，从而获得非极大值抑制图像；对平滑图像釆用一阶偏导的有限差分来计算梯度的幅值和方向满足关系为<formula>formula see original document page 3</formula>步骤三对非极大值抑制图像采用双阈值箅法检测和连接边缘； 双阈值算法对非极大值抑制图象作用两个阈值rl和r2 ，且2rl = z"2 ，从而得到 两个阈值边缘图象M _/和[i, /]。
全文摘要
本发明公开了一种适用于移动救援机器人的图像采集与处理系统，该图像采集与处理系统包括有图像传感单元、图像预处理单元、模数转换单元、图像采集与格式转换单元、边缘检测单元、图像传输单元和控制中心单元。图像采集单元、图像预处理单元和模数转换单元采用CMOS传感器实现。图像格式转换单元和边缘检测单元采用ARM处理器实现。本发明通过配置在ARM处理器中的图像局部特征提取处理模块进行特征提取，以更有效地获取环境信息便于救援人员进行及时的救援活动。
文档编号G06T5/20GK101577789SQ20091008646
公开日2009年11月11日 申请日期2009年6月15日 优先权日2009年6月15日
发明者丑武胜, 佳 刘 申请人:北京航空航天大学