一种单目视觉位姿测量系统的制作方法
【专利摘要】本实用新型提供了一种单目视觉位姿测量系统，至少包括搭载合作目标模板的目标物，位姿图像采集单元、图像处理单元、电源及显示存储单元，所述的合作目标模板采用四个共面圆环组成，圆环面积大小不一；位姿图像采集单元为基于USB接口的相机，位姿图像采集单元与图像处理单元相连接，将数据输出至图像处理单元；所述的图像处理单元设置有USB接口和网口或串口，所述的图像处理单元采用STM320DM8148硬件平台，内部集成了ARM和DSP的异构双核处理器；图像处理单元通过网口或串口将数据输出，所述的电源与图像处理单元连接并供电。该系统提供了一种硬件平台，能够与算法相结合，从而实现单目视觉位姿精确测量。
【专利说明】
-种单目视觉位姿测量系统
技术领域
[0001 ]本实用新型提供了一种单目视觉位姿测量系统，属于视觉检测技术领域。
【背景技术】
[0002] 视觉检测技术是近二十几年来发展的一口新兴测量技术，采用了大量自动化、智 能化技术，通过计算机识别和控制，测量过程只需很少的人工干预就可完成。随着视觉技术 的不断发展成熟，使得它在工业、医学、航空航天、军事等领域获得了广泛的应用。视觉技术 可W代替人类进行尺寸检测、目标物跟踪、机器人导航等，而对于重复性高、非接触精密测 量、信息获取迅速W及现场环境恶劣的应用更加适合。
[0003] 目前大多数对视觉测量的研究都是基于PC端，因其体积大、功耗高，大多不适合机 载，因此如何将嵌入式技术应用到视觉检测技术中逐渐受到关注，并日益成为研究的热点。 但视觉检测相关算法复杂，图像处理计算量大，跟踪的实时性问题一直未得到有效解决，其 中硬件平台的性能和软件算法的效率是两大影响因素，因此，在该领域仍须做大量的研究 工作。
[0004] 视觉测量系统中的图像采集硬件平台系统主要包括W下部分：图像采集单元，图 像处理分析单元，数据存储单元和控制反馈单元等。其中，图像采集单元是计算机视觉系统 中获取信息的关键部件，其最本质的功能就是将光信号转变成为有序的电信号并通过一定 的方式传输到信号处理平台。而图像采集单元的设计主要与光学敏感器及其接口有关。
[0005] 传统的视觉测量系统大多基于乂CD十视频信号处理忍片+C化D/FPGA+DSP"构架 的。目前运种构架相对成熟，但CCD传感器需要数量可观的外部支持电路，在电源管理电路 设计上的难度更高。其功耗和体积较大，硬件设计复杂，开发难度较大。
[0006] CMOS传感器具有体积小、功耗低、高集成度、新型USB接口及红外接口技术运些突 出的优点。其原有的出现杂点的几率很大，很容易受干扰影响现在成熟的产品也都能从后 级电路上进行补偿和优化，使得COMS技术的摄像头成品成为市场主导产品。
[0007] 基于USB接口的COMS相机不需要额外的采集设备即可获得实时无压缩视频数据和 对图像的捕捉。但其传输过程设及复杂通信协议，若是基于传统的乂化D/FPGA+DSP"构架， 需要构建相当复杂的逻辑电路来管理。而ARM处理器在运类系统中能很好的发挥控制功能， 只需要使用内部的USB化S巧区动接收摄像头数据，就可W获得完整的或者压缩过的图像或 者视频。在图像的存储和处理方面，对于己经上了操作系统的运种图像采集处理平台，图像 可W作为文件，存储在文件系统里面对数据的处理。而单一的ARM处理器在处理复杂图像算 法时稍显不足，无法胜任运算复杂度较高的任务。DSP忍片的可编程性和强大的处理能力， 使其可用于快速地实现各种数字信号处理算法，成为目前图像处理系统的最佳选择。因此， 我们提出采用乂 0MS+ARM+DSP"架构来构建视觉测量硬件平台。TI公司的达芬奇系列处理器 集成了ARM和DSP的异构双核处理器，使得达芬奇处理器具备了ARM和DSP各自的优势，能很 好地满足应用需求。
[000引目前国内对于单目视觉位姿测量系统的研究大多还处于理论仿真阶段，还没有成 型的产品。单目视觉位姿测量方法也大多基于PC端，依赖于化enCV计算机视觉库。由于有PC 机强大的硬件作为保障，在应用开发的过程中不需要过多的考虑系统开销问题，OpenCV视 觉库提供丰富的视觉处理算法，简化了算法的实现难度。但考虑到PC机体型大不便于普及 应用，随着嵌入式技术的发展，相关的硬件平台性能进一步提升，让嵌入式平台对于视觉图 像处理相关应用也能够较好的支持。而且嵌入式本身具有低功耗和低成本的特点，使得基 于嵌入式技术的视觉测量系统受到了越来越多的关注。因此，研究一种高效可靠的单目视 觉位姿测量系统很有必要。 【实用新型内容】
[0009] 本实用新型提供了一种基于合作目标的单目视觉位姿测量系统，解决了【背景技术】 中的不足，该系统提供了一种硬件平台，能够与算法相结合，从而实现单目视觉位姿精确测 量。
[0010] 实现本实用新型上述目的所采用的技术方案为：
[0011] -种单目视觉位姿测量系统，至少包括合作目标模板、位姿图像采集单元、图像处 理单元、电源及显示存储单元，合作目标模板搭载在目标物上，所述的合作目标模板为四个 共面的圆环，且四个圆环的面积大小均不相同；所述的位姿图像采集单元为基于USB接口的 COMS相机，所述COMS相机中包括图像传感部分、信号读出电路和控制电路，图像传感部分、 信号读出电路和控制电路集成在一块忍片上，位姿图像采集单元与图像处理单元相连接， 将位姿图像数据通过USB接口输出至图像处理单元;所述的图像处理单元设置有用于接收 位姿图像数据的USB接口和用于传输数据的网口或串口，所述的图像处理单元采用TI公司 的STM320DM814如則牛平台，其内部集成了ARM和DSP的异构双核处理器；图像处理单元与显 示存储单元连接，所述的电源与图像处理单元连接并给图像处理单元供电。
[0012] 所述的显示存储单元为显示屏加 SD卡，或者为PC端。
[001引与现有技术相比，本实用新型采用乂0MS+ARM+DSP"架构来构建视觉测量硬件平 台。基于USB接口的COMS相机不需要额外的采集设备即可获得实时无压缩视频数据和对图 像的捕捉。TI公司的达芬奇系列处理器集成了 ARM和DSP的异构双核处理器，使得达芬奇处 理器具备了 ARM和DSP各自的优势，ARM作为主控处理器，负责外设和数据采集功能，DSP因其 具备高效的运算能力，用于位姿解算处理。克服了传统基于PC端视觉检测技术中，针对应用 于特殊环境时体积过大，不便于携带等问题，同时也避免了基于普通嵌入式平台实时性和 效率不好的问题。具有低功耗和低成本的特点，能很好地满足应用需求。本系统所结合的算 法在位姿测量方法上提出采用化SU法进行二值化，相比传统的方法，Otsu法在嵌入式平台 运行效率更高。同时，因为两帖图像的差别不大，本系统计算阔值时可W采用上一帖计算好 的值，运样计算阔值和二值化可W并行进行，速度可W极大提高。
【附图说明】
[0014] 图1为本实用新型提供的位姿测量系统的原理框图；
[0015] 图2为算法流程图；
[0016] 图3为坐标转换图；
[0017] 图4为数据传输图。
【具体实施方式】
[0018] 下面结合附图对本实用新型做详细具体的说明，但是本实用新型的保护范围并不 局限于W下实施例。
[0019] 本实用新型提供的位姿测量系统分为五个部分:合作目标模板，位姿图像采集单 元、图像处理单元、电源及显示和存储单元。整个系统的结构框图如图1所示。
[0020] (1)合作目标模板:本系统在使用时合作目标模板搭载在目标物上，所述的合作目 标模板采用含四个共面圆环标志作为合作目标模板，为便于识别圆的对应关系，四个圆环 的面积大小均设为不同。
[0021] (2)位姿图像采集单元:本设计方案采用基于USB接口的COMS相机获取位姿图像， 所述COMS相机中包括图像传感部分、信号读出电路和控制电路，图像传感部分、信号读出电 路和控制电路集成在一块忍片上，位姿图像采集单元与图像处理单元相连接，将位姿图像 数据通过USB接口输出至图像处理单元，其输出的数据为1280*1024灰度图像。
[0022] (3)图像处理单元:通过USB接口采集位姿图像信息，经智能图像处理算法处理后， 将处理结果和原始图像通过显示单元显示并通过存储单元保存。其中，智能处理算法部分 主要设及到图像二值化、特征点提取和位姿解算=部分。
[0023] (4)电源:将市电220V电压转换DC12V电压并给DM814如更件平台供电。
[0024] (5)显示和存储单元：负责与图像处理单元建立连接，实时显示并存储图像处理单 元输出的原始图像数据W及智能算法处理结果，并可对相机参数及存储路径进行设置。通 过显示测试系统精度和可靠性。所述的显示存储单元为显示屏加 SD卡，或者为PC端，还可W 为其他装置。
[0025] 系统的开发基于TI公司提供的针对达芬奇系列忍片ARM+DSP体系结构特点的一整 套软件组件和框架标准。在此框架下进行达芬奇应用开发能够实现ARM和DSP的实时通信和 协调工作。可W简化应用的开发难度，缩短开发周期，同时保证了应用的可移植性。数据传 输的具体过程如图4所示。
[0026] USB接口相机:采集图像，输出图像数据。摄像头内部己经完成了图像采集系统中 图像的采集、转换、输出功能，最后通过USB Slave部件整理数据并输出。
[0027] 图像处理单元:采用TI公司的STM320DM814如更件平台，其内部集成了 ARM和DSP的 异构双核处理器。本系统中ARM处理器搭载Linux操作系统，作为主控处理器，使用内部的 USB化S巧区动接收摄像头数据，就可W获得完整的图像或者视频。通过USB接口采集来的图 像数据存放在共享内存中，为了优化图像数据在内存中的存储，提高系统的实时处理能力， 采用抓MA控制器将DSP需要处理的那一帖数据从共享内存拷贝到DSP data段，同时将处理 完的结果传送回共享内存，便于ARM处理器调用，DSP处理器的CPU只用于图像数据的计算。 最后ARM处理器将存于共享内存的图片原始数据和处理结果通过串口或者网口输出并通过 显示存储单元进行显示和存储。
[0028] 本实用新型所提供的系统结合W下方法进行使用，具体的方法如下：
[0029] 基于达芬奇技术的单目视觉位姿测量方法的流程如图2所示，具体步骤如下：
[0030] 1、二值化。（格式）
[0031] 在PC端二值化不需要考虑时间花费，一般采用高斯模板进行二值化，因嵌入式平 台对速度要求较高，考虑将传统的使用高斯模板二值化改成使用化SU法来计算。Otsu法被 公认为是效果最好，应用面最广的二值化方法，对大多数样本都实用。Otsu法二值化的主要 思想是从图像的灰度直方图中把灰度值的集合用阔值T分为两类，然后根据两个类别的平 均值方差(类间方差)和各类的方差(类内方差)的比为最大来确定阔值T。
[0032] 因为两帖图像的差别不大，阔值可W采用上一帖计算好的值，运样计算阔值和二 值化可W并行进行，速度可W极大提高。
[0033] 2、轮廓提取
[0034] 首先提取合作目标图片中的所有轮廓，根据圆的性质依次检验是否为圆，若是圆 则提取质屯、。理论上来讲，轮廓的大小不一，那么不同的轮廓上的像素点总数会有很大的差 别。4个圆环的轮廓上的像素点的总数满足一定的范围，遍历所有的轮廓，判断是否轮廓的 像素点总数处于一个范围。通过像素点总数，过滤掉一部分不可能是圆的轮廓，运样可W进 一步简化计算。圆的面积S等于31 丫 2,周长C等于如r，不难发现
，运用运个比例关系， 我们可W识别该轮廓是否为圆。由于提取的轮廓存在噪声点，提取的圆的轮廓不会严格的 满足运个比例关系，但是实际的比例在1的左右不会有太大的波动。根据W上方法可W快速 检测目标圆。采用RANSAC算法进行圆曲线拟合，确定圆屯、。根据圆环面积大小依次排序，找 到圆环间位置对应关系。
[00巧]3位姿解算
[0036] 根据前面图像处理得到的特征参数结合相机标定参数求解相对位姿。如图3所示， 建立图像坐标与空间位置之间的相互关系。Ow表示实物空间坐标系，Oc表示相机坐标系原 点，（u，v)表示成像平面。
[0037] 从Ow坐标系到化，V)成像平面之间的转换关系如公式（1)，即相机成像模型。其中， R和T分别表示相机坐标系和世界坐标系的姿态和位置变换矩阵。f是相机焦距，山和dy是像 元在xy方向上的尺寸。利用提取的合作目标中的圆屯、坐标和相应的相点坐标构成二维成像 平面和S维实物空间匹配点对。结合公式（1)中的相机内外参数矩阵，利用P4P算法进行位 姿解算，得到合作目标的位姿信息。
[00；3 引 (D。
【主权项】
1. 一种单目视觉位姿测量系统，至少包括合作目标模板、位姿图像采集单元、图像处理 单元、电源及显示存储单元，其特征在于:合作目标模板搭载在目标物上，所述的合作目标 模板为四个共面的圆环，且四个圆环的面积大小均不相同；所述的位姿图像采集单元为基 于USB接口的COMS相机，所述COMS相机中包括图像传感部分、信号读出电路和控制电路，图 像传感部分、信号读出电路和控制电路集成在一块芯片上，位姿图像采集单元与图像处理 单元相连接，将位姿图像数据通过USB接口输出至图像处理单元;所述的图像处理单元设置 有用于接收位姿图像数据的USB接口和用于传输数据的网口或串口，所述的图像处理单元 采用TI公司的STM320DM8148硬件平台，其内部集成了ARM和DSP的异构双核处理器；图像处 理单元与显示存储单元连接，所述的电源与图像处理单元连接并给图像处理单元供电。2. 根据权利要求1所述的单目视觉位姿测量系统，其特征在于:所述的显示存储单元为 显示屏加 SD卡，或者为PC端。
【文档编号】G01C21/00GK205692214SQ201620447304
【公开日】2016年11月16日
【申请日】2016年5月17日 公开号201620447304.7, CN 201620447304, CN 205692214 U, CN 205692214U, CN-U-205692214, CN201620447304, CN201620447304.7, CN205692214 U, CN205692214U
【发明人】张莉君, 罗小依, 姜珺, 李能
【申请人】中国地质大学（武汉）