实时视频图像坐标识别系统的制作方法

专利名称：实时视频图像坐标识别系统的制作方法
技术领域：
本申请涉及一种图像坐标识别系统，尤其地，涉及一种基于FPGA的实时视频图像 坐标识别系统，其可进行交互式投影定位。
背景技术：
随着多媒体技术的不断发展，需要对视频图像进行实时的处理，以及同步的坐标 识别及定位，进而进行一些交互式操作。因此，一些相关的处理系统便应运而生。较为常见 的交互式投影定位主要有以下几种方式(1)超声波定位这是基于回音三角定位技术来进行定位，该技术实现难度较小，但是精度比较差， 通常有1 5CM的误差，而且容易受到反射平面上其他物体干扰，所以使用的产品比较少。(2)超声波与红外结合的方式该方式将超声波三角定位和红外超声速度差定位两种方式相结合，是主流的特征 点定位方式。此类方式的优点在于定位比较精确，缺点在于必须安装在投影白板上。这对 于使用投影幕的用户来说不是很方便。(3)激光光电定位方式该方式首先采集激光光点信息，然后通过坐标变换来定位，但要求激光亮度高，光 斑小。(4)红外整列阵列这种技术通过安装红外发射接收器阵列，由特征物体遮挡红外光导致接收器阵列 出现的亮暗变化来定位特征点。但此技术安装比较麻烦，而且对于大尺寸的发射接收器来 说，存在耗电量比较大的问题。(5)基于触摸屏定位将特制的触摸屏安装在白板表面，然后根据压力导致的电压/电容变化确定压力 点位置。但对于大尺寸的交互式投影场合，安装大尺寸触摸屏费用非常昂贵。因而，使用嵌入式系统进行实时的视频图像处理已经成了当前研究的热点课题。 为了实现嵌入式系统的图像处理，现有的方法包括首先将图像数据经过专用处理电路，如 硬件电路模块或专用DSP，进行采集和压缩处理；然后，将处理后的信号传送至嵌入式处理 器以进行相关的处理。然而，采用专用处理电路进行图像数据的采集和压缩处理，虽然能够 较大的提高处理速度，但是由于其增加制造成本、增大电路体积、增大功耗，并且对图像的 处理方式相对固定，难以根据实际需求灵活改变，从而使得上述方式的嵌入式图像处理系 统的应用受到了 一定程度的限制。另一方面，在对视频图像的实时处理时，需要进行有效的坐标识别，从而进行一系 列的相关操作，如人脸识别，车牌识别，定位识别等，进而可在坐标识别的基础上进行一系 列交互式操作，从而可实时的对所采集到的图像进行相关的调整和处理。然而，现有技术中 对视频图像进行的坐标识别通常存在定位精度不够，定位误差较大的问题，从而不能准确有效的进行后续交互式操作。因此，本实用新型提供一种基于FPGA的嵌入式实时视频图像识别系统，其体积 小，功耗低，功能性强，便于携带，可广泛的应用于相应的处理系统中。

实用新型内容本实用新型提供一种基于FPGA的实时视频图像坐标识别系统，其能够高效的进 行实时坐标识别，使得定位误差小于2. 5mm,同时具有功耗低，成本低，体积小，便于携带等 优点。按照本实用新型，提供一种基于FPGA的实时视频图像坐标识别系统，所述系统包 括图像传感器，用于采集视频图像；同步动态随机存取存储器，用于存储采集到的视频图像数据；FPGA嵌入式系统，其中所述FPGA嵌入式系统包括同步动态随机存取存储器控制器，用于控制所述同步动态随机存取存储器的操作；数字信号处理单元，用于对采集到的视频图像数据进行处理；控制单元，用于控制所述FPGA嵌入式系统的操作；USB控制器，用于控制所述FPGA嵌入式系统与外部设备的通信。其中，在视频采集镜头后还安装一红外滤光片，并在在视频图像的采集后，进行视 频采集镜头的畸变校正。其中，所述图像传感器为COMS图像传感器，在所述FPGA嵌入式系统的配置下采集 到的视频图像分辨率为640x480，采集帧率为60帧/秒。其中，所述同步动态随机存取存储器被配置为全页突发模式，采用异步FIFO作为 其与所述FPGA嵌入式系统之间的数据缓冲器。其中，所述数字信号处理单元又包括图像预处理模块和数字识别模块，所述图像 预处理模块对图像进行图像增强、二值化、归一化、细化、数字特征值提取等操作，所述数字 识别模块进行建立数字特征库，模板匹配数字识别等操作。其中，所述USB控制器为FT245BM。因此，所述基于FPGA的实时视频图像坐标识别系统能够有效的进行实时的视频 图像坐标识别，达到较高的识别率和良好的抗噪性能，以进行实时的交互式操作。同时，系 统具有跟踪多个数字特征值的能力，能够实现多点触摸等高级功能。

图1为本实用新型的系统使用场景简图；图2为本实用新型的硬件体系结构图；图3为本实用新型视频采集的光学成像系统简图；图4为本实用新型视频采集镜头的畸变示意图；图5 (a)为本实用新型的SDRAM控制器的设计图；图5(b)为本实用新型的SDRAM控制器的结构图；[0038]图6为最大类间方差法选取阈值的流程图；图7为Hilditch细化算法流程图；图8为本实用新型图像特征点提取流程图；图9为本实用新型的图像预处理流程图；图10为本实用新型的模板匹配数字识别的具体流程图；图11为本实用新型的FT245BM芯片的功能框图。
具体实施方式
下面将结合附图对本实用新型做出更为清楚详细的说明。图1是本实用新型的系统的使用场景简图。其中视频采集处理模块为本实用新型 的核心部分，其能够捕捉投影幕上的图像以及用户使用的笔的笔尖位置，即特征位置。同 时，该视频采集处理模块将上述位置信息转换为鼠标信息，使投影幕变成一个大的“触摸 屏”或者“交互式白板”，用户可以在投影幕上进行绘画、书写、点击等工作。另外，该系统还 具有跟踪多个特征点的能力，能够实现多点触摸等高级功能。下面将详细介绍本实用新型的系统的硬件体系结构。如图2所示，该系统主要包 括图像传感器，FPGA嵌入式系统，SDRAM存储器，以及USB控制器。其中，该系统的核心单元 是FPGA嵌入式系统。通过在FPGA中实现SDRAM控制器，微控制器以及DSP运算单元来实 现图像的捕捉，采集，分析以及对USB控制器和SDRAM的控制与操作。其中，所采用的图像传感器为CMOS图像传感器，其为该系统中数字图像采集模 块的核心。在本实用新型中，采用的是美国OmniVision技术有限公司生产的COMS图像 传感器。该COMS图像传感器集成有诸如曝光控制、伽玛、增益、白色控制、彩色矩阵、彩色 饱和度、色彩控制、窗口等照相功能。能够通过串行I2C/SCCB总线接口编程，通过编程实 现8位和16位格式的输出。OV公司定义和配置了一种串行成像控制总线SCCB(Serial CameraControl Bus)，它是一种3线串行总线，可以控制大多数OV公司的CMOS图像传感 器。为减少芯片封装，SCCB可以在2线串行模式下工作。OV系列传感器可以通过SCCB接 口提供图像的全帧采样，窗口采样，并且可以完全由用户来控制图像质量、格式和输出数据 流。所有的图像处理功能包括曝光控制、gamma、白平衡、色彩饱和度、色调控制等均可通过 SCCB接口编程实现。为了满足互动投影的要求，对采集的图像要求分辨率高，帧数多，并且 需要根据环境设定合理的曝光时间等参数。对图像配置主要是通过FPGA来实现。FPGA接 受COMS图像传感器提供的行同步和帧同步信号，并同时向图像传感器提供数据同步时钟。 FPGA与图像传感器之间有控制信号接口与数据信号接口。其中控制信号接口用于由FPGA 配置COMS图像传感器，包括进行采样速度，图片格式，图片大小，白平衡，增益等的配置。在 该系统中COMS图像传感器采集到的图像的分辨率为640x480，帧率为60帧/秒。实际实验 表明，该配置能满足交互投影定位的要求。至于对曝光时间的控制，需要在视频图像识别工 作前，先预采集一些图片，并对图片中亮度进行柱状直方图分析，根据分析结果，确定曝光 时间的相关参数配置。为了有效提取特征点，本系统使用了近红外发光二极管制作的笔头作为特征点。 如图3所示，为本系统视频采集的光学成像系统简图。可以看到与普通光学系统最大的 不同在于，在镜头透镜组的最后增加了一片红外滤光片。根据实际情况可以选择700nm IOOOnm波长的红外滤片。这里发光二极管可以是任意类型的二极管，但是为了节能，特别选 用了 850nm波长的发光二极管，并配合850nm红外滤光片使用，从而得到了红外成像的原始 图片。另外，为了提供精确的定位，首先需要对采集图像的镜头进行畸变校正，并存储畸 变变形参数，以便对每个特征点的坐标位置进行校正。一般地，镜头畸变分为桶状畸变和枕 状畸变，如图4所示。通常，国内视频采集镜头使用的镜头组产生的畸变为桶状畸变，镜头中心的畸变 通常为0，各点到镜头中心的距离可以使用函数拟合为 R = r (l+ki+^ X r+k3 Xr2......)这里r为点到透镜中心实际距离，R为变形以后点到透镜中心的距离。而k1; k2， k3为变形参数。假设(u，ν)为理想镜头(无任何变形畸变镜头)上像素点。而(■，f)是真实镜头 中对应像素点坐标。同理，设(χ，y)和(A f)分别是理想和真实图像上任意点的标准化坐 标。那么就有 =U + (u-u0)[kl(x2 + y2) + k2(x2 + y2)2]ν =v + (v-v0)[kl(x2 + y2) + k2(x2 + y2)2]在采集系统出厂前，通常使用标准校对图，例如棋盘格图，进行成像状况的校对。 通过校对η张图像中m个特征点的坐标数据，可以得到2mn个方程。这样可以通过线性方 程组求解来使用软件自动计算kl，k2，k3的值，并将值存储在硬件系统中备用。当上述COMS图像传感器采集到所需要的数字视频图像后，先将其存储在SDRAM存 储器中，以供后续的FPGA嵌入式系统进行相关的处理。SDRAM作为大容量、高速度、低价格、 低功耗的存储器件，在嵌入式实时图像处理系统中具有很高的应用价值，但其控制机制复 杂。因此需要设计控制器，以简化系统对SDRAM的访问。虽然目前许多微处理器及DSP都 提供了与SDRAM的直接接口，但这种通用控制器的执行效率很低，难以满足实时系统对速 度的要求。因此，在本系统中，FPGA中有专门的SDRAM控制器，用于控制SDRAM上的数据存 取。如图5(a)所示，所述SDRAM控制器包括片选，时钟，时钟使能，行列地址选择，读 写选择，数据有效等引脚。其具体结构图如图5(b)所示，主要由时钟锁相环模块、初始化模 块、刷新控制模块、数据通路模块、输入/输出FIFO模块、FIFO接口模块和主控制器模块组 成。其中，所述时钟锁相环模块用于将输入时钟倍频为所需要的时钟，并根据电路板布局进 行相移，以保证在时钟上升沿准确的采样命令和数据。所述初始化模块用于由时间、顺序和 个数的控制命令对SDRAM进行初始化配置，并在进程结束后发出ini_end信号，以启动主状 态机。所述刷新控制模块以最长7. 812 μ s的间隔发出刷新请求信号ref_req，并接收主控 制器发出的ref_ack信号，重新刷新计数器。所述数据通路模块用于控制数据的有效输入 /输出。在本系统中，对SDRAM控制器中读写操作的数据连续性要求很高，但读写速度比 较低，而对SDRAM中读写操作的数据连续性并无要求，但读写速度很高。因此需要使用异步 FIFO作为输入/输出缓存。另外，由于在本系统中将SDRAM配置为全页突发模式，为了充分发挥SDRAM高速读写的特点，输入/输出FIFO采用了乒乓操作的流水线结构，其数据宽度 为16b，深度可视系统需要而定，但应大于一次读写的数据长度LENGTH，从而在保证数据连 续性的同时，更能降低低速前端对高速SDRAM访问的影响。现以输入FIFO为例，当某个输 入FIFO写满LENGTH数据时，主控制器从该输入FIFO读出数据写入SDRAM，同时系统向另一 个输入FIFO写入数据。FIFO接口模块的作用是将FIFO的状态信号转换为主控制器的读写请求信号，并 控制切换输入/输出的两个FIFO。以向SDRAM写入数据为例，若某个输入FIFO的写入数 据个数标志信号in_Wr_USed与LENGTH相等，则向主控制器发出写SDRAM请求，并将该输入 FIFO中的LENGTH长度的数据一次写入SDRAM，同时控制系统向另一个输入FIFO写入数据。另外，由于SDRAM支持多种工作模式，将其全部包含在主控制器状态机中会大大 增加设计难度，并降低运行速度。考虑到一些模式在实时图像处理系统中并不需要，所以可 对SDRAM主控制器韵状态进行相应的简化。对于主控制器模块，当SDRAM工作在全页突发模式时，读写操作所访问的 地址将在页内循环，直至收到Burst-I^ermi-nate命令或Pre-charge命令。由于在 Burst-Termi-nate命令后还需发出I^re-charge命令才能保证芯片正常工作。因此设计 采用了 I^re-charge命令终止页模式。为保证LENGTH数据正确读出或写入SDRAM，发出 I^re-charge命令时必须满足一定的时序要求。对于读操作，I^e-charge应在最后一个有 效输出数据之前CL-I时钟发出；对于写操作，Pre-charge应在最后一个有效输入数据之后 tDPL时间发出。当SDRAM中的数据被读入FPGA中后，需要对得到的数字视频图像进行相应的处 理，以获得所需的定位信息。上述处理过程均在FPGA中的数字信号处理单元中完成。其中， 所述数字信号处理又包括图像预处理和数字识别两部分。在图像预处理过程中，需要对得到的数字视频图像进行图像增强、二值化、归一 化、细化、数字特征值提取等操作。首先，进行图像增强操作。图像增强是增强图像中的有用信息，它可以是一个失真 的过程，其目的是改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整 体或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需要。其方法是 通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者 抑制/掩盖图像中某些不需要的特征，使图像与视觉响应特性相匹配。在图像增强过程中， 不分析图像降质的原因，处理后的图像不一定逼近原始图像。图像增强技术根据增强处理 过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法 处理时直接对图像灰度级做运算，具有代表性的有局部求平均值法和中值滤波法等，它们 可用于去除或减弱噪声；基于频域的算法是在图像的某种变换域内对图像的变换系数值进 行某种修正，是一种间接增强的算法。具体的基于频域的算法把图像看成一种二维信号，对 其进行基于二维傅里叶变换的信号增强。其中，采用低通滤波法，可去掉图中的噪声；采用 高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具体地，基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级 校正、灰度变换和直方图修正等，目的是使图像成像均勻，或扩大图像动态范围，扩展对比 度。邻域去噪算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓，便 于目标识别，常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。上述处理之后，需要对图像进行二值化处理。二值化就是为了使整个图像呈现 出明显的黑白效果，而让图像上的所有点的灰度值只用两种可能表示，即不是“0”就为 “255”。二值化的最终目的为在原图像中反映图像结构的灰度值差别经映射后被保留，而不 反映图像结构的灰度值抖动被消除，从而最终得到的只是构成字符图像的关键信息。二值 化的关键步骤是确定阈值，而确定阈值主要分为两种方法定阀值法和自适应阈值。其中定 阈值法思想简单，实现起来也比较容易。首先对灰度图像进行扫描，根据得到图像中点的亮 度情况，自动地设定一个阀值。比如说，想使图像中70%的点的颜色是黑色的，那么这个阀 值就应该取整个图像中所有像素亮度值排序中的70%位置上的亮度值，高于这个值的就认 为是“255”，即白色，低于这个值就认为是“0”，即黑色。一般来说，它要求在设定之前对整 个图像的亮度有大致地了解。但这种办法局限性大，使用面窄。实际应用中，文件中的颜色 千差万别，用定阈值的方法可能得到的结果就是黑黑的一片或者白茫茫一片。所以自适应 的阈值选定法得到了更为广泛的研究和应用。其主要利用直方图进行相应的选定。直方图 是一种集合图形表，是根据图像中各个灰度的点的数量分布情况，以组距为底边、以频数为 高度的一系列连接起来的直方型矩形图。实际上就是利用了统计的思想，统计的越详细越 容易确定这个最优阈值。通常，在直方图中，较黑的部分和较白的部分中间行成一个波谷， 这个波谷的值就是阈值的最佳值。实际上自适应的方法全部是基于统计学的结果，主要的 选取方法有极小值点阈值、最优阈值、最大类间方差法阈值。在本系统中，采用的是最大类间方差法。由Ostu提出的最大类间方差法，算法简 单、稳定有效，是一种受到普遍欢迎的阈值选取方法。其基本思路是将直方图在某一阈值处 分割成两组，当被分成的两组的方差为最大时，得到阈值。因为方差是灰度分布均勻性的一 种量度，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景 错分为目标都会导致两部分差别变小。因此，类间方差最大的分割意味着错分概率最小。如图6所示，即为最大类间方差法的流程图。以一幅灰度值为1 M级，灰度值为 i的像素数为Iii的图像为例，我们可以得到
M总像素数=
i=l各灰度值出现的概率Pi = ni/N设灰度门限值为k，则图像像素按灰度级被分为两类
权利要求1.一种实时视频图像坐标识别系统，其特征在于，所述系统包括 图像传感器，用于采集视频图像；同步动态随机存取存储器，用于存储采集到的视频图像数据； FPGA嵌入式系统，其中所述FPGA嵌入式系统包括同步动态随机存取存储器控制器，用于控制所述同步动态随机存取存储器的操作；数字信号处理单元，用于对采集到的视频图像数据进行处理；控制单元，用于控制所述FPGA嵌入式系统的操作；USB控制器，用于控制所述FPGA嵌入式系统与外部设备的通信。
2.根据权利要求1所述的实时视频图像坐标识别系统，其特征在于，还包含一视频采 集镜头，在所述视频采集镜头后还安装一红外滤光片，用于在视频图像的采集后，进行视频 采集镜头的畸变校正。
3.根据权利要求1所述的实时视频图像坐标识别系统，其特征在于，所述图像传感器 为在所述FPGA嵌入式系统的配置下采集分辨率为640x480，帧率为60帧/秒的视频图像的 COMS图像传感器。
4.根据权利要求1所述的实时视频图像坐标识别系统，所述USB控制器为FT245BM。
专利摘要本实用新型涉及一种实时视频图像坐标识别系统，包括图像传感器，FPGA嵌入式系统，SDRAM存储器以及USB控制器。通过进行实时视频采集、视频分析、捕获特征点，特征点位置坐标变换与计算机通信等一系列工作，实现了对数字视频图像的实时坐标识别以及交互式操作。本实用新型具有很好的定位精度，定位误差小于2.5mm，同时具有功耗低，成本低，体积小，便于携带等优点。
文档编号G06F3/042GK201853209SQ20102015936
公开日2011年6月1日 申请日期2010年4月15日 优先权日2010年4月15日
发明者国海欣, 屠斌杰, 彭超然, 徐睿, 高俊华 申请人:上海天派无线科技有限公司