专利名称：用于高清画面手写段落识别、自动追踪放大的系统的制作方法
技术领域：
本实用新型涉及自动化控制领域，更具体的说，本实用新型是关于视力辅助设备 的非机械的一种用于高清画面手写段落识别、自动追踪放大的系统。
背景技术：
阅读与写字是正常人的生活不可或缺的一部分。然而，对于视力障碍者来说，能像 正常人一样进行读写几乎成了一种奢望。以往在低视力患者看黑板，看书，写作业等日常工 作中，要利用很多复杂不便的工具才能进行。以往的视力辅助设备，必须通过使用者的手去 移动设备，移到自己想要看到的信息上才能将所需信息放大。以看黑板举例说明，以往的视 力辅助设备，视力障碍者必须一点一点移动设备来阅读，移动错位的情况经常发生，对于使 用者来说不仅增加了工作量，而且阅读效率也低。再如手写时，视力障碍者必须一边写一边 移动设备，相当不便。还有一种自动跟踪的设计是采用机械马达控制镜头自动追踪，不过也 并未用于助视设备上，这种设计的问题在于成本高，控制难度大，而且容易损坏。中国专利局于1986年8月27日公开了一份CN85109313A号文献，名称为视力辅 助器即阅读辅助器，该辅助器有一个夹持器具，夹持器具在其两端各配置一个可转动的视 力辅助器腿，此外，夹持器具在中间有一个用以安放在使用者鼻梁上的支座件，并固定有 两块可由使用者移动和更换的透镜，这样，使用者可以根据各自的情况选用适当的中间支 座件，并自行组装不同焦距的透镜，透镜只要沿着夹持器具移动，就可容易地与眼睛的孔 距相匹配。该辅助器的缺点是，对视力障碍者来说，用透镜已不能解决问题，并且也不能自 动地跟踪显示设备当前所显示的内容。
发明内容本实用新型为解决现有技术中存在的只能用手或机械的方法进行显示内容放大 及追踪的缺点，提供了一种非机械的用于高清画面手写段落识别、自动追踪放大的系统。本实用新型解决其技术问题所采用的技术方案是本实用新型包括用于高清画面 手写段落识别、自动追踪放大的方法，包括以下步骤A.视频采集；B.对视频采集的图像进行模式识别；C.判断是否为手写；D.如是手写，则进行人手及笔尖定位模型，如果不是，则跳过该步骤；E.区域选取及放大；F.视频输出。摄像头采集视频图像，进入模式识别模块，图像匹配模块将不同成像条件下的两 幅或多幅图像进行叠力Π、拼接、对准、匹配等操作，以矫正图像之间的平移、缩放、旋转、扭曲 等几何差异和灰度差异，寻找差异，然后将各类像素点区分出来；经过上述的一系列图像处 理，判断出是否为手写；如是手写，对人手及笔尖进行定位和跟踪，并且将所选择区域进行放大；如果不是，则直接通过图像放大器对图像进行区域选取和放大，最后将放大后的图像 通过图像显示器输出显示出来。进一步地，视频采集包括a.视频采集高清图像；b.对采集的高清图像进行预处理。摄像头模组采集高清视频图像，存储器存储摄像头模组采集进来的高清图像，图 像处理器在从存储器读出的图像进行分析，首先对采集进来的图像进行预处理，消除图像 中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从 而改进特征抽取、图像分割、匹配和识别的可靠性；预处理过程一般有数字化、几何变换、归 一化、平滑、复原和增强等步骤。进一步地，对视频采集的图像进行模式识别包括c.从预处理后的输入模式中抽取一组特征；d.特征抽取后进行分类；e.根据不同的特征进行处理判断。完成图像预处理后，进入模式识别模块，模式识别模块首先进行特征提取和选择， 从预处理后的输入模式中抽取一组特征，特征抽取过程将输入模式从对象空间映射到特征 空间；这时，模式可用特征空间中的一个点或一个特征矢量表示，这种映射不仅压缩了信息 量，而且易于分类；特征抽取后进行分类，即从特征空间再映射到决策空间；为此而引入鉴 别函数，由特征矢量计算出相应于各类别的鉴别函数值，通过鉴别函数值的比较实行分类； 分类后，根据不同的特征，可以选择通过人工神经网络识别、图像匹配和向量机识别模型进 行处理；人工神经网络识别模块将若干处理单元(即神经元)通过一定的互连模型连成一个 网络，这个网络通过一定的机制(如BP网络)可以模仿人的神经系统的动作过程，以达到识 别分类的目的；图像匹配模块将不同成像条件下的两幅或多幅图像进行叠加、拼接、对准、 匹配等操作，以矫正图像之间的平移、缩放、旋转、扭曲等几何差异和灰度差异，向量机识别 模型寻找图像像素之间的特征的差别，即从像素点本身的特征和周围的环境(临近的像素 点)出发，寻找差异，然后将各类像素点区分出来。本实用新型提供了用本方法实现的用于高清画面手写段落识别、自动追踪放大的 系统，包括控制单元、图像输入单元、图像预处理单元、模式识别单元、定位追踪单元、图像 放大单元、图像显示单元、存储单元，控制单元分别与图像输入单元、图像预处理单元、模式 识别单元、定位追踪单元、图像放大单元、图像显示单元相连，图像输入单元与存储单元，图 像预处理单元分别与模式识别单元及存储单元相连，模式识别单元与定位追踪单元相连， 定位追踪单元与图像放大单元相连，图像放大单元与图像显示单元、存储单元相连。控制单 元负责对整个系统的控制，图像输入单元负责视频采集高清图像，图像预处理单元负责对 采集的高清图像进行预处理，模式识别单元负责从预处理后的输入模式中抽取一组特征， 特征抽取后进行分类，根据不同的特征进行处理判断，定位追踪单元负责人手及笔尖的定 位，图像放大单元负责区域选取及放大，图像显示单元负责视频输出，存储单元负责图像预 处理前的图像存储。作为优选，控制单元包括控制器模块、系统流程控制模块、图像及语音输出控制模 块、按键，按键与控制器模块相连，系统流程控制模块与控制器模块、图像及语音输出控制模块相连。控制器模块，其主要功能是接受使用者的指令，并将这一指令通过电路板传送到 系统控制模块中去，使用者在阅读过程中的任何控制命令都由按键，经过控制器模块的编 码，系统流程控制模块负责控制整个系统的运行，并发送当前系统运行状态给图像及语音 输出控制模块；图像及语音控制模块，其主要功能是合成当前系统运行状态的图像，从而提 示用户当前系统运行到哪一个状态，图像提示对于视障人士使用者是非常重要的。作为优选，图像输入单元包括镜头模块、数字取像模块、A/D转换模块，镜头模块通 过数字取像模块与A/D转换模块相连。在工作时镜头模块收集光线进入感应光强度的感应 区数字取像模块，再由A/D转换模块将图像和声音等模拟信号转换成数字信号进入下一环 节。作为优选，图像预处理单元包括自动曝光控制模块、自动增益控制模块、自动白平 衡控制模块、自动亮度控制模块、颜色饱和度控制模块、色调控制模块、锐度控制模块、伽马 校正控制模块、图像质量显示模块，自动曝光控制模块与自动增益控制模块、自动白平衡控 制模块和自动亮度控制模块相连，自动亮度控制模块与颜色饱和度控制模块相连接，颜色 饱和度控制模块与色调控制模块、锐度控制模块、伽马校正控制模块相连接，伽马校正控制 模块与图像质量显示模块相连接。图像预处理单元的作用主要是消除图像中无关的信息， 恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽 取、图像分割、匹配和识别的可靠性，预处理过程一般有数字化、几何变换、归一化、平滑、复 原和增强等步骤。作为优选，模式识别单元包括特征提取和选择模块，人工神经网络识别模块，模板 匹配模块，向量机识别模型模块，特征提取和选择模块分别与人工神经网络识别模块，模板 匹配模块、向量机识别模型模块相连。首先，从预处理后的输入模式中抽取一组特征，特征 抽取过程将输入模式从对象空间映射到特征空间；这时，模式可用特征空间中的一个点或 一个特征矢量表示，这种映射不仅压缩了信息量，而且易于分类；特征抽取后进行分类，即 从特征空间再映射到决策空间，为此而引入鉴别函数，由特征矢量计算出相应于各类别的 鉴别函数值，通过鉴别函数值的比较实行分类；分类后，根据不同的特征，可以选择通过人 工神经网络识别、图像匹配和向量机识别模型进行处理，人工神经网络识别模块将若干处 理单元(即神经元)通过一定的互连模型连成一个网络，这个网络通过一定的机制(如BP网 络)可以模仿人的神经系统的动作过程，以达到识别分类的目的。图像匹配模块将不同成 像条件下的两幅或多幅图像进行叠加、拼接、对准、匹配等操作，以矫正图像之间的平移、缩 放、旋转、扭曲等几何差异和灰度差异；向量机识别模型寻找图像像素之间的特征的差别， 即从像素点本身的特征和周围的环境(临近的像素点出发)，寻找差异，然后将各类像素点 区分出来，经过图像处理器上述的一系列图像处理，判断出是否为手写，如果是手写，则启 用定位跟踪器，如果不是，则直接进入图像放大器放大。本实用新型的有益效果是能自动对显示的内容进行类型判别，当手写时能对手 及笔尖自动进行跟踪放大，对一般文字或图片自动进行放大，具有人工智能的效果，操作方 便，系统成本较低。
图1是本实用新型的一种流程5[0029]图2是本实用新型的一种系统框图；图3是本实用新型的控制单元的一种结构框图；图4是本实用新型的图像输入单元的一种结构框图；图5是本实用新型的图像预处理单元的一种结构框图；图6是本实用新型的模式识别单元的一种结构框图。
具体实施方式
下面通过具体实施例，并结合附图对本实用新型的技术方案作进一步具体的说 明。实施例本实施例的用于高清画面手写段落识别、自动追踪放大的方法，参见图1，包括 视频采集高清图像；对采集的高清图像进行预处理；从预处理后的输入模式中抽取一组特征；特征抽取后进行分类；根据不同的特征进行处理判断； 对视频采集的图像进行模式识别；判断是否为手写；如是手写，则进行人手及笔尖定位模型，如果不是，则跳过该步骤；区域选取及放大；视频输出。摄像头采集高清视频图像，图像处理器读出的图像进行分析，首先对采集进来的 图像进行预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性 和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性；预处理过程 一般有数字化、几何变换、归一化、平滑、复原和增强等步骤；完成图像预处理后，进入模式 识别模块；模式识别模块首先进行特征提取和选择，从预处理后的输入模式中抽取一组特 征，特征抽取过程将输入模式从对象空间映射到特征空间；这时，模式可用特征空间中的一 个点或一个特征矢量表示；这种映射不仅压缩了信息量，而且易于分类；特征抽取后进行 分类，即从特征空间再映射到决策空间；为此而引入鉴别函数，由特征矢量计算出相应于各 类别的鉴别函数值，通过鉴别函数值的比较实行分类。分类后，根据不同的特征，可以选择 通过人工神经网络识别、图像匹配和向量机识别模型进行处理；人工神经网络识别模块将 若干处理单元(即神经元)通过一定的互连模型连成一个网络，这个网络通过一定的机制 (如BP网络)可以模仿人的神经系统的动作过程，以达到识别分类的目的；图像匹配模块将 不同成像条件下的两幅或多幅图像进行叠加、拼接、对准、匹配等操作，以矫正图像之间的 平移、缩放、旋转、扭曲等几何差异和灰度差异；向量机识别模型寻找图像像素之间的特征 的差别，即从像素点本身的特征和周围的环境(临近的像素点)出发，寻找差异，然后将各类 像素点区分出来。经过图像处理器上述的一系列图像处理，判断出是否为手写；如是手写， 跟踪器对人手及笔尖进行定位和跟踪，并且告诉图像放大器所需选择和放大的区域；如果 不是，则直接通过图像放大器对图像进行区域选取和放大，最后将放大后的图像通过图像
6显示器输出显示出来。用本方法实现的用于高清画面手写段落识别、自动追踪放大的系统，参见图2，包 括控制单元、图像输入单元、图像预处理单元、模式识别单元、定位追踪单元、图像放大单 元、图像显示单元、存储单元，控制单元分别与图像输入单元、图像预处理单元、模式识别单 元、定位追踪单元、图像放大单元、图像显示单元相连，图像输入单元与存储单元，图像预处 理单元分别与模式识别单元及存储单元相连，模式识别单元与定位追踪单元相连，定位追 踪单元与图像放大单元相连，图像放大单元与图像显示单元、存储单元相连。参见图3，控制单元包括控制器模块、系统流程控制模块、图像输出控制模块、按 键，按键与控制器模块相连，系统流程控制模块与控制器模块、图像输出控制模块相连。其 中控制器模块，其主要功能是接受使用者的指令，并将这一指令通过电路板传送到系统控 制模块中去。在本实施例中，按键共有8个，控制8个命令，每一个命令对应一个按键，分别 是电源键、复位键、照明键、定格键、增加键、减小键、设置键和模式键，使用者在阅读过程中 的任何控制命令都由按键，经过系统控制模块的编码，系统流程控制模块负责控制整个系 统的运行，并发送当前系统运行状态给图像输出控制模块；图像输出控制模块主要功能是 合成当前系统运行状态的图像，从而提示用户当前系统运行到哪一个状态；图像提示对于 视障人士使用者是非常重要的；在本实施例中，系统流程控制模块和图像输出控制模块均 基于TI公司出品的TMS320DM6437ZWT6实现。参见图4，图像输入单元包括镜头模块、数字取像模块、A/D转换模块，镜头模块通 过数字取像模块与A/D转换模块相连；在工作时镜头模块收集光线进入感应光强度的感应 区数字取像模块，再由A/D转换模块将图像和声音等模拟信号转换成数字信号进入下一环 节；本实施例中，镜头模块是由光学成像镜头模块依序为防杂散光的防炫环、光学镜头、IR 滤光镜、影像传感器的盖玻片、CMOS影像传感器和CMOS图像传感器器件组成；数字取像模 块和A/D转换模块采用OmniVision Technologies公司出品的800万像素的高清CMOS摄 像头模组0V88XX系列的0V8812-A67A。参见图5，图像预处理单元包括自动曝光控制模块、自动增益控制模块、自动白平 衡控制模块、自动亮度控制模块、颜色饱和度控制模块、色调控制模块、锐度控制模块、伽马 校正控制模块、图像质量显示模块，自动曝光控制模块与自动增益控制模块、自动白平衡控 制模块和自动亮度控制模块相连，自动亮度控制模块与颜色饱和度控制模块相连接，颜色 饱和度控制模块与色调控制模块、锐度控制模块、伽马校正控制模块相连接，伽马校正控制 模块与图像质量显示模块相连接。图像预处理单元消除图像中无关的信息，恢复有用的真 实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、 匹配和识别的可靠性；预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强等步 马聚ο参见图6，模式识别单元包括特征提取和选择模块，人工神经网络识别模块，模板 匹配模块，向量机识别模型模块，特征提取和选择模块分别与人工神经网络识别模块，模板 匹配模块、向量机识别模型模块相连。首先，从预处理后的输入模式中抽取一组特征，特征 抽取过程将输入模式从对象空间映射到特征空间；这时，模式可用特征空间中的一个点或 一个特征矢量表示，这种映射不仅压缩了信息量，而且易于分类；特征抽取后进行分类，即 从特征空间再映射到决策空间，为此而引入鉴别函数，由特征矢量计算出相应于各类别的鉴别函数值，通过鉴别函数值的比较实行分类，分类后，根据不同的特征，可以选择通过人 工神经网络识别、图像匹配和向量机识别模块进行处理。人工神经网络识别模块将若干处 理单元(即神经元)通过一定的互连模型连成一个网络，这个网络通过一定的机制(如BP网 络)可以模仿人的神经系统的动作过程，以达到识别分类的目的。定位追踪单元根据字符的结构特征来判断断点的位置；结构特征可以准确的描述 待识别字符的几何特征，同时受噪声和变形的影响较小，因此基于结构的识别方法是文字 识别的一种有力工具；结构特征通常包括特征点、笔画、线段等；常用的结构特征有笔划 的走向、孤立的点，以及是否含有闭合笔画等；当定位跟踪模块识别到笔画的断点的时候， 则将图像定位在断点位置；随着断点的变化，图像定位也随之而变。图像放大单元也是由TI公司出品的TMS320DM6437ZWT6实现的，通过光学放大与 数字放大两种方式，选择中心区域，进行放大。图像显示单元采用奇信公司出品的LR430LC9001，该数字液晶屏将经由图像放大 单元放大后的图像显示在屏幕上。在本实施例中，图像预处理单元、模式识别单元、定位跟踪单元以及图像放大单元 均基于TI公司的TMS320DM6437ZWT6芯片实现。存储单元由ST存储器nand flash memory NAND512W3A2BN6E 和 HYNIX 存储器 HY57V281620HCT-H 实现。以上的实施例只是本实用新型的最佳方案之一，并非对本实用新型作任何形式上 的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
权利要求一种用于高清画面手写段落识别、自动追踪放大的系统，其特征在于包括控制单元、图像输入单元、图像预处理单元、模式识别单元、定位追踪单元、图像放大单元、图像显示单元、存储单元，所述控制单元分别与图像输入单元、图像预处理单元、模式识别单元、定位追踪单元、图像放大单元、图像显示单元相连，图像输入单元与存储单元，图像预处理单元分别与模式识别单元及存储单元相连，模式识别单元与定位追踪单元相连，定位追踪单元与图像放大单元相连，图像放大单元与图像显示单元、存储单元相连。
2.根据权利要求1所述的用于高清画面手写段落识别、自动追踪放大的系统，其特征 在于所述的控制单元包括控制器模块、系统流程控制模块、图像输出控制模块、按键，所述 按键与控制器模块相连，系统流程控制模块与控制器模块、图像输出控制模块相连。
3.根据权利要求1或2所述的用于高清画面手写段落识别、自动追踪放大的系统，其特 征在于所述图像输入单元包括镜头模块、数字取像模块、A/D转换模块，所述的镜头模块 通过数字取像模块与A/D转换模块相连。
4.根据权利要求1或2所述的用于高清画面手写段落识别、自动追踪放大的系统，其特 征在于所述图像预处理单元包括自动曝光控制模块、自动增益控制模块、自动白平衡控制 模块、自动亮度控制模块、颜色饱和度控制模块、色调控制模块、锐度控制模块、伽马校正控 制模块、图像质量显示模块，所述的自动曝光控制模块与自动增益控制模块、自动白平衡控 制模块和自动亮度控制模块相连，自动亮度控制模块与颜色饱和度控制模块相连接，颜色 饱和度控制模块与色调控制模块、锐度控制模块、伽马校正控制模块相连接，伽马校正控制 模块与图像质量显示模块相连接。
5.根据权利要求1或2所述的用于高清画面手写段落识别、自动追踪放大的系统，其特 征在于所述模式识别单元包括特征提取和选择模块，人工神经网络识别模块，模板匹配模 块，向量机识别模型模块，所述的特征提取和选择模块分别与人工神经网络识别模块，模板 匹配模块、向量机识别模型模块相连。
专利摘要本实用新型涉及一种用于高清画面手写段落识别、自动追踪放大的系统，目的是解决现有技术中存在的只能用手或机械的方法进行显示内容放大及追踪的缺点，包括控制单元、图像输入单元、图像预处理单元、模式识别单元、定位追踪单元、图像放大单元、图像显示单元、存储单元；本系统能自动对显示的内容进行类型判别，当手写时能对手及笔尖自动进行跟踪放大，对一般文字或图片自动进行放大，具有人工智能的效果，操作方便，系统成本较低。
文档编号G06K9/68GK201749481SQ201020183860
公开日2011年2月16日 申请日期2010年5月10日 优先权日2010年5月10日
发明者蒋清晓 申请人:蒋清晓