一种基于FPGA的盲人视觉辅助装置

本发明涉及计算机视觉与传感器，具体涉及一种基于fpga的盲人视觉辅助装置。

背景技术：

1、随着计算机、人工智能以及思维科学研究的不断发展，人们对于人工智能的需求也越来越强烈，解决人的需求，减少或辅助人的工作与生活成为人工智能研究的重要方向。盲人作为社会中的一种弱势群体，视力障碍给生活带来了诸多不便，同时，全球视力障碍者的数量也在急剧上升，这更需要人工智能技术对视力障碍群体的生活出行提供帮助和便利。

2、针对目前国内在盲人视觉辅助这一领域的研究仍处于测试或研发阶段，同时传统基于软件平台的图像处理系统已经很难满足要求，再加上图像处理算法的天然并行性，fpga的加入给盲人视觉辅助装置处理带来了新的活力，fpga能进行实时流水线运算来达到最高的实时性，很大程度上确保盲人出行的安全和便利。

技术实现思路

1、为了解决上述技术问题，本发明的技术方案是：一种基于fpga的盲人视觉辅助装置，包括ov7725摄像头模块、视频采集模块、图像处理模块、fpga控制模块、sdram控制模块、电源模块、jtag下载模块、vga显示模块、hc-sr04超声波模块和ys-m3语音播报模块。其结构特点在于：

2、优选的，所述摄像头模块采用ov7725，ov7725是一款体积小、工作电压低的cmos类型数字图像传感器，它支持使用vga时序输出图像数据，并采用bga封装形式，分别与摄像头配置模块、视频采集模块、时钟分频模块相连；

3、优选的，所述时钟分频模块通过锁相环对系统时钟进行分频来产生使ov7725正常工作的25mhz时钟，与摄像头模块相连；

4、优选的，所述摄像头配置模块分别对摄像头进行时序约束、初始化和寄存器配置，使摄像头能在约定时序下正常工作，所述摄像头配置模块与摄像头模块相连；

5、优选的，所述视频采集模块将采集到的图像信息转化为16bit的数据格式，方便后续的数据存储和程序处理，所述视频采集模块与摄像头模块和sdram读写控制模块相连；

6、优选的，所述sdram控制模块采用的是容量为128mb的w9812g6kh-6芯片,包括sdram存储模块和sdram读写模块，所述sdram存储模块用来存储采集的图像数据以及进行vga显示的图像数据，所述sdram读写模块用来控制sdram的初始化、自刷新、读写数据操作，所述sdram控制模块与视频采集模块和图像处理模块相连；

7、优选的，所述电源模块，外接5v直流电源，通过lm1117芯片将5v电源转换成3.3v电压；使用ncp1529型专用dc-dc降压器，转换成输出为2.5v和1.2v的电源；其中2.5v电源为pll时钟电路和jtag下载模块供电，1.2v为fpga内核供电；

8、优选的，所述jtag下载模块，用于向fpga中下载程序或向flash中固化程序。

9、优选的，所述vga显示模块，用于把sdram中存储的经过图像处理单元进行处理后的图像数据读出，并传送到vga显示器上显示；

10、优选的，所述图像处理模块包括盲道识别模块、改进的斑马线识别模块、改进的交通灯识别模块、改进的偏离检测模块四个功能模块，分别与sdram控制模块、语音播报模块和vga显示模块相连；

11、优选的，所述盲道识别模块是对盲道图像采用基于h色相的识别算法，将盲道图像转换到hsv空间，利用h分量提取盲道颜色区域，再进行sobel边缘检测以及形态学滤波，最终确定盲道区域并加框进行vga视频显示；

12、优选的，所述改进的斑马线识别模块是对斑马线图像依次做灰度化、底帽变换、sobel边缘检测、hough直线检测、直线角度筛选、直线宽度筛选以及直线间隔筛选等算法的处理，其中直线筛选是选出直线角度大于等于0°且小于20°、直线宽度大于125像素且小于等于640像素、直线间隔大于等于9像素且小于57像素的直线，消除了车道线对识别结果的干扰，底帽变换运算是将原图像减去它的闭运算的结果，可以消除光照不均匀的干扰，最后匹配出斑马线区域进而进行将识别结果进行vga填充显示；

13、优选的，所述改进的交通灯识别模块是对交通灯进行图像依次做灰度化、顶帽变换、sobel边缘检测、形态学滤波、区域定位以及hsv颜色识别等算法的处理，其中顶帽变换运算是将原图像减去它的开运算的结果，突出图像中较亮的位置，更有利于提取交通灯区域，最后识别交通灯颜色并进行vga填充显示；

14、优选的，所述改进的偏离检测模块是判断盲人行走在盲道区域或斑马线区域时是否偏离行走，所述改进的偏离检测模块对斑马线进行基于hough变换的角度检测进而判断方向是否偏离，采用hough直线检测算法检测斑马线与图像横轴的夹角，使得斑马线区域偏离限制在12°以内，如果直线与横轴夹角大于12°，则判定偏离；所述改进的偏离检测模块对盲道区域进行基于像素计数的检测进而判断方向是否偏离，使得盲道区域偏离限制在单边像素计数不大于另一边的1.5倍，如果单边区域像素计数大于另一边的1.5倍，则判定偏离；

15、优选的，所述超声波模块采用4引脚的hc-sr04传感器，探测精度高达0.2cm，将5次测量结果取平均进行运算，误差小且精度高，该模块用于检测前方是否有障碍物，所述超声波模块与外部hc-sr04传感器相连；

16、优选的，所述语音播报模块采用是ys-m3语音播放芯片，采用mp3格式的语音播放以及通过编码触发方式进行声音选择，所述ys-m3语音芯片外接2w、8ω的扬声器，用以语音播放，所示语音播报模块与图像处理模块和外部的ys-m3芯片相连；

17、优选的，所述的改进的斑马线识别模块，其特征在于，fpga主控器通过ov7725摄像头采集的斑马线图像，改进的斑马线识别模块对图像依次做灰度化、底帽变换、sobel边缘检测、hough直线检测、直线角度筛选、直线宽度筛选以及直线间隔筛选等算法的处理，最后匹配出斑马线区域进而进行将识别结果进行vga填充显示，所述改进的斑马线识别模块与语音播报模块、vga显示模块相连以及sdram控制模块相连；

18、优选的，所述的改进的交通灯识别模块，其特征在于，fpga主控器通过ov7725摄像头采集的交通灯图像，改进的交通灯识别模块对图像依次做灰度化、顶帽变换、sobel边缘检测、形态学滤波、区域定位以及hsv颜色识别等算法的处理，最后识别交通灯颜色并进行vga填充显示，所述改进的交通灯识别模块与语音播报模块、vga显示模块以及sdram控制模块相连；

19、优选的，所述的改进的偏离检测模块，其特征在于，fpga主控器通过ov7725摄像头采集的斑马线或盲道图像，改进的偏离检测模块对斑马线进行基于hough变换的角度检测进而判断方向是否偏离，对盲道进行基于像素计数的检测进而判断方向是否偏离，所述改进的偏离检测模块与语音播报模块、sdram控制模块相连；

20、一种基于fpga的盲人视觉辅助装置，包括如下的运行进程：

21、系统上电以后，通过jtag模块将.sof文件下载到fpga芯片中，此时摄像头初始化完成、寄存器配置成功，摄像头模块将图像数据转换为16bit的数据格式；

22、由于芯片内部的存储ram容量有限，需将格式为16bit的图像数据存入sdram中方便fpga芯片调用处理；

23、图像处理模块从sdram中调取图像数据流进行盲道、斑马线、交通灯三种场景的识别处理并进行偏离方向的检测，将处理后的图像送往vga模块进行vga显示，将不同输出的语音控制信号输出到语音播放模块进行不同的语音提醒；

24、自系统上电以后，超声波模块hc-sr04开始工作，对前方障碍物距离进行检测，当距离小于设定距离时，将报警信号传给震动马达进行震动提醒；

25、当按下系统的复位按键时，摄像头模块进行初始化，并重新进行上述运行进程；

26、本发明具有积极的效果：(1)本发明的一种基于fpga的盲人视觉辅助装置对盲人日常来往频繁的三种场景：盲道、斑马线、交通灯进行了改进的区域识别并加框填充，同时将识别效果显示到vga显示器上，便于直观观测系统的识别效果。(2)本发明的一种基于fpga的盲人视觉辅助装置，采取改进的偏离检测方法，提升了方向偏离的检测精度，限制用户在斑马线区域偏离的角度不大于12°或在盲道区域单边像素计数不大于另一边的1.5倍，当盲人行走在盲道和斑马线区域时，判别行走路线是否偏离区域并进行语音提示，极大程度上降低了盲人出行的危险系数。(3)本发明的一种基于fpga的盲人视觉辅助装置，采用了个性定制化设计，用户可以根据自我需求自行更改检测障碍物的报警距离，以及可以根据个人喜好自行录入定制音频至tf卡中，插入语音芯片即可更换。