一种盲人辅助阅读设备和方法

本发明属于嵌入式系统设计以及计算机文字识别领域的盲人阅读设备，尤其涉及一种盲人辅助阅读设备和方法。

背景技术：

1、中国有世界数量最大的盲人群体，盲人数超800万，占世界失明人口的20％。但与庞大的盲人群体形成对照的是长期存在的无障碍建设规范化不足，尤其是盲人对于现代社会新技术新科技以及各种信息的获取的困难。

2、盲人在日常生活中的主要阅读方式是盲文，虽然对于学习了盲文阅读方式的盲人来说，阅读盲文也可以很便捷，但是阅读盲文的前提是有专门位盲文配套的书籍。就目前来看，我国对于盲文书记的配套仍然十分缺乏，盲人的可阅读的读物相对于视力健全的人来说仍十分匮乏，同时盲文书籍具有体积大、重量重和不易制作等缺点，让盲人在阅读上更加困难。

3、目前盲人群体获取知识阅读书籍的一个方法是听书机，由政府发放并且与各大图书馆的电子馆藏相连通，读者通过听书机的语音提示可以收听来自电子图书馆录制好的馆藏图书，其数量十分丰富。这种方法一定程度上满足了盲人群体对于阅读图书的需求但同时也存在缺点，那就是听书的范围局限于图书馆已经录制好的馆藏图书，虽然内容已经十分庞大，但对于日常生活中的文字，比如文件、产品包装、广告牌等等都无法阅读，具有一定的局限性。

4、另一种将纸面文字转换成声音的方法是点读笔，其能够将笔尖点到的位置的文字进行朗读，但是这种设备需要准确地将文字放在扫描区域内，每次只能扫描一行，造成盲人无法确定扫描的位置是否正确的问题，可能会出现扫描偏离、重复扫描等问题，同时这类产品也存在价格昂贵的缺点。

5、现有专利技术已经存在针对于盲人的文字朗读技术，其中接近本发明的现有专利技术之一是申请号cn202021018989.6的中国专利。其公开了盲人辅助阅读戒指，与上位机连接，盲人通过手指佩戴戒指采集文本信息发往上位机，上位机进行文本的朗读。该方法存在的缺陷是：1)产品虽然本身小巧，但是图像采集器通过usb数据线连接上位机，并且自身不配备电池，只能围绕上位机周围进行阅读，上位机相对笨重因此无法随意移动，这造成了阅读的困难；2)产品采用逐行图像采集识别的方法，用户食指戴上该盲人辅助阅读戒指，用指尖从左到右扫指每一行文本，指尖指中词汇时，用户可听到上位机的语音播报，当指尖偏离文本向上或向下时，用户可感受到手指上方或手指下方的周期性振动，此时需要将手指些许上移或下移至振动停止；当指尖指向文本行末尾时，可感受到手指上下方同时周期性振动，此时需要换行。虽然此方法可以保证盲人在阅读某一行时不偏离，但是由于盲人看不到每一行的位置，所以在寻找要读的字行是有很大的困难，可能会造成很长时间都找不到正确的位置的情况。

技术实现思路

1、为了解决背景技术中存在的问题，本发明所提供一种盲人辅助阅读设备和方法，用以帮助盲人等视障人士阅读生活中的传统纸质书籍、文件、商品包装以及其他文字，并且具有使用便捷性、高性价比以及高识别率。

2、本发明采用的技术方案是：

3、一、一种盲人辅助阅读设备

4、盲人辅助阅读设备包括外壳、电源、单片机处理器、语音播报芯片、喇叭、连接电路板、摄像头和上位机；

5、外壳内固定安装有连接电路板、喇叭、电源和摄像头，连接电路板上固定安装有单片机处理器和语音播报芯片，电源分别与单片机处理器、语音播报芯片、喇叭和摄像头相连，单片机处理器分别与摄像头和语音播报芯片相连，喇叭与语音播报芯片相连，单片机处理器与上位机相连。

6、所述外壳中还开设有摄像头开口，摄像头的镜头设置在摄像头开口处，外壳外还安装有拍照按键，拍照按键与摄像头相连。

7、所述外壳外还安装有电源开机按键，电源开机按键与电源相连。

8、所述外壳中还开设有喇叭开口，喇叭设置在喇叭开口处。

9、二、一种盲人辅助阅读方法

10、1)盲人控制摄像头采集获得原始文字图像或者图像流，记为原始图像数据；

11、2)对原始图像数据进行预处理，处理中如果检测到图像残缺，则通过语音播报芯片和喇叭播放摄像头调整指令并指示重新采集文字图像，直至获得完整文字图像，最终输出完整文字图像对应的文字连通区域信息；

12、3)根据文字连通区域信息对原始图像数据进行文字识别，获得文字识别结果；

13、4)将文字识别结果通过语音播报芯片和喇叭进行文字的语音播报。

14、所述2)具体为：

15、2.1)如果原始图像数据为图像流，则进行图像拼接，获得各张初始文本图像，否则，则直接将原始图像数据记为初始文本图像；

16、2.2)对每张初始文本图像进行边缘提取，获得对应的文字边缘图像；

17、2.3)对文字边缘图像进行掩膜处理和初步筛选，获得初始筛选后的行区域图像；

18、2.4)对初始筛选后的行区域图像进行纵向掩膜处理和二次筛选，获得对应二次筛选后的各页连通行区域图像，如果二次筛选后的各页连通行区域图像的边缘与初始文本图像的边缘重合时，则表示初始文本图像残缺，通过语音播报芯片和喇叭播放摄像头调整指令并指示重新采集文字图像，直至获得完整文字图像以及处理获得对应的二次筛选后的各页连通行区域图像后再执行下一步；

19、2.5)根据初始筛选后的行区域图像计算得到的页或分栏的区域坐标，计算二次筛选后的各页连通行区域图像中各个行连通域的行高，根据最多的行高确定行高范围，选择行高范围中的行连通域，将选择的多个行连通域分别与页或分栏的区域坐标进行比较，获得对应的缩进位置并记为段首，由二次筛选后的各页连通行区域图像以及段首组成文字连通区域信息。

20、所述2.3)具体为：

21、利用宽高比为3:1的掩模对文字边缘图像做闭操作获得初始行区域图像，再用横向掩模膨胀对初始行区域图像进行处理，获得处理后的行区域图像；再根据处理后的行区域图像中各个行区域的面积以及所有行区域的总长宽比对行区域进行筛选，获得初始筛选后的行区域图像。

22、所述2.4)具体为：

23、用纵向掩模膨胀对初始筛选后的行区域图像进行处理，获得当前初始完整文本图像中各页对应连通行区域图；再根据各页对应连通行区域图中各连通行区域的面积和横坐标进行连通行区域筛选，获得二次筛选后的各页连通行区域图像，如果二次筛选后的各页连通行区域图像的边缘与初始文本图像的边缘重合时，则表示初始文本图像残缺，通过语音播报芯片和喇叭播放摄像头调整指令并指示重新采集文字图像，直至获得完整文字图像以及处理获得对应的二次筛选后的各页连通行区域图像后再执行下一步。

24、所述2.5)中，各个行连通域的行高是通过以下方法计算获得：

25、提取每个行连通域的轮廓，根据行连通域的轮廓找到最小外接矩形，将最小外接矩形的左上起始点的横坐标和右下结束点的横坐标作差，获得当前行连通域的行高。

26、所述2.2)中，还对初始完整文本图像进行透视变形页面的仿射变换到平面操作。

27、本发明的有益效果是：

28、本发明能够对大范围的本文文字进行采集，通过高效的通信传输可以瞬时地将其发往服务器进行图像的预处理，分割出其中需要进行文字识别的区域并将采集错误的页面和文字区域去除。通过开源的文字识别程序将识别到的大量文本传输回客户端进行语音的播报。本发明突出地将大范围拍照采集与便携性相结合，因结构简单、配有电源并且大部分计算都在服务器上进行，因此可以实现便捷性、准确性、快速识别于一体。同时采用成本低廉的模块，在保证功能的高效完整的情况下实现了产品的成本的降低。