视障辅助智能眼镜的制作方法

1.本实用新型涉及人工视觉技术领域，尤其涉及一种视障辅助智能眼镜。


背景技术：

2.目前，用户要把影像和声音同事传送给远程的一方，需要使用手机或计算机进行传输、或需要把摄录机连接到网上并实时进行传输。大部份智能眼镜或物联网设备外观上和一般的眼镜相差太远，而且比较笨重，使用户感到不便或尴尬。用户在接收声音方面，会受到环境噪音等干扰，以致有接收不清晰等问题。
3.目前市场上的智能眼镜只使用简单ai mcu或传输到云端作处理及识别。但是有很多人工智能都不能为视障者和老人提供最需要的协助，例如准确辨认街道和文字，而且云端作处理存在长时延，更不能透过和人的互动解决问题。


技术实现要素：

4.本实用新型实施例所要解决的技术问题在于，提供一种视障辅助智能眼镜，以协助视障用户辨认图像。
5.为了解决上述技术问题，本实用新型实施例提出了一种视障辅助智能眼镜，包括眼镜本体，眼镜本体内集成有微处理器、耳骨传导耳机、无线通讯模块、ccd光学模块、dsp图像处理模块、摄像镜头、内存模块、电源模块、充电电池、i/o数据端口，摄像镜头设在眼镜本体前端，ccd光学模块将从摄像镜头采集的光学影像转换为高解像压缩数据发送至dsp图像处理模块，微处理器通过i/o数据端口与耳骨传导耳机、无线通讯模块、dsp图像处理模块电连接，内存模块、电源模块与微处理器电连接，充电电池与电源模块电连接。
6.进一步地，无线通讯模块为wifi模块、蓝牙模块、5g模块中的一种或多种。
7.本实用新型的有益效果为：本实用新型从视障用户双眼的视角，可以把图像信号实时作阅读、处理及识别，并通过语音提示视障用户，能够实时地、全方位地协助视障用户辨别景物和对象。
附图说明
8.图1是本实用新型实施例的视障辅助智能眼镜的结构示意图。
9.图2是本实用新型实施例的电源模块的电路图。
10.图3是本实用新型实施例的ccd光学模块的电路图。
11.图4是本实用新型实施例的微处理器的电路图。
12.图5是本实用新型实施例的视障辅助智能眼镜系统的结构示意图。
13.图6是本实用新型实施例采用的视障辅助智能眼镜系统的控制方法的流程示意图。
14.图7是本实用新型实施例采用的卷积神经网络模型的模型图。
15.图8是本实用新型实施例采用的卷积神经网络模型的结构图。
具体实施方式
16.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本实用新型作进一步详细说明。
17.本实用新型实施例中若有方向性指示（诸如上、下、左、右、前、后
……
）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
18.另外，在本实用新型中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
19.请参照图1～图4，本实用新型实施例的视障辅助智能眼镜包括眼镜本体。眼镜本体内集成有微处理器、耳骨传导耳机、无线通讯模块、ccd光学模块、dsp图像处理模块、摄像镜头、内存模块、电源模块、充电电池、i/o数据端口。
20.摄像镜头设在眼镜本体前端，ccd光学模块将从摄像镜头采集的光学影像转换为高解像压缩数据发送至dsp图像处理模块。眼镜本体可采用轻便、坚固的abs及pc 物料制成。dsp图像处理模块以十位adc进行仿真图像信号转换成串连数码数据。数码数据就是一个巨大的四维numpy数组(array)，四个维度分别是每一笔数据、影像灰阶值、影像长、影像宽，数组中的每一个数值都在0到1之间的浮点数(float)，代表了不同影像中各个位置正规化(normalization)后0到255的灰阶值。每个影像分别是那一个数字的标记信息就存放在另一个数组中。
21.微处理器通过i/o数据端口与耳骨传导耳机、无线通讯模块、dsp图像处理模块电连接，内存模块、电源模块与微处理器电连接，充电电池与电源模块电连接。充电电池采用可充的小型高能量锂电池。微处理器优选采用esp32单片机，esp32单片机内部集成dsp图像处理模块和i/o数据端口。
22.作为一种实施方式，无线通讯模块为wifi模块、蓝牙模块、5g模块中的一种或多种。本实用新型通过无线通讯模块的无线信号将图像传输至手机端。
23.作为一种实施方式，眼镜本体内集成有与无线通讯模块相连接的内置天线。
24.本实用新型实施例可以把用使用者所看见的景物，转化成数码图像信号实时作阅读、处理及识别，通过语音提示用户，并透过无线信号和4g/5g网络传送给后台服务终端的志愿者，志愿者马上描述用户眼前的景物细节作补充，实行人和人之间的实时互动沟通。本实用新型实施例可以为视障人士或视力受损者提供实时的协助，也可以用于由后台人员向前线工作人员下达指令、监察及修正以完成任务。
25.请参照图5，本实用新型实施例的视障辅助智能眼镜系统包括视障辅助智能眼镜、手机端、服务器、服务终端。
26.视障辅助智能眼镜通过无线通讯模块与手机端连接通信，实时采集视障用户面前的图像，并将图像发送至手机端，同时通过耳骨传导耳机输出手机端回传的信息。
27.手机端：将视障辅助智能眼镜发送的图像实时进行预处理，将预处理连续与数字化目标默认值进行对比，当相似度达到阈值时，将结果发送至视障辅助智能眼镜；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器，同时将服务器回传的信息发送至视障辅助智能眼镜。例如人类(男/女性、老人/小童/预设的亲
友)、家居物品(门/窗/枱/椅/电视/沙化/煲/杯 )、户外(车/巴士,楼梯/电梯)或较大的路标示等。本实用新型实施例的数据集可通过会不断更新和自我学习和修订以提高准确性。
28.服务器：将手机端上传的图像分配至服务终端，将服务终端上传的识别结果回传至对应的手机端；或通过网络实时连接视障辅助智能眼镜和服务终端。
29.服务终端：对应的志愿者通过服务终端接收手机端上传的图像，再将志愿者人工识别结果发送至服务器；或与视障辅助智能眼镜连接通信，使志愿者与视障用户直接实时通讯，实时为视障用户提供人工帮助。
30.本实用新型使到视力有问题的用户可以实时或在最短时间内得到协助，自动识别视障用户所拍摄的图像。此外，透过一个志愿者（义工）社群，本实用新型所提供的服务可以在全日二十四小时都能运作，全世界的人士都可以下载此程序并成为志愿者（义工）。每当视障用户需要帮助的时候，视障辅助智能眼镜可以把景物或对象拍摄下来并实时发送给志愿者（义工），服务终端的志愿者（义工）将会收到通知，志愿者（义工）可以选择是否响应，有时间的志愿者（义工）就会用语音或文字讯息描述照片给视障用户。
31.另外，为了提供实时的协助，本实用新型实施例也允许视障用户发出实时支持请求，有时间的志愿者（义工）透过类似视像会议的形式和视障用户联系并且可以志愿者（义工）可以看到视障用户眼前的景物并且通过语音实时协助视障用户。
32.本实用新型在接收信息方面有更大的灵活性。对于视力障碍的用户，本实用新型可以联系自愿提供视觉说明的志愿者，他们愿意提供帮助为有视力障碍的用户的日常生活提供便利。对于志愿者，本实用新型在随时随地帮助人们的同时积累志愿者时数的机会。对于广告客户，本实用新型提供了广泛的受众群体，以便他们的信息可以被各地的不同人士接收。
33.作为一种实施方式，手机端中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。
34.请参照图7~图8，图像数据在卷积神经网络模型(cnn)中被分解成不同像素大小的层，卷积神经网络模型从输入的图像数据中学习输入与输出之间的映像关系，而不需要人为干预特征的精确表达过程。输入层是由图像素转化而来的数组；卷积神经网络模型包括多个卷积层（ convolution layer ）、池化层，都称采样层（ pooling layer ）全连接层（ fully connected layer ）等等，可看作由相连的神经元组成的神经网络；而输出层则为判别结果。输入层，由三组卷积池化层组成的隐藏层和全连接层。进入输入层的数据是由二维彩图（rgb色彩模式）转化而成的数组，其大小由图像的分辨率乘以rgb位数决定（宽
×
高
×
3）。来自输入层的数据首先进入第一个卷积层。卷积层带有与之对应的过滤器（filter），它是一个数字矩阵。在卷积层，输入矩阵与过滤器矩阵卷积相乘得到一个新的矩阵，即特征图（feature map）。
35.卷积层，根据实际应用调节过滤器大小、步长及填充方式，其中过滤器的选择决定每次取样的范围，步长决定每次取样移动的像素个数，填充方式有零填充和抛弃填充（用于处理过滤器大小与图像大小不符的情况）。卷积运算的性质使特征图保留了原图中像素与像素间的关系。特征图在池化层被降维处理，进入第二个卷积层，然后再次被池化。在保留图像像素间关系的同时对图像数据进行压缩，有最大池化（max pooling)、均值池化
（average pooling）和池化（sum pooling）三种方式。
36.激活层，选择不同的函数对数据进行非性线处理，较为常用的是修正线性单元（relu: rectified liner unit）。带有不同过滤器的卷积层实现了对图像的多种操作，例如边缘检测、轮廓检测、模糊化、锐化等等。
37.全连接层，经过多次卷积与池化后，数据抵达全连接层。通过激励函数（如带损耗的逻辑回归函数）对图像数据进行分类，最终输出结果以概率表示输入图像属于某个类别的可能性大小。
38.评估时，判断模型是否过度拟合可以通过分别比较训练样本与验证样本的准确率和损失值之间的差值。如果训练与验证阶段的准确率数值差异较大，意味着模型过度拟合；而训练和验证阶段的准确率越低，则意味着图像判别效果未达到令人满意的程度。模型使用二元交叉熵（binary cross entropy）为目标函数，让模型以达到损失值最小化为目标进行更新迭代。因此损失值越小意味着训练出的模型对数据拟合得就越好。在本实用新型中的训练及验证结果纪录在后台数据库中，测试结果则体现在以下各模型的可视化分析图中。
39.例如，预设的数据集可采用ms coco 数据集。ms coco数据集由微软团队于2014年发布，共收集了8万多张训练用影像，其中标记了生活上常见的80种对象，例如：猫、狗、飞机、桌子、汽车
…
等等，并提供了约4万张的测试影像。而在2019年再度更新此数据集，虽然没有新增不同的对象种类，但影像数量则增加至30万张影像。该数据集提供了一个完全开放的内容，透过相同的数据集做为基准，各家提出的演算模型才能有客观的比较依据。
40.作为一种实施方式，手机端还包括文字识别模块：识别图像中的文字，并将识别结果发送至视障辅助智能眼镜。
41.视障用户也可以用本实用新型的文字识别模块，发挥自助的能力，如需要辨认文字例如是信件或者大厦通告他就可以自己一只手拿着手机一只手拿着对象来拍照并且用文字辨识功能便释出文字，文字识别模块也会把已经变色出来的文字转化为声音读及视障用户听。
42.这些义工支持功能和人工智能文字辨识功能是互补不足的，在辨认简单的在进行简单的文字辨识工作时，视障用户可以自行选择不倚赖义工来解决简单的问题，但对于面形较为复杂的对象或附近的环境视像使用者就需要把照片发送给义工或者透过视像实时功能内乱来联络义工并得到实时的协助。
43.请参照图6，本实用新型实施例采用的视障辅助智能眼镜系统的控制方法，包括：
44.步骤1：视障辅助智能眼镜实时采集视障用户面前的图像，并将图像发送至手机端；
45.步骤2：手机端将视障辅助智能眼镜发送的图像实时进行预处理，将预处理连续与数字化目标默认值进行对比，当相似度达到阈值时，将结果发送至视障辅助智能眼镜；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器；
46.步骤3：服务器将手机端上传的图像分配至服务终端，将服务终端上传的识别结果回传至对应的手机端；或通过网络实时连接视障辅助智能眼镜和服务终端；
47.步骤4：服务终端接收手机端上传的图像，再将志愿者人工识别结果发送至服务器；或与视障辅助智能眼镜连接通信，使志愿者与视障用户直接实时通讯，实时为视障用户
提供人工帮助。
48.作为一种实施方式，步骤1中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。
49.作为一种实施方式，步骤1还包括文字识别子步骤：识别图像中的文字，并将识别结果发送至视障辅助智能眼镜。
50.本实用新型实施例为视障用户提供三种协助方法：（1）手机端自动识别视障辅助智能眼镜前的图像，并将识别结果发送至视障辅助智能眼镜，视障辅助智能眼镜以语音形式输出，以便视障人士理解所看到的图像；（2）对于诸如街道环境的复杂情况，视障用户可以通过视障辅助智能眼镜和手机端，将图像发送至服务器，并将其发送给一个志愿者，有时间的志愿者可以向用户描述图片；（3）视障用户也可以选择和志愿者以视像方式来联系，有时间的志愿者可以为用户提供实时沟通的视力协助；（4）手机端自动识别视障辅助智能眼镜前的文字图像，手机端识别其中的文字，并将识别结果发送至视障辅助智能眼镜，视障辅助智能眼镜以语音形式输出，以便视障人士理解文本。
51.本实用新型的4个功能是互补的，人工智能文字辨识是直截了当的、不需要志愿者的功能，视障用户可以发挥其自助的能力。而志愿者描述图片和志愿者以视像方式来联系视障用户的功能则更适合复杂的情况。本实用新型将视障人士与关怀志愿者联系起来，对社会的公益事业做出贡献。本实用新型使志愿者可以透过声音或文字直接指示视障人士，视障人士也可以更方便的接收文字和图像信息。
52.尽管已经示出和描述了本实用新型的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本实用新型的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本实用新型的范围由所附权利要求及其等同范围限定。