一种基于深度视觉的可穿戴导盲设备及服务器的制作方法
本发明涉及导盲技术领域，特别涉及一种基于深度视觉的可穿戴导盲设备及服务器。
背景技术：
我国是世界上盲人最多的国家，截至2018年全国已经有1731万盲人，占全世界盲人人口的18％，而且盲人数量还在不断增长，约近1分钟就会增加1个盲人，3个低视力患者。盲人群体的生存状况是我国政府和社会长期关注的课题，尽管我国有如此庞大的视力残疾人群，可我们在街道上很难见到这样的人群出现。我国虽然设置了最长的盲道，但是可使用率较低，加上人口密度大，环境复杂，盲人出行依旧是一个严峻的问题。
传统的导盲犬虽然可以很好的帮助到盲人，但由于训练困难、价格昂贵还不被广大人群接受，导盲犬的使用范围非常有限。随着科技的发展，一些导盲科技作品陆续出现，智能导盲杖、导盲机器人渐渐问世，利用超声波探测障碍物并配上语音系统与人进行交互，尽管可以实时反馈信息，但由于超声波探测属于点到点的线性探测，其探测范围有限，若增加超声波设备布设的密集性，携带又较为不便，在一定程度上降低了该类导盲设备的实用性。
技术实现要素：
有鉴于此，本发明实施例提供一种基于深度视觉的可穿戴导盲方法、设备及系统，可以扩大障碍物探测范围，且携带方便，从而可提高导盲设备的实用性。
一种基于深度视觉的可穿戴导盲设备，包括：深度摄像头、处理器、导盲提示模块及电路控制模块；
所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理；
所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像；
所述处理器，用于将所述深度图像转换为以灰度表示深度的初始rgb-d图像，用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像；
及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；
根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；
根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；
所述导盲提示模块，用于根据所述导盲信息对用户进行路径导盲提示。
可选地，所述处理器，用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像包括：
对所述初始rgb-d图像，设定聚类个数、模糊指数、收敛精度及迭代次数；
初始化一个隶属度，根据k均值聚类算法计算出一个第一聚类中心；
将得到的所述第一聚类中心作为kfcm算法的初始聚类中心使用，根据隶属度迭代公式计算第一次迭代隶属度u(k+1)，所述隶属度uij迭代公式为：
根据聚类中心迭代公式计算得到第一次迭代之后的聚类中心v(k+1)，令k＝k+1，其中聚类中心迭代公式为：
重复迭代计算隶属度和聚类中心，直到存在i使
调用kfcm算法目标核函数，基于最后一次计算得到的隶属度与聚类中心，构建原始空间的点坐标与特征空间坐标的映射关系，根据所述映射关系将原始空间的点转换到特征空间中，以对初始rgb-d图像进行最优划分处理。
可选的，所述处理器，对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像包括：
制作训练样本数据集；
将样本数据进行批量处理并输入选定的编码-解码类深度学习模型中训练，输出得到图像分割模型；
将待处理的图像修改为预定像素大小的rgb图像，并将rgb三原色的值进行数字标准化；
将数字标准化处理后的rgb图像输入所述图像分割模型，对所述rgb图像进行压缩提纯处理，获取图像中每个像素点的类别并输出，得到分割后的彩色修复图像。
可选地，根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类包括：
基于所述分割后的彩色修复图像的语义分割结果对rgb-d修复图像进行分割和标注，得到标注的rgb-d图像；
对所述标注的rgb-d图像进行处理，提取图像中所有极小值点的深度，利用所述彩色修复图像的语义分割结果对所述极小值点进行聚类；其中，聚类结果中包括灰度信息；
根据预设的灰度阈值，将上述聚类结果中的灰度分为三个等级，并分别对所述灰度赋相应等级区间内的灰度值，得到包含三种灰度值的分布图像结果。
可选地，所述导盲提示模块包括音频输出单元，所述处理器，还用于在根据所述分布图像的灰度信息确定出障碍物的位置同时或之后，将确定出的障碍物的分布图像转化为电子立体声和普通话语音播报信息输出至所述音频输出单元；
所述音频输出单元，用于以语音播报的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。
可选地，所述导盲提示模块还包括振动单元，所述振动单元用于通过振动的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。
可选地，所述导盲提示模块还包括三个振动单元，当用户使用所述导盲设备时，三个震动单元分别分布在用户的腹部左中右三个位置，形成一个多方向感知的振动传感系统；
当左侧振动单元振动时，用于提示用户向左行走方向存在障碍物，当右侧振动单元振动时，用于提示用户向右行走方向存在障碍物，当中部振动单元振动时，用于提示用户前进方向存在障碍物。
可选地，还包括定位模块及无线通信模块，所述定位模块与所述处理器连接，用于确定导盲设备当前的位置信息，并发送至所述处理器；
所述无线通信模块与所述处理器连接，所述处理器通过所述无线通信模块与其它电子设备通信；
所述处理器，至少还用于通过所述无线通信模块向其他电子设备发送位置信息及彩色图像信息。
可选地，所述摄像头水平拍摄方向视场角为100～360度，竖直拍摄方向视场角为50～100度
第二方面，本发明还实施例提供一种服务器，其特征在于，用于与可穿戴导盲设备通信连接；
所述服务器，用于接收可穿戴导盲设备发送的自身前方预定视场内的图像流；所述图像流包括深度图像与彩色图像；
将所述深度图像转换为以灰度表示深度的初始rgb-d图像，用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像；
及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；
根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；
根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲设备，以使所述导盲设备根据所述导盲信息对用户进行路径导盲提示。
可选地，所述服务器还用于，接收导盲设备发送的实时位置信息，将所述位置信息发送给与所述导盲设备通信连接的电子设备，以使所述电子设备的用户实时获知所述导盲设备的用户位置信息。
可选地，所述服务器还用于，接收上传的物品图像信息；
将所述物品图像信息作为训练样本集输入到神经网络模型训练，生成物品识别模型并存储；
接收到用户通过发送的寻找所需要的物品信息请求时，调用所述物品识别模型，根据用户的请求确定用户所需物品。
本发明实施例提供的基于深度视觉的可穿戴导盲设备及服务器，可以穿戴在盲人用户胸前，当穿戴于盲人用户身上时，通过采用深度摄像头能获取盲人前方较大视场范围内的深度图像信息及彩色图像信息，利用处理器分别对深度图像信息及彩色图像信息处理后，得到包含不同灰度信息的分布图像，能够根据得到的包含不同灰度信息的分布图像确定出障碍物的位置所在及距离盲人用户的距离，并根据该确定的障碍物位置发送导盲信息给导盲提示模块，以实现对盲人用户的路径导盲。相比导盲手杖、导盲眼镜、导盲鞋等利用超声波探测障碍物进而实现路径导盲的方案，可以扩大障碍物探测范围，且携带方便，从而可提高导盲设备的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1a为本发明提供的可穿戴导盲设备一实施例组成结构框图；
图1b为本发明提供的可穿戴导盲设备另一实施例组成结构框图
图2为图1中可穿戴导盲设备实现路径导盲的流程图；
图3为本发明提供的基于kfcm算法对初始rgb-d图像进行修复处理的流程图；
图4为本发明提供的基于语义分割的聚类算法对rgb-d修复图像处理的流程图。
图5为本发明中提供的一实施例音频输出导盲提示流程图。
图6为本发明中提供的一实施例盲道识别流程图。
图7为本发明中提供的一实施例查找用户物品的流程图。
图8为图7中一实施例提供的训练神经网络模型的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，为了更加清楚说明本发明，在以下的具体实施例中描述了众多技术细节，本领域技术人员应当理解，没有其中的某些细节，本发明同样可以实施。另外，为了凸显本发明的发明主旨，涉及的一些本领域技术人员所熟知的方法、手段、零部件及其应用等未作详细描述，但是，这并不影响本发明的实施。本文所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明针对现有技术中的导盲设备可探测范围窄，识别准确度低，导盲提示方式低效且单一，而且无法帮助盲人寻找私人物品的问题，提供一种基于深度视觉的可穿戴导盲设备及服务器。
实施例1
如图1a所示，本发明实施例提供的可穿戴导盲设备至少包括：深度摄像头、处理器、导盲提示模块及电路控制模块，所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理。
其中，所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像。
所述处理器优选nvidia公司的jetsonnano处理器，该处理器硬件为四核cortex-a57cpu，gpu是maxwell架构显卡，可以提供高达472gflops的浮点运算能力，耗电量为5w，包含用于深度学习、计算机视觉、计算机图形和多媒体处理的加速库，支持高分辨率传感器，可以并行处理多个传感器的信息。
该处理器还包含多种实用功能接口，包括40针扩展接头，微型usb端口，千兆以太网端口，mipicsi摄像机连接器以及hdmi输出接口。可扩展性强，性能优越，功能移植性强。通过采用该型号的处理器为本发明的技术方案的实现提供了硬件保障。
图2为可穿戴导盲设备实现路径导盲的一实施例流程图；参看图2所示，所述处理器，用于执行步骤：
s100、获取所述图像流中的深度图像，将所述深度图像转换为以灰度表示深度的初始rgb-d图像；
s110、用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像；
及s120、获取所述图像流中的彩色图像；s130、对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；
可以理解的是，拍摄的原始图像会因为天气、拍摄角度、摄像头本身支梁等因素的影响，会造成图像模糊、残缺或破损等噪声，不利于后续图像的聚类分割处理，为了消除噪声对图像最终处理结果的影响，使后续利用算法处理时具有较好的鲁棒性，先进行原始(初始)图像的修复处理，获得较为清晰、完整的修复图像。
还可以先通过图像预处理的其它方法，例如，归一化、图像的平滑处理等对图像预处理。
其中，图像语义分割处理简单说就是通过处理器按照语义对图像进行分割，识别出图像的内容后以颜色等进行分割标注，将图像中不同的实体区分开来。
本实施例中，通过对彩色图像进行语义分割处理，划分并标注出前景物体和背景物体，得到分割后的rgb修复图像(即彩色修复图像)，便于后续的目标物的识别。
s140、根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；
s150、根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；
所述导盲提示模块，用于执行步骤s160、根据所述导盲信息对用户进行路径导盲提示。
其中，处理器对深度图像及彩色图像获取与处理的步骤可以同时执行，也可以先后执行，上述步骤撰写上的顺序不能理解为对本发明实施例可实现的技术方案的限定。
本发明实施例提供的基于深度视觉的可穿戴导盲设备及服务器，可以穿戴在盲人用户胸前，当穿戴于盲人用户身上时，通过采用深度摄像头能获取盲人前方较大视场范围内的深度图像信息及彩色图像信息，利用处理器分别对深度图像信息及彩色图像信息处理后，得到包含不同灰度信息的分布图像，能够根据得到的包含不同灰度信息的分布图像确定出障碍物的位置所在及距离盲人用户的距离，并根据该确定的障碍物位置发送导盲信息给导盲提示模块，以实现对盲人用户的路径导盲。相比导盲手杖、导盲眼镜、导盲鞋等利用超声波探测障碍物进而实现路径导盲的方案，可以扩大障碍物探测范围，且携带方便，从而可提高导盲设备的实用性。
另外，由于采用深度摄像头能获取更大的视觉范围及深度图像信息，通过分别对深度图像与彩色图像进行处理，基于处理后的图像能够更加精准地确定用户前方更大范围内的障碍物的位置信息，从而可提高路径导盲的准确度。
其中，所述摄像头水平拍摄方向视场角为100～360度，竖直拍摄方向视场角为50～100度。这样，可以获得更宽范围的图像流，以提高该设备探测障碍物的范围。
其中，参看图3所示，所述聚类算法为kfcm算法(一种模糊核聚类算法)，kfcm算法是通过核函数将原始空间中的点映射到特征空间中，考虑到原始空间中的点无法用一个线性函数进行划分，于是将其变换到一个更高维度的特征空间中，可以在这个高维空间中找到一个线性函数，容易对原始数据进行划分，进而实现对图像的修复处理。
具体地，所述处理器执行的步骤s110、用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像包括：
s111、对所述初始rgb-d图像，设定聚类个数、模糊指数、收敛精度及迭代次数；
s112、初始化一个隶属度，调用matlab根据k均值聚类算法计算出一个第一聚类中心；
s113、将得到的所述第一聚类中心作为kfcm算法的初始聚类中心使用，根据隶属度迭代公式计算第一次迭代隶属度u(k+1)，所述隶属度uij迭代公式为：
s114、根据聚类中心迭代公式计算得到第一次迭代之后的聚类中心v(k+1)，令k＝k+1，其中聚类中心迭代公式为：
s115、重复迭代计算隶属度和聚类中心，直到存在i使
s116、调用kfcm算法目标核函数，基于最后一次计算得到的隶属度与聚类中心，构建原始空间的点坐标与特征空间坐标的映射关系，根据所述映射关系将原始空间的点转换到特征空间中，以对初始rgb-d图像进行最优划分处理。
其中，所述kfcm算法目标核函数
具体地，将最后一次计算得到的隶属度与聚类中心代入所述目标核函数中，通过目标核函数形成所述映射关系，在特征空间中找到一个线性函数，将原始空间中的点转换到特征空间进行计算与分析，进而容易实现对原始数据进行最优划分。
本实施例中，通过基于kfcm算法改进引导修复方法对深度图像进行聚类修复处理，在处理前，先通过k均值聚类先计算出第一聚类中心，将得到的第一聚类中心作为kfcm算法的初始聚类中心使用，可以减少后续kfcm算法迭代时间，对噪声和孤立点具有较好的鲁棒性，从而有利于提高聚类及修复效果，
所述处理器执行的步骤s130，对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像还包括：在对所述彩色图像进行语义分割处理后，对分割后的彩色图像中的前景物体和背景物体进行划分并标注，得到分割后的彩色修复图像。
步骤s130具体包括：制作训练样本数据集；
本实施例中，可以利用数据标注软件labelme将样本生成标签，作为训练样本数据集。
将样本数据进行批量处理并输入选定的编码-解码类深度学习模型中训练，输出得到图像分割模型；
本实施例中，所述编码-解码类深度学习模型为segnet网络结构，其包括两个功能模块；encoder(编码)和decoder(解码)；其中，在输入一张rgb彩色图像后，encoder模块用于对图像的特征提取和压缩，采用resnet残差网络模型，避免网络深度加深导致的性能退化问题，并使用bn层用于对特征的分布进行归一化，加速学习。其中，encoder模块对图像进行4次卷积、归一化、relu(修正)以提取图像特征。
decoder模块对压缩缩小后的特征图像进行上采样，恢复图片尺寸，输出结果经过softmax()得到图片每个像素点属于各类别的概率，获取标签中每个像素点的类别。样本经segnet网络结构产生预测图片，预测与标签进行交叉熵运算作为损失函数，再通过神经网络的反向传播算法来训练得到图像分割模型，得到图像分割模型。
将待处理的图像修改为预定像素大小的rgb图像，并将rgb三原色的值进行数字标准化；
在本实施例的一些实施例中，所述预定像素大小为416pixelx416pixel；所述将rgb三原色的值数字标准化指的是将rgb三原色的值转换成用0～1之间的数值表示。
将数字标准化处理后的rgb图像输入所述图像分割模型，对所述rgb图像进行压缩提纯处理，获取图像中每个像素点的类别并输出，得到分割后的彩色修复图像。
参看图4所示，所述处理器执行的步骤s140中、根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类包括：
基于所述分割后的彩色修复图像的语义分割结果对rgb-d修复图像进行分割和标注，得到标注的rgb-d图像；
对所述标注的rgb-d图像进行处理，提取图像中所有极小值点的深度，利用所述彩色修复图像的语义分割结果对所述极小值点进行聚类；其中，聚类结果中包括灰度信息；所述极小值点的深度即距离导盲设备最近的像素点；当穿戴于盲人用户身上时，所述极小值点的深度即距离盲人用户最近的像素点。
根据预设的灰度阈值，将上述聚类结果中的灰度分为三个等级，并分别对所述灰度赋相应等级区间内的灰度值，得到包含三种灰度值的分布图像结果，这样可以减少结果噪声。
其中灰度阈值为两个，例如为n和t，其中0＜n＜t，得到的三个灰度值设为x、y及z，则灰度值x可以为0～n，灰度值y可以为n～t，t～255。
所述标注的背景物体的颜色可以为任意颜色，优选的，将标注的背景物体设置为黑色。由于一般将黑色认为是在图像处理中“不考虑”的部分，这样在接下来的图像处理及识别中，就可以减少处理的任务量。
参看图2所示，在一些实施例中，所述导盲提示模块包括音频输出单元，所述处理器，还用于在根据所述分布图像的灰度信息确定出障碍物的位置同时或之后，将确定出的障碍物的分布图像转化为电子立体声和普通话语音播报信息输出至所述音频输出单元。
所述音频输出单元，用于以语音播报的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。
本实施例中，处理器对图像进行处理后，将所得图像结果转化为电子立体声和普通话语音播报结果并进行反馈输出，通过采用视听转换技术代替盲人用户的视觉，可以较好地对盲人用户进行路径导盲提示并引导行走。
参看图5所示，具体将分布图像转化为电子立体声和普通话语音播报信息的过程如下：
s141:对步骤s140前述一具体实现方式中得到的图像处理结果，将标注的rgb-d图像前景物体中每个像素点的坐标映射为声场的来波方向，深度值映射为声音强度；
s142:基于cipic库中的hrtf数据计算每个像素点所对应的来波方向的头部传输函数；
s143:将预设的音频放大至像素点深度值对应的声音强度，用头部传输函数对其进行滤波，从而得到预设时长的双声道音频信号；
s144:双声道耳机输出所述音频信号。
以识别盲道为例，对分割后得到的标注的rgb-d图像三等分，得到包含三种灰度值的分布图像结果，语音播报结果为“盲道位于您的左前/前/右前方”，其中在本实施例中，三种灰度值的分布图分别对应左前、前及右前方三个方位。
在其它的一些实施例中，例如，以识别障碍物，引导行走为例，三种灰度值可以分别对应障碍物的位置及到当前用户的距离，语音播报结果为“障碍物位于您的左前/前/右前方”，请向某某方位行走。
进一步的，所述音频输出单元还能结合语音识别模块播报天气、当前位置等基本信息。
在另一些实施例中，所述导盲提示模块还包括振动单元，所述振动单元用于通过震动的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。
本实施例中，通过采用前述的视听转换技术，利用音频输出单元以声音播报形式输出进行导盲提示的基础上，结合所述的采用振动单元以触觉振动的方式反馈视觉检测结果进行导盲提示，相比单一的语音播报导盲方案，能更加完整且高效的反馈用户当前所处的环境信息，并高效地引导盲人行走。
还以前述的识别盲道，并引导盲人行走为例，语音播报中的方位与使用者腹部振动单元对应，二者可以结合对视觉检测结果进行输出。
具体地，对于振动单元来说，输入端口in直接与处理器io口连接，连接方式：vcc-vcc；gnd-gnd；in-io23。当电源接通时，绿色电源指示灯点亮，当遇到障碍物的时候，处理器通过io口向振动单元传递按程序预设的输出电平信号，控制振动单元发生振动。
所述导盲提示模块包括三个振动单元，当用户使用所述导盲设备时，三个震动单元分别分布在用户的腹部左中右三个位置，形成一个多方向感知的振动传感系统；
当左侧振动单元振动时，用于提示用户向左行走方向存在障碍物，当右侧振动单元振动时，用于提示用户向右行走方向存在障碍物，当中部振动单元振动时，用于提示用户前进方向存在障碍物。
本实施例中，通过利用hrft技术将视觉检测结果转化为便于盲人用户接收的立体电子声信号，通过音频输出模块、振动模块反馈语音信号和触觉信号，从而帮助盲人用户安全出行。
如图6所示，在一些实施例中，所述灰度信息还包括视场角内的盲道及其到当前拍摄视点的距离；处理器在得到分布图像之后，还用于根据分布图像的灰度信息识别确定出盲道的位置。
其中，一些对盲道进行别确定的具体方案如下：
s150a：通过语义分割模型检测盲道区域。
s151a：使用hough直线检测拟合盲道边界，开运算后进行骨架提取，使边缘更趋于直线；
s152a：用凸包包围线段，提取每一个凸包中距离最远的两点来表示线段端点；
s153a：依次连接距离最近的端点，取两端点连线的中点作为拐点，盲道左右两对拐点连线的中点作为决策点；s154a：计算最近的决策点与盲人的角度，以引导盲人以所述角度向决策点行进。
本实施例中，增加了检测盲道的具体方案，利用该决策引导算法，能准确引导盲人去更安全的盲道上。
参看图2所示，导盲设备还包括定位模块及无线通信模块，所述定位模块与所述处理器连接，用于确定导盲设备当前的位置信息，并发送至所述处理器；
所述无线通信模块与所述处理器连接，所述处理器通过所述无线通信模块与其它电子设备通信；其它电子设备可以是具有无线通信模块的任何电子设备，例如手机，电脑等。所述无线通信模块可以为蓝牙、蜂窝网络、zigbee等。
所述处理器，至少还用于通过所述无线通信模块向其他电子设备发送位置信息及彩色图像信息。其它电子设备可以为盲人用户的亲友所持有的，例如，盲人用户的监护人持有一部手机，在手机上可以安装相应的客户端软件，也可以是html页面，通过将该手机与盲人用户的可穿戴设备通信连接，监护人可以在手机上看到盲人当前的位置信息，并利用彩色图像查看盲人当前所在位置的周边环境，以更好地保障盲人的出行安全。
所述导盲设备还包括人机交互模块与所述处理器连接，用于实现用户与可穿戴设备的交互，所述人机交互模块具体可以为语音识别模块，用于接收并识别盲人用户的语音信号，并将所述语音信号发送至所述处理器，以使处理器根据所述语音信号执行相应的功能。
实施例2
本发明还实施提供一种服务器，用于与可穿戴导盲设备通信连接；
所述服务器，用于接收可穿戴导盲设备发送的自身前方预定视场内的图像流；所述图像流包括深度图像与彩色图像；
将所述深度图像转换为以灰度表示深度的初始rgb-d图像，用聚类算法对所述初始rgb-d图像进行修复处理，得到rgb-d修复图像；
及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；
根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述rgb-d修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；
根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲设备，以使所述导盲设备根据所述导盲信息对用户进行路径导盲提示。
本实施例中，所述服务器与实施例一所述的可穿戴设备的技术方案相对应，区别主要在于执行主体的不同，二者基本实现原理及技术效果类似，可相互参看，具体细节就不再赘述。
在一些实施例中，所述服务器，还用于接收导盲设备发送的实时位置信息，将所述位置信息发送给与所述导盲设备通信连接的电子设备，以使所述电子设备的用户实时获知所述导盲设备的用户位置信息。所述电子设备可以为监护人使用的电子设备。
参看图7所示，所述服务器，还用于：s220、接收上传的物品图像信息；
具体地，可以由监护人通过用户端将可穿戴导盲设备的盲人用户的私人物品图像信息上传到服务器，以使服务器基于接收到的所述物品图像信息输入到神经网络模型训练。
s230、将所述物品图像信息作为训练样本集输入到神经网络模型训练，生成物品识别模型并存储；
s240、接收到用户通过发送的寻找所需要的物品信息请求时，调用所述物品识别模型，根据用户的请求确定用户所需物品。
其中，服务器可以将训练好的神经网络模型(即物品识别模型)发布为api(applicationprogramminginterface，应用程序接口)，在盲人用户通过语音方式控制导盲设备，启动寻找私人物品功能后，导盲设备将通过http请求的方式发送给所述服务器，所述服务器调用api，实现帮助盲人用户实时寻找其需要的物品，为盲人用户提供个性化寻找物品的服务。
具体地，参看图8所示，用户可以上传物品图像信息至easydl平台,并创建一个专属当前盲人用户的数据集；建立物品标签，并对图像进行标注。在标注完成后，使用数据集建立模型并训练模型。训练完成后，对模型进行校验审核。若模型识别率达到特定指标后，即可将训练好的神经网络模型发布为api，以执行上述步骤s240。反之，则需要重新训练，直至模型识别率达到特定指标。
作为一可选实施例，还可以将物品识别模型部署为设备端sdk(softwaredevelopmentkit,软件开发工具包)，直接集成在导盲设备中，可完全在无网环境下工作，所有数据皆在导盲设备本地运行处理。此方案消除了因网络状态不佳带来的对该功能使用的不利影响，可以随时帮助用户查找物品。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以通过具体情况理解。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！