智能导盲方法和装置与流程

文档序号:11208110阅读:917来源:国知局
智能导盲方法和装置与流程

本发明涉及人工智能领域,尤其涉及一种智能导盲方法和装置。



背景技术:

人工智能技术发展迅速,已经可以替代人类完成部分工作,但其仍然仅限于任务简单、场景单一等特殊应用场合。对于可靠性要求高的智能产品仍然需要人工持续关注,因此耗费大量的人力和物力。例如对于智能导盲系统,由于导盲过程中周围环境的情况十分复杂,目前智能导盲系统在用户使用过程中仍然需要人工客服全程介入,人工客服的工作强度很大。



技术实现要素:

本发明的实施例提供一种智能导盲方法和装置,主要用于解决智能导盲系统需要人工客服全程介入从而导致工作强度大的问题。

为达到上述目的,本发明的实施例采用如下技术方案:

第一方面,提供了一种智能导盲方法,包括:

根据传感器信息得到智能导盲的置信度,所述智能导盲的置信度指示在使用人工智能算法对所述传感器信息进行处理所生成的导盲信息的可靠性;

当所述智能导盲的置信度大于等于预设阈值时,使用人工智能算法对所述传感器信息进行处理以生成导盲信息,当所述智能导盲的置信度低于预设阈值时,触发人工导盲。

第二方面,提供了一种智能导盲装置,包括:

计算单元,用于根据传感器信息得到智能导盲的置信度,所述智能导盲的置信度指示在使用人工智能算法对所述传感器信息进行处理所生成的导盲信息的可靠性;

判决单元,用于当所述智能导盲的置信度大于等于预设阈值时,使用人工智能算法对所述传感器信息进行处理以生成导盲信息,当所述智能导盲的置信度低于预设阈值时,触发人工导盲。

第三方面,提供了一种计算机存储介质,用于储存为智能导盲装置所用的计算机软件指令,其包含执行第一方面所述的智能导盲方法所设计的程序代码。

第四方面,提供了一种计算机程序产品,其特征在于,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现第一方面所述的智能导盲方法。

第五方面,提供了一种包括:存储器、通信接口和处理器,所述存储器用于存储计算机执行代码,所述处理器用于执行所述计算机执行代码控制执行第一方面所述智能导盲方法方法,所述通信接口用于所述服务器与外部设备的数据传输。

本发明实施例公开的智能导盲方法和装置,通过根据传感器信息得到智能导盲的置信度,当置信度较高时不必人工介入仅需要通过智能导盲即可实现可靠性较高的导盲功能,解决了智能导盲系统需要人工客服全程介入从而导致工作强度大的问题。同时降低了因智能系统的错误造成任务失败。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的智能导盲系统的结构示意图;

图2为本发明实施例提供的智能导盲方法的流程示意图;

图3为本发明实施例提供的避障成功置信度的示意图;

图4为本发明实施例提供的一种智能导盲装置的结构示意图;

图5为本发明实施例提供的另一种智能导盲装置的结构示意图;

图6为本发明实施例提供的又一种智能导盲装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供了一种智能导盲系统,参照图1中所示,包括:位于云端的服务器1和对应的显示设备2,以及位于现场的终端3。服务器1包括智能导盲装置11,根据实际应用场景的不同,终端3可以为融合了信息采集和呈现的智能设备(例如手机、头盔等),其可以包括信息采集装置31和导盲执行装置32,信息采集装置31可以为例如视觉传感器、超声传感器等,用于采集传感器信息;导盲执行装置32可以为声音播放器、触觉反馈装置等执行导盲动作的装置。信息采集装置31采集传感器信息后通过有线(例如电缆、网线)或无线(例如wifi、蓝牙)的方式发送给服务器1,并在显示设备2上进行显示,由服务器1的智能导盲装置11根据传感器信息进行决策后,将导盲信息发送给终端3的导盲执行装置32,由导盲执行装置32根据导盲信息执行导盲动作,例如指示避障、左转、停止前进等。

本发明实施例提供的智能导盲方法和装置,根据获取的传感器信息来评价非人工介入的智能导盲的可靠性,当可靠性较高时即采用非人工介入的智能导盲,解决智能导盲系统需要人工客服全程介入从而导致工作强度大的问题。

本发明实施例提供了一种智能导盲方法,参照图2中所示,包括:

s101、根据传感器信息得到智能导盲的置信度t,智能导盲的置信度指示在使用人工智能算法对传感器信息进行处理所生成的导盲信息的可靠性。

具体的,传感器信息包括但不限于应用于智能导盲的视觉、听觉、距离、光照等信息,当传感器包括视觉传感器和超声传感器时,可以通过视觉传感器获取视觉传感器信息,通过超声传感器获取超声传感器信息。

置信度是一种概率,根据不同应用场景可以采用不同的评价方法,例如相似度、分类概率等。

智能导盲过程可以按照功能划分为多个具体的模块来执行,示例性的,可以包括定位模块、避障模块和识别模块,由定位模块根据传感器信息得到定位准确置信度tl,由避障模块根据传感器信息得到避障成功置信度to,由识别模块根据传感器信息得到物体识别置信度tr,也即根据所述传感器信息得到至少如下置信度的至少两种;定位准确置信度、避障成功置信度、物体识别置信度,此时,根据定位准确置信度tl、避障成功置信度to、物体识别置信度tr中的至少两种置信度进行融合可以得到智能导盲的置信度t,例如t=to+tr+tl。本领域技术人员还可以想到,用于执行智能导盲的其他功能均可以有对应的置信度,用于评价对应功能的可靠性。

对于定位准确置信度,可以通过纹理质量、跟踪数量、运动质量等方式来获取。

具体的,对于纹理质量来说,该指标可用于描述场景的特征是否丰富,是否是光线不足,是否被遮挡等。具体方法是在图像上进行特征提取,比如特征点提取或边缘提取,用于描述图像纹理的质量。以对于特征点提取来说,如果特征点个数为n,假设特征点的个数最多为n(n<=n),则纹理质量=n/n,可见其取值范围为0~1;边缘提取类似,边缘提取得到二值图像,该图像上梯度响应的区域取值为1,其余区域为0,则统计为1的像素个数为n,图像的宽乘高像素个数为n,则纹理质量=n/n,可见其取值范围同样为0~1。

具体的,对于跟踪数量来说,该指标可用于描述vslam模块的定位质量。具体方法是基于特征点的vslam,vslam的每一次定位结果是基于一定数量的特征点的计算结果,所以特征点数越多,则vslam越可靠。定义跟踪的特征点个数为n,假设跟踪的特征点的个数最多为n(n<=n),则跟踪质量=n/n,可见其取值范围为0~1。

具体的,对于运动质量来说,该指标描述摄像头运动的快慢,太快容易造成图像模糊。vslam能够输出前后两帧的定位结果l1、l2,则根据前后两帧的时间间隔s,估计位移的速度为v=(l1-l2)/s,假设最大的速度为vm,则运动质量=v/vm,可见其取值范围为0~1(v>vm时,均取1)。

对于避障成功置信度,避障算法基于深度的重建结果,分析场景视角中可通行区域的大小比例。具体的步骤如下:首先用深度传感器获取深度信息,然后在此基础上分割出障碍物的区域,然后在整个视场(fov)中计算可通行区域的宽度,作为避障的置信度,如图3所示,根据深度障碍物分割的结果,已知x,y和l,假设h=(x+y)/2,则1/2fov的角度α=arctan(h/l),θ=α—arctan[(h-x)/l],那么避障成功置信度的定义为θ/2α,可见其取值范围为0~1。

对于物体识别置信度,其用于描述物体识别的结果,属于模式识别中的相似度指标。常见的实现形式如下:摄像头拍摄图像信息,经过特征提取之后x,用于与训练好的特征库y进行匹配,匹配的衡量指标可以用x与y之间的距离进行描述,比如欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、夹角余弦和汉明距离等。也可以用深度学习模块进行识别相似度的计算,综合输出每一个节点的概率值即为置信度。

s102、当智能导盲的置信度大于等于预设阈值时,使用人工智能算法对传感器信息进行处理以生成导盲信息,当智能导盲的置信度低于预设阈值时,触发人工导盲。

示例性的,在执行智能导盲的模块包括定位模块、避障模块和识别模块情况下,当智能导盲的置信度大于等于预设阈值时,表示可以通过非人工介入的智能导盲方式,即可以给出可靠的导盲指示,此时根据传感器信息生成导盲信息具体可以包括以下信息中的任意一种或者几种:由定位模块根据传感器信息生成当前的位置坐标,由避障模块根据传感器信息生成当前的可行进方向,由识别模块根据传感器信息生成物体识别的标签等。上述导盲信息可以通过有线或无线的方式反馈给导盲头盔,以执行导盲。

当智能导盲的置信度低于预设阈值时,表示单纯依靠非人工介入的智能导盲方式,难以可以给出可靠的导盲指示,此时需要人工介入导盲,此时自动呼叫人工坐席,依靠后台人工进行判别和决策。

本发明实施例提供的智能导盲方法,通过根据传感器信息得到智能导盲的置信度,当置信度较高时不必人工介入仅需要通过智能导盲即可实现可靠性较高的导盲功能,解决了智能导盲系统需要人工客服全程介入从而导致工作强度大的问题。同时降低了因智能系统的错误造成任务失败。

本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对智能导盲装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下,图4示出了上述实施例中所涉及的智能导盲装置的一种可能的结构示意图,智能导盲装置11包括:计算单元1111、判决单元1112。计算单元1111用于支持智能导盲装置执行图2中的过程s101;判决单元1112用于支持智能导盲装置执行图2中的过程s102。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。

在采用集成的单元的情况下,图5示出了上述实施例中所涉及的智能导盲装置的一种可能的结构示意图。智能导盲装置11包括:处理模块1122和通信模块1123。处理模块1122用于对智能导盲装置的动作进行控制管理,例如,处理模块1122用于支持智能导盲装置执行图2中的过程s101-s102。通信模块1113用于支持智能导盲装置与其他实体的通信,例如与图1中示出的功能模块或网络实体之间的通信。智能导盲装置11还可以包括存储模块1121,用于存储智能导盲装置的程序代码和数据。

其中,处理模块1122可以是处理器或控制器,例如可以是中央处理器(centralprocessingunit,cpu),通用处理器,数字信号处理器(digitalsignalprocessor,dsp),专用集成电路(application-specificintegratedcircuit,asic),现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。通信模块1123可以是收发器、收发电路或通信接口等。存储模块1121可以是存储器。

当处理模块1122为处理器,通信模块1123为收发器,存储模块1121为存储器时,本发明实施例所涉及的智能导盲装置可以为图6所示的服务器。

参阅图6所示,该服务器1包括:处理器1132、收发器1133、存储器1131以及总线1134。其中,收发器1133、处理器1132以及存储器1131通过总线1134相互连接;总线1134可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。本发明实施例还提供一种存储介质,该存储介质可以包括存储器1131,用于储存为智能导盲装置所用的计算机软件指令,其包含执行人机混合决策方法所设计的程序代码。具体的,软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(randomaccessmemory,ram)、闪存、只读存储器(readonlymemory,rom)、可擦除可编程只读存储器(erasableprogrammablerom,eprom)、电可擦可编程只读存储器(electricallyeprom,eeprom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外,该asic可以位于智能导盲装置中。当然,处理器和存储介质也可以作为分立组件存在于智能导盲装置中。

本发明实施例还提供一种计算机程序,该计算机程序可直接加载到存储器1131中,并含有软件代码,该计算机程序经由计算机载入并执行后能够实现上述的人机混合决策方法。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1