一种基于图像识别技术的智能语音机器人系统及方法与流程

本发明涉及机器人领域，特别涉及一种基于图像识别技术的智能语音机器人系统及方法。

背景技术：

随着科学技术的不断发展，人类社会开始进入到智能时代，社会的发展对智能技术也不断地提出了新的需求，机器人技术由原来的工业机械手发展到现在的智能机器人技术，技术的发展给人类的生产生活带来新的变革。 智能机器人技术有着重要的理论意义和应用价值。

在理论上，机器人技术具有多学科融合和多技术集成的特点，涉及众多学科领域的尖端技术，如平衡控制设计、智能避障设计等，这造成了其复杂性，令智能机器人感知技术、通信技术、机械结构的研究都是一种挑战，促使特征提取算法、识别算法、路径规划算法朝着智能化的方向发展，促进模式识别理论的发展；另外，机器人是否实现智能化与机器人本身的结构也有很大的关系，要使其能完全智能化地完成任务，除了要有智能化算法还要有灵活的机构，因此智能机器人技术的发展将极大地促进机械结构理论的发展，其发展水平能够反映出一个国家或地区信息与自动化技术的综合实力。。

技术实现要素：

鉴于此，本发明提供了一种基于图像识别技术的智能语音机器人系统及方法，本发明具有智能化、具备语音识别、具备图像识别、处理结果准确和实时更新等优点。

本发明采用的技术方案如下：

一种基于图像识别技术的智能语音机器人系统，其特征在于，所述系统包括：用于为机器人提供数据更新的云端服务器；所述云端服务器信号连接于用于处理机器人数据信息的机器人处理器；所述机器人处理器分别信号连接于用于存储数据信息的存储器、用于识别语音的语音识别装置以及用于识别图像的图像处理装置。

所述语音识别装置包括：用于获取原始语音信号的声音采集装置；所述声音采集装置信号连接于用于对语音进行识别的语音识别芯片；所述语音识别芯片包括：用于对采集到的声音信号进行分帧处理的分帧处理模块；所述分帧处理模块分别信号连接于用于判断分帧处理后的声音信号是否协调的判断模块以及声音采集装置；所述判断模块信号连接于用于对声音信号进行傅里叶变换的傅里叶变换模块；所述傅里叶变换模块信号连接于用于频域比较的频域分析模块。

所述图像识别装置包括：用于获取原始图像信号的图像采集装置；所述图像采集装置信号连接于用于对图像进行识别的图像识别芯片；所述图像识别芯片包括：用于对采集到的图像信号进行识别，它包括：图像预处理模块、图像分割模块、特征提取模块和图像识别模块；所述图像采集模块信号连接于图像预处理模块；所述图像预处理模块信号连接于图像分割模块；所述图像分割模块信号连接于特征提取模块；所述特征提取模块信号连接于图像识别模块；所述图像识别模块信号连接于DSP处理器；所述图像预处理模块用于对采集到的原始图像信息进行图像预处理，将预处理后的图像发送至图像分割模块；所述图像分割模块，用于将图像预处理后的图像进行图像分割，将图像预处理后的图像发送至特征提取模块；所述特征提取模块，用于将分割后的图像进行特征提取，将特征提取后的图像发送至图像识别模块；所述图像识别模块，用于对特征提取后的图像进行图像识别。

所述云端服务器包括：云端数据库和云端数据传输装置；所述云端数据库信号连接于云端数据传输装置，用于存储模板数据；所属于云端数据传输装置，用于将云端数据库中的模板数据发送给机器人的机器人处理器。

所述机器人处理器包括：信号传输单元和控制单元；所述信号传输单元，用于接受来自云端数据传输装置发送过来的数据信息，将接收到的数据信息发送至存储器中进行存储。

一种基于图像识别技术的智能语音识别机器人系统的方法，其特征在于，所述方法包括以下步骤：

步骤1：用于发出声音控制命令，语音识别装置采集到该声音控制命令后，从存储器中调取标准语音信号，进行语音识别，将识别结果发送至机器人处理器；

步骤2：机器人处理器根据发送过来的识别结果，判断应该进行什么操作，若用户要求机器人进行图像识别，机器人开始启动图像识别装置对图像进行识别；

步骤3：图像识别装置采集到原始的图像信号后，从存储器中调取标准图像信号，对图像信号进行识别，将识别结果发送至机器人处理器；机器人处理器根据接收到的识别结果，发送控制命令至语音识别装置；

步骤4：语音识别装置根据机器人处理器发送过来的识别结果，发出声音信号。

所述语音识别装置的识别方法包括以下步骤：

步骤1：声音采集装置采集到原始声音信号后，分帧处理模块对声音信号进行分帧处理；将分帧处理后的每一帧声音信号发送至判断模块；

步骤2：判断模块对每一帧处理后的声音信号进行协调性判断；将判断结果进行保存后发送至傅里叶变换模块；

步骤3：傅里叶变换模块开始对声音信号进行傅里叶变换，将变换后的声音信号发送至比较模块；

步骤4：比较模块对傅里叶变换后的声音信号进行频域比较，将比较结果发送至存储器中进行暂存；

步骤5：分帧处理模块在处理声音信号时，会实时判断处理的是否是声音信号的最后一帧，如果是则调取闪存中的存储结果发送至显示装置进行显示；如果不是则继续执行步骤1。

所述判断模块对分帧处理后的声音信号进行协调性判断的方法包括以下步骤：

步骤1：求取分帧处理后的信号的短时能量，所述短时能量的求取方法采用如下公式：

，其中是声音信号在某一点的采样信号；

步骤2：根据求取出的短时能量区分出清音还是浊音信号；

步骤3：若分辨出是浊音信号，则从硬盘存储器中获取样本，同样提取声音信号在该点的采样，求取出短时能量；

步骤4：将浊音信号在该店的短时能量和样本在该点的短时能量进行对比，判断两者的差异，进而判断采集到的声音信号是否协调。

所述图像识别装置的识别方法包括以下步骤：

步骤1：图像识别装置通过获取原始的图像信息；

步骤3：图像是被装置依次对接收到的原始图像信息进行图像预处理、图像分割、特征提取和图像识别。

所述图像识别装置对图像进行图像分割的方法包括以下步骤：

步骤1：将图像从空间域映射到模糊特征域，具体步骤为：设定次那个灰度级的 元图像表示为一个模糊集，集内每个元素均为相对于某个特定灰度级的隶属函数，将该图像映射为一个模糊矩阵 ；其中 为像素的灰度级相对于某个特定灰度级 的隶属度；

步骤2：设定 为最大灰度级 ；定义隶属函数为：

；

步骤3：其中为倒数型模糊因子； 为指数型模糊因子，因此该图像映射成为模糊隶属度矩阵；

步骤4：在模糊空间中采用非线性函数变换，实现增强边缘两侧像素灰度的对比度； ；

其中，

再利用 变换将增强后的图像由模糊空间变回数据空间。

步骤5：定义新的边缘算子为：

;

其中， 采用新的边缘算子对图像信息进行边缘提取。

采用以上技术方案，本发明产生了以下有益效果：

1、实时更新：本发明的机器人系统除了机器人本体以外，还提供了远程的云端服务器给机器人提供更新服务，保证了机器人能够实时获取最新的数据信息，保证识别的准确性。

2、具备语音识别：本发明的机器人系统中具有语音识别装置，可以识别用户的语音信号，用户直接通过声音就可以控制机器人的运行。

3、具备图像识别：本发明的机器人系统中具有图像识别装置，可以智能识别外界的图像信息，并反馈给语音识别装置，发出语音信号告诉用户识别结果。

采用以上技术方案，本发明产生了以下有益效果：

1、实时更新：本发明的机器人系统除了机器人本体以外，还提供了远程的云端服务器给机器人提供更新服务，保证了机器人能够实时获取最新的数据信息，保证识别的准确性。

2、具备语音识别：本发明的机器人系统中具有语音识别装置，可以识别用户的语音信号，用户直接通过声音就可以控制机器人的运行。

3、具备图像识别：本发明的机器人系统中具有图像识别装置，可以智能识别外界的图像信息，并反馈给语音识别装置，发出语音信号告诉用户识别结果。

4、识别结果准确：本发明的语音识别中，除了在时域对信号求取能量，针对该能量进行判断以外，还在频域针对信号的幅度进行求取和判断。根据两者的判断结果进行综合评判，将大大提高声音信号的识别准确性和评价的准确性。此外，本发明的图像识别装置中，将图像转换到模糊特征域进行处理，在保证处理效率的过程中，同时提升了识别准确性。

附图说明

图1是本发明的一种基于图像识别技术的智能语音机器人系统及方法的系统结构示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明实施例1中提供了一种基于图像识别技术的智能语音机器人系统，系统结构如图1所示：

一种基于图像识别技术的智能语音机器人系统，其特征在于，所述系统包括：用于为机器人提供数据更新的云端服务器；所述云端服务器信号连接于用于处理机器人数据信息的机器人处理器；所述机器人处理器分别信号连接于用于存储数据信息的存储器、用于识别语音的语音识别装置以及用于识别图像的图像处理装置。

所述语音识别装置包括：用于获取原始语音信号的声音采集装置；所述声音采集装置信号连接于用于对语音进行识别的语音识别芯片；所述语音识别芯片包括：用于对采集到的声音信号进行分帧处理的分帧处理模块；所述分帧处理模块分别信号连接于用于判断分帧处理后的声音信号是否协调的判断模块以及声音采集装置；所述判断模块信号连接于用于对声音信号进行傅里叶变换的傅里叶变换模块；所述傅里叶变换模块信号连接于用于频域比较的频域分析模块。

所述图像识别装置包括：用于获取原始图像信号的图像采集装置；所述图像采集装置信号连接于用于对图像进行识别的图像识别芯片；所述图像识别芯片包括：用于对采集到的图像信号进行识别，它包括：图像预处理模块、图像分割模块、特征提取模块和图像识别模块；所述图像采集模块信号连接于图像预处理模块；所述图像预处理模块信号连接于图像分割模块；所述图像分割模块信号连接于特征提取模块；所述特征提取模块信号连接于图像识别模块；所述图像识别模块信号连接于DSP处理器；所述图像预处理模块用于对采集到的原始图像信息进行图像预处理，将预处理后的图像发送至图像分割模块；所述图像分割模块，用于将图像预处理后的图像进行图像分割，将图像预处理后的图像发送至特征提取模块；所述特征提取模块，用于将分割后的图像进行特征提取，将特征提取后的图像发送至图像识别模块；所述图像识别模块，用于对特征提取后的图像进行图像识别。

所述云端服务器包括：云端数据库和云端数据传输装置；所述云端数据库信号连接于云端数据传输装置，用于存储模板数据；所属于云端数据传输装置，用于将云端数据库中的模板数据发送给机器人的机器人处理器。

所述机器人处理器包括：信号传输单元和控制单元；所述信号传输单元，用于接受来自云端数据传输装置发送过来的数据信息，将接收到的数据信息发送至存储器中进行存储。

本发明实施例2中提供了一种基于图像识别技术的智能语音机器人系统的方法：

一种基于图像识别技术的智能语音识别机器人系统的方法，其特征在于，所述方法包括以下步骤：

步骤1：用于发出声音控制命令，语音识别装置采集到该声音控制命令后，从存储器中调取标准语音信号，进行语音识别，将识别结果发送至机器人处理器；

步骤2：机器人处理器根据发送过来的识别结果，判断应该进行什么操作，若用户要求机器人进行图像识别，机器人开始启动图像识别装置对图像进行识别；

步骤3：图像识别装置采集到原始的图像信号后，从存储器中调取标准图像信号，对图像信号进行识别，将识别结果发送至机器人处理器；机器人处理器根据接收到的识别结果，发送控制命令至语音识别装置；

步骤4：语音识别装置根据机器人处理器发送过来的识别结果，发出声音信号。

所述语音识别装置的识别方法包括以下步骤：

步骤1：声音采集装置采集到原始声音信号后，分帧处理模块对声音信号进行分帧处理；将分帧处理后的每一帧声音信号发送至判断模块；

步骤2：判断模块对每一帧处理后的声音信号进行协调性判断；将判断结果进行保存后发送至傅里叶变换模块；

步骤3：傅里叶变换模块开始对声音信号进行傅里叶变换，将变换后的声音信号发送至比较模块；

步骤4：比较模块对傅里叶变换后的声音信号进行频域比较，将比较结果发送至存储器中进行暂存；

步骤5：分帧处理模块在处理声音信号时，会实时判断处理的是否是声音信号的最后一帧，如果是则调取闪存中的存储结果发送至显示装置进行显示；如果不是则继续执行步骤1。

所述判断模块对分帧处理后的声音信号进行协调性判断的方法包括以下步骤：

步骤1：求取分帧处理后的信号的短时能量，所述短时能量的求取方法采用如下公式：

，其中 是声音信号在某一点的采样信号；

步骤2：根据求取出的短时能量区分出清音还是浊音信号；

步骤3：若分辨出是浊音信号，则从硬盘存储器中获取样本，同样提取声音信号在该点的采样，求取出短时能量；

步骤4：将浊音信号在该店的短时能量和样本在该点的短时能量进行对比，判断两者的差异，进而判断采集到的声音信号是否协调。

所述图像识别装置的识别方法包括以下步骤：

步骤1：图像识别装置通过获取原始的图像信息；

步骤3：图像是被装置依次对接收到的原始图像信息进行图像预处理、图像分割、特征提取和图像识别。

所述图像识别装置对图像进行图像分割的方法包括以下步骤：

步骤1：将图像从空间域映射到模糊特征域，具体步骤为：设定次那个灰度级 的 元图像表示为一个模糊集，集内每个元素均为相对于某个特定灰度级的隶属函数，将该图像映射为一个模糊矩阵 ；其中为像素的灰度级相对于某个特定灰度级 的隶属度；

步骤2：设定 为最大灰度级；定义隶属函数为：

；

步骤3：其中为倒数型模糊因子； 为指数型模糊因子，因此该图像映射成为模糊隶属度矩阵；

步骤4：在模糊空间中采用非线性函数变换，实现增强边缘两侧像素灰度的对比度； ；

其中，

再利用 变换将增强后的图像由模糊空间变回数据空间。

步骤5：定义新的边缘算子为：

;

其中， 采用新的边缘算子对图像信息进行边缘提取。

本发明实施例3中提供了一种基于图像识别技术的智能语音机器人系统及方法，系统结构图如图1所示：

一种基于图像识别技术的智能语音机器人系统，其特征在于，所述系统包括：用于为机器人提供数据更新的云端服务器；所述云端服务器信号连接于用于处理机器人数据信息的机器人处理器；所述机器人处理器分别信号连接于用于存储数据信息的存储器、用于识别语音的语音识别装置以及用于识别图像的图像处理装置。

所述语音识别装置包括：用于获取原始语音信号的声音采集装置；所述声音采集装置信号连接于用于对语音进行识别的语音识别芯片；所述语音识别芯片包括：用于对采集到的声音信号进行分帧处理的分帧处理模块；所述分帧处理模块分别信号连接于用于判断分帧处理后的声音信号是否协调的判断模块以及声音采集装置；所述判断模块信号连接于用于对声音信号进行傅里叶变换的傅里叶变换模块；所述傅里叶变换模块信号连接于用于频域比较的频域分析模块。

所述图像识别装置包括：用于获取原始图像信号的图像采集装置；所述图像采集装置信号连接于用于对图像进行识别的图像识别芯片；所述图像识别芯片包括：用于对采集到的图像信号进行识别，它包括：图像预处理模块、图像分割模块、特征提取模块和图像识别模块；所述图像采集模块信号连接于图像预处理模块；所述图像预处理模块信号连接于图像分割模块；所述图像分割模块信号连接于特征提取模块；所述特征提取模块信号连接于图像识别模块；所述图像识别模块信号连接于DSP处理器；所述图像预处理模块用于对采集到的原始图像信息进行图像预处理，将预处理后的图像发送至图像分割模块；所述图像分割模块，用于将图像预处理后的图像进行图像分割，将图像预处理后的图像发送至特征提取模块；所述特征提取模块，用于将分割后的图像进行特征提取，将特征提取后的图像发送至图像识别模块；所述图像识别模块，用于对特征提取后的图像进行图像识别。

所述云端服务器包括：云端数据库和云端数据传输装置；所述云端数据库信号连接于云端数据传输装置，用于存储模板数据；所属于云端数据传输装置，用于将云端数据库中的模板数据发送给机器人的机器人处理器。

所述机器人处理器包括：信号传输单元和控制单元；所述信号传输单元，用于接受来自云端数据传输装置发送过来的数据信息，将接收到的数据信息发送至存储器中进行存储。

一种基于图像识别技术的智能语音识别机器人系统的方法，其特征在于，所述方法包括以下步骤：

步骤1：用于发出声音控制命令，语音识别装置采集到该声音控制命令后，从存储器中调取标准语音信号，进行语音识别，将识别结果发送至机器人处理器；

步骤2：机器人处理器根据发送过来的识别结果，判断应该进行什么操作，若用户要求机器人进行图像识别，机器人开始启动图像识别装置对图像进行识别；

步骤3：图像识别装置采集到原始的图像信号后，从存储器中调取标准图像信号，对图像信号进行识别，将识别结果发送至机器人处理器；机器人处理器根据接收到的识别结果，发送控制命令至语音识别装置；

步骤4：语音识别装置根据机器人处理器发送过来的识别结果，发出声音信号。

所述语音识别装置的识别方法包括以下步骤：

步骤1：声音采集装置采集到原始声音信号后，分帧处理模块对声音信号进行分帧处理；将分帧处理后的每一帧声音信号发送至判断模块；

步骤2：判断模块对每一帧处理后的声音信号进行协调性判断；将判断结果进行保存后发送至傅里叶变换模块；

步骤3：傅里叶变换模块开始对声音信号进行傅里叶变换，将变换后的声音信号发送至比较模块；

步骤4：比较模块对傅里叶变换后的声音信号进行频域比较，将比较结果发送至存储器中进行暂存；

步骤5：分帧处理模块在处理声音信号时，会实时判断处理的是否是声音信号的最后一帧，如果是则调取闪存中的存储结果发送至显示装置进行显示；如果不是则继续执行步骤1。

所述判断模块对分帧处理后的声音信号进行协调性判断的方法包括以下步骤：

步骤1：求取分帧处理后的信号的短时能量，所述短时能量的求取方法采用如下公式：

，其中 是声音信号在某一点的采样信号；

步骤2：根据求取出的短时能量区分出清音还是浊音信号；

步骤3：若分辨出是浊音信号，则从硬盘存储器中获取样本，同样提取声音信号在该点的采样，求取出短时能量；

步骤4：将浊音信号在该店的短时能量和样本在该点的短时能量进行对比，判断两者的差异，进而判断采集到的声音信号是否协调。

所述图像识别装置的识别方法包括以下步骤：

步骤1：图像识别装置通过获取原始的图像信息；

步骤3：图像是被装置依次对接收到的原始图像信息进行图像预处理、图像分割、特征提取和图像识别。

所述图像识别装置对图像进行图像分割的方法包括以下步骤：

步骤1：将图像从空间域映射到模糊特征域，具体步骤为：设定次那个灰度级 的 元图像表示为一个模糊集，集内每个元素均为相对于某个特定灰度级的隶属函数，将该图像映射为一个模糊矩阵；其中 为像素的灰度级相对于某个特定灰度级 的隶属度；

步骤2：设定为最大灰度级 ；定义隶属函数为：

；

步骤3：其中为倒数型模糊因子； 为指数型模糊因子，因此该图像映射成为模糊隶属度矩阵；

步骤4：在模糊空间中采用非线性函数 变换，实现增强边缘两侧像素灰度的对比度； ；

其中，

再利用 QUOTE 变换将增强后的图像由模糊空间变回数据空间。

步骤5：定义新的边缘算子为：

;

其中， 采用新的边缘算子对图像信息进行边缘提取。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。