一种利用卷积神经网络计算的集成式机器嗅觉芯片

1.本发明涉及微电子机械系统领域和集成电路设计领域，尤其涉及一种利用卷积神经网络计算的集成式机器嗅觉芯片。


背景技术：

2.通过气味识别算法对采样数据进行处理，计算机可以识别气味种类。不仅可以避免人类直接接触环境中的危险气体，也可以应用于日常生活中的环境检测、食品质量控制、毒品或违禁品筛查、生产安全预警等。
3.从行业发展来看，虽然一系列电子鼻设备和气体分析仪产品已经推出了许多年，但是这类设备通常涉及到多个类型的传感器，且这些传感器体积庞大，应用的场景有限，同时目前气体检测主要采用的气相色谱仪、质谱仪或傅里叶变换红外光谱仪进行检测，也不具备低功耗和小型化的特性。未来机器嗅觉芯片将朝着低功耗、便携化、集成化发展，从大型器件、高功耗器件往器件小型化、低功耗方向发展。
4.在气体检测、气味识别领域，特定场合下(有毒有害环境下)需要进行长期监控、长期追踪的情况。但由于有毒有害场景下，传统精密仪器可能会造成损耗，提高检测成本。因此如果能用价格低廉的机器嗅觉芯片进行测量，不仅具有可持续性，且可以低成本大批量生产。


技术实现要素：

5.本发明的目的是提供一种利用卷积神经网络计算的集成式机器嗅觉芯片，具有气味识别准确率高、功耗低、小型化、低成本，为移动气味识别计算提供了新的解决方案。
6.本发明的目的是通过以下技术方案实现的：
7.一种利用卷积神经网络计算的集成式机器嗅觉芯片，包括：气体传感模块、数据采样处理模块、温度控制模块、存储模块、气味识别计算模块以及控制与通讯模块；其中：
8.所述控制与通讯模块，用于与外部设备通信，读取外部设备的控制指令，确定工作模式并对相关模块进行控制；
9.所述气体传感模块，用于在所述控制与通讯模块的控制下，通过指定气体传感器进行气体数据的采集，将空气中的气体信号转换为待采样的电信号；
10.所述数据采样处理模块，用于在所述控制与通讯模块的控制下，对电信号进行采样，对其响应的变化进行运算处理，并转换为指定格式的气体数据后存入所述存储模块；
11.所述温度控制模块，用于在所述控制与通讯模块的控制下，对指定气体传感器的温度进行控制调节；
12.所述气味识别计算模块通过卷积神经网络的硬件结构实现，用于在所述控制与通讯模块的控制下，从所述存储模块中读取加载卷积神经网络的相关数据，以及气体数据，并利用所述卷积神经网络对气体数据进行分类识别；
13.所述存储模块，用于存储整个芯片运行的必要数据，以及运行过程中产生的数据。
14.由上述本发明提供的技术方案可以看出，使用卷积神经网络实现气味的分别识别，识别准确率高；识别所需器件都集成在嗅觉芯片上，且所需器件成本较低，因而，具有小型化、低成本、便携化、集成化的优点，为移动气味识别提供了新的解决方案。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
16.图1为本发明实施例提供的一种利用卷积神经网络计算的集成式机器嗅觉芯片的示意图；
17.图2为本发明实施例提供的单通道的气味的数据通路示意图；
18.图3为本发明实施例提供的多通道的气味的数据通路示意图；
19.图4为本发明实施例提供的气味识别的数据通路示意图；
20.图5为本发明实施例提供的卷积原理示意图；
21.图6为本发明实施例提供的卷积计算的脉动阵列示意图；
22.图7为本发明实施例提供的卷积脉动阵列内部结构图；
23.图8为本发明实施例提供的池化原理示意图；
24.图9为本发明实施例提供的池化运算的电路图；
25.图10为本发明实施例提供的全连接层网络的示意图；
26.图11为本发明实施例提供的两种架构流水线示意图。
具体实施方式
27.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
28.术语“和/或”是表示两者任一或两者同时均可实现，例如，x和/或y表示既包括“x”或“y”的情况也包括“x和y”的三种情况。
29.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
30.下面对本发明所提供的一种利用卷积神经网络计算的集成式机器嗅觉芯片进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
31.如图1所示，一种利用卷积神经网络计算的集成式机器嗅觉芯片，主要包括：气体传感模块、数据采样处理模块、温度控制模块、存储模块、气味识别计算模块以及控制与通讯模块；其中：
32.所述控制与通讯模块，用于与外部设备通信，读取外部设备的控制指令，确定工作模式并对相关模块进行控制；
33.所述气体传感模块，用于在所述控制与通讯模块的控制下，通过指定气体传感器进行气体数据的采集，将空气中的气体信号转换为待采样的电信号；
34.所述数据采样处理模块，用于在所述控制与通讯模块的控制下，对电信号进行采样，对其响应的变化进行运算处理，并转换为指定格式的气体数据后存入所述存储模块；
35.所述温度控制模块，用于在所述控制与通讯模块的控制下，对指定气体传感器的温度进行控制调节；
36.所述气味识别计算模块通过卷积神经网络的硬件结构实现，用于在所述控制与通讯模块的控制下，从所述存储模块中读取加载卷积神经网络的相关数据，以及气体数据，并利用所述卷积神经网络对气体数据进行分类识别；
37.所述存储模块，用于存储整个芯片运行的必要数据，以及运行过程中产生的数据。
38.为了便于理解，下面针对以上各模块、以及工作模式的原理分别进行介绍。
39.一、芯片各模块介绍。
40.1、控制与通信模块(wifi&axi&sensorcontrol&watchdog)。
41.本发明实施例中，所述控制与通信模块通过wifi负责与外部设备(例如，外部的主机设备)进行通信，根据外部设备下发的控制命令对芯片内部的各个模块进行控制。，图1以wifi给出了采用wifi外部设备进行通信的结构示例。包括sensorcontrol模块控制整个芯片的运行配置。其中cortex-m0核内置于sensorcontrol中、axi总线控制器(图1中的axi)、watchdog模块。。
42.2、气体传感模块。(gassensorarray)
43.本发明实施例中，所述气体传感模块，其内部的传感器阵列包含不同种类的气体传感器，气体传感器内部结构包含有：气敏材料与微热板，微热板上设有加热电阻和采样电阻。示例性的，气体传感模块可以使用大小为8
×
8个不同种类的mox气体传感器，mox传感器是对空气中的气体在其表面做氧化还原反应改变测量电阻；而其需要工作在较高工作温度，因而需要有加热电阻和温度控制模块进行温度控制调节。
44.本发明实施例中，通过mos融合技术，将mems工艺设计制作的气体传感器阵列同专用计算芯片进行结合，将气体信号转换为待采样的电信号。
45.3、数据采样处理模块(adc)。
46.本发明实施例中，所述数据采样处理模块主要负责对电信号进行采样，对其响应的变化进行运算处理，并转换为指定格式的气体数据后存入所述存储模块。本领域技术人员可以理解，响应实际是指气体传感器的响应，但气体传感器响应发生变化后反映在电信号上，也可以理解为电信号响应的变化。
47.本发明实施例中，所述数据采样处理模块包括：adc单元(例如，σ-δadc)、低通滤波器、adc数据的校准组件、adc的控制组件和数据格式的转换组件；其中，通过adc进行模数转换，依次经低通滤波器、adc数据的校准组件、adc的控制组件对转换后的数字信号进行滤
波、校准与控制处理后，通过数据格式的转换组件转换为指定格式(例如，int8格式)的气体数据。
48.4、温度控制模块(heater control)。
49.本发明实施例中，所述温度控制模块包括：微热板反馈控制电路与工作模式选择组件；所述工作模式选择组件，用于在所述控制与通讯模块的控制下选择需要加热的气体传感器对应的微热板，从而控制某个传感器电阻单个加热还是全阵列加热，降低芯片功耗。所述微热板反馈控制电路，用于对相应微热板上加热电阻进行控制调节，使得温度恒定在指定的温度区间。
50.5、存储模块(memory&memorycontrol)。
51.本发明实施例中，所述存储模块包含有整个芯片运行的必要数据(如osc工作频率的配置，神经网络卷积核的参数和全连接网络的权值)以及运算过程中临时存放的数据(外部读取、采样并转换的气体数据，神经网络运算过程中的中间计算结果)。其内部结构包含有：flash、flash控制读写组件、sram、sram控制读写组件和fifo缓存；其中，flash存储cnn的权重数据，flash控制读写组件控制flash存储数据的读写；sram存储气体数据，sram控制读写组件控制sram存储数据的读写；fifo缓存存储整个芯片中的中间运算结果，如在cnnmodule中卷积计算的中间结果输入到fifo然后通过fifo输出到下一个部分。。
52.6、气味识别计算模块(cnnmodule)。
53.本发明实施例中，所述气味识别计算模块通过将固定结构的卷积神经网络的硬件实现，从而对气体种类进行分类和识别。其内部结构包含有：卷积模块、激活模块、池化模块、全连接网络模块；上述四个模块依次连接，数据在卷积模块进行卷积运算，然后输入至激活模块中进行非线性激活，再输入至池化模块进行最大池化，最后输入至全连接模块进行分类计算。不同模块之间数据的缓存则通过前述fifo缓存实现。
54.7、振荡器(osc)。
55.振荡器与所有数字部分(digital part)相连，用来产生时钟clk，为数字部分提供同步信号，用来同步工作。芯片开始工作的时候需要对其工作频率进行配置，如时钟为4mhz或者16mhz等，相关的工作频率配置信息存入存储模块中。
56.如图1所示，数字部分包括：控制与通信模块、温度控制模块、存储模块与气味识别计算模块。
57.二、工作模式介绍。
58.本发明实施例中，所述工作模式由所述控制指令的译码决定，工作模式包括：单周期单通道的气体数据读取、单周期多通道的气体数据读取、多周期单通道的气体数据连读、多周期多通道的气体数据连读，以及多周期若干通道的气体数据识别。
59.1、单周期单通道的气体数据读取。
60.如图2所示，当工作模式为单周期单通道的气体数据读取时：
61.所述控制与通讯模块通过温度控制模块对指定通道的气体传感器(例如，图2所示的气体传感器w)对应的微热板进行温度控制调节；通过数据采样处理模块在若干周期内多次采集指定通道的气体传感器的响应读数，并计算平均值和方差，待指定通道的气体传感器响应稳定后，停止采样计算并写入存储模块，等待外部设备的读取；当读取命令到达时，所述控制与通讯模块读取存储模块中的气体数据并传输给外部设备。
62.2、单周期多通道的气体数据读取。
63.如图3所示，当工作模式为单周期多通道的气体数据读取时：
64.所述控制与通讯模块通过温度控制模块对指定的所有通道的气体传感器(例如，图3所示的气体传感器1～气体传感器w
×
h)对应的微热板进行温度控制调节；通过数据采样处理模块在若干周期内轮询，并多次采集指定的所有通道的气体传感器响应的数据，再按照通道分别计算平均值和方差，待指定的所有通道的气体传感器响应稳定后，停止采样计算并写入存储模块，等待外部设备的读取；当读取命令到达时，所述控制与通讯模块读取存储模块中的气体数据并传输给外部设备。
65.此处虽然是多通道采集，但是每个通道上采用的气体传感器不同，因此需要单独判断响应是否稳定，同时在判断响应稳定的过程中应于规定的最大采样时间内进行，若超过最大采样时间范畴，则直接停止采样，计算最后一个δt时间内的响应均值，并将其写入存储模块，等待外部设备的读取。
66.以上两种模式中，指定通道的气体传感器响应稳定的判断依据表示为：
[0067][0068][0069][0070]
其中，i∈[0，i)，i为设定的最大采样时间数，j∈[0，n)，δt为当前工作条件下数据采样处理模块的采样周期，表示在某一ti时间内采样得到的气体响应数值。同理，μi、σ2分别表示平均值、方差，n为控制采样周期的一个常数，由外界输入控制。例如，可设置n＝5。当c＝1时，判定响应稳定；
[0071]
3、多周期单通道的气体数据连读。
[0072]
还参见图2，当工作模式为多周期单通道的气体数据连读时：
[0073]
所述控制与通讯模块通过温度控制模块对指定通道的气体传感器对应的微热板进行温度控制调节；当温度控制模块开始工作后，通过数据采样处理模块对指定通道的气体传感器重复采集响应的数据，并写入存储模块，等待外部设备的读取；当改变温度继续读数命令到达时，所述控制与通讯模块通过温度控制模块再次进行温度控制调节，并通过数据采样处理模块对指定通道的气体传感器重复采集响应的数据，再写入存储模块；当读取命令到达时，所述控制与通讯模块读取存储模块中的气体数据并传输给外部设备。
[0074]
4、多周期多通道的气体数据连读。
[0075]
还参见图3，当工作模式为多周期多通道的气体数据连读时：
[0076]
所述控制与通讯模块通过温度控制模块对指定的所有通道的气体传感器对应的微热板进行温度控制调节；当温度控制模块开始工作后，通过数据采样处理模块对指定的所有通道的气体传感器重复采集响应的数据，并写入存储模块，等待外部设备的读取；当改
变温度继续读数命令到达时，所述控制与通讯模块通过温度控制模块再次进行温度控制调节，并通过数据采样处理模块对指定通道的气体传感器重复采集响应的数据，再写入存储模块；当读取命令到达时，所述控制与通讯模块读取存储模块中的气体数据并传输给外部设备。
[0077]
5、多周期若干通道的气体数据识别。
[0078]
如图4所示，当工作模式为多周期若干通道的气体数据识别时：
[0079]
所述控制与通讯模块通过温度控制模块对指定的所有通道的气体传感器对应的微热板进行温度控制调节，例如，图4所示的，通道w
×
h的气体传感器，h、w分别为气体传感器阵列中的列号、行号；通过数据采样处理模块在若干周期内轮询，并多次采集指定的所有通道的气体传感器响应的数据，再按照通道分别计算平均值和方差；待指定的所有通道的气体传感器响应稳定后(与前述第2种工作模式下的原理相同，即每一通道都采用前述方式单独判断)，停止采样计算并写入存储模块；在以上采集过程中，所述气味识别计算模块从存储模块中读取训练好的卷积神经网络的权重数据，结合权重数据对读取的气体数据进行分类识别；分类识别结果写入所述存储后模块待外部主机读取。
[0080]
具体来说：气体识别过程通过气味识别计算模块实现，在气体数据采集过程中，气味识别计算模块同时从存储模块中的flash中读取指定温度、指定w
×
h阵列下，识别气体所需的预训练好的权重数据。待气味识别计算模块加载完卷积核中数据(全连接模块数据不一定加载完毕)且存储模块的ram中已经写完气体数据时，在气体识别计算模块进行卷积、激活、池化操作，在该操作过程中同步读取全连接网络权重数据，并在计算结束后进行全连接运算，运算结果输出至存储模块，控制与通讯模块中的cortex-mo核可以对全连接运算结果进行softmax激活，判断气体数据属于各个气体类别的概率值，再存入存储模块，待外部设备读取。
[0081]
如图5所示，为上述卷积运算的原理示意图；如图6所示，为所用到的卷积计算的脉动阵列示意图；如图7所示，为卷积脉动阵列内部结构图，pe表示脉动阵列的计算单元，为带有缓存的alu(算术逻辑单元)，r为缓存，+和
×
代表加法和乘法运算。如图8所示，为池化运算的原理示意图；如图9所示，为池化运算的电路图。如图10所示，为全连接运算的原理示意图。
[0082]
卷积神经网络内部计算所涉及的相关公式表示为：
[0083]
卷积运算之前，为保证边界信息完整性(不降低边界信息的参考程度)，先进行补零操作，例如，卷积原数据集的大小是8
×
8，补零也就是为数据周围增加一些值为0的信息。
[0084]
padding补零下输出尺寸大小：
[0085][0086]
ph＝max((oh-1)
·
sh+fh-ih，0)
[0087]
pw＝max((oh-1)
·
sw+fw-iw，0)
[0088][0089]
[0090]
其中，ih和iw为输入数据的高度和宽度，s为步长，oh和ow为卷积输出高度和宽度，ph和pw为需要补零的高度和宽度，pt和pb为顶部和底部分别补零的行数，pl和pr分别为左右补零的列数；
[0091]
卷积运算，表示为：
[0092][0093]
其中，(u，v)为当前输出矩阵o的横纵坐标，l为卷积核尺寸大小，x为采样所得气体数据，k为卷积核的数据；
[0094]
全连接运算，表示为：
[0095]qu
＝f1·w1u
+f2·w2u
+
…
+fn·wnu
，u＝1，2，...m
[0096]hu
＝f1(qu+bu)
[0097]ul
＝t1·r1l
+t2·r2l
+
…
+tm·rtl
，2＝1，2，...，o
[0098]
y＝f
x
(u)，u＝{u1，...，uo}，y＝{y1，...，yo}
[0099]
参照图10(全连接运算图)，f1、f2...fn是全连接网络模块的输入，n表示输入数目，w
1u
、w
2u
，...，w
nu
为映射到中间第二层全连接网络第u个元素的网络权值，m为第二层全连接网络的元素数目，bu为第二层全连接网络第u个元素qu所对应的偏置值，f1代表第一层全连接网络的激活函数，hu代表经过叠加偏置值并激活之后的第二层全连接网络第u个元素的网络权值；v
1s
、v
2s
...v
ms
为第二层全连接网络映射到第三层全连接网络的权值，s为第三层网络中向量的个数，t1，t2，...，t
t
表示经过叠加偏置值并激活之后的倒数第二层全连接网络各元素的网络权值(图中未示出)；r
t1
，r
t2
，...，r
to
表示倒数第二层全连接网络映射至最后一层全连接网络的网络权值(图中未示出)，t表示倒数第二层网络中向量的个数，o为最后一层全连接网络的元素数目；u
l
表示最后一层全连接网络第l个元素的网络权值，y
l
表示u
l
经最后一层全连接网络的激活函数f
x
激活得到的全连接网络的计算输出，x为总共的全连接网络的层数。y与u各自表示相应网络权值集合。
[0100]
本发明实施例中，上述气体识别过程中创新了cnn算法的计算架构，如图11所示，上半部分展示了单周期单通道的气体数据读取模式下，流式架构运算四级流水线的示意图；下半部分展示了多周期单通道的气体数据连读模式下，单计算引擎复用卷积运算四级流水线的示意图。卷积神经网络中的卷积运算、激活运算、池化运算与全连接运算，采用流水线的方式进行；同时在卷积运算、激活运算与池化运算结束后通过最初训练神经网络标定的网络层次来决定是否需要重复进行卷积、激活与池化运算，若需要则通过控制指令来将数据写入sram，并将数据重新输入到卷积模块重复之前操作，参考单引擎架构对之前结构进行复用。若不需要则通过控制指令直接将数据按照之前流水线的模式输入到全连接层进行计算。参照图11通过这种方式不仅可以复用卷积、激活和池化模块，还可以减少了芯片面积，提高了计算速度；
[0101]
本发明实施例上述方案相对于现有技术而言，主要获得如下有益效果：
[0102]
1)采用新的计算架构，将流式架构和单引擎计算架构相结合，降低了集成式系统的功耗。
[0103]
2)采用mos融合技术，提出了一种从气体采样到气味识别全流程一体式的计算芯
片的具体实现方案；具有气味识别准确率高、功耗低、小型化，为移动气味识别计算提供了新的解决方案。
[0104]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0105]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。