流式数据处理的方法、装置、半导体芯片和计算机设备与流程

1.本技术涉及信息处理技术领域，特别是涉及流式数据处理的方法、装置、半导体芯片和计算机设备。


背景技术：

2.随着科学技术的发展，越来越多的用户使用智能设备与亲朋好友进行交流和沟通，在用户使用智能设备的过程中，智能设备需要处理大量的音频或者视频数据，该音频或者视频数据均为流式数据。
3.在相关技术中，智能设备通过定义好的完整的卷积神经网络对流式数据进行处理，数据重复计算率高，导致智能设备的功耗大、成本高。
4.目前针对相关技术中，智能设备对流式数据处理的重复计算率高，导致智能设备的功耗大、成本高的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种流式数据处理的方法、装置、半导体芯片、计算机设备和计算机可读存储介质，以至少解决相关技术中，智能设备对流式数据处理的重复计算率高，导致智能设备的功耗大、成本高的问题。
6.第一方面，本技术实施例提供了一种流式数据处理的方法，所述方法包括：
7.获取预设时间段内的流式数据，根据所述流式数据的时间轴，将所述流式数据分割成多个数据块，其中，所述数据块与所述时间轴上的时间间隔对应；
8.通过卷积神经网络对所述数据块进行计算，所述卷积神经网络包括多个计算块，在第一时间间隔中，所述卷积神经网络的第一计算块对所述第一时间间隔中的所述数据块进行计算和分类，得到第一识别结果，并将所述第一识别结果进行缓存；
9.在第二时间间隔中，所述卷积神经网络的第二计算块对第二时间间隔中的所述数据块进行计算，得到第二计算结果，所述第二计算块获取所述第一识别结果的缓存，将所述第一识别结果与所述第二计算结果进行分类，得到第二识别结果。
10.在其中一些实施例中，所述第一计算块和所述第二计算块，均与所述时间轴上的时间间隔对应。
11.在其中一些实施例中，在所述得到第二识别结果之后，所述方法还包括：
12.将所述第二识别结果缓存在先入先出存储器中。
13.在其中一些实施例中，所述对所述第一时间间隔中的所述数据块进行计算和分类包括：
14.在所述流式数据为音频数据的情况下，提取所述音频数据的音频特征，根据所述音频特征识别所述音频数据的声纹；
15.根据所述声纹，对所述音频数据进行分类识别。
16.在其中一些实施例中，所述对所述第一时间间隔中的所述数据块进行计算和分类
还包括：
17.在所述流式数据为视频数据的情况下，对所述视频数据的视频帧进行图像识别，提取所述视频帧的特征向量，根据所述特征向量对所述视频帧进行分类识别。
18.第二方面，本技术实施例提供了一种音频数据处理的装置，所述装置包括麦克风和微处理器；
19.所述麦克风获取预设时间段内的音频数据，所述微处理器根据所述音频数据的时间轴，将所述音频数据分割成多个数据块，其中，所述数据块与所述时间轴上的时间间隔对应；
20.所述微处理器在第一时间间隔中，对所述第一时间间隔中的所述数据块进行计算和分类，得到第一识别结果，并将所述第一识别结果缓存至先入先出存储器，所述微处理器在第二时间间隔中，对所述第二时间间隔中的所述数据块进行计算，得到第二计算结果，所述微处理器获取所述第一识别结果的缓存，将所述第一识别结果与所述第二计算结果进行分类和识别，得到第二识别结果。
21.在其中一些实施例中，所述微处理器包括卷积神经网络，所述卷积神经网络对所述时间间隔中的所述数据块进行计算和分类，其中，所述卷积神经网络包括多个计算块，所述计算块与所述时间轴上的时间间隔对应。
22.第三方面，本技术实施例提供了一种流式数据处理的半导体芯片，所述芯片包括神经网络加速器：
23.所述半导体芯片的接收器获取预设时间段内的流式数据，所述神经网络加速器根据所述流式数据的时间轴，将所述流式数据分割成多个数据块，其中，所述数据块与所述时间轴上的时间间隔对应；
24.所述神经网络加速器在第一时间间隔中，通过卷积神经网络的第一计算块对所述第一时间间隔中的所述数据块进行计算和分类，得到第一识别结果，并将所述第一识别结果进行缓存；
25.所述神经网络加速器在第二时间间隔中，通过所述卷积神经网络的第二计算块对第二时间间隔中的所述数据块进行计算，得到第二计算结果，所述神经网络加速器获取所述第一识别结果的缓存，将所述第一识别结果与所述第二计算结果进行分类，得到第二识别结果。
26.在其中一些实施例中，在所述神经网络加速器中，所述卷积神经网络的所述第一计算块和所述第二计算块，均与所述时间轴上的时间间隔对应。
27.第四方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法。
28.第五方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法。
29.相比于相关技术，本技术实施例提供的流式数据处理的方法，通过获取预设时间段内的流式数据，根据该流式数据的时间轴，将该流式数据分割成多个数据块，其中，该数据块与该时间轴上的时间间隔对应，通过卷积神经网络对该数据块进行计算，该卷积神经网络包括多个计算块，在第一时间间隔中，该卷积神经网络的第一计算块对该第一时间间
隔中的数据块进行计算和分类，得到第一识别结果，并将该第一识别结果进行缓存，在第二时间间隔中，该卷积神经网络的第二计算块对第二时间间隔中的数据块进行计算，得到第二计算结果，该第二计算块获取该第一识别结果的缓存，将该第一识别结果与该第二计算结果进行分类，得到第二识别结果，解决了智能设备对流式数据处理的重复计算率高，导致智能设备的功耗大、成本高的问题，减少了对流式数据的重复计算率，提高了计算效率，降低了成本。
30.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
31.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
32.图1是根据本技术实施例的流式数据处理的方法的流程图；
33.图2是根据本技术实施例的音频数据处理的方法的流程图；
34.图3是根据本技术实施例的音频数据处理的装置的结构框图；
35.图4是根据本技术实施例的卷积神经网络的结构示意图；
36.图5是根据本技术实施例的电子设备的内部结构示意图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
39.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
40.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有
列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
41.本实施例提供了一种流式数据处理的方法。图1是根据本技术实施例的流式数据处理的方法的流程图，如图1所示，该方法包括如下步骤：
42.步骤s101，获取预设时间段内的流式数据，根据该流式数据的时间轴，将该流式数据分割成多个数据块，其中，该数据块与该时间轴上的时间间隔对应。
43.本实施例中的流式数据为按照时间顺序、大量、快速且连续到达的数据序列，例如用户通过智能设备进行交互的过程中，产生的音频或者视频数据。预设时间段为对流式数据进行处理的一个时间预设值，沿时间轴对该预设时间段进行划分，该预设时间段包括多个时间间隔。例如，在流式数据为视频数据的情况下，该预设时间段可以为1s，时间间隔可以为30，即在1s的预设时间段内，包括30个时间间隔。流式数据按照该时间间隔进行分块，在1s中得到多个数据块，例如，在视频数据中，每个时间间隔中的图像帧数据可以看作为1个数据块，在1个数据块中，该图像帧的数量可以为1、2或者其它数值。
44.步骤s102，通过卷积神经网络对该数据块进行计算，该卷积神经网络包括多个计算块，在第一时间间隔中，该卷积神经网络的第一计算块对该第一时间间隔中的该数据块进行计算和分类，得到第一识别结果，并将该第一识别结果进行缓存。
45.其中，卷积神经网络(convolutional neural networks，简称为cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，卷积神经网络具有表征学习能力，能够按照其阶层结构对输入信息进行平移不变分类。卷积神经网络是仿造生物的视觉感知(visual perception)机制构建的，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征进行学习，且学习结果稳定，对流式数据没有额外的特征工程(feature engineering)要求。
46.本实施例中，在第一时间间隔内，卷积神经网络中的第一计算块只计算该第一时间间隔内的第一数据块，然后将识别结果进行缓存。
47.步骤s103，在第二时间间隔中，该卷积神经网络的第二计算块对第二时间间隔中的该数据块进行计算，得到第二计算结果，该第二计算块获取该第一识别结果的缓存，将该第一识别结果与该第二计算结果进行分类，得到第二识别结果。
48.在第二时间间隔中，卷积神经网络中的第二计算块只计算第二数据块中的数据，然后结合缓存中的第一识别结果，将该第一识别结果和第二计算结果一起进行分类和识别，得到第二识别结果。
49.通过上述步骤s101至步骤s103，基于时间轴，在每个时间间隔内，卷积神经网络中的计算块只计算该时间间隔内的数据块，然后将识别结果与前一个时间间隔中缓存的识别结果一起进行分类和识别，消除了大量的重复数据的计算，解决了智能设备对流式数据处
理的重复计算率高，导致智能设备的功耗大、成本高的问题，减少了对流式数据的重复计算率，提高了计算效率，降低了成本。
50.在其中一些实施例中，第一计算块和第二计算块，均与时间轴上的时间间隔对应。在本实施例中，卷积神经网络按照时间轴分为多个计算块，该计算块与时间间隔在分类和识别的级别上进行对应，进而与流式数据中的数据块进行对应，便于卷积神经网络对流式数据进行处理，在提高卷积神经网络的计算效率的同时，保证了卷积神经网络的计算精度。
51.在其中一些实施例中，需要对卷积神经网络中，多个计算块的权重参数进行训练，求出权重参数的最佳值。在训练的过程中，对多个计算块的权重参数同时进行训练。
52.在其中一些实施例中，在得到第二识别结果之后，该流式数据处理的方法还包括：将第二识别结果缓存在先入先出存储器中。其中，先入先出(first input first output，简称为fifo)缓存器通常用于不同时钟域之间的数据传输，fifo缓存器在对数据进行缓存的过程中，在数据进入fifo缓存器接口的速度大于接口能发送的速度的情况下，fifo缓存器按照数据到达接口的先后顺序，允许数据进入队列，同时，fifo缓存器在队列的出口让数据按照进入缓存器时的顺序出队，先进入的数据将先出队，后进入的数据将后出队，直到所有的识别结果被缓存。本实施例中采用fifo进行识别结果的缓存，数据处理简单，同时可以降低数据处理的成本。
53.本实施例还提供了一种音频数据处理的方法。图2是根据本技术实施例的音频数据处理的方法的流程图，如图2所示，在流式数据为音频数据的情况下，该方法还包括如下步骤：
54.步骤s201，提取该音频数据的音频特征，根据该音频特征识别该音频数据的声纹。其中，音频数据可以为麦克风实时获取的声音数据，也可以为手机中缓存的声音数据，音频特征包括音频数据的信号幅度、频率、连续性等等，声纹为声音信号的频谱表示。本实施例中的音频数据，可以每10毫秒提取一帧。
55.步骤s202，根据该声纹，对该音频数据进行分类识别。声纹中包含了声音数据的大量信息，通过对该信息进行计算、分类和识别，可以获取输入的音频数据的处理结果。
56.通过上述步骤s201和步骤s202，在获取到音频数据之后，通过卷积神经网络中的计算块对音频数据进行过滤、缩放，提取每一帧音频数据中的音频特征，然后对音频特征进行分类识别，得到最终的音频数据结果，提高了对音频数据的处理效率。
57.在一些实施例中，在该流式数据为视频数据的情况下，对该视频数据的视频帧进行图像识别，提取该视频帧的特征向量，根据该特征向量对该视频帧进行分类识别。例如，在一个时间间隔内，只有一个视频帧，则卷积神经网络中的计算块对该视频帧进行特征提取，实现对该视频帧的分类和识别，提高了对视频数据的处理效率。
58.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
59.本实施例还提供了一种音频数据处理的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
60.在一些实施例中，图3是根据本技术实施例的音频数据处理的装置的结构框图，如图3所示，该装置包括：麦克风31和微处理器32；
61.麦克风31获取预设时间段内的音频数据，将该音频数据转换为数字信号，并送入微处理器32进行处理，微处理器32根据该音频数据的时间轴，将该音频数据分割成多个数据块，其中，该数据块与该时间轴上的时间间隔对应，该微处理器32在第一时间间隔中，对第一时间间隔中的数据块进行计算和分类，得到第一识别结果，并将该第一识别结果缓存至先入先出存储器，该微处理器32在第二时间间隔中，对该第二时间间隔中的该数据块进行计算，得到第二计算结果，该微处理器32从先入先出存储器中获取该第一识别结果的缓存，将该第一识别结果与该第二计算结果进行分类和识别，得到第二识别结果。
62.相关技术中，在以4个时间间隔进行分类识别的过程中，每个识别结果需要查询32个时间间隔中的数据，在计算[t-31，t]和[t-27，t+4]中的流式数据的过程中，数据的重复率达到了87％，对于低功率设备和移动设备，这是不可接受的。而本实施例中，基于时间轴，在每个时间间隔内，卷积神经网络中的计算块只计算该时间间隔内的数据块，然后将识别结果与前一个时间间隔中缓存的识别结果一起进行分类和识别，消除了大量的重复数据的计算，解决了智能设备对流式数据处理的重复计算率高，导致智能设备的功耗大、成本高的问题，减少了对流式数据的重复计算率，提高了计算效率，降低了成本。
[0063]
在一些实施例中，该微处理器32包括卷积神经网络，该卷积神经网络对该时间间隔中的该数据块进行计算和分类，其中，该卷积神经网络包括多个计算块，该计算块与该时间轴上的时间间隔对应。
[0064]
相关技术中，可以通过增大分类和识别的时间间隔，来降低重复率，例如，将以4个时间间隔进行分类和识别变为以8个时间间隔进行分类和识别，重复率会下降至75％，但此时，由于数据信号从时间间隔的中间开始，识别精度降低。在本实施例中，卷积神经网络按照时间轴分为多个计算块，该计算块与时间间隔在分类和识别的级别上进行对应，进而与流式数据中的数据块进行对应，便于卷积神经网络对流式数据进行处理，在提高卷积神经网络的计算效率的同时，保证了卷积神经网络的计算精度。
[0065]
在一些实施例中，还提供了一种流式数据处理的半导体芯片，该半导体芯片包括神经网络加速器；该半导体芯片的接收器获取预设时间段内的流式数据，该神经网络加速器根据该流式数据的时间轴，将该流式数据分割成多个数据块，其中，该数据块与该时间轴上的时间间隔对应；该神经网络加速器在第一时间间隔中，通过卷积神经网络的第一计算块对该第一时间间隔中的该数据块进行计算和分类，得到第一识别结果，并将该第一识别结果进行缓存；该神经网络加速器在第二时间间隔中，通过该卷积神经网络的第二计算块对第二时间间隔中的该数据块进行计算，得到第二计算结果，该神经网络加速器获取该第一识别结果的缓存，将该第一识别结果与该第二计算结果进行分类，得到第二识别结果。
[0066]
本实施例中，基于时间轴，在每个时间间隔内，卷积神经网络中的计算块只计算该时间间隔内的数据块，然后将识别结果与前一个时间间隔中缓存的识别结果一起进行分类和识别，消除了大量的重复数据的计算，解决了智能设备对流式数据处理的重复计算率高，导致智能设备的功耗大、成本高的问题，减少了对流式数据的重复计算率，提高了计算效率，降低了硬件设备的功耗，进而降低了成本。
[0067]
在一些实施例中，在半导体芯片的神经网络加速器中，卷积神经网络的第一计算
块和第二计算块，均与时间轴上的时间间隔对应。图4是根据本技术实施例的卷积神经网络的结构示意图，如图4所示，沿着时间轴，卷积神经网络分为多个计算块，计算块对应的名称分别为block0、block1、block2、block3、block
…
、block-n+3、block-n+2、block-n+1、block-n等等，在计算块之后，分别为展平层(flatten layer)、全连接层(fully connected layers，简称为fc)、分类(classes)。在本实施例中，卷积神经网络按照时间轴分为多个计算块，该计算块与时间间隔在分类和识别的级别上进行对应，进而与流式数据中的数据块进行对应，便于卷积神经网络对流式数据进行处理，在提高卷积神经网络的计算效率的同时，保证了卷积神经网络的计算精度。
[0068]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0069]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种流式数据处理的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0070]
在一个实施例中，图5是根据本技术实施例的电子设备的内部结构示意图，如图5所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种流式数据处理的方法。
[0071]
本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0072]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的流式数据处理的方法中的步骤。
[0073]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的流式数据处理的方法中的步骤。
[0074]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读
取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synch link)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0075]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0076]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。