一种气味标签智能识别及气味释放方法和系统与流程

本发明涉及播放设备，具体涉及一种气味标签智能识别及气味释放方法和系统。

背景技术：

1、观看视频已成为人们生活中不可缺少的一部分，视频不仅给人们生活带来乐趣，同时传递大量知识，提供大量信息。现有视频节目非常注重视觉、听觉效果的发展，而人类接收信息除了视觉、听觉外，还有触觉、嗅觉和味觉。如果将视频节目传递信息局限在视觉、听觉方面，难免限制人们对这类文化和艺术的欣赏效果。

2、随着视频艺术的发展，尽管人们对嗅觉的作用和效果早有认识，但在长期实践中，如何将其应用于视频艺术，并真正构成视觉、听觉、嗅觉三维一体的欣赏效果，还没有比较适合的方法。

3、因此，需要提供一种方法解决上述问题。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种气味标签智能识别及气味释放方法和系统。

2、为实现上述目的，本发明的具体方案如下：

3、本发明提供一种气味标签智能识别及气味释放系统，该系统包括：识别系统和释放系统；

4、识别系统包括：气味标签数据库、图像采集模块、气味标签智能识别器、编码模块、发送模块；

5、气味标签数据库：存储图片中的物体对应的气味标签的数据库，用于对气味标签智能识别器进行训练；

6、图像采集模块：自动从显示终端获取图片作为输入，比如通过周期截屏来获取屏幕图片；

7、气味标签智能识别器：通过神经网络提取图片中的物体对应的气味标签；

8、编码模块：将气味标签转换为气味信号的字节流，易于传输；

9、发送模块：将气味信号发送出去；

10、释放系统包括：接收模块、中控模块、存储模块、释放模块；

11、接收模块：用于接收气味信号并转码为气味信息流然后传输给中控模块；

12、中控模块：将气味信息流转换为电信号；通过激活指令指挥释放模块工作，释放模块采用单片机或者树莓派微型主板；

13、存储模块：用于存储与气味信息流相对应的子模块的组合方式，每一子模块对应一个香料仓，每一香料仓放置有对应的香料；

14、释放模块：根据接收到的释放指令，启动对应的子模块工作，通过若干子模块的组合，释放对应香料仓的香料，释放对应的气味；子模块为雾化片或者加热棒；

15、图像采集模块获取图片，气味标签智能识别器获取图片中的气味标签，编码模块将气味标签转换为气味信号的字节流，通过发送模块发送；

16、接收模块接收到气味信号后进行转码为气味信息流发送给中控模块，中控模块发送对应的激活指令给释放模块，释放模块释放香料产生气味。

17、进一步的，所述气味标签识别器包括：卷积神经网络和全连接神经网络；

18、卷积神经网络负责抽取图片的高维特征，全连接神经网络负责输出气味标签、识别框以及置信度的矩阵；该矩阵包含多个气味标签，包含若干被重复识别的物体，采用非极大值抑制(nms)的方式，去除置信度低于阈值的识别结果，达到去除重复识别结果的目的，然后得到气味标签、识别框以及置信度的结果。

19、进一步的，提取图片高维特征公式如下：

20、h1,h2,...,hm＝cnn(x1,x2,...,xm)

21、其中，cnn是卷积神经网络，

22、xi表示单张图片的像素信息，是气味标签识别器的输入，

23、hi表示图片的高维特征。

24、进一步的，将hi合并起来可写作h，然后将h输入全连接神经网络mlp中，得到如下公式：

25、l1,l2,...,lm＝mlp(h)

26、确定全连接网络的损失函数之后令其输出预期的信息，这里的每个li由(y,b,c)构成，其中y是气味标签，b是识别框信息，c是置信度。

27、进一步的，经过非极大值抑制(nms)的方式，去除可能重复识别同一物体的情况，得到如下筛选结果：

28、l1,l2,...,lm′＝nms(l1,l2,...,lm)

29、这里的m′≤m。

30、进一步的，所述卷积神经网络和全连接神经网络采用端到端的方式进行训练和最终的识别；训练数据收集自游戏以及视频的实机运行截图，通过人工标注识别框位置以及标签信息，训练使用均方和误差作为损失函数来优化参数。

31、进一步的，所述释放系统为嗅觉播放主机，所述识别系统为上位机；

32、嗅觉播放主机接收到上位机传递过来的气味信号之后，通过接收模块对气味信号进行解码，获取气味信号的数据部分并转换为气味信息流传递给中控模块；

33、中控模块是嗅觉播放主机的核心处理模块，将接收模块传递过来的气味信息流，转变为硬件电路中的高低电平的激活指令传递到释放模块的各子模块，释放系统还包括：风扇。

34、进一步的，所述气味信号是一串连续的01比特序列，单次传递过程中产生的气味信号是一个数据包，该数据包含有包头、数据、校验码；其中：

35、包头：气味信号的起始点；

36、数据：气味信号包含的指令信息，该指令信息用于指导后续各硬件模块的工作；

37、校验码：检验气味信号传输过程中是否出现偏差，从而保证气味信号在上位机传输到嗅觉播放主机的过程中的准确性；

38、所述气味信息流：本质是01比特序列，采用的是硬件模块传递中通用的信息编码方式；

39、所述激活指令：通过中控模块分配到各子模块引脚的电路信号，也是01比特序列，0表示电路中的低电平，1表示电路中的高电平；序列长度与各子模块相对应，关系如下所示：

40、length＝子硬件接口引脚数

41、从而形式化写出对应子模块的激活指令，用向量形式表示如下：

42、(n1,n2,...,nl)

43、其中ni(1≤i≤l)为0表示该引脚此时施加低电平、为1表示该引脚此时施加高电平，这组高低电平信号就可以控制子模块作出对应的操作。

44、本发明还一种气味标签智能识别及气味释放方法，采用上述系统，该方法包括如下步骤：

45、s1，建立气味标签数据库；

46、s2，对气味标签智能识别器进行训练；

47、s3，气味标签智能识别器获取图片中的气味标签经编码模块转换为字节流的气味信号后由发送模块发送给释放系统；

48、s4，释放系统根据气味信息流释放气味。

49、进一步的，步骤s3具体包括：

50、s31.图像采集模块周期获取显示终端的实时图片，作为气味标签智能识别器的输入；

51、s32.气味标签智能识别器将输入的图片经过神经网络生成气味标签；

52、s33.编码模块将气味标签转换成字节流的气味信号；

53、s4.发送模块将气味信号发送给接收模块；

54、步骤s4具体包括：

55、s41.接收模块将气味信号转换为气味信息流发送给中控模块；

56、s42.中控模块将气味信息流转换成可以操控子模块的激活指令；

57、s43.子模块根据激活指令释放相对应的气味。

58、采用本发明的技术方案，具有以下有益效果：

59、本发明通过实时识别显示终端存在的气味标签，将识别结果最终转化为使用者可以嗅到的对应气味。