本发明属于虚拟嗅觉、气味呈现领域，涉及一种视嗅觉呈现系统。
背景技术：
近年来，随着科学技术的进步，数字化发展的程度越来越高，声音、图像信息已经能够集成到各种电子设备中，便于进行传播和再现。但是，我们现在还很难在获得视听信息的同时获得气味信息。这主要是因为气味相对于声音、图像来说更复杂，难以进行数字化存储和再现。然而，嗅觉作为人的感觉功能之一，对我们的生理、情感等有着重要的影响。因此，在视觉、听觉信息已经成为多媒体内容的基本组成时，研究嗅觉与多媒体内容的结合将是一个不可阻挡的趋势。
要想实现嗅觉与多媒体内容结合，需要一种气味呈现装置，该装置能够产生目标气味，并能够对气味的种类、释放时刻、持续时间等进行控制。气味释放方式有很多，如采用空气压缩机或者气泵配合电磁阀实现气味气体释放，采用加热方式释放气味，采用喷墨装置喷发气味液滴等。这些方式各有其使用的局限性，例如空气压缩机和喷墨装置对设备本身要求较高，加热的方式反应时间较慢且能耗较大等。近年来，科研人员提出和研制了各种各样的气味呈现装置。如专利号cn103926941b提出了一种步进电机控制式的气味生成装置，能够产生三种不同的气味，为嗅觉人机交互提供硬件支持。但该装置体积较大，使用不够方便。专利号cn104330975b采用超声波雾化片设计了一种便携式气味生成装置，可以通过usb与电脑通讯。该装置虽然体积小，但是只能呈现一种气味，不满足实际应用的需要。
现在，气味呈现技术主要应用于气味与图像内容结合方面，即在图像显示的同时呈现气味，达到增强用户沉浸感的目的。如kim等人提出了一种用于家庭环境视频回放的气味呈现系统。用户可以事先将气味信息编码到视频中，在回放视频的时候就可以同时体验到气味[aneditinganddisplayingsystemofolfactoryinformationforthehomevideo，knowledge-basedintelligentinformationandengineeringsystems,vol.4253,pp.859-866,2006]。但是图像内容与气味释放的对应关系是事先确定的，即事先在系统中定义好每个图像对应的气味种类、释放时刻、持续时间等参数，然后在呈现图像的时候根据这些参数控制气味呈现装置工作。当目标图像发生改变时，需要重新进行对应关系设定。因此，采用这种方式的视嗅觉呈现系统不够智能化，对普通用户来说使用不是很方便，难以进行推广。
技术实现要素：
本发明的目的是提供一种更符合实际使用的视嗅觉呈现系统，通过图像识别技术确定视频内容，从而控制定制的气味呈现装置释放气味，为用户提供视嗅觉多媒体信息，以此增强用户的沉浸感。技术方案如下：
一种结合视频内容识别的视嗅觉呈现系统,包括气味呈现装置和图像识别模块，图像识别模块能够识别出图像或视频中的物体，并根据识别的结果控制气味呈现装置释放相应的气味，其特征在于，所述的气味呈现装置包括固定板，多组气味释放单元，风扇和微控制器，每组气味释放单元包括超声微孔雾化片、雾化片驱动板和气味液体小瓶，气味液体小瓶固定于固定板上，超声微孔雾化片固定于气味液体小瓶的瓶口，并与气味液体小瓶内的液体相接触，其产生的气雾方向与风扇产生的气流方向一致，微控制器用于接收图像识别模块的信号，并控制风扇和气味释放单元启停。
本发明主要优点及特色体现在如下几个方面：
1、采用视频内容识别的方式确定要呈现的气味种类，避免了事先进行气味与图像对应关系的设定，实现了智能化视嗅觉多媒体呈现，有利于视嗅觉人机交互的发展。
2、气味呈现装置中微孔雾化片为水平朝向，使得产生的气雾也是水平方向的。与雾化片朝上或者朝下相比，水平朝向的雾化片既能够使液体与雾化片相接触，从而维持雾化量稳定，又能够避免雾化片朝下时由于气雾初速度的作用使得装置底部聚集过多液体的问题。
3、本发明所设计的气味呈现装置结构简单紧凑，体积小，且能够支持八种不同气味的呈现。
附图说明
图1是气味呈现装置内部结构示意图；
图2是气味呈现装置内部结构俯视图；
图3是水果识别流程图；
图4是传感器响应曲线。
具体实施方式
在视嗅觉呈现系统中，核心是实现气味与图像的对应，现有的方法都是事先设定好两者之间的对应关系，当加入新的图像内容时，需要重新进行对应关系设定，因此难以满足实际应用的需要。本发明提出了一种结合视频内容识别的视嗅觉呈现系统，通过模式识别技术识别出视频内容，然后根据识别的结果控制定制的气味呈现装置释放对应的气味。具体内容分为以下几个方面：
1、气味呈现装置
本发明所设计的气味呈现装置主要由超声微孔雾化片模块、气味液体小瓶、直流风扇、微控制器、电源以及装置外壳组成，其中外壳分成了前盖、顶盖、固定板、后盖和部分外壳等多个部分，采用3d打印定制，并采用螺丝和插槽组装。图1是装置的内部结构示意图,图2是装置内部结构俯视图。微孔雾化片模块包括微孔雾化片和驱动板，其中微孔雾化片直径仅为16mm，其中间位置有许多微米级小孔。在专用驱动板的驱动下，雾化片以110khz的频率振动，能够将接触的液体从中间的小孔雾化喷出。将雾化片粘贴在开有孔的气味液体小瓶瓶盖上，组成气味释放单元，小瓶起到存储气味液体的作用，雾化片在静息状态下起到密封的作用，在振动时又能够将气味释放出来。本发明中，气味释放单元通过圆孔插入固定板中，固定板通过插槽的方式安装到装置内部，方便对气味释放单元进行安装和拆卸。本发明所设计的固定板上有八个圆孔，可以安装八个气味释放单元，使得能够释放的气味种类有所丰富。之前别人使用微孔雾化片释放气味时，雾化片的朝向是朝上或者朝下的。雾化片朝上时需要利用棉棒来吸引液体，才能让雾化片与液体保持接触。但实际使用时，雾化量会随着液体体积减少而降低甚至为零。雾化片朝下时虽然能够保证小瓶中的气味液体始终与雾化片接触，保持雾化量稳定。但是，由于产生的气雾具有一定速度，竖直向下喷出会导致气雾过多聚集在底部形成一滩液体，影响气味释放以及装置本身。本发明中安装好的气味释放单元是水平朝向的，即产生的气雾是水平的。这样的设计既能够保持雾化片与液体相接触，使每次雾化量恒定，又能够解决气雾聚集在装置内部的问题。直流风扇位于整个装置尾部，产生的气流与气雾方向一致，能够起到气味传递的作用，并能够清除装置内部残留的气味。12v电池采用电压转换模块输出5v供至气味释放单元和直流风扇。气味释放单元和风扇的控制由微控制器实现。微控制器一组i/o口分别与八个气味释放单元的信号线连接，通过控制相应引脚的电平高低，可以启动或停止气味释放。微控制器的一个i/o引脚用于控制继电器，继电器的输出一端接电源，一端接风扇的正极，通过控制继电器的开闭实现风扇的启动和停止。微控制器通过usb转rs232连接线与电脑进行通讯。与电机驱动式或电磁阀式等气味呈现装置相比，本发明所设计的气味呈现装置结构简单紧凑、体积小，不需要复杂的控制电路和气路即可实现气味释放。除顶盖和风扇由螺丝固定外，其他部件都可以通过插槽、插孔安装，组装和拆卸都很方便，便于维护。
2、图像识别模块
图像识别模块用于对水果视频内容进行识别，本发明选择被识别物的形状和颜色两种特征。载入视频后，首先获取一帧图像，通过高斯滤波对图像进行平滑，然后通过边缘检测、形态学闭运算、轮廓提取等操作获取被识别物区域，在此基础上计算该区域的圆度，作为形状特征；将原图像转换到hsv颜色空间，并拆分成h、s、v三通道图像。根据之前轮廓提取的结果分别计算被识别物的平均色调和平均饱和度，作为颜色特征；对每个被识别物的三个特征值都分别设定有上下阈值，只有当三个特征值都满足上下阈值时，才能确定其种类。
3、视嗅觉呈现系统
传统的视嗅觉呈现系统需要事先设定图像与气味之间的对应关系，当添加或更改图像时，需要重新设定对应关系，使用不够方便和智能化。本发明提出了将视频图像识别技术与气味呈现相结合，构建一种新的视嗅觉呈现系统。在播放视频时，图像识别模块实时识别视频内容，当确定被识别物种类后，软件会通过串口向气味呈现装置中的微控制器发送该识别物代码，微控制器通过解码后确定其种类，进而控制相应的气味释放单元和风扇工作，为用户呈现与视频图像相对应的气味，以此增强用户的沉浸感。
下面结合实施例进一步说明。
如图1、3是气味呈现装置的结构示意图，包括了超声微孔雾化片1、雾化片驱动板2、气味液体小瓶3、装置前盖5、顶盖6、直流风扇7、部分外壳8、usb转rs232连接线9、固定板10、微控制器11、电池12等多个部分。超声微孔雾化片1粘贴到气味液体小瓶3的瓶盖上，组成气味释放单元13。瓶盖顶部开有一个小孔，方便雾化片与液体相接触。气味释放单元13通过圆孔4安装到固定板10上，固定板10通过插槽安装在装置内部。按照这种方式安装的气味释放单元13，其产生的气雾是水平方向的，与直流风扇7的气流方向一致，有利于气味的传递和装置内部残留气味的清除，同时能够保证气味释放单元13内的气味液体始终与雾化片1接触，保持雾化量恒定，并能够完全利用瓶内液体。固定板10上留有八个圆孔，可安装八个气味释放单元13。电池12的电压是12v，通过电压转换模块转换成5v供给直流风扇7和气味释放单元13。微控制器11用于接收图像识别模块的信号，并控制直流风扇7和气味释放单元13启停。微控制器11型号是stc89c52，其p1口八个引脚分别与八个气味释放单元13相连，通过控制相应引脚的电平高低可以启动或停止气味释放。微控制器11的p2.0引脚与一个继电器的信号端相连，继电器的输出一端接电源，一端接风扇7的正极，通过控制继电器的开闭实现风扇7的启动和停止。微控制器11通过usb转rs232连接线9与电脑进行通讯，并由电脑供电。
本实施例采用水果作为视频内容，选择了苹果、桃子、橘子、香蕉、菠萝五种水果，对每种水果分别拍摄了10s钟的短视频，作为视频源。在特征选择方面，选取了水果的形状和颜色两种特征。图3是水果识别的流程。
(1)形状特征提取
本发明选择圆度作为水果形状特征，由下述公式表示：
shape＝4πs/l2(1)
其中s表示水果区域的面积，l表示水果轮廓长度，都以像素为单位。形状特征的提取过程如下：
1)获取一帧图像，将彩色图像转换成灰度图。
2)使用高斯滤波对图像进行去噪。
3)采用canny边缘检测算子对去噪后的灰度图进行边缘检测。
4)使用形态学闭操作去除小的孔洞。
5)对边缘检测的结果进行轮廓提取，获得水果轮廓。
6)获得轮廓区域的周长和面积，使用公式(1)计算得到水果的形状特征值shape。
(2)颜色特征提取
不同水果可能会有相似的形状，例如苹果、橘子和桃子的形状都接近圆形。但是形状和颜色都相似的情况相对来说很少，因此为了能够唯一表征水果，在形状特征的基础上再引入颜色特征。这里，我们使用hsv空间作为识别的颜色空间，其中h是色调，s是饱和度，v是亮度。本实施例使用h、s两通道来计算颜色特征，分别使用平均色调hmean和平均饱和度smean来表征：
hmean＝harea/s(2)
smean＝sarea/s(3)
其中harea、sarea分别表示水果区域所有像素的总色调值和总饱和度值。颜色特征提取的过程如下：
1)获取一帧图像，将图像由rgb颜色空间转换到hsv颜色空间。
2)将转换后的图像拆分成h、s、v三通道的图像，并根据轮廓提取的结果分别统计水果区域的总色调harea和总饱和度sarea。
3)根据公式(2)、(3)分别计算得到颜色特征hmean、smean。
(3)水果识别
在获得水果的形状和颜色特征后，接下来需要根据特征值确定水果种类。本发明采用对每种水果的三个特征值分别设定上下阈值，只有当三个特征值都满足设定的阈值时，才能确定其类别。具体的判断方法如下：
假设fi表示通过图像处理得到的第i个特征值，fij,high、fij,low表示第j种水果的第i个特征值的上下阈值，rij表示由第i个特征判断得到的结果，由下式表示：
shape、hmean、smean三个特征值分别对应f1、f2、f3，由公式(4)可以得到对每个特征值判定的结果，最后采用逻辑与运算来确定是否是第j种水果：
cj表示识别的结果，当cj＝1时，表示该水果是第j种。本发明中，j＝1,2,3,4,5，分别对应苹果、桃子、橘子、香蕉、菠萝这五种水果。
本发明的具体工作过程如下：
播放一段水果视频，图像识别模块自动获取一帧图像，根据上述方法对该图像进行识别，确定其水果种类；然后软件通过串口将识别得到的水果编号下传到微控制器11，微控制器11按照协议确定水果种类，进而控制相应的气味释放单元13工作5秒。图像识别模块一直对视频内容进行识别，如果相邻两次识别结果相同，则不再重新发送水果编号，否则会下传新的水果编号。微控制器11在接收到新的编号后，会立即停止正在工作的气味释放单元13，然后释放新的气味。
为验证该系统工作的可靠性，采用气体传感器对释放的气味进行了检测。首先在不引入视频识别的情况下按照香蕉、桃子、橘子、苹果、菠萝的顺序依次控制装置释放五种水果味气味各5秒，作为参照。然后按照相同顺序依次载入水果视频，根据视频识别的结果控制装置释放气味各5秒。图4是两次实验的传感器响应。气味物质是稀释的水果味精油。从图上可以看出，两次的传感器响应曲线具有相同的变化轨迹，说明图像处理模块能够准确识别出视频中的水果种类，并控制相应的气味释放单元13释放气味。由于传感器对橘子味的精油不敏感，我们根据时间大致确定橘子释放的时间段在80s-100s。