一种基于意图理解模型的导航式虚拟显微镜的制作方法

本发明属于智能显微镜设计的技术领域，特别涉及一种基于意图理解模型的导航式虚拟显微镜。

背景技术：

显微镜的使用，是中学生物科学学习的一个重点内容，也是考试过程中，学生经常犯错的内容，在学习过程中，掌握好显微镜的使用规则，对学好理论知识和对微观世界的探究都大有裨益。然而，中学经常使用的和教材介绍的显微镜，都是十分传统的单目显微镜，学生在使用显微镜过程中，常常会因为调节焦距和合适的亮度花费大量的时间，而且成像效果不好，一堂实验课下来，学生情绪往往从初始的兴奋转为疲惫不堪。传统的教学实验课，一般是老师在讲台演示，学生在下面观察，即使学生操作过程比较规范，也有可能得不到好的结果，教师往往奔走在不同学生之间，导致师生之间交流不够有效，导致学生感性层面上认知生物会有偏差。因此，如何使学生正确观察实际的生物结构和现象变得尤为重要。更局限的是，每一个显微镜同一时间只能是一人观察，老师想要看到学生的实验结果，就必须逐一检查学生显微镜下的像，不同学生之间也无法达到共享实验结果的目的，因此，若能将成功的实验结果和错误的案例结果展示给学生和教师，对学生的学习和和激励引导都会产良好的引导作用，同时也为老师评估学生的实验情况带来极大的便利。

目前正在普及的是数字显微镜。所谓数字显微镜，就是能与电脑连接的，将在显微镜视野内观察到的结构或现象通过软件显示在电脑的显示屏上，使得观察到的结构或现象更加清晰，而且可以让多人同时观看。数字显微镜有以下优点:第一，物像呈现在电脑显示屏上，降低寻找物像难度；第二，教师可实时监控学生电脑显示屏，迅速判断学生操作问题，及时进行调整；第三，如果学生实验失败，教师可以电脑共享其他小组成功的物像截图，督促学生分析失败的原因。利用数字显微镜，可以使实验的评价过程简化，可行性提高，覆盖面扩大。但是，数字显微镜的造价还是比较昂贵的，最普通的显微镜价格要在2000元左右，对于一般的或者较贫困的中学来说，大量购买显微镜设备成为困难。

技术实现要素：

本发明提出了一种基于意图理解模型的导航式虚拟显微镜，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。

为了实现上述目的，本发明提出的一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；

所述多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；所述操作行为包括通过转动传感器获得用户调节显微镜粗细准焦螺旋的方向和通过图像采集设备识别待观察样本以及检测待观察样本运动的图像信息；

所述多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互；

所述交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。

进一步的，所述通过图像采集设备识别待观察样本的方法为，载玻片的上表面设置有表示所述待观察样本的二维码图片，图像采集设备识别不同的二维码，进而从数据库中调取样本图像。

进一步的，所述视觉通道信息处理的方法为：识别样本的原始rgb图像，其中d为样本图像合集；观察样本的变化，当前观察到的样本的图像为p，其中移动变换函数为pw()，新生成的图像为p’,则位移变换过程公式为p’(x,y)＝pm(x-△x,y-△y)；

所述p∈d,x,y)∈p，△x、△y分别为图像p中像素点的偏移量。

进一步的，所述检测待观察样本运动的图像信息的方法为载玻片的下表面设置有带有检测标记的圆面，在操作过程时待检测样本发生位置移动，利用带有检测标记的圆面和所述位移变换过程的公式，计算出样本位置移动，根据偏移量△x和△y观察到样本图像。

进一步的，所述触觉通道信息处理的方法为：通过调节粗准焦螺旋或细准焦螺旋来调节图像清晰度，其中粗准焦螺旋或细准焦螺旋的转动变化函数为pv(),调节粗准焦螺旋，得到离散值t∈t{11,12,13,14,15,16},sxy表示中心点在(x,y)处、滤波窗口的大小为mxn、均值滤波函数为pv,另外所以根据算术均值滤波函数可以得到新生成的图像p″

调节细准焦螺旋，得到离散值s，s∈s{1,2,3,4,5,6}，sxy表示中心点在(x,y)处、滤波窗口的大小为mxn、均值滤波函数为pv,另外

所以根据算术均值滤波函数可以得到新生成的图像p″

所述p(x，y)为当前未经粗准焦螺旋调节或者未经细准焦螺旋调节的图像。

进一步的，所述多通道信息整合包括双通道信息整合和三通道信息整合；

所述双通道信息整合用于调整粗准焦螺旋或者细准焦螺旋中的任意一个，移动样本并观察样本的数据整合；多通道整合函数为muf()，未调节前的图像为p，移动变换函数为pm()，转动变换函数为pv()，因此，多通道整合函数可以表示为：

muf(p)＝ɑpm(p)+(1-ɑ)pv(p)；

所述ɑ为选择参数，所述ɑ＝0，1，转动传感器转动，当完成一次调节后，p″′＝muf(p)；p″′作为当前观察图像可继续被调节；

所述三通道信息整合用于在整合策略中输入图像信息、操作行为和语音信息，在当前状态条件下,系统根据不同的用户行为进入不同的系统状态。

进一步的，所述操作指引为在用户使用导航式虚拟显微镜时，语音提示操作步骤或操作方法使待测样本位于显微镜的视野内。

进一步的，所述图像保存为在转动粗准焦螺旋或者细准焦螺旋时，当视野内的样本清晰度达到设定的阈值，语音提示保存图像，待用户确认后，虚拟显微镜系统将当前视野内的图像保存到指定文件夹中。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明实施例提出了一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；其中操作行为包括通过转动传感器获得用户调节显微镜粗细准焦螺旋的方向和通过图像采集设备识别待观察样本以及检测待观察样本运动的图像信息；多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互。交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。本发明通过多模态信息获取和整合，在显微镜的调节过程中，通过语音信息、操作行为的获取等调节粗细准焦螺旋，移动载玻片，切换不同的目镜和物镜观察不同倍数下的样本图像。对于学生而言，语音和视觉呈现是自然的交互方式，深度学习技术使得语音识别，语音转化为文本信息和语音合成技术更加准确，也使得人机交互过程更加灵活智能。在图像处理方面，智能显微镜借助图像处理技术能够准确的识别到不同的样本标签，实时计算出跟踪点的位置，按照一定的规则，控制样本图像的移动。本发明利用简单的传感元件，加入了多种模态的信号输入和智能化感应技术，在保证数字显微镜优点的基础上，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。

附图说明

附图1是本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜多模态交互的总体框架图；

附图2是本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜中三通道信息整合策略图；

附图3是本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜实现的结构示意图；

附图4是本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜的目镜结构示意图；

其中：1-通光孔；2-载物台；3-摄像头；4-载玻片下表面；5-载玻片1上表面；6-载玻片2上表面。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

本发明实施例1提出了一种基于意图理解模型的导航式虚拟显微镜，包括括多模态输入与感知模块、多模态信息整合模块和交互应用模块；

多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；操作行为包括通过转动传感器获得用户调节显微镜粗细准焦螺旋的方向和通过图像采集设备识别待观察样本以及检测待观察样本运动的图像信息；

多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互；

交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。

如图1给出了本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜多模态交互的总体框架图；

多模态输入与感知模块包括多模态输入和交互设备，使用传声器获取用户的语音信息，其中传声器采用麦克风，mic与语音识别设备相连,用户的操作行通过触觉和视觉传达，即来源于转动传感器和图像采集设备，转动传感器用来捕获用户调节粗细准焦螺旋的方向，用于样本清晰度的调节，图像采集设备用来识别样本和检测样本移动。其中图像采集设备使用相机。

通过图像采集设备识别待观察样本的方法为，载玻片的上表面设置有表示所述待观察样本的二维码图片，图像采集设备识别不同的二维码，进而从数据库中调取样本图像。

多模态信息整合模块用于意图理解，将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合。将语音信息通过视觉通道信息处理的方法为：识别样本的原始rgb图像，其中d为样本图像合集；观察样本的变化，当前观察到的样本的图像为p，其中移动变换函数为pw()，新生成的图像为p’,则位移变换过程公式为p’(x,y)＝pm(x-△x,y-△y)；

其中p∈d,(x,y)∈p，△x、△y分别为图像p中像素点的偏移量。

将操作行为通过触觉通道信息处理的方法为，通过调节粗准焦螺旋或细准焦螺旋来调节图像清晰度，其中粗准焦螺旋或细准焦螺旋的转动变化函数为pv(),调节粗准焦螺旋，得到离散值t∈t{11,12,13,14,15,16},sxy表示中心点在(x,y)处、滤波窗口的大小为mxn、均值滤波函数为pv,另外所以根据算术均值滤波函数可以得到新生成的图像p″

调节细准焦螺旋，得到离散值s，s∈s{1,2,3,4,5,6}，sxy表示中心点在(x,y)处、滤波窗口的大小为mxn、均值滤波函数为pv,另外

所以根据算术均值滤波函数可以得到新生成的图像p″

其中，p(x,y)为当前未经粗准焦螺旋调节或者未经细准焦螺旋调节的图像。

将处理后的语音信息和操作行为通过多通道信息整合，其中多通道信息整合包括双通道信息整合和三通道信息整合；双通道信息整合用于调整粗准焦螺旋或者细准焦螺旋中的任意一个，移动样本并观察样本的数据整合；多通道整合函数为muf()，未调节前的图像为p，移动变换函数为pm()，转动变换函数为pv()，因此，多通道整合函数可以表示为：

muf(p)＝ɑpm(p)+(1-ɑ)pv(p)；

其中，ɑ为选择参数，ɑ＝0，1，转动传感器转动，当完成一次调节后，p″′＝muf(p)；p″′作为当前观察图像可继续被调节；

附图2给出了本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜中三通道信息整合策略图。其中圆圈表示当前执行的状态，有向边指向可能会转变成得状态，有向边上附带了发生转变需要满足的条件。整合策略中的输入包括，图像信息p0，p1，操作行为，由转动传感器获得)，语音信息，输出内容是p,p1，p2，和语音提示。其中，p0是样本标签图，p1是控制样本移动的标记图，p,p1，p2，是观察到的样本图像。系统中，在当前状态条件下,系统根据不同的用户行为进入不同的系统状态。在图3中，例如，样本标签p0识别成功后，显示模糊处理后的样本p，用户可以选择移动样本来观察，也可以选择把当前样本调节清晰，如ɑ＝0，系统进入样本移动状态，摄像头检测到当前样本移动，实时计算偏移量(△x、△y)，并显示移动后的样本p2，在该状态下，可以继续与picturemove状态持续“互动”，发生交替式的状态切换，也可以根据用户行为转变到recognitionadjustment状态。c为意图预测变量，它并不是用户输入，而是系统根据当前p2的清晰度，产生的控制条件，当p2满足清晰度要求后，认为用户已经得到最想要观察的样本图像，即推断出用户会停留在此刻观察样本，所以系统引导用户保存当前图像，留作后期观察。因此系统会进入语音交互状态，提示用户是否要保存当前图像，若用户选择保存图像，则系统进入保存状态，否则，返回上一状态。图像保存成功，则转到图像显示状态，不成功，则需要进入语音输入.根据语音识别的置信度，认为不成功的原因是语音录入不符合要求因此要用户重新进行语音交互状态。

本发明提出的一种基于意图理解模型的导航式虚拟显微镜区别于传统的显微镜，不再采用光学元件来构造，而是使用多种传感器和通信模块，对已经设计好的带有标签的简单样本进行识别，这样做的优点是避免了学生将过多精力放到样本制作之上，也避免因样本制作不当，导致难以观察情况的发生，同时也解决了一些样本难以取材和无法重复利用的难题。本发明在传统显微镜功能基础之上，又增加了交互应用模块，其中交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。

用户使用传统显微镜时，在上下左右移动样本的过程中，很有容易将要观察的样本细胞移出视野范围，同时，使用智能显微镜时，载玻片下的检测标记，也可能移出相机的视野范围。因此，对这种情况进行提示。例如：用户一直向左移动样本，视野内图像一直右移，当样本图像将要移出视野范围后，语音提示用户：“图像即将超出左侧区域，请向右移动”。

图像的保存是通过人机之间的对话实验的，用户在一定放大倍数下，转动粗准焦螺旋或者细准焦螺旋，调节视野内样本的清晰度，当视野内的样本清晰度达到设定的阈值，系统认为用户已经得到了想要观察的样本，因此，语音提示用户：“样本图像已经十分清晰，您可选择保存图像”。此时，用户可说“保存”、“保存这张图像”等，系统将智能的将当前视野内的图像保存到指定文件夹中。也可以说“不需要”或者继续调节粗细准焦螺旋，继续调整观察的样本。

如图3给出了本发明实施例1提出的一种基于意图理解模型的导航式虚拟显微镜实现的结构示意图。智能显微镜上，用方形立方体替代反光镜和载物台并且对载玻片做了特殊处理。立方体内部安置了微型摄像头，摄像头正对通光孔，用来观察载玻片样本。载玻片的上表面是二维码，不同样本的二维码不同，下表面是带有标记的圆面。采用图像采集设备识别待观察样本，每一个载玻片的上面都带有表示该样本的二维码图片，根据图像识别不同的二维，进而从数据库中调取样本图像。初始化样本图像，可以观察到模糊的样本p。

在操作过程时待检测样本发生位置移动，利用带有检测标记的圆面和位移变换过程的公式p’(x,y)＝pm(x-△x,y-△y)，计算出样本位置移动，根据偏移量△x和△y观察到样本图像p2。

首先载玻片上表面的二维码朝向通光孔，相机识别到样本标签，显微镜下看到样本图片，之后在载玻片下表面盖在通光孔上，左右移动，相机根据检测到带有检测标记的圆面位置，沿相反方向控制显微镜下观察的样本。

粗准焦螺旋或者细准焦螺旋，均由大小不一的两个同心圆柱组成，一端密封，另一端设计了可以遮光的转动轴，转动轴一端，内层圆柱内部均匀安装了6个光敏传感器，转动转轴，经处理后，将依次得到离散值t,s，作为用户转动刻度的度量。根据公式或者以及

调节样本图像p3的清晰度。

如图4给出了本发明实施例1提出一种基于意图理解模型的导航式虚拟显微镜的目镜结构示意图，对显微镜的目镜，顶部是智能显示，样本调节的效果会实时显示在屏幕上，镜筒上设计了3个传感按钮，分别代表了5倍，10倍和40倍的放大倍数，选择不同的按钮，可观察到当前样本图像被放大。

以上内容仅仅是对本发明的结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。