一种虚拟显微镜实物套件及其应用的制作方法

本发明属于实验设备领域，具体涉及一种虚拟显微镜实物套件及其应用。

背景技术：

首先，目前，我国绝大部分中小学没有实验用的显微镜，使得生物和化学很多要用到这种设备的实验课程无法正常开设；其次，即使部分学校有显微镜设备，但往往缺乏细胞、微生物等关键实验样本；再其次，传统的实验方法无法实现信息增强，即无法观察观测样本的机理机制等肉眼观测不到的东西、无法观测到各种可能的情况。

技术实现要素：

本发明的目的在于解决上述现有技术中存在的难题，提供一种虚拟显微镜实物套件及其应用，既解决目前中小学显微镜实验教学中多年来难以解决的上述提到的部分瓶颈问题与痛点问题，又把显微镜的实验方法赋予智能性和交互性等典型特征。

本发明是通过以下技术方案实现的：

一种虚拟显微镜实物套件，包括：显微镜本体模型以及设置在显微镜本体模型上的螺旋传感器、压力传感器和载玻片位置传感器；fpga芯片和本地显示设备；

所述螺旋传感器、压力传感器和载玻片位置传感器分别与fpga芯片连接；

所述fpga芯片通过有线或无线方式与本地显示设备进行通讯。

在所述显微镜本体模型的粗准焦螺旋、细准焦螺旋处分别设置一个螺旋传感器；

在所述显微镜本体模型的镜臂、镜座，以及镊子、胶头滴管、载玻片、盖玻片上分别设置压力传感器；

在所述显微镜本体模型的载物台和载玻片上设置有载玻片位置传感器。

所述螺旋传感器包括：旋转轴、转动杆、链杆、滑块、固定轨道；

所述旋转轴能够绕其轴线进行旋转；

与所述旋转轴垂直的一个平面为旋转平面，所述旋转轴与所述旋转平面的交点为轴心；

所述转动杆的一端在所述轴心处与所述旋转轴固定连接，另一端通过铰链与链杆的一端连接，所述链杆的另一端与滑块连接；

所述转动杆能够在所述旋转平面内随旋转轴一同旋转；

所述链杆能够在所述旋转平面内绕所述铰链进行旋转；

所述固定轨道位于所述旋转平面内，其一端固定在所述轴心处，另一端沿半径方向伸出；

在所述滑块上设置有光源，所述滑块能够在固定轨道上滑动。

所述转动杆的长度为r，所述链杆的长度为z，且z≥r；

所述滑块在固定轨道上的最小位置为a点，a点的坐标为：

pmin＝z-r(1)

所述滑块在固定轨道上的最大位置为b点，b点的坐标为

pmax＝z+r(2)

所述滑块在a点和b点之间的区域内运动；

在a点和b点之间设置多个通光小孔，在每个通光小孔内设置有光线检测器；

所述转动杆与所述固定轨道之间的夹角为θ，如果θ逐渐增大，则转动杆的旋转方向d为逆时针方向；如果θ逐渐减小，则转动杆的旋转方向d为顺时针方向。

所述载玻片位置传感器包括：设置在载物台上的按照矩形点阵排列的导电针、设置在载玻片上的按照矩形点阵排列的凹孔、设置在载物台和/或载玻片上的多个微型电池、多个电流检测装置；每个导电针均有一个唯一的位置坐标；

任意一个导电针均能够插入到任意一个凹孔内；

一个导电针、一个凹孔、一个微型电池和一个电流检测装置能够串联形成电流回路，形成电流回路的导电针和凹孔即为一个响应单元；

所有电流检测装置均与fpga芯片连接。

应用所述虚拟显微镜实物套件实现的交互方法，包括：

(1)通过螺旋传感器、压力传感器获取用户的操纵数据，并将螺旋传感器的数据、压力传感器的数据发送给fpga芯片；

(2)fpga芯片处理粗准焦螺旋处的螺旋传感器的数据，获得粗准焦螺旋处的交互行为；

(3)fpga芯片处理细准焦螺旋处的螺旋传感器的数据，获得细准焦螺旋处的交互行为；

(4)fpga芯片处理压力传感器的数据，获得各个设置有压力传感器处的压力；

(5)fpga芯片监控载玻片的位置。

所述步骤(2)的操作包括：

a.针对当前图像，生成两个连续图像序列：一个是增大当前视野范围的图像序列，即大视野序列，另一个是减小当前视野范围的图像序列，即小视野序列；

生成连续图像序列的步骤如下：

a.1构建视野半径函数r：

r＝h[tan(α)](6)

h＝ωθ(7)

其中，tan代表正切函数，θ是螺旋传感器测得的旋转角度，ω是经验参数，h是显微镜本体模型的镜筒的高度，α是显微镜本体模型的物镜的视野范围；

a.2生成大视野序列：

a.2.1θ依次取为θ(0),θ(0)+1,θ(0)+2,……θ(0)+l，按照式子(6)(7)计算r0,r1,r2,…,rl；其中，l表示序列长度；

a.2.2对每个ri(0≤i≤l)，以原始样本图像的中心为中心、以ri为半径画圆；

a.2.3裁减掉该圆之外的原始样本图像，只保留圆内部的原始样本图像，得到图像i(i)，保存图像i(i)，则i(0),i(1),…i(l)为所述大视野序列；

a.3生成小视野序列：

a.3.1θ依次取为θ(0),θ(0)-1,θ(0)-2,……θ(0)-l，按照式子(6)(7)计算r0,r1,r2,…,rl；其中，l表示序列长度；

a.3.2对每个ri(0≤i≤l)，以原始样本图像的中心为中心、以ri为半径画圆；

a.3.3裁减掉该圆之外的原始样本图像，只保留圆内部的原始样本图像，得到图像i(i)，保存图像i(i)，则i(0),i(1),…i(l)为所述小视野序列；

b.如果旋转方向d是顺时针方向，则在屏幕上显示小视野序列；如果旋转方向d是逆时针方向，则在屏幕上显示大视野序列；

c.在显示大视野序列、显示小视野序列的过程中，如果接收到新的旋转方向d、旋转角度θ，则进行以下处理：

c.1如果旋转方向d保持不变，则保持当前序列呈现完毕，然后等待下一个新的旋转方向d、旋转角度θ；

c.2如果旋转方向d改变，则终止当前序列的呈现过程，然后返回步骤b。

所述步骤(3)的操作包括：

a针对当前图像，生成两个连续图像序列：一个是连续的视野图像清晰化序列；另一个是连续的视野图像模糊化序列；

生成连续图像序列的步骤如下：

a.1生成连续的视野图像清晰化序列的步骤如下：

a.1.1构建螺旋角度参数θ与图像分辨率之间的关系：

4k＝λθ(8)

其中，k表示在像素点的相邻像素点之间增加的像素点个数，k>1，λ是一个经验参数；

a.1.2根据表达式(8)求出k；

a.1.3对原始样本图像i的所有两个相邻像素之间进行线性插值，增加k个像素点，步骤如下：

假设在i中的某像素点的位置为p，其一个相邻像素点的位置为q，按照下式在p与q之间增加k个像素点x：

x＝(1-t)p+tq(9)

其中，t是在0到1中等距离取的k个值中的一个，t∈[0,1]；

a.1.4假设θ越大图像越清晰，则将θ的当前值依次增加得到一个参数序列：θ⁽¹⁾，θ⁽²⁾，…，θ^(m)，其中，m是一个经验参数，代表序列的长度；

a.1.5将θ⁽¹⁾，θ⁽²⁾，…，θ^(m)中的参数逐一代入公式(8)中，再根据公式(9)，计算出每个θ对应的图像，得到由m个图像所构成的序列：i⁽¹⁾，i⁽²⁾，…，i^(m)，该序列即为所述的连续的视野图像清晰化序列；

a.2生成连续的视野图像模糊化序列的步骤如下：

a.2.1利用下式将当前图像f(x,y)生成模糊图像h(x,y)：

h(x,y)＝f(x,y)*g(x,y)(10)

其中，(x,y)代表图像上点的位置坐标，*是卷积算子。

a.2.2产生连续参数序列：

将θ的当前值依次增加，得到一个参数序列：θ⁽¹⁾，θ⁽²⁾，…，θ⁽ⁿ⁾，其中，n是一个经验参数，代表序列的长度；

a.2.3产生连续的图像模糊化序列

将θ⁽¹⁾，θ⁽²⁾，…，θ⁽ⁿ⁾中的参数逐一代入公式(10)、(11)中，计算出每个θ对应的图像，得到由n个图像所构成序列：h⁽¹⁾，h⁽²⁾，…，h⁽ⁿ⁾，该序列即为所述的连续的视野图像迷糊化序列；

b.如果旋转方向d是顺时针方向，则在屏幕上显示连续的视野图像清晰化序列；如果旋转方向d是逆时针方向，则在屏幕上显示连续的视野图像模糊化序列；

c.在显示连续的视野图像清晰化序列、显示连续的视野图像模糊化序列的过程中，接收到新的旋转方向d、旋转角度θ，则进行以下处理：

c.1如果旋转方向d保持不变，则保持当前序列呈现完毕，等待下一个新的旋转方向d、旋转角度θ；

c.2如果旋转方向d改变，则终止当前序列的呈现过程，然后返回步骤b。

所述步骤(5)的操作包括：

e.检索出所有响应单元的位置p1,p2,…pm；

f.用线性拟合方法得到载玻片的长、宽方向的方向向量q1和q2；

g.计算q1和q2之间的夹角：

h.建立图像的偏转度与载玻片放置位置之间的关系：

h(x,y)＝gθ(f(x,y))(4)

其中，f(x,y)表示原始样本图像，gθ(f(x,y))表示将原始样本图像f(x,y)沿着逆时针方向或顺时针方向旋转θ，如果θ>0，则逆时针方向旋转θ；如果θ>0，则顺时针方向旋转θ。

与现有技术相比，本发明的有益效果是：一方面，本发明利用虚拟融合技术，对用户观测结果进行信息增强，有利于用户随机探索实验现象的过程、机理与原理；另一方面，本发明通过实物操作，得到了真实显微镜条件下的操作体验，帮助实验人员掌握了相关实验技能。

附图说明

图1本发明虚拟显微镜实物交互套件的组成结构示意图；

图2本发明中的螺旋传感器结构示意图；

图3-1本发明中的载物台的结构示意图；

图3-2本发明中的载玻片的结构示意图；

图4(锥状)视野生成模型示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

如图1所示，本发明提出的虚拟显微镜实物套件包括：显微镜本体模型1(包括粗准焦螺旋、细准焦螺旋、镜臂、通光孔、压片夹、镜柱、目镜、铜镜、物镜、转换器、载物台、反光镜、镜座、镊子、胶头滴管、载玻片、盖玻片等)、螺旋传感器2、压力传感器3、fpga芯片5、本地计算设备6。

在显微镜本体模型1上的粗准焦螺旋和细准焦螺旋上分别设置一个螺旋传感器2；在显微镜本体模型上的镜臂、镜座、镊子、胶头滴管、载玻片、盖玻片等模型上分别设置压力传感器3；载玻片位置传感器4(即图3-1和图3-2所示的导电针和凹孔)设置于载物台和载玻片之上。

压力传感器、螺旋传感器、载玻片位置传感器等传感器的值传给一个fpga芯片5统一识别，fpga芯片5感知与识别的结果通过有线或蓝牙无线方式传给本地显示设备，并在本地显示设备6上实时呈现用户与显微镜的交互过程与交互结果。

本发明中的螺旋传感器如图2所示。在螺旋的旋转轴o上设置一个半径为r的转动杆，该转动杆一端为轴心o，另一端为j；另外一个链杆z(长度为z)的一端与j相连，另一端连接有滑块p，滑块p在经过轴心的固定轨道l上运动。因此，线段oj与线段z形成一个链杆结构(即在j点安装有铰链。)，z可以围绕j点在与螺旋的旋转轴垂直的面内旋转。滑块p上设置有光源。假设z≥r。假设轴l的原点为o，则滑块p的最小位置(对应图2中点a)为

pmin＝z-r(1)

滑块p的最大位置(对应图2中点b)为

pmax＝z+r(2)

p在区域[pmin，pmax]内即[a,b]内运动。在[a,b]之间按照一定距离设置通光小孔k，在每个通光小孔内设置有光线检测器c，光线检测器c将感应结果送到fpga芯片上，芯片计算出oj的当前角度θ和旋转方向d，θ与p的位置具有一一对应关系，因此，通过p的位置可以知道θ的值。如果θ逐渐增大，则逆时针方向旋转；如果θ逐渐减小，则顺时针方向旋转。

实际使用时，将粗、细准焦螺旋均用螺旋传感器取代。

本发明中的粗准焦螺旋的交互方法如下：

针对当前图像，预测出两个连续图像序列：一个是增大当前视野范围(简称为大视野序列)；另一个是减小当前视野范围(简称为小视野序列)。

生成连续图像序列的方法为：

a.1构建视野半径函数r，如图4所示：

r＝h[tan(α)](6)

h＝ωθ(7)

其中，tan代表正切函数，θ是旋转角度(该角度是上述通过螺旋传感器计算出来的角度)，ω是经验参数(通过多次实验，找到用户感知到计算机上图像呈现效果满意的参数)，h是镜筒高度，α是物镜模型参数(其几何意义刻画物镜视野范围(该参数是显微镜的已知参数。))。图4是物镜轴截面模型示意图。其中，o是视点位置，沿垂直方向是光轴方向。

a.2构建大视野序列：

a.2.1θ依次取为θ(0),θ(0)+1,θ(0)+2,……θ(0)+l，按照式子(6)(7)计算r0,r1,r2,…,rl。

a.2.2对每个ri(0≤i≤l)，以原始样本图像的中心为中心、以ri为半径画圆；

a.2.3裁减掉该圆之外的原始样本图像，只保留圆内部的原始样本图像，得到图像i(i)，保存之；

a.2.4(i(0),i(1),…i(l))就是大视野序列。

其中，θ(0)表示当前视野图像；l表示序列长度。

将a.2.1步骤中的θ依次取为θ(0),θ(0)-1,θ(0)-2,……θ(0)-l，其它步骤不变，就得到小视野序列。

每个当前图像的大视野序列和小视野序列，既可以实时计算，然后执行下一步骤；也可以预先计算出来，按照一定的数据结构保存在计算设备中，然后根据(d，θ)检索出来，并执行下一步骤。

b.如果旋转方向d是顺时针方向，则在屏幕上显示小视野序列；如果旋转方向是逆时针方向，则在屏幕上显示大视野序列；

c.在大/小视野序列的呈现过程中，如果接收到新的(d，θ)指令：

c.1如果方向d保持不变，则保持当前序列呈现完毕，等待下一个指令；

c.2如果方向d改变，则终止当前序列呈现过程；转步骤b。

本发明中的细准焦螺旋的交互方法如下：

a针对当前图像，预测出两个连续图像序列：一个是连续的视野图像清晰化序列；另一个是连续的视野图像模糊化序列。

生成连续图像序列的方法为：

a.1连续的视野图像清晰化序列

a.1.1构建螺旋角度参数θ与图像分辨率之间的关系：

4k＝λθ(8)

其中，k(k>1)表示在像素点的相邻像素点(暂时只考虑水平与垂直的“四邻域”范围)之间增加的像素点个数，λ是一个经验参数(在众多的λ中选择用户最满意的参数，取决于用户对图像呈现效果的主观感受)。

a.1.2根据表达式(8)求出k；

a.1.3对原始样本图像i的所有两个相邻像素之间进行线性插值，增加k个像素点：

假设在i中某像素点位置为p，其一个相邻像素点位置为q，按照下面式子在p与q之间增加k个像素点：

x＝(1-t)p+tq(9)

其中，t∈[0,1]中等距离取k个值，即t是在0到1中等距离取的k个值。

a.1.4假设θ越大图像越清晰，则将θ的当前值依次增加(与前面的“θ(0),θ(0)+1,θ(0)+2,……θ(0)+l”相同)，得到一个参数序列(θ⁽¹⁾，θ⁽²⁾，…，θ^(m))。其中，m是一个经验参数(由用户通过主观感受进行评价，确定参数m)，代表序列的长度。

a.1.5将(θ⁽¹⁾，θ⁽²⁾，…，θ^(m))中的参数逐一代入表达式(8)中，再根据表达式(9)，每个参数θ计算出一个图像，于是就得到由m个图像所构成序列(i⁽¹⁾，i⁽²⁾，…，i^(m))。该序列就是所述的连续的视野图像清晰化序列。

a.2连续的视野图像模糊化序列

a.2.1把当前图像生成模糊图像h(x,y)：

h(x,y)＝f(x,y)*g(x,y)(10)

其中，(x,y)代表图像上点的位置坐标，*是卷积算子。π是常数。

a.2.2产生连续参数序列：

将θ的当前值依次增加，得到一个参数序列(θ⁽¹⁾，θ⁽²⁾，…，θ⁽ⁿ⁾)(与上面的(i⁽¹⁾，i⁽²⁾，…，i^(m))相同)。其中，n是一个经验参数(不同参数n，其呈现效果是不同的，选择用户认为最满意呈现时的参数n)，代表序列的长度。

a.2.3产生连续的图像模糊化序列

将(θ⁽¹⁾，θ⁽²⁾，…，θ⁽ⁿ⁾)中的参数逐一代入表达式(10)(11)中，每个参数θ计算出一个图像，于是就得到由n个图像所构成序列(h⁽¹⁾，h⁽²⁾，…，h⁽ⁿ⁾)。该序列就是所述的连续的视野图像迷糊化序列。

每个当前图像的视野图像清晰化序列，既可以实时计算，然后执行下一步骤；也可以预先计算出来，按照一定的数据结构保存在计算设备中，然后根据(d，θ)检索出来，并执行下一步骤。

b.如果旋转方向d是顺时针方向，则在屏幕上显示视野图像清晰化序列；如果旋转方向是逆时针方向，则在屏幕上显示视野图像模糊化序列；

c.在清晰化/模糊化序列的呈现过程中，如果接收到新的(d，θ)指令：

c.1如果方向d保持不变，则保持当前序列呈现完毕，等待下一个指令；

c.2如果方向d改变，则终止当前序列呈现过程；转步骤b。

如图3-1和图3-2所示，载玻片位置传感器4的结构如下：在载物台302上设置纵横交错(每个导电针都是与载物台垂直的，“纵横交错”是指按照矩形点阵排列)的导电针303(例如，铁针)和通光孔301，在载玻片304上设置纵横交错的凹孔305，导电针303可以插进凹孔中；并在载物台302和载玻片304上设置微型电池，使得任意一个导电针303插进凹孔305后形成一个电流回路(成为一个单元)，并在电路回路上设置电流检测装置(一个导电针、一个凹孔构成一个回路，一个回路上设置一个电流检测装置)。所有电流回路上的检测结果送到一个嵌套于虚拟显微镜本体上的fpga芯片进行处理。载物台上每个导电针有唯一一个位置坐标。

fpga芯片的处理方法是：

i.根据响应单元(即构成回路的导电针和凹孔)，检索出所有响应单元的位置p1,p2,…..pm；

j.用线性拟合方法，用矩形或其它形状拟合p1,p2,…pm所表达的载玻片的形状(一般是矩形)，得到载玻片长宽方向的方向向量q1和q2.

k.计算q1和q2之间的夹角：

l.建立图像的偏转度与载玻片放置位置之间的关系：

h(x,y)＝gθ(f(x,y))(4)

其中，f(x,y)表示原始样本图像，gθ(f(x,y))表示将原始样本图像f(x,y)沿着逆时针方向或顺时针方向(如果θ>0，就是逆时针；如果θ>0，就是顺时针)旋转θ(θ是载玻片的长、宽方向的方向向量之间的夹角，其物理意义表示载玻片歪斜放置时的倾斜角)。

本发明的一个实施例如下：

1.将显微镜从镜箱中取出，一只手握住镜臂，另一只手托住镜座，利用设置于镜臂和镜座上的压力传感器检测手是否握住镜臂，另一只手是否托住镜座。

2.旋转转动器，使低倍镜对准通光孔。

3.对光：用一个较大的通光圈对准通光孔，转动反光镜，使反射光线经过通光孔、物镜、镜筒，然后到达目镜。以通过目镜看到明亮的圆形视野为宜。

4.把载玻片放在实验台上，一只手捏住胶头滴管在载玻片的中央滴一滴水。

5.用镊子夹起盖玻片，使盖玻片的一边先接触载玻片上的水滴，然后轻轻的盖上(手拿住镊子，镊子夹起盖玻片，盖玻片的一端先接触，确定盖玻片与载玻片的相对位置，监测用户的错误操作以及气泡的产生)。

6.把待观察的装片，放在载物台，用压片夹压住。载玻片标本要正对通光孔的中心。

7.转动粗准焦螺旋，使镜筒缓慢下降(旋转手势，顺时针旋转，镜筒下降，反之，旋转的角度要与镜筒下降的距离相对应)，直到物镜接近载玻片标本位置。观察视野，同时逆时针方向转动粗准焦螺旋和细准焦螺旋，使看到的物象清晰(物象要与装片的类型对应，远程传输正在观察的物象数据)。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。