一种多平台交互的远程操作生物实验系统及控制方法与流程

本发明涉及一种远程操作生物实验。特别是涉及一种多平台交互的远程操作生物实验系统及控制方法。

背景技术：

生物细胞实验中常常需要对培养液中的活细胞在不同时间点进行观察或检测，例如在0小时、6小时、12小时等等，进行观察，获取这些离散时间点下的相关数据进行分析。但是其观察时间点过于分散，无法全面了解细胞培养过程中的变化；对于有些情况一旦细胞脱离了适宜的培养环境再进行观察很可能对其状态造成较大影响，使得观测到的数据失去意义；无法实现长时间的观察类似肿瘤细胞迁移等现象。

针对这一问题,近年来,人们研制出了可以在细胞培养的同时进行观察的生物实验系统——细胞工作站。目前主流的细胞工作站有两种，一种是类似美国Essen公司生产的IncuCyteZoom，将成像装置尺寸缩小放入培养箱中，通过无线网络传输图像数据到PC端进行观察和使用配套图像处理软件进行分析。其优势在于可以实现远程操作，进行数据读取和分析，无需反复进入细胞实验室，避免了潜在的污染隐患及人工出入观测的麻烦。缺点是对网络带宽要求高，如果追求传输实时效率就会对传输图像的质量产生影响，尤其是图像压缩编码过程中对图像色彩信息的损坏不可逆，从而影响后续的分析结果，由于数据分析在远程客户端完成，对客户端硬件配置要求高；另一种类似日本Olympus生产的活细胞工作站xcellence，将培养箱尺寸缩小与成像显微镜结合在一起进行实时观察，图像数据采用有线传输至PC端进行观察和处理。其优势在于采用有线传输方式，图像传输实时效率高、可靠性强，缺点是实验人员必须在实验装置附近操作，如果进行需要长时间实时观察的实验，将会增加人力负担，且实验人员多次出入细胞实验室会对无菌环境产生潜在的影响。

即，现有细胞工作站无法满足远程终端和本地服务器端同时获取数据并远程操作服务器端进行数据处理，使用无线网络传输数据时成像装置在培养箱中无法用有线与PC相连，导致过于依赖无线传输过程的效率和质量，使用有线传输时研究人员必须长时间守在实验装置旁边。

技术实现要素：

本发明所要解决的技术问题是，提供一种对适宜培养环境下活细胞远程实时观测、控制、数据获取、数据处理的多平台交互的远程操作生物实验系统及控制方法。

本发明所采用的技术方案是：一种多平台交互的远程操作生物实验系统的控制方法，包括如下步骤：

1)将装有待观察的活细胞的培养皿放置在显微镜的载物台上，载物台密封在培养箱中，打开服务器，并同时打开显微镜的相机实时采集细胞视频图像；

2)通过客户端向服务器发送实时视频请求指令，服务器接到所述指令后将显微镜相机采集的实时视频图像数据进行压缩编码发送到客户端，客户端将接收到的视频图像数据进行解码显示供工作人员实时观察细胞培养情况；

3)服务器将细胞培养箱中传感器反馈的细胞培养环境信息发送到客户端，客户端将接收到的细胞培养环境信息与标准的环境条件对比后，向服务器发送增加或降低或保持温度、湿度和二氧化碳浓度参数的指令，服务器接收到指令后控制细胞培养模块中的控制器去调整细胞培养箱内的环境参数；

4)客户端根据接收到的视频图像数据，向服务器发送光学成像模块中的载物台水平位移的指令，服务器接收指令后，向光学成像模块中的控制器发送相应指令控制载物台水平位移电机驱动载物台进行水平位移，使得接收到的细胞视频图像位于显示器中央；

5)客户端根据接收到的视频图像数据，向服务器发送控制光学成像模块中显微镜的物镜垂直位移的指令，服务器接收指令后，向光学成像模块中的控制器发送相应指令控制光学成像模块中垂直位移电机驱动显微镜的物镜进行垂直位移，使细胞位于焦平面上，便于获取清晰图像；

6)客户端向服务器发送拍照指令，服务器接收指令后控制显微镜相机进行拍照，获取细胞图像并存储在服务器内；

7)客户端向服务器发送对细胞图像进行处理的指令，服务器接收指令后调用服务器端细胞图像处理程序对获取的细胞图像进行处理；

8)客户端向服务器发送下载未处理的细胞图像或处理后的细胞图像指令，服务器接收指令后将客户端指定的细胞图像数据发送给客户端，实现远程文件下载。

步骤2)所述的压缩编码，是采用H.264标准或H.265标准进行实时压缩编码。

步骤2)所述的发送到客户端，是采用RTSP协议或RTMP协议或超文本传输协议进行发送。

步骤3)所述的细胞培养环境信息包括：温度、湿度、二氧化碳浓度。

步骤6)所述的拍照指令还包括设置拍照张数和拍照时间间隔，服务器接收指令后开启定时功能，定时向显微镜相机发送拍照指令，获取细胞的时间序列图像。

步骤7)所述的细胞图像处理程序包括如下步骤：

1)图像预处理：对图像进行滤波和图像增强处理，去除图像中的部分杂质增强图像有效信息的显示；

2)图像分割：将预处理后图像中目标区域与背景区分开来；

3)边缘检测：获取目标区域的轮廓；

4)定量特征提取：根据实验需求获取图像目标区域的定量特征信息用于后续分析。

在步骤4)和步骤5)的运行过程中还包括：客户端根据接收到的图像信息向服务器端发送修改相机曝光时间指令，调节相机曝光时间，使得获取的图像亮度适中。

本发明的一种多平台交互的远程操作生物实验系统及控制方法，实现计算过程在与成像装置有线连接的服务器端完成，不依赖于客户端的配置，不必担心传输过程中由于通讯过程导致的数据信息丢失，实现远程查看实验过程，完成实验操作减少研究人员的劳动负担。本发明具有以下优点：

1)减轻了研究人员的劳动负担，可以随时随地通过移动终端查看实验情况并进行远程操作。

2)客户端远程查看的视频图像仅是一个预览作用，因此传输时可以采用更高的压缩比增加了传输效率。

3)真正用于分析处理的是服务器端的图像，因此降低了传输时对网络的依赖，降低了对客户端硬件配置的要求。成功响应后回送给客户端完成信息。

附图说明

图1是本发明一种多平台交互的远程操作生物实验系统的控制方法的流程构成图；

图2是应用本发明一种多平台交互的远程操作生物实验系统的控制方法的系统构成图；

图3-1是0h时划痕实验细胞群；

图3-2是3h时划痕实验细胞群；

图3-3是6h时划痕实验细胞群；

图3-4是0h时划痕实验处理结果；

图3-5是3h时划痕实验处理结果；

图3-6是6h时划痕实验处理结果。

具体实施方式

下面结合实施例和附图对本发明的一种多平台交互的远程操作生物实验系统的控制方法做出详细说明。

本发明的一种多平台交互的远程操作生物实验系统的控制方法，包括如下步骤：

1)将装有待观察的活细胞的培养皿放置在显微镜的载物台上，载物台密封在培养箱中，打开服务器，并同时打开显微镜的相机实时采集细胞视频图像；

2)通过客户端向服务器发送实时视频请求指令，服务器接到所述指令后将显微镜相机采集的实时视频图像数据进行压缩编码发送到客户端，客户端将接收到的视频图像数据进行解码显示供工作人员实时观察细胞培养情况。所述的压缩编码，是采用H.264标准或H.265标准进行实时压缩编码；所述的发送到客户端，是采用RTSP协议或RTMP协议或超文本传输协议进行发送。

3)服务器将细胞培养箱中传感器反馈的细胞培养环境信息发送到客户端，客户端将接收到的细胞培养环境信息与标准的环境条件对比后，向服务器发送增加或降低或保持温度、湿度和二氧化碳浓度参数的指令，所述的细胞培养环境信息包括：温度、湿度、二氧化碳浓度。服务器接收到指令后控制细胞培养模块中的控制器去调整细胞培养箱内的环境参数；

4)客户端根据接收到的视频图像数据，向服务器发送光学成像模块中的载物台水平位移的指令，服务器接收指令后，向光学成像模块中的控制器发送相应指令控制载物台水平位移电机驱动载物台进行水平位移，使得接收到的细胞视频图像位于显示器中央；

5)客户端根据接收到的视频图像数据，向服务器发送控制光学成像模块中显微镜的物镜垂直位移的指令，服务器接收指令后，向光学成像模块中的控制器发送相应指令控制光学成像模块中垂直位移电机驱动显微镜的物镜进行垂直位移，使细胞位于焦平面上，便于获取清晰图像；

在步骤4)和步骤5)的运行过程中还包括：客户端根据接收到的图像信息向服务器端发送修改相机曝光时间指令，调节相机曝光时间，使得获取的图像亮度适中。

6)客户端向服务器发送拍照指令，服务器接收指令后控制显微镜相机进行拍照，获取细胞图像并存储在服务器内；所述的拍照指令还包括设置拍照张数和拍照时间间隔，服务器接收指令后开启定时功能，定时向显微镜相机发送拍照指令，获取细胞的时间序列图像。

7)客户端向服务器发送对细胞图像进行处理的指令，服务器接收指令后调用服务器端细胞图像处理程序对获取的细胞图像进行处理；所述的细胞图像处理程序包括如下步骤：

1)图像预处理：对图像进行滤波和图像增强处理，去除图像中的部分杂质增强图像有效信息的显示；

2)图像分割：将预处理后图像中目标区域与背景区分开来；

3)边缘检测：获取目标区域的轮廓；

4)定量特征提取：根据实验需求获取图像目标区域的定量特征信息用于后续分析。

8)客户端向服务器发送下载未处理的细胞图像或处理后的细胞图像指令，服务器接收指令后将客户端指定的细胞图像数据发送给客户端，实现远程文件下载，便于客户端远程获取图像处理结果或原始数据以进一步处理。

如图1所示，本发明一种多平台交互的远程操作生物实验系统的控制方法的工作过程是：光学显微系统中的相机通过数据线与服务器端相连，获得相机拍摄到的实时视频。远程客户端为智能手机、平板电脑或其他类型终端，客户端启动后输入已经注册的用户名和密码发送给服务器端，请求接入服务器。服务器接收到请求后验证用户信息，若密码错误则拒绝接入，并且向客户端返回密码错误消息，若密码正确，服务器正确接收到客户端发送的视频请求后返回视频请求同意消息，并开始对相机原始视频信息进行实时编码同时使用RTP协议打包发送给客户端相应网络端口，客户端读取本地端口接收到的视频编码流信息后进行解析，从中得到视频帧编码信息后送入解码器进行解码并显示；服务器端接收到事件控制请求后回送客户端同意请求信息，同时监听客户端发送过来的事件请求数据，解析数据包后对请求的事件做出响应，这些事件包括修改相机曝光时间、阈值、控制相机拍照、在服务器端进行图像处理等；服务器端接收到客户端文件传输请求后予以响应，发送相关文件给客户端，这里的文件主要是指经客户端控制，服务器端拍摄下的某一时刻下的图片。实时视频传输时考虑到实时的效率，压缩比较高，因此图像信息有一定的损失，如果客户端想获取某一时刻的无损原图时，则发送远程拍照请求，服务器端成功拍照后反馈给客户端，之后客户端可以发送文件下载请求，从服务器端下载无损原图到客户端；客户端也可以请求服务器端拍照后发送图像处理请求，请求服务器端远程完成图像的处理操作。

本发明一种多平台交互的远程操作生物实验系统的控制方法，是用于如图2所示的系统中。如图2所示，服务器2端通过数据线与显微镜上的相机、显微镜电动平台控制器、准焦螺旋等硬件控制装置以及培养箱二氧化碳浓度、湿度、气压等控制装置3连接，相机将采集到的图像传输给服务器2显示；客户端1可以是台式计算机或者平板电脑11、智能手机12等移动终端，它们与服务器2处于同一个路由器4下的局域网内，客户端1可以向服务器2发送各种事件请求指令，服务器2解析请求后确定是否发送实时视频流、提供文件下载服务或调节培养箱二氧化碳浓度、湿度和气压等细胞培养系统参数或调节显微镜电动平台位置、镜头焦距等、相机曝光时间等成像系统参数。

图3-1～图3-6是本发明在划痕实验中观察到的细胞群迁移情况。其中图3-1为0h时划痕实验细胞群，图3-2为3h时划痕实验细胞群，图3-3为6h时划痕实验细胞群；图3-4为0h时划痕实验处理结果，图3-5为3h时划痕实验处理结果；图3-6为6h时划痕实验处理结果。

实验时使用移液管尖端在培养皿中将细胞群划线分离开，使用显微镜对划痕处进行实时观察，由于需要长时间观测，我们可以不必守在显微镜旁边，而是使用客户端随时查看，并在适当时间点保存图像(图3-1～图3-3)，在客户端可以选择让服务器端对得到的图像进行处理，得到处理后的图像(图3-4～图3-6)，并得到细胞群间距计算结果。其中0h、3h、6h时细胞群间距分别约为170、144、100(单位像素宽度)，单从这三幅图像得到的结果会让人以为0～3h期间细胞群运动缓慢，迁移距离约为170-144＝26个像素宽度，3～6h期间细胞群运动较快，迁移距离约为144-100＝44个像素宽度。然而我们看到的实时视频中发现其实细胞群被移液器尖端划开后向两边分开的惯性保持了一个相当长的时间，真实情况是0～3h期间细胞群是先朝相反的方向运动后再向中间迁移的，这段时间内细胞迁移的速率可能更快，我们实验过程中应该通过实时视频观察至细胞群向两边分开的趋势彻底停止后再进行拍摄获得细胞群向中间迁移情况图，以便进一步对细胞迁移速率以及细胞活性进行估计。且在等待细胞群停止向两边分开的时间较长，通常是2个小时以上，这段时间使用远程观测会更加便捷。

以上结合附图对本发明的具体实施方式做了说明，但这些说明不能理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。