一种智能体双模态视觉行为监控系统以及监控方法与流程

本发明涉及眼科学、图像识别、自动控制等多个技术领域，提供一种适用于小鼠视动实验和明暗穿梭实验的复合装置及利亚该装置的监控方法，具体而言，涉及一种智能体双模态视觉行为监控系统以及监控方法。

背景技术：

在眼科学的基础研究中，利用模式动物如疾病模型小鼠研究特定疾病的致病机制时，对小鼠视功能的评价十分重要。由于动物无法描述其主观感受，且不同个体间存在较大差异，因此模式动物的视功能研究评定一直是眼科研究领域的难题之一。目前国际上多采用视动反应实验和明暗穿梭实验对小鼠的视功能进行评估。

小鼠对于移动的物体存在自主追随、复位、追随过程，基于这一生物学现象，监测和记录小鼠在运动光栅中的行为以评价视功能，即为视动反应实验。此外，小鼠具有趋暗避明的本能习性，将小鼠至于明暗相通的装置内，监测小鼠在其中的穿梭次数及明箱中停留的时间以评价其视功能，即为明暗穿梭实验。国内外现有视动反应装置及明暗穿梭实验装置应用，但功能均比较单一，只能进行其中一项检测，此外大多还具有成本高昂、设备较大、图像识别不准等缺陷，同时因其算法比较固定，往往还存在分析数据准确度欠佳的情况。由于这两个实验在装置要求上存在一定的共通性，因此，若能使用同一套装置完成以上两个实验，将会在一定程度上节省实验成本。

技术实现要素：

本发明提供一种智能体双模态视觉行为监控系统以及一种监控方法，用以解决上述现有技术存在的至少一个问题。

为达到上述目的，本发明提供了一种智能体双模态视觉行为监控系统，其包括：第一隔室和第二隔室，

所述第一隔室和所述第二隔室的顶部均为可开启式，以供放入和取出实验用的小鼠，

所述第一隔室的内壁由不透光的材质制成，

所述第二隔室具有一内层壁和一外层壁，外层壁由不透光的材质制成，内层壁于竖直方向布设有液晶显示屏，所述第二隔室的顶部正中央设有摄像机，

所述第一隔室和所述第二隔室具有一相通的小孔，小孔的尺寸与小鼠的尺寸相匹配，以供小鼠于所述第一隔室和所述第二隔室之间穿梭，

所述第二隔室于距离底面第一高度h处设有一可拆卸的镜面板，所述镜面板的中间设有一固定平台，所述固定平台正对所述摄像机，用于供小鼠自由站立和移动。

在本发明的一实施例中，

所述第一隔室、所述第二隔室的尺寸均为403mm×328mm×414mm，

所述第一隔室的内壁和所述第二隔室的内壁均由黑色亚克力板制成，

小孔的尺寸为40mm×50mm。

本发明还提供了一种利用上述智能体双模态视觉行为监控系统的监控方法，该监控方法用于进行明暗穿梭实验时，将可拆卸的镜面板以及所述固定平台从所述第二隔室移除，该监控方法包括如下步骤：

s1：将所述液晶显示屏通电并使其呈现白色，通过所述摄像头拍摄一张图片p1，记录图片p1中白色部分的面积a1；

s2：将一黑色的实验用的小鼠置于所述第一隔室内部，将穿入次数和穿出次数的初始值均设为0；

s3：每隔时间t1，通过所述摄像头拍摄一张图片并对其进行二值化处理，计算二值化处理后的图片中白色部分的面积与面积a1之间的差值△a，同时根据已计算得到的△a判断△a的变化趋势并将其与第一阈值a1、第二阈值a2进行对比，

如果△a为从一较小值开始逐渐增大，当△a满足△a≥a2时，则视为小鼠由第一隔室进入了第二隔室，将穿入次数+1并记录此时的时刻t1，

如果△a为逐渐减小，当△a满足△a≤a1时，则视为小鼠由第二隔室进入了第一隔室，将穿出次数+1并记录此时的时刻t2；

s5：当首次记录的时刻t1与当前时刻之间的时长达到一预设时长t时，明暗穿梭实验结束；

s6：统计穿入次数和穿出次数的数值，并统计小鼠在第二隔室内部停留的总时长。

在本发明的一实施例中，小鼠完全位于第二隔室时，摄像头拍摄小鼠此时的图片并对其进行二值化处理，黑色部分的面积为a，则a1＝a/3，a2＝a/2。

在本发明的一实施例中，a1＝1000，a2＝1500，预设时长t为5分钟。

本发明还提供了一种利用上述智能体双模态视觉行为监控系统的监控方法，该监控方法用于进行视动反应实验时，将可拆卸的镜面板以及所述固定平台置入所述第二隔室，包括如下步骤：

s1：将一黑色的实验用的小鼠置于所述固定平台上；

s2：控制所述液晶显示屏显示一静止不动的光栅并保持一分钟，之后控制所述液晶屏使其呈现光栅转动图样；

s3：开始计时，在预设时间段内，每隔时间t2，通过所述摄像头拍摄一张图片，对每次拍摄得到的图片进行以下步骤s4～s7的处理；

s4：将图片分通道选取合适的阈值进行二值化处理，检测小鼠的轮廓；

s5：分别根据小鼠身体、耳朵、尾巴的形态轮廓，确定小鼠身体的重心g1及小鼠耳朵轮廓的重心g2于图片上的位置；

s6：于小鼠耳朵轮廓区域以外，选取小鼠身体轮廓上距离身体的重心g1最远的点作为鼻尖n1所在位置，且n1与g1之间的距离l1大于n1与g2之间的距离l2；

s7：在图片上，以鼻尖n1所在位置为圆心、以第一预设长度l1为半径绘制一第一圆形区域，位于第一圆形区域内部的轮廓作为小鼠的头部区域，计算头部区域的重心并将其作为小鼠头部的中心c1，以小鼠鼻尖n1所在位置为圆心、以第二预设长度l2为半径绘制一第二圆形区域，位于第二圆形区域内部的轮廓作为小鼠的前半部分区域，计算前半部分区域的重心并将其作为小鼠头部转动的中心c2，由头部转动的中心c2指向头部的中心c1的方向即为小鼠头部的方向；

s8：以第一张图片中小鼠头部的方向为基准方向、以顺时针方向为正方向，分别得到其他各图片中小鼠头部的方向相对基准方向的角度值；

s9：以时间为横坐标、以小鼠头部的方向相对基准方向的角度值为纵坐标，绘示一小鼠头部方向变化图；

s10：对小鼠头部方向变化图进行分析，去除其中较陡和波动剧烈的片段，将符合摆头动作特点的曲线部分记为一次视动反应，统计小鼠的视动反应次数和时刻。

在本发明的一实施例中，于步骤s2中，光栅中条纹的宽度、类型、转动速度、转动方向、亮度、对比度以及饱和度均能够调整。

在本发明的一实施例中，步骤s4中，于步骤s4二值化处理时，r、g、b三个通道的最大阈值和最小阈值均为30和255，

第一预设长度l1、第二预设长度l2取值为以下(1)～(3)其中之一：

(1)第一预设长度l1为0.4×l1，第二预设长度l2为0.9×l1；

(2)第一预设长度l1为30，第二预设长度l2为70；

(3)使得小鼠头部转动的中心c2恰好位于图片上小鼠的头部与身体之间的连接部位。

在本发明的一实施例中，于步骤s10中，符合摆头动作特点的曲线部分为小鼠头部方向变化图中斜率介于0.1～0.65之间的曲线部分。

在本发明的一实施例中，预设时间段为2分钟。

本发明提供的智能体双模态视觉行为监控系统能够进行明暗穿梭实验以及视动反应实验，以采集实验小鼠运动行为图像并识别分析，使用深度学习获得的改进算法对数据进行处理，输出分析结果，从而判断小鼠的视功能。本发明提供的智能体双模态视觉行为监控系统具有多功能、低成本、空间小、造价低廉、分析精准、结果可靠等优点，科研人员可进行独立操作，一种装置可以做两种实验，实现了人力、物力及时间资源的多重优化，增强可操作性，且所得数据可靠，适合广泛推广应用，能够为眼科基础科学研究提供有力的实验支持，具有广阔的产业化前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为第一隔室和第二隔室的示意图；

图2为本发明对应的软件界面；

图3为视动反应实验时参考位点的提取结果示意图；

图4为一实施例的小鼠头部方向变化图。

附图标记说明：11-第一隔室；12-第二隔室；13-小孔；14-镜面板；15-固定平台。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的智能体双模态视觉行为监控系统涉及眼科学、图像识别、自动控制等领域，能够同时供明暗穿梭实验和视动反应实验使用。

在明暗穿梭实验中，当小鼠视功能良好时，在第二隔室12(明箱)内停留时间较短，分析一定时间内小鼠在第一隔室11、第二隔室12之间的穿梭次数，以及在第二隔室12内停留的时间，以判断小鼠的视功能。

在视动反应实验中，小鼠视功能良好时，会对运动的光栅产生追随、复位、再追随的摆头样反应。依据这一原理，分析小鼠于观测时间内该行为发生的次数，从而对小鼠视功能进行判定。

图1为第一隔室和第二隔室的示意图，如图1所示，本发明提供的智能体双模态视觉行为监控系统包括第一隔室11和第二隔室12，第一隔室11和第二隔室12的顶部均为可开启式，以供放入和取出实验用的小鼠，

第一隔室11的内壁由不透光的材质制成，第一隔室11需要全面遮挡外界光线，故上下左右前后共六个面均为其内壁，

第二隔室12具有一内层壁和一外层壁，外层壁由不透光的材质制成，内层壁于竖直方向布设有液晶显示屏，第二隔室12同样需要全面遮挡外界光线，故上下左右前后共六个面均为其外层壁，而小鼠置于第二隔室12内部时一般仅需考虑其水平方向的视野，故第二隔室12的内层壁仅为前后左右四个方向，无需考虑顶部和底部，也即，图1中第二隔室12需要四块液晶显示屏分别设置于竖直方向即可，第二隔室12的顶部正中央设有摄像机，

第一隔室11和第二隔室12具有一相通的小孔13，小孔13的尺寸与小鼠的尺寸相匹配，以供小鼠于第一隔室11和第二隔室12之间穿梭，

第二隔室12于距离底面第一高度h处设有一可拆卸的镜面板14，14镜面板的中间设有一固定平台15，固定平台15正对摄像机，用于供小鼠自由站立和移动。

本实施例中，第一隔室11、第二隔室12的尺寸均为403mm×328mm×414mm，第一隔室11的内壁和第二隔室12的内壁均由黑色亚克力板制成，小孔13的尺寸为40mm×50mm。因本领域技术人员可以按照实际需求自主设置摄像头、第一隔室11的内壁、第二隔室12的内层壁和外层壁，故于图1中未一一示出。

本发明还提供了一种利用上述智能体双模态视觉行为监控系统的监控方法，该监控方法用于进行明暗穿梭实验时，将可拆卸的镜面板14以及固定平台15从第二隔室12移除，该监控方法包括如下步骤：

s1：将液晶显示屏通电并使其呈现白色，通过摄像头拍摄一张图片p1，记录图片p1中白色部分的面积a1，此处的液晶显示屏指的是位于第二隔室12内部的共4块液晶显示屏；

s2：将一黑色的实验用的小鼠置于第一隔室内部，将穿入次数和穿出次数的初始值均设为0；

s3：每隔时间t1，通过摄像头拍摄一张图片并对其进行二值化处理，计算二值化处理后的图片中白色部分的面积与面积a1之间的差值△a，同时根据已计算得到的△a判断△a的变化趋势并将其与第一阈值a1、第二阈值a2进行对比，

如果△a为从一较小值开始逐渐增大，当△a满足△a≥a2时，则视为小鼠由第一隔室11进入了第二隔室12，将穿入次数+1并记录此时的时刻t1，如果△a为逐渐减小，当△a满足△a≤a1时，则视为小鼠由第二隔室12进入了第一隔室11，将穿出次数+1并记录此时的时刻t2；

s5：当首次记录的时刻t1与当前时刻之间的时长达到一预设时长t时，明暗穿梭实验结束；

s6：统计穿入次数和穿出次数的数值，并统计小鼠在第二隔室12内部停留的总时长。

在本实施例中，小鼠完全位于第二隔室12时，摄像头拍摄小鼠此时的图片并对其进行二值化处理，黑色部分的面积为a，a为3000，表示小鼠正常情况下完全位于第二隔室12时的情况，则a1＝a/3，a2＝a/2，a1＝1000，a2＝1500，预设时长t为5分钟。

本发明还提供了一种利用上述智能体双模态视觉行为监控系统的监控方法，该监控方法用于进行视动反应实验时，将可拆卸的镜面板以及固定平台置入第二隔室12，包括如下步骤：

s1：将一黑色的实验用的小鼠置于固定平台15上；

s2：控制液晶显示屏显示一静止不动的光栅并保持一分钟，之后控制液晶屏使其呈现光栅转动图样，此处的液晶显示屏指的是位于第二隔室12内部的共4块液晶显示屏，此时镜面板14起延伸光栅作用，增强小鼠恐惧感使其不易坠落；

s3：开始计时，在预设时间段内，每隔时间t2，通过摄像头拍摄一张图片，对每次拍摄得到的图片进行以下步骤s4～s7的处理；

s4：将图片分通道选取合适的阈值进行二值化处理，检测小鼠的轮廓；

s5：分别根据小鼠身体、耳朵、尾巴的形态轮廓，确定小鼠身体的重心g1及小鼠耳朵轮廓的重心g2于图片上的位置；

s6：于小鼠耳朵轮廓区域以外，选取小鼠身体轮廓上距离身体的重心g1最远的点作为鼻尖n1所在位置，且n1与g1之间的距离l1大于n1与g2之间的距离l2；

s7：在图片上，以鼻尖n1所在位置为圆心、以第一预设长度l1为半径绘制一第一圆形区域，位于第一圆形区域内部的轮廓作为小鼠的头部区域，计算头部区域的重心并将其作为小鼠头部的中心c1，以小鼠鼻尖n1所在位置为圆心、以第二预设长度l2为半径绘制一第二圆形区域，位于第二圆形区域内部的轮廓作为小鼠的前半部分区域，计算前半部分区域的重心并将其作为小鼠头部转动的中心c2，由头部转动的中心c2指向头部的中心c1的方向即为小鼠头部的方向，如图3所示为视动反应实验时参考位点的提取结果示意图，为其中一张图片中上述各参考位点的提取结果；

s8：以第一张图片中小鼠头部的方向为基准方向、以顺时针方向为正方向，分别得到其他各图片中小鼠头部的方向相对基准方向的角度值；

s9：以时间为横坐标、以小鼠头部的方向相对基准方向的角度值为纵坐标，绘示一小鼠头部方向变化图，如图4所示为一实施例的小鼠头部方向变化图，其中，纵坐标是以“弧度”为单位，横坐标是以“秒”为单位；

s10：对小鼠头部方向变化图进行分析，去除其中较陡和波动剧烈的片段，将符合摆头动作特点的曲线部分记为一次视动反应，统计小鼠的视动反应次数和时刻。

在本实施例中，于步骤s2中，光栅中条纹的宽度、类型、转动速度、转动方向、亮度、对比度以及饱和度均能够调整，步骤s4中，于步骤s4二值化处理时，r、g、b三个通道的最大阈值和最小阈值均为30和255，第一预设长度l1、第二预设长度l2取值为以下(1)～(3)其中之一：

(1)第一预设长度l1为0.4×l1，第二预设长度l2为0.9×l1；

(2)第一预设长度l1为30，第二预设长度l2为70；

(3)使得小鼠头部转动的中心c2恰好位于图片上小鼠的头部与身体之间的连接部位。

本实施例中，于步骤s10中，符合摆头动作特点的曲线部分为小鼠头部方向变化图中斜率介于0.1～0.65之间的曲线部分，预设时间段为2分钟。

本发明于实际使用时，需要配合一计算机以及安装于计算机中的软件来进行，该软件与摄像头、液晶显示屏协同工作，以控制摄像头采集图片以及控制液晶显示屏显示条纹。软件具有条纹控制、视频采集与处理、运动状态计算三个主要的功能。本实施例采用mfc作为控制主界面，对实验中的各参数进行控制，其中，条纹的控制程序使用mfc设计控制界面，采用unity工具绘制条纹，mfc与unity之间采用消息通信，通过mfc的控制界面，可以控制条纹的宽窄、速度、方向、亮度等参数，在控制界面打开条纹程序即可通过连接的hdmi线在4个液晶显示屏上显示条纹。图像输入、数据处理、数据计算和数据显示的程序则直接集成到mfc程序内，通过mfc的控制界面便能进行图像输入、数据处理、数据计算和数据显示。

本发明硬件平台的构架：整个系统与外部连接的接口有电源插头、hdmi接口和usb接口。电源插头直接连接日用供电接口；hdmi接口连接电脑的hdmi接口，hdmi接口通过一分四分配器控制液晶显示屏；usb线连接广角工业摄像头及计算机，从而控制摄像头采集图像。需由220v民用电源进行供电供电。

图2为本发明对应的软件界面，如图2所示，左侧为摄像头拍摄到的图片，右侧为实验中的参数，其中：

stripectr为条纹控制模块，各项参数及按键的含义如下：

speed：条纹移动的速度；

bri：条纹的亮度；

size：条纹的宽度；

sat：条纹的饱和度；

type：条纹的类型(不同的数值分别对应黑白条纹、红白条纹共两种类型)；

con：条纹中两种颜色的对比度；

cyc/deg：条纹的空间频率值，即一定长度范围内条纹的个数，代表了条纹的密度；

reverse：默认条纹顺时针转动，勾选选项则条纹逆时针转动；

unityapply：接受条纹参数修改；

unitystart：启动条纹。

expctr为实验控制模块，包括实验一/ex1和实验二/ex2。

ex1中的参数包括：明暗穿梭实验以及视动反应实验

radi：第一预设长度l1、第二预设长度l2的数值，默认30和70；

area：视动反应实验的步骤s4中，检测小鼠的轮廓时，用于限定小鼠轮廓的最小和最大面积，默认为5000和20000，本实施例中，利用findcontours函数查找图像内轮廓后，根据该数据筛选确认小鼠的轮廓，该数据不用于“明暗穿梭实验”；

slop：视动反应实验中，步骤s10中，小鼠头部方向变化图中斜率的数值范围，默认为0.1到0.65的范围；

c1、c2：视动反应实验时，于步骤s4中，r、g、b三个通道的最大阈值和最小阈值，均默认为30、255；

ex2中参数包括：

bval：视动反应实验时，于步骤s4中的二值化阈值，默认为50；

ain和aax：a1、a2的数值，分别默认为1000和1500；

其他参数：

franum：采集小鼠图片的总数目，默认为20；

path：选择摄像机；如只连接了一台摄像头，则默认打开该摄像头；当连接了2个及以上的摄像头时，通过该参数选择对应的摄像头，一般以-1、0、1、2等分别代表打开不同的摄像头。

mode：实验运行连续性模式；当选择mode模式(输入1)，程序自动按照cyc/deg分别为0.1、0.2、0.3、0.4四个频率各1分钟运行，4分钟后自动停止。

title：实验时小鼠的类型，由实验人员输入，记录小鼠的编号等信息。

time1和time2：实验1和2的运行时间，单位为秒，默认60和0。

apply：接受参数修改

open：打开摄像头

pause：停止实验

start：开始实验

result：实验的结果：

nums：实验1视动反应次数

b2w：实验2，穿入次数，由第一隔室进入了第二隔室的次数；

w2b：实验2，穿出次数，由第二隔室进入了第一隔室的次数；

w-time：小鼠在第二隔室内部停留的总时长。

需要说明的是，本发明中与尺寸、时间、图片采集频率等有关的技术手段均可以根据实际实验的情况进行调整，以适应实验过程中的实际需要。

本发明提供的智能体双模态视觉行为监控系统能够进行明暗穿梭实验以及视动反应实验，以采集实验小鼠运动行为图像并识别分析，使用深度学习获得的改进算法对数据进行处理，输出分析结果，从而判断小鼠的视功能。本发明提供的智能体双模态视觉行为监控系统具有多功能、低成本、空间小、造价低廉、分析精准、结果可靠等优点，科研人员可进行独立操作，一种装置可以做两种实验，实现了人力、物力及时间资源的多重优化，增强可操作性，且所得数据可靠，适合广泛推广应用，能够为眼科基础科学研究提供有力的实验支持，具有广阔的产业化前景。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。