一种基于机器视觉的动物机器人刺激参数测定系统和方法与流程

本发明属于动物机器人控制领域，具体涉及一种基于机器视觉的动物机器人刺激参数测定系统及方法。

背景技术：

动物机器人是指利用动物的运动机能，通过对动物的感觉传入神经进行刺激，实现人为的控制或引导动物的某些行为，也称“半电子人(cyborg)。动物机器人利用脑机接口(braincomputerinterface，bci)技术，实现外部控制与生物脑区之间的直接信息交互，完成精确的控制动物机器人的行为。相比传统的机械式机器人，动物机器人由于利用了生物作为其驱动载体，大大简化了机器人设计中的运动控制等模块。同时动物机器人在面对突发状况或者复杂的地理环境时，能够依靠其生物本能对突发状况做出快速有效的处理，有更高的灵活性、环境适应性能力和隐蔽性。而且动物机器人依靠其觅食行为，不需要外部设备提供运动所需能源，极大减少了机器人的能源消耗，提升续航时间。

所谓动物机器人，就是以活体动物为本体、用编码电信号控制其大脑神经或肌肉，以实现对本体控制的智能动物。但由于动物个体差别和手术过程中定位误差，使得控制动物机器人所需要的电刺激参数具有差异性。因此，通过刺激实验为每一个动物机器人的每一刺激通道获取实验数据进而选定适宜的刺激参数是动物机器人研究过程中的重要环节，我们称这一实验环节为“刺激参数测定实验”。该实验对动物机器人研究至关重要，它将为后期的动物机器人实用化研究提供先验信息。

现阶段的刺激参数测定实验，主要依靠人工操作，需要实验人员结合自身操作经验，不断调整刺激参数并持续观察动物的运动行为，同时记录实验过程中刺激参数数据，进而确定出最合适的刺激参数。但这种工作方式有很多的不足之处：其一，实验存在因人而异的随意性，不同的实验人员由于其经验和理解等方面的差异，加之实验人员的主观性，致使在相同实验过程并不能得到一致性的记录结果，比如记录特定参数电刺激下的动物机器人转动角度，通过人眼判断转动角度，偏差在所难免。这种由人为因素带来的不一致性记录结果，将给刺激参数与转动角度的对应关系的分析和研究带来不利影响，最终导致不能得到两者关系的客观规律。其二，由于操作人员注意力、体力等生理局限无法做到长时间、高标准的投入到实验过程中，时常会漏掉一些关键的测试环节，尽管漏掉的测试可以补做，但已破坏了实验流程的一致性，没有标准化的实验流程将不能得到一致的实验结果。其三，基于人工操作的刺激参数测定实验消耗时间长，同时也增加人力和财力成本。

技术实现要素：

针对现有技术中存在的上述技术问题，本发明提出了一种基于机器视觉的动物机器人刺激参数测定系统及方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于机器视觉的动物机器人刺激参数测定系统，包括测控系统和刺激器；测控系统主要由工业相机、pc机和无线通讯模块a组成；刺激器主要由微处理器、多通道编码信号发生器、无线通讯模块b和基本功能电路组成；

工业相机，通过usb接口与pc机连接，被配置为用于采集刺激实验过程中的动物机器人的运动状态，将视频数据传送给pc机；

无线通讯模块a，通过串口与pc机连接，被配置为用于将来自pc机的数据无线发射出去；

pc机，使用基于opencv库所开发的数据分析系统，对传输来的刺激信号和检测画面进行分析与处理，通过检测大鼠机器人特征点的方法分析出所处状态，计算出大鼠机器人转动的角度；结合每次转动所对应的刺激信号，筛选出对大鼠机器人有效控制的录像画面，自动保存这些可控制的录相；最后将刺激信号强度和转动角度进行分析、比对，得到被测大鼠机器人的转动角度与刺激强度之间对应关系，计算出可控灵敏度；

无线通讯模块b，通过串口与微处理器连接，被配置为用于无线接收来自pc机的数据；

微处理器，通过串口与无线通讯模块b连接，同时，通过i/o口控制多通道编码信号发生器的工作状态；微处理器基于无线通讯模块b接收的信息产生期望的编码电刺激信号，并将其施加到动物机器人的目标脑区上，使动物产生期望的运行行为；

多通道编码信号发生器，被配置为用于对微处理器的原始信号进行处理和变换，并在微处理器的控制下实现刺激通道的选择、启动和停止功能，进而产生一个刺激信号频率、刺激信号幅值和刺激信号时程均可调的编码刺激信号，并将这个编码刺激信号施加到目标脑区；

基本功能电路，被配置为用于为微处理器和无线通讯模块b提供电能；

基于pc机的测控系统按照设定的规律生成刺激参数和控制命令，并通过无线通讯设备a发送给刺激器；同时，基于pc机的测控系统同步记录和保存实验过程中的刺激参数信息和反映动物机器人的受控行为的视频文件；最后，基于视频文件和相应的刺激参数，分析出受控行为与刺激参数的对应关系。

优选地，刺激器上设置有标识块，标识块被配置为用于标准化刺激实验过程中动物机器人转向角的测量，在实际的转向角测量中，取三个标识线转向角的平均值作为最终的转向角；标识块由三条不同颜色的线条组成，每个线条均标有一个用于标识该线条的方向的箭头，三个线条交叉于一点，在平面上平均分布两两相差120度。

优选地，无线通讯模块a和无线通讯模块b均选择无线通讯芯片nrf9e5；工业相机选择具有usb3.0数据接口的500万像素工业相机；刺激器的微处理器选择c8051f410芯片；编码信号发生器由4组对称的三极管和2个max309芯片组成。

此外，本发明还提到一种基于机器视觉的动物机器人刺激参数测定方法，该方法采用如上所述的基于机器视觉的动物机器人刺激参数测定系统，按照如下步骤进行：

步骤1：将带有标识块的刺激器安装固定于动物机器人的背上，其输出端与预先植入的电极接口插槽连接，并开启测控系统；

步骤2：将动物机器人放置于背景为纯色的平面上，以定位和分割标识块中的特征线条；

步骤3：进行参数设定；其中，起始参数设定如下：电流幅值为50ua，脉冲宽度为2，脉冲个数为5，脉冲频率为90hz；最大值参数设定如下：电流幅值为130ua，脉冲宽度为9，脉冲个数为30，脉冲频率为130hz；

步骤4：测控系统初始化完成后，首先根据来自工业相机的实时图像信息，分析判断动物机器人当前的位置，选择刺激类型；每种刺激类型的参数变化都遵循刺激强度由弱到强渐变递增的规律；

步骤5：刺激类型确定后，测控系统根据该刺激类型的进度，遵循刺激强度渐变递增的规律，通过无线通讯模块a将参数数据和刺激类型命令一起发送到刺激器；

步骤6：刺激器上电后由微处理器完成初始化后，进行等待状态，当通过无线通讯模块b接收到来自测控系统的参数数据和刺激命令后，微处理器根据接收的信息，控制多通道编码信号发生器的工作状态，使其产生相应的编码刺激电信号，并将刺激电信号施加于动物机器人对应的脑神经核团，控制动物机器人的运动行为；上述刺激电信号在5秒内被重复10次；产生刺激的同时，刺激器通过无线通讯模块b向测控系统发送刺激开始标识，测控系统收到刺激开始标识后，启动录相功能开始录相，并将视频文件分类保存在三个不同的文件夹中；本次刺激结束后，刺激器发送结束标识信号到测控系统，然后进入等待状态，测控系统收到结束标识信号后，延迟2秒后结束录相；

步骤7：全部实验结束后，通过pc机进行视频数据分析，根据视频文件绘制动物机器人运动轨迹，测控系统读取视频文件中的每一帧数字图像，根据标识块中的特定颜色定位出三条线的交点，并计算出该交点在图像中的坐标，最后将每一帧中该交点的坐标连接起来，就可得到动物机器人的运动轨迹；同时，从视频文件中取出第一帧和最后一帧数字图像，针对第一帧图像进行处理，根据色彩信息提取出图像中的三条标识线，并计算出每一条线在图像平面上的方向角，分别记为a，b，c；按同样的方式对最后一帧图像进行处理，方向角分别记为a，b，c；则动物机器人的转向角度为((a-a)+(b-b)+(c-c))/3；

步骤8：完成上述处理后，利用图像处理技术，将同类刺激具有相同刺激参数的轨迹图像，拼接到一起，并将转向角显示于每一个对应的轨迹图上形成一个图像，根据图像检测相同刺激参数下控制结果的一致性和控制效果的稳定性，最后将具有稳定性的结果作为选定参数。

优选地，在步骤4中，刺激类型分为三种：左转向刺激类型、右转向刺激类型和前进刺激类型；测控系统根据实验过程中动物所处的位置和每一种类型的实验进程选取刺激类型：如果动物机器人的右边靠近场地边缘，则选择左转向刺激类型；如果动物机器人的左边靠近场地边缘，则选择右转向刺激类型；如果动物机器人不在场地边缘，测控系统根据左转、右转和前进三种刺激类型各自的实验进程，选择进度较慢的那个刺激类型进行前进刺激实验，直到三种刺激类型都完成。

优选地，在步骤4中，刺激强度渐变递增的规律是：按幅值、宽度、个数和频率的先后次序，每次参数变化交替增大上述4个参数中的一个变量，各个变量的增量如下：电流幅值增量为5ua，脉冲宽度增量为1，脉冲个数增量为5，脉冲频率增量为10hz；直到与刺激强度有关的4个变量都达到设定的最大值，当某一刺激类型的参数达到最大值时，标志着该类实验完成了一个循环测试，然后再进行下一个循环测试。

优选地，在步骤6中，三个不同的文件夹以刺激类型代码+循环次数+刺激参数的格式命名；刺激类型代码分别为：左转代码为1，右转代码为2，前进代码为3；循环次数从1开始，每完成一次循环后加1；刺激参数按幅值、脉冲宽度、脉冲个数和刺激信号频率的先后顺序组合而成。

本发明所带来的有益技术效果：

本发明系统通过机器视觉技术获取动物机器人的行为特征，可对动物机器人的动作做出更加精确和定量化的分析和判断，并结合本发明方法自动分析出每一刺激通道的适宜刺激参数范围，有效克服了先前的不足，不仅保证了实验流程标准的性和实验数据的客观性，得到客观一致的刺激参数测定结果，而且大大减轻了由刺激参数测定实验所带来的低价值劳动，提高了动物机器人的研究效率。

附图说明

图1为基于机器视觉的动物机器人实验数据采集系统结构示意图。

图2为基于机器视觉的动物机器人实验数据采集系统工作原理示意图。

图3为测控系统工作流程图。

图4为刺激器工作流程图。

图5为标识线提取与角度计算示意图。

图6为基于机器视觉的刺激参数测定实验结果示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

一种基于机器视觉的动物机器人刺激参数测定系统，如图1所示，包括测控系统和刺激器；测控系统主要由工业相机、pc机和无线通讯模块a组成；刺激器主要由微处理器、多通道编码信号发生器、无线通讯模块b和基本功能电路组成；

工业相机，通过usb接口与pc机连接，被配置为用于采集刺激实验过程中的动物机器人的运动状态，将视频数据传送给pc机；

无线通讯模块a，通过串口与pc机连接，被配置为用于将来自pc机的数据无线发射出去；

pc机，使用基于opencv库所开发的数据分析系统，对传输来的刺激信号和检测画面进行分析与处理，通过检测大鼠机器人特征点的方法分析出所处状态，计算出大鼠机器人转动的角度；结合每次转动所对应的刺激信号，筛选出对大鼠机器人有效控制的录像画面，自动保存这些可控制的录相；最后将刺激信号强度和转动角度进行分析、比对，得到被测大鼠机器人的转动角度与刺激强度之间对应关系，计算出可控灵敏度；

无线通讯模块b，通过串口与微处理器连接，被配置为用于无线接收来自pc机的数据；

微处理器，通过串口与无线通讯模块b连接，同时，通过i/o口控制多通道编码信号发生器的工作状态；微处理器基于无线通讯模块b接收的信息产生期望的编码电刺激信号，并将其施加到动物机器人的目标脑区上，使动物产生期望的运行行为；

多通道编码信号发生器，被配置为用于对微处理器的原始信号进行处理和变换，并在微处理器的控制下实现刺激通道的选择、启动和停止功能，进而产生一个刺激信号频率、刺激信号幅值和刺激信号时程均可调的编码刺激信号，并将这个编码刺激信号施加到目标脑区；

基本功能电路，被配置为用于为微处理器和无线通讯模块b提供电能；

基于pc机的测控系统按照设定的规律生成刺激参数和控制命令，并通过无线通讯设备a发送给刺激器；同时，基于pc机的测控系统同步记录和保存实验过程中的刺激参数信息和反映动物机器人的受控行为的视频文件；最后，基于视频文件和相应的刺激参数，分析出受控行为与刺激参数的对应关系。

以机器人鼠为例说明本发明的实施方式，基于机器视觉的动物机器人实验数据采集系统工作原理如图2所示。实验时将带有红、绿、蓝三色标识线的标识板安装在刺激器表面，一起固定于大鼠的背上。刺激器的输出端与预先植入的电极接口插槽连接。工业相机固定于实验场地的正上方，pc机通过usb接口读取来自工业相机的视频数据。测控系统负责分析图像信息，以判断出大鼠在实验场地的位置，并以无线通讯的方式与刺激器交互信息，控制刺激器的工作状态，同时接收刺激器的反馈数据。

测控系统工作流程如图3所示，测控系统首先根据来自工业相机的实时图像分析大鼠在场地中的位置，若大鼠的左侧靠近场地的边缘，测控系统选择右转刺激类型；若大鼠的右侧靠近场地的边缘，测控系统选择左转刺激类型；若大鼠位于场地中心测控系统根据三种刺激类型的实验进程，选择进度较慢的刺激类型进行刺激实验。刺激类型确定后，测控系统根据该类型的进度，推算出本次测试所需的刺激参数，然后通过无线通讯模块a将参数数据和刺激类型命令一起发送到刺激器，同时，等待刺激器的反馈信息，当接收到开始信号后，启动录相功能开始录制机器人鼠实验视频，直到接收来自刺激器的结束标识延迟2秒后结束录相，将刚刚录制的实验视频分类保存在指定的文件夹中。同时，以“刺激类型代码+循环次数+刺激参数”的格式命名该视频文件，比如当前的刺激类型为第二次循环进程的左转刺激，刺激参数为电流幅值100ua，脉冲宽度为5，脉冲个数为20，脉冲频率为90hz。除刺激类型代码不变外，其余信息被通过在前方补0的方式扩成3位，即循环次数002、电流幅值100、脉冲宽度005、脉冲个数为020、脉冲频率090。将以上数据组合起来，则该视频的文件名为1002100005020090。然后进入下一次循环。

刺激器工作流程如图4所示，刺激器上电后由微处理器c8051f410完成初始化后，进行等待状态，当通过无线通讯模块b接收到来自测控测控系统的参数和命令后，微处理器c8051f410根据接收的信息控制编码信息发生器的工作状态，使其产生相应的编码刺激电信号，并将刺激信号施加于大鼠对应的脑神经核团，控制大鼠的运动行为。上述刺激信号在5秒内被重复10次。产生刺激的同时，通过无线通讯芯片发开始标志到测控系统，本次刺激结束后发送结束标志，然后进入等待状态，重复以上过程。

实验结束后，测控系统对记录的视频文件进行逐个分析，测控系统根据视频文件的名称可以得到与视频文件对应的刺激参数及刺激类型信息，然后读取视频中的每一帧图像数据，如图5所示根据预设的颜色褐色提取标记点o点，并计算出该点的坐标。最后将所有的点坐标连接起来，并显示在一张图像上得到机器人鼠的运动轨迹。另外，读取视频中的第一帧和最后一帧图像并定位分割出图像中的标识块，按如图5所示的方法，将标识块中的三条线根据颜色信息提取出来，并计算出每条线两个端点在图像中的坐标，以水平右向为参考方向，根据线段两端点的坐标可以分别得到红色标识线cd的角度为θ1，绿色标识线ab的方向角为360-θ2，蓝色标识线ef的方向角为180-θ3。假设图3所示的是第一帧图像中的标识块，三个角度分别记为a,b,c。按同样的方法可以得到最后一帧图像标识块中三条线的方向角，分别记为a,b,c。则机器人鼠的转向角为an＝((a-a)+(b-b)+(c-c))/3。若an大于零则机器人鼠左转了an度，若an小于零则说明机器人鼠右转了an度。

完成上述处理后，根据视频文件名称查找出具有相同刺激类型且具有相同刺激参数的轨迹图像并将其拼接到一起，并将转向角显示于每一个对应的轨迹图上形成一个大的图像，如图6所示，a1a2…nn代表与相应轨迹对应的转向角。根据这个图像可以检测相同刺激参数下控制结果的一致性和控制效果的稳定性，最后将具有稳定性控制效果的参数筛选出来，作为被测试机器人鼠的有效刺激参数保存在电脑文件中，以方便后期的深入动物机器人实用化研究。

基于机器视觉的动物机器人实验数据采集方法和系统，利用机器视觉技术获取动物机器人的运动轨迹和转动方向，可更精确和定量化的分析和判断动物机器人的运动行为。进一步地定量化分析出刺激参数与动物机器人受控行为的对应关系，从而确定出适于特定动物个体的最佳刺激参数，为动物机器人的实用化研究提供必要信息。机器视觉代替了人眼，该方法不仅保证了实验流程标准性和实验数据的客观性，而且得到客观一致的刺激参数测定结果。同时，大大减轻了原来由人工刺激参数测定实验所带来的低价值劳动，提高了动物机器人的研究效率。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。