一种多数据类型的平面群集运动数据采集系统的制作方法

本发明属于运动数据实时采集技术领域，具体涉及一种多数据类型的平面群集运动数据采集系统。

背景技术：

从人群到飞鸟、游鱼、昆虫、细菌，自然界中广泛存在着丰富的群体运动现象，相互联系而不断运动的个体所组成的系统涌现出丰富多彩而高度协调的群体运动行为。自然界群集动力学行为所展现出的惊人的魅力，为工业、社会群体的认识和优化提供了丰富的思想源泉。从应用角度出发，作为当今物理科学、自动化科学、系统科学、计算机科学、等交叉领域的热点研究方向，深入理解自然界群集构型演化机理或将推动群体机器人协同技术的深刻变革，对于无人系统控制、区块链技术应用、人体群体行为调控疏导等领域提供十分可观的应用价值。近年来，广泛的研究关注于大规模个体组成的群体产生的群集运动行为，研究重点在于理解群集运动的产生机理和内部潜在机制，而研究的基础在于，需要大量准确的实验数据，因此建立完善的实验装置、数据采集与处理系统对于群集运动的分析有着举足轻重的作用。

技术实现要素：

针对现有数据采集精度不足、类型单一的问题，本发明的目的在于提供一种高精度多数据类型的平面群集运动数据采集系统，为群集动力学的演化研究提供精确的群集运动的实时同步数据。

为实现本发明的技术目的，本发明提供了一种多数据类型的平面群集运动数据采集系统，包括：实验图像采集单元、运动数据采集单元和上位机处理单元。

实验图像采集单元包括摄像机、支撑架、可控光源、稳压源；其中，摄像机置于支撑架上，立于实验场地正上方，将整个实验场地完全覆盖拍摄；可控光源放置在实验场地的四周，提供均匀的柔性光照；稳压源用以控制补光灯的亮度；

运动数据采集单元包括惯性传感器和主控机，惯性传感器安装于运动目标身上，惯性传感器包括三轴磁力计、三轴陀螺仪、三轴加速度计；主控机通过蓝牙与上位机处理单元连接通信，将惯性传感器采集的信号传送给上位机；

上位机处理单元包括图像处理模块和传感器数据存储模块；图像处理模块对采集的群集运动目标视频图像进行处理，获取运动目标的轨迹信息；传感器数据存储模块用于记录运动目标的加速度、角加速度、磁场和方位信息。

进一步地，所述图像处理模块包括：

视频帧提取子模块，用于提取群集运动目标的视频；

目标运动区域提取子模块，用于从当前视频帧中提取目标运动区域；

背景滤除子模块，用于对目标运动区域滤除背景；

可疑目标定位子模块，用于将滤除背景的目标运动区域与目标灰度阈值进行比较，判定大于目标阈值的像素点为可疑目标像素点，将邻近的可疑目标像素点视为一个可疑目标；

可疑目标识别子模块用于将可疑目标与预定目标长度、宽度和面积阈值进行比较，判定可疑目标为个体目标、多目标重合、非目标中的一种；

个体目标跟踪子模块用于若可疑目标为个体目标，则将可疑目标与当前视频帧的目标预测位置进行匹配，将匹配成功的目标ID赋值给可疑目标

多目标重叠跟踪子模块用于若可疑目标为多个个体目标重叠，则进行可疑目标拆分操作，再将拆分得到的个体目标与当前视频帧的目标预测位置进行匹配，将匹配成功的目标ID赋值给个体目标；

非目标跟踪子模块用于若可疑目标为非目标，则忽略。

进一步地，所述可疑目标识别子模块的具体实现过程为：

设可疑目标d的长为a，宽为b，面积为s；预订的长度边界上、下阈值为A_max，A_min，宽度边界上下阈值为B_max，B_min，面积的边界上下阈值为S_max，S_min，则：

如满足A_min＜a＜A_max,且B_min＜b＜B_max,且S_min＜s＜S_max，则d是个体目标；

如满足a＜A_min，或b<B_min，或s<S_min，则d是非目标；

如满足a＞A_max，或b>B_max，或s>S_maxs，则d为多目标重合。

进一步地，所述个体目标跟踪子模块的具体实现过程为：依据前一帧定位的目标位置、方向、速度预测目标在当前帧中的位置，将可疑目标与当前视频帧的目标预测位置进行匹配，将匹配成功的目标ID赋值给可疑目标。

进一步地，所述多目标重叠跟踪子模块的具体实现过程为：往当前帧的相邻前后几帧中，找寻可疑目标区域附近的目标，如果存在几个运动目标，则根据这几个目标的速度和方向，预测这几个目标在当前帧中的位置，若预测目标位置在可疑目标区域中，则在当前帧中将预测目标作为目标；若预测目标位置不在可疑目标区域中，则忽略该可疑目标。

进一步地，还包括后期修正子模块，用于：

遍历所有视频帧，找到目标个体数量异常减少的视频帧，手动增加个体运动目标；

遍历所有视频帧，找到目标个体数量异常增加的视频帧，手动减少个体运动目标；

遍历所有视频帧，找到目标个体速度和方向异常突变的视频帧，将涉及异常的两个目标ID进行交换。

进一步地，所述目标灰度阈值

其中，threshold是目标灰度阈值，X(p)是像素点p的灰度值，u(p)是背景图像像素点p的值，σ(p)是像素点p的标准差。

进一步地，蓝牙传输模块采用板载陶瓷天线。

本发明的有益技术效果体现在：

本发明提出了一种高精度多数据类型的群集运动数据采集系统，其一是通过安装在图像采集装置支撑架上的高分辨率数码摄像机获取平面群集运动过程的视频，包括群集运动中的领导跟随、迁徙、涡旋等现象，随后使用图像处理软件对运动视频进行分析，得到个体的运动轨迹、运动位置等信息；其二是将惯性传感器附着在运动个体上(如：鱼)，通过蓝牙通信将数据实时传输到上位机中，并用数据记录存储软件(MAS-Analysis)实时记录运动个体的加速度、角加速度等相关信息并实时存储。

本发明运动数据实时采集系统它整合了数据采集设备和数据处理软件，大大提高数据采集精度、减小传输延迟、增强灵活性、有利于用户自定义使用，可以为群集运动的研究提供翔实的数据，大大推动了群集运动的研究。

本发明图像处理方法无需对实验个体使用外界标志进行目标标记，对实验个体无伤害，简单易行，有利于实验的扩展进行。

附图说明

图1为全系统结构示意图；

图2为视频采集系统示意图；

图3为传感器内部模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实验实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供了高精度多数据类型的群集运动数据采集系统，该数据采集系统包括：实验图像采集单元、运动数据采集单元和上位机处理单元。

实验图像采集单元包括摄像机101、支撑架102、可控光源103、稳压源104；其中摄像机101置于支撑架102上，立于实验场地正上方，将整个实验场地完全覆盖拍摄，可控光源103放置在实验场地的四周，提供均匀的柔性光照，抵消实验装置外壁带来的黑色阴影对图像处理的影响，稳压源104用以控制补光灯的亮度。

运动数据采集单元包括惯性传感器2，惯性传感器2包括通过IIC扩展磁力计传感器的三轴磁力计201、三轴陀螺仪、三轴加速度计202、主控机MCU 203，利用IIC接口输出9轴信号。主控机MCU 203使用蓝牙206与上位机205连接通信，将所采集的运动数据传输至上位机205，上位机对数据进行存储。三轴陀螺仪用于采集被测物体的三轴角速度，三轴加速度计用于采集被测物体的三轴加速度，三轴磁力计用于采集被测物体的方位及磁场强度以便后续计算出被测物体当前与东南西北四个方向上的夹角。

上位机处理单元包括图像处理模块3和传感器数据存储模块4。图像处理模块3对采集的群集运动目标视频图像进行处理，获取运动目标的轨迹信息。传感器数据存储模块4拥有七种采样频率(5Hz、10Hz、25Hz、50Hz、100Hz、200Hz、400Hz)可供选择，软件记录数据类型包括个体运动的加速度，角加速度，磁场，位置等信息，在记录的同时以csv格式将采集数据进行存储。上位机处理单元还与拼接显示器面板5相连接，实时显示数据变化曲线。

图像处理模块3包括：视频帧提取子模块、目标运动区域提取子模块、背景滤除子模块、可疑目标定位子模块、可疑目标识别子模块、个体目标跟踪子模块、多目标重叠跟踪子模块、非目标跟踪子模块。

视频帧提取子模块用于截取合适的群集运动视频帧。针对采集的数据，设定起始帧数和结束帧数，省略掉视频开始和结束有干扰的视频段。F_i1表示原始视频数据的起始帧数，F_j1表示原始视频数据的结束帧数，设置i2，j2，处理后留下i2到j2之间的视频数据帧数。

F_i1:F_j1→F_i2:F_j2(其中i2＞i1,j2＜j1)

目标运动区域提取子模块用于从当前视频帧中提取目标运动区域。针对摄像头采集的数据区域会比实际的区域大，需要在视频中选择目标区域，如上所说的正方形、圆形。此处使用的原理是Hough变化，实现直线和圆形的自动检测，来得到正方形和圆形的目标区域。在Hough直线变换中，采用(r,theta)来表示一条直线。其中r为该直线到原点的距离，theta为该直线的垂线与x轴的夹角，思想就是：为每一个点假设n个方向的直线，通常n＝180，此时检测的直线的角度精度为1°，分别计算这n条直线的(r,theta)坐标，得到n个坐标点。如果要判断的点共有N个，最终得到的(r,theta)坐标有N*n个。有关这N*n个(r,theta)坐标，其中theta是离散的角度，共有180个取值。如果多个点在一条直线上，那么必有这多个点在theta＝某个值theta_i时，这多个点的r近似相等于r_i。也就是说这多个点都在直线(r_i，theta_i)上。

背景滤除子模块用于使用背景差法进行运动轨迹跟踪需要获取背景图像。获取原理是，从整个数据段中，选取一定数量的图像的平均作为背景图像的估计。如下，T为视频数据的帧数，n为选取的背景帧数数量(一般是100，n<T)，则采样间隔：

Δ＝T/n

在处理中，假设每个像素点p都是满足高斯分布的，则得到背景图像p的高斯分布中心u(p)如下：

其中X_iΔ(p)表示像素点p的第i次采样值，Δ为采样帧数间隔则均值绝对标准差σ(p)如下：

其中a为经验值，决定背景更新的快慢。虽然选取的图像中也存在着目标个体，但是由于选取间隔的帧数比较多，目标个体的位置变化很大，经过平均后，目标个体对背景图像的影响很小，可以得到比较准确的背景估计。这样目标检测就可利用，当前帧图像和背景图像相减，像素点的阈值大于某一值threshold时，则属于某一个目标个体，否则忽略。

可疑目标定位子模块用于将滤除背景的目标运动区域与目标灰度阈值进行比较，判定大于目标阈值的像素点为可疑目标像素点，将邻近的可疑目标像素点视为一个可疑目标。设定目标灰度阈值，来判断相减后的像素点是否是运动目标，此值需要动态调节达到最优。如果大于此值，则是运动目标像素点。阈值判断公式为：

其中，threshold是目标灰度阈值，X(p)是像素点p的灰度值，u(p)是背景图像像素点p的值，若调大threshold，检测目标数量少，会将低对比度的个体当成背景，但不易受环境(如光照、水波)影响。若调小threshold，检测目标数量多，会将环境的变化(如光照变化、水波波动)等识别成目标。因此，threshold大小对目标的检测有重要的作用，调节此值的目的是，让视频数据的大多数帧数中检测的目标个数尽量与实际的运动目标个数相等。

得到可疑目标像素点后，将相邻的像素点连接起来，看成一个可疑目标个体。

可疑目标识别子模块用于将可疑目标与预定目标长度、宽度和面积阈值进行比较，判定可疑目标为个体目标、多个个体目标重叠、非目标中的一种

可能存在可疑目标和实际目标不匹配的情况。假定第i帧图像识别出来的可疑目标有n(i)个，实际目标恒为m个，则需要使得以下方程最小：

即在大多数帧数中，检测的可疑目标和实际目标数量相等。但是在此过程中，会出现以下两种情况导致识别可疑目标和实际目标相差很大。

1、将水波波动、光照阴影等识别成可疑目标；

2、多个运动目标重合，识别成一个目标；

针对问题1，水波波动和光照阴影导致的可疑目标，目标比较小，通过目标大小过滤模块，去除小目标。

针对问题2，多个目标重合，会导致可疑目标比较大，需要将此区域附件前后帧数中的目标进行位置预测，预测会出现在可疑目标的什么位置，这样就可以拆分可疑目标成为几个目标。因此设置目标长、宽、面积的最大值后，当超出此值，则进行可疑目标的拆分操作。

设检测目标d的长为a，宽为b，面积为s，设定的长度边界值为A_min，A_max，宽度边界值为B_min，B_max，面积的边界值S_min，S_max，则：

1、如满足A_min＜a＜A_max,且B_min＜b＜B_max,且S_min＜s＜S_max，则d是一个个体目标。

2、如满足a＜A_min，或b<B_min，或s<S_min，则d是干扰，会被忽略。

3、如满足a＞A_max，或b>B_max，或s>S_maxs，则d为多目标重合，会进行拆分操作。如果拆分操作不成功，则d会被忽略(这种情况只能通过后期修正处理)。

个体目标跟踪子模块用于若可疑目标为个体目标，则将可疑目标与当前视频帧的目标预测位置进行匹配，将匹配成功的目标ID赋值给可疑目标。依据前一帧定位的目标位置和速度预测目标在当前帧中的位置。根据运动目标的方向和速度进行位置预测，采样的时间间隔为25帧/s即t＝40ms，位置预测将前后两帧图片中的个体对应起来，相同的个体设置为同样的标号ID，这样遍历所有帧数，就可以得到所有个体的轨迹。

多目标重叠跟踪子模块用于若可疑目标为多个个体目标重叠，则进行可疑目标拆分操作，再将拆分得到的个体目标与当前视频帧的目标预测位置进行匹配，将匹配成功的目标ID赋值给个体目标。具体步骤为：往前后几帧中，找寻可疑目标区域附近的目标，如果存在几个正常大小的目标，则根据这几个目标的速度和方向，预测这几个目标在当前帧中的位置，如果预测目标位置在可疑目标区域中，则将预测目标作为目标。否则，如果运动目标速度和方向急速变化，预测目标位置可能不在可疑目标区域中，不能拆分此可疑目标，则先忽略，最后通过后期修正处理。

保存的数据格式为：ntarget(目标个数)、identity(目标标号)，xpos(目标x坐标)、ypos(目标y坐标)。目标标号用来标识前后帧中的同一个运动个体，即identity相同的数据表示为同一个个体的轨迹。

非目标跟踪子模块用于若可疑目标为非目标，则忽略。

跟踪中存在的问题：目标个体的丢失(如多个个体聚集在一起)，目标个体的增加(将环境变化识别成个体)、目标个体速度和方向突变，因此还需要进行后期修正。本发明进一步提供后期修正模块，自动找出可能出现异常的时刻点，具体原理为：1、遍历所有帧数，找到目标个体数量减少的情况，程序显示出前后两帧图像的处理结果；2、遍历所有帧数，找到目标个体数量增加的情况，程序显示出此时前后两帧图像的处理结果；3、遍历所有帧数，找到目标个体速度和方向突变较大的情况，程序显示出此时前后两帧图像的处理结果。然后人工判断是否异常，如果存在异常，则会出现修正的界面，供手动调整，大大增加了数据的准确性。针对每种具体的异常问题，进行手动修正。对于识别个体的减少，可能原因是两个个体运动到一起，识别成一个，此时需要手动增加一个个体，将丢失的轨迹连起来。对于识别个体的增加，可能是个体运动导致的水波变化，并且水波大小和个体相似，被识别成了运动个体，需要手动将此轨迹删除。对于个体交换，会在重合时出现并且方向突变情况下，只需将后一帧图像中，两个个体标号ID进行交换。

下面结合具体实验对本发明的实施例作详细介绍，以鱼类群集运动数据采集的主要工作流程为例：

第一步：根据实验要求与实验目标个体的体积大小，制作实验装置；本实验为鱼群群集运动的相关研究，实验场地可根据鱼类行为特性与自身体积设定，如1*1米的正方形水池。

第二步：布置实验场地；首先将高分辨率数码摄像机安装在图像采集装置支撑架上，并在实验场地四周摆放亮度可控的柔性补光灯，提供均匀的光照，消除实验装置外壁阴影对图像处理的影响。同时，使用稳压源来控制补光灯的亮度。

第三步：图像采集环境调整；调整高分辨率数码摄像机的高度，使得数码摄像机恰好可以将正方形水池完整覆盖拍摄，并保证实验过程中数码摄像机几乎没有抖动。同时调整补光灯的亮度保证整个实验环境的明亮。

第四步：将传感器附着于实验个体上；将惯性传感器以捆绑的方式附着于实验个体上，并且确认传感器不会对个体的自由运动产生影响，及个体的自由运动不会导致传感器的脱落。

第五步：传感器数据采集调试；利用蓝牙通信连接传感器与上位机，打开传感器数据记录存储软件对数据的记录进行调试，直至上位机与传感器可以稳定通信，并且可以连续记录个体运动数据。

第六步：数据实时显示；将上位机与拼接屏幕连接，实时显示数据的变化曲线。

第七步：进行实验；打开高分辨率数码摄像机录像功能，同时在传感器数据记录存储软件上点击开始，采集记录数据并存储，随后释放实验个体。

第八步：视频处理与数据存储；结束实验后，获得群集运动视频与传感器采集数据，根据本地时间相互匹配，并进行处理分析。同时图像处理需要后期手动修正，对于识别个体减少、个体误识别等情况进行参数修正，提高数据准确度。

惯性传感器可使用硅胶进行封装，表层密封且柔软，防水防摔，精度高(最高采样频率可达400Hz)。

蓝牙传输模块采用板载陶瓷天线，有效缩小天线尺寸，减少了电路板的介电损失。无线传输技术标准采用蓝牙4.1，其重要特性包括功耗低，支持多设备连接。

传感器数据存储时会同时记录两个时间：惯性传感器内部时间和计算机本地时间，除了用以不同电脑记录的数据之间的匹配，还可以无差匹配图像处理所得数据与传感器采集数据，大大减少了误差和外界扰动带来的影响，提高了数据采集及处理的精确性。

应当注意，本发明不局限于鱼群实验，对于其他物种的实验，只需更换实验场地即可。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。