一种基于水下视频的鱼道过鱼量自动计数系统的制作方法
【专利摘要】本发明涉及一种基于水下视频的鱼道过鱼量自动计数系统，包括水下摄像机和视频处理工作站，水下摄像机与视频处理工作站中的图像采集卡连接。鱼道入口安装有防逃网，水下摄像机安装在鱼道侧壁，并靠近防逃网出口，在拍摄场景上方安装有光源向鱼道内水下打光照明。在视频处理过程中，首先通过软件在视场中设计部分区域视为计数缓冲区以降低计算量，并在计数缓冲区中进一步设置增强计数区。当鱼从一侧逐渐进入有效记数区，系统自动、连续对鱼进行识别、跟踪，当系统跟踪到某条鱼从一侧进入增强计数区并逐渐从另一侧开始游出时，准备计数，后经在连续3帧图像内监测、确认后启动计数，实现了计数时段内鱼道内实际过鱼量的全天候自动计数。
【专利说明】
-种基于水下视频的鱼道过鱼量自动计数系统
技术领域
[0001] 本发明设及水下目标监测与计数领域，具体设及到一种基于水下视频的鱼道过鱼 量自动计数系统。
【背景技术】
[0002] 近年来我国兴建了大量各型水电站，运些电站的巧体给鱼类自由迁移造成了困 难，尤其是季节性和生理性迁徙带来了问题，威胁到鱼类的生存和繁衍。为解决运一问题， 目前新建的大巧上专口设计有供鱼类通过的鱼道，并利用光、声及生化诱鱼技术试图将鱼 诱导到鱼道入口，引导并帮助其通过鱼道。但是不同的鱼类通过鱼道的能力不同，不同的鱼 道类型也使得鱼的过巧效果不同，因而需要对鱼道内实际过鱼情况进行统计，W便结合实 际情况对鱼道结构进行优化设计、为鱼类保护措施的制定等提供依据。但由于过鱼时段、数 量等较为随机，不可能通过人工二十四小时对鱼道进行监控，需要开发自动化和智能化的 监控、统计方法。研究表明，一般的磁、电和接触类传感器都难W胜任鱼类计数工作，而视觉 技术有非接触、可视化、信号易采集传输的优点，可W应用于对鱼道过鱼计数的开发，但依 然存在诸多技术难点，主要表现在：（1)自然水环境下能见度低，光的散射、反射较强，使得 视频对比度差，给鱼目标识别带来困难；（2)鱼为柔性体，游动过程中姿态多变，同类鱼之间 除尺寸外也缺乏明显的可区别特征，给鱼目标锁定、跟踪造成困难；（3)鱼一般有趋光性或 趋流性，在视场照明光源及鱼道水流下，鱼易在摄像机视场内悬停、抖罐(造成体态变化）、 翻滚、回游等，运些都给计数造成困难。
[0003] 已公开的发明专利（"一种基于计算机视觉的活鱼自动计数系统"， 201510437308.7)提出了一种可用于鱼苗计数的视频计数方法，但因其实验设施、条件、方 法等的限制，无法在自然水环境尤其是真实的大巧鱼道过鱼量计数场合使用，主要因为： (1)硬件方面:鱼道尺寸只有数十厘米，使得检测的鱼必须尺寸足够小，且活动范围小，游态 单一，且需要附加滤水箱、吸鱼器、分鱼器等，运些限制条件在真实的大巧鱼道监测环境中 是不可能实现的；（2)计数规则与方法:该发明中选取沿顺流方向有下降坡度的实验鱼道， 认为检测到某条被跟踪的鱼在当前帖的质屯、坐标较上一帖下降时，计数器加1，而实际上， 鱼在鱼道中游动是极不规则的，常见鱼在一较小区域内沿水深方向上下快速窜游，或者悬 在某处摆尾抖动导致质屯、位置变化(而实际上并无明显移位），尤其在有光源的情况下鱼群 因有趋光性易围绕光源呈"縱满"状绕游，运些常见的情况都会使得该专利的计数规则失 效。此外，该专利采用的"标准背景"，即首先拍摄并提取没有鱼出现的场景作为标准背景模 板，此后监测时用当前帖图像与标准背景模板差分来求取前景(鱼），运在真实大巧鱼道中 也是无法使用的，因为大巧鱼道中的水质、流速、自然环境光照等会发生变化，导致能见度 不同，即背景会发生变化，采用固定的背景模板并不适用。
【发明内容】
[0004] 本发明提出了一种基于水下视频的鱼道过鱼量自动计数系统，结合计数现场实际 情况，对计数方法和规则进行了开发，收到了明显的效果。
[0005] 为实现上述目的，本发明所采用的技术方案为：
[0006] -种基于水下视频的鱼道过鱼量自动计数系统，它包括水下摄像机和视频处理工 作站，所述水下摄像机与视频处理工作站中的图像采集卡连接，并通过安装在视频处理工 作站中的计数软件进行处理、计数;鱼道入口安装有防逃网，所述水下摄像机安装在鱼道侧 壁，并靠近防逃网出口，在水下摄像机的拍摄场景上方安装有照明光源向鱼道内水下打光 照明。
[0007] 在所选取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始游 进该区域时启动对该鱼进行监测。
[0008] 所选取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲 带，所述计数缓冲带前后对称，所述增强计数区大小根据实际水下环境及硬件、照明质量等 进行调整。
[0009] -种基于水下视频的鱼道过鱼量自动计数系统，它包括W下步骤：
[0010] Sl:运动鱼或鱼群目标识别与跟踪，包含W下步骤：
[0011] Sl 1:抗干扰背景建模:建立有效计数区域的混合高斯背景模型，能够自适应排除 有效计数区域内光照变化、水体波动、静态背景、固定位置摆动的杂物（如被鱼道内部件拦 截的垃圾等)的干扰；
[0012] S12:识别运动目标:将当前帖中有效计数区内图像与所建有效计数区背景模型进 行差分，并对差分结果二值化，即可获得当前有效计数区内的运动目标，即为当前有效计数 区内检测出的鱼或鱼群；
[0013] S13:二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不 同，二值化时可能将同一条鱼分割成多块（即多条鱼），因而进一步对二值化图像依次进行 腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动目标识别；
[0014] S14:运动目标跟踪与锁定：由于每条鱼在相邻帖图像中的位置不会有大的突变， 设前一帖和当前帖图像中有效计数区域内各运动目标的几何中屯、分别为： 结_魚，托)、0/(.V如，其中下标为图像帖序号，上标为运动目标数，W掛(V.1',）为基准，在 纪瓜亦冲捜索与掛(.V)',)距离最短的中屯、点，即m出恥化V.v,)_贷-权，义)|}，则两帖图像中的 该两中屯、点对应的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。
[001引 S2:自动计数，包含W下步骤：
[0016] S21:判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带时，锁 定运动目标并判断其运动方向，但不计数。方向判断的方法是:计算该鱼在相邻帖中几何中 屯、的变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区 后，利用其已进入增强计数区的部分(而不是整体)计算该鱼的几何中屯、，其目的同样是为 降低鱼尾部运动对计算其几何中屯、带来的误差；
[0017] S22:计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区，即有部分 身体从一侧的计数缓冲带进入到了另一侧的缓冲带，准备计数，继续在后续的3帖内跟踪、 锁定该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的方 法确定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否则 反之。
[0018] -种基于水下视频的鱼道过鱼量自动计数系统，用于统计大巧过鱼通道内鱼类的 流通情况，给后续的生态环境研究提供数据支持。
[0019] 本发明的优点与有益效果在于：
[0020] 1、通过在鱼道入口处安装防逃网能够有效的避免鱼进入鱼道后再次回流逃逸，并 可达到尽量使鱼游动状态简单化的目的。
[0021] 2、通过在拍摄场景上方安装照明光源并向鱼道内水下打光照明，能够通过鱼的趋 光应激反应，减少进入拍摄区的鱼回游逃逸，同时通过光照保证了拍摄效果，进而提高了准 确度。
[0022] 3、通过选取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始 游进该区域时启动对该鱼进行监测，W减少计算量，提高实时性。
[0023] 4、选取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲 带，缓冲带前后对称。增强计数区大小可根据实际水下环境及硬件、照明质量等进行调整。 设置增强计数区的目的是:鱼在迎水或有汇聚光源时易在水中悬停、扭动、向后漂移、急转、 加速逃逸、快速翻滚、急速环游等，鱼的游态及身体形态变化快而复杂，若一旦检测到鱼就 立即开始计数，则在鱼高频改变游动轨迹及形态的情况下易得到错误的结果，也易因计数 过于灵敏而出现误差，故给出一定的区间（时间）加 W强化甄别，W合理减少计数次数，提高 计数准确性。
[0024] 5、通过建立有效计数区域的混合高斯背景模型，可W自适应排除有效计数区域内 光照变化、水体波动、静态背景、固定位置摆动的杂物(如水下垃圾)的干扰。
[0025] 6、通过采用二值化图像形态学处理，是因为鱼游动时身体扭曲，其不同身体部位 反光程度不同，二值化时可能将同一条鱼分割成多块（即多条鱼），因而进一步对二值化图 像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动 目标识别。
[0026] 7、通过腐蚀可W消除图像中小的噪声区域，膨胀可W填补物体中的空桐。通过对 图像先进行腐蚀运算然后再膨胀的操作过程称为开运算，它可W消除细小的物体、在纤细 点处分离物体、平滑较大物体的边界时不明显的改变其面积。通过对图像先膨胀然后再收 缩，称之为闭运算，它具有填充物体内细小的空桐、连接邻近物体、在不明显改变物体面积 的情况下平滑其边界的作用。
【附图说明】
[0027] 下面结合附图和实施例对本发明作进一步说明。
[0028] 图1是部分鱼道与水下摄像机安装示意图。
[0029] 图2是视场、有效计数区、增强计数区设置示意图。
[0030] 图3是本发明工作流程示意图。
[0031] 图4是某条鱼刚部分进入一侧计数缓冲带时被监测结果图。
[0032] 图5是某条鱼继续游动刚部分进入增强计数区时被监测结果图。
[0033] 图6是某条鱼继续游动刚部分进入另一侧计数缓冲带时被监测结果图。
[0034] 图7是某条鱼满足计数条件并被自动计数的结果图。
[00对其中，I-鱼道;2-水下摄像机;3-视频处理工作站;4-照明光源；5-防逃网；6-拍摄 场景;7-有效计数区;8-计数缓冲带;9-增强计数区。
【具体实施方式】
[0036] 下面结合附图对本发明的实施方式做进一步的说明。
[0037] 实施例1:
[0038] 如图1所示，它包括水下摄像机2和视频处理工作站3，所述水下摄像机2与视频处 理工作站3中的图像采集卡连接，并通过安装在视频处理工作站3中的计数软件进行处理、 计数;鱼道1入口安装有防逃网5,所述水下摄像机2安装在鱼道1侧壁，并靠近防逃网5出口， 在水下摄像机2的拍摄场景上方安装有照明光源4向鱼道1内水下打光照明。
[0039] 进一步的，在所选取水下摄像机2的拍摄场景6范围内的一部分区域作为有效计数 区7,仅当鱼开始游进该区域时启动对该鱼进行监测。
[0040] 进一步的，所选取有效计数区7内部一部分区域记为增强计数区9,未划入部分视 为计数缓冲带8,所述计数缓冲带8前后对称，所述增强计数区9大小可根据实际水下环境及 硬件、照明质量等进行调整。
[0041 ] 通过将防逃网5安装在鱼道入口处，当鱼从防逃网5出口进入鱼道1，水下摄像机2 在光源4的照明下实时拍摄鱼道1内视频，并把信号传输至视频处理工作站3进行处理。在水 下摄像机2的拍摄场景6中（如图2所示），根据实际场合的具体情况，在处理软件中（或鼠标 框选)选定有效计数区7,避免对整个拍摄场景6进行处理，提高实时性，进一步，在开发的软 件系统中（或鼠标框选)设置增强计数区9,因增强计数区9的范围小于有效计数区7,则有效 计数区7 W外的区域为计数缓冲带8。
[0042] 实施例2:
[0043] -种基于水下视频的鱼道过鱼量自动计数系统，它包括W下步骤：
[0044] Sl:运动鱼或鱼群目标识别与跟踪，包含W下步骤：
[0045] Sll:抗干扰背景建模:建立有效计数区7的混合高斯背景模型，能够自适应排除有 效计数区7内光照变化、水体波动、静态背景、固定位置摆动的杂物(如被鱼道1内部件拦截 的垃圾等）的干扰；
[0046] S12:识别运动目标:将当前帖中有效计数区7内图像与所建有效计数区背景模型 进行差分，并对差分结果二值化，即可获得当前有效计数区7内的运动目标，即为当前有效 计数区7内检测出的鱼或鱼群；
[0047] S13:二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不 同，二值化时可能将同一条鱼分割成多块（即多条鱼），因而进一步对二值化图像依次进行 腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区7内运动目标识别；
[0048] S14:运动目标跟踪与锁定：由于每条鱼在相邻帖图像中的位置不会有大的突变， 设前一帖和当前帖图像中有效计数区7内各运动目标的几何中屯、分别为： 狂_如一,）、其中下标为图像帖序号，上标为运动目标数，W货(W,)为基准，在 化l(W',.)中捜索与掛(W,)距离最短的中屯、点，即minfl货(.V>リ-贷-片,.)リ|}，则两帖图像中 的该两中屯、点对应的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。
[0049] S2:自动计数，包含W下步骤：
[0050] S21:判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带別寸，锁 定运动目标并判断其运动方向，但不计数。方向判断的方法是:计算该鱼在相邻帖中几何中 屯、的变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区 9后，利用其已进入增强计数区9的部分(而不是整体)计算该鱼的几何中屯、，其目的同样是 为降低鱼尾部运动对计算其几何中屯、带来的误差；
[0051] S22:计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区9,即有部 分身体从一侧的计数缓冲带8进入到了另一侧的缓冲带，准备计数，继续在后续的3帖内跟 踪、锁定该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的 方法确定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否 则反之。
[0052] -种基于水下视频的鱼道过鱼量自动计数系统，用于统计大巧过鱼通道内鱼类的 流通情况，给后续的生态环境研究提供数据支持。
[0053] 进一步的，二值图像基本的形态学运算是腐蚀和膨胀，简单的腐蚀是消除物体的 所有边界点的一种过程，其结果是使剩下的物体沿其周边比原物体小一个像素的面积。如 果物体是圆的，它的直径在每次腐蚀后将减少两个像素，如果物体在某一点处任意方向上 连通的像素小于=个，那么该物体经过一次腐蚀后将在该点处分裂为二个物体。简单的膨 胀运算是将与某物体接触的所有背景点合并到该物体中的过程。过程的结果是使物体的面 积增大了相应数量的点，如果物体是圆的，它的直径在每次膨胀后将增大两个像素。如果两 个物体在某一点的任意方向相隔少于=个像素，它们将在该点连通起来。
[0054] 进一步的，所述腐蚀可W消除图像中小的噪声区域，膨胀可W填补物体中的空桐。 对一个图像先进行腐蚀运算然后再膨胀的操作过程称为开运算，它可W消除细小的物体、 在纤细点处分离物体、平滑较大物体的边界时不明显的改变其面积。如果对一个图像先膨 胀然后再收缩，我们称之为闭运算，它具有填充物体内细小的空桐、连接邻近物体、在不明 显改变物体面积的情况下平滑其边界的作用。通常情况下，当有噪声的图像用阔值二值化 后，所得到的边界是很不平滑的，物体区域具有一些错判的孔桐，背景区域散布着一些小的 噪声物体，连续的开和闭运算可W显著的改善运种情况，运时候需要在连接几次腐蚀迭代 之后，再加上相同次数的膨胀，才可W产生所期望的效果。
[0化5] 实施例3:
[0056] 下面结合典型鱼道现场实施例对本发明的有效性做进一步说明：
[0057] 图4-7为W某一条鱼为考察对象（图中方框标记的鱼），紧密围绕图3所示的流程， 反映该鱼从部分进入计数缓冲区开始直至被计数的主要过程及其效果(与该鱼同时出现在 有效计数区7中的其他鱼也在被跟踪锁定，但在该考察时段结束时其他鱼还没达到计数要 求，运样选取是为了更方便说明问题）。在该四幅图中，两条蓝色(粗线）线所覆盖区域为有 效计数区，其内部两条黄色线(细线)覆盖区域为增强计数区，每条黄色线与其相邻的蓝色 线间区域为计数缓冲带。每幅图左边部分为瞬时处理的结果，右半部分为相应时刻运动目 标(鱼）识别结果。计数规定是：当鱼从防逃网出口进入鱼道后游入有效计数区并满足计数 条件，则计数器加1;反之，若从有效计数区另一侧游入该区并满足计数条件，则计数器减1。 实时计数结果显示在各图中的"count"文本框中。在本实施例所考察时段的开始时刻实际 上已记录了一段时间，计数器记录数据为1。考察开始时刻，该鱼刚有部分身体进入有效计 数区（右侧计数缓冲带）即被检测到，但未进行计数，保持跟踪，W免鱼退回增加计数负担； 该鱼继续游动至有部分身体进入增强识别区（图5)时，继续跟踪锁定，但不计数，避免鱼可 能突然转向、停止等，当一旦检测到该鱼有部分身体进入了另一侧计数缓冲带（图6)，准备 计数，但继续观察3帖图像，若在该3帖图像的最后一帖中该鱼依然保持有部分(或全部)身 体处于该侧计数缓冲带中，则计数器加1 (图7)。
[0058] 若鱼从有效计数区的另一侧游入，计数方法不变，但结果是计数器减1。计数器所 显示的数据是从计数系统启动开始到当前时刻从防逃网进入鱼道的鱼的总数，当计数器统 计到一定数值时，可启动其他装置(图中未画出）将鱼驱出鱼道出口，加速过鱼。
[0059] 同时，在本实施例中，由图4、图5、图6、图7还可W看出，在考察期内另有两条鱼在 部分时段也处于有效记数区，同时被本发明跟踪锁定，但另两条鱼仅作快速上下、前后移动 后又折返(或折返趋势），在考察时段内未完全满足计数条件，暂未计入。运也说明了实际系 统的复杂性和技术难度。
[0060] 本发明的有益效果是:可W实现真实的大巧鱼道内过鱼量全天候自动计数，计数 准确，可靠性高，可为研究鱼类过巧能力、鱼道优化设计、鱼类保护措施的制定等提供科学 的参考依据。
[0061] 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和 权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
【主权项】
1. 一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于:它包括水下摄像机(2) 和视频处理工作站(3)，所述水下摄像机(2)与视频处理工作站(3)中的图像采集卡连接，并 通过安装在视频处理工作站(3)中的计数软件进行处理、计数;鱼道（1)入口安装有防逃网 (5)，所述水下摄像机(2)安装在鱼道（1)侧壁，并靠近防逃网（5)出口，在水下摄像机(2)的 拍摄场景上方安装有照明光源(4)向鱼道(1)内水下打光照明。2. 根据权利要求1所述一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于:选 取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始游进该区域时启动 对该鱼进行监测。3. 根据权利要求2所述一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于:选 取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲带，所述计数缓 冲带前后对称，所述增强计数区大小根据实际水下环境及硬件、照明质量等进行调整。4. 一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于，它包括以下步骤： Sl:运动鱼或鱼群目标识别与跟踪，包含以下步骤： Sl 1:抗干扰背景建模:建立有效计数区域的混合高斯背景模型，能够自适应排除有效 计数区域内光照变化、水体波动、静态背景、固定位置摆动的杂物(如被鱼道内部件拦截的 垃圾等）的干扰； S12:识别运动目标:将当前帧中有效计数区内图像与所建有效计数区背景模型进行差 分，并对差分结果二值化，即可获得当前有效计数区内的运动目标，即为当前有效计数区内 检测出的鱼或鱼群； S13:二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不同，二 值化时可能将同一条鱼分割成多块（即多条鱼），因而进一步对二值化图像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动目标识别； S14:运动目标跟踪与锁定：由于每条鱼在相邻帧图像中的位置不会有大的突变，设前 一帧和当前帧图像中有效计数区域内各运动目标的几何中心分别为：Uw,)、 其中下标为图像帧序号，上标为运动目标数，以为基准，在I(心乃)中搜索与 (·ν)',)距离最短的中心点，即-fle/Cv J,) -ρ:(.w,)|j，则两帧图像中的该两中心点对应 的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。 S2:自动计数，包含以下步骤： S21:判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带时，锁定运 动目标并判断其运动方向，但不计数。方向判断的方法是:计算该鱼在相邻帧中几何中心的 变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区后， 利用其已进入增强计数区的部分(而不是整体)计算该鱼的几何中心，其目的同样是为降低 鱼尾部运动对计算其几何中心带来的误差； S22:计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区，即有部分身体 从一侧的计数缓冲带进入到了另一侧的缓冲带，准备计数，继续在后续的3帧内跟踪、锁定 该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的方法确 定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否则反之。5. -种基于水下视频的鱼道过鱼量自动计数系统，用于统计大坝过鱼通道内鱼类的流 通情况，给后续的生态环境研究提供数据支持。
【文档编号】G06K9/00GK106022459SQ201610347154
【公开日】2016年10月12日
【申请日】2016年5月23日
【发明人】陈从平, 聂葳, 胡琼, 黄正, 李林波, 郑霞忠, 石小涛
【申请人】三峡大学