基于视频信号的鱼类过坝运动轨迹定位装置与方法
【技术领域】
[0001] 本发明设及一种基于视频信号的鱼类过巧运动轨迹定位装置与方法，具体设及鱼 类过巧运动轨迹监测领域。
【背景技术】
[0002] 水利水电工程对河流的阻隔导致河流生态系统受到了严重的影响。其中，对具有 徊游习性的鱼类影响最大，由于大巧的阻隔，多种徊游鱼类不能够通过徊游完成繁衍，导致 其种类与数量都急剧减少。为降低大巧对运些徊游鱼类种群的干扰，人们往往在大巧上修 建鱼道等过鱼设施。而目前在我国修建的过鱼设施大多数不符合鱼类的游动习性，因此其 过鱼效果并不尽如人意。为修建符合鱼类游动习性的鱼道设施，改善河流的生态系统环境， 就需要研究鱼类的游动行为和轨迹，为鱼道设计提供理论支撑。目前，由于水下能见度低和 环境的开放性等原因，一般的传感器难W满足对鱼类游动行为和轨迹的定位要求，因此研 究人员主要采用声响定位技术及水平鱼影探测技术等来对鱼的游动轨迹进行跟踪，但由于 水下声噪声复杂，且噪声功率密度较大，鱼游动产生的声响信号易淹没于环境噪声中，加之 声响信号定位技术本身较为复杂，因而在实际使用中效果并不理想。而机器视觉具有眼见 为实、鲁棒性强的特点，通过视频信号定位鱼类的运动轨迹，一方面能够实时的区分待观测 鱼类与其他杂物的区别并判断是否需要进行定位；另一方面也能够有效的降低水纹、噪声 等因素的影响。因此，开发一种基于视频信号的鱼类过巧运动轨迹定位装置是有必要的。
【发明内容】
[0003] 本发明提供一种基于视频信号的鱼类过巧运动轨迹定位装置与方法，具有自动化 程度高、鲁棒性强的特点，能够实时有效的定位鱼类过巧运动轨迹。
[0004] 本发明所采用的技术方案是：
[0005] 基于视频信号的鱼类过巧运动轨迹定位装置，包括视频获取装置、视频处理装置， 所述视频获取装置包括巧架、固定安装在巧架相互垂直=个面上的=个水下摄像机：顶面 摄像机、右面摄像机、正面摄像机；所述视频处理装置包括计算机、安装在计算机上的图像 处理系统，所述水下摄像机与所述计算机通过数据线连接。
[0006] 所述巧架为长方体框架或者类长方体框架，其通过螺栓在鱼槽中固定。
[0007] 所述巧架上的任意位置设置了绝对参考坐标系，=个水下摄像机与绝对参考坐标 系的位置、距离关系进行了标定。
[0008] 基于视频信号的鱼类过巧运动轨迹定位方法，包括W下步骤：
[0009]步骤1、背景建模：通过混合高斯算法建立动态的背景模型，首先为消除缓慢光照 变化对背景模型的影响，设置t时刻图像中某一点的像素值为滑动平均像素值yt:
[0010]
(1)
[0011] 其中，a与n为设定阔值，yt。为第t-n时刻的此点的滑动平均像素值，pt为当 前时刻t此点的像素值，当光照发生缓慢变化时，背景点的yt也将发生缓慢变化但变化值 不超过设定的阔值，故仍可被认为是背景；其次，由于振荡的水纹会使背景像素值在几个数 值间变化，故对每个像素值建立多个滑动平均值模型W消除水纹所造成的影响；并且，当光 照发生变化使某一滑动平均值模型被击中次数变少时，移除此模型；反之，若某一像素值被 频繁的击中，则对其建立新的滑动平均值模型。
[0012] 步骤2、前景匹配：确定水下摄像机视野中的背景信息后，图像处理系统即可通过 降噪、二值化、帖差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的=幅图像 中的前景物体；当S幅图像中都只有一个前景物体时，则认为此时S幅图像中的前景物体 互相匹配的，为同一物体在不同摄像机中的投影图；当S幅图像中有多个前景物体时，则提 取每幅图像中每个前景物体中屯、点的坐标，由=部水下摄像机位置的几何关系可知，当处 于不同图像中的=个前景物体为同一物体的投影时，其由右面摄像机所拍摄前景物体中屯、 点坐标的纵坐标值yy。。应和顶面摄像机所拍摄前景物体中屯、点坐标的纵坐标值ydhg相近或 相等，且正面摄像机所拍摄前景物体中屯、点坐标的横坐标值x,h。。,应和顶面摄像机所拍摄前 景物体中屯、点坐标的横坐标值Xdi。,相近或相等，故可由W下公式确定不同图像中的=个前 景物体是否相匹配：
[001引I Iyyou-ydingII2〈了1,且I IX"ng-XzhengI I2〈了1似
[0014] 其中，Ti为设定阔值，当II y胃-ydmg I I2及IIX dmg-XzhengI I2的值都小于T1时，则认为 =幅图像中前景物体相互匹配，可对运些前景物体进行下一步处理。
[0015] 步骤3、鱼类识别：当确定互为同一物体投影的=个前景物体后，即可通过特征匹 配判定运些前景物体是否为鱼类的投影，通过全局特征匹配与局部特征匹配联合的方式对 前景物体进行识别，首先考虑到鱼类边缘模板具有形状独特的头部、背罐、尾罐特征，其头 部、背罐、尾罐的上下、或左右边缘的满足一定的线性关系，故可通过计算前景物体相应区 域的边缘像素差值是否满足线性关系W判断其是否满足局部特征匹配：
[001引
城
[0017] 其中，A：?为头部区域图像中的第i列的上下边缘差值，0为标准差，Ti为设定阔 值。当
的标准差小于阔值时，认为此头部区域的边缘像素差值一定满足 线性关系，满足局部匹配要求，其他区域计算方式与头部区域计算方式类似。
[0018] 步骤4、轨迹定位：若S幅图像中的前景物体都满足步骤3中的阔值要求时，贝U 认为=个前景物体为鱼类的投影，此时可按步骤2分别提取=个前景物体的中屯、点坐标， 再结合绝对参考坐标系与各个摄像机的位置关系，可得正面摄像机所拍摄前景物体的中 屯、点Pi的空间坐标为（X1，yi，zi)，右面摄像机所拍摄前景物体的中屯、点P2的空间坐标为 (而，72,Z2)，顶面摄像机所拍摄前景物体的中屯、点P3的坐标为（X3, 73,Z3)。此时，设正面、右 面、顶面摄像机光轴的方向向量分别为51 = ("1，1'1，"0，5:=(":，1':，11'2)，5，=("川，"'.;），则每个中 屯、点沿其所对应的方向向量所指的方向可形成S条空间直线Li，Lz，Ls。
[0019] 所述步骤3中，当S个前景物体中任意一个满足局部特征匹配时，则认为此S个 前景物体为待识别鱼类的投影，但由于鱼类在水中游动时为不规则体且容易被杂物遮挡， 故有可能=个前景物体都不满足局部特征匹配，此时则再根据全局特征匹配判定=个前景 物体是否为待识别鱼类的投影，全局特征匹配采用对变形不敏感的改进化矩值进行计算， 得到=个前景物体的化矩值并查看运些化矩值是否满足阔值要求：
[0020] ①：当S个前景物体模型都不满足阔值要求时，则判断所拍摄的物体为非鱼类；
[0021] ②：当S个前景物体模型的其中一个满足阔值要求时，则判断所拍摄的物体为被 遮挡的鱼类，但由于无法通过单一图像获得其=维轨迹，故不对其进行轨迹定位；
[0022] ③：当S个前景物体模型的匹配阔值的其中两个满足要求时，则判断所拍摄的物 体为被遮挡的鱼类，此时可通过满足阔值要求的两幅图像对其进行轨迹定位；
[0023] ④：当S个前景物体模型的匹配阔值都满足要求时，则判断所拍摄的物体为未被 遮挡的鱼类，此时可通过满足阔值要求的=幅图像对其进行轨迹定位。
[0024] 所述步骤4中，
[002引 a:当立条空间直线Li，L2,Ls相交于一点Q时，此时鱼的最优轨迹坐标为立者交点 Q的坐标；
[002引 b:当；条空间直线Li，L2,L3其中两条交于一点9，第；条与其他两条互为异面直 线且与运两条直线组成的平面相交于一点0时，此时鱼类最优轨迹坐标为点Q与点0相连 线段的中点P的坐标；
[0027] C:当；条空间直线Li，L2,L3其中两条互为异面直线，第；条与其他两条分别相交 于点Q与点0时，此时鱼类最优轨迹坐标为点Q与点0相连线段的中点P的坐标；
[0028]d:当S条空间直线Li，L2,L3互为异面直线时，过此S条直线W及它们的平行线可 构建一空间六面体（如长方体的=条异面棱边），此时鱼的最优轨迹坐标为空间六面体的 体屯、Q的坐标；
[0029] 若S幅图像中的前景物体只有两个满足步骤3中的阔值要求时，则认为其中一个 视图受到了遮挡、变形等干扰，此时，擬除此干扰图的信息并同上述处理方法可确定两条空 间直线Li，L2。当Li，L2相交于一点Q时，鱼类最优轨迹坐标即为点Q的坐标；当L1，L2互为 异面