专利名称：基于全方位视觉的动物行为检测装置的制作方法
技术领域：
本发明属于全方位视觉、计算机视觉技术和关系数据库等技术在动物行为自动检测和调查方面的应用，主要适用于动物行为自动观察、动物异常行为的发现等动物行为学的各项研究。
背景技术：
动物行为指动物在一定环境条件下，为了完成摄食排遗、体温调节、生存繁殖以及满足其他生理需求而以一定姿势完成的一系列动作。动物在完成行为时需要耗费和占用资源，如能量、时间和空间。过去研究过当个体占有能量和时间有限时动物行为的变化，但是人类目前尚不清楚当动物生存空间资源有限时，动物的行为会发生什么变化？空间资源如何影响个体的弹性行为、聚群行为和逃逸行为？生态环境是动物行为表达的前提条件，生态环境由食物、植被、土壤基底、天敌、水体等构成。动物生境中各因素是如何影响动物行为的？这些调查的工作量是极其巨大的。动物行为的辨别、分类和编码是动物行为学研究的一项重要内容。在理解动物行为的生态学功能的基础之上，对动物行为进行辨别和分类，建立动物行为谱，系统地开展行为编码，有助于量化行为，从而解明动物行为的功能以及行为之间的转化和相互关系。中国发明专利号为201010140888. 0公开了一种自然环境中动物行为视频监测方法与装置，通过主控模块、摄像机模块、数据存储模块、可调磁刺激模块、GPS模块和GPRS模块，追踪动物的活动路径，自动根据动物的运动状态，开启/停止视频或图片记录、存储观测数据，并将数据发送到后台服务器。该发明主要的问题是1)必须将摄像装置安放在动物身体上；2)持续供电电源；3)动物行为自动识别。中国发明专利号为201010033891. 2公开了一种动物行为红外视频分析系统，包括动物行为实验箱、红外摄像机、视频采集卡和计算机，红外摄像机安装在动物实验箱顶部，红外摄像机与视频采集卡通过视频信号线相连，视频采集卡与计算机通过数据接口相连。该发明的不足之处是1)只能对动物箱内的动物进行实验观察；幻没有采用对红外图像和视频图像进行任何处理；幻没有对动物行为进行自动辨别和分类。中国发明专利号为02113827. 3公开了一种动物行为视频分析系统，系统采用机器视觉技术对视频摄像机视场内的动物行为进行识别，获取运动轨迹，计算和记录相关实验数值，通过对动物行为的分析来测试动物学习能力、记忆机理和心理活动。系统硬件由视频输入器、图像采集卡、微处理器和显示屏组成。系统软件由通信、参数设置、图像采集、识别、行为分析、数值计算、并行处理、数据存储查询、显示、报警等模块组成。据称系统具有非接触无损，数字化，采样周期可调，既可实时在线自动跟踪动物运动轨迹，又可显示动物运动真彩色图像的优点。该发明最大的不足之处是1)采用普通的摄像机，其观察范围十分有限；2)要进行行为识别，必须用计算机视觉的方式来识别动物的姿势和动作；3)没有考虑环境等因素对动物行为的影响。一般来说动物行为主要由三个要素构成姿势、动作和环境。所谓姿势是指动物在一定的时间中，身体的主要结构部分保持一定的形状和位置。所谓动作是指在较短时间内， 动物机体部分骨骼肌群运动，使得机体的部分结构运动、收缩、舒张、弯曲和位移。所谓环境是动物行为产生的环境包括生物环境，即社会环境和非生物环境，由食物、植被、土壤基底、 天敌、水体等构成。动物行为是姿势和动作的组合，具有明显的环境适应机能。动物行为常常是在一定姿势基础之上完成的一系列动作，是较姿势和动作高一级的单元。动物的形态结构决定姿势和动作。动物行为则是动物与生态环境相互作用的结果。姿势决定行为的体位、指向和目的，动作除决定行为的指向和目的外，还决定行为的强度和频次。因此要准确地检测动物的行为就必须准确地检测动物的姿势、一系列动作以及其强度和频次，并且还需要同时检测动物行为发生时的生态环境。
发明内容
为了克服已有动物行为检测手段无法对动物的姿势、动作序列、强度和频次等方面进行检测的不足，本发明提供一种既能检测动物的姿势、动作序列、强度和频次，又能分析某种生态环境下的动物行为的基于全方位视觉的动物行为检测装置。本发明解决其技术问题所采用的技术方案是一种基于全方位视觉的动物行为检测装置，包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的姿势、动作序列、强度和频次以及某种生态环境下的动物行为进行分析处理判断的微处理器；所述的全方位视觉传感器安置在检测环境中间的上方，用于拍摄某个生态环境内动物活动的全景视频图像；所述的全方位视觉传感器通过无线方式与所述的微处理器进行连接，所述的微处理器包括视频图像读取单元，用于读取全方位视觉传感器所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；空间位置定义单元，用于定义和命名在全景图像中环境的空间位置；针对动物行为的三个要素并适用于计算机处理，本发明提出一种动物行为的三位编码系统依动物的姿势、动作和环境建立P码、A码和E码，将P码、A码和E码组合，可以描述任意一种动物行为；PAE编码为分解、标识和描述动物行为多样性提供了手段，同时也为计算机视觉分析；这里设B、P、A、E分别为研究对象的行为、姿势、动作和环境的集合，某一种动物行为用公式(1)来表示，bi = Pi Π Bi Π ej (1)式中，Pi^jnei分别是集合P、A、E的元素或子集；从公式⑴可以知道，要准确分析和检测动物的各种行为就必须准确地检测出动物的各种姿势元素Pi、各种动作元素％ 和各种环境元素ei ；环境元素输入单元，用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系；环境元素与空间位置关系数据库，用于存放环境中各元素与空间位置的映射关系；
前景对象检测单元，用于检测在全景柱状展开图像中存在的前景动物对象，具体采用MHI算法来计算前景动物对象，然后在柱状展开图像上用矩形框框住前景动物对象， 并将矩形框提交给动物对象跟踪单元；动物对象跟踪单元，根据前景对象检测单元所提交的矩形框采用Camshift算法对动物对象进行跟踪；动物姿势解析单元，根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势，并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中；动物动作解析单元，根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作，并将动物动作分析结果写入动物姿势、动作数据库中；动物姿势、动作数据库，用于存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码；动物行为分析单元，根据动物姿势、动作数据库中某一时间、某一空间动物的一系列姿势和动作的变化，根据公式(1)分析动物的行为；动物行为数据库，用于存放动物行为编码，动物行为编码用PAE模型来表达。作为优选的一种方案所述微处理器还包括新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为，如有新的动物行为，则将新的动物行为保存到所述动物行为数据库。进一步，所述的前景对象检测单元中，采用基于MHI的背景更新模型，并利用 YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现动物的分割与定位；所述的基于MHI的背景更新模型，MHI的更新方式如公式(2)所示；
权利要求
1.一种基于全方位视觉的动物行为检测装置，其特征在于所述基于全方位视觉的动物行为检测装置包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器；所述全方位视觉传感器安置在动物经常活动的环境中间的上方，用于拍摄整个监控环境中动物活动的的视频图像；所述的全方位视觉传感器通过网络与所述的微处理器进行连接，所述的微处理器包括视频图像读取单元，用于通过网络接口读取全方位视觉传感器所拍摄的全景图像，并将读取的全景图像提交给视频图像展开单元和视频图像存储单元；视频图像展开单元，用于将全景图像进行柱状展开，展开后的全景柱状图像提交给前景对象检测单元；空间位置定义单元，用于定义和命名在全景图像中动物活动的环境空间位置； 环境元素输入单元，用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系；环境元素与空间位置关系数据库，用于存放环境中各元素与空间位置的映射关系； 前景对象检测单元用于检测在全景柱状展开图像中存在的前景动物对象，具体采用 MHI算法来计算前景动物对象，然后在柱状展开图像上用矩形框框住前景动物对象，并将矩形框提交给动物对象跟踪单元；动物对象跟踪单元，根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪；动物姿势解析单元，根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势，并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中；动物动作解析单元，根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作；动物姿势、动作数据库，用于存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码；动物行为分析单元，用于根据动物姿势、动作数据库中某一时间、某一空间内动物的一系列姿势和动作的变化，根据PAE模型来分析与判断动物的行为；动物行为数据库，用于存放动物行为编码，动物行为编码用PAE模型来表达。
2.如权利要求1所述的基于全方位视觉的动物行为检测装置，其特征在于所述微处理器还包括新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为，如有新的动物行为，则将新的动物行为保存到所述动物行为数据库。
3.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的前景对象检测单元中，采用基于MHI的背景更新模型，利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像，最后利用后处理实现动物的分割与定位；所述的基于MHI的背景更新模型，MHI的更新方式如公式(2)所示；
4.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的动物对象跟踪单元中，根据所述的前景对象检测单元所提交的矩形框采用增强的 Camshiff算法对动物对象进行跟踪；所述的增强的Camshifi算法如下步骤1 以所述前景对象检测单元中检测出的动物对象目标为基础，设定目标跟踪的ROI ；步骤2 计算ROI内的目标颜色概率密度分布；步骤3 迭代Mean Shift直到收敛，记录其位置( 和零阶矩；步骤4 对下一帧图像，以(H)为搜索窗中心位置，并根据的函数确定搜索窗大小，根据动物对象目标外接矩形确定ROI大小，转步骤2 ；在Camshiff算法的步骤2中，采用Bayesian概率法则获得目标在图像中的颜色概率密度分布，计算方法如公式(4)所示
5.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于在所述的全方位视觉传感器中采用具有无线通信功能的无死角的水平方向不变形的全方位视觉传感器，所述的全方位视觉传感器中的摄像机通过视频接口与无线通信网络单元进行连接，无线通信网络单元中包括嵌入式数字信号微处理器、麦克风、有线和无线数字传输模块、用于把模拟视频标准TV信号转换成数字视频YUV信号的A/D芯片；有线和无线数字传输模块中的传输软件基于TCP/IP网络协议，无线通信使用802. llg(b)协议，并支持无线和有线传输，支持公网、专网、局域网静态IP地址接入，提供图像和声音的压缩及传输功能， 压缩算法采用H. 264或者MPEG4 ；嵌入式数字信号微处理器连接SD存储卡。
6.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的空间位置定义单元中，对监控环境的空间进行网格化处理，从获取的全景图像上定义和命名环境空间的网格，作为一种简单的定义和命名方式是采用大小相近的网格将可视范围内的环境空间进行分割，命名采用两位英文字母，从全方位视觉传感器的中心从内圈向外圈逆时针开始顺序编排，第一位英文字母表示相距全方位视觉传感器中心的距离，第二位英文字母表示环境元素所处的方位。
7.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的环境元素输入单元中，表1为位置空间编号与环境元素对应表，如表1所示，
8.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的动物姿势、动作单元中，将动物出现的空间位置、时间和姿势信息写入到动物姿势、动作数据库中内，动物姿势、动作数据库的表格式如表2所示；
9.如权利要求1或2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的动物行为分析单元，是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素以及环境元素的组合来进行分析的，组合的方式由公式(1)表示，bi = Pi Π Π(1)式中，Pi^i和ei分别是集合P、A、E的元素或子集；动物的各种行为是由动物的各种姿势元素Pi、各种动作元素 和各种环境元素ei组合而成；将动物行为分为三大类，即生存行为、繁殖行为和社会行为；在生存行为中再分为六小类，即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为；在繁殖行为中再分为四小类，即发情行为、交配行为、分娩行为和育幼行为；在社会行为中再分为三小类， 即对抗行为、通讯行为和分群行为；每一种行为都可以归纳为姿势元素、动作元素以及环境元素的不同组合；将目前已经解明的某种动物各种行为编码以矩阵的方式B' 放在动物行为数据库中，在所述的动物行为分析单元中计算所得到的行为编码以矩阵的方式B表示，然后将B与B' i进行相减得到差分矩阵，得到差分矩阵D(B，B'》；接着用Frobenious 范数表示动物行为分析单元中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离，计算公式由(14)表示，dis(B, B' i) = trace ((D (B, B' ^) (B, B'》) (14)式中，dis(B，B'》为Frobenious范数，如果dis (B，B'》小于所规定的值F，我们就认为目前检测的动物行为和数据库中动物某一行为是一致的。
10.如权利要求2所述的基于全方位视觉的动物行为检测装置，其特征在于所述的新的动物行为发现单元，根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时，然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为；具体做法是如果在动物行为数据库中存放着N个动物的行为编码，那么在所述的动物行为分析单元中要遍历N次如公式(14)的检测判断过程；当遍历了 N次检测判断后，如果没有找到相一致的动物行为编码就将该结果发送给新的动物行为发现单元，同时将该信息发送给告知单元，管理者或者研究者接受到该信息后，通过人机界面确认一系列所保存的动物姿势元素、动作元素、频度以及环境元素， 如果判断是一种新的动物行为就将该行为编码写入到动物行为数据库中；如果判断是在动物行为数据库中已经存在的行为编码，就需要适当地修改动物某一行为编码或者是F值， 以便今后的检测更为准确。
全文摘要
一种基于全方位视觉的动物行为检测装置，包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器；全方位视觉传感器安置在监控环境的上方获取实时监控环境内的全景视频图像，提供一种远程动物监控观察的手段；结合全方位视觉、计算机视觉和数据库等技术用于动物的活动量、姿势、动作和行为等分析，提高了动物观察和检测的自动化和智能化水平；采用了动物行为PAE编码方式，采用数据的方式来描述任意一种动物行为，PAE编码为分解、标识和描述动物行为多样性提供了手段；装置可为动物行为研究者提供一种有效的动物行为研究手段。
文档编号H04N7/18GK102509305SQ20111028902
公开日2012年6月20日 申请日期2011年9月26日 优先权日2011年9月26日
发明者严杭晨, 叶良波, 汤一平, 田旭园, 石兴民, 马宝庆, 黄磊磊 申请人:浙江工业大学