用于立体视场多动物行为特征的系统和方法

专利名称：用于立体视场多动物行为特征的系统和方法
技术领域：
本发明主要涉及场景中的生物体的识别和辨认，更具体地说包括利用视频分析的图像或视频中的多生物体的行为识别。
背景技术：
生物体，例如动物，特别是小鼠或大鼠，被广泛的作为人类模型应用在药品开发研究、遗传、毒物学研究、疾病的认知和治疗、以及其它研究中。尽管人类和动物的生活方式不同，但他们大量的遗传和神经解剖学的同源性产生了保存在物种之间的广泛多样的行为过程。对这些共享的脑机能研究将用于人类行为调节的机理提供重要帮助。因此，许多行为实验已被设计在小鼠或大鼠身上来研究它们的行为。这些研究包括例如研究实验室动物的家居笼行为的实验、用于条件恐惧的僵直实验、操作室中自身给药、开放环境中的社交互动实验、开放场所的运动实验、物体识别实验、多样的迷宫实验、水迷宫实验、用于抑郁研究的强迫性游泳和悬尾及其它实验。这些实验及其它实验范例的使用之前描述在文献中，例如 Liang的美国专利申请公开号No. 2004/0141635中，其全部内容以引用的方式合并于此。这些实验中的大部分通过记录动物在特定时间段内(包括多个M小时段)并随后利用两个独立的观察者来评价记录而被最佳地观测。但是，这种方法的缺点包括长时间的人工观察的不稳定性、耗费时间、以及观察相关的巨大费用。社会行为是其中一个被广泛认可的独立个性维度的基础，并在个体和物种的生存中具有重要的作用。许多与社会行为相关的临床障碍包括创建或维持社交互动的困难，例如社交焦虑障碍、多种人格障碍、孤独症等等。社交互动测试通常设计用来评估社会交往的行为参数，包括配偶关系分析、统治等级、社会记忆、社交缺陷、社交恐惧症、社交焦虑症、愉悦玩耍、挑衅和逃跑、母性和性交行为。家居笼、简单的房间或开放式场所及其它测试环境通常被应用在两个或两个以上动物来执行社会行为实验。与其它行为分析相同，这些实验通常被建立在预定时间在特定环境中来记录动物行为，由两名独立观察者相继检查。在观察者识别的社会行为中包括猛扑(thrust)、社交理毛、缓慢爬行、压住、嗅探、跟踪、攀趴等等。通常这些实验使用阶段记录的人类观测。由于工作的沉闷和人类在准确观察动物的位置及互动中存在的困难，这类分析可能导致结果不准确并固有地包括主观判断。例如， 如果人类观察者仅观看一个视场，那么活动可能被其中一只动物的位置挡住。如果观察者查看多个视场，那么这是非常耗时的并且也很难同时观看两个或多个视场。事实上，这种方法属于劳动密集型，分析代价很高。视频分析技术已经被应用在物体的行为分析上，包括动物和人类，以努力减轻上述问题。自动的实验室动物家居笼行为在Liang的美国专利申请公开号No. 2004/0141635 中进行描述，其全部内容以引用的方式合并于此。来自Clever Sys Inc的产品 SocialkanTop利用一个俯视摄像机分析多动物的社交互动。但是，该产品以及其它利用单独的摄像机的装置并不能满足该领域的科学家的需求。
因此，这就存在对系统和软件的需求，所述系统和软件能够解决上述实验中测量和分析问题，提供有价值的复杂行为分析以满足后基因组时代的需求，并获得一致的结果。

发明内容
本文所公开和描述的本发明包括新的方法、装置和算法用于分析场所中的多种生物体的行为，例如群居动物情景分析。本发明的一些方面可通过本文所述的示例性立体视场多动物行为分析系统加以说明。本发明的一个方面包括对所研究的每种生物体定义一组行为集。本发明的计算机系统可以实时或者离线方式产生动物行为的数字文件，以利用算法自动将特定行为归为所研究的生物体。一方面，本发明提供了一种用于运用从多个视角获得的图像自动从多个行为范例中识别行为的新颖并且统一的架构。这个统一的架构为自动行为识别以及在多种实验范例中的分析提供基础并提供公共基层，所述多种实验范例包括但不限于，家居笼行为、癫痫、 水迷宫、迷宫、移动、物体辨认、恐惧条件下的僵直、强迫游泳、悬尾、药物反应、步态分析、和社交互动等等。一方面，生物体的整体及其身体部位(如果有)，它们的相关颜色信息和它们的动态动作都被包括在不同的算法中来分析复杂的行为。本发明一方面包括实在和虚拟的多种不同场所。例如，Liang的美国专利申请公开号No. 2004/0141635中描述的虚拟区域，其全部内容以引用方式合并于此。另一方面，分析算法允许结合不同模块来获得单个操作中的多行为组的结果。总而言之，本系统接收或记录来自多视角的多生物体的图像。所述图像被数字化、 压缩和索引(如果必要)并被分析以识别特定的预定行为。所述行为利用不同的方法识别，例如概率性和/或确定性方法。特别地，系统利用一个或多个以下方法来识别行为基于规则的分析、标号解析过程、序列分析、状态变化分析、隐马尔可夫模型(Hidden Markov Modeling(HMM))等。并且，系统可以被配置来识别动物行为作为新的行为和作为具有特定时间节律或日夜节律。首先，图像被分析来检测前景物体和执行身体部位分割。检测和分割可通过背景消去来实现，如Liang在美国专利申请No. 6，678，413中所述，其全部内容以引用方式合并于此。在前景物体和单独的身体部位被识别后，基于该行为所属的范例，应用行为识别的不同方法。这些方法包括例如，基于规则的分析、标号解析过程、序列分析、状态变化分析，例如隐马尔可夫模型(HMM)。本系统能够高准确度地识别多动物行为。通过利用视场间分割算法进行立体视场中的连接物体分割，解决了遮挡问题(在摄像机视场中某些东西阻挡动物的情况)。系统也利用立体视场整合过程和动物尺寸标准化过程来提高动物行为识别的可靠性。本发明的系统能够识别自动行为和社会行为。识别的社会行为包括统治/服从行为、挑衅/逃跑行为、母性行为和性交行为。该系统对于群居环境中的识别自动/社交行为尤其有用，其中，遮挡问题可能会妨碍其它系统的准确的行为识别。立体视场技术能够解决遮挡问题并提高结果的可靠性。


图1是优选的立体视场多动物多场所行为分析系统的示意图；图2是优选的立体视场多动物行为分析系统的示意性框图；图3是本发明的优选的行为分析模块的高阶流程图；图4(a)_(c)是与优选的视场间对应过程相关的多视角的参考线和点的示意图；图5(a)_(b)是与优选的视场间对应过程相关的俯视和侧视物体的示意图；图6(a)_(c)是与优选的动物分割过程相关的多动物的多视场的示意图；图7(a)_(c)是优选的动物分割过程的示意图；图8是优选的动物分隔过程的框图；图9(a)_(c)是示出优选的尺寸标准化过程的示意图；图10是本发明的优选的序列分析模块的高阶流程图；图11是配置用于统治/服从行为分析的优选的立体视场多动物场所的示意图；图12是配置用于性交行为分析的优选的立体视场多动物场所的示意图；图13(a)是具有优选的顶部开放笼盖的立体视场多动物场所的示意图；图13(b)_(d)是等角视图、侧视图和俯视图中顶部建模的示意图。
具体实施例方式总体来说，本发明识别被实时监控或来自记录的两种或两种以上生物体的行为。 优选的实施例包括具有多个连接至计算机的摄像机系统。特别地，计算机包括一个或多个程序，这些程序可以识别生物体、追踪它们的活动、区分生物体的不同形状的部位，以及识别这些生物体的一种或多种行为。所述计算机可以是，例如，使用Windows操作平台或Unix 操作平台的个人电脑，也可以是Macintosh计算机及兼容的操作平台。计算机安装和配置了定制软件程序(或者安装有固件)，例如，MATLAB或C/C++程序语言，以分析用于动物识别和分割、追踪、和/或行为/活动特征的数字化视频。软件或固件可以被存储在例如程序存储器中，这个存储器可以包括ROM、RAM、CD ROM和/或硬盘等。在本发明的一个变化中，软件(或固件)包括特有的比以前熟知方法更简单、更有效、更准确的背景消去(background subtraction)。在特定的实施例中，摄像机是视频摄像机，并且程序包括用于分析捕捉到的视频图像的多种算法。特别地，视频图像被数字化，根据从选定的视频帧中获得的信息，识别生物体的行为。优选地，系统可以通过访问预设行为的数据库来执行其行为识别。分析可以通过多个摄像机和/或通过记录的图像实时进行。依据单一视图的生物体的部分的检测和识别(这里指分割)，通常受遮挡 (occlusion)的阻碍，包括以下情况，如一个生物体，例如小鼠，在其中一个视场中完全或部分地被另一只小鼠阻挡，或是这只小鼠躲藏在一个物体(例如喷水口或食物源)后面。所说的实施例包括解决这种遮挡问题的算法，包括视场间对比及约束算法、以及帧间动物匹
配算法。这个系统可配备有多个记录设备，例如数字或模拟摄像机，这些设备从不同视角记录生物体，如俯视和侧视。但是可以使用任意数量的记录设备，以确保在至少一个视场中多个生物体没有被遮挡。优选地，摄像机同时记录在选定的场所内的生物体的图像。优选地，记录设备包括可之后用于随后同步两个视场的时间戳机构。所述场所可以是封闭场所，例如家居笼、集体房、通道、磨坊、水族馆、或其它实验性检验设备。所述场所也可以是开放性区域、特定类型的户外环境或富集的环境等等。在图像被记录以后，如果需要，每个视场中的图像都会被逐帧数字化。在一个实施例中，生物体在每个视场中每帧中识别。为实现这个目的，可采用背景消去算法。识别出的生物体用于匹配于特定的生物体。在匹配过程中，能够基于先前分析的帧以及通过交叉匹配不同视场中收集的生物体的图像识别生物体。为了辅助这个过程，建立视场间对应关系，例如，一个视场中的特定生物体和另一个视场中该生物体可能的位置区域之间的对应关系。通过校准，对应关系可以建立在多个视场之间。通过运用视场间对应关系，一个视场中的点可以被映射到另一视场中的点或线，反之依然。通过视场间对应关系的使用，一个视场中识别的生物体可以匹配于其它视场中识别的动物。如果视场之间存在差异，可以使用概率或确定性方法来解决这些差异。在所有被监控的生物体得到识别后，系统优选地执行立体视场整合分析。该系统从俯视图和侧视图(或如果可能，其它视图)提取信息，并且运用这些信息来帮助识别行为。优选地，该过程运用信息融合技术，即利用各视图的信息，来辅助生物体的行为识别。在图1阐示的立体视场多动物多场所行为分析系统中，场所100 (a)和场所100 (b) 分别包括多个生物体，优选地为动物，例如小鼠或大鼠或两者都有。优选地，每个场所中的动物由多个摄像机监控。在图1的结构中，每个场所有两个摄像机，一个摄像机(即104(a) 和104(b))提供俯视图的场所100(a)和场所100(b)的图像，另一个摄像机(即102(a)和 102(b))提供侧视图的场所100(a)和场所100(b)的图像。优选地，系统还包括用于每个场所的非可视监控设备106(a)和106(b)，例如麦克风，其以动物发声的音频记录的形式提供关于动物的非可视信息；或生物物理传感器，其能够测量动物的心跳速率等。此外，可以使用刺激设备107(a)和107(b)，其能够提供多种刺激给动物，例如可以提供音调刺激的扬声器、可以提供电击刺激的电极、可以提供光刺激的电灯泡，等等。此外，在优选的实施例中， 刺激设备107(a)和107(b)也可以基于被监控动物的行为而被触发。这些行为包括，例如动物按压杠杆、动物位于特定的虚拟区域，等等。上述系统能够在视频多路复用器109的监控器上同时监控许多场所100(a)和100(b)。当该系统被配置来记录场所100的俯视图像时，如果俯视摄像机104可以获得场所100的不受阻碍的视场，那将对分析大有帮助。一般来说，动物可以度过较长时间的家居笼或其它类型的场所包括能提供食物和水给动物的某些设备。通常来说，为了达到这个目的，家居笼包括金属网格或金属丝网状的插入物，这个插入物被安置在笼子的顶部并且延伸到笼子内部，其中带喷口的水箱和食物丸放置在网筐中。动物可以用它们的嘴或四肢透过栏杆或丝网面够到食物或水。通常动物们也抓住栏杆或丝网来攀爬，悬挂等。通常的插入物交叉安置在笼子或场所的整个顶部，使食物箱和水瓶放置在中间。插入物的结构阻碍了从场所上方的俯视。在特定的实施例中，系统包括具有盖子1303的顶部开放型的插入物1301，如图 13a-d。这个顶部开放的插入物具有两个网筐1305。这两个网筐被附接到接近场所顶面周长的框架1309。两个网筐1305安置在场所1307的相对两端处，并且具有锥型外轮廓(顶部宽并且底部窄以不阻挡场所1307的俯视)。并且，两个网筐没有接触到场所的底板，但是足够接近底板，以使动物能用它们的爪子和嘴接触到网筐里面。食物和水被放置在网筐中，并且由于栏杆或丝网之间的空隙更使得这些食物和水易于被动物获得。在优选的实施例中，插入物1301还包括水瓶槽1313用来固定瓶子或喷口。
利用盖子1303盖住两个网筐之间的开口，以防止动物跳出场所1307。在一个实施例中，盖子1303盖住场所的整个顶面，并且是透明的。在优选的实施例中，盖子1303构造用以仅盖住网筐1305之间的开口，这样就允许场所内更好的空气循环还能防止动物逃跑。 优选地，系统既包括透明的封盖网筐1305之间的开口的顶部，又包括封盖场所的整个顶面的盖子1303。这种方法既可以防止动物跳进网筐1305，又可以防止动物破坏俯视摄像机。在优选的实施例中，俯视摄像机1311附接至盖子1303。摄像机1311被校准来捕获整个场所的图像。网筐1305的锥形侧面不阻挡场所的整个底板的俯视。在优选的实施例中，如图13所示，侧面摄像机1315设置以允许获得两个网筐1305 的全角度视图以及清晰无障碍的动物进食或饮水的视图。本系统其中一个优点在于其能够同时处理多个摄像机拍摄的多个场所的图像。它帮助系统用户节省了大量时间。在另一个优选的实施例中，有两个以上的场所里的动物被进行分析。例如，在计算机的计算能力和图像处理能力允许范围内，可以设置很多不同的场所，例如4个或16个或更多。这些场所可是物理上独立的场所，或者是由计算机程序分割的单一物理场所的虚拟区域。多个摄像机通过不同视角(例如从场所侧面以及从场所的顶部)监控和/或记录每一个场所中的一个或多个动物。优选的场所的例子包括家居笼、开场、操作笼、迷宫或其它实验性平台。这些不同类型的场所可以包括食物供应器108和液体供应器110、带有或不带有垫料、以及包括不同的刺激设备，如灯、扬声器、电击器、药物释放设备等。这些不同的场所也可以包括装饰的环境设备，如跑轮、隧道、圆盘等。在优选的实施例中，可在多种类型的灯光条件下捕捉图像，包括可见光、彩光、钠光以及红外光。如图1所示实施例，视频多路复用器109优选地接收来自场所100(a)的两个摄像机和场所100(b)的两个摄像机的视频信号。视频多路复用器109将这些图像结合为单独的视频帧。然后这些视频信号被传输到计算机111。所述传输过程可以通过有线或无线连接来实现。图2是目前立体视场多动物行为分析程序200的软件模块的功能结构图。该系统大体上分为两块管理任务块210和分析任务块212。管理任务块210包括通常在进行实验或一系列实验之前执行的任务，以及在完成实验或一系列实验之后执行的任务。分析任务块212包括通常在实验的实施过程中执行的任务。管理任务块210优选地包括设计模块215和复查与处理模块214。用户起初通过用户界面，运用设计模块215，创建他或她希望实施实验的实验方案216。设计模块215优选地允许用户选择场所，以及校准选定场所的大小，定义任何虚拟区域。虚拟区域是指特定地带或感兴趣区域。这些虚拟区域可以是场所的物理上独立的区域。特别地，虚拟区域可以不是用任何物理隔断把其与所述环境中的其它部分分隔开，而是通过设计模块软件来创建，并用来帮助识别动物行为。设计模块215本质上把实验设计计划转换成系统可理解的格式。在设计模块215中，用户可以优选地限定行为识别参数。例如，对于基于规则的行为识别，设计模块215允许用户指定用来确定行为识别的空间关系与规则参数。特别地，设计模块215允许用户设置开始/停止规则、硬件控制规则、信号输出规则等等。这些规则指定，例如，实验或实验的特定阶段何时开始/停止、摄像机102 (a)和102(b)以及104(a)和104(b)何时被触发或停止、收集的视频和其它数据何时开始处理、收集的数据和数据分析的结果储存在哪里。优选地，在设计模块215中，用户可以指定用于一系列同时或连续运行的实验的参数。用户可以指定什么动物参与什么样的实验或一系列实验、实验的长度和顺序等。在设计模块215中，用户也可以优选地限定用于刺激设备107(a)和107(b)的操作方案。在设计模块215中，用户指定什么事件引起刺激设备107(a)和107(b)的触发。 例如，这些设备107(a)和107(b)可以由用户在预设的特定时间触发。这些设备107(a)和 107(b)也可以感应于场所内的动物的特定行为而被触发，例如推动杠杆或进入特定虚拟区域。这些设备107(a)和107(b)也可以依据动物的特定的物理条件(例如，特定的脉搏水平、体温等)来触发，而这些条件通过非可视监控设备106(a)和106(b)监测。在用户运行设计模块215后，该模块215生成方案216，所述方案216描述实验或一系列实验的所有的用户定义的细节。优选地，方案216储存在方案数据库217中。同样， 优选地，方案216存储在现象型数据库220中作为参考应用在实验结果分析及复查中。替代地，现象型数据库220至少部分地连接于方案数据库217。分析任务块212优选地包括执行模块218。执行模块218包括输入方案216的输入端，并输出控制信号234到系统硬件(例如摄像机102、104、生物传感器106、刺激设备 107等)的输出端。在优选的实施例中，执行模块218通常在用户放置动物到合适的场所后开始实验，通过开启多个传感器(摄像机102、104、生物传感器106等)以及启动用于收集视频和传感器数据的任何软件任务(例如，开始视频记录、传感器数据收集、以及对收集的数据的分析)。视频记录模块202、生物信号抽样模块205、行为分析模块203和同步模块206优选地包括在分析任务块212中。在实验运行过程中，优选地，生物信号抽样模块205接收来自生物传感器106的传感器信号232作为输入。生物信号抽样模块205同时也能接收来自同步模块206的输入信号。信号抽样模块205利用同步时间戳来戳记传感器信号，并输出产生的生物信号数据 236。生物信号数据236存储在现象型数据库220中用于进一步复查和处理。优选地，同时，视频记录模块202接收来自视频摄像机102、104的视频信号230。 视频记录模块202也接收来自同步模块206的同步输入，并利用同步时间戳，戳记视频信号 230，并输出将被存储在现象型数据库220中的产生的视频数据238。视频记录模块202也优选地传递视频信号到行为分析模块203上。优选地，行为分析模块也接收设备输入240作为输入，并与同步模块206和协议模块216进行通信，以使得行为分析模块203能够分析接收到的视频数据230以识别由方案216限定的关于刺激设备107的作用状态的行为。行为分析模块203输出其分析结果作为行为数据204。同步行为数据204、视频数据238以及生物信号数据236优选地输入到现象型数据库220 (其存储所述结果)中。现象型数据库220优选地为Oracle或Microsoft Access数据库，并且能够包括与存储所有方案216文件的方案数据库217中的表格关联的表格。现象型数据库220优选地收集来自行为分析模块203的分析结果。这些结果直接涉及存储在方案数据库217中的实验方案216。
管理任务块210优选地包括复查与处理模块214。复查与处理模块214允许用户收集实验结果、整理结果、进行各种统计计算，并且比较实验组中的结果、以及与其它相关数据的比较。优选地，复查与处理模块214能够检索在先前实验中收集的并存储在现象型数据库220和方案数据库217中的数据。在复查过程中，复查与处理模块214允许用户回放整个视频或部分视频，包括对应特定识别的行为的部分视频。优选地，复查与处理模块214 允许用户指定行为，并且复查与处理模块214会显示对应的部分视频。优选地，复查与处理模块214使用户能够修改方案216，并且利用在先前分析的视频输入上修改的方案216来运行行为分析模块203。因此，用户获得对于同一实验的两组或两组以上的数据分析结果，而这种不同结果的产生是因为用于行为数据识别的方案的改变。优选地，复查与处理模块214的输出能够直接输出到多种第三方软件，例如 Microsoft Excel、SPSS 等。多组数据结果也可一并输出到单个文件作为电子数据表。例如，在实验期间，如果用户用动物实施多种试验，并且把动物主要分成两组一组A和组B。用户希望能将组A中所有动物的实验结果输出到单个电子数据表中，而将组B中所有动物的实验结果输出到另一电子数据表中。这进一步允许用户确定这两组的每组中的多个测量值或行为结果的平均值和标准差，以使它们能够相互比较或与其它相关数据进行比较。图3是行为分析模块203的优选的流程图。如以上陈述的，行为分析模块203接收来自视频记录模块202的视频图像。在一个实施例中，视频记录模块202可以容置在视频多路复用器109中。在优选的实施例中，视频记录模块202由计算机系统111实施。优选地，视频记录模块202可包括数字化/压缩单元。数字化/压缩单元可将模拟视频和音频转换成数字视频格式，例如MPEG或者AVI。此外，优选地，视频记录模块202匹配来自每个摄像机的帧图像，以使来自例如顶部摄像机104的帧可显示在视频监控器109右侧，来自侧面摄像机102的帧可显示在左侧。替代地，行为分析模块可以执行数字化/压缩以及帧格式化和同步。在优选的实施例中，系统接收来自实时视频摄像机的输入视频图像或者来自视频记录/回放单元的预先记录的输入视频图像。如果视频是模拟格式，那么信息从模拟格式转换成数字格式，并且可由视频数字化/压缩单元压缩。数字视频图像随后提供给行为分析模块203，并且储存在计算机上，在该计算机上执行多个进程以从图像分割预定的动物及其身体部分并识别动物的行为。同时，数字视频图像与来自同步控制模块206的数据同步并索引，以使得每个图像都可以在随后过程中自由搜索(search)并检索(retrieve)。视频图像230可以是来自系统的摄像机102、104中的一个的图像，或者是来自一个场所中的记录活动的两个或多个摄像机的各自的图像结合所得的图像，或者是来自记录不同场所中的实验的摄像机的结合图像。参照图3，在优选的实施例中，行为分析模块203接收视频帧250，并且该视频帧 250包括所述帧左侧的场所的俯视图像，如俯视图254，和所述帧右侧的场所的侧视图像， 如侧视图252。每一个数字图像被处理来从输入视频的帧中识别和分割所需(预定)动物。 这个过程可以通过运用背景消去、混合模型、稳健估计和/或其它过程来完成。在优选的实施例中，行为分析模块203同时在俯视图像2M和侧视图像252上运用背景消去256。优选的背景消去详细描述在Liang等人的美国专利No. 6，678，413中，其全文内容以引用的方式合并于此。替代地，俯视图像邪4和侧视图像252可以分别使用背景消去。在其它实施例中，背景消去同时运用到每个视角的多张图像上。这些图像可以是同一场所或不同场所的不同的观看图像。背景消去256得到前景物体的隔离。俯视图像254中隔离的前景物体称作俯视物体258。侧视图像252中隔离的前景物体称作侧视物体沈0。接着，系统将识别的物体与单个动物相匹配。在一个实施例中，最初对俯视物体进行帧间匹配过程沈1。帧间匹配过程根据动物数据263将动物ID(识别码)分配给识别的俯视物体258。动物数据263是关于场所中监控的动物的一组数据。所述数据包括固有的动物信息沈4，该动物信息不是基于实验的，而是在实验开始之前就获得的信息，例如动物的颜色、 贯穿动物身体的颜色分布、动物体型大小、关于动物表现型的细节、动物的任何特定识别标志。这些数据还包括环境动物信息沈5，该动物信息是在实验过程中产生的，例如，在一帧或多帧中的动物的位置、在一帧或多帧中的关于动物的身体部分的位置的信息、在一帧或多帧中的动物的定向。动物数据263中的某些部分，例如颜色，对于动物ID是永久性的。所述数据的某些部分，例如动物的位置，是通过分析过程进行更新的。优选地，动物数据263 部分地通过闭合回路反馈过程来获得的。当系统产生信息的同时，环境动物信息265也被更新，而固有的动物信息264从计算机系统111输入，优选地从方案数据库217输入。优选地，在俯视物体258被识别为俯视动物262后，动物识别过程被实施在侧视物体260上。在优选的实施例中，系统200在侧视物体260上执行与俯视动物沈2的视场间匹配沈6，基于在俯视物体258上执行的帧间匹配的结果为侧视物体260分配动物ID。 在另一个实施例中，侧视物体通过实施在侧视物体260上的帧间匹配过程匹配单独的动物ID。在另一个实施例中，系统200最初进行帧间匹配过程沈1，然后进行视场间匹配过程266来确认或反驳帧间匹配过程的结果。在另一个实施例中，最初做出尝试，以通过帧间匹配过程261识别侧视物体沈0， 就像上述讨论的关于俯视动物的识别。当侧视物体260不能仅通过帧间匹配过程261而被可靠地识别时，视场间匹配过程266应用于这些物体。优选地，在设计模块215中，用户针对第二视场动物识别选择要使用的过程(视场间和/或帧间)。视场间匹配过程266运用来自同一场所的不同视图的图像的信息来识别一个视图中的动物。例如，在优选的实施例中，视场间匹配过程运用从俯视图像邪4和侧视图像 252获得的信息来识别在侧视图像中的动物。为了执行视场间匹配，程序根据场所的几何结构建立视场间对应关系，S卩，对于一个视图中的每一点，所述程序会识别其在另一视图中的出现地带。对于在第一观看图像中识别的物体，该物体的出现地带在第二视图中是一区域，其包括同一物体能出现在的所有可能的位置。在优选的实施例中，第一视图是俯视图，并且第二视图是侧视图。程序通过视场间对应过程来计算识别的俯视图像的出现地带。参照图4(a)_(c)，程序首先在俯视图像中的边界abed限定的表示俯视图中场所的顶面的矩形(见图4(a))与侧视图中的表示侧视图中场所的顶面的不规则四边形abed(见图4(c))之间建立投影对应映射。换句话说，对于场所的顶面的俯视图像中的每一点，程序识别在场所顶面的侧视图像中代表它的单独的对应点。程序也在俯视图中表示俯视图中场所的底板的矩形efgh (见图4(a))和侧视图中表示侧视图中场所的底板的梯形efgh(见图4(c))之间建立对应映射。图4b示出场所等角视图。为了产生单独点P的出现地带，在优选的实施例中，程序首先确定俯视图像中点P 的位置，如图4(a)所示。仅仅基于俯视图像(基于该有限的信息)，我们不能推断点P与场所底板之间的距离，点P可以位于底板上、顶棚上或之间的任何位置。基于俯视图像中点 P的位置和先前创建的对应映射，程序计算场所的侧视图像中的对应点P’和P”。如果我们假设点P位于场所的顶面，那么点P’代表点P在侧视图像中的位置。如果我们假设点P位于场所的底板，那么点P”代表点P在侧视图像中的位置。由于我们不知道点P和场所底板之间的距离，因此由点P’和P”限定的直线段代表了俯视图像中点P在侧视图像中的所有可能的出现位置。换句话说，在知道俯视图中的点P的位置后，我们可利用视场间对应过程来识别该点P在侧视图像中的所有可能的位置作为线段P’P”。为了更进一步阐述，如果我们从摄像机104的视角来看线段P’ P”，那么这个线段会汇聚成点P。线段P’ P”形成俯视图点P的侧视出现地带。为了阐述生成俯视物体的出现地带的过程，我们可以参考图5(a)和5(b)。对于俯视物体A(图5(a))的每一点P，程序生成对应的侧视点P，和P”。点P，和P”分别是点P 在场所底板和场所顶面处的侧视图像。直线段P’ P”形成点P在侧视图中的出现地带。在对形成物体A的所有点重复同样的过程后，代表物体A的每一点的单独的线段联合形成梯形K咖’，其包括侧视图像中俯视物体A的出现地带。视场间匹配过程266优选地的第一步是应用俯视图识别出动物来建立其侧视出现地带。当侧视物体260是分开的，即在侧视图像252中动物彼此之间互不阻挡，俯视动物识别262用于视场间匹配过程沈6，以产生俯视物体258和侧视物体260之间的对应关系。 换句话说，基于这些动物的侧视出现地带，系统找到俯视动物的位置和侧视图中的这些动物的可能的位置之间的对应关系。如果动物的出现地带不重叠，并且在每个地带仅有一个侧视物体，那么这个侧视物体识别为具有与对应的俯视动物相同的动物ID。如果侧视动物彼此阻挡，那么程序利用分割过程来识别考虑中的侧视物体。当在侧视图中一个动物阻挡了另一个动物，那么识别后的侧视物体为代表两只动物的连接的侧视图像。在这种情况下， 程序在这些物体上执行连接的物体分割过程。最初，程序识别所有先前识别的俯视动物的出现地带。对于连接的侧视物体，连接的物体的至少一部分将处于多于一个的出现地带中。如图6所示，俯视动物A和B (图6 (a)) 在侧视图(图6(b))中表示为对应的出现地带这些出现地带重叠并且连接的侧视图像A’ B’位于这些地带的组合中。在优选的实施例中，连接的物体分割是通过应用分割算法实施，如图7(a)_(b)所示。首先，在连接的物体A’ B’被识别后，程序识别一组侧视出现地带C，其中对于组C中每个出现地带，连接的物体A’ B’的至少一个像素位于该地带中。其次，对于连接的侧视物体A’ B’中的每个像素，程序确定该像素属于多少个出现地带。如果该像素仅属于一个出现地带，那么程序用对应的动物ID标记该像素。参照图 7 (a)，在这个阶段，仅落在Az。ne中的像素701被标记A ；仅落在Bz。ne中的像素703被标记B。 落在多于一个地带中的像素705被标记M。落在任何出现地带之外的像素707被标记U。第三步，优选地，系统识别对应于出现地带组C的俯视动物组Ct。p。根据俯视图像 6 (a)，程序确定哪只动物位置最接近侧视摄像机，作为前面动物。第四步，所有标记M的像素被指定与前面动物对应的动物ID。对于标记U的像素， 程序找到具有至少一个具有动物ID的邻近像素的像素。此U像素被指定与其邻近像素相同的动物ID。重复这个步骤直到所有标记U的像素被指定动物ID。在另一个实施例中，作为第四步，程序应用区域扩大算法到最初分割的物体。首先，程序找到标有“M”或“U”并具有至少一个具有标识的动物ID的邻近像素的像素709和 711。在对于该像素的带有动物ID的邻近像素组被识别以后，程序复查这些动物ID是否来自同一个动物。如果所有带有动物ID的邻近像素具有相同的ID，那么“M”或“U”像素709 或711被指定与其邻近像素相同的动物ID以及临时标志。如果像素713具有多于一个带有指定的动物ID (边界像素)的邻近像素709和711，并且这些ID并不相同(见图7c中示出的像素713)，那么程序利用先前了解的动物数据(例如对应于考虑的ID的动物的颜色分布等)在可能的动物ID之间选择。该像素713接收永久的动物ID。这时候对于像边界像素这样具有相同的临时动物ID的所有像素，程序改变它们的ID状态，从临时到永久715(见图8)。对于具有不同于边界像素的713动物ID的临时动物ID的所有像素，它们的标记变回M(像素717，图8)。重复这个步骤直到在连接的物体中所有像素被指定永久动物ID。在另一个实施例中，在分割算法的第四步，对于每个标有M和U的像素，程序根据先前已知的动物数据(例如对应于考虑的ID的动物的颜色分布、动物的先前已知的位置等)，从俯视动物组Ct。p中指定给该像素动物ID。当连接的物体代表两个以上的动物时也可使用分割算法。当俯视物体连接时，动物的侧视识别可被用于执行俯视连接的物体分割。通常，在系统利用两种以上的视角或不同的摄像机定向的情况中，那么通过一个视图的动物识别可被用于增强在另一视图中的连接物体分割。回到图3，在所有俯视物体258和侧视物体260被识别为俯视动物262和侧视动物 268以后，程序对识别后的动物进行分析。俯视动物262通过俯视分析模块267进行分析， 而侧视动物268通过侧视分析模块269进行分析。模块267和269监测这些关于分析的动物的信息，例如动物的位置、定向、动物身体部分的位置、动物的身体部分关于其它动物和非生物体的位置。在优选的实施例中，俯视分析结果和测试分析结果传送到立体视场整合分析模块 270。这个模块执行从所有可用视图获得的信息的整合。一般来说，在立体视场分析中，从一个视图中获得的动物分析数据被用于确认并完善从其它视图中获得的动物分析数据。在优选的实施例中，程序应用立体分析过程在所有识别的行为上，这些行为包括社交行为，例如高兴玩耍、统治/服从行为、挑衅/逃跑行为、交配行为、以及母性行为、以及自动行为。例如，通过俯视图，系统识别出两个动物彼此密切接触，其中第一只动物的鼻子非常接近第二只动物的头。当该信息与从对应的侧视动物的分析中获得的信息结合在一起，即其中第一只动物的鼻子正在触碰第二只动物的头时，系统能够以极高可信度得出结论，即存在嗅头行为。在另一个例子中，依据俯视图像，程序识别出一只动物非常接近水喷口。然后，程序整合关于这只动物的侧视分析的分析结果。如果侧视图像分析显示这只动物的嘴抬高到与水喷口同等高度，那么程序确认最初分析结果为饮水行为。如果动物的头高于或低于水喷口，那么程序就推翻了早前的饮水行为的确定。相同地，如果动物的侧视图像分析显示动物的头非常接近水喷口，并且抬高到与水喷口同等高度，这样立体视场分析可证明或反驳饮水行为的结论。如果程序在俯视分析中识别出动物的嘴接触水喷口，那么根据侧视分析的饮水行为得到证实。如果在俯视分析中程序识别动物的嘴在水喷口的右或左侧(即在侧视图中，动物在水喷口的后面或者前面，并且仅是面对与水喷口相同的方向)，那么程序就推翻饮水行为确定。一般说来，立体视频分析模块的目的是通过对照一个视图与另一个视图的信息来创建协同效应，以更好地参照其它动物和非生物体来识别每个动物及其身体部分的位置， 使得能够获得更准确的动物的行为分析。动物尺寸标准化在优选的实施例中，作为立体视场整合分析的一部分，程序应用动物尺寸标准化过程于俯视和侧视动物上。在先前的系统中，仅执行侧视分析，投影效果非常影响图像的分析。当一动物接近摄像机时，其图像明显比当同一只动物位于场所的远端处所得到的图像要大。这种现象称作投射效应。由于侧视/正视摄像机通常靠近实验设备，投射效应在该视图中很明显。当动物接近摄像机以及当动物处于安置场所的远端处时，动物外观尺寸的差异，可能在侧视行为分析基于尺寸相关特征执行时产生问题。在优选的实施例中，为了解决这个问题，本发明的程序利用尺寸标准化过程。在早期系统中，其中仅侧视/正视信息可用，利用动物站立点来执行尺寸标准化， 这些站立点是动物身体的较低边界。但是，当动物卧在安置设备(通常是箱子)的底板时， 这个方法并不那么可靠。此外，使用动物站立点的尺寸标准化对噪声、阴影和多种环境因素很敏感。本发明中的系统对于尺寸标准化使用俯视分析的结果。在优选的实施例中，最初程序施行校准过程，其包括确定场所903的前壁901 (最接近侧视摄像机)与场所的后壁905之间的距离。该程序也能确定在侧视图像中场所903 的前壁901的高度H至侧视图像中的场所903的后壁905的高度h的比率。根据这些测量值，程序计算出用于调整动物的侧视图像的大小的调整系数。为了标准化侧视图像中动物 907的尺寸，系统分析同一只动物907的俯视图像(图9c)，确定场所903的深度D以及动物中心909与场所后壁905之间的距离d，即，程序确定在安置设备中动物位置的深度。由于从校准数据中可知侧视图中后壁高度h和前壁高度H之间的关系，程序根据场所中动物 907的深度d以及在校准过程中计算的调整系数来计算调整因子。在进一步的侧视图像分析中，程序通过乘以动物调整因子来调整侧视图像中动物907的线性参数。程序通过乘以调整因子的平方来调整侧视图像分析中动物907的面积尺寸参数。当动物907改变它的位置时，程序重新计算调整因子。替代地，程序可以配置为计算每帧的调整因子或在预定时间段内计算调整因子。回到图3，在优选的实施例中，在立体视场整合分析270完成后，程序执行当前帧空间关系识别272。在当前帧空间关系识别模块272中，程序确定场所中的动物之间、动物的身体部分与其它动物之间、不同动物的身体部分之间、同一动物的身体部分之间、动物或一组动物与非生物体之间、以及动物的身体部分与非生物体之间等的空间关系中的至少一个。模块272确定场所中被分析动物作为整体的、和/或动物的身体部分，例如头、嘴、尾巴、 前肢、后肢、上背、下背和腹部的空间关系。程序确定动物和它们身体部分相对于场所、其它动物、场所中非生物体、场所中的虚拟地带的空间关系，以及动物的身体部分的内部关系 (即同一只动物的身体部分如何空间地关联于同一只动物的其它身体部分，例如，将动物的嘴接触该动物自身下背识别为理毛行为)。程序依据由程序模块272获得的当前帧空间关系信息来执行序列分析274。序列分析模块274逐帧地跟踪所需动物的形状和位置，并识别该动物的形状、位置、定向、身体部分、和/或姿势的变化。然后，该程序利用该信息来识别大量预定义行为中的一种，包括多只动物之间的自动行为和社交行为。可以利用以下方法来识别行为，例如基于规则的分析、标号解析(token parsing)、和/或序列分析或状态变化分析如隐藏式马可夫模型(Hidden Markov Modeling) (HMM)。此外，程序可构建为将动物的行为识别为新的行为并具有特定的时间节
律或日夜节律。在一个实施例中，前景动物的形状分类为储存在数据库中的多种预定姿势。那么， 姿势组和身体部分活动及互动信息连结成一组，并与储存在例如存储器中的数据库中的组成已知正常或非正常的动物行为的姿势序列相比较，来确定最匹配的行为。依据已知的非正常行为、新行为和/或日节律来识别非正常行为。在优选的实施例中，程序使用基于规则的分析来执行数据的序列分析274。在基于规则的分析中，每个行为都可以建模为必须满足的规则组。所述规则用关于动物的任意可用数据来制定，其中包括当前帧空间关系，例如有或无关于其它物体或动物的特定身体部分的位置和形状、整个动物身体或单个身体部分的运动特征等等。所述规则包括识别特定空间关系，并确定该空间关系是否保持特定时间段或者在特定方向上以特定速率变化。所述规则由系统预先限定。在优选的实施例中，用户针对单个实验或一系列实验定制规则。在另一个实施例中，程序使用标号解析来执行序列分析。在标号解析过程中，每个标号具有对应的预定的一组条件。系统针对视频帧产生标号。在一个实施例中，系统针对每一帧产生一标号。在另一个实施例中，系统以预定的时间间隔针对所述帧产生标号。在另一个实施例中，时间间隔从实验的一部分至另一部分可变。在另一个实施例中，所述间隔可基于识别的行为而变化。当针对所述帧确定的当前帧空间关系满足为标号指定的预定条件时，产生特定标号。标号产生后，它们被传递到接受标号组的标号解析器，并且当观测到特定模式的标号时，特定行为被检测到。在另一个实施例中，为了执行序列分析274，程序使用概率模型法。在这个方法中， 模型是基于从一个特征状态到另一个特征状态的过渡利用训练样本建立的。这些模型随后可用于基于输入的特征标签序列来识别行为。该模型针对适当复杂的行为特征，能够提供有效的附加的准确度至时间关系。在另一优选实施例中，程序利用不同分析方法的组合来执行序列分析274。本发明的系统用于在多动物环境中识别大量行为，例如自动和社交行为、挑衅/ 逃跑行为、统治/服从行为、母性行为、性交行为等等。在优选的实施例中，序列分析274 由行为模块组来执行，例如自动行为模块1001、社交互动模块1003、挑衅/逃跑行为模块 1005、母性行为模块1007、性交行为模块1009、以及统治/服从行为模块1011 (见图10)。 每个单独的模块配置用以识别对应的预定行为组。在优选的实施例中，程序配置以能够同时运行多个行为模块。由此，系统能够在单一运行过程中识别来自不同行为组(例如自动行为、社交行为、性交行为等)的行为。例如， 两个或多个动物的物体辨认行为和社交互动行为的识别能够在单一实验过程中执行。用户可以在一个实验或一系列实验过程中预先选择运行哪个行为模块。同时执行所选择的模块来获得每个模块的分析结果。这种灵活性强化了系统的处理能力和可用性。下面将描述行为模块以及由这些模块识别的示例行为。自动行为樽块在本发明的优选实施例中，程序包括配置用以识别生物体的自动行为的自动行为模块1001。在优选的实施例中，该模块是序列分析模块274的一部分。该模块接收来自当前帧空间关系识别模块272的数据，并输出其处理结果至行为数据模块204。当存在多只动物而它们没有进行社交互动时，自动行为是动物的独立行为。自动行为的特征是动物缺少与其它动物的联系，就像只有单个动物处于围场中，尽管如此，当存在其它动物时也会发生其中一个动物的这些自动行为。正常的自动行为的例子包括吃、 咀嚼、喝水、睡觉、走路、立起、悬挂、跳跃、嗅探、理毛、着陆、转向、挖掘、觅食、转圈、伸展、抽搐、停歇、苏醒、排尿、反复跳跃等等。所述自动行为可能或不可能受到同一环境中存在的其它动物的影响。这些自动行为的检测提供了额外的研究工具，这提供了关于多动物环境对单个动物行为的影响的信息。大多数自动行为包括关于动物或其身体部分的位置或定向的规则。通过使用本发明的立体视场分析，对于此类行为的识别的准确度被极大提高。正如上面所述的，立体视场分析通过提供关于动物和其身体部分的位置的附加信息组，大大地提高了当前帧空间关系的识别的可靠性。例如，当识别嗅探行为时，在俯视图中，程序可以准确地识别动物朝向物体的定向。但是，俯视图像不能提供关于动物鼻子高度的信息，以及是否鼻子抬高到与物体相同的高度。动物可能非常接近物体，但可能抬起嗅空气或嗅底板。如果仅使用俯视图像，那么在程序的嗅探行为识别中将会不明确。然而，侧视图像提供了额外的信息通过侧视图像，程序能够可靠地识别动物鼻子抬高到什么高度。如果动物的鼻子与物体在同一高度上，那么 “嗅探物体”的行为被识别。如果鼻子在不同高度处，程序会总结出动物在嗅地板或嗅空气。社交互动模块社交互动模块1003识别与其它动物直接发生的社交行为或发生在动物组的成员之间的社交行为。在优选的实施例中，该模块也是序列分析模块274的一部分，并且接收来自当前帧空间关系识别模块272的数据。社交互动模块1003也输出其分析结果到行为数据模块204。社交互动模块1003识别的社交互动事件包括社会认可、社会功能障碍、积极和消极社会接触、靠近、离开、跟随、嗅探其它动物的头、嗅探其它动物的身体中部、嗅其它动物的生殖部位。此外，该模块追踪并记录场所中每只动物质心的运动路径，计算每只动物运动的即时速度和平均速度以及运动距离，计算并记录每只动物的即时的以及累积的身体转角，以及将每只动物的即时位置映射到用户限定的虚拟区域。更复杂的社交行为包括挑衅/逃跑、母性行为、性交行为、统治/服从行为等等。 在本系统的优选的实施例中，这些更复杂的社交行为由单独的专用模块来识别，例如挑衅/ 降服模块1005、母性行为模块1007、性交行为模块1009，这些都包括在系统的序列分析模块274中。作为立体视场整合分析270和当前帧空间关系分析272的一部分，程序确定场所中的动物之间的空间关系、动物的特定身体部分之间的空间关系(例如，第一只动物的鼻子接触的是其它动物的身体的哪个部分？)、同一动物的身体部分之间的空间关系、动物与非生物体之间的空间关系、动物彼此之间的定向等等。该数据为社交行为的识别提供了基石出。在优选的实施例中，程序使用基于规则的分析来识别社交互动行为。下面提供关于一些社交互动行为的规则组的例子。当程序以预定的时间段、定向、距离运行时，应用偏
差阈值。社交接触社交接触行为通过监测任意两只动物间的物理接触来确定。身体距离作为该行为的基础检测测量来使用。接触可以进一步分为消极接触和积极接触。消极接触是指无意识接触、或在延长的时间段里保持稳定的有意识接触。积极接触是两只动物之间持续发生的活动的积极的有意识接触。头的方向和身体接触部分用于消极和积极接触检测。积极社交接触主要的空间关系第一只动物图像边缘与第二只动物图像边缘之间的距离小于预定阈值。基本规则主要的空间关系保持预定时间长度。第一只动物与第二只动物至少在预定时间段的预定部分内直接接触。在这段时间内，动物之间的距离连续变化。消极社交接触主要的空间关系在第一只动物图像边缘和第二只动物图像边缘之间的距离小于预定阈值。基本规则主要的空间关系保持预定时间长度。第一只动物的质心与第二只动物的质心之间的距离保持基本恒定达预定时间。嗅探其它动物及其特定身体部分行为定义:当第一R动物的嘴接触第二R动物的身体时，识别为嗥探行为。稈序识别第二只动物身体的哪个部分被嗅(头、背、生殖部位等)。主要的空间关系第一只动物的鼻子与另一只动物图像边缘之间的距离小于预定阈值。基本规则空间关系保持预定时间长度。
靠近行为定义靠近行为是指第一只动物朝向第二只动物的运动，该行为发生在围绕第二只动物的特定地带内。主要的空间关系第一R动物朝向第二R动物定向。在第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。基板规则:在第一只动物的中心与第二只动物的中心之间的距离保持小于预定阈值。第一只动物朝向第二只动物定向达预定时间。在预定的时间段里，随着第一只动物向第二只动物移动的同时，第一只动物与第二只动物的中心之间的距离减小。离开行为定义 离开行为限定为第一只动物远离第二只动物的运动行为，该行为发生在围绕第二只动物的特定地带内。第一只动物远离第二只动物定向。第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。基本规则第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。第一只动物远离第二只动物定向达预定的时间。在预定的时间段里，随着第一只动物远离第二只动物移动的同时，第一只动物与第二只动物的中心之间的距离增大。跟随行为定义跟随行为是指第一R动物朝向第二R动物移动的行为，而第二R动物同时远离第一只动物移动，该行为发生在围绕第二只动物的特定地带内。主要的空间关系第一只动物朝向第二只动物定向。第二只动物远离第一只动物定向。第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。基本规则第一只动物的中心与第二只动物的中心之间的距离保持小于预定阈值。第一只动物朝向第二只动物定向达预定的时间。在预定的时间内，第二只动物远离第一只动物定向。在同一时间间隔内，第一只动物执行接近行为，而第二只动物执行离开行为。 两只动物之间的相对距离可变动。凝视另只动物行为定义凝视行为限定为在围绕第二 R动物的特定地带内发牛的第一 R动物对第二只动物的静止观察。主要的空间关系第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。第一只动物朝向第二只动物定向。基本规则第一只动物的中心与第二只动物的中心之间的距离小于预定阈值。在预定的时间段内，第一只动物朝向第二只动物定向。在预定的时间段内，第一只动物的中心
保持静止。祧衅/逃跑行为模块在优选的实施例中，程序包括配置用以识别场所中的两只或两只以上的动物的挑衅/逃跑行为的挑衅/逃跑行为分析模块1005。挑衅行为是指朝向另一只动物表露意图伤害另一只动物的动物行为。挑衅行为模式包括暂时地和连续地组织的交流信号、动作和姿势，具有不同的远端、近端以及触发前提和后果，分别用于不同功能。在优选的实施例中，挑衅/逃跑模块1005配置为识别挑衅行为，包括威胁、猛扑、追逐、咬、攻击、攻击性直立、攻击性斜向一边、攻击性理毛、抖尾和打斗；逃跑行为包括躲闪、躲避、后退、逃走、僵直、蜷缩、高度蜷缩、防御性直立、以及防御性斜向一边。在实施例中，该模块1005是序列分析模块274 的一部分，接收来自当前帧空间关系模块272的数据，并将处理结果发送至行为数据模块 204。在优选的实施例中，程序使用基于规则的分析来识别挑衅/逃跑行为。用于一些挑衅/逃跑行为的规则组的例子会在下面提出。当程序以预定的时间段、定向、距离运行时，应用偏差阈值。Mli行为定义威胁是指攻击者用其头快速地猛扑向对手的动作。主要的空间关系攻击者朝向对手定向。对手的质心与攻击者的质心之间的距离小于预定距离。^MM:攻击者的头部至少以预定速度并达第二预定距离地朝向对手移动。攻击者的质心移动不超过第三预定距离。碰行为定义猛扑是指攻击者朝向对手快速移动其前体。猛扑可促使攻击者前体接触对手的身体。攻击者的头部不与对手的身体接触。主要的空间关系对手的质心与攻击者的质心之间的距离小于预定距离。基本规则攻击者的前体至少以预定速度达预定幅度朝向对手移动。追逐行为定义追逐是指攻击者快速跟随对手的动作，同时对手快速逃离攻击者。主要的空间关系攻击者朝向对手定向。对手的质心与攻击者的质心之间的距离
小于第一预定距离。基本规则攻击者至少以预定速度朝向对手移动达第二预定距离。对手以预定速度远离攻击者移动达第三预定距离。攻击者的路径紧密地重复对手的路径。行为定义撕咬是攻击者向对手实施威胁和猛扑，直至用嘴接触于对手的身体。主要的空间关系第一组攻击者朝向对手定向。对手的质心与攻击者的质心之间的距离小于第一预定距离。攻击者的嘴不与对手接触。第二组攻击者的嘴接触对手的身体。基本规则攻击者以预定速度从第一组空间关系移动到第二组空间关系。完全攻击性行为行为定义:完全攻击件行为是指在瞬间晳停期间攻击者展现姿势的行为，该姿势为动物站在仰卧的对手旁边并用其前爪放在对手的腹部。主要的空间关系对手仰躺着。攻击者立起压在对手上方。攻击者的前爪接触对手的腹部。基本规则观察打斗行为。对手仰躺着持续预定时间段。攻击者立起压在对手之上持续预定的时间段。攻击者的前爪接触对手的腹部持续预定的时间段。攻击者大体上保持相同的姿势持续预定的时间段。
攻击件盲立行为定义攻击件盲立是指攻击者摆出两足站立，后背弓起，头和身体朝向并倾斜向对手的姿势，眼睛眯成缝，耳朵张开。攻击者是后直立或部分后直立姿势。攻击者的背部弓起。攻击者朝向对手定向。攻击者的上身轴线斜向对手。攻击者的眼睛部分闭合的。基本规则在预定的时间里，攻击者保持以上说明的空间关系。攻击件侧向一边行为定义攻击性侧向一边是指攻击者保持面对对手的侧面，并且身体处于对手的旁边，转动离开对手，头朝向对手，眼睛眯着，耳朵张开。主要的空间关系攻击者的质心与对手的质心之间的距离小于预定距离。攻击者处于横卧姿势。攻击者的头部朝向对手。攻击者的耳朵张开。攻击者的眼睛部分闭合。基本规则在预定的时间里，攻击者保持以上说明的空间关系。攻击件理毛行为定义 攻击性理毛是指有力的猛扯对手的毛发，通常是指背部或肩部区域的毛发。主要的空间关系攻击者的嘴和前肢与对手的后背或肩部接触。基本规则:攻击者的头部以预定的速度以预定幅度在预定时间里，重复地前后移动。
抖尾行为定义抖尾是指攻击者从一侧到另一侧快谏地摆动尾巴。当固体(例如，笼壁)被击中时会产生咯咯的声音。主要的空间关系攻击者有可能处在任何姿势中。基本规则攻击者的尾巴以预定速度以预定幅度在预定时间里，重复地横向移动。
打斗行为定义打斗是指动物翻滚撕咬、踢和摔跤，它们的身体紧抱在一起。在一些例子中，两只动物都保持直立彼此面对的姿势。它们的前爪可能接触彼此。主要的空间关系攻击者的身体和对手的身体紧密的接触。基本规则至少在预定的时间里，攻击者和对手保持在紧密的接触。在预定的时间里，攻击者和对手以预定速度移动。
躲闪行为定义躲闪是指对手突然把头移动离开攻击者。主要的空间关系对手质心和攻击者质心之间的距离小于预定的距离。基本规则对手的头以预定的速度移离攻击者。在预定的时间里，对手的质心保持大体静止。MS行为定义躲避是指对手突然把前体移动离开攻击者。主要的空间关系对手质心和攻击者质心之间的距离小于预定的距离。基本规则对手的前体以预定的速度移离攻击者。在预定的时间里，对手的质心保持大体静止。
后退行为定义后退是指对手直接以步行的方式离开攻击者。主要的空间关系对手质心和攻击者质心之间的距离小于预定的距离。对手的身体远离攻击者定向。基本规则在预定的时间里，对手的身体远离攻击者定向。对手以预定速度在预定的时间里，远离攻击者移动。对手的路径大体上是直的。逃走行为定义逃走是指对手直接快速离开进攻者。主要的空间关系对手质心和攻击者质心之间的距离小于预定的距离。对手的身体远离攻击者定向。^MM:在预定的时间里，对手远离攻击者定向。对手以预定速度在预定的时间里，远离攻击者移动。对手的路径大体上是直的。僵直行为定义僵直是指对手的身体在预定的时间里保持不动。主要的空间关系对手的整个身体保持不动。基本规则对手在预定的时间里保持不动。 卷缩行为定义 蜷缩是指对手的身体保持接近地面，并且它的背弓起，腿弯曲，保持相对不动，但是可能表现出它的头稍微扫视移动。主要的空间关系对手的身体接沂地面。对手的背弓起。对手的腿弯曲。基本规则:在预定的时间里，对手保持以上说明的空间关系。对手在预定的时间里保持大体不动，除了对手的头以预定幅度和速度从一侧移动到另一侧。高度蜷缩行为定义高度蜷缩是指对手的身体保持接近地面的姿势，并且它的背弓起，前腿伸展，保持相对不动，但是可能表现出它的头稍微扫视移动。主要的空间关系对手的身体接沂地面。对手的背弓起。对手的腿伸展。基本规则:在预定的时间里，对手保持以上说明的空间关系。对手保持基本不动达预定时间，除了对手的头可能以预定幅度以预定速度从一侧移动到另一侧。完全顺从行为定义完全顺从是指对手用后背躺平。主要的空间关系对手用后背躺平。基本规则对手用后背躺平达预定的时间。防御性肓立行为定义防御性直立是指对手两足直立面对攻击者，眼睛张开，耳朵伸展，头部向上，特别当攻击者几乎接近对手时。主要的空间关系攻击者的质心与对手的质心之间的距离小于预定距离。对手处于直立位置。对手朝向攻击者。对手的眼睛张开。对手的耳朵伸展。对手的头部向上定向。^MM:在预定的时间里，对手保持以上说明的空间关系。对手在预定的时间里保持基本不动。
防御件侧向另一边.fiil^X 防御性侧向一边是指对手躺下并斜向攻击者，对手眼睛张开，耳朵伸展，身体转动离开攻击者，更接近攻击者的前爪可能抬起，并没有接触到场所的底板，头部远离攻击者定向，特另是当攻击者几乎接近时。主要的空间关系攻击者的质心与对手的质心之间的距离小于预定的距离。对手水平躺着。对手侧向朝向攻击者定向。对手的眼睛张开。对手的耳朵伸展。对手的头远离攻击方定向。基本规则在预定的时间里，对手保持以上说明的空间关系。对手的身体转动。对手远离攻击者移动。统治/服从行为樽块统治/服从行为模块1011自动确定在场所里的两只或两只以上动物的统治/服从行为。在优选的实施例中，该模块是序列分析模块274的一部分，接收来自当前帧空间关系模块272的数据并且转发结果到行为数据模块204。 参照图11，在优选的实施例中，用来研究统治/服从行为的场所610包括放置在场所610中的通常可接近的奖赏(reward)615。除了识别统治/服从行为，模块1011也可以记录每只动物花在奖赏615上的时间。在整个实验过程中，统治行为的测量直接由每只动物花在奖赏上的时间以及动物之间的距离、以及动物与奖赏之间的距离推出。除了测量动物接触奖赏615的一些参数，统治/服从模块1011还被配置来识别许多在以上挑衅/逃跑行为模块1005描述中罗列的行为。但是，统治/服从行为模块1011 可包括挑衅/逃跑行为模块1005识别的行为列表中不包括的行为。母件行为樽块母性行为模块1007自动确定在场所中母亲和其后代的母性行为。在优选的实施例中，在该模块中，程序通常识别优选地在家居笼环境中，母亲生完后代后是怎样照顾它的后代的。在优选的实施例中，由该模块识别的母性行为包括寻回幼崽、哺乳幼崽、舔舐幼崽并为幼崽理毛、窝内、窝外、分散幼崽、运送幼崽、弓背哺乳幼崽、俯卧哺乳幼崽、以及筑窝等。在优选的实施例中，该模块是序列分析模块274的一部分，接收来自当前帧空间关系模块272的数据并转送结果到行为数据模块204。在早期母性行为实验中，幼崽太小以至于不能移动，并且每只幼崽(或者一窝幼崽)可以被认为是非生物体，则母性行为模块1007可以利用标准的物体识别方法，其中幼崽目前为物体。在优选的实施例中，程序运用基于规则的分析来识别母性行为。关于一些母性行为的规则组的例子会在下面给出。当程序以预定的时间段、定向、距离运行时，应用偏差阈值。寻回后代行为定义寻回后代行为是指母亲用嘴抓住后代并从第一位置向窝里移动后代。主要的空间关系母亲的嘴接触后代，后代远离预定的窝地带达至少预定的距离。基本规则母亲的嘴接触后代汰预定的时间。后代向预定的窝地带移动。舔舐后代并为后代理毛行为定义舔舐后代并为后代理毛是指用嘴舔舐并且为后代理毛的行为。
主要的空间关系母亲的嘴接触后代。基本规则在预定的时间段里，母亲的嘴接触后代。可以有母亲的头的上下来回移动。哺乳后代哺乳行为是指提供奶水给后代，并且通过观察附在母性动物的腹部的后代来检测。主要的空间关系后代的嘴接触母亲的腹部。基本规则在预定的时间段里，后代的嘴接触母亲的腹部。行为定义窝内是指母亲花时间与后代在窝里(当母亲在窝里时，它提供温暖和安慰给后代，而不是将它们暴露在外面。主要的空间关系母性动物的质心处在限定的窝地带内。基本规则在预定的时间段里，母性动物的质心保持在限定的窝地带内。行为定义窝外是指母亲花时间在窝外面。当这个发生时，有后代的窝会清晰可见。主要的空间关系母性动物的整个身体在预定的窝地带外面。基本规则在预定的时间段里，母性动物的整个身体在预定的窝地带之外。分散后代行为定义分散后代是指后代不在预定的窝地带。t要的空间关系至少预定数量的后代位于预定的窝地带之外。基本规则在预定的时间段里，至少预定数量的后代位于预定的窝地带之外。运送后代行为定义运送后代是指母亲用嘴抓住后代并且把后代从第一位置移动到第二位置，其中第二位置在预定窝地带之外。t要的空间关系母亲的嘴接触后代，后代远离预定窝地带至少达预定的距离。基本规则在预定的时间里，母亲的嘴接触后代。后代从第一位置到第二位置移动，其中第一位置和第二位置之间的距离至少大于预定阈值，并且第二位置在预定的窝地带之外。弓背哺乳后代ffl^X 弓背哺乳是指母亲在哺乳后代时，它是弓背躺在地上。主要的空间关系后代的嘴梓触母亲的腹部。母亲在后代的上方。母亲的背是弓起的。基本规则在预定的时间里，后代的嘴接触母亲的腹部，母亲是在后代的卜方，母亲的背是弓起的。俯卧哺乳后代行为定义俯卧哺乳是指母亲在哺乳后代时，它是直背躺在底板上。主要的空间关系后代的嘴梓触母亲的腹部。母亲是在后代的上方。母亲的背是直的。
^MM:在预定的时间里，后代的嘴接触母亲的腹部，母亲是在后代的上方，母亲的背是直的。■行为定义筑窝是指在场所中移动草垫来为后代创造出舒服的区域的行为。主要的空间关系母亲的嘴接触草垫。或者母亲的爪接触草垫。基本规则在预定的时间里，母亲的嘴接触草垫。草垫从它们初始位置移动到窝地带。或者，在预定的时间里，母亲的爪接触草垫。草垫从它们初始位置移动到窝地带。件交行为樽块性交行为模块1009自动确定雄性和雌性在场所中的性交行为。在优选的实施例中，由该模块识别的性交行为包括从后面接近、雄性攀趴在雌性身上、雌性呈弓背姿势、雄性插入及射精等。在优选的实施例中，该模块是序列分析模块274的一部分，接收来自当前帧空间关系模块272的数据和转送结果到行为数据模块204。当系统配置来识别性交行为时，在优选的实施例中，系统获得场所的仰视图作为多个待分析的视图中的一个视图。适合在场所内观察性交行为的示例装置在图12中显示， 其中场所810下面具有镜子815来从底下反射动物的垂直视图到侧面。摄像机805直接安置在前部，并且捕获场所底部的图像。在优选的实施例中，程序运用基于规则的分析来识别性交行为。关于一些性交行为的规则组的例子会在下面给出。当程序以预定的时间、定向、距离运行时，应用偏差阈值。行为定义跳跃是指跳，通常来说，高度比较低，并且通常连续发生的行为。跳跃可直接发生在水平位置。主要的空间关系第一组动物完全接触场所的底板。第二组动物是在空中，而不接触场所的底板。基本规则动物位于第一空间关系达预定的时间段，然后以预定的速度移动到第二空间关系中，然后再回到第一空间关系。动物的身体扭曲并没有改变超过预定量。行为定义飞奔是指快谏侧向移动，通常开始于静Ih阶段到另一个位置，然后保持静止。主要的空间关系动物的任意水平位置。^MM:在预定的时间里，动物保持处于相同的静止位置，并且然后动物侧向地改变其位置至第二个位置，其中动物移动的速度在预定参数范围内。在第二预定时间里，动物在第二位置保持静止。耳朵摆动行为定义耳朵摆动是指连续的耳朵的快速颤动。主要的空间关系动物可处于任意位置或姿势。基本规则动物的质心保持基本静止。动物的耳朵以预定幅度、以预定速度、连续地改变位置并且持续预定的时间段。脊柱前弯
行为定义脊柱前弯是指雌性暗示接受的姿势。姿势展示包括后背凹形地弓起，并且头部和臀部抬起，后足伸展，并且尾巴转向一侧。主要的空间关系雌性的后背凹形地弓起，头部和臀部抬起到相对于后背的预定高度，后足伸展并且尾巴转向一侧到预定程度。基本规则在预定的时间里，雌性保持以上识别的空间关系。追逐行为定义追逐是指一只动物绕着场所移动时，另一只动物高速跟随这只动物。主要的空间关系第一R动物朝向第二R动物。第二只动物远离第一只动物。^MM:在预定时间里，第一只动物朝向第二只动物，并以预定速度向着第二只动物移动达预定时间和预定距离。第二只动物远离第一只动物定向，远离第一只动物以预定速度移动，达预定时间段并且达预定距离，其中第一只动物的路径和第二只动物的路径基本相同。行为定义理毛是指动物用它的头、嘴或肢体来摩擦另外一只动物。丰要的苧间关系第一只动物的头、嘴或肢体接触第二只动物。基本规则在预定时间里，第一只动物的头、嘴或肢体保持接触第二只动物。在预定的时间里，第一只动物以预定幅度和预定速度来回移动它的头或嘴或肢体。嗥牛殖器官部位行为定义嗥牛殖器官部位行为是指第一 R动物的嘴接触第二 R动物的牛殖器官部位。主要的空间关系第一只动物的鼻子与第二只动物生殖器官部位的图像的边缘之间的距离小于预定阈值。基本规则在预定的时间里，第一只动物的鼻子与第二只动物的生殖器官部位的图像的边缘之间的距离小于预定阈值。攀趴行为定义攀趴是指雄性从后面接近雌性，而雌性展示出脊柱前弯的姿势。主要的空间关系第一组雌性呈脊柱前弯的姿势。雄性位于雌性的后面，并朝向雌性生殖器官部位。第二组雌性呈脊柱前弯的姿势。雄性位于雌性之上，并且它的前肢缠绕着雌性的躯干。基本规则在预定的时间里，雌性呈脊柱前弯的姿势。在第二预定时间里，雄性处于第一空间关系。在第三预定时间里，雄性从第一空间关系移动到第二空间关系。单向猛推行为定义猛推(thrust)是指雄性移动它的后面的四分之一朝向雌性以便将它的阴茎插入雌性体内，不管是否实现实际的穿入。猛推行为通常重复发生。主要的空间关系雌件旱.脊柱前弯的姿势。雄性在雌性之上并与雌性朝向同一方向，通常雄性的前肢缠绕着雌性的躯干。基本规则:雌性呈脊柱前弯的姿势达第一预定时间。在预定时间里，雄性在雌性的上方并与雌性朝向同一方向，以及它的前肢缠绕着雌性的躯干。雄性移动它的后面的四分之一以预定幅度和预定速度朝向雌性。MA插入是指雄性移动它的后面的四分之一朝向雌性以便插入它的阴茎到雌性阴道中。丰要的苧间关系雌件旱脊梓前弯的姿势。雄性在雌性的上方并与雌性朝向同一方向，通常雄性的前肢缠绕着雌性的躯干。基本规则雌件旱.脊柱前弯的姿势汰第一预定时间。在预定时间里，雄件在雌件的上方并与雌性朝向同一方向，以及它的前肢缠绕着雌性的躯干。雄性移动它的后面的四分之一朝向雌性。雄性插入它的阴茎到雌性阴道中。MM行为定义射精是指一系列插入的高潮行为。主要的空间关系第一组雌性呈脊柱前弯的姿势。雄性在雌性的上方并与雌性朝向同一方向，以及它的前肢缠绕着雌性的躯干。第二组雄性没有接触到雌性。雄性的嘴接触雄性的阴茎。基本规则在预定的时间里，雄件和雌件动物从第一空间关系变换到第二空间关系。雄性的嘴接触其阴茎达预定时间。雄性的嘴以预定幅度和预定速度移动。动物的一些行为可能在不同行为识别模块解释的不同。例如在社交互动模块1003 中被识别为积极接触的同一行为，在挑衅/逃跑模块1005中被识别成打斗。如果多个模块在运行同一视频片断，那么同一行为可能得到不同模块的多个识别。还有一些行为由多个模块识别。例如，在挑衅/逃跑模块1005中识别的很多行为同时也是在统治/服从模块1011中识别为相同的行为。例子如威胁行为、插入行为、追逐行为等。当两个模块1005和1011用来识别同一视频片段中的行为时，仅仅一个模块识别来自两个行为群中重叠的行为。这里引用的所有公开、专利和专利应用以全部目的将其整体以引用的方式合并于此。尽管本发明的特定实施例已经被展示和描述了，但是可以理解，这并不意图限制本发明为优选的或公开的实施例，对于本领域技术人员来说显而易见的是，在不背离本发明的精神和范围的基础上，可以做出多种变化和调整。因此，本发明倾向包括权利要求所限定的本发明的精神和范围内的所有替代、调整和等价替换。
权利要求
1.一种行为分析系统，包括 场所；至少第一摄像机和第二摄像机，所述第一摄像机设置用以捕获来自第一视场的所述场所的图像，以及所述第二摄像机设置用以捕获来自第二视场的所述场所的图像，第一视场与第二视场不同；数据库，所述数据库包括生物体的行为的定义；计算机，所述计算机连接至第一摄像机、第二摄像机和数据库；所述计算机包括计算机程序；所述计算机程序接收至少第一视场图像和第二视场图像作为输入； 所述计算机程序包括行为分析模块； 所述行为分析模块能够识别至少来自第一视场图像的第一视场物体和来自第二视场图像的第二视场物体； 利用第一视场物体和第二视场物体，确定至少第一生物体和第二生物体； 确定至少第一生物体的至少一个空间关系随时间的变化；以及识别存储在数据库中的哪种行为对应于至少第一生物体的至少一个空间关系。
2.根据权利要求1所述的系统，其中，所述第一视场和第二视场彼此垂直。
3.根据权利要求1所述的系统，其中，所述第一视场来自场所的顶部，并且第二视场来自场所的侧面。
4.根据权利要求1所述的系统，其中，所述第一视场来自场所的底部，并且第二视场来自场所的侧面。
5.根据权利要求1所述的系统，其中，所述计算机程序还包括 设计模块用以促进实验的设计；执行模块用以执行所述实验；以及复查及处理模块用以促进对行为分析模块的输出的复查；以及其中，第一视场图像和第二视场图像在实验期间被捕获。
6.根据权利要求1所述的系统，其中，所述行为分析模块能够利用第一视场物体确定第一视场生物体，以及利用第一视场生物体和第二视场物体确定第二视场生物体。
7.根据权利要求1所述的系统，其中，所述行为分析模块还能够确定至少第一生物体和场所其它部分之间空间关系随时间的变化。
8.根据权利要求1所述的系统，其中，所述行为分析模块还能够利用立体视场整合分析确定空间关系随时间的变化。
9.根据权利要求1所述的系统，其中，行为分析模块还能够利用视场间匹配过程来从第一视场物体集和第二视场物体集中确定至少第一生物体和第二生物体。
10.根据权利要求1所述的系统，其中，行为分析模块还能够利用第一视场生物体来确定第二视场中物体连接的情况，并执行对连接的第二视场物体的分割。
11.根据权利要求1所述的系统，其中，行为分析模块还能够利用第一视场生物体来对第二视场生物体执行动物尺寸标准化。
12.根据权利要求1所述的系统，其中，行为的识别利用概率性方法来执行。
13.根据权利要求1所述的系统，其中，行为的识别利用确定性方法来执行。
14.根据权利要求1所述的系统，其中，行为的识别利用从由基于规则的分析、标号解析过程、序列分析、状态改变分析以及隐马尔可夫模型组成的组中选定的至少一种方法来执行。
15.根据权利要求1所述的系统，其中，行为分析模块能够识别从由积极社交接触行为、消极社交接触行为、嗅探其它动物及其特定身体部分行为、接近行为、离开行为、跟随行为以及凝视其它动物行为组成的组中选定的至少一种行为。
16.根据权利要求1所述的系统，其中，行为分析模块能够识别从由威胁行为、猛扑行为、追逐行为、撕咬行为、完全性攻击行为、攻击性直立行为、攻击性侧向一边行为、攻击性理毛行为、抖尾行为、打斗行为、躲闪行为、躲避行为、后退行为、逃走行为、僵直行为、蜷缩行为、高度蜷缩行为、完全服从行为、防御性直立行为、以及防御性侧向一边行为组成的组中选定的至少一种行为。
17.根据权利要求1所述的系统，其中，行为分析模块能够利用生物体与奖赏的互动来识别统治/服从行为。
18.根据权利要求1所述的系统，其中，行为分析模块能够识别从由寻回后代行为、舔舐后代并为后代理毛行为、哺乳后代行为、窝内行为、窝外行为、分散后代行为、运送后代行为、弓背哺乳行为、俯卧哺乳行为、以及筑窝行为组成的组中选定的至少一种行为。
19.根据权利要求1所述的系统，其中，行为分析模块能够识别从由跳跃行为、飞奔行为、耳朵摆动行为、脊柱前弓行为、追逐行为、理毛行为、嗅生殖部位行为、攀趴行为、单向猛推行为、插入行为以及射精行为组成的组中选定的至少一种行为。
20.根据权利要求1所述的系统，其中，计算机程序能够将场所划分为虚拟区域。
21.根据权利要求1所述的系统，其中，生物体是动物。
22.根据权利要求21所述的系统，其中，所述动物是小鼠。
23.根据权利要求21所述的系统，其中，所述动物是大鼠。
24.根据权利要求21所述的系统，其中，所述动物是小鼠和大鼠的组合。
25.根据权利要求1所述的系统，其中，第一视场物体和第二视场物体包括身体部分。
26.根据权利要求25所述的系统，其中，所述身体部分包括从由头、尾巴、腰部、前体、 后体、后肢、前肢、上后背、下后背、腹部、足、嘴、和鼻子组成的组中选定的至少一个身体部分。
27.根据权利要求1所述的系统，其中，图像在包括可见光、彩光、钠光和红外光的多种类型的光的条件下获得。
28.根据权利要求1所述的系统，还至少包括第二场所；以及至少第三摄像机和第四摄像机，所述第三摄像机设置用以捕获来自第三视场的第二场所的图像，以及所述第四摄像机设置用以捕获来自第四视场的第二场所的图像；以及计算机进一步连接至第三摄像机和第四摄像机；计算机程序还接收至少第三视场图像和第四视场图像作为输入；所述行为分析模块还能够识别至少第三视场图像中的第三视场物体和第四视场图像中的第四视场物体；通过第三视场物体和第四视场物体确定第二场所生物体； 确定第二场所生物体中的至少一个的至少一个空间关系随时间的变化；以及识别存储在数据库的哪种行为对应于第二场所生物体中的至少一个的空间关系随时间的变化。
29.根据权利要求1所述的系统，还包括多路复用器，其中，至少第一摄像机和第二摄像机通过多路复用器连接至计算机。
30.根据权利要求1所述的系统，其中，行为分析模块还能够利用关于生物体的信息来确定至少第一生物体和第二生物体。
31.根据权利要求1所述的系统，如果图像以模拟格式捕获，所述系统还能够把图像从模拟格式转换成数字格式。
32.根据权利要求1所述的系统，其中，所述空间关系包括第一生物体和第二生物体之间的空间关系。
33.根据权利要求1所述的系统，其中，所述空间关系包括第一生物体的身体部分和第二生物体之间的空间关系。
34.根据权利要求1所述的系统，其中，所述空间关系包括第一生物体的身体部分和第二生物体的身体部分之间的空间关系。
35.根据权利要求1所述的系统，其中，所述空间关系包括第一生物体和非生物体之间的空间关系。
36.根据权利要求1所述的系统，其中，所述空间关系包括第一生物体的身体部分和非生物体之间的空间关系。
37.一种行为分析系统，包括数据库，所述数据库包括生物体的行为的定义；以及计算机，所述计算机连接至所述数据库，所述计算机包括计算机程序，所述计算机程序接收至少场所的第一视场图像和场所的第二视场图像作为输入，其中第一视场与第二视场不同；所述计算机程序包括 行为分析模块能够识别至少第一视场图像中的第一视场物体和在第二视场图像中的第二视场物体； 利用第一视场物体和第二视场物体确定至少第一生物体和第二生物体； 确定至少第一生物体的空间关系随时间的变化；以及识别存储在数据库的哪种行为对应于至少第一生物体的空间关系随时间的变化。
38.根据权利要求37所述的系统，其中，计算机程序还包括 设计模块用以促进实验的设计；执行模块用以执行所述实验；以及复查及处理模块用以促进对行为分析模块的输出的复查；以及其中，第一视场图像和第二视场图像在实验期间被捕获。
39.根据权利要求37所述的系统，其中，所述行为分析模块还能够利用第一视场物体确定第一视场生物体，以及利用第一视场生物体和第二视场物体确定第二视场生物体。
40.根据权利要求37所述的系统，其中，所述行为分析模块还能够利用立体视场整合分析确定空间关系随时间的变化。
41.根据权利要求37所述的系统，其中，行为分析模块还能够利用视场间匹配过程来从第一视场物体集和第二视场物体集中确定至少第一生物体和第二生物体。
42.根据权利要求37所述的系统，其中，行为分析模块还能够利用第一视场生物体来确定第二视场物体连接的情况，并执行对连接的第二视场物体的分割。
43.根据权利要求37所述的系统，其中，行为分析模块还能够利用第一视场生物体来对第二视场生物体执行动物尺寸标准化。
44.根据权利要求37所述的系统，其中，行为的识别利用概率性方法来执行。
45.根据权利要求37所述的系统，其中，行为的识别利用确定性方法来执行。
46.根据权利要求37所述的系统，其中，行为的识别利用从由基于规则的分析、标号解析过程、序列分析、状态变化分析以及隐马尔可夫模型组成的组中选定的至少一种方法来执行。
47.根据权利要求37所述的系统，其中，行为分析模块能够识别从由积极社交接触行为、消极社交接触行为、嗅探其它动物及其特定身体部分行为、接近行为、离开行为、跟随行为以及凝视其它动物行为组成的组中选定的至少一种行为。
48.根据权利要求37所述的系统，其中，行为分析模块能够识别从由威胁行为、猛扑行为、追逐行为、撕咬行为、完全性攻击行为、攻击性直立行为、攻击性侧向一边行为、攻击性理毛行为、抖尾行为、打斗行为、躲闪行为、躲避行为、后退行为、逃走行为、僵直行为、蜷缩行为、高度蜷缩行为、完全服从行为、防御性直立行为、以及防御性侧向一边行为组成的组中选定的至少一种行为。
49.根据权利要求37所述的系统，其中，行为分析模块能够利用生物体与奖赏的互动来识别统治/服从行为。
50.根据权利要求37所述的系统，其中，行为分析模块能够识别从由寻回后代行为、舔砥后代并为后代理毛行为、哺乳后代行为、窝内行为、窝外行为、分散后代行为、运送后代行为、弓背哺乳行为、俯卧哺乳行为、和筑窝行为组成的组中选定的至少一种行为。
51.根据权利要求37所述的系统，其中，行为分析模块能够识别从由跳跃行为、飞奔行为、耳朵摆动行为、脊柱前弓行为、追逐行为、理毛行为、嗅生殖部位行为、攀趴行为、单向猛推行为、插入行为、和射精行为组成的组中选定的至少一种行为。
52.根据权利要求37所述的系统，其中，计算机程序能够将场所划分为虚拟区域。
53.根据权利要求37所述的系统，其中，第一视场物体和第二视场物体包括身体部位。
54.根据权利要求37所述的系统，其中，行为分析模块还能够通过使用关于生物体的信息来确定至少第一生物体和第二生物体。
55.根据权利要求37所述的系统，其中，所述空间关系包括第一生物体和第二生物体之间的空间关系。
56.根据权利要求37所述的系统，其中，所述空间关系包括第一生物体的身体部分和第二生物体之间的空间关系。
57.根据权利要求37所述的系统，其中，空间关系包括第一生物体的身体部分和第二生物体的身体部分之间的空间关系。
58.根据权利要求37所述的系统，其中，所述空间关系包括第一生物体和非生物体之间的空间关系。
59.根据权利要求37所述的系统，其中，所述空间关系包括第一生物体的身体部位和非生物体之间的空间关系。
60.一种识别生物体的行为的方法，包括捕获至少场所的第一视场的第一视场图像随时间的变化和第二视场的第二视场图像随时间的变化，第一视场与第二视场是不同的； 识别第一视场图像中的物体； 识别第二视场图像中的物体； 确定所述物体是否包括一个或多个生物体； 确定识别的生物体的空间关系随时间的变化；以及识别对应于生物体的空间关系随时间变化的行为。
全文摘要
本发明涉及一种利用视频识别两只或多只动物的行为的系统和方法。本发明包括具有至少两个连接至计算机的视频摄像机系统，其中，计算机用于自动执行动物分割和识别、动物身体部分识别和行为识别。
文档编号G06K9/00GK102282570SQ200980153588
公开日2011年12月14日 申请日期2009年10月15日 优先权日2008年10月30日
发明者刘栋梁, 李发银, 梁益庆, 白雪生, 维克兰特·N·科波拉 申请人:聪慧系统公司