专利名称：用于目标的运动行为的三维监控和分析的系统的制作方法
用于目标的运动行为的三维监控和分析的系统 版权声明本专利文件的一部分包含受到版权保护的材料。版权拥有者不反 对由任何人传真复制所述专利文件或者专利公开，就像其在专利和商 标局的专利文件或者记录中那样，但是版权拥有者如论如何都保留所 有的版权权利。技术领域总地来说，本发明涉及目标的行为表现型的监控和分析，所述目标诸如脊推动物(例如斑马鱼或Daniorerio (斑马鱼的学名)、金鱼 或鲫鱼)、啮齿动物(例如老鼠)和昆虫(例如果蝇)。更具体而言， 本发明的一个方面涉及在实时和在线模式下或者离线模式下，对于单 独的动物或者一组(群)动物，在特定的行为范例实验下的实验室动 物的三维运动相关行为的自动监控和分析，所述行为诸如运动行为、 动作行为、家笼行为、进攻、反掠夺、群聚偏好和光偏好范例。实验 室动物可以是在敲入、敲除或者转基因操作后在遗传上改变的动物， 或者是在被暴露到药物、化学品或者特定的环境后的实验动物。
背景技术：
诸如野生型动物、遗传上改变(转基因、敲入或者敲除)的动物、 药物处理的动物和在化学突变形成操作后的动物的实验室动物已经 在各种生物、临床、生物医学、环境和军事研究领域(包括(仅仅说 出几个)染色体组的研究、遗传学功能无序、表型的药物筛选、毒理 学、生物检测和生物防御的研究)中被广泛地用作人模型。这是因为 下述事实人和动物共享大量的遗传和神经解剖学的同源，其在不同 的物种之间被广泛地保留。动物模型的行为研究特别有益于用于下述p-0.2mm)。帽的内径D、优选小于(D+0.4mm)，更优选小于D。样品im为液体样品。样品可以为烃类样品，例如原油或"等价"样品。 "等价"样品指可以代替或与精炼厂的原油共混使用的样品，诸如合成的原油， 生物组分，中间流诸如残渣，气油，真空气油，石脑油或裂化原料，以及一种 或多种所述组分的共混物。本发明用于测量含有挥发物质的液体特别有用。可以采用本发明方法的其它烃样品包括燃料、润滑剂、聚合物(液体聚合物 或者聚合物熔体)以及容易结垢的石化产品。根据本发明的一个实施方案，光谱测量开始于液体样品占据位于可除去帽底 部的样品架时。光谱探针随后被插入-同时保纟雑触帽的内壁-垂直向下iSA帽的 底部，直到它到达样品架的上方，探针在该点不可进一步被插入。气体，诸如空气或液##品中的任何挥发性组分，被ma过帽内壁上的沟槽，该沟槽从样 品架延伸到帽上方，并提供了用于使气体和任何过量的液解品从测定池逸出 的方法，并且防止气泡在样品架和探针头部之间形成以及截留。不希望存在气 泡，这是由于它可能负面影响光谱数据的质量。典型地，光谱探针的头部比样品架宽，从而当完全插入帽中时，探针不进入 样品架，并且样品占据样品架以及所有或部分沟槽。帽内壁上的沟槽优选从样 品架延伸并胆到帽的上方，以允许气体和过量的液條品离开测定池。根据一优选的实施方案，当将光谱探针插入帽后，组装的测定池随后被转移 入铝加热板内，在那里，采用不锈钢压力机密封测定池。整个测定池并因此包 括样品随后被加热，并且纪录光谱图。测定池tt^被用于M:红外光谱或NIR光谱更^^NIR光谱来分析样品。本发明的一种优势在于样品可以被提升到高温和高压，而不损失挥发性物质。适宜地，样品架内的温度介于1(TC到20(TC的范围内，这取决于样品。为 了实用的目的，稍微高于室温的温度，例如介于3(TC到9(TC是最tJ^的。规定 的限制之外的温度和压力不被排除；然而，他们不落入本发明的优选实施方案 中。在测量感兴趣研究的样品前，测定池的光程长度可以如下测量用标准溶液 诸如甲苯来填充该测定池，并且测量光谱。优选地，根据本发明，探针的光程 长度介于从0.5 mm到10mm的范围内。光程长度被定义为电磁辐射在到达检 测器前穿过样品的距离。因此，其中从一个光纤传输的入射辐射通过样品架中于其他方法具有独特的优点，诸如非接触设置、高釆样频率、高空间 分辨率、长监控时段、跟踪身体的特定部分的运动的能力和在跟踪不 同的物种的运动中的通用性。因此，所述二维视频记录和分析方法更 广地应用在动物行为监控和分析的领域中。但是，仍然存在与现有的二维视频监控和分析系统相关联的较大 缺点。例如，现有的视频监控系统通常仅仅通过使用单个摄像机来收 集用于描述动物平面运动的那些运动学参数，即如果摄像机从运动区 域上部观看，则为水平面。现有的二维视频系统的摄像机一般拍摄动 物容器的单个视角，因此丢失了沿着其他空间轴的信息，诸如与由摄 像机的图像平面限定的平面垂直的摄像机轴。因此，现有的二维视频系统(例如由S. Kato， Journal of Neuroscience Methods, 134(2004)， 1-7描述的系统) 一般不能检测所测试的动物的上下运动，例如老鼠 的后部运动和斑马鱼的上下游动，因为所述摄像机通常从鼠笼或者鱼 箱的上部拍摄。另外，现有的视频跟踪系统在监控位于同一容器中的 多个移动的动物上具有有限的能力，并且如果被跟踪的动物被其他动 物阻挡，或者如果动物身体的一部分(可能是所关心的)被动物身体 本身阻挡，则现有的视频跟踪系统丢失与特定动物相关联的运动信 息。例如，如果摄像机从场地上部拍摄，则二维视频跟踪系统可能不 能接触到老鼠的路线。另外，现有的视频监控系统一般不校正物理缺 陷或者环境改变，例如它们不处理当监控鱼游动时应当被校正的、与 水折射或者反射相关联的测量误差。一般，在过去几年中，对于自动表型行为监控系统的需求增加， 其可以用于实验室动物的各种行为测试。已经按照这些需要开发的自 动系统的示例包括光束笼、压力板活动测量计和模拟/数字视频监控系 统。例如参见如上所述的文献。这些自动监控系统的应用已经成功地 解决了与传统的人类观察方法相关联的大多数主观问题，诸如低精 度、劳动密集和结果数据的误差。在这些系统和方法中，由于摄像机 的高空间分辨率及其对于各种动物物种和环境的熟悉，作为运动传感 器的摄像机的使用已经提供了大多数强大的监控能力。但是，许多现有的视频系统在本质上是二维的，并且仅仅可以沿着两个平移轴和一个旋转轴(即限定平面运动的三个自由度(DOF))监控运动信息。 因此，当使用这些传统的二维视频跟踪系统时，所收集的动物运动参 数的时间历史是不完整的。因此，需要能够真实地监控在三维空间中 的实验室动物的运动相关行为的更高级的视频系统。实时的三维系统已经得到描述，其中，使用两个或者多个摄像机 来捕获图像。另外，三维系统已经被描述为由一个摄像机和两个或者 多个镜表面的组合构成，导致非传统的立体象对。参见Gluckman和 Nayar， J i e"/画77附e CW励V /^,/c 5Vereo分他附C/s/"g尸/"fmr Af/m /*, IUW， 1998^ Lin, J. Yeh， IVL Ouhyoung， f rfl"/"g 3-D a"/附a,/ow /mrfl附e,er /ro附附w/Z/v/ew v/t/eo c/i》s， IEEE CGA， 22(6)， 2002， 72-80; and J. Chraskova， et al" Jw緒/。附W/c 3-D /r"dt/"g sj他附n^7/r a i*C fl s/"g/e TK ca附em， Journal of Neuroscience Methods, 88(1999)， 195-200。由Nayar， Lin和Chraskova描述的系统 涉及单个立体图像的捕获。但是，在它们的系统中，未充分地处理动 物运动的三维视频跟踪的系统实现方式，诸如校准系统、处理由多个 媒体引发的测量误差和系统噪声、强壮地跟踪单个或者多个动物的运 动而没有混淆、同时跟踪多个动物而不用附加可视的可识别的标签。 例如，虽然在Chraskova描述的三维动物跟踪系统中使用了反射镜， 但是所述反射镜仅仅被设置在大致的方向和位置，而没有针对其精确 的几何参数进一步被校准。在用于跟踪鱼的游动行为的它们的系统实 现方式中，未校正监控误差，诸如水折射引起的立体几何形状的失真。 而且，在由Chraskova描述的系统中，需要被被跟踪的每个动物携带 发光二极管(LED)标记，同时需要在同时监控多个动物的应用中在 交替的时间范围(时间共享的时间段)中激活多个LED标记。这些 要求大大地提高了在所述行为实验的实现方式上的技术挑战和在行 为监控结果上的不确定性。因此，需要改善的系统和方法，用于三维监控和分析一个或多个 测试动物的运动^f亍为。发明内容本发明涉及一种用于三维监控和分析测试对象的运动相关行为 的系统。所述系统包括实际摄像机、至少一个虚拟摄像机和计算机。 所述计算机最好连接到所述实际摄像机，并且被安装软件包，所述软 件包能够捕获与测试对象的三维运动相关行为相关联的立体图像，并 且处理这些所获取的图像帧以获得所关心的测试对象的三维运动参 数。本发明的系统包括硬件和软件组件，所述硬件组件最好包括硬件 设置或者配置、基于硬件的噪声消除组件、自动校准装置组件和实验 室动物容器组件。所述软件组件最好包括基于软件的噪声消除组件、 基本校准组件和扩展的校准组件、线性核线结构导出组件、非线性核 线结构导出組件、图像分段组件、图像对应性检测组件、三维运动跟 踪组件、基于软件的目标识别和标记组件、三维重建组件和数据后处 理组件。在一个特别优选的实施例中，所述实际摄像机是数字摄像机，并 且所述虚拟摄像机是在平面反射镜中的所述实际摄像机的反射。因 此，所述系统是反折射的立体计算机视觉系统。
图l是本发明的一种示例的三维动物行为监控系统的示意图，其 中，将鱼的游动行为的监控作为示例。图2是本发明的三维动物行为监控系统的一个示例实施例的示 意图，所述系统可以被应用来监控老鼠的运动行为、家笼行为和路线。图3示出了用于本发明的立体系统的校准的、本发明的示例性的 基于硬件的校准装置组件，校准模式具有多个彩色端来作为可视指示 器。图4示出了具有采用高强度发光二极管(LED )形式的多个可视 指示器的自动校准模式的图像，所述图像位于与实际摄像机相关联的 视域内。图5示出了所获取的空鱼箱的立体图像。三个区域对应于实际和 虛拟摄像机的视域，并且被显示在有界框内。图6图解了从可视指示器组的对应图像和所获得的镜面法线计 算的镜子位置的计算方法。图7示出了由在图1中所示的实际摄像机0和两个虛拟摄像机1 和2形成的本发明的核线结构(epipolar structure )的示例，其中 是由摄象机i和j形成的核点，Mt表示视图t中的可见指示器的对应 图象。图8图解了通过使用射线跟踪方法的正向和反向折射处理。当监 控水生动物时，这个处理被应用到扩展的系统校准、对应性检测和三 维重建。图9示出了用于监控水生动物的三维游动轨迹的实时和在线处 理的流程图。图10示出了图像帧，其中，通过应用本发明的对应软件组件， 测试鱼被识别、标记和跟踪。左上原始帧；右上被处理的帧，具 有被分配到被测试的鱼的标签；下部测试鱼的重建的三维运动轨迹。图11示出了图像帧，其中，通过本发明的对应软件组件来识别、 标记和跟踪测试老鼠的两个特征点。左上原始帧；右上被处理的 帧，具有被分配到测试老鼠上的所述特征点的标签；下部测试老鼠 上的特征点的重建的三维运动轨迹。图12示出了在酒癣测试中的三条金鱼的重建的三维游动轨迹的 示例。所述监控时间是5分钟，其中，(A)控制组，不添加酒精； (B)测试组，具有0.25%的酒精/水体积浓度；(C)测试组，具有 0.5%的酒精/水体积浓度；(D)测试組，具有1.0%的酒精/水体积浓 度；(E)测试组，具有1.5%的酒精/水体积浓度。图13示出了在酒痺测试中的三条金鱼的重建的三维游动轨迹的 另一个示例。所述监控时间是5分钟，其中，(A)控制组，不添加 酒精；(B )测试组，具有0.25%的酒精/水体积浓度；(C )测试组， 具有0.5%的酒精/水体积浓度；(D )测试组，具有1.0%的酒精/水体积浓度；(E)是测试组，具有1.5%的酒精/水体积浓度。图14示出了在酒癣测试中的一条斑马鱼的重建的三维游动轨迹 的多个示例。所述监控时间是15分钟，其中，(A)控制，不向水中 添加酒精；(B)测试斑马鱼，具有0.25%的酒精/水体积浓度；(C) 测试斑马鱼，具有0.5%的酒精/水体积浓度。图15示出了在腹部酒精注入后老鼠头的重建的三维运动轨迹的 示例。监控时间是10分钟。(A)和(D)是不注入酒精的控制老鼠； (B)和(E)是在注入酒精后的测试老鼠，身体重量-归一化的酒精 浓度是0.2g/kg;并且(C)和(F)是在注入酒精后的测试老鼠，身 体重量-归一化的酒精浓度是2.0 g/kg。图16图解了在腹部咖啡因注入后老鼠头的重建的三维运动轨迹 的示例。监控时间是10分钟。(l.A)和U.A)是不注入咖啡因的 控制老鼠；(l.B)和(2.B)是在注入咖啡因后的测试老鼠，身体重 量-归一化的咖啡因浓度是6.25g/kg; (l.C)和(2.C )是在注入咖啡 因后的测试老鼠，身体重量-归一化的咖啡因浓度是12.5g/kg; (l,D) 和(2.D)是在注入咖啡因后的控制老鼠，身体重量-归一化的咖啡因 浓度是25g/kg; (l.E)和(2.E)是在注入咖啡因后的测试老鼠，身 体重量-归一化的咖啡因浓度是100 g/kg。图17图解了在酒癣测试中的金鱼的游动速度和速率的釆样时间 序列。(A)示出了在三维空间中的游动速度；(B)示出了在X方 向上的游动速率(在图11中示出X方向)；(C)示出了在Y方向 上的游动速率(在图11中示出了Y方向)；(D)示出了在Z方向 上的游动速率(在图11中示出了 Z方向)；(1)控制鱼；(2)测 试鱼，酒精/水体积浓度0.25%; (3)测试鱼，酒精/水体积浓度0.5%; (4)测试鱼，酒精/水体积浓度1.0%; (5)测试鱼，酒精/水体积浓 度1.5%。图18图解了在酒痺测试中的金鱼的转动速度和速率的采样时间 序列。(A)示出了在三维空间中的转动速度；(B)示出了围绕X 轴的转动速率(在图11中示出X轴)；(C)示出了围绕Y轴的转动速率(在图11中示出了 Y轴)；(D)示出了围绕Z轴的转动速 度(在图11中示出了 Z轴)；(1)控制鱼；(2)测试鱼，酒精/水 体积浓度0.25%; (3 )测试鱼，酒精/水体积浓度0.5%; (4 )测试 鱼，酒精/水体积浓度1.0%; (5)测试鱼，酒精/水体积浓度1.5%。图19图解了在酒痺测试中的距金鱼的轨迹中心的距离和位移的 采样时间序列。(A)示出了在三维空间中与轨迹中心的距离；(B) 在X方向上从轨迹中心的位移(在图11中示出X方向)；(C)示 出了在Y方向上的从轨迹中心的位移(在图11中示出了 Y方向)； (D)示出了在Z方向上从轨迹中心的位移(在图11中示出了 Z方 向)；(1)控制鱼；(2)测试鱼，酒精/水体积浓度0.25%; (3) 测试鱼，酒精/水体积浓度0.5%; (4)测试鱼，酒精/水体积浓度1.0%; (5)测试鱼，酒精/水体积浓度1.5%。图20图解了在酒痺测试中的金鱼的行为响应曲线的采样。(A) 示出了与轨迹中心的平均距离对酒精浓度的点估计、置信区间和响应 曲线；(B)示出了平均三维线性速度对酒精浓度的点估计、置信区 间和响应曲线；(C)示出了平均三维角速度对酒精浓度的点估计、 置信区间和响应曲线。图21示出了老鼠头的上下运动速度的组平均值和标准偏差，其 是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。图22示出了与老鼠头的轨迹中心的三维距离(DFC)的组平均 值和标准偏差，其是从在示例2中的实验(老鼠的酒精引发的行为改 变)获得的。图23示出了当使用不同剂量的酒精溶液注入老鼠时老鼠头的高 度的按照分组的分布，其是从在示例2中的实验(老鼠的酒精引发的 行为改变)获得的。图24示出了酒精注入对于老鼠的后部行为的影响，其是从在示 例2中的实验(老鼠的酒精引发的行为改变)获得的。图25示出了老鼠呆在动物容器的后半部分的时间百分比的组平 均值和标准偏差。其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。图26示出了老鼠呆在动物容器的角落的时间百分比的组平均值 和标准偏差。其是从在示例2中的实验(老鼠的酒精引发的行为改变) 获得的。图27是用于啮齿动物夜间行动的在线和实时的监控处理的、本发明的示例图形用户界面(GUI)。背光被用作环境照明源，而在啮 齿动物耳部上的特征点被以荧光染料涂敷。图28是本发明的三维行为监控系统的示例硬件组件，其中，从 框架去除外盖以便显示内部硬件部分的布置。图29是可以从由二维和三维视频系统监控的运动轨迹提取的示 例基本运动学属性的表，其中，d、 v、 a分别表示线性位移、速率和 加速度，而cj)、 o、 a分别表示角位移、速率和加速度。在二维系统 中，仅仅可以在具有设置的摄像机轴X的摄像机图像平面上自由地变 换坐标系，而在三维系统中没有坐标变换的限制。图30是在时域和频域中的示例运动参数，它们用于行为端点的 进一步的统计分析。这些序列是通过数据后处理组件从重建的三维运 动轨迹自动得出的。在这个表中，{X， Y， Z!表示在三维空间中的任 何笛卡儿坐标，可以按照不同的需要来将其附加或者变换。图31是示例1的分组的划分的表(对于金鱼的酒癖测试)，其 中，监控和分析通过向水中加入酒精而引入的金鱼的三维游动的改 变。图32是示出在示例1的对于金鱼的酒痺测试中与中心的平均距 离、三维游动速度和三维转动速度的单向方差分析(ANOVA)结果 的表，"*，，表示在被比较的分组之间的相关联的运动参数上的大差别。图33是示出在示例1的对于金鱼的酒癖测试中与中心的平均距 离的此后(post-hoc)平均值比较的结果的表格，"*"表示在被比较的 分组之间的相关联的运动参数上的大差别。图34是示出在示例1的对于金鱼的酒癖测试中平均三维的此后 平均值比较的结果的表格，"*"表示在被比较的分组之间的相关联的运动参数上的大差别。图35是示出来自示例2 (老鼠的酒精引发的行为改变)的老鼠 头的上下速度的按照组的平均值比较的结果的表格，"*"表示在两个 被比较的分组之间的大差别。图36是来自示例2 (老鼠的酒精引发的行为改变)的距老鼠头 的轨迹中心的三维距离的按照组的平均值比较的结果的表，"*，，表示在两个被比较的分组之间的大差别。图37是来自示例2 (老鼠的酒精引发的行为改变)的在监控过 程期间后部的时间百分比的按照组的平均值比较的结果的表，"*"表 示在两个被比较的分组之间的大差别。
具体实施方式
本发明的系统和方法可以自动地监控在三维空间中的一个或多 个所关心的目标的运动(在此所述的"目标"是任何所关心的测试对 象，例如所关心的实验室动物或者在所关心的实验室动物的身体上的 特征点)，并且提供在6DOF中的关键运动参数的对应的量化分析。 通过使用本发明的立体监控系统，在包含至少6个DOF的扩展的三 维空间中而不是在传统的二维视频跟踪系统的仅仅具有三个DOF的 二维空间中跟踪和分析目标运动。在一个优选实施例中，本发明的系 统包括实际摄像机和至少 一个虛拟摄像机。可以在任何两个摄像机之 间形成立体象对，并且所述系统可以包括一个或多个立体象对。实际 摄像机包括但是不限于数字摄像机或者具有帧抓取器数字化转换器 的模拟摄像机。虛拟摄像机包括但是不限于在反射平面镜中的实际摄 像机的反射和同步的摄像机，所述同步的摄像机是真实的摄像机，其 通过软件或者定制的硬件而与所述实际摄像机同步。在一个优选实施 例中，通过将实际摄像机反射到平面镜子中来形成所述虚拟摄像机。 平面镜子的使用消除了同步的需要，并且提供了低系统成本的益处。 另外，由于平面镜的反射属性，可以通过使用平面镜来用于虛拟摄像 机来节省空间。当通过向镜子中反射实际摄像机而形成系统的虛拟摄像机时，系统是反折射的立体系统。在使用真实摄像机来作为虚拟摄像机的情况下，需要另外的手段 来同步所述实际摄像机和虚拟摄像机。这样的同步用于保证形成立体 象对的多个摄像机同时获取相同目标的图像。所述摄像机可以对于每 个帧输出多于一个图像，在这种情况下，更多的像素可以有效地贡献 于目标的图像，并且可以更清楚地观看所述目标。计算时间和存储器 成本可能提高，因为多个图像需要被处理以便重建目标的三维位置。在一个实施例中，本发明的系统可以包括多个摄像机(包括多个 真实摄像机和/或多个虚拟摄像机)，其可以形成被监控的目标的两个 或者更多的线性独立的视图(即每个包含在另一个中可能不存在的信 息)。优选的是，所述摄像机被分布在空间中，以覆盖多个动物的三 维行为。在所述优选实施例的实现方式中，通过向镜子中反射实际摄像机 而获得虚拟摄像机。在这个实施例中，实际摄像机的所有的外在参数 被镜面反射为对应的虚拟摄像机的外在参数，而对应的虚拟摄像机的 内在参数保持与实际的相同。反折射的立体摄像机的使用 一般等同于 通过单个真实摄像机或者多个真实摄像机来同时捕获目标的图像和 镜面反射的图像。但是，前一种方法被实现为有效的立体系统更系统， 并且更容易被分解用于模块化结构。实际摄像机和虚拟摄像机被置于封闭空间中，并且被配置来在线 性独立的方向上盯住所关心的目标。特殊设计的硬件组件被用于保证 在监控过程期间通过所述摄像机来获取一致的图像帧，并且具有最小 的噪声。这样的硬件组件包括硬件部分、基于硬件的噪声消除组件、 自动校准装置部件和实验室动物容器部件的几何配置，如下进一步所 述。实际摄像机最好通过嵌入的图像获取卡而连接到计算机(例如个人计算机(PC))。在所述计算机中，内部开发的软件包被安装以用于行为监控和分析。所述软件包把最好包括基于軟件的噪声消除组 件、基于软件的校准组件、同步组件、核线导出组件、图像分段组件、图像对应性检测组件、三维运动跟踪组件、基于软件的目标识别和标 记组件、三维重建组件和数据后处理组件，如下进一步所述。这些软件组件可以执行下述功能自适应背景产生、图像分段、前景图像群 集、前景图像对应性检测、目标识别和标记、三维运动跟踪、三维位 置重建、智能目标重新标记、自动测量误差校正、基于轨迹的运动学 分析和用于描述目标的三维运动的运动学参数的统计分析。在一个特 别优选的实施例中，所述软件包括对应的算法，其能够分析视频图像， 并且实时地和/或以离线模式从所存储的图像序列计算目标的三维运 动参数《所述系统可以被配置来使得能够在三维运动历史上监控和分析 目标行为，其有益于研究基因改变的实验室动物、具有导致运动功能 变差的疾病的实验动物和/或高通过量药物筛选的实验动物。另外，所 述系统可以类似地被配置来适应于各种应用，诸如动物心理研究、生 理研究、神经学研究和/或移动物体的三维形状重建或者三维形状形态 建立。系统的用户可以建立新的监控记录以用于后处理，其包含所关心 的目标的三维轨迹。所述用户可以通过收回目标的所记录的运动历史 来分析数据，以产生三维显示，或者可以以文本形式分析数据。可以 从其他的运动数据独立地提取和分析与一个或多个运动参数相关联 的具体特征。可以使用公知的技术来完成数据的分类和统计测试，所 述公知4支术诸如ANOVA (其表示方差分析)和MANOVA (其表示 方差的多元分析)。系统设置在图1和图22中所示的一个优选实施例中，系统包括动物容 器(箱子或者笼子)，用于容纳目标，诸如实验动物，所述容器作为 露地或者家笼/家箱；外部盒，作为环境噪声屏蔽物，其上固定了适当 的照明源，包括环境光、紫外光和/或背景光； 一个数字摄像机，用于 拍摄所述箱子的一个透明面，其作为实际摄像机；以及一个或多个反射平面镜，其中可以由所述实际摄像机看到实验动物的图像。通过将 所述实际摄像机反射到每个镜子中来形成虚拟摄像机。实际摄像机和 虚拟摄像机关注与彼此的轴不同的方向。实际摄像机实时地捕获所关 心的空间的视频图像。所述视频图像可以被存储在存储媒体中，或者 可以用于计算所关心的目标的三维运动轨迹，然后被去除。实时地计算所述运动轨迹具有几个优点首先，可以提高采样频率，因为不必 将任何图像序列存储到计算机硬盘，其次，可以节省盘空间，允许长 时间的监控。如上所述，虽然将数字摄像机用作在所述优选实施例中的实际摄 像机，但是，其他非限定性的实际摄像机示例包括具有帧抓取器/数字 化转换器的模拟摄像机及其组合。除了至少一个实际摄像机之外，优 选的系统也包括至少一个虛拟摄像机。图1图解了具有两个虚拟摄像 机的一个优选实施例，所述两个虚拟摄像机由反射平面镜和实际摄像 机形成。虛拟摄像机的其他示例包括同步的摄像机(其是已经被同步 并且也可以被校准的真实摄像机)、联网的摄像机或者反射曲面。但 是，通常,在这个实施例中的基于硬件和基于软件的校准组件需要被 修改以适配其他的虛拟摄像机选择。在实际摄像机的图像平面上投影的图像可以由多个区域构成，包 括约束动物容器的区域(诸如老鼠笼或者鱼箱)和约束镜子中的动物 容器的图像的区域，如图5中所示。这等同于通过实际摄像机和虚拟 摄像机来获取目标的图像。根据这种配置，可以从不同的三维视点同 时获取移动目标的多个图像，所述不同的三维视点形成立体对应组， 其可以用于重建目标的空间位置。为了获得适当的视场(FOV)和最 佳图像质量，可以将平移和旋转机构应用到所述镜子，以使得它们能 够在所述空间中自由地平移和/或旋转。本发明的虚拟摄像机特别有益 于在任何对的摄像机(包括实际摄像机、虚拟摄像机及其组合)之间 的同步。目标本身的图像和在虚拟摄像机中形成的目标的图像被实际 摄像机在单个图像平面上捕获；因此，可以省略用于捕获多个图像的 多个实际摄像机。单个图像平面和单个实际摄像机的使用大大地减少了存储器要求，这使得图像处理更有效。所述系统可以包括用于提供 期望的视图和数据所需要的那么多的虚拟摄像机。本发明的系统能够 以经济的方式提供可以被容易地获取的目标的详细图像。所述实际摄像机连接到计算机，所述计算机优选地包括立体计算 机视觉能力(即包括用于立体图像处理和三维运动跟踪的软件包)。 来自实际摄像机的图像可以以实时的方式以不变的高帧速率(例如在优选的系统中的每秒15帧(印s))被提供到计算机中。所述图像可 以被存储在硬盘中以便以后参考/分析，或者在计算与所关心的目标相 关联的运动轨迹和运动学参数后被立即转储。可以使用任何已知的图 像处理软件，所述软件例如(但是不限于)是以下述语言所写的Visual C++、 C氛NET、在Windows XP平台上的OpenGL和在其他的软件 开发平台上的其他编程语言。图2图解了本发明的系统的另一个实施例，其中，将镜子布置在 期望的位置和方向以形成所监控的动物的脚部的图像，其可以被实际 摄像机201无阻挡地捕获。因此，可以实时地记录或者分析所监控的 动物的路线。系统噪声的去除系统噪声(诸如由环境照明条件上的变化引起的不一致或者时变 的背景，由在所获取的图像中的前景和背景之间的对比度不足、由当 监控鱼的游动行为时的水干扰或者由在不同媒体的界面上形成的动 物的反射图像引起的分段误差，等等)在监控处理中带来大的挑战， 因为无关区域可能被误认为目标的前景图像。所述错误的结果可能因 此导致不正确的图像对应、目标识别和标记以及在被跟踪的目标的重 建的三维位置上的误差。因此，所述优选的公开的系统可以还包括基 于硬件的和基于软件的噪声消除组件。所述硬件噪声消除组件允许系 统避免由不一致的照明条件引起的环境噪声和由在媒体界面上的目 标的反射图像的形成引起的监控噪声。所述软件噪声消除组件可以自 适应地更新图像背景，以通过多个滤波器消除照明噪声和滤除错误地分段的目标图像，所述滤波器包括强度滤波器、彩色空间滤波器和像 素大小滤波器。所述软件噪声消除组件还包括由核线几何形状施加的 空间 一致性限制和由三维卡尔曼滤波器施加的时间 一致性限制。如果 对应于可能目标的被分段的图像不同时满足两种限制，则它们被作为 测量噪声被消除。作为用于硬件噪声消除的组件，摄像机和动物容器被布置在闭合 的空间(在图1中所示的外部盒)中，并且与外部的环境照明条件屏 蔽开。在所述外部盒中包括一致的光源，以提供测试动物的一致的照 明。通过使用这种硬件配置，可以有效地消除由照明条件的改变引起 的环境噪声。在一个实施例中，所述硬件噪声消除部分也包括图像对比增强的 能力。例如，基于硬件的噪声消除组件可以包括多个均匀的白光源， 它们优选地被与摄像机(实际摄像机和虚拟摄像机)相对地布置，如图5中所示。因此，在照明条件中的小干扰在图像帧的一致性上变得 不重要。另外，基于硬件的噪声消除组件还包括唯一的系统设置和部件配 置，用于避免在媒体界面上的目标的反射图像的形成。面向摄像机和 镜子2的动物容器的两壁(参见图1和5)优选地是清晰的和透明的。 它们分别作为实际摄像机和虛拟摄像机2的观察窗，并且它们的法线 与这两个摄像机的轴大致重合。另一方面，动物容器的其他三个壁(与 观察窗相对的两壁和在底部的壁)的内表面被表面加工为粗糙的，直 到在它们之上不形成反射图像。在监控鱼的游动运动的一个实施例 中，这些不清晰的窗格被图5中所示的光源照亮，以增强对比。在这 个实施例中，可以获得近乎饱和的白色来作为图像中的背景。因此， 前景目标被强调为黑色区域。在一个优选实施例中，为了消除在媒体界面上的目标的反射图 像，实际摄像机的轴在动物容器的一个监控窗的平面上，并且一个镜 子被配置成使得对应的虛拟摄像机的轴在另 一个监控窗的平面上。因 此，所述系统被配置与其相关联的摄像机的图像平面平行或者与其他的摄像机垂直的观察窗，以防止在观察窗上形成目标的反射图像。可 以通过人工地或者自动地调整平面镜来将此实现。为了自动调整镜子 以获得虚拟摄像机的最佳配置， 一种算法将所述容器的两个监控窗的 投影作为输入，并且通过逐步地校正虚拟摄像机的位置直到所述两个 监控窗口的投影具有上述的形式而完成所述调整。作为软件噪声消除组件的一部分，当执行背景减除以进行目标分 段时，可以自适应地更新目标所驻留的背景图像。每当噪声水平变得 大于在先前的背景图像中的设置门限值时，用更新的图像取代先前的 背景图像。要动态地更新的软件噪声消除组件的能力使得监控在普通 的实验室照明环境中、在增强的照明条件下或者在自然的环境中更强 壮和适应。在当执行彩色空间分段以进行目标分段时的另 一个优选实施例 中，在所获取的帧中的像素的彩色空间属性(诸如色度、饱和度和值) 被彩色空间滤波器过滤。具有在由所设置的值范围限定的彩色空间之 外的彩色空间属性的像素被滤除。所述所设置的彩色值的范围对应于 要监控的目标的彩色属性。基于软件的噪声消除组件还包括像素密度滤波器和像素大小滤 波器，用于消除目标的错误分段的前景图像。在应用用于目标分段的 前景减除的一个优选实施例中，像素密度滤波器通过去除具有在所设 置的密度范围(对应于目标图像的密度)之外的密度值的前景图像像 素而工作。在通过背景减除或者彩色分段而进行目标分段后，可能目 标的所分段的前景图像的像素被群集为标记。所述标记像素大小滤波 器然后被应用到这些标记。具有落在目标图像的期望像素数量的所设 置的大小范围之外的像素大小的标记被作为测量噪声滤除。立体象对的校准本发明的系统优选地包括基于硬件的校准组件和基于软件的校准组件。图3图解了一种示例的校准组件，其中，通过所有的实际摄 像机和虚拟摄像机来捕获辅助校准装置302。在镜子304和305中的所述装置的图像以及被实际摄像机本身实际捕获的图像被实际摄像机301看到。在这些图像之间自动建立对应性，从该对应性可以通过 立体影像校准处理来获得镜子的位置和方向、虚拟摄像机的外在参数 和立体象对的核线结构。系统校准的数据收集过程如下。将包含其中布置了校准装置的动 物容器的多个视图的图像与包含其中未布置校准装置的动物容器的 相同视图的图像相比较。其实现是通过强调校准装置的彩色信息然后 进行HSV (色度、饱和度、值)分段(其导致具有被区别的浓度和颜 色的差别图像)，或者通过仅仅强调^^准装置的密度信息。被强调的 像素形成几个群集，并且在具有已知的对应性的图像平面上计算这些 群集的几何形心，其后将其用于求解校准方程以获得镜子的位置和方 向。存在基于硬件的校准组件(包括所述校准装置)和从其获得的模 式的各种实施例。例如，可以使用具有诸如在图3中所示的彩色端的 可视指示器的对象或者具有在图4中所示的特定通断次序的几个彩色 LED。所述基于硬件的校准组件可以还包括计算机端口和将所述计算 机端口和可视指示器连接的电缆，所述校准组件用于通过从计算机发 出TTL脉冲而按照优选的顺序自动通断所述可视指示器。优选的软件校准组件包括用于实际摄像机的内在参数校准、镜子 校准、虚拟摄像机的校准和媒体界面的校准的软件，在一个优选实施 例中，这些校准步骤被自动地执行。虽然已经在优选实施例中开发了 用于校准的特殊软件包(其中的处理在下面被说明)，但是任何通用 的校准软件可以被应用到实际摄像机的内在参数校准。可以使用本发 明的基于硬件的校准组件按照标准的摄像机校准规程校准实际摄像 机的内在参数。优选的是，使用多种基于软件的校准组件(其应用如 下进一步所述的逐步的校准方法)来实现基本校准过程(包括镜子校 准和虚拟摄像机校准)和扩展的校准过程(包括由水折射引起的立体 几何形状的失真的媒体界面校准)。 首先， 基于软件的校准组件能够通过区分两个或者多个更多的图像(在背景图像和其上具有可视指示器的任何其他图像之间)以确定在 指示器的图像(由全部的摄像机拍摄)之间的对应性来提取对应于在校准装置上的可视指示器(诸如LED或者彩色端)的像素。可以例 如通过自动HSV分段、通过自动密度分段或者通过手工选择来设置 这样的对应性。在一个优选实施例中，镜子的几何属性的基于软件的校准组件使 用下面的校准方法来实现镜子校准。通过四个参数[u， d来将平面镜参数化，其中，u是归一化的三 维向量，用于指示镜子平面的方向(法线)，d是从镜子平面到与实 际摄像机相关联的摄像机坐标的原点或者实际摄像机的投影中心 (COP) (0，0，0)T的距离。因此，在镜子平面上的任何点p将满足p'u = d (1)方向矢量u满足Tu = 0 (2)其中<formula>formula see original document page 24</formula>在此，(Ci， Mi)分别是在实际摄像机(Ci)的区域中和镜子(Mi) 的区域中的可视指示器的图像的对应像素形心；上标表示像素形心的图像坐标，f是实际摄像机的焦距。其后，可以经由单值分解(SVD) 将法线u计算为对应于TTT的最小特征值的特征向量(参见Lin， J. Yeh， M. Ouhyoung， Ex/r""/wg "w/附fl"V w p"r"附"ers /n 附歸/餘wc/—, IEEE CGA， 22(6)， 2002 )。为了计算从实际摄像机的COP到镜子平面的距离d,需要在校 准图案上的两个可视指示器(pd和pc2)之间的已知长度L。如果在 与实际摄像机相关联的图像区域中的这两个指示器的投影是C1和 C、并且在镜子区域中的它们的对应性是Mi和M^则如图6中所示，下面的参数方程成立
<formula>formula see original document page 25</formula>
在此，t是来自COP (O，O，O)的射线的参数表示。因为用于描述 四个瞄准射线(sighting ray)的这四个参数是相关的，因此可以根据 镜子的反射属性在tcl的空间上进行二进制搜索如下。我们首先通过
F f t在td的当前迭代值计算tc2。其后，将pd和p"沿着
镜子平面的法线方向u投影在与]V^和]N^相关联的瞄准射线上，结果 产生在图6中所示的两个投影P磁和PM2。在经由线交点计算t肌和 tM2后，在两个投影PM1和PM2之间的距离被计算为
<formula>formula see original document page 25</formula> (其被单个容
差门限值e控制)时，递归过程结束。使用已知的PC1、 PC2、 P磁和 p^而唯一地确定从COP (O，O，O)到镜子平面的距离d。最后，在所 计算的d值内获得最小二乘解，因为多个可视的指示器用于镜子校准。
一旦完成了镜子校准，则基于软件的校准组件自动得出虛拟摄像 机的外在参数(诸如投影中心的位置和摄像机轴)。通过按照与虚拟 摄像机相关联的镜子反射实际摄像机的对应外在参数来获得虛拟摄 像机的外在参数。在一个优选实施例中，在与实际摄像机相关联的笛 卡儿坐标中执行诸如反射镜像的几乎所有的几何运算。因此，已知实 际摄像机的外在参数。
在一个优选实施例中，基于软件的校准组件被应用于校准立体象 对的外在参数。立体象对可以包括实际摄像机和虛拟摄像机或者两个 虛拟摄像机。如上所述，可以将计算机控制的可视指示器布置在动物 容器中，并且通过经由计算机并行端口发出TTL脉沖信号而逐个将其接通。这引入了大量对应。因此，通过基于软件的校准组件将由实 际摄像机和虚拟摄像机引入的核点计算为在相关联的两个视图中连 接指示器的对应图像的线的交点。
经由优化处理来计算由两个虚拟摄像机引入的核点，以便下面的
误差函数被最小化
<formula>formula see original document page 26</formula>
在此，(e。， ej是要通过迭代处理计算的核点，m是通过将所 述两个虛拟摄像机的图像平面的交线投影到实际摄像机的图像平面 上而形成的螺旋轴的投影，(M。， Mj是在同一可视指示器的虚拟 摄像机0和1的区域中的对应图像，i是可视指示器的索引。上述误 差函数的物理含义是当所述误差函数趋向于0时，连接eo和Mo的 核线应当与连接e！和在两个虚拟摄像机的螺旋轴的投影m上的]V^ 的核线相交(例如参见J. Gluckman， et al， ^ re"/-ri附e cfl/"d/o/;Wc 他m，&附 "s/"g 附Z/rcs， Proceedings of Image
Understanding Workshop, (1998))。图7示出了在图1中所示的立体 系统的核线几何形状的示例，其仅仅由用于立体象对的外在参数的基 于软件的校准组件校准。
如上所述的基本校准过程仅仅在当光线在单个媒体中穿行时(诸 如当监控啮齿动物时在空中)得出核线几何形状中有效。在监控水生 动物的运动相关行为的情况下，通过如上所述的基本校准方法而获得 的核线结构可能由于在水和空气之间的界面的光折射而不足。在这种 情况下，核线的一部分可能变得弯曲，并且在直核线之间的投影关系 可能不再保持。为了当瞄准射线穿过不同的媒体时调整立体影像几何 形状和识别相关联的图像对应，需要扩展的校准来适应光折射。通过
光通过两个不同的媒体的新的核线结A构。这种扩展的校准方法优选地 如下。
在监控水生动物的行为的情况下，箱子被填充水，因此引入了摄 像机瞄准射线的折射。因此，应当在两个连续的步骤中校准所述系统(l)基本校准，其中，按照如上所述的过程来校准和得出立体象对的传统核线结构；(2)扩展校准，其中，瞄准射线可能通过的媒体 界面被校准它们的位置和方向。所述扩展校准导致检测到对应于通过 多个媒体的折射的瞄准射线的失真的核线曲线。在所述过程期间，在 区域中的目标标记将被投影到在动物容器中的三维线段中。并且这个 线段将被投影回另一个区域上来作为核线曲线。然后，在对应性检测 过程期间，被核线曲线通过的目标标记被认为是满足所述核线限制的 对应者。因此，如果在摄像机瞄准射线的路径中存在多个媒体，则所 述核线结构不再是线性的。在扩展校准过程中，需要校准发生折射的媒体界面的精确的位置 和方向。扩展校准是基于射线跟踪方法。所述过程由两组计算(正向 折射和反像折射)构成。按照系统几何以及从基本校准得出的核线结构，可以对于界面的 参数进行初始的估计。这些参数包括在箱子中的两个观察窗和水表面 的法线m以及与摄像机的COP的距离(h。在此，i (i小于等于3) 表示这些媒体界面的索引。假定立体象对由两个摄像机Co和d构成，如图8中所示，其中， Q是实际摄像机，d是通过相对于镜子1反射实际摄像机Co而获得 的虛拟摄像机。正向折射通过下述方式开始通过将瞄准射线从COPo 射向在C。的图像平面上的可视指示器m (所述指示器的三维位置未 知)的图像M。。瞄准射线COP。M。在界面(Uq， d。)上的点S被折射。 通过忽略由于其较小的尺寸而导致的所有箱壁的厚度(大约2.5毫米 厚)，可以按照斯涅耳定律使用空气和水的已知折射率来计算折射射 线SP ( P是在折射射线上的任何三维点)。然后执行反向折射以找到 在d的图像平面上的点P的折射投影的图像Pn其应该是在d中 Mo的对应图像，只要媒体界面的参数是精确的，因此P是指示器m 的实际位置。设Pu表示P在界面(Ul， dj上的折射点，则Pi是d 的图像平面与射线PPu的折射射线的交点。因此，剩余的任务是找到 在(Ul， dj上的折射点Pu。通过在界面平面(Ul，山)和由P、 P在(Ul， dj上的投影(表示为V)和COPi确定的平面之间的交线 上执行二进制搜索来找到折射点Pu。在这个步骤中，在COPi和折射射线pp 之间的距离用于引导搜索，直到ppu的折射射线精确地通过COP"通过将校准图案置于水中，可以获得一组对应〈Mo， MA,其中 i表示第i个指示器。在每个M。i上的正向和反向折射后，可以按照如 上所述的方法来计算一组Pu。其后，最小化下面的误差函数以同时校 准两个界面平面的参数5 一上述的误差函数依赖于两个界面平面的所有参数。以交替的方式 来执行所述优化过程，直到满足足够的收敛。在所述迭代过程中使用 牛顿方法来有效地找到收敛点。在扩展校准方法的实现中，通过相对于镜子反射实际摄像机而获得虚拟摄像机，如图8中所示。如上所述，这种实现方式等同于仅仅 由实际摄像机同时观看目标本身的图像及目标的镜面反射图像。通过背景减除和彩色空间分段而进行的目标分段在一个实施例中，在动物运动跟踪开始之前通过校准组件来执行 离线系统校准，其后是基本校准过程，然后作为选用是如上所迷的扩 展校准过程。在离线校准完成后，所述系统可以被转换到在线跟踪模 式，其中，获得视频图像，并且将其以不变的帧速率提供到计算机中。在本发明的所述优选实施例中，通过基于软件的目标分段组件来 执行目标分段。所述目标分段组件通过两种方法(即背景减除和彩色 空间分段)来将与来自背景图像的目标相关联的前景图像分离。在所 述优选实施例中，前者用于跟踪水生动物，而后者被用于来跟踪啮齿 动物上的特征点。但是，这两种方法可以独立地或者组合地被应用到 跟踪所有类型的动物。在跟踪水生动物的三维运动中，本发明的系统优选地在跟踪处理开始之前产生背景图像。可以通过下述方式来完成所述背景产生通 过获得其中没有目标的动物容器的背景图像(如图5中所示)，或者 通过经由区分多个帧而消除与移动动物相关联的像素，然后平均这些 帧的彩色值以获得原始的背景图像。在在线跟踪模式期间，基于软件 的动态背景产生组件也可以动态地产生更新的背景图像，如果在背景 中发生变化则特别期望这种方式。在这个实施例中，可以对于在当前 的背景图像中的期望的可接受变化量设置门限值。当所述变化超过那 个预设的门限值时，可以动态地确定新的背景图像。用于更新背景图 像的标准如下其中，It和L分别是在时间t获取的帧和当跟踪过程开始时的第 一帧(或者在背景再生后获取的第一帧)；1。是当前的背景图像，其 或者在跟踪过程之前被产生，或者在跟踪过程的中间被再生；t是容差。在一个实施例中，对于图像上的每个像素，门限值被预设为5%。 因此，如果新的图像的总的变化大于来自原始图像的5%，则所述图 像被认为足够不同以被重新计算。可以通过背景减除或者彩色空间分段或者其组合来实现目标分 段。通过背景减除的目标分段通过下述方式来工作通过经由区分当 前帧与当前的背景图像而获得前景图像，然后将在前景图像中的像素 群集为目标的标记图像。在所述彩色空间分段中，通过下述方式来实 现目标图像的分段通过选择其彩色空间属性(HSV或者RGB)落 在前景图像的期望的彩色空间值的设置范围内的图像像素。这些前景 像素然后被群集为标记。对于从在单个图像平面上的实际摄像机和虚拟摄像机获得的所 有的图像执行目标分段。在基于软件的目标分段组件中，将下面的群 集算法应用到分段的前景图像上。初始分段的前景图像由通过背景减 除或者彩色分段而获得的分散像素构成。首先，将前景图像作为输入， 然后，通过密度滤波器和/或彩色空间滤波器来扫描所述图像以获得满 足一组门限值的像素。当找到这样的像素时，执行搜索以告知是否可以找到同一类型的任何相邻的像素。如果找到了相邻的像素，则它们 被分组在一起作为一个标记。否则，丢弃基于其而执行所述搜索的像 素。如果形成了标记，则通过平均在这个标记中的像素组而计算这个 标记的图像属性，然后这个标记被分段为用于表示可能的目标图像的 标记。这个过程继续直到找到了在前景图像上的所有可能的标记。在所述优选实施例中，通过分段和群集而获得的所有的标记然后 被标记大小滤波器测试。其大小落在所设置的大小范围之外的那些标 记被作为测量噪声除去。通过核线限制的对应性检测在本发明的所述优选实施例中，通过得出的核线结构(通过基于软件的校准组件来校准它)来获得核线限制。在一个优选实施例中， 在其中立体几何形状不失真的系统中至少存在两个核线结构。第一，在包括实际摄像机和虛拟摄像机的立体象对之间或者在实际摄像机 的区域中的一个目标标记和虚拟摄像机的区域中的同一 目标的另一个标记之间的核线结构；笫二，在两个虚拟摄像机之间或者在两个虛 拟摄像机的区域中的目标标记之间的核线结构。对于第 一 种核线结 构，基于软件的核线导出组件能够通过如上所述的基本校准过程来计 算核点e。在实际摄像机区域和在虛拟摄像机区域中设置的对应标记 应当满足下面的核线限制在此，C和M分别表示在实际摄像机和虛拟:摄像机的区域中的 两个标记。上述的核线限制的物理含义是连接对应的标记C和M的 线应当通过核点e。对于在两个虛拟摄像机之间的第二核线结构，可 以通过如上所述的基本校准处理通过核线导出组件来校准两个核点 ej和e2。在虛拟摄像机1的区域中的对应的标记集Mi和在虚拟摄像 机2的区域中的M2满足下面的核线限制。这个核线限制的物理含义 是连接M,和ei的线与连接M2和e2的线的交点位于螺旋轴m的投影 上。<formula>formula see original document page 31</formula>在监控水生动物的行为的情况下，上述的传统核线结构在寻找对 应的标记方面变得不足。因此，使用不同的方案来通过使用核线曲线 来找到对应的标记。这样的核线曲线就是被折射的瞄准射线在立体象 对的图像平面上的投影，它们是对应的。如在扩展校准过程中所述， 射线跟踪方法用于检测这样的核线曲线如下。在给定在一个区域中的标记M。的情况下，我们首先将其投影回三维空间中来作为瞄准射线。 然后，我们获得在动物容器中的折射射线段。我们将这个折射射线划 分为小线段。因此，我们具有沿着折射射线的几个端点(这些小线段 的端点)。通过将这些点经由折射投影到另一个区域，我们具有在那 个区域中的逐段的线性核线曲线。并且所述核线曲线将通过对应的标 记M!。同样，在核线曲线的导出中涉及两种折射，因此可以通过曲线的 核线限制(正向折射和反向折射)来检测对应的标记集。正向折射从 目标标记开始，反向折射从在与这个标记相关联的折射瞄准射线上的 三维点开始。在媒体界面上的折射前后的射线之间的关系可以按照斯 涅耳定律被描述为下面表达式 <formula>formula see original document page 31</formula>其中，e。和ei表示在入射和折射射线和界面法线之间的角度，x0 和h是诸如空气和水的两种媒体的折射率。正向和反向折射的过程类 似于在扩张校准过程(立体象对的校准)中所述的那些。以轻微的修改，在折射核线结构的对应的检测和导出中使用的射 线跟踪方法也可以容易地被应用到目标的三维位置的重建。目才示多艮踪、识别、才示i己本系统的一个实施例包括基于软件的目标三维运动跟踪组件和 目标识别/标记组件。在一个优选实施例中，所述基于软件的三维运动跟踪组件包括两个类型的一致性限制在不同的视图之间的空间 一致性和在图像序列 上的时间一致性。这两组限制被动态地分配自适应加权，并且在整个 监控处理中被同时施加。空间一致性的限制如下工作。当通过分段和群集而获得对应于可 能的目标的标记时，识别在它们之间的对应性。通过在不同的视图中 互连对应的标记的几何符合对应性集(GCCS)的产生而实现这样的 对应性的检测。对于每个帧，当未发生折射时通过传统的核线几何形 状来引导GCCS的导出，或者当瞄准射线通过多于一个媒体时通过非 线性的核线曲线限制来引导GCCS的导出。通过在每个帧的基础上检 测这样的GCCS来强制空间一致性，这是与时间无关的。时间 一致性的限制如下工作。线性三维卡尔曼滤波器被设计来从 在前一个帧中的这些目标的重建的位置和速率预测目标的当前的三 维位置。在所述三维卡尔曼预测器中，对于第i个目标的三维位置pi(t) 和速率 Vi(t)，保持在帧序列上更新状态向量<formula>formula see original document page 32</formula>对于帧tw，根据在帧t中的状态向量乂^)进行系统状态；,(/ + 1)的预测<formula>formula see original document page 32</formula>在此，①是恒定状态转换矩阵。在我们的系统中，使用三维线性 系统来预测新的状态，如在下面的方程中所述。<formula>formula see original document page 32</formula>， 所述状态转换矩阵如下。<formula>formula see original document page 32</formula>与在帧t+l的目标的三维位置的估计一起，也可以从卡尔曼预测 器获得预测状态协方差矩阵3^^+110。因此，通过反向折射过程来计算所估计的三维位置的二维投影，而矩阵^C+U^的最大特征值 也被计算和投影为围绕目标的所有的投影二维标记的搜索区域的半 径。在一个特定的实施例中，目标识别/标记组件是能量函数，其优 选地按照最小能量的原理来工作。所述能量函数以被跟踪的目标的分 段的前景标记来作为输入，在一个特别优选的实施例中，所述能量函 数将两个主要参数组合在一起来用于目标识别。这两个参数是通过三维运动跟踪组件获得的，包括空间一致性，其包括由多个核线限制 检测的GCCS;时间一致性，其包括具有继承的目标标签的多个三维 线性卡尔曼滤波器预测。为了识别目标和逐步向它们分配适当的标 签，通过所有可允许的置换来应用迭代，以找到所有的标记对的所有 能量值。具有最小能量的对被当作是从前一个帧继承目标标签的正确 的运动对。作为能量参数之一 ，空间 一致性使用通过核线几何导出组件获得 的核线限制。当存在单个媒体时，这些限制按照通过基本校准获得的 传统的线性核线几何形状，或者当发生光折射时，这些限制可以按照 通过扩展校准获得的调整的非线性的核线结构。在可能的对应标记之 间测试空间一致性值以得到GCCS，例如，如果标记不位于核线直线 或者曲线之上，则所述值是0，这表示所述标记未满足空间限制。如 果所述标记良好地位于所述核线上，则所述值是1,这表示所述标记 满足空间限制。基于在标记之间的对齐，这样的空间一致性值在0-1 之间。作为另 一个能量参数，时间一致性使用所有的三维线性卡尔曼预 测器来用于所有的被跟踪的目标。所述目标是通过目标识别组件被识 别的，其基于通过将空间 一致性和时间 一致性组合在一起的能量函数 的最小化。主要是通过最小化所示的能量函数而获得这样的整体跟踪 一致性，如下面所述。假定以N来表示所述一组卡尔曼滤波器预测(具有继承的标签)，并且以M来表示所检测的GCCS，并且分别具有n 个标签和m组的对应(由于可能的噪声，m大于等于n);则所述能 量函数是<formula>formula see original document page 34</formula>)在此，i、 j和v分别表示第i个标签、GCCS的第j个对应和第 v个视图。为了找到能量函数的最小值，字面上需要nxm个迭代，这 具有高的计算成本。但是，可以通过将迭代限定到在预测的搜索区域 中的GCCS来大幅度地裁剪搜索树。在标签被正确地分配到GCCS 后，通过卡尔曼校正器来更新三维卡尔曼滤波器的状态向量和状态协 方差矩阵。但是，应当注意，不需要物理目标标记。本发明的系统能够使用 基于空间 一致性和时间 一致性的算法智能地识别多个目标的三维运 动。在此使用的"空间一致性，，表示目标标记满足立体系统的核线限制 的倾向。在此使用的"时间一致性"表示与目标相关联的图像在短时间 中接近同一目标的前一个图像的倾向。本发明的系统不要求动物被加 标签或者被注入跟踪器件，除非特殊点或者特征点是所感兴趣的，它 们是动物身体上的小部分。在视觉冲突后的对象重新识别本发明可以还包括基于软件的重新标记组件，用于目标的重新识 别。当在特定的时间间隔期间两个或者更多的动物或者特征点足够接 近时，它们的投影图像可能在所有的视图中合并在一起，在这种情况 下，作为时间跟踪器的卡尔曼滤波器的强壮性变差，这通常导致当这 些动物或者特征点的路径在所述时间间隔后分开时标记模糊。这是因 为在分开时每个目标可继承多于一个标签。当两个或者多个移动的目 标(诸如斑马鱼)保持接近或者具有物理接触以至于它们的标签重叠， 即它们的当前三维位置看起来相同时，所述重新标记组件是有益的。 本发明的重新标记组件能够在近乎或者实际的冲突后重新分配两个 或者更多的目标的标签。在所述优选实施例中，所述重新标记组件包括施加用于时间 一致 性的辅助限制的几种方法。首先，沿着被监控的所有目标的帧序列来 产生和保持动态模板。对于任何帧，这样的模板包含在图像平面上被 标记的目标标记的所有的对应像素。这些模板也被二维卡尔曼滤波器 引导，并且用于每当目标的图像合并时区分不同的目标。而且，目标 的身体轮廓的扩展的体积三维路径被沿着时间轴连续地查看以保证它们在合并和分开后不彼此相交。图10和11示出了所获取的图像帧、所处理的图像和在线重建的三维轨迹，其中，在施加空间和时间限制后，金鱼和老鼠的才示"^被识别和标"^。 通过三角测量的三维重建所述系统也可以包括基于软件的三维重建组件，用于从其标记重 建目标的三维位置，即根据从所有的摄像机获得的图像确定目标的实 际三维位置。三角测量方法用于所述三维重建组件中。用于获得目标 的三维位置而没有光折射的三角测量处理被执行，如下所述。在目标的标记图像中建立正确的对应后，所述三角测量组件可以使用下面的方程来计算三维位置 (pc—j^)骂-o在此，PC和PM是目标的三维位置和同一 目标的镜面反射位置(参见图6) ， u是镜子的法线，d是从实际摄像机的COP到镜子平面的 距离。可以以在基本校准中描述的参数形式来表示pC和pM，并且具 有在实际摄像机和虛拟摄像机的区域中的标记的已知对应(参见图 6)。如果在实际摄像机的区域中没有目标的可获得标记(这可能是 由于阻挡而引起)，则可以使用下面的方程对于在两个镜子中的PM 的解来消除Pc。其也可以用于当获得所述镜面反射位置时恢复目标的 实际三维位置。pc 二p財一2(J^.a —力《在监控水生动物的运动行为的情况下，按照媒体界面的校准位置 和方向调整所述三角测量方法，以适应于瞄准射线的折射。图12和13示出了在酒精响应测试中三条金鱼的重建的三维运动 轨迹。图14示出了在酒精响应测试中单条斑马鱼的重建的三维运动 轨迹。图15示出了在酒癣响应测试中老鼠的头部(特征点被设置为 两耳的中点)的重建的三维运动轨迹。图16示出了在咖啡因痺响应 测试中老鼠的头部的重建的三维运动轨迹。数据后处理本发明的系统还包括数据后处理组件。所述数据后处理组件能够 将目标的三维轨迹平滑和去噪声，并且从目标的重建的三维轨迹自动 地提取所关心的运动变量。所述数据后处理组件还能够对于所提取的 运动变量执行描述和推论性的统计分析。图17-19示出了在金鱼的酒 癖测试中从目标的采样的三维运动轨迹所提取的运动速度和速率、转 动速度和速率和与它们的轨迹中心的距离和位移。图20示出了在金 鱼酒癖测试中的采样运动变量的统计分析的结果。图9图解了用于跟踪实验室动物的三维运动的特别优选的系统 和方法。在线和离线监控处理在一个优选实施例中，所述系统可以工作在三种模式中离线校 准模式、在线或者离线监控模式和在线/离线后处理模式。在所述优选实施例中，在在线模式中执行监控处理。在所述在线 模式中，在特定的时刻获取图像帧，然后被处理以获得目标的当前三 维位置。这些三维位置被加到当前的轨迹，所述当前轨迹被动态地平 滑、去除噪声和处理以获得所关心的运动变量。在离线监控模式中， 监控软件可以被分离为几个模块，包括视频捕获模块、视频处理模块 和数据分析模块。在所述视频捕获模块中，监控处理的视频序列被获 取和以压缩的图像格式或者原始图像格式存储在特定媒体中，诸如内部或者外部硬盘和录像带。时间标记序列也被存储，其包含与视频序 列相关联的时间信息。可以在以后的任何时间检索所述视频序列进行 观察或者图像处理。所述视频处理模块将所记录的视频序列作为输 入，并且执行所有的图像处理任务以获得原始的重建的三维轨迹。所 述数据分析模块以所述重建的三维轨迹或者所记录的时间标记序列 作为输入，并且执行数据处理任务，诸如轨迹平滑、轨迹去除噪声、 运动学分析和统计分析。图形用户界面在这个实施例中，用于实时行为监控的图形用户界面(GUI)由 三个窗口构成由实际摄像机捕获的实时视频；前景标记，其具有通 过软件分段和识别组件获得的标记索引；以及目标的被恢复的三维游 动轨迹，如图10和11中所示。可以使用本发明的三维运动重建组件 来在这个窗口上执行交互调查。在一个优选实施例中，三维运动重建 组件按照摄像机坐标来执行平移、旋转和缩放。图21示出了用于啮 齿动物夜间行为的在线监控处理的GUI的一个示例，其中，将背景光 用作环境照明源，同时以荧光染料标记在啮齿动物身体上的特征点。在一个特别优选的实施例中，本发明的软件组件是在具有 OpenGL图形支持的windows XP平台内编程的Visual C#.NET或者 Visual C++。其他平台的示例包括但是不限于MAC、 UNIX、 LINUX 等。示例下面的示例给出了本发明的三维行为监控系统的示例实施例，用 于监控和分析实验室动物的运动和运动相关联的行为，所述示例仅仅 用于说明，在此的任何内容都不应当被看作是对于本发明的整体范围 的任何限定。示例l:监控通过在水中增加酒精而引起的在金鱼(鲫鱼)的三维游动运动中的改变。本发明的系统和方法监控、量化和分析对于各种化合物的鱼的运 动响应上的改变。例如，这样的实验之一是金鱼的酒癣响应。在这个示例行为监控实验中，具有相同的生物条件的平均身体长度35 40毫 米的金鱼(鲫鱼)被筛选和飼养以获得酒精响应。金鱼然后被返回为 五个组，如表3中所示。要测试的鱼被保持在相同和自然的环境中几 天。在所述监控处理之前，它们被取出和在具有指定的酒精浓度值的 箱子中习惯一个小时。每个监控处理持续15分钟。为了排除由新环 境引起的任何过渡响应，对于最后5分钟内的鱼轨迹分析行为端点。 为了演示本发明的监控系统同时跟踪多条鱼的能力，具有相同的处理 的最多达三条鱼被传送到测试箱子中来进行监控运行。其他参数(例 如时间、温度等)被小心地控制在整个实验过程中的任何变化。图12 和13图解了来自所进行的实验的重建三维轨迹的一些示例，对于每 组有 一 个随机选择的监控运行。一旦实验完成，则由所述系统自动执行运动学分析。根据所监控 的鱼的三维运动轨迹，对于多种多元时间系列(MTS)执行这样的分 析，以进一步在时域和频域中提取特征。图17-19示出了对于从实验 随机选择的一些情况的这些得出的时间系列(游动速度/速率、转动速 度/速率和与轨迹中心的距离/位移，鱼的轨迹中心Ci被计算为<formula>formula see original document page 38</formula>
rA ,其中，M(t)是作为时间的函数的鱼的三维位置，T是监控处理的时间间隔)的示例。图20示出了与轨迹中心的三维距 离(DFC)、三维线性速度和三维角速度的平均值分别相对于酒精/ 水浓度的点估计和95%的置信区间。在图20中也示出了最小乘方拟 合响应曲线，用于指示在行为端点和酒精浓度值之间的关系。表4示 出了来自关于在表3中的5组的端点的单向ANOVA分析的所计算的 P值。而且，图34和35分别示出了来自对于平均DFC和三维线性速 度的逐组的此后平均值比较的所计算的P值。如图19 (A)和图19 (B)中所示，当酒精浓度从O提高时，金鱼趋向于沿着更展开的路径游动更快。当浓度提高直到特定值(在这种情况下大约是1.3%)时，这些倾向更猛烈。当浓度提高通过这个 点时，金鱼的运动当游动路径被限制到更小的区域时再次变得更慢， 直到当酒精浓度变得太高以致它们不能生存时它们最后停止移动(所 有的鱼在2%的酒精浓度下死亡)。另一方面，图20(C)示出了当 酒精浓度从0提高时金鱼的转动速率变得一致地更低。这些所观察的现象与关于动物的酒精响应的常识相符。如图33 中所示，在金鱼组之间找到平均DFC和三维线性速度的大差别，同 时，没有找到平均三维转动速率的大差别。如图34和35中所示的来 自平均值的此后测试的结果指示对于平均DFC和三维游动速度(i) 在控制组、测试组1 (酒精/水浓度0.25% )和测试组2 (酒精/水浓度 0.5% )之间没有大差别；(ii)在测试组3 (酒精/水浓度1.0% )和4 (酒精/水浓度1.5%)之间没有大差别；(iii)在控制组、测试组1 和2与测试组3和4之间的差很大。这些结果显示已经在关于实验室 鱼的酒精响应的公布结果中看到的类似倾向。示例2:通过监控老鼠头的三维运动的改变而评价酒精引起的中毒在这个示例中，本发明的三维行为监控系统被应用来量化地识别 在由酒精注入引起的中毒引发的老鼠运动上的详细差别。相关联的实 验的焦点是发现完全客观但是难于通过人的观察或者二维监控系统 检测的行为改变上的细节。从Charles River实验室获得21-25克雌性ICR老鼠。在行为实 验之前，这些老鼠被放在实验室动物设施中至少一个星期。所有的老 鼠被放在标准的鼠笼中，并且随意地提供食物和水。它们被以12:12 小时的黑白周期保持，并且每天上午9:00点灯。利用对于基因同类的老鼠和算术评估等级的先行研究，对于行为 实验，酒精剂量被确定为O、 0.1、 0.2、 0.5、 1.0和2.0 g/kg。因此， 测试老鼠被划分为6组，每组6个老鼠。在所述实验的早晨，分别在每个老鼠的左右耳部上涂敷黄色和蓝色的荧光染料。这些焚光染料作为特征点或者要监控的目标。每天准备新鲜的在盐水(0.9 NaCl)中 的浓度为0.2-2 g/10ml的酒精溶液。每个老鼠被称重，然后按照所选 择的剂量被注入酒精溶液。然后在行为监控之前，将老鼠放在监控系 统中的动物容器中10分钟。监控室的内部被黑色光照明，以刺激所 述荧光染料。对于每次监控，将视频图像序列记录10分钟，然后存 储在计算机硬盘上。所记录的视频序列以后被检索来用于特征点的运 动轨迹的三维重建和用于数据后处理。在完成每次监控处理后清洁所 述动物容器。从老鼠头的重建的三维轨迹计算运动参数。将老鼠头的位置取作 老鼠的两耳的中点。被统计分析的参数包括运动速度、角速度、加速 度和与轨迹中心的距离(DFC)。图21示出了老鼠头的上下运动速 度的组平均值和标准偏差。图22示出了老鼠头的与轨迹中心的三维 距离(DFC)的組平均值和标准偏差。为了分析测试老鼠的后部行为， 在逐组基础上计算当老鼠头在不同高度时时间间隔的平均持续时间。 下面的高度的四个部分被指定低于17mm、 17mm到25mm、 25mm 到45mm和大于45mm，最后一部分对应于老鼠的后部运动。在每个 剂量组之间比较在每个高度部分中的持续时间。图23示出了在每个 组中的老鼠头的高度的分布。图24示出了不同的酒精剂量对于老鼠 的后部行为的影响。也在组之间计算和比较在动物容器的后半部分 (隐藏倾向)中花费的时间。另外，也将在动物容器的四个角花费的 时间计算和比较为调查倾向的指示。图25示出了时间百分比的组平 均值和标准偏差，其中，老鼠呆在动物容器的后半部分。图26示出 了当老鼠呆在动物容器的角落时时间百分比的组平均值和标准偏差。对象的测试用于这些行为端点的逐组比较。表7示出了关于老鼠 头的上下速度的逐组平均值比较的结果，"*"表示在被比较的两个组 之间的大差别。表8示出了关于老鼠头的与轨迹中心的三维距离的逐 组平均值比较的结果。表9示出了关于在监控过程期间后部的时间百 分比的逐组平均值比较的结果。图15示出了老鼠头的重建的三维运动轨迹的示例，其中，(A) 和(D)是不注入酒精的控制老鼠；(B)和(E)是在注入酒精后的 测试老鼠，身体重量-归一化的酒精浓度是0.2g/kg;并且(C)和(F) 是在注入酒精后的测试老鼠，身体重量-归一化的酒精浓度是2.0 g/kg。从老鼠头的运动参数的统计分析，当与控制组(仅仅盐水)相比 较并且有时与实验组相比较时，8个基本运动参数(三维速度、三维 角速度、三维加速度、DFC、三维速度在XY平面上的投影、三维角 速度在XY平面上的投影、沿着Z轴的速度、沿着Z轴的角速度)都 得出了大差别(例如参见表7和8)。在四个高度部分中的高度分布显示大差别，特别是对于2.0 g/kg 组(参见表9 )。在保存箱的后半部分中花费的时间不显示任何差别(参见图25) 。在四个角落花费的时间在所述组的几个之间大大不同(参见图26) 。所述三维行为监控系统证明是用于区分在受到酒精引发的毒性 影响的运动相关行为中的最小改变的有效工具。这些差别还不能被眼 睛检测，它们是与剂量相关联的并且是可再生的。在当前的研究中， 仅仅在一个测试组中包括6个测试动物，已经在许多成对的比较中检 测到统计显著性。通过在每个组中对于更多的动物使用相同的处理， 我们可以测试所有类型的老鼠对于任何化学品的响应，获得精确的结 果。
权利要求
1.一种三维监控系统，包括至少一个实际摄像机、至少一个虚拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统监控和分析至少一个对象的运动相关行为。
2. —种三维监控系统，包括至少一个实际摄像机、至少一个虚 拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统包括 扩展的校准组件。
3. —种三维监控系统，包括至少一个实际摄像机、至少一个虚 拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统监控 和分析多于一个对象的运动相关行为。
4. 按照权利要求l、 2或者3的系统，其中，所述计算机被安装软件。
5. 按照权利要求l、 2或者3的系统，其中，所述系统在包括3 个平移和3个旋转的6个自由度方面监控和分析对象的运动相关行 为。
6. 按照权利要求l、 2或者3的系统，其中，所述系统能够监控 一个或多个对象的三维运动相关行为。
7. 按照权利要求l、 2或者3的系统，其中，所述系统能够监控 在一个或多个对象上的一个或多个特征点的三维运动相关行为。
8. 按照权利要求l、 2或者3的系统，其中，所述系统能够在在 线或者离线模式中执行行为监控。
9. 按照权利要求l、 2或者3的系统，其中，所述实际摄像机选 自由数字摄像机和具有帧抓取器的模拟摄像机组成的组。
10. 按照权利要求l、 2或者3的系统，其中，所述虛拟摄像机 选自由反射表面和与实际摄像机同步的摄像机构成的组。
11. 按照权利要求l、 2或者3的系统，其中，通过将所述实际 摄像机反射到反射表面中来获得所述虚拟摄像机。
12. 按照权利要求l、 2或者3的系统，其中，所述系统是反折射的立体系统。
13. 按照权利要求10或者11的系统，其中，所述实际摄像机捕 获所述目标的图像和在反射表面中的目标的镜面反射图像。
14. 按照权利要求l、 2或者3的系统，还包括多于一个实际摄像机。
15. 按照权利要求l、 2或者3的系统，还包括多于一个虚拟摄像机。
16. 按照权利要求l、 2或者3的系统，其中，所述实际摄像机 能够在逐个帧的基础上获取图像。
17. 按照权利要求l、 2或者3的系统，其中，所述摄像机形成 多于一个线性独立的视图。
18. 按照权利要求l、 2或者3的系统，还包括外箱，其将所述 摄像机和动物容器限定在闭合的空间中。
19. 按照权利要求l、 2或者3的系统，还包括选自由发光二极 管(LED)或者彩色端构成的组的可视指示器装置。
20. 按照权利要求19的系统，其中，所述可视指示器装置还包 括电子面板和可编程的计算机端口 ，用于自动接通和关闭所述可视指 示器。
21. 按照权利要求l、 2或者3的系统，还包括动物容器。
22. 按照权利要求21的系统，其中，所述动物容器具有至少两 个垂直面，其限定了第一和笫二监控窗。
23. 按照权利要求22的系统，还包括不透明的表面，用于防止 在其上形成反射图像。
24. 按照权利要求l的系统，其中，所述对象选自由啮齿动物、 鱼、昆虫、蠕虫、两栖动物、爬行动物和哺乳动物构成的组。
25. 按照权利要求22的系统，其中，所述实际摄像机的轴在第 一监控窗的平面上，并且所述虚拟摄像机的轴在第二监控窗的平面 上。
26. 按照权利要求l、 2或者3的系统，其中，所述计算机包括校准组件、立体图像处理组件、目标跟踪和识别组件以及三维重建组 件。
27. 按照权利要求l、 2或者3的系统，其中，所述计算机包括 噪声消除组件。
28. 按照权利要求27的系统，其中，所述噪声消除组件检测由 照明条件上的改变和/或由错误分段的图像引起的噪声。
29. 按照权利要求27的系统，其中，所述噪声消除组件自动消 除由噪声引起的误差。
30. 按照权利要求l、 2或者3的系统，其中，所述计算机包括 运动相关行为分析组件。
31. 按照权利要求30的系统，其中，所述运动相关行为分析组 件从目标的重建的三维运动轨迹执行运动学和统计分析。
32. 按照权利要求26的系统，其中，所述校准组件还包括基本 校准组件和扩展校准组件。
33. 按照权利要求32的系统，其中，所述基本校准组件校准反 射表面和虚拟摄像机。
34. 按照权利要求32的系统，其中，所述扩展校准组件校准折 射界面。
35. 按照权利要求32的系统，其中，所述扩展校准组件使用包 括正向和反向折射的射线跟踪方法。
36. 按照权利要求26的系统，其中，所述立体图像处理组件还 包括核线结构导出组件、图像分段组件和图像对应性检测组件。
37. 按照权利要求36的系统，其中，所述核线结构导出组件导 出在单个媒体中的线性核线结构。
38. 按照权利要求36的系统，其中，当光通过两个或者更多媒 体时，所述核线结构导出组件导出非线性核线结构。
39. 按照权利要求37的系统，其中，从摄像机的校准参数导出 所述线性核线结构。
40. 按照权利要求38的系统，其中，从摄像机和折射界面的校准参数导出非线性核线结构。
41. 按照权利要求36的系统，其中，所述图像分段组件使用背 景减除方法或者彩色空间分段方法或者其组合。
42. 按照权利要求41的系统，其中，所述背景减除方法自动地 和自适应地更新背景图像。
43. 按照权利要求36的系统，其中，所述图像对应性检测组件 检测在所有视图中的目标的图像之间的对应性。
44. 按照权利要求36的系统，其中，所述图像对应性检测組件 通过使用核线几何限制来执行对应性检测。
45. 按照权利要求26的系统，其中，所述目标跟踪和识别组件 能够进行三维运动跟踪和目标识别。
46. 按照权利要求45的系统，其中，所述三维运动跟踪检测在 所有视图中和在两个连续图像帧中的目标的相关图像。
47. 按照权利要求45的系统，其中，所述三维运动跟踪提取从 图像对应性检测获得的对应图像集。
48. 按照权利要求47的系统，其中，所述三维运动跟踪还使用 三维卡尔曼预测器-校正器方法来跟踪在两个连续帧上的目标图像。
49. 按照权利要求45的系统，其中，所述目标跟踪和识别组件 识别在所获取的帧上的目标图像，并且自动向所述目标图像分配标 签。
50. 按照权利要求45的系统，其中，所述目标跟踪和识别组件 通过对空间一致性或者时间一致性和/或其組合应用最小能量原理来 识别目标图像。
51. 按照权利要求50的系统，其中，所述空间一致性是对应的 目标图像满足核线限制的倾向。
52. 按照权利要求50的系统，其中，所述时间一致性是与目标 相关联的图像在短时间中接近同一目标的前一个图像的倾向。
53. 按照权利要求45的系统，其中，所述目标跟踪和识别組件 能够识别多个对象，而不向所述对象附加物理标签。
54. 按照权利要求45的系统，其中，所述目标和识别组件能够 识别在对象上的多个特征点，而不向所述特征点附加物理标签。
55. 按照权利要求26的系统，其中，所述三维重建组件从目标 图像重建目标的三维位置。
56. 按照权利要求26的系统，其中，所述三维重建组件从两个 或者更多的独立视图重建目标的三维位置。
57. 按照权利要求26的系统，其中，所述三维重建组件通过使 用三角测量方法来执行三维重建。
全文摘要
本发明涉及一种用于三维监控和分析测试对象、例如实验室动物的运动相关行为的系统。所述系统包括实际摄像机、至少一个虚拟摄像机和计算机，所述计算机连接到所述实际摄像机。所述计算机并且最好被安装软件，所述软件能够捕获与测试对象的三维运动相关行为相关联的立体图像，并且处理从对象的三维运动参数所获取的这些图像帧。
文档编号G06T15/00GK101228555SQ200680024793
公开日2008年7月23日 申请日期2006年7月7日 优先权日2005年7月7日
发明者朱立群, 王建宁, 伟 翁, 容 苏 申请人:独创目标实验室公司