用于使用范围传感器选择二维兴趣区域的系统和方法
【技术领域】
[0001] 本发明大致涉及用于使用范围传感器在二维影像中选择二维兴趣区域（region of interest)的系统和方法。
【背景技术】
[0002] 从常规的数字摄像头获得的二维影像会例如在影像的背景或其他部分中包括分 散且不相干的杂乱部分。通常，二维影像的分割可以包含环境的物理修改，例如增加幕帘 (curtain)以除去不相干的背景杂乱部分。仅使用二维记号（two-dimensional cues)对二 维影像进行电子分割耗费时间。
【发明内容】
[0003] -种系统，包括第一摄像头，该第一摄像头限定第一摄像头坐标系（C1)且配置为 获得情景的第一影像。范围传感器与第一摄像头间隔开第一距离且限定范围传感器坐标系 (R)。例如，第一摄像头的透镜和范围传感器的传感器部分可以分别定位在第一摄像头坐标 系（C 1)和范围传感器坐标系（R)的原点处。
[0004] 控制器操作性地连接到第一摄像头和范围传感器。第一摄像头、控制器和范围传 感器可以是单个装置的一部分。控制器具有处理器和实体非瞬时存储装置，在该存储装置 上记录了用于执行方法的指令，所述方法用于获得第一影像中的二维兴趣区域（Ι?Λ V;)， 其为二维强度影像（intensity image) ο
[0005] 通过处理器执行指令使得控制器通过第一摄像头获得情景的第一影像。第一影像 通过第一影像平面中的多个第一点（ Ul，Vl)所代表。控制器配置为通过范围传感器获得情 景的范围影像。范围影像通过第二影像平面中的多个第二点（u 2，v2，d)所代表。范围影像 中多个第二点（u2，v2，d)每一个包括对应于从范围传感器到情景中物体的相应距离的范围 距离（d)。
[0006] 控制器配置为将范围影像转换为范围传感器坐标系（R)中的三维样本点（x2, y2， z2);和在范围传感器坐标系（R)中从三维样本点（x2, y2, z2)选择三维兴趣区域（x2% y/， z/)。在范围传感器坐标系（R)中被选择的三维兴趣区域（?% y/，z/)可以仅包括情景中 距范围传感器小于最小距离的物体。三维体积中每一个被选择点的空间位置可以是范围距 离⑷的函数。范围传感器坐标系（R)中被选择的三维兴趣区域（ X/，y2%z/)可以仅包括 情景中的在三维体积中或其表面上的物体。三维体积中每一个被选择点的空间位置可以是 时间的函数，从而三维体积的位置、尺寸或形状可以随时间改变。
[0007] 控制器配置为将三维兴趣区域从范围传感器坐标系（R)转换为第一摄像头坐标 系（C1KO^yA z2*)到（Xl*，yi*，Z1*)]。控制器配置为将第一摄像头坐标系（C 1)中的三维 兴趣区域（χΛ yA O映射到第一影像平面，以获得二维兴趣区域（ιιΛ 〇。
[0008] 第一摄像头可以是数字摄像头。利用具有距离信息的范围影像可提供分割二维影 像的快速且成本有效的方式，由此加速分析二维影像的处理。系统减小了将需要执行其他 更耗费计算量的算法的影像部分，使得视觉处理总体上得以加速。例如，这可防止在搜索二 维强度影像时的虚假匹配。
[0009] 根据一实施例，本发明提出一种系统，包括：
[0010] 第一摄像头，限定第一摄像头坐标系（C1)且配置为获得情景的第一影像；
[0011] 范围传感器，与第一摄像头间隔开第一距离且限定范围传感器坐标系（R);
[0012] 控制器，操作性地连接到第一摄像头和范围传感器，控制器具有处理器和实体非 瞬时存储装置，该存储装置上记录有用于执行获得第一影像中二维兴趣区域（UAv1O的方 法的指令；
[0013] 其中通过处理器执行指令使得控制器：
[0014] 通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一 点（U1, V1)所代表；
[0015] 通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二 点（u2，V 2，d)所代表；
[0016] 将范围影像转换为范围传感器坐标系（R)中的三维样本点（x2, y2, Z2);和
[0017] 在范围传感器坐标系（R)中从三维样本点（x2，y2, z2)选择三维兴趣区域（χ/,γ/， Z2*)。
[0018] 优选地，其中所述将范围影像转换为范围传感器坐标系（R)中的三维样本点（x2， y2, z2)包括：获得转换矩阵（P2)，以用于将范围传感器坐标系（R)转换到第二影像平面；和 使用所述转换矩阵的逆矩阵，以用于将范围影像转换为三维样本点（x 2, y2, Z2)。
[0019] 优选地，其中在范围传感器坐标系（R)中选择的三维兴趣区域（x2% y/，z/)仅包 括情景中的距范围传感器小于最小距离的物体。
[0020] 优选地，其中：范围影像中的所述多个第二点（u2，v2，d)的每一个包括一范围距离 (d)，该范围距离对应于从范围传感器到情景中物体的相应距离；被选择的三维兴趣区域 (x 2%y2%z/)限定了被选择点，三维体积中每一个被选择点的空间位置为所述范围距离（d) 的函数。
[0021] 优选地，范围传感器坐标系（R)中的被选择的三维兴趣区域（x2*，y2*，Z 2*)仅包括 情景中的在三维体积中或其表面上的物体，三维体积限定被选择点；三维体积中每一个被 选择点的空间位置是时间的函数。
[0022] 优选地，第一摄像头、控制器和范围传感器是单个装置的一部分。
[0023] 优选地，其中控制器进一步配置为：将三维兴趣区域从范围传感器坐标系（R)变 换到第一摄像头坐标系（C 1) [(?% y/，z/)到（χΛ yi% Z1*)];将第一摄像头坐标系（C1)中 的三维兴趣区域（χΛ yA Z1，映射到第一影像平面上，以获得二维兴趣区域（uA V1*)。
[0024] 优选地，其中所述将三维兴趣区域从范围传感器坐标系（R)变换到第一摄像头坐 标系（C 1) [(?% y2% ζ/)到（χΛ yi% 0 ]包括：获得用于将范围传感器坐标系（R)转换为 第一摄像头坐标系（C1)的第一变换矩阵（T21)。
[0025] 优选地，其中所述将第一摄像头坐标系（C1)中的三维兴趣区域（χΛ yi% 〇映射 到第一影像平面上包括：获得用于将第一摄像头坐标系（C1)投影到第一影像平面的投影矩 阵（P 1)。
[0026] 优选地，系统进一步包括第二摄像头，其与范围传感器间隔开第二距离且限定第 二摄像头坐标系（C2);其中控制器配置为：
[0027] 在获得范围影像之后获得情景的第三影像，该第三影像通过第三影像平面中的多 个第三点（U 3，V3)限定；
[0028] 确定用于将第三影像平面转换为第一影像平面的第二变换矩阵（T31)。
[0029] 将来自第三影像平面的所述多个第三点（u3, V3)经由第二变换矩阵（T31)变换到 第一影像平面；和
[0030] 在将范围影像转换为三维样本点（x2, y2, Z2)之前，将第三影像与第一影像结合。
[0031] 根据另一实施例，提出一种系统，包括：
[0032] 第一摄像头，限定第一摄像头坐标系（C1)且配置为获得情景的第一影像；
[0033] 范围传感器，与第一摄像头间隔开第一距离且限定范围传感器坐标系（R);
[0034] 控制器，操作性地连接到第一摄像头和范围传感器，控制器具有处理器和实体非 瞬时存储装置，该存储装置上记录有用于执行获得第一影像中的二维兴趣区域（UAv 1O的 方法的指令；
[0035] 其中通过处理器执行指令使得控制器：
[0036] 通过第一摄像头获得情景的第一影像，第一影像通过第一影像平面中的多个第一 点（U1, V1)所代表；
[0037] 通过范围传感器获得情景的范围影像，范围影像通过第二影像平面中的多个第二 点（u2，V 2，d)所代表；
[0038] 将范围影像转换为范围传感器坐标系（R)中的三维样本点（x2, y2, Z2);
[0039] 在范围传感器坐标系（R)中从三维样本点（x2，y2,