行李可视化和虚拟开检的制作方法
【专利摘要】本发明提供了用于行李可视化的方法和系统，通过视觉上将物体图像从其初始位置移动，执行虚拟开检。在置信量度的引导下，对扫描的3D体积进行分割，以建立标号体积，其体素指定了被检测的物体ID。通过体积渲染使行李数据集和标号体积可视化。使用自动着色算法，为其投影在图像中相邻的任何成对物体分配截然不同的色调。分层架构有效地渲染混合有装包行李、动画式开检物体、以及放在一边以便进一步检查的已开检物体的场景。使用GPU，以自动选择未被其它物体阻挡并且可以开检的物体。
【专利说明】行李可视化和虚拟开检
[0001] 相关申请的交叉引用
[0002] 本申请要求以2012年3月20日提交的、美国临时申请序号为61/613, 037的申请 为优先权，该申请的全部内容在此以引用方式并入本文。
【技术领域】
[0003] 本发明涉及通过使用成像技术来检查行李的方法和系统。具体而言，本发明涉及 的方法和系统，借助于计算机，通过虚拟方式和图形方式开检（unpacking)在一件行李中 紧密装包的物体，来可视化该件行李内容物。
【背景技术】
[0004] 为了检查危险和违禁物品，无论是托运行李还是携带行李，行李筛查都是不可避 免的，对于航空安全尤为如此。最可信赖的手段仍然是物理方式打开行李并且开检其内容 物。不幸的是这非常低效而且冒昧。
[0005] 采用现代扫描技术，诸如计算机X线断层照相（CT)，有可能重建被扫描行李及其 内容物体的精确三维几何特性。自然地，行李被装包，意味着在扫描图像上可视化时许多物 体都处于彼此紧密接触并显得连接、重叠而且杂乱。这通常包括人工交互作用，以开检并且 孤立各个物体，以便更好地检查。
[0006] 据此，需要改进的以及新颖的方法和系统，来对紧密装包在行李中的物体进行虚 拟开检，并且在计算机屏幕上显示开检的和开检后的物体。
【发明内容】
[0007] 根据本发明的方面，提供了用于在显示器上观察将容纳了处于被装包状态的物体 的行李虚拟开检为处于已开检状态的物体的系统和方法，其中，根据用扫描器获得的、物理 行李的体积数据建立图像，以及，在显示器上同时显示处于已开检状态的物体的图像。
[0008] 根据本发明的方面，提供了一种虚拟开检行李的方法，包括：扫描器获得行李内处 于装包状态的多个物体的三维（3D)体积数据；处理器处理3D体积数据，以将处于装包状态 的多个物体分割成为与多个装包物体对应的多个3D体积物体；以及，处理器渲染处于开检 状态的多个3D体积物体中的每一个，以使其同时显示在显示器上。
[0009] 根据本发明的又一方面，提供了一种方法，其中，基于装包物体相对于用来观察装 包物体的观察方向的遮挡（occlusion)状态，按次序开检处于装包状态的物体。
[0010] 根据本发明的又一方面，提供了一种方法，其中，将多个已开检3D体积物体中的 每一个的已渲染图像作为可个别检索的子图形（sprite)存储在存储器中。
[0011] 根据本发明的又一方面，提供了一种方法，进一步包括：处理器从3D体积图像中 分割多个装包物体，以建立与装包物体对应的多个二元标号体积；以及，处理器组合二元体 积以形成标号体积，其中体素存储了对应的二元标号体积的识别（ID)值。
[0012] 根据本发明的又一方面，提供了一种方法，进一步包括：通过从物体识别（ID)图 像中计算冲突图（interference map)，处理器生成给每一个分割物体的颜色分配。
[0013] 根据本发明的又一方面，提供了一种方法，其中，通过评估以下表达式以及利用图 着色算法给冲突图中的每一冲突物体分配不同色调，来由处理器通过2D滤波计算冲突图， 所述表达式为：
【权利要求】
1. 一种虚拟开检行李的方法，包括： 扫描器获得所述行李内处于装包状态的多个物体的三维（3D)体积数据； 处理器处理所述3D体积数据，以便将处于装包状态的所述多个物体分割成为与多个 装包物体对应的多个3D体积物体；以及 所述处理器渲染处于已开检状态的所述多个3D体积物体中的每一个，以使其同时显 示在显示器上。
2. 根据权利要求1所述的方法，其中，基于装包物体相对于用来观察所述装包物体的 观察方向的遮挡状态，按次序开检处于装包状态的物体。
3. 根据权利要求1所述的方法，其中，将多个已开检的3D体积物体的每一个的已渲染 图像作为可个别检索的子图形存储在存储器中。
4. 根据权利要求1所述的方法，进一步包括： 所述处理器从所述3D体积数据中分割多个装包物体，以便建立与装包物体对应的多 个二元标号体积；以及 所述处理器组合二元体积以形成标号体积，其中体素存储了对应的二元标号体积的识 别（ID)值。
5. 根据权利要求1所述的方法，进一步包括： 通过从物体识别（ID)图像中计算冲突图，所述处理器生成给每一个已分割物体的颜 色分配。
6. 根据权利要求5所述的方法，其中，由所述处理器通过2D滤波，通过评估以下表达式 和利用图着色算法以给所述冲突图中的每一冲突物体分配不同色调，来计算所述冲突图， 所述表达式为：
pA和pB分别表示在从物体A和B的正面投影的图像中的像素，dist(pA，pB)表示图像空间中两个像素之间的距离， DT是预定距离门限值， layer(p)表示像素p的层索引，并且 LT将计算限制于LT层。
7. 根据权利要求5所述的方法，进一步包括： 所述处理器运用多个已分割物体的物体ID图像，以便基于每个物体的从给定观察方 向的遮挡率来确定开检次序。
8. 根据权利要求1所述的方法，其中，通过访问至少三个渲染层对开检场景进行渲染， 其中， 第一层含有处于装包状态的所有物体的已渲染图像； 第二层含有正在开检的物体的已渲染图像；以及 第三层含有已开检物体的子图形的已渲染图像。
9. 一种显示对容纳了多个处于装包状态的物体的行李进行虚拟开检的系统，所述系统 包括： 行李扫描器，用于获得所述行李内处于装包状态的多个物体的三维（3D)体积数据； 存储器，能存储数据和指令； 处理器，能访问所述存储器以获得数据和指令，所述处理器能执行指令以执行下列步 骤： 访问由所述行李扫描器生成的3D体积数据； 处理所述3D体积数据，以将处于装包状态的多个物体分割成为与多个装包物体对应 的多个3D体积物体；以及 渲染处于已开检状态的所述多个3D体积物体中的每一个，以便使其同时显示在显示 器上。
10. 根据权利要求9所述的系统，其中，基于处在装包状态下的多个物体相对于用来观 察所述物体的观察方向的遮挡状态，按次序由所述处理器开检处于装包状态的所述多个物 体。
11. 根据权利要求9所述的系统，进一步包括： 使所述处理器能从所述3D体积数据中分割处于装包状态的所述多个物体，以便建立 与处于装包状态的所述多个物体对应的多个二元标号体积；以及 使所述处理器能组合所述二元体积以形成标号体积，其中体素存储了对应的二元标号 体积的识别（ID)值。
12. 根据权利要求9所述的系统，进一步包括： 通过从物体识别（ID)图像中计算冲突图，使所述处理器能给每个已分割物体生成颜 色分配。
13. 根据权利要求12所述的系统，进一步包括： 使所述处理器能通过2D滤波，通过估计以下表达式以及利用图着色算法给所述冲突 图中的每一冲突物体分配不同色调，来从物体ID图像中生成冲突图，所述表达式为：
pA和pB分别表示在从物体A和B的正面投影的图像中的像素，dist(pA，pB)表示图像空间中所述两个像素之间的距离， DT是预定距离门限值， layer(p)表示像素p的层索引，以及 LT将计算限制于LT层。
14. 根据权利要求12所述的系统，进一步包括： 使所述处理器能运用多个已分割物体的物体ID图像，以便基于各物体相对于观察方 向的遮挡率来确定开检次序。
15. 根据权利要求9所述的系统，还包括显示器，用于将所述开检渲染为动画式系列图 像。
16. 根据权利要求9所述的系统，还包括： 使所述处理器能通过访问至少三个渲染层来渲染开检场景，其中， 第一层含有处于装包状态的所有物体的已渲染图像； 第二层含有正在被开检的物体的已渲染图像；以及 第三层含有已开检后物体的子图形的已渲染图像。
17. 根据权利要求9所述的系统，其中，按次序动画演示已开检物体的图像，所述次序 显示了处于已开检状态的物体被重新装包为处于装包状态的多个物体。
18. -种用于在显示器上将处于装包状态的多个物体的三维（3D)体积数据可视地开 检成为多个已开检物体的方法，包括： 处理器处理所述3D体积数据，以便将处于装包状态的多个物体分割成为与多个装包 物体对应的多个3D体积物体；以及 所述处理器渲染处于开检状态的所述多个3D体积物体中的每一个，以便使其同时显 示在所述显示器上，其中，基于所述装包物体在开检方向的遮挡状态，按次序开检处于装包 状态的物体。
19. 根据权利要求18所述的方法，其中，在与观察方向相反的方向上开检物体。
20. 根据权利要求18所述的方法，其中，在行李检查系统中应用所述方法。
【文档编号】G06T19/00GK104488002SQ201380026101
【公开日】2015年4月1日 申请日期:2013年3月7日 优先权日:2012年3月20日
【发明者】李维, G.帕拉迪尼 申请人:西门子公司