专利名称：一种基于单目视觉的行李外观信息自动获取系统及其方法
技术领域：
本发明属于计算机视觉与图像处理技术领域，具体地说涉及一种基于单目视觉的 行李外观信息自动获取系统及其方法。
背景技术：
随着世界各国航空客运市场的快速发展，乘坐飞机来往于各地的旅客人数在不断 增多。然而，受机场、行李装卸、分检设备、人员素质、甚至天气等多种不确定因素的影响，航 班行李发生不正常运输的事故越来越多。为了有效处理不正常运输的行李，世界行李查询系统W0RLDTRACER应运而生。该 系统是一套可实现事故行李自动核对查找、实时监控和系统管理的现代化信息管理系统， 然而，受高昂的费用、无中文功能等因素影响，这套系统目前尚没办法在我 国机场，尤其是 小型机场普遍推广使用。目前，我国各航空公司独立处理不正常运输的行李，对事故行李缺乏有效沟通，使 得行李运输的事故率居高不下，旅客的行李投诉率也逐年攀升，增加了承运人的运营成本， 极大影响了承运人的信誉。为此，国内有个别航空公司，如南航，对外公布开发了用于行李 查询、能与互联网相衔接的、具有中文功能的行李查询系统，但这套系统因为仅限于本航空 公司内部使用，而且使用的航站少，还没有充分发挥出其应有的作用。如何实现机场事故行李的信息自动获取与查询，成为广大机场和航空公司高度关 注的问题。对于不正常运输的行李，当前国内大多数机场主要依赖行李处理人员通过人工 目视方法获得行李的基本信息，人工登记行李基本情况表。随着行李不正常运输事故的日 益增多，这种重复、低效的人工处理方式，严重影响了事故行李处理的效率，也给事故行李 处理人员带来了繁重的工作量。对于我国这样一个航空运输业快速发展的大国，当前不正 常运输行李的低效处理现状与我国民航运输的发展极不和谐。利用计算机视觉和图像处理技术对事故行李图像进行分析处理，自动获取行李的 外观信息，具有成本低、非接触、自动处理的特点，可用于机场、火车站、长途汽车站等多种 场合的事故行李信息自动获取。尤其对于规模较小、运营成本有限的小型机场、火车站和长 途汽车站等场合，基于单目视觉来自动获取行李信息是一种非常有效的途径。目前，虽然单 目视觉技术已经在很多领域得到了应用，但是还未曾出现基于单目视觉的行李外观信息自 动获取系统。
发明内容
本发明的目的在于提供一种基于单目视觉的行李外观信息自动获取系统及其方 法，利用计算机视觉和图像处理技术，实现行李尺寸、颜色与纹理外观信息的低成本自动获 取，为事故行李查询提供数据支撑。为了实现本发明的目的，本发明的第一方面在于提供一种基于单目视觉的行李 外观信息自动获取系统，该系统包括载物台、彩色相机、照明设备、图像处理模块和服务 器，其中载物台用来放置行李、安装彩色相机与照明设备；彩色相机用于获取行李和载物台的彩色图像；照明设备则为彩色相机成像提供稳定的照明；图像处理模块与彩色相机连 接，用来对彩色相机获取的行李图像进行分析处理，获得行李的尺寸、颜色和纹理信息；月艮 务器存储图像处理模块获得的行李尺寸、颜色和纹理外观信息，同时保存彩色行李图像，为 行李管理人员和旅客提供行李信息的查询服务；其中所述载物台呈“H，，或“]，，的形状， 载物台由水平底面、竖直侧面和上顶面组成，载物台的水平底面为水平标定板，竖直侧面为 竖直标定板，水平标定板和竖直标定板上均有棋盘格样式的刻度线，载物台的上顶面为安 装台，用于安装和固定彩色相机和照明设备；所述图像处理模块从行李图像中分割出行李 区域后，进行三方面的分析与处理，一是根据分割出的行李区域，得到行李在水平标定板和 竖直标定板上的投影，根据该投影获取行李在水平标定板和竖直标定板上覆盖的棋盘格数 目，进而结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸，二是 对彩色行李图像中的行李区域进行颜色空间变换，提取行李区域的主色调颜色特征并分 类，获得行李的颜色信息；三是提取行李区域的纹理特征，并对纹理特征进行分类，获得行 李的纹理信息描述。其中，彩色相机和照明设备均安装于载物台上的安装台内侧。为了实现本发明的目的，本发明的第二方面在于利用行李外观信息自动获取装 置，提供一种行李外观信息自动获取方法，该方法包括步骤如下
步骤Sl 载物台上未放置行李时，启动彩色相机，获取场景的背景图像，并将背景 图像发送给图像处理模块；步骤S2 将行李放置于载物台上，行李的底面置于水平标定板上，同时行李有一 侧面紧贴竖直标定板；启动彩色相机获取行李图像，并将行李图像发送给图像处理模块；步骤S3 图像处理模块通过对背景图像和行李图像进行比较分析，从行李图像中 分割出行李区域；步骤S4:根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投 影，进而统计行李在水平标定板和竖直标定板上的投影所覆盖的棋盘格数目，结合水平标 定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸；步骤S5 对行李图像中的行李区域进行颜色空间变换，从变换后的图像中提取行 李的主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李的主色调颜色特征进 行分类，获得行李的颜色信息；步骤S6 针对分割出的行李区域提取行李的纹理特征，并与预先设定好的纹理类 进行分析比较，将行李的纹理特征进行归类，从而获得行李的纹理描述；步骤S7 将行李的尺寸、颜色和纹理信息以及彩色行李图像，送给服务器进行存 储，以方便行李管理人员和旅客查询。本发明的有益效果本发明的基于单目视觉的行李外观信息自动获取系统与方 法，利用计算机视觉和图像处理技术，通过对彩色图像的分析处理，自动获取行李的尺寸、 颜色与纹理信息。系统结构简单，成本低廉，易于安装，占用空间小，非常适合于规模较小或 场地受限的机场、火车站或汽车站等多种场合的事故行李信息自动获取。
图1是本发明系统总体结构图2是本发明系统工作流程图；图3是黑白棋盘格标定板正视图。附图中主要标号说明1 载物台；11 水平标定板；12 竖直标定板；13 安装台； 2 彩色相机；3 照明设备；4 图像处理模块；5 服务器；6 行李
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是， 所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。实例小型机场事故行李信息的自动获取根据本发明提出的一种基于单目视觉的行李外观信息自动获取系统与方法，可广 泛用于事故行李外观信息的自动获取。下面，以小型机场事故行李信息的自动提取为例，进 行具体说明。基于单目视觉的小型机场事故行李外观信息自动获取系统，除电源外，主要由载 物台1、彩色相机2、照明设备3、图像处理模块4和服务器5组成。如图1所示，载物台1，呈口字形缺右边“[，，或口字形缺左边“]，，的形状，主要 由水平底面、竖直侧面和上顶面组成。载物台1的水平底面为水平标定板11，竖直侧面为竖 直标定板12。水平标定板11和竖直标定板12上均有棋盘格样式的刻度线，刻度均勻，且 二者的刻度间隔一致。水平标定板11和竖直标定板12是行李尺寸计算的客观依据。本实 施方案中水平标定板11和竖直标定板12均采用黑白棋盘格相间排列的标定板，如图3所 示，棋盘格为边长L 一定的正方形，本实施方案中棋盘格边长L取为3cm。载物台1的上顶 面为安装台13，用于安装和固定彩色相机2和照明设备3。载物台1处于静止状态，它的功 能是用来放置行李6，并安装彩色相机2和照明设备3。水平标定板11与安装台13相互平 行放置，且竖直标定板12的竖直面与安装台13和水平标定板11水平面相互垂直放置。彩色相机2和照明设备3均安装于载物台1的安装台13的内侧，如图1所示。彩 色相机2用来采集载物台和行李的彩色数字图像，本方案中采用彩色面阵CCD高分辨相机； 照明设备3则用来为彩色相机2成像提供稳定的照明，本实施方案采用普通的LED照明设 备。图像处理模块4用来对彩色相机2采集的行李图像进行分析处理，获得行李的尺 寸、颜色和纹理外观信息；服务器5负责接收并存储图像处理模块4得到的行李外观信息， 同时保存行李图像，为行李管理人员和旅客提供行李信息的查询服务。图像处理模块4，用于图像的分析处理，包括图像预处理、图像分割、特征提取、行 李尺寸计算、颜色分类、纹理分类等。图像处理模块4既包括支撑数据存储和运算的硬件单 元，也包括专门用于图像处理与分析，如特征提取、行李尺寸计算、颜色与纹理分类等算法 模块。服务器5，是一般的计算机系统，用于行李尺寸、颜色和纹理信息及彩色行李图像 的存储与查询。如图2示出本发明的基于单目视觉的行李信息自动获取系统的获取方法的流程图，首先是利用彩色相机2采集载物台的彩色背景图像和彩色行李图像；然后图像处理模 块4对彩色相机2获取的彩色背景图像和彩色行李图像进行比较分析，分割出行李区域；接 下来图像处理模块4对行李区域作进一步分析处理，获得行李6的尺寸、颜色和纹理信息； 行李6的外观信息(包括行李6的尺寸、颜色和纹理)以及彩色行李图像，送往服务器5以 备查询。具体实现如下步骤S1 背景图像采集载物台1上未放置行李6时，开启照明设备3，启动彩色相 机2获取场景的背景图像，并将背景图像发送给图像处理模块4 ；步骤S2 行李图像采集将行李6放置于载物台1上，行李的底面置于水平标定板 11上，同时行李有一侧面紧贴竖直标定板12。启动彩色相机2获取行李图像，并将行李图 像发送给图像处理模块4;步骤S3 行李区域分割图像处理模块4通过对背景图像和行李图像进行比较分 析，从行李图像中分割出行李区域；步骤S4 行李尺寸计算根据分割出的行李区域，得到行李6在水平标定板11和 竖直标定板12上的投影，进而统计行李6在水平标定板11和竖直标定板12上的投影所覆 盖的棋盘格数目，结合水平标定板11和竖直标定板12的棋盘格边长，计算得到行李6的 长、宽、高尺寸；步骤S5 行李颜色信息获取对彩色行李图像中的行李区域进行颜色空间变换， 提取行李的主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李6的主色调颜 色特征进行分类，获得行李6的颜色信息；步骤S6 行李纹理信息获取针对分割出的行李区域，提取行李6的纹理特征，与 预先设定好的纹理类进行分析比较，将行李6的纹理特征进行归类，从而获得行李6的纹理 描述；步骤S7 信息存储与查询将行李6的尺寸、颜色和纹理信息以及彩色行李图像， 送给服务器5进行存储，以方便行李管理人员和旅客查询。所述的背景图像采集步骤S1和行李图像采集步骤S2中，彩色相机2的成像参数 是不变的，即彩色相机2固定于载物台1上的安装台13内侧，彩色相机2的成像视角和焦 距均保持不变。所述步骤S3中，图像处理模块4采用背景减除法，利用行李图像与背景图像的差 分，得到行李图像中与背景图像变化较大的区域，并结合形态学算子去除干扰因素，得到行 李图像中的行李区域。所述步骤S4中，根据行李图像中分割出的行李区域，在背景图像中找到行李区域 所覆盖的棋盘格区域。分别统计行李区域在水平标定板11和竖直标定板12上所覆盖的棋 盘格数目，设长度、宽度和高度方向所覆盖的棋盘格数目分别为X、Y和Z，若棋盘格边长为L 厘米，则行李的长度、宽度和高度分别为X*L、Y*L和Z*L，单位为厘米。所述步骤S5中，对彩色行李图像中的行李区域进行颜色空间变换， 将三基色(红、绿、蓝)颜色空间表示的彩色图像变换到色度、饱和度和强度 (Hue-Saturation-Intensity，简称HSI)颜色空间，变换后的图像中，提取行李的主色调颜 色特征。预先将行李可能出现的颜色分成几大类，如红色、白色、黑色、黄色、蓝色等。将提 取出来的行李主色调颜色特征，与预先设定的这几大类颜色进行匹配比较，本实施方案中可采用最近邻方法，找到与行李主色调颜色特征最接近的一类，获得行李6的颜色信息，即 预先设定好的颜色类中的颜色类名。所述步骤S6中，对彩色行李图像中的行李区域提取统计纹理特征。预先将行李可 能出现的纹理分成几大类，如条纹、格子块、纯色无图案等。将提取出来的行李纹理特征，与 预先设定的这几大类纹理进行匹配比较，本实施方案中可采用最近邻方法，找到与行李纹 理特征最接近的一类，得到行李6的纹理类别信息。
上述处理过程适用于形状规则行李的外观信息获取，对于形状非规则的行李，其 颜色与纹理信息的获取与上述处理过程中的颜色、纹理处理方法一致，只是其尺寸信息的 获取略有不同，即除了步骤S2-S4不同外，其它步骤与形状规则行李的处理过程相同。上述 过程的步骤S2-S4，可用如下步骤代替(1)将行李6放置于水平标定板11上，使得行李6的底面与水平标定板11相贴 合，在此状态下，启动彩色相机2采集行李图像II，并将行李图像II发送给图像处理模块 4 ；(2)将行李6放倒，使得行李6的一个侧面与水平标定板11相贴合，在此状态下， 启动彩色相机2再次采集行李图像12，并将该行李图像12发送给图像处理模块4 ；(3)图像处理模块4对两次获取的行李图像II和12，分别与背景图像进行比较分 析，从图像II与12中分别分割出行李区域；(4)根据图像II分割出的行李区域，得到图像II中行李6在水平标定板11上的 投影，统计行李6在水平标定板11上的投影所覆盖的棋盘格数目，结合水平标定板11的棋 盘格边长，计算得到行李6的长、宽尺寸；(5)根据图像12分割出的行李区域，得到图像12中行李6在水平标定板11上的 投影，统计行李6在水平标定板11上的投影所覆盖的棋盘格数目，结合水平标定板11的棋 盘格边长，计算得到行李6的高度。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内。
权利要求
一种基于单目视觉的行李外观信息自动获取系统，其特征在于，该系统包括载物台、彩色相机、照明设备、图像处理模块和服务器，其中载物台用来放置行李、安装彩色相机与照明设备；彩色相机用于获取行李和载物台的彩色图像；照明设备则为彩色相机成像提供稳定的照明；图像处理模块与彩色相机连接，用来对彩色相机获取的图像进行分析处理，获得行李的尺寸、颜色和纹理信息；服务器存储图像处理模块获得的行李尺寸、颜色和纹理外观信息，同时保存彩色行李图像，为行李管理人员和旅客提供行李信息的查询服务；其中所述载物台呈或的形状，载物台由水平底面，竖直侧面和上顶面组成，载物台的水平底面为水平标定板，竖直侧面为竖直标定板，水平标定板和竖直标定板上均有棋盘格样式的刻度线，载物台的上顶面为安装台，用于安装与固定彩色相机和照明设备；所述图像处理模块从行李图像中分割出行李区域后，进行三方面的分析与处理，一是根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，根据该投影获取行李在水平标定板和竖直标定板上覆盖的棋盘格数目，进而结合水平标定板和竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸，二是对行李图像中的行李区域进行颜色空间变换，提取行李区域的主色调颜色特征并分类，获得行李的颜色信息；三是提取行李区域的纹理特征，并对纹理特征进行分类，获得行李的纹理信息描述。FSA00000128894300011.tif,FSA00000128894300012.tif
2.如权利要求1所述的行李外观信息自动获取系统，其特征在于，彩色相机和照明设 备均安装于载物台上的安装台内侧。
3.一种利用权利要求1所述装置的行李外观信息自动获取方法，其特征在于，该方法 包括步骤如下步骤S1 载物台上未放置行李时，启动彩色相机，获取场景的背景图像，并将背景图像 发送给图像处理模块；步骤S2 将行李放置于载物台上，行李的底面置于水平标定板上，同时行李有一侧面 紧贴竖直标定板；启动彩色相机获取行李图像，并将行李图像发送给图像处理模块；步骤S3 图像处理模块通过对背景图像和行李图像进行比较分析，从行李图像中分割 出行李区域；步骤S4 根据分割出的行李区域，得到行李在水平标定板和竖直标定板上的投影，进 而统计行李在水平标定板和竖直标定板上的投影所覆盖的棋盘格数目，结合水平标定板和 竖直标定板的棋盘格边长，计算得到行李的长、宽、高尺寸；步骤S5 对行李图像中的行李区域进行颜色空间变换，从变换后的图像中提取行李的 主色调颜色特征，与预先设定好的颜色类进行分析比较，将行李的主色调颜色特征进行分 类，获得行李的颜色信息；步骤S6 针对分割出的行李区域提取行李的纹理特征，并与预先设定好的纹理类进行 分析比较，将行李的纹理特征进行归类，从而获得行李的纹理描述；步骤S7 将行李的尺寸、颜色和纹理信息以及彩色行李图像，送给服务器进行存储，以 方便行李管理人员和旅客查询。
全文摘要
本发明公开了一种基于单目视觉的行李外观信息自动获取系统及其方法，系统主要由载物台、彩色相机、照明设备、图像处理模块和服务器组成。其中，载物台又包括水平标定板、竖直标定板和安装台。本发明提供的方法，其一是从行李图像中分割出行李区域，得到行李在水平和竖直标定板的投影，进而计算行李的长、宽、高尺寸；其二是对行李图像进行颜色空间变换，提取行李主色调颜色特征并分类，获得行李颜色信息；另一方面是提取行李的纹理特征并分类，获取行李的纹理信息。本发明利用计算机视觉和图像处理技术自动提取行李的尺寸、颜色和纹理信息，可实现行李外观信息的自动获取，特别适合于小型机场、火车站、汽车站等多种场合的事故行李信息获取。
文档编号G01J3/46GK101871768SQ20101017547
公开日2010年10月27日 申请日期2010年5月12日 优先权日2010年5月12日
发明者易建强, 王彦情 申请人:中国科学院自动化研究所