基于人脸识别的列车在途检票方法与流程

本发明涉及视频图像识别处理技术，特别涉及基于人脸识别的智能化列车在途检票方法。

背景技术：

我国国土幅员辽阔，铁路路网规模庞大，截至2015年底，全国铁路营业里程超过12万公里，高铁营业里程超过1.9万公里。《中长期铁路网规划》规划到2020年，路网规模达到15万公里，其中高速铁路3万公里。“十三五”规划提出要完善现代综合交通运输体系，坚持智能化管理和一体化服务，实现运输服务一体化和高效化。

我国铁路开行旅客列车数量多，大部分旅客列车运行距离长、停站次数多，途中所有停站均有旅客乘降。进站检票、车上检票和出站检票是客运检票工作基本要素，严密配合才能形成闭环，有效防止不同形式漏检情况发生，避免客运收益遭受损失。

目前铁路进站上车检票严格，列车到站后旅客密集出站，受人员、设备和旅客便利性约束难以做到逐人检票。旅客列车途径N个车站形成N-1个客运区间，逐区间检票能够彻底避免漏检发生，但会显著增大乘务工作负荷和导致旅客不便，在客运区间较短时尤其难以实现。迫切需要先进的现代化解决方案来提高列车在途检票质量和效率，实现在途检票高效率、低干扰、全覆盖和智能化。

人体面部特征具备独特的身份标识特性，计算机视觉技术快速发展将推动人脸识别技术向识别精度更高、响应速度更快和应用成本更低等趋势发展。目前铁路客运领域已经进行人、证自动校核技术研究和实现客票信息站车交互，但尚未见到在途自动化检票和智能监控的技术研究成果和相应产品。研究先进的人脸识别技术，匹配旅客面部特征和车票信息进行在途检票和安全监控，是保证旅客运输生产安全和效益的现代化技术手段，能够显著提升旅客运输生产效率、服务质量和在途安防水平。

铁路进站检票和出站验票主要是就车票进站、出站、时间和旅客身份信息与当前车站、当前时间和旅客身份进行对比，判定旅客进出站是否符合车票和车站信息，进出站验票技术、系统和设备已经比较成熟，目前已经在部分客运站推广应用，能够有效提高旅客进出站验票效率和质量。

目前我国铁路旅客运输实行实名制，旅客进站时客运站工作人员进行车票实名查验，通过身份证读卡器读取身份证信息，利用二维码扫描仪扫描车票获取旅客购票信息，对比两者身份证号实现“票、证”统一查验，而“人、证”一致查验则通过查验员人工判断身份证照片和当前旅客是否符合。鉴于进站人工查验工作效率、工作质量和持续性局限性，研究人员利用人的面部特征具有身份鉴定特性，研究将自动验证人的面部特征纳入到实名制检票系统中，即将采集到的旅客当前人脸图像与其二代身份证照片上的人脸图像进行比对，从而实现票、证和人三者一致性认证的实名制铁路车票检票，从而提高实名制检票效率和质量。人证查验研究人员主要有：(1)铁道科学研究院昝蕊、吕晓军和刘卫平(2015)；(2)上海理工大学孙首群，王晓东和王冰等(2013)；(3)铁道科学研究院徐春婕，史天运和刘硕研等(2015)。这些研究工作均一定程度实现旅客进站人证一致自动查验，实施技术路线和实施效果存在显著差异，在有效性和可靠性上需要继续深入研究。

2010年以来，铁道科学研究院电子计算技术研究所成功研发铁路站车客运信息无线交互系统，并陆续配置各路局旅客列车乘务人员。列车终端设备主要提供乘车人数通知单统计、列车席位信息查询及车票查验等功能；客运段终端设备主要提供列车密度表查询、监控列车移动终端设备使用情况等功能。铁路站车客运信息无线交互系统是车地协作的信息平台，将地面售票情况及时报送到指定列车，列车工作人员可以精确掌握每个席位的使用情况、乘降区段，包括旅客实名信息、挂失信息和互联网电子票信息。

目前铁路站车客运信息无线交互系统将售票信息传输至列车终端，为站车间信息双向交互和在途验票提供技术支持，但在途验票仍然需要手动完成，通常间隔400km或6h进行一次验票，在途检票工作负荷高、漏检和复检干扰旅客旅途问题未能得到较好解决。

现有技术方案没有将旅客客票信息与个人特征有效结合，没有在途对旅客客票区间与当前区间进行实时比对，只能依靠人工查验确定旅客是否超出其对应区间。列车在途手动验票具有效率低、重复性高、工作量大和重复验票对旅客干扰较大等缺点，受限于时间、人员和工作负荷约束，难以进行逐区间查票实现全面覆盖，导致合理客运收益可能面临巨大损失风险。

技术实现要素：

本发明所要解决的技术问题，就是提供一种基于人脸识别的列车在途检票方法，提高列车在途检票工作效率和准确性。

本发明解决所述技术问题采用的技术方案是，基于人脸识别的列车在途检票方法，包括以下步骤：

A、获取列车运行区间信息；

B、在车站进站口进行人、证和票一致性检验时采集进站乘客面部图像、证件信息和车票信息，建立旅客面部特征库，进行信息匹配并上传至全路数据中心；

C、列车车载单元从全路数据中心下载该站进站并乘坐当日该次列车的人、票和图像匹配信息；

D、列车车载摄像头获取车厢实时图像并传输至列车车载单元，列车车载单元进行实时图像人脸检测，根据面部特征辨识对应乘客身份，获取乘客车票规定的乘车区间并与当前区间进行比对，若未能发现对应乘客信息或当前区间超出其车票规定区间视为不具备当前区间乘车资格；

E、将不具备当前区间乘车资格的乘客面部图像发送到列车员手持验票终端，列车员根据手持终端上显示信息进行针对性定向面对面验票核实和补票，补票信息上传更新至全路数据中心。

具体的，所述列车客运区间为列车运行途中两个经停车站间的区间。

具体的，步骤C具体为：列车到达车站并从该站出发时，自动筛选出在该站进站并乘坐当日该次列车的乘客面部图像数据、证件信息和车票信息，定向发送至该次列车的车载数据中心，列车途中经停车站出发时，进行数据自动筛选和定向接收，列车运行途中分批次顺序接受来自途中车站的数据。

优选的，步骤B中，所述信息包括旅客面部视频数据、姓名、证件号码、乘车日期、乘坐车次、车厢号、上车车站和下车车站。

具体的，所述步骤D具体为：分别检测各车厢实时视频图像中人脸的数量和对应图像区域；对于特定人脸区域，根据进站采集的旅客人脸特征进行人脸识别，确定对应旅客身份；若在旅客面部特征库无法找到对应乘客，则视为无票乘客，不具备当前区间乘车资格；若能够在旅客面部特征库找到对应乘客，则根据乘客身份找出其车票规定的乘车区间并与当前区间比较，若当前区间超出规定乘车区间，则视该乘客不具备当前区间乘车资格。

本发明的有益效果是，以列车运行信息、旅客客票信息和面部特征为基础，进行人票信息匹配、分类定向传输、在途人脸自动识别和运行区间自动匹配，实现列车在途视频智能验票和候检对象自动辨识。该技术能够实现列车在途检票高效化、智能化和精准化，有效避免在途漏检复检，显著降低乘务工作负荷和复检对旅客造成的干扰，为列车在途客运工作提供先进高效的现代化技术手段。

附图说明

图1是本发明基于人脸识别的列车在途检票方法流程图；

图2是本发明系统结构和信息流程图。

具体实施方式

下面结合附图及具体实施方式，详细描述本发明的技术方案。

如图1、图2所示，本发明基于人脸识别的列车在途检票方法包括：

(1)列车运行信息获取与处理

从铁路调度指挥系统获取旅客列车运行图，或从12306客票系统获取铁路旅客列车经停车站信息，根据旅客列车经停车站信息将列车运行过程划分为顺序的客运区间，相邻两个经停车站间的运行区段划分为一个客运区间，是当日当次列车旅客旅途的最小单元。

(2)旅客客票与个人特征信息获取与处理

在车站进站人证票一致性查验处设置车站数据采集终端，旅客进站进行人、证、票一致性查验时采集旅客正面面部信息，读取身份证件获取旅客身份，从铁路12306客票系统获取该旅客购票信息。验证旅客所持车票(或身份证件)与其购票信息，将旅客身份信息、车票信息和面部图像进行关联匹配，作为一条数据记录存储至车站数据中心。其中旅客车票信息包括旅客姓名、证件号码、乘车日期、乘坐车次、上车车站和下车车站共六个要素。

(3)数据定向滚动传输

将车站数据中心的人、票和图像匹配信息上传至区域/全路数据中心，列车到达车站并从该站出发时，自动筛选出在该站进站并乘坐当日该次列车的人、票和图像匹配信息，定向发送至该次列车的车载数据中心，并按车厢号进行分别存储。列车途中经停车站出发时，进行数据自动筛选和定向接收，列车运行途中分批次顺序接受来自途中车站的数据。同一车站采集处理的人、票和图像匹配数据先后分别发送至经停该站的不同旅客列车。

(4)列车在途人脸识别

在列车车厢分散布设摄像头，采集不同车厢各个通道实时视频图像，图像信号实时传输至车载数据中心。可以采用比较成熟的自适应人脸识别算法提高识别精度和速率，根据人脸特征自动识别不同车厢图像中旅客身份。绝大部分旅客在旅途过程中位于其客票对应车厢，车厢内人员组成和姿态具有短期稳定性，采用非连续间隔识别和车厢别分组双向搜索策略可以提高身份识别效率。

(5)自动验票和候检对象辨识

若前述人脸识别根据旅客人脸特征在车载数据中心未能找到对应旅客信息，则不能确定对应旅客身份，属于无票乘车，需对视频图像中该旅客头像进行候检标注，设定为候检对象。若前述人脸识别能够确定旅客身份信息，从车载数据中心获取旅客对应乘车区间，与列车当前运行区间进行比较，若当前区间位于其车票规定的乘车区间内，则自动验证该旅客合法乘车；若当前区间位于其车票规定的乘车区间外，则该旅客为候检对象，在视频图像中进行头像候检标注。

(6)精准检票和补票

列车乘务员通过手持终端获取车厢候检对象图像信息，进行精准定向检票。对于需要补票的旅客，予以补票，采集相应的人、票和面部特征信息进行匹配并存储至车载数据中心。

列车运行到下一经停车站，到站乘客下车出站，进站乘坐该次列车的旅客上车，列车出发运行，运行区间则进入下一个区间。自动检票系统的当前区间根据列车运行区间进行更新，以当前区间为基础，重复进行上述步骤进行区间检票，直至列车运行至终点车站。

下面描述本发明中涉及的各种技术及软件编程关键字：

列车运行信息处理

为旅客列车设置一个数据类Train，Train＝{TrainId,Date,StationList,SectionList,Remark}，TrainId为列车车次,Date为列车始发站出发日期,StationList为列车途中经停车站顺序集合,SectionList为列车运行区间顺序集合，Remark为列车情况备注,TrainId和Date为联合主键。

StationList由列车经停所有车站Station组成，数据类Station＝{StationId,StationName,RouteOrder,TrainId,Remark},其中StationId为车站编号,StationName为车站名称,RouteOrder为列车在当前车站运行经停顺序,TrainId为列车车次,Remark为经停车站备注(First表示始发车站，Last表示终到车站)。

SectionList由列车运行经过区间Section组成，数据类Section＝{SectionId,SectionName,FrontStation,NextStation,TrainId,Remark},其中StationId为车站编号，SectionName为区间名称，FrontStation为列车运行区间的出发车站，NextStation为列车运行区间的到达车站，TrainId为列车车次，Remark为运行区间备注(First表示第一个客运区间，Last表示最后一个客运区间)。

列车StationList信息可以从列车运行图或12306客票系统获取，SectionList数据则需要根据StationList数据进行处理得到。列车运行经停N个车站，顺序相邻两个经停车站构成一个运行区间，则运行过程可以划分为N-1个客运区间，客运区间是旅客旅途的基本组成单元，也是后续自动验票和候检对象自动标识的最小单元。如列车顺序经停A、B、C、D和E五个车站，则运行过程可以划分为A-B、B-C、C-D和D-E四个客运区间，旅客旅途由连续客运区间组成，后续自动验票和候检对象标识在四个客运区间依次独立进行。

人、票和图像信息关联匹配

人、票和图像信息关联匹配就是将旅客身份信息、车票信息和面部图像信息进行对应和关联，为后续自动验票和候检对象自动标识做准备。为人、票和图像关联信息构建一个数据类LinkInfo＝{InfoId,Credentials,PassengarId,TicketInfo,PictureId,TrainId,Date,Remark}，其中InfoId为信息标识编号，Credentials为旅客证件类型，PassengarId为乘客证件号码，TrainId为列车车次编号，Date为列车始发日期。PictureId为旅客正面面部图像编号，图像以PictureId命名进行储存。LinkInfoList为LinkInfo的实例集合，用以储存车载数据中心的接受到的人、票和图像匹配信息。

TicketInfo为用以记录旅客车票信息的车票信息类实例，TicketInfo＝{TrainId,DateTime,DepartueStation,ArrivalStation,CoachId,SeatId,SeatType,Remark}，其中TrainId为列车车次,DateTime为乘车时间，DepartueStation为旅客出发车站，ArrivalStation为旅客到达车站，CoachId为车票车厢号，SeatId为座位编号，SeatType为座位等级，Remark为车票信息备注。DepartueStation和ArrivalStation分别为StationList中的Station实例，其中DepartueStation的RouteOrder小于ArrivalStation的RouteOrder。

分类定向滚动传输

分类定向滚动传输是一种信息交互机制，其中分类是指传输内容分组划分，定向是指信息传输目标具有明确针对性，滚动是指信息传输时机特性。一个车站通常经停多个车次旅客列车，旅客进站后根据所购车票可能乘坐经停经停此站的任意旅客列车，分类传输是指将同一个车站进站旅客的人、票和图像匹配信息按照列车车次TrainId划分为不同类别，经停M个旅客列车的车站进站旅客的人、票和图像关联信息划分为M个类别。

定向传输是指数据中心根据前述车站的列车分类情况，将乘坐旅客列车Q的乘客人、票和图像匹配信息针对性地发送至对应旅客列车Q车载数据中心，进入该站乘坐旅客列车P的乘客信息则不发送至列车Q。旅客在列车出发前到达车站并进入站台候车，列车出发时进站乘坐该次列车的旅客人、票和图像信息采集及匹配已经完成，此时数据中心将从该站进入乘坐此次列车的人、票和图像匹配信息分类出来，定向发送给车载数据中心。旅客列车顺序到达经停所有车站，经停车站在运行过程中越靠后，列车到达该站和出发时间越晚，信息定向传输时间越晚。列车运行整个过程中信息分类定向传输时间是不断滚动向前的，以实现人、票和图像信息顺序传输和更新的完整性和及时性。

非连续离散识别策略

旅客在旅途过程中难以保持同一姿势，脸部正面不可能一直正对车厢摄像头，即车厢布设摄像头虽然可以获取各个车厢实时图像，但是不能同时获得车厢所有旅客的正面脸部图像。视频图像一般为25帧/s，旅客旅途过程中在短时间内姿势不会发生显著变化，对车厢实时视频的每帧图像均进行人脸检测和人脸识别会显著增加系统负荷和时间，对于人脸识别精度提升效果微乎其微。

本发明采用非连续离散识别策略，在列车运行过程中，对于车厢同一视频来源不进行连续人脸检测和识别，而是间隔一段时间(间隔时间可以设置，如1min,2min或5min)获取视频一帧图像，进行时间离散的人脸检测和人脸识别。每一次检测和识别的旅客身份均作为后续自动验票的基础，相同区间同一车厢不同时间检测和识别到的旅客可能有所差异，区间每次识别的旅客身份并集作为车厢该区间旅客集合，依次进行自动验票和候检对象标识。

车厢别分组双向搜索策略

绝大部分旅客乘坐列车座位为其购买车票对应位置，只有少数旅客会在旅途过程中与其他乘客调换座位、或前往其他车厢来回走动，因此绝大部分旅客(包括站票旅客)在旅途过程中位于其车票对应车厢。根据TicketInfo中的CoachId对车载数据中心接收到的、票和图像关联匹配信息LinkInfo进行分组。假定列车车厢数量为C，则为该列车设置C个Coach＝{CoachId,TrainId,SubLinkInfoList,Remark},其中CoachId为车厢编号，TrainId为列车车次,SubLinkInfoList为LinkInfoList中CoachId与当前车厢CoachId相同的LinkInfo的集合,Remark为车厢信息备注。

人脸识别各个车厢分别进行，将采集视频检测到的人脸图像与车载数据中心的人脸库进行对比，以此确定旅客身份。若当前车厢编号为c，人脸识别首先在视频图像所在车厢c对应Coach的SubLinkInfoList构成人脸库中进行数据比对。若能够在当前车厢构成的人脸库中找到对应面部图像旅客，则可以确定旅客身份并进行后续步骤；若当前车厢对应人脸库不能找到人脸图像对应旅客，则视为视频中检测到的旅客购买的车票不是对应与视频来源车厢。当前车厢中未能识别到旅客身份，则顺序依次与c-1，c+1，c-2，c+2……车厢对应的人脸库进行匹配识别，直到在人脸库中找到旅客图像确定旅客身份，或搜索第一节和最后一节车厢。根据旅客旅途分布特点采用车厢别双向搜索策略，缩小人脸识别过程的人脸库规模，能够显著提高人脸识别效率。

自动验票和候检对象自动标识

以人脸识别的旅客身份为依据进行自动验票和候检对象自动标识。若车载数据中心人脸库未能找到当前旅客对应信息，说明旅客身份信息未提前采集不能确定旅客身份，属于无票乘车类型，对视频图像中对应旅客图像进行候检标注。若前述人脸识别能够确定旅客身份信息，从车载数据中心获取旅客进站和出站确定的乘车区间，与列车当前运行区间进行比较。如当前区间位于旅客车票规定的乘车区间内，则自动验证该旅客合法乘车；如当前区间位于其车票规定的乘车区间外，则该旅客为候检对象，在视频图像中对对应旅客头像进行候检标注。

乘车区间匹配即根据检测到的旅客面部图像与车载数据中心的人脸库图像进行比较，以此确定旅客身份信息PassengarId和对应车票信息TicketInfo。车票信息TicketInfo包含旅客出发车站DepartueStation和到达车站ArrivalStation，以此规定了旅客购买车票在列车运行过程中对应的合法乘车区间信息。智能化在途检票在列车运行过程中进行时列车位于特定Section，可以获知当前区间的两个衔接车站FrontStation和NextStation，将NextStation与旅客到达车站ArrivalStation进行比较。在列车运行途中经停车站集合StationList里面，若NextStation对应的RouteOrder小于等于ArrivalStation对应的RouteOrder，则当前旅客通过自动验票；若NextStation对应的RouteOrder大于ArrivalStation对应的RouteOrder，则当前旅客未通过自动验票，进行候检对象标识。