一种基于车联网的全景环视系统标定方法、装置及系统的制作方法
【专利摘要】本发明公开了一种基于车联网的全景环视系统标定方法、装置及系统，属于汽车电子【技术领域】。该方法包括：车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像；车联网终端提示驾驶者将车辆开往下一个工位。本发明基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。
【专利说明】
一种基于车联网的全景环视系统标定方法、装置及系统
【技术领域】
[0001]本发明涉及汽车电子【技术领域】，特别涉及一种基于车联网的全景环视系统标定方法、装置及系统。
【背景技术】
[0002]车联网是物联网在汽车领域的一个细分应用，是移动互联网、物联网向业务实质和纵深发展的必经之路，是指车与车、车与路、车与人、车与传感设备等互交，实现车辆与公众网络通信的动态移动通信系统。它可以通过车与车、车与人、车与路互联互通实现信息共享，收集车辆、道路和环境的信息，并在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，根据不同的功能需求对车辆进行有效的引导与监督，以及提供专业的多媒体与移动互联网应用服务。
[0003]全景环视系统是基于安装在车辆前左右后的4个鱼眼摄像头所提供的区域画面图像，通过主控制器处理合成车辆周边全景图像实时显示在车内的显示器上。该系统包括安装在车辆如方的鱼眼摄像头、车辆左侧的鱼眼摄像头、车辆右侧的鱼眼摄像头、车辆后方的鱼眼摄像头、主控制器及相关线束。主控制器的输入端与4个鱼眼摄像头相连，用于车辆前左右后区域画面的采集；主控制器的输出端与车内显示器相连，用于显示车辆周边的全景图像；主控制器用于将4个鱼眼摄像头采集的图像进行矫正处理，然后将矫正后的图像进行拼接处理，最终得到车辆周边的全景图像。由于鱼眼摄像头提供的图像存在严重畸变如图1所示，故需要对鱼眼摄像头进行标定。
[0004]标定的实质是建立图像像素位置与真实场景位置的关系。从真实场景坐标到图像坐标，需要进行多次坐标系投影变换。为此，建立4个坐标系:世界坐标系、摄像机坐标系、成像面坐标系和图像坐标系。从世界坐标系到摄像机坐标系的投影变换关系仅与摄像机的安装位置和安装方式相关，称为摄像机外参数。从摄像机坐标至图像坐标的变换则与摄像机自身的芯片和工艺相关，一旦摄像机组装完成便不受摄像机安装位置、使用环境等因素影响，称之为摄像机内参数。摄像机内参数与使用环境和安装方式无关，一旦设计完成可视为恒定参数，而外参数因为受安装、参考物和使用环境影响，可能有较大变化，需要根据实际情况进行标定。
[0005]利用标定参数即可将畸变图像矫正为无畸变图像如图2所示，然后将4张无畸变图像拼接为车辆周边的全景图像如图3所示。
[0006]在车厂标定工位，传统的标定方法是:将车辆开到标定场地，在车内利用上位机软件发送采集图像的指令，主控制器采集车辆前左右后的的畸变图像，然后通过CAN总线分析仪将4张畸变图像传输到上位机，利用上位机软件进行标定。这种标定过程需要十几分钟的时间，严重影响了车辆下线的效率。
[0007]申请号为201020134403.2的中国专利揭示了一种汽车全景环视系统，其主要介绍了全景环视系统的组成和工作原理，但没有给出具体的标定方法。
【发明内容】
[0008]为了解决现有技术的问题，本发明实施例提供了一种基于车联网的全景环视系统标定方法、装置及系统。所述技术方案如下:
[0009]一方面，提供了一种基于车联网的全景环视系统标定方法，所述方法包括:
[0010]车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；
[0011]车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得所述车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得所述主控制器根据标定参数，对所述畸变图像进行处理，得到车辆周边全景图像；
[0012]车联网终端提示驾驶者将车辆开往下一个工位。
[0013]另一方面，提供了一种基于车联网的全景环视系统标定装置，所述装置包括:
[0014]图像获取模块，用于发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；
[0015]图像发送模块，用于将所采集的畸变图像，通过网络发送至车联网平台，使得所述车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得所述主控制器根据标定参数，对所述畸变图像进行处理，得到车辆周边全景图像；
[0016]提示发送模块，用于提示驾驶者将车辆开往下一个工位。
[0017]另一方面，提供了一种基于车联网的全景环视系统标定系统，所述系统包括多个鱼眼摄像头、主控制器、车联网终端、无线通信模块、车联网平台及相关线束，其特征在于:
[0018]车联网终端向主控制器发送采集图像的指令；主控制器采集多个鱼眼摄像头所拍摄的畸变图像；将畸变图像传到车联网终端；车联网终端通过无线通信模块将畸变图像传输到车联网平台，车联网平台在后台根据畸变图像对多个鱼眼摄像头进行标定；标定成功后，车联网平台将标定参数通过无线通信模块发送到车联网终端，车联网终端将标定参数发送到主控制器；主控制器根据标定参数对畸变图像进行处理，得到车辆周边全景，并向车联网终端发送，使得车联网终端实时显示。
[0019]本发明实施例提供的技术方案带来的有益效果是:
[0020]基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。
【专利附图】
【附图说明】
[0021]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是全景环视系统中鱼眼摄像头采集的畸变图像示意图；
[0023]图2是矫正后的无崎变图像不意图；
[0024]图3是全景环视系统的全景的示意图；
[0025]图4是本发明实施例提供的基于车联网的全景环视系统标定方法流程图；
[0026]图5是本发明实施例提供的基于车联网的全景环视系统标定装置结构示意图；
[0027]图6是本发明实施例提供的基于车联网的全景环视系统标定系统结构示意图。
【具体实施方式】
[0028]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0029]图4是本发明实施例提供的基于车联网的全景环视系统标定方法流程图。参见图4，该实施例包括:
[0030]401、车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；
[0031]该图像采集指令可以人为控制车联网终端发送。
[0032]该多个摄像头可以为鱼眼摄像头，优选地，摄像头个数为4个，分别位于车辆的前后左右。
[0033]402、车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像。
[0034]可选地，该车辆网终端接收到该主控制器发送的图像采集成功的信号后，发送传输图像的指令，使得主控制器将采集的畸变图像向该车联网平台发送；该车辆网平台接收到该畸变图像时，利用上位机软件对进行标定，获取标定参数，并向该车辆网终端发送，使得该车辆网终端将该标定参数转发至该主控制器；该主控制器根据该标定参数，对该畸变图像进行处理，得到车辆周边全景，并向该车联网终端发送，使得该车联网终端实时显示。
[0035]可选地，该车辆网平台接收到该畸变图像时，利用上位机软件进行标定，获取标定参数包括:接收该畸变图像，该畸变图像为标定鱼眼摄像头专用的棋盘格图像；利用该多个摄像头的内参和该畸变图像分别每个摄像头的外参。
[0036]403、车联网终端提示驾驶者将车辆开往下一个工位。
[0037]本发明实施例提供的方法，基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。
[0038]图5是本发明实施例提供的基于车联网的全景环视系统标定装置结构示意图。参见图5，该装置包括:图像获取模块501、图像发送模块502和提示发送模块503。其中:
[0039]图像获取模块501用于发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；图像获取模块501与图像发送模块502连接，图像发送模块502用于将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像；图像发送模块502与提示发送模块连接，提示发送模块503用于提示驾驶者将车辆开往下一个工位。
[0040]在本发明实施例中，包含图像获取模块、图像发送模块和提示发送模块的基于车联网的全景环视系统标定装置是与基于车联网的全景环视系统标定方法相对应的虚拟装置，该虚拟装置可以是内置于车联网终端中某一功能模块，本发明实施例是为了叙述方便，以图像获取模块、图像发送模块和提示发送模块的形成称呼，不具有实际意义，也不是硬件名称。
[0041]可选地，该图像发送模块502还用于该车辆网终端接收到该主控制器发送的图像采集成功的信号后，发送传输图像的指令，使得主控制器将采集的畸变图像向该车联网平台发送；该车辆网平台接收到该畸变图像时，利用上位机软件进行标定，获取标定参数，并向该车辆网终端发送，使得该车辆网终端将该标定参数转发至该主控制器；该主控制器根据该标定参数，对该畸变图像进行处理，得到车辆周边全景，并向该车联网终端发送可选地，该待标定车辆配置的多个摄像头为鱼眼摄像头。
[0042]可选地,该标定参数包括摄像机内参数和摄像机外参数,该图像发送模块502还用于接收该畸变图像，该畸变图像为标定鱼眼摄像头专用的棋盘格图像；利用该多个摄像头的内参和该畸变图像分别每个摄像头的外参。
[0043]本发明实施例提供的装置，基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。
[0044]图6是本发明实施例提供的基于车联网的全景环视系统标定系统结构示意图。参见图6，该系统包括:4个鱼眼摄像头(1、2、3、4)、主控制器(5)、车联网终端(6)、无线通信模块(8)、车联网平台(7)及相关线束。
[0045]本实施例中，车左侧摄像头、车右侧摄像头、车前方摄像头、车后方摄像头均采用鱼眼摄像头、主控制器采用DSP处理器，无线通信模块采用3G模块，主控制器的输入端与4个鱼眼摄像头连接；主控制器输出端和车联网终端连接。
[0046]其具体实施过程为:
[0047]I)首先，将安有4个鱼眼摄像头(1、2、3、4)的车辆开到标定工位。
[0048]2)人为控制车联网终端出)，让其发送采集图片的指令，该指令传输到主控制器
(5)、主控制器(5)则通过程序采集安装在车辆前左右后的4个鱼眼摄像头(1、2、3、4)所拍到的畸变图像如图1所示。
[0049]3)车联网终端(6)收到控制器采集图像成功的信号后，发送传输图像的指令，4张畸变图像通过无线通信模块(8)传到后台的车联网平台(7)。
[0050]4)车联网终端(6)收到车联网平台(7)成功接收4张畸变图像的信号后，提示驾驶者可以将车辆开往下一个工位。
[0051]5)车联网平台(7)成功接收到4张畸变图像后，利用上位机软件对其进行标定，标定成功后，将标定参数发送到车联网终端(6)。
[0052]6)车联网终端(6)成功接收到标定参数后，将标定参数发送到主控制器(5)。
[0053]7)主控制器(5)利用标定参数对4个广角摄像头(1、2、3、4)实时采集的畸变图像进行处理，得到车辆的周边全景图像，然后，主控制器(5)即可实时将车辆周边全景图发送到车联网终端￠)的Π界面上进行显示。
[0054]本发明实施例提供的系统，基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。
[0055]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0056] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于车联网的全景环视系统标定方法，其特征在于，所述方法包括: 车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像； 车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得所述车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得所述主控制器根据标定参数，对所述畸变图像进行处理，得到车辆周边全景图像； 车联网终端提示驾驶者将车辆开往下一个工位。
2.根据权利要求1所述的方法，其特征在于，通过网络发送至车联网平台，使得所述车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得所述主控制器根据标定参数，对所述畸变图像进行处理，得到车辆周边全景图像包括: 所述车辆网终端接收到所述主控制器发送的图像采集成功的信号后，发送传输图像的指令，使得主控制器将采集的畸变图像向所述车联网平台发送； 所述车辆网平台接收到所述畸变图像时，利用上位机软件对进行标定，获取标定参数，并向所述车辆网终端发送，使得所述车辆网终端将所述标定参数转发至所述主控制器；所述主控制器根据所述标定参数，对所述畸变图像进行处理，得到车辆周边全景，并向所述车联网终端发送，使得所述车联网终端实时显示。
3.根据权利要求1所述的方法，其特征在于，所述待标定车辆配置的多个摄像头为鱼眼摄像头。
4.根据权利要求1-3任一权利要求所述的方法，其特征在于，所述标定参数包括摄像机内参数和摄像机外参数，所述车辆网平台接收到所述畸变图像时，利用上位机软件进行标定，获取标定参数包括: 接收所述畸变图像，所述畸变图像为标定鱼眼摄像头专用的棋盘格图像； 利用所述多个摄像头的内参和所述畸变图像分别每个摄像头的外参。
5.一种基于车联网的全景环视系统标定装置，其特征在于，所述装置包括: 图像获取模块，用于发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像； 图像发送模块，用于将所采集的畸变图像，通过网络发送至车联网平台，使得所述车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得所述主控制器根据标定参数，对所述畸变图像进行处理，得到车辆周边全景图像； 提示发送模块，用于提示驾驶者将车辆开往下一个工位。
6.根据权利要求5所述的装置，其特征在于，所述图像发送模块还用于所述车辆网终端接收到所述主控制器发送的图像采集成功的信号后，发送传输图像的指令，使得主控制器将采集的畸变图像向所述车联网平台发送；所述车辆网平台接收到所述畸变图像时，利用上位机软件进行标定，获取标定参数，并向所述车辆网终端发送，使得所述车辆网终端将所述标定参数转发至所述主控制器；所述主控制器根据所述标定参数，对所述畸变图像进行处理，得到车辆周边全景，并向所述车联网终端发送，使得所述车联网终端实时显示。
7.根据权利要求5所述的装置，其特征在于，所述待标定车辆配置的多个摄像头为鱼眼摄像头。
8.根据权利要求5-7任一权利要求所述的装置，其特征在于，所述标定参数包括摄像机内参数和摄像机外参数，所述图像发送模块还用于接收所述畸变图像，所述畸变图像为标定鱼眼摄像头专用的棋盘格图像；利用所述多个摄像头的内参和所述畸变图像分别每个摄像头的外参。
9.一种基于车联网的全景环视系统标定系统，所述系统包括多个鱼眼摄像头、主控制器、车联网终端、无线通信模块、车联网平台及相关线束，其特征在于: 车联网终端向主控制器发送采集图像的指令；主控制器采集多个鱼眼摄像头所拍摄的畸变图像；将畸变图像传到车联网终端；车联网终端通过无线通信模块将畸变图像传输到车联网平台，车联网平台在后台根据畸变图像对多个鱼眼摄像头进行标定；标定成功后，车联网平台将标定参数通过无线通信模块发送到车联网终端，车联网终端将标定参数发送到主控制器；主控制器根据标定参数对畸变图像进行处理，得到车辆周边全景，并向车联网终端发送，使得车联网终端实时显示。
【文档编号】H04N5/232GK104240258SQ201410522884
【公开日】2014年12月24日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】鲍千千, 赵木祯, 袁丁, 增田悟, 易世春 申请人:苏州智华汽车电子有限公司