数据发送装置以及数据发送方法与流程

1.本发明涉及向地图生成服务器发送数据的数据发送装置以及数据发送方法。


背景技术：

2.在车辆的自动驾驶系统为了对车辆进行自动驾驶控制而参照的高精度地图中，要求准确地表示有与道路环境有关的信息。为此，提出了将由搭载于车辆的摄像头(camera)取得的表示车辆的周边状况的图像发送给地图生成服务器，由地图生成服务器使用接收到的图像生成地图。
3.专利文献1中记载了一种从行驶车辆接收传感器数据而生成高精度地图的高精度地图系统。专利文献1所记载的高精度地图系统将从停止中的车辆取得的传感器数据删除。
4.现有技术文献
5.专利文献1：美国专利第10222211号说明书


技术实现要素：

6.发明所要解决的问题
7.为了从车辆向地图生成服务器发送数据而在车辆与地图生成服务器之间进行通信。根据专利文献1的技术，即使车辆在停车中或在以低速行驶中，也以一定周期将传感器数据从车辆发送到地图生成服务器。在该情况下，由于车辆的移动量为零或者不大，因而从车辆发送到地图生成服务器的传感器数据没有变化或者变化小。因此，从车辆发送到地图生成服务器的传感器数据的对地图生成服务器中的地图生成做出贡献的比例降低。即，车辆无法高效地向地图生成服务器发送传感器数据。
8.本发明的目的在于，提供能够高效地向外部服务器发送数据的数据发送装置。
9.用于解决问题的技术方案
10.本发明涉及的数据发送装置具备：数据取得部，其以预定时间间隔多次取得基于来自搭载于车辆的传感器的传感器信号的数据；数据选择部，其基于车辆的移动速度决定选择周期，按所决定的选择周期，从多次取得的数据中选择一个以上的数据；以及数据发送部，其将选择出的数据发送给外部服务器。
11.在本发明涉及的数据发送装置中，优选地，传感器是输出表示车辆的周围状况的图像的拍摄部，数据选择部基于以移动速度移动的车辆在时间间隔内的移动量、和图像中的车辆的行进方向的长度，以使选择出的图像在车辆的行进方向上相互重合的方式决定选择周期。
12.在本发明涉及的数据发送装置中，优选地，数据选择部评价选择周期中包含的数据各自的品质，按品质从高到低的顺序对选择周期中包含的数据进行选择。
13.在本发明涉及的数据发送装置中，优选地，传感器是输出表示车辆的周围状况的图像的拍摄部，数据取得部取得表示由从图像中识别预定特征物的识别器(分类器)所识别出的特征物的地物数据。
14.在本发明涉及的数据发送装置中，优选地，数据取得部从识别器一起取得表示从图像识别出特征物的确定性(准确度)的置信度，数据选择部按置信度从高到低的顺序对选择周期中包含的地物数据进行选择。
15.在本发明涉及的数据发送装置中，优选地，数据选择部将选择出的数据临时保存于存储部，数据发送部按选择周期将临时保存于存储部的选择出的数据发送给外部服务器。
16.在本发明涉及的数据发送装置中，优选地，数据取得部将取得的基于传感器信号的数据临时保存于存储部，数据选择部从临时保存于存储部的取得的数据中选择一个以上的数据。
17.在本发明涉及的数据发送装置中，优选地，数据发送部将选择出的数据发送给使用接收到的数据生成地图的外部服务器。
18.本发明涉及的数据发送方法包括：以预定时间间隔多次取得基于来自搭载于车辆的传感器的传感器信号的数据；基于车辆的移动速度决定选择周期，按所决定的选择周期，从多次取得的数据中选择一个以上的数据；以及将选择出的数据发送给外部服务器。
19.发明效果
20.根据本发明涉及的数据发送装置，能够高效地向外部服务器发送数据。
附图说明
21.图1是说明包括数据发送装置的地图生成系统的概要的图。
22.图2是包括数据发送装置的车辆的概略构成图。
23.图3是数据发送装置的硬件示意图。
24.图4是数据发送装置具有的处理器的功能框图。
25.图5是说明取得图像的例子的图。
26.图6的(a)是说明决定选择周期的第1例的图，(b)是说明决定选择周期的第2例的图。
27.图7是数据发送处理的动作流程图。
28.图8是数据选择处理的动作流程图。
29.图9是地图生成服务器的硬件结构图。
30.标号说明
31.1地图生成系统；2车辆；26数据发送装置；63处理器；631数据取得部；632数据选择部；633数据发送部。
具体实施方式
32.以下，参照附图，对数据发送装置详细进行说明。数据发送装置以预定时间间隔多次取得基于来自搭载于车辆的传感器的传感器信号的数据。接着，数据发送装置基于车辆的移动速度决定选择周期，按所决定的选择周期，从多次取得的数据中选择一个以上的数据。然后，数据发送装置将选择出的数据发送给外部服务器。
33.图1是说明包括数据发送装置的地图生成系统的概要的图。在本实施方式中，地图生成系统1具有包括数据发送装置的车辆2以及地图生成服务器3。车辆2例如通过访问
(access)经由网关等与地图生成服务器3所连接的通信网络4连接的无线基站5，从而经由无线基站5以及通信网络4与地图生成服务器3连接。地图生成服务器3是外部服务器的一例，使用接收到的数据生成地图。
34.在地图生成系统1中，将地图m划分为预定尺寸的网格(mesh)进行管理。在车辆2以速度v1行驶于地图m的网格d
‑
3期间，以预定时间间隔(例如1/10秒)取得基于来自搭载于车辆2的传感器的传感器信号的数据d11
‑
d15。基于在网格d
‑
3中的速度v1，选择所取得的数据d11
‑
d15的全部。而且，选择出的数据d11
‑
d15经由无线基站5以及通信网络4发送给地图生成服务器3。
35.另外，在车辆2以速度v2行驶于地图m的网格g
‑
2期间，以预定时间间隔取得由搭载于车辆2的传感器所取得的数据d21
‑
d29。速度v2是比速度v1慢的速度。基于在网格g
‑
2中的速度v2，从所取得的数据d21
‑
d29中选择数据d21、d23、d25、d27、d29。而且，选择出的数据d21、d23、d25、d27、d29经由无线基站5以及通信网络4发送给地图生成服务器3。
36.在本实施方式中，基于来自搭载于车辆2的传感器的传感器信号的数据是由搭载于车辆2的摄像头按预定的时间间隔拍摄到的表示车辆2的前方区域的图像。由于车辆2在网格g
‑
2中以较低的速度行驶，因而在相邻的图像间产生了重叠。通过以使选择出的数据在车辆的行进方向上重合的方式选择向地图生成服务器发送的数据，数据发送装置能够高效地向地图生成服务器发送数据。
37.图2是包括数据发送装置的车辆2的概略构成图。车辆2具有摄像头21、gnss接收机22、dcm(data communication module，数据通信模块)23、车速传感器24、储存(storage)装置25以及数据发送装置26。摄像头21、gnss接收机22、dcm23、车速传感器24以及储存装置25与数据发送装置26经由遵照控制器局域网这样的标准的车内网络可通信地连接。
38.摄像头21是传感器的一例，具有由ccd(电荷耦合器件)或者c
‑
mos(互补金属氧化物半导体)等对可见光具有灵敏度的光电转换元件的阵列所构成的二维检测器、以及将该二维检测器上成为拍摄对象的区域的像进行成像的成像光学系统。摄像头21例如以朝向车辆2前方的方式安装在车辆2的车室内。摄像头21按预定的拍摄周期(例如1/30秒～1/10秒)对车辆2的前方区域进行拍摄，生成映现出该前方区域的图像。由摄像头21获得的图像可以为彩色图像，也可以为单色图像。此外，车辆2也可以设置有多个摄像头，多个摄像头的拍摄方向或者焦点距离也可以互不相同。
39.摄像头21每当生成图像时，就将该生成的图像经由车内网络向数据发送装置26输出。
40.gnss接收机22按预定周期接收来自gnss(global navigation satellite system，全球导航卫星系统)卫星的gnss信号，基于接收到的gnss信号测量车辆2的自身位置。gnss接收机22按预定周期将表示基于gnss信号的车辆2的自身位置的定位结果的定位信号经由车内网络向数据发送装置26输出。
41.dcm23是执行遵照预定的无线通信标准的无线通信处理的设备，例如通过访问无线基站5，经由无线基站5以及通信网络4与地图生成服务器3连接。dcm23接收来自无线基站5的下行链路的无线信号，将该无线信号包含的表示来自地图生成服务器3的数据发送请求的数据发送请求信号交给数据发送装置26。另外，dcm23将从数据发送装置26收取到的数据包含在上行链路的无线信号中，并将该无线信号向无线基站5发送，从而将数据向地图生成
服务器3发送。
42.车速传感器24基于驱动轴的转速测定车辆2的当前的移动速度。车速传感器24按预定周期将表示当前的移动速度的车速信号经由车内网络向数据发送装置26输出。车速传感器24也可以经由预定的微处理器连接于车内网络。
43.储存装置25是存储部的一例，例如具有硬盘装置或者非易失性的半导体存储器。储存装置25临时保存从摄像头21获得的图像数据。储存装置25按照来自数据发送装置26的图像数据的读取请求，读取图像数据，并经由车内网络将读取到的图像数据交给数据发送装置26。另外，储存装置25也可以存储识别车辆2的车辆标识符。
44.数据发送装置26是基于所输入的信号执行运算并将运算结果输出的电子控制装置。数据发送装置26也可以作为使在车辆2行驶期间由摄像头21生成的表示车辆2周边的图像存储于储存装置25的行车记录仪而安装于车辆2。
45.图3是数据发送装置26的硬件示意图。数据发送装置26基于车辆的速度，选择基于从摄像头21获得的图像的数据，并将选择出的数据发送给地图生成服务器3。为此，数据发送装置26具备通信接口61、存储电路62以及处理器63。
46.通信接口61是通信部的一例，具有用于将数据发送装置26连接至车内网络的通信接口电路。通信接口61将接收到的数据供给到处理器63。另外，通信接口61将从处理器63供给的数据输出到外部。
47.存储电路62具有易失性的半导体存储器以及非易失性的半导体存储器。存储电路62存储由处理器63进行的处理中所使用的各种数据、例如取得数据的时间间隔、数据所表示的距离范围等。另外，存储电路62存储各种应用程序、例如执行数据发送控制的数据发送程序等。
48.处理器63是控制部的一例，具有一个以上的处理器及其外围电路。处理器63也可以还具有如逻辑运算单元、数值运算单元或者图形处理单元这样的其他的运算电路。
49.图4是数据发送装置26具有的处理器63的功能框图。
50.数据发送装置26的处理器63具有数据取得部631、数据选择部632以及数据发送部633作为功能块。处理器63具有的这些各部分是由在处理器63上执行的程序实现的功能模块。或者，处理器63具有的这些各部分也可以作为独立的集成电路、微处理器或者固件安装于数据发送装置26。
51.数据取得部631每当搭载于车辆2的摄像头21生成图像时(例如以1/10秒间隔)，就经由通信接口61从摄像头21取得图像。即，数据取得部631以预定的时间间隔(例如1/10秒)多次从摄像头21取得图像。
52.图5是说明取得图像的例子的图。基于以移动速度v移动的车辆2的摄像头21在时刻t1输出的图像，数据取得部631取得数据d1。数据d1是剪切摄像头21输出的图像的一部分而得到的图像数据，表示车辆2前方的道路上的位置p11与p12之间的状况。另外，基于车辆2的摄像头21在从时刻t1经过时间间隔δt后的时刻t2输出的图像，数据取得部631取得数据d2。数据d2是剪切摄像头21输出的图像的一部分而得到的图像数据，表示车辆2前方的道路上的位置p21与p22之间的状况。
53.在数据d1所表示的道路上，离车辆2最近的位置p11与离车辆2最远的位置p12相距距离间隔h(例如4m(米))。即，数据d1所表示的距离范围为h。另外，在数据d1所表示的道路
上离车辆2最近的位置p11与在数据d2所表示的道路上离车辆2最近的位置p21相距间隔δh。间隔δh对应于时刻t1与时刻t2之间的时间间隔δt上的移动量。因此，间隔δh能够通过对车辆的移动速度v乘以时间间隔δt求出。
54.数据选择部632基于由车速传感器24测定的车辆2的移动速度决定选择周期，按所决定的选择周期，从多次取得的数据中选择一个以上的数据。
55.图6是说明决定选择周期的例子的图。
56.在图6的(a)中，基于以较快的移动速度(例如90km/h)移动时车辆2的摄像头21输出的图像的数据d11
‑
d15配置为对应于在数据上表示的位置。数据d11
‑
d15的高度(数据所表示的距离范围)为h。
57.数据d11的位置与数据d12的位置偏离了间隔δh1。其结果，数据d11与数据d12重叠了(h
‑
δh1)。即，不与前后的数据重叠的部分的高度表示为h
‑
2(h
‑
δh1)＝2δh1
‑
h。在取得数据d11的时刻与取得数据d12的时刻的间隔为1/10秒、且车辆2的移动速度为90km/h的情况下，δh1为2.5m。δh1大于h/2，因而该高度为正。因此，数据d11
‑
d15各自具有不与前后的数据重叠的部分。在该情况下，为了以使选择后的数据在车辆的行进方向上相互重合的方式选择数据，而将选择周期设为1，将会选择所有数据。
58.在图6的(b)中，基于以较慢的移动速度(例如36km/h)移动时车辆2的摄像头21输出的图像的数据d21
‑
d29配置为对应于在数据上表示的位置。与图6的(a)同样地，数据d21
‑
d29所表示的距离范围为h。
59.数据d21的位置与数据d22的位置偏离了间隔δh2。在取得数据d21的时刻与取得数据d22的时刻的间隔为1/10秒、且车辆2的移动速度为36km/h的情况下，δh2为1m。δh2小于h/2，因而不与前后的数据重叠的部分的高度2δh2
‑
h为负。因此，数据d21
‑
d29各自具有与前面的数据和后面的数据双方重叠的部分。在该情况下，将选择周期设为2，数据选择部632从连续的两个数据中选择至少一个(例如每隔一个)，从而选择后的数据在车辆的行进方向上相互重合，不产生分割。
60.将以上进行概括，在每隔时间间隔δt取得表示以移动速度v移动的车辆2周边的距离间隔h的范围内的状况的数据时，若将使以下式(1)为真的n设为选择周期，则选择后的数据在车辆的行进方向上相互重合。以下，也将n称为“选择周期”，将从某个数据到第n个的数据称为“选择周期中包含的数据”。
61.h/(n+1)δt<v≤h/nδt(n为自然数)
ꢀꢀꢀ
式(1)
62.数据选择部632从存储电路62读取取得数据的时间间隔δt以及数据所表示的范围的距离间隔h并代入式(1)。另外，数据选择部632将从车速传感器24接收到的车辆2的移动速度v代入式(1)。再者，数据选择部632使n从1开始依次增加1直至式(1)成为真。而且，数据选择部632将式(1)成为真的n设为选择周期，从连续的n个数据中选择至少一个数据。
63.数据选择部632也可以从存储电路62读取使用时间间隔δt和距离间隔h求出的分别与不同的n对应的速度范围，使用与接收到的移动速度v所属的速度范围对应的n选择数据。
64.数据选择部632基于排列顺序从选择周期中包含的数据中选择(例如开头的)数据。另外，数据选择部632也可以决定基于预定基准从选择周期中包含的数据中选择的数据。例如，数据选择部632评价选择周期中包含的图像数据即数据各自的品质，按品质从高
到低的顺序进行选择。
65.数据选择部632通过将按预定尺寸从数据中剪切出的部分图像输入到预先学习(训练)为判定图像中包含的部分图像的品质的识别器，取得与该部分图像的品质对应的得分(例如，合格：1、不合格：0)。数据选择部632将某个数据包含的所有部分图像的得分进行合计，求取该数据的得分。而且，数据选择部632从在选择周期中包含的数据中得分高的图像起依次进行选择。
66.识别器例如能够设为具有从输入侧向输出侧串联连接的多个卷积层、全连接层和输出层的卷积神经网络(cnn)。卷积层执行卷积运算并输出特征图。全连接层将卷积层输出的特征图所包含的所有特征融合。输出层将全连接层的输出输入到激活函数，将输出值输出。作为激活函数，可使用sigmoid函数、step函数等。通过预先将赋予了得分的部分图像用作监督(教师)数据而输入到cnn并进行学习，cnn作为检测包含特征物的图像的识别器而工作。
67.数据发送部633将由数据选择部632选择出的数据经由通信接口61、车内网络、dcm23、无线基站5、和通信网络4发送到地图生成服务器3。
68.另外，数据发送部633对选择出的数据附加从gnss接收机22接收到的定位信号以及存储于储存装置25的车辆标识符，并发送给地图生成服务器3。
69.图7是数据发送处理的动作流程图。数据发送装置26的处理器63根据从地图生成服务器3接收到的数据发送请求信号，按照以下的动作流程图在预定的周期反复执行数据发送处理。
70.处理器63的数据取得部631以预定的时间间隔多次取得基于来自搭载于车辆2的摄像头21的传感器信号的数据(步骤s1)。数据选择部632基于车辆2的移动速度，从多次取得的数据中选择一个以上的数据(步骤s2)。关于在步骤s2中执行的数据选择处理的详情，将会在后面进行说明。然后，数据发送部633将选择出的数据发送给使用接收到的数据生成地图的地图生成服务器(步骤s3)，并结束数据发送处理。
71.图8是数据选择处理的动作流程图。每当在数据发送处理中步骤s2被调用时，处理器63的数据选择部632按照以下的动作流程图执行数据选择处理。
72.数据选择处理开始时，数据选择部632将由数据取得部631多次取得的数据临时保存于储存装置25(步骤s21)。然后，数据选择部632从车速传感器24接收车速信号，取得车速信号所表示的车辆2的移动速度(步骤s22)。
73.接着，数据选择部632基于车辆的移动速度，从临时保存的数据决定选择周期(步骤s23)。具体而言，数据选择部632将上述的式(1)成为真的n决定为选择周期。
74.然后，数据选择部632从临时保存的数据中的包含于预定选择周期的数据中，选择应该发送给地图生成服务器3的数据(步骤s24)，并结束数据选择处理。
75.图9是地图生成服务器3的硬件结构图。地图生成服务器3经由通信网络4从车辆2接收数据，使用接收到的数据生成地图。为此，地图生成服务器3具有通信接口31、储存装置32和处理器33。
76.通信接口31具有用于将地图生成服务器3连接于通信网络的接口电路。而且，通信接口31构成为能够经由通信网络4以及无线基站5与车辆2通信。即，通信接口31将从处理器33收取到的数据发送请求信号经由通信网络4以及无线基站5发送给车辆2。另外，通信接口
31将经由无线基站5以及通信网络4从车辆2接收到的图像数据或者地物数据交给处理器33。
77.储存装置32例如具有硬盘装置或者光存储介质及其存取装置。储存装置32存储从车辆2接收到的图像数据或者地物数据。另外，储存装置32存储处理器33生成的地图数据。再者，储存装置32也可以存储在处理器33上执行的、用于执行地图生成处理的计算机程序。
78.处理器33具有一个或多个cpu(central processing unit)及其外围电路。处理器33也可以还具有如逻辑运算单元或者数值运算单元这样的其他的运算电路。而且，处理器33执行地图生成处理。
79.在地图生成处理中，首先，处理器33将请求发送数据的数据发送请求信号发送给车辆2。处理器33也可以确定来自车辆2的数据所需的区划(网格)，将请求发送所确定的区划中的数据的数据发送请求信号发送给车辆2。区划例如由预定的经度和纬度的范围指定。
80.处理器33基于从车辆2接收到的数据所附加的定位信息和车辆标识符，确定从车辆2接收到的表示预定位置范围的状况的多个数据。
81.处理器33按所确定的多个数据的每一个检测与其他数据重复的区域，通过融合数据以使得重复的区域重合来生成地图。
82.通过如上这样，数据发送装置26执行数据发送处理，从而数据发送装置26能够高效地向地图生成服务器发送数据。
83.根据变形例，摄像头21也可以是取得车辆2周边的距离图像的lidar(light detection and ranging，激光雷达)传感器。距离图像是各像素具有与到该像素所表示的物体的距离相应的值的图像。
84.另外，根据另一变形例，数据发送装置发送给地图生成服务器的数据也可以是表示基于由摄像头21生成的图像所确定的、车辆周边存在的特征物的地物数据。
85.在本变形例中，数据取得部631通过将从摄像头21获得的图像输入到预先学习为检测图像所表示的特征物的识别器，取得地物数据。特征物例如指的是路面的车道标线、道路标示、道路上悬挂的标识等。此外，也可以从一个图像中检测多个地物数据。在该情况下，数据取得部631也可以将从一个图像中检测出的多个地物数据作为一个数据组来处理。
86.识别器例如为cnn。通过预先将包含特征物的图像以及该特征物被包含的区域的位置信息用作监督数据而输入到cnn并进行学习，cnn作为从图像中检测包含特征物的区域的识别器而工作。
87.数据选择部632基于车辆2的移动速度决定选择周期，按所决定的选择周期选择一个以上的图像，并将从选择出的图像中检测出的地物数据选择为应该发送的数据。
88.在本变形例中，数据取得部631也可以与地物数据一起从识别器取得表示从图像中识别出特征物的确定性的置信度。而且，数据选择部632也可以按置信度从高到低的顺序对选择周期中包含的地物数据进行选择。
89.在另一变形例中，数据选择部632也可以先执行数据的选择，然后临时保存选择出的数据。即，在图8所示的数据选择处理的动作流程图中，数据选择部632也可以在数据选择(步骤s24)之后执行数据的临时保存(步骤s21)。
90.在该变形例中，临时保存的数据由数据发送部633按选择周期发送给地图生成服务器3。因此，能够削减用于临时保存数据的储存装置25的容量。
91.本领域技术人员应当理解，在不脱离本发明的精神和范围的情况下，可对其加以各种变更、替换和修改。