车内外协作装置及方法与流程

文档序号:31736406发布日期:2022-10-05 03:48阅读:65来源:国知局
车内外协作装置及方法与流程

1.本公开涉及车内外协作装置及方法。本技术主张基于2020年2月27日申请的日本技术第2020-031119号的优先权,在此通过参照引用上述日本技术中记载的全部记载内容。


背景技术:

2.在运行车辆时,不仅需要充分注意本车辆的动作,还需要充分注意其他车辆的动作。除了车辆以外,在存在行人的情况下需要特别注意。以往,如图1所示,存在如下技术:对这样的存在于实际空间50中的移动物体(以下,称为“移动体”。),通过lidar(light detection and ranging:激光雷达)、照相机等多个传感器进行检测,推定其属性(成人、儿童、车辆、二轮车等),使用在虚拟空间上预先准备的高清晰的道路地图数据(以下,称为“高清晰地图”。)生成交通状况俯瞰地图52。
3.为了生成这样的交通状况俯瞰地图52,需要从搭载有这些传感器的车辆以及设置在路侧的照相机等基础设施传感器收集作为多个传感器的输出的传感器数据。因此,考虑使用第五代移动通信系统(所谓的“5g”)。这种技术的一例公开在后述的专利文献1中。
4.作为5g的一例,图2示出了包括第一切片到第四切片的通信系统70。
5.参照图2,第一切片是被定义为包括分别搭载有能够进行5g无线通信的车载装置92及94的车辆82及84、具备无线通信机98的基础设施照相机88、设置在信号机上的具备无线通信机100的交通信号控制器90、行人86具有的便携式电话96等、且在它们之间能够进行直接通信的切片。
6.第二切片是被定义为包括多个基站110、112及114、且第一切片中包括的通信终端与它们进行通信的切片。
7.第三切片是被定义为包括城域nw(network:网络)120及122、设置在与它们连接的分布式dc(data center:数据中心)124、130等中的边缘服务器126及128等、且各通信终端能够经由基站110、112及114等与它们进行通信的切片。需要说明的是,城域nw是指,例如在每个城市等限定的范围内,以连接大厦、社会设施及住宅等的方式构筑的通信网络。基站110、112及114等每一个都与边缘服务器126、128等边缘服务器中的任一个连接。之所以被称为边缘服务器,是因为边缘服务器126、128等在通过网络连接的系统中位于最外侧,是连接网络系统与除此以外的系统之间的服务器。
8.第四切片包括能够与多个城域网进行通信的核心nw140,设置在与该核心nw140连接的核心dc142中的核心服务器144能够与边缘服务器126及128等与各城域网连接的通信装置进行通信。
9.通常,上述交通状况俯瞰地图在边缘服务器128等中针对特定的范围构筑并维持。属于第一切片的各通信终端将它们所具备的传感器检测出的传感器数据等发送到例如边缘服务器126。边缘服务器126通过综合这些传感器数据,在虚拟空间上重新构筑实际的道路上的状况,生成并维持交通状况俯瞰地图52。边缘服务器126基于这样维持的交通状况俯瞰地图52,向各通信终端发送用于支援其驾驶等的信息。
10.在先技术文献
11.专利文献
12.专利文献1:日本特开2018-018284号公报
13.专利文献2:日本特开2008-263580号公报
14.专利文献3:日本特开2018-073389号公报


技术实现要素:

15.本公开的第一方面所涉及的车内外协作装置是在具备用于数据传输的车内网络、通过无线与车外进行数据通信的无线通信机以及多个传感器的车辆中使用的车内外协作装置,包括:数据接收部,经由车内网络接收来自多个传感器的传感器数据;端点间延迟时间推定部,推定从多个传感器的每一个到能够通过无线通信机进行通信的规定的装置为止的端点间的传感器数据的发送延迟时间;价值确定部,基于车辆的状态以及多个传感器的状态,确定多个传感器输出的传感器数据的价值;以及选择部,基于延迟时间推定部所推定的发送延迟时间以及由价值确定部确定的价值,选择传感器数据的一部分,并将所选择的该传感器数据的副本经由无线通信机发送到规定的装置。
16.本公开的第二方面所涉及的车内外协作方法是在具备用于数据传输的车内网络、通过无线与车外进行数据通信的无线通信机以及多个传感器的车辆中,通过将来自多个传感器的传感器数据发送到外部的规定的装置来使车内外协作的车内外协作方法,包括:计算机经由车内网络从搭载于车辆的多个传感器接收传感器数据的步骤;计算机推定从传感器到能够通过无线通信机进行通信的规定的装置为止的端点间的传感器数据的发送延迟时间的步骤;计算机基于车辆的状态以及多个传感器的状态,确定多个传感器输出的传感器数据的价值的步骤;以及计算机基于在推定发送延迟时间的步骤中推定的发送延迟时间以及由确定价值的步骤确定的价值,选择传感器数据的一部分,并将所选择的该传感器数据的副本经由无线通信机发送到规定的装置的步骤。
17.关于本公开的技术范围及其内容,通过参照附图研究公开的详细说明而变得明确。
附图说明
18.图1是示意性地示出现实的道路状况与道路状况俯瞰地图的关系的图。
19.图2是示出专利文献1所示的通信系统的简要构成的图。
20.图3是示出本公开的第一实施方式所涉及的交通支援系统的简要构成的图。
21.图4是示出在本公开的第一实施方式所涉及的车辆中与交通支援系统相关联的要素的构成的框图。
22.图5是示出作为与本公开的第一实施方式所涉及的车辆进行通信的交通支援服务器的边缘服务器的构成的框图。
23.图6是示意性地示出用于第一实施方式所涉及的车辆的传感器及传感器数据的通信的构成的框图。
24.图7是示出在图6所示的第一实施方式所涉及的车辆中使用的车内外协作部的简要硬件构成的框图。
25.图8是示出存储在图7所示的车内外协作部内的存储器中的、车内外协作所需的数据的图。
26.图9是示出图8所示的传感器数据集表的存储内容的一例的图。
27.图10是示出图8所示的传感器优先级策略表的一例的图。
28.图11是在第一实施方式所涉及的车辆中,以表形式示出传感器种类与传感器种类编号的对应关系的图。
29.图12是以表形式示出表示搭载于车辆的传感器的位置的传感器位置种类与传感器位置种类编号的对应关系的图。
30.图13是示出车辆中的照相机的搭载位置的一例的示意图。
31.图14是用于说明基于传感器数据的价值的传感器的优先级的图。
32.图15是示出由本公开的第一实施方式所涉及的交通支援服务器执行的、用于控制来自车辆的通信的程序的控制结构的流程图。
33.图16是示出由搭载于第一实施方式所涉及的交通支援系统内的车辆的车载装置执行的、控制传感器数据的发送的程序的控制结构的流程图。
34.图17是示出搭载于第一实施方式所涉及的交通支援系统内的车辆的车载装置执行的、进行传输延迟的推定的程序的控制结构的流程图。
35.图18是示出搭载于第一实施方式所涉及的交通支援系统内的车辆的车载装置执行的、进行传感器的优先级策略的更新的程序的控制结构的流程图。
36.图19是示出搭载于第一实施方式所涉及的交通支援系统内的车辆的车载装置执行的、实现传感器数据的选择和交换机的设定处理的程序的控制结构的流程图。
37.图20是示出本公开的第二实施方式所涉及的交通支援系统的简要构成的框图。
38.图21是示出在本公开的第二实施方式所涉及的车辆中与交通支援系统相关联的要素的构成的框图。
39.图22是示出由搭载于第二实施方式所涉及的交通支援系统内的车辆的车载装置执行的、控制传感器数据的发送的程序的控制结构的流程图。
具体实施方式
40.[本公开要解决的技术问题]
[0041]
通过专利文献1所公开的通信系统,能够构筑并维持交通状况俯瞰地图52。从交通状况俯瞰地图52得到的与交通相关的动态信息及注意信息被发送到各通信终端。其结果,例如在搭载有这样的通信终端的车辆中,能够在需要时知道道路的状况,能够有助于交通的安全。
[0042]
但是,在上述现有技术中,依然存在应该解决的技术问题。第一技术问题是对从车辆向边缘服务器等交通支援服务器的传输容量的动态变动的应对。起因于4g/5g区域的切换、遮蔽,有时传输容量会产生很大的变动。另外,由于车辆的内部状态(车内网络、cpu(central processing unit:中央处理单元)资源的负荷状态)以及交通支援服务器的状态变动,有时传输容量也会产生很大的变动。交通支援系统需要适当地应对这样的传输容量的动态变动。第二技术问题是传感器数据的选择。在由于传输容量的变动而无法从车辆向交通支援服务器发送全部传感器数据的情况下,需要选择传感器数据的一部分来发送。因
此,需要确定从车辆向交通支援服务器发送何种传感器数据效率最好。
[0043]
不存在解决第一技术问题和第二技术问题双方的现有技术。例如,上述专利文献2提出了根据传输容量的变化来切换搭载于车辆的照相机的图像的种类、分辨率、帧率的技术。但是,在专利文献2所记载的技术中,没有考虑进行这样的控制时的车载装置内部的状态。另外,在专利文献2所记载的技术中,也没有考虑应该根据车辆所处的各种状况来选择何种条件的传感器,即传感器数据的价值。
[0044]
另一方面,上述专利文献3公开了基于数据样本的价值来确定从车辆向服务器发送数据样本时的优先级的技术。在专利文献3中,基于被称为数据价值表的表内的数据价值地图来计算数据样本的价值。基于计算出的价值,确定向服务器发送数据样本的优先级。数据价值地图例如基于在服务器中将数据样本用于何种用途来确定,并随时发送到车辆。当车辆接收到数据价值地图时,车辆用接收到的数据更新已有的数据价值地图。因此,从服务器的立场出发,能够以与数据的用途相应的优先级从车辆收集数据。
[0045]
但是,在专利文献3中,没有公开基于车辆所处的状况来实时地变更计算数据的价值的方法的技术。特别是,在交通支援系统中,不是数据的价值根据用途而变化,而是应该始终根据车辆及车辆周围的状况来实时地处理应该向服务器发送的数据的优先级。在专利文献3中没有公开这样的技术。
[0046]
因此,本公开的目的在于提供一种车内外协作装置及方法,其能够根据传输容量的变化及车辆及其周围的状况来确定数据发送的优先级,以能够有效地进行基于交通支援服务器等规定的装置的交通支援。
[0047]
[本公开的实施方式的说明]
[0048]
在以下的说明及附图中,对相同的部件标注相同的参照编号。因此,不重复对它们的详细说明。需要说明的是,也可以任意组合以下的实施方式中的至少一部分。
[0049]
(1)本公开的第一方面所涉及的车内外协作装置是在具备用于数据传输的车内网络、通过无线与车外进行数据通信的无线通信机以及多个传感器的车辆中使用的车内外协作装置,包括:数据接收部,经由车内网络接收来自多个传感器的传感器数据;端点间延迟时间推定部,推定从多个传感器的每一个到能够通过无线通信机进行通信的规定的装置为止的端点间的传感器数据的发送延迟时间;价值确定部,基于车辆的状态以及多个传感器的状态,确定多个传感器输出的传感器数据的价值;以及选择部,基于延迟时间推定部所推定的发送延迟时间以及由价值确定部确定的价值,选择传感器数据的一部分,并将所选择的该传感器数据的副本经由无线通信机发送到规定的装置。
[0050]
端点间延迟时间推定部推定从搭载于车辆的多个传感器的每一个到规定的装置为止的端点间的传感器数据的发送延迟时间。价值确定部基于车辆的状态、多个传感器的状态,确定多个传感器输出的传感器数据的价值。选择部基于延迟时间推定部所推定的发送延迟时间以及由价值确定部确定的价值,选择传感器数据的一部分,并将所选择的该传感器数据的副本经由无线通信机发送到规定的装置。包括车内网络中的延迟时间在内,推定从传感器到特定的装置的端点间的发送延迟时间,并基于所推定的发送延迟时间和针对传感器数据的每一个确定的价值来选择向规定的装置发送的传感器数据。由于在追随基于无线通信机的传输容量的变动的同时,考虑从传感器到规定的装置为止的端点间的发送延迟时间,选择在规定的装置中能够有效利用的传感器数据并由车内外协作装置进行发送,
因此能够提供在最大限度地利用传输容量的同时,能够尽可能地发挥规定的装置的功能的车内外协作装置。
[0051]
(2)端点间延迟时间推定部也可以包括:网络传输时间推定部,针对每个传感器推定来自多个传感器的传感器数据经由车内网络到达数据接收部为止的网络延迟时间;处理时间推定部,推定将到达数据接收部的传感器数据输入到无线通信机为止的处理所需的处理时间;无线通信延迟时间推定部,推定传感器数据从无线通信机发送到规定的装置所需的无线通信延迟时间;以及延迟时间计算部,基于多个传感器的每一个的数据量、网络延迟时间、处理时间及无线通信延迟时间,计算发送延迟时间。
[0052]
除了将到达数据接收部的传感器数据输入到无线通信机为止的处理所需的处理时间和传感器数据从无线通信机发送到规定的装置所需的无线通信延迟时间以外,进一步针对每个传感器推定来自多个传感器的传感器数据经由车内网络到达数据接收部为止的网络延迟时间,并基于这些来计算端点间的发送延迟时间。由于考虑到车内网络的发送延迟时间来计算端点间的发送延迟时间,因此能够更准确地推定在允许延迟时间内能够向规定的装置发送的数据量,能够更准确地进行应该发送的传感器数据的选择。
[0053]
(3)价值确定部也可以包括:基础设施检测范围推定部,基于车辆的位置,推定存在于该车辆附近的基础设施传感器的检测范围;以及价值设定部,基于车辆的位置及姿势,推定多个传感器的检测范围,并设定来自各传感器的传感器数据的价值,以使与由基础设施检测范围推定部推定的基础设施传感器的检测范围重复的区域越小的传感器价值越大。
[0054]
在搭载于车辆的多个传感器中,来自与基础设施传感器的检测范围重复的检测范围大的传感器的传感器数据在规定的装置中的利用价值低。与基础设施传感器的检测范围重复的检测范围越小的传感器,该传感器输出的传感器数据在规定的装置中的利用价值越高。因此,推定存在于车辆附近的基础设施传感器的检测范围,在传感器中,通过将其检测范围与基础设施传感器的检测范围的重复范围小的传感器的价值计算得高,从而优先选择来自这些传感器的传感器数据并发送到规定的装置。由于在有限的传输容量中将价值高的传感器数据发送到规定的装置,因此与传输容量的变动无关地,能够在规定的装置中进行基于传感器数据的稳定的处理。
[0055]
(4)基础设施检测范围推定部包括基础设施检测范围更新部,所述基础设施检测范围更新部以规定时间间隔,基于车辆的位置,反复更新存在于该车辆附近的基础设施传感器的推定检测范围,价值设定部也可以包括价值更新部,所述价值更新部以规定时间间隔,基于车辆的位置及姿势,反复更新来自各传感器的传感器数据的价值,以使与基础设施检测范围更新部所更新的基础设施传感器的检测范围重复的区域越小的传感器价值越大。
[0056]
基础设施传感器的检测范围以规定时间间隔更新。传感器数据的价值也基于车辆的位置及姿势和更新后的基础设施传感器的检测范围以规定时间间隔更新。因此,追随车辆的移动及车辆周边的通信环境等,至少以规定时间间隔更新车辆的各传感器的价值。其结果,与车辆的移动及车辆周边的通信环境的变化等无关地,价值高的传感器数据被发送到规定的装置。因此,与环境的变化无关地,规定的装置能够稳定地进行处理。
[0057]
(5)多个传感器的每一个被分类为多个传感器种类中的任一个,基础设施检测范围推定部也可以包括传感器种类检测范围推定部,所述传感器种类检测范围推定部基于车辆的位置,针对基础设施传感器的每个传感器种类,推定存在于该车辆附近的基础设施传
感器的检测范围,价值设定部也可以包括传感器种类传感器数据价值设定部,所述传感器种类传感器数据价值设定部针对多个传感器种类的每一个,基于车辆的位置及姿势,推定多个传感器中属于该传感器种类的传感器的每一个的检测范围,设定来自多个传感器中属于该传感器种类的传感器的传感器数据的价值,以使与由传感器种类检测范围推定部针对该传感器种类推定的基础设施传感器的检测范围重复的区域越小的传感器价值越大。
[0058]
由于价值设定部针对每个传感器的种类设定传感器数据的价值,因此能够更有效地利用传输容量来选择对规定的装置的处理有效的传感器数据。
[0059]
(6)车内外协作装置也可以进一步包括传感器数据集存储部,所述传感器数据集存储部将指定多个传感器数据集的信息与各传感器数据集的标识符一起存储,多个传感器数据集也可以包括针对多个传感器种类的每一个,指定从多个传感器中选择的个数和与来自该传感器的传感器数据的数据量相关联的数据形式的信息,车内外协作装置也可以进一步包括:传感器数据集读出部,响应于从规定的装置接收到标识符中的任一个,从传感器数据集存储部读出与该标识符对应的传感器数据集的信息;传感器数据选择部,基于传感器数据集读出部所读出的传感器数据集的信息和传感器种类传感器数据价值设定部对来自各传感器的传感器数据设定的价值,针对多个传感器种类的每一个,从价值大的传感器开始,依次选择来自由传感器数据集读出部所读出的传感器数据集的信息指定的个数的传感器的传感器数据;以及网络设定部,设定车内网络,以使由传感器数据选择部选择的传感器数据比其他传感器数据优先传输。
[0060]
当将指定传感器数据集中的任一个的标识符提供给车内外协作装置时,针对每个传感器种类,从传感器数据的价值高的传感器开始依次选择由该传感器数据集指定的数量的传感器。针对全部种类的传感器,基于传感器数据集的指定,有价值的规定个数的传感器数据被发送到规定的装置。其结果,在规定的装置中,能够有效地利用这些传感器数据来执行稳定的处理。
[0061]
(7)车辆进一步具备车辆控制装置,所述车辆控制装置使用来自多个传感器的传感器数据进行车辆的控制,车辆控制装置也可以包括自动驾驶ecu(electronic control unit:电子控制单元),所述自动驾驶ecu使用经由网络从多个传感器接收到的传感器数据进行车辆的自动驾驶。
[0062]
自动驾驶ecu基于来自搭载于车辆的多个传感器的传感器数据进行动作。由于这些传感器数据中的任一个被车内外协作装置选择并发送到规定的装置,因此能够在自动驾驶ecu和规定的装置中共用传感器数据,能够高效地进行车辆的自动驾驶和规定的装置的处理的执行。
[0063]
(8)车辆控制装置也可以包括:远程操纵ecu,按照规定的远程操纵指令进行车辆的控制;传感器数据发送部,将经由网络从多个传感器接收到的传感器数据经由无线通信机发送到外部的远程操纵装置;以及输入装置,将从远程操纵装置经由无线通信机接收到的远程操纵指令输入到远程操纵ecu。
[0064]
远程操纵装置基于从搭载于车辆的多个传感器接收到的传感器数据进行动作,将远程操纵指令发送到远程操纵ecu。发送到远程操纵装置的传感器数据中的任一个被车内外协作装置选择并发送到规定的装置。因此,能够在远程操纵装置和规定的装置中共用传感器数据,能够高效地进行车辆的远程操纵和规定的装置的处理的执行。
[0065]
(9)本公开的第二方面所涉及的车内外协作方法是在具备用于数据传输的车内网络、通过无线与车外进行数据通信的无线通信机以及多个传感器的车辆中,通过将来自多个传感器的传感器数据发送到外部的规定的装置来使车内外协作的车内外协作方法,包括:计算机经由车内网络从搭载于车辆的多个传感器接收传感器数据的步骤;计算机推定从传感器到能够通过无线通信机进行通信的规定的装置为止的端点间的传感器数据的发送延迟时间的步骤;计算机基于车辆的状态以及多个传感器的状态,确定多个传感器输出的传感器数据的价值的步骤;以及计算机基于在推定发送延迟时间的步骤中推定的发送延迟时间以及由确定价值的步骤确定的价值,选择传感器数据的一部分,并将所选择的该传感器数据的副本经由无线通信机发送到规定的装置的步骤。
[0066]
在推定端点间的传感器数据的发送延迟时间的步骤中,推定从搭载于车辆的多个传感器的每一个到规定的装置为止的端点间的传感器数据的发送延迟时间。基于车辆的状态以及多个传感器的状态,确定多个传感器输出的传感器数据的价值。基于所推定的发送延迟时间以及由确定价值的步骤确定的价值,选择传感器数据的一部分,该传感器数据的副本经由无线通信机发送到规定的装置。包括车内网络中的延迟时间在内,推定从传感器到特定的装置的端点间的发送延迟时间,并基于所推定的发送延迟时间和针对传感器数据的每一个确定的价值来选择向规定的装置发送的传感器数据。由于在追随无线通信的传输容量的变动的同时,考虑从传感器到规定的装置为止的端点间的发送延迟时间,选择在规定的装置中能够有效利用的传感器数据并发送,因此能够提供在最大限度地利用传输容量的同时,能够尽可能地发挥规定的装置的功能的车内外协作方法。
[0067]
[本公开的效果]
[0068]
如上所述,根据本公开,能够提供一种车内外协作装置及方法,其能够根据传输容量的变化及车辆及其周围的状况来确定数据发送的优先级,以能够有效地进行基于交通支援服务器等规定的装置的交通支援。
[0069]
《第一实施方式》
[0070]
《构成》
[0071]
《整体构成》
[0072]
图3示出本公开所涉及的交通支援系统的简要构成图。参照图3,与专利文献1所记载的相同,该交通支援系统包括车辆82及84、以及未图示的基础设施传感器、行人具有的便携式电话等、和作为交通支援服务器的边缘服务器128,所述边缘服务器128经由基站110与它们进行通信来进行构筑并维持通信状况地图152及交通状况俯瞰地图150的处理。
[0073]
通信状况地图152是指,例如将为了交通支援而预先准备的高清晰地图划分为由具有一定长度的边的多个分区构成的格子状,并记录了各分区中的通信状况的地图。典型地,与各分区相关的通信状况由分区的中心位置、以及在过去的一定期间内从位于该分区内的车辆向交通支援服务器发送来的数据的传输速度的代表值表示。为了计算过去的一定期间的传输速度的代表值,也存储有与在过去的一定期间内交通支援服务器接收到的数据的传输速度相关的数据。作为传输速度的代表值,典型地能够使用平均传输速度、传输速度的最频值、传输速度的中央值、根据除去了上位及下位的规定个数的数据计算出的这些代表值等等。
[0074]
交通状况俯瞰地图是指,针对一定地域,在虚拟空间上预先准备的高清晰地图上,
将存在于该地域的车辆及行人等移动体以及建筑物等固定物的位置、速度、属性等与标识编号建立关系并存储的地图。交通状况俯瞰地图基于从设置在地域内的所谓的基础设施传感器以及搭载于车辆的车载传感器发送的数据、以及关于道路施工、事故、基础设施传感器的设置场所及其属性等从规定的源得到的信息而构筑。
[0075]
以下,以从车辆82向边缘服务器128如何发送传感器数据为例对第一实施方式进行说明。
[0076]
《车载装置》
[0077]
参照图4,车辆82包括:各种传感器170以及用于车辆的自动驾驶控制的自动驾驶ecu(electronic control unit:电子控制单元)172;车载装置92,用于从这些传感器170收集传感器数据,在与自动驾驶ecu172进行通信的同时控制自动驾驶ecu172;以及车外通信机162,在车载装置92与边缘服务器128及其他车辆等车外的要素进行通信时使用。
[0078]
车载装置92包括:网络交换机(nsw)160,与传感器170及自动驾驶ecu172等连接,用于车内通信;以及车内外协作部164,经由nsw160与传感器170及自动驾驶ecu172连接,另一方面,用于经由车外通信机162将来自传感器170的传感器数据传输到外部,并使用从车内的传感器等收集的信息和经由车外通信机162从外部接收到的数据对自动驾驶ecu172等的运转状态进行协作控制。车内外协作部164如后所述,响应于来自边缘服务器128的指示以及车辆82的状况的变化,对收集传感器数据时的处理、以及向外部发送传感器数据时的处理进行控制。需要说明的是,图4所示的车载装置92包括nsw160和车内外协作部164,但也可以以包括自动驾驶ecu172或车外通信机162或其双方的形式作为一个车载装置。车载装置92也可以作为asic(application-specific integrated circuit:专用集成电路)、系统lsi(large scale integration:大规模集成)等半导体集成电路、或者将多个半导体集成电路安装在基板上的装置来实现。
[0079]
通常,来自传感器170的传感器数据被发送到自动驾驶ecu172,但如箭头174所示,传感器数据的一部分被车内外协作部164选择并发送到边缘服务器128。在以下的实施方式中,对车内外协作部164如何根据车外通信机162与边缘服务器128之间的传输容量、车辆82内的网络以及车内外协作部164等中的处理时间、以及车辆82所处的状况来选择边缘服务器128能够最高效地构筑交通状况俯瞰地图150的传感器数据进行说明。
[0080]
需要说明的是,搭载于车辆的传感器的数量变得非常多,预计今后数量也会越来越多,另外从各传感器输出的数据量也会进一步增多。因此,以往使用的车载网络的传输速度变得不够,正在研究将具有千兆级的传输速度的网络用于车载网络。如参照图6后述的那样,在以下的实施方式中,车辆82的车载装置通过这样的网络相互通信。在这样的网络中,能够应用与连接计算机间的网络相关的现有技术,因此期待用于构筑车内网络的成本降低。另外,在该例中,作为车内网络的通信协议,采用当前最普及的tcp-ip(transmission control protocol-internet protocol:传输控制协议-互联网协议)。
[0081]
《交通支援服务器》
[0082]
参照图5,如上所述,边缘服务器128包括接收处理部210,所述接收处理部210用于接收来自多个基础设施传感器设备180(包括照相机、毫米波雷达及lidar的任意组合。)的信号及来自车辆82所搭载的传感器(照相机、lidar及毫米波雷达的任意组合)170的信号。基础设施传感器设备180的每一个包括:基础设施传感器190,包括照相机、毫米波雷达及
lidar的任意组合;以及通信装置192,用于将基础设施传感器190输出的信号发送到边缘服务器128的接收处理部210。车辆82也同样地包括:传感器170,包括照相机、lidar或毫米波雷达;以及车外通信机162,将传感器170输出的信号中的至少一部分向边缘服务器128的接收处理部210发送。
[0083]
边缘服务器128进一步包括:移动体跟踪部212,通过分析接收处理部210接收到的信号中的来自lidar及毫米波雷达等的测距信号,以规定的第一周期来确定并跟踪各移动体的位置,并输出移动体跟踪结果213;移动体跟踪结果存储部214,用于存储移动体跟踪结果213;以及属性检测部216,通过对接收处理部210接收到的信号中的来自照相机的图像数据进行图像分析,以比第一周期长的规定的第二周期来确定图像中的车辆、人等移动体的属性及位置。边缘服务器128进一步包括:属性存储部218,用于存储属性检测部216输出的属性217;综合处理部224,以比第二周期短的周期反复综合存储在移动体跟踪结果存储部214中的移动体跟踪结果213和存储在属性存储部218中的属性217,并输出作为综合后的分析结果的交通状况俯瞰地图225;以及交通状况俯瞰地图存储部226,累积并存储综合处理部224输出的交通状况俯瞰地图225。
[0084]
移动体跟踪结果213、属性217及交通状况俯瞰地图225分别每隔规定时间进行计算,但在过去的一定时间计算出的分析结果也分别作为履历累积并存储在移动体跟踪结果存储部214、属性存储部218及交通状况俯瞰地图存储部226中。在综合处理部224进行综合处理时,有时参照作为累积在交通状况俯瞰地图存储部226中的过去的综合分析结果的交通状况俯瞰地图225的履历。
[0085]
边缘服务器128进一步包括:车辆跟踪部220,用于基于接收处理部210从各车辆接收到的信号,得到包括管理对象的车辆的标识信息、搭载传感器信息、位置、速度及车辆尺寸等车辆的属性的车辆信息;以及车辆信息存储部222,用于存储由车辆跟踪部220分析出的各车辆的车辆信息221。
[0086]
边缘服务器128进一步包括:信息发送部228,将交通状况俯瞰地图225的移动体信息与存储在车辆信息存储部222中的车辆信息221进行对照,进行在综合后的移动体信息中,将与儿童、一边看智能手机一边步行的行人等具有被认为危险的属性的移动体、道路上的事故车辆、故障车辆、掉落物等相关的信息等用于交通支援的信息,向位于距该物体规定范围内的车辆进行报知等的处理;以及发送处理部230,用于将用于基于信息发送部228的信息报知的信号发送到对象车辆。
[0087]
边缘服务器128进一步包括:高清晰地图存储部262,存储高清晰地图;以及高优先级区域提取部240,用于基于存储在交通状况俯瞰地图存储部226中的交通状况俯瞰地图以及存储在高清晰地图存储部262中的高清晰地图,提取确定高优先级区域的坐标。在此,高优先级区域是指,需要优先收集与该区域相关的传感器数据的区域。作为高优先级区域,例如可以考虑在该区域内存在规定的阈值以上的数量的移动体的区域、以及检测出儿童等有可能采取危险行动的属性的移动体的区域等。高优先级区域提取部240例如将道路地图划分为规定的分区,通过针对各分区判定是否符合上述条件来提取高优先级区域。关于阈值以上的移动体聚集的区域的检测,也可以预先在道路地图上确定多个应该关注的区域(例如交叉路口等),仅在该区域检查是否满足条件。
[0088]
边缘服务器128进一步包括:传感器优先级策略存储部242,存储多个后述的传感
器优先级策略;策略确定部244,针对由高优先级区域提取部240提取出的高优先级区域的每一个,根据提取出的区域的状况,确定应用存储在传感器优先级策略存储部242中的传感器优先级策略中的哪一个;以及候补车辆选定部246,针对高优先级区域提取部240提取出的区域的每一个,将在传感器的检测范围内包括该区域的车辆选定为传感器数据收集的对象车辆的候补。即,在高优先级区域中,边缘服务器128仅从一部分车辆收集传感器数据。该一部分车辆是具备性能高的传感器及发送装置的车辆。通过选择这样的车辆来收集传感器数据,即使在高优先级区域中存在多个车辆而通信状况有可能恶化时,边缘服务器128也能够有富余地收集必要的传感器数据。
[0089]
传感器优先级策略是指,表示与在传感器数据中优先来自哪个种类的传感器的传感器数据相关的方针。例如,假设检测出某个区域中存在儿童。这样的区域在此称为儿童检测区域。儿童与成人不同,有时会突然进行意想不到的动作。因此,在儿童检测区域中,需要以高频度取得关于检测出的移动体的位置的信息。因此,需要将来自lidar那样的能够高速地检测移动体的位置的传感器的传感器数据优先于来自照相机那样难以检测移动体的位置或者花费时间的传感器的传感器数据而发送到边缘服务器128。另一方面,例如考虑在道路上存在事故车辆的区域。在此,将这样的区域称为事故区域。由于事故车辆通常不移动,因此不需要特别以高频度向边缘服务器128发送位置坐标。另外,为了了解事故的状况,像照相机那样以图像的形式向各车辆分发,对于各车辆的驾驶者来说容易了解状况。因此,在这样的区域中,优选使照相机优先于lidar。像这样,根据各区域的状况,提供与优选将什么样的传感器优先发送到边缘服务器128相关的基本方针就是传感器优先级策略。
[0090]
在本实施方式中,假设各车辆在高优先级区域以外都向边缘服务器128发送传感器数据,此时,将确定该车辆的传感器的检测范围的坐标(相对于车辆的基本位置的相对坐标)作为车辆信息进行发送。根据该坐标和车辆的基本位置的坐标,计算各车辆的传感器能够检测的范围的绝对坐标,通过将该坐标与各区域的坐标进行对照,能够选定候补车辆。
[0091]
边缘服务器128进一步包括:数据集查询部250,用于针对由候补车辆选定部246选定的候补车辆的每一个,发送策略确定部244确定的传感器优先级策略,并按照该传感器优先级策略查询包括各车辆向边缘服务器128发送时的传感器数据集的传感器数据集表;传感器数据集表存储部248,用于针对每个车辆存储针对数据集查询部250的查询而从各候补车辆得到的传感器数据集表;车辆选定部252,基于这些传感器数据集表,边缘服务器128选定能够发送对生成交通状况俯瞰地图最有效的传感器数据的车辆,并向所选择的车辆发送请求发送传感器数据的指令;以及查询收发部254,用于通过无线通信进行数据集查询部250及车辆选定部252的与各车辆的通信。
[0092]
关于发送对生成交通状况俯瞰地图最有效的传感器数据,能够从设计者的观点考虑各种基准。例如,可以考虑从交通参加者的驾驶支援的观点来看最重要的数据,即具有与防止事故相关的价值的数据为此以充分的传输速度被发送到边缘服务器128。从其他观点出发,也可以考虑将传感器数据发送到边缘服务器128,以使交通状况俯瞰地图的内容尽可能准确、且能够以充分的速度追随现实的变化。在这种情况下,可以考虑将交通状况俯瞰地图分为几个区域,根据区域改变其重要度,对于重要的区域,能够以比除此以外的区域高的追随速度将变化反映到交通状况俯瞰地图中是重要的。总之,在维持、管理交通状况俯瞰地图方面,从系统的设计者最重视的观点出发,满足以能够向边缘服务器128发送有效的数
据、并且能够防止边缘服务器128中的负荷变得过大的方式确定的基准,相当于在此所说的“将最有效的传感器数据最高效地”发送到边缘服务器128。
[0093]
参照图5,边缘服务器128进一步包括:线路速度信息存储部256,基于接收处理部210从高清晰地图的各分区的车辆接收到的传感器数据及车辆信息等,提取从各分区向边缘服务器128发送数据时的线路速度信息,并存储规定时间;通信状况地图管理部258,用于基于存储在线路速度信息存储部256中的线路速度信息,针对存储在高清晰地图存储部262中的高清晰地图的各分区,生成并管理表示通信状况的通信状况地图;以及通信状况地图存储部260,用于存储由通信状况地图管理部258生成的通信状况地图。在数据集查询部250从各车辆请求传输数据集表集时,参照该通信状况地图。
[0094]
需要说明的是,在图5中,查询收发部254也可以使用与接收处理部210及发送处理部230相同的硬件。也可以定量地确定是否与传感器优先级策略一致,但在本实施方式中,如后所述,预先使用与各传感器优先级策略相应的传感器数据集表来确定。传感器数据集表可以根据主观的基准来生成,也可以根据线路速度等传输容量、交通状况俯瞰地图所关注的高优先级区域的数量、该区域内的车辆的位置、各车辆所具有的发送设备的能力、存在于该区域内的移动体的数量等各种因素来制定某个数学式,并通过比较将这些因素代入该数学式而得到的值来生成。但是,实际上使用以下所述的使用传感器数据集表的方法是现实的。
[0095]
在本实施方式中,对各车辆预先准备有传感器数据集表。各车辆响应于来自数据集查询部250的查询,将这些传感器数据集表发送到数据集查询部250。关于传感器数据集表,将参照图9后述。
[0096]
需要说明的是,也可以根据采用了何种传感器优先级策略来切换所使用的传感器数据集表。另外,作为传感器,各车辆或基础设施传感器也可以至少具有像lidar或毫米波雷达那样检测物体的位置的传感器和像照相机那样取得图像的传感器。需要说明的是,在本实施方式中,将移动体多的交叉路口等和儿童所在的区域等都作为相同级别的高优先级区域来提取。但是,本公开并不限于这样的实施方式。就二者而言,交叉路口等是广域,检测出儿童的区域等是狭域,两者的性质不同。因此,也可以仅提取任一方。另外,也可以最初提取广域区域,在其中提取狭域区域。
[0097]
需要说明的是,关于像照相机那样的图像传感器以及像lidar及毫米波雷达那样的测距传感器中的任一个,根据产品的规格而清晰度(分辨率)不同,传感器数据量也不同。因此,需要充分考虑作为对象的传感器的种类及其传感器数据的清晰度以及发送间隔,来准备适合于各传感器优先级策略的传感器数据集表。
[0098]
图6例示性地示出车辆82的传感器配置及网络的构成。参照图6,车辆82包括:车载网络288,与上述车内外协作部164及自动驾驶ecu172连接,具有千兆级的传输速度;以及传感器单元280、282、284及286,分别搭载于车辆82的右前部、左前部、右后部及左后部。
[0099]
传感器单元280、282、284及286的每一个包括毫米波雷达、照相机及lidar。
[0100]
在本实施方式中,车载网络288包括:四个千兆级的网络交换机292、294、296及298,分别与属于相同传感器单元的传感器连接;第一多千兆交换机300,将车辆前方的两个网络交换机292及294之间桥接;以及第二多千兆交换机302,将车辆后方的两个网络交换机296及298之间桥接,另外与第一多千兆交换机300连接。车内外协作部164与网络交换机292
连接,自动驾驶ecu172与网络交换机294连接。相当于图4所示的车外通信机162的tcu(telematics control unit:远程信息控制单元)290与车内外协作部164一起与网络交换机292连接。
[0101]
像这样,传感器单元280、282、284及286配置在车辆的不同位置。因此,根据车辆所处的状况,来自这些传感器单元的传感器数据的价值如后所述会产生差异。
[0102]
图7示出车内外协作部164的硬件构成。参照图7,车内外协作部164包括微处理器320。微处理器320包括总线342、均与总线342连接的cpu340、rom(read-only memory:只读存储器)344、ram(random access memory:随机存取存储器)346、dmac(direct media access controller:直接媒体访问控制器)348、输入输出i/f(interface:接口)352、计时器350以及中断控制器354,该中断控制器354与dmac348、计时器350及输入输出i/f352连接,响应于来自它们的信号而使cpu340产生中断。
[0103]
中断控制器354基于计时器350的计时,定期地使cpu340产生计时器中断。另外,当存在来自输入输出i/f352的外部的输入输出时,中断控制器354使cpu340产生输入输出中断。进而,当基于dmac348的数据传输结束时,中断控制器354响应于来自dmac348的信号而使cpu340产生中断。
[0104]
图8示出图4所示的车内外协作部164为了车内外协作而存储的ram346。这些数据中的固定的数据都存储在图7所示的rom344中,在cpu340执行程序时加载到ram346中。其他数据在程序执行时由cpu340动态地生成并存储在ram346中。
[0105]
参照图8,ram346包括:搭载传感器信息400,是与搭载于车辆82的传感器相关的信息;传感器数据集表402,存储有多个成为车辆82向外部发送的对象的传感器数据集;传感器优先级策略表404,存储有多个传感器优先级策略,所述传感器优先级策略表示在指定了向外部发送时的传感器数据集时,根据车辆的状况等如何针对传感器的各种类的每一个确定优先级;高清晰地图数据406,用于车辆82所搭载的导航系统(未图示);传感器数据存储区域408,用于暂时存储为了从车辆82所搭载的各种传感器向边缘服务器128发送而向车内外协作部164发送来的传感器数据;以及数据包优先级策略表410,以表形式保持用于数据包传输的优先级设定的信息(数据包优先级策略),以使在确定了要发送的传感器数据集、并确定了传感器优先级时,图6所示的网络交换机292、294、296、298、第一多千兆交换机300及第二多千兆交换机302以按照该优先级的优先级传输传感器数据的数据包。数据包优先级策略是指,用于指定可对各交换机设定的数据包优先级、每个数据包优先级的队列的数量、按照优先级的数据包传输频度等信息。通过预先使用该信息对各数据包设定按照优先级的数据包传输策略,并在传感器数据的数据包报头中存储指定优先级的信息,各交换机执行与优先级相应的传输处理。
[0106]
图9示出存储在ram346中的传感器数据集表402的例子。参照图9,传感器数据集表402在该例中存储有第一列的标识编号(id)0至7所示的八个传感器数据集。在本实施方式中,标识编号以在选择了各传感器数据集时所传输的数据量小的标识编号小、大的标识编号大的方式确定。
[0107]
在图9所示的例子中,假设传感器是lidar、毫米波雷达及照相机。图9的第二列表示由各传感器数据集传输的数据的性质。在图9所示的例子中,从左起依次表示lidar、毫米波雷达及照相机的传感器数据的传输时的分辨率或压缩率。例如,在标识编号2的传感器数
据集中,lidar为非压缩,毫米波雷达也为非压缩,照相机的图像数据为sd(standard definition:标准清晰度)图像。sd图像是由720
×
480像素或720
×
576像素构成的图像。另外,在id=5的情况下,lidar为非压缩,毫米波雷达也为非压缩,但是照相机图像为全hd(high definition:高清晰度)图像。全hd图像是指由1900
×
1080像素构成的图像。标识编号3、6等的“hd图像”是由1280
×
780像素构成的图像。这些图像是从相同的照相机得到的图像,其中心部在任何分辨率的图像中都是共同的。即,hd图像是全hd图像的中央部分的图像,sd图像进一步是hd图像的中央部分的图像。通过像这样选择数据,始终将照相机朝向的方向的图像发送到边缘服务器128。
[0108]
第三列是发送数据的间隔(数据间隔)。在该例中,该数据间隔也针对每个id、每个传感器来确定。在图9中,例如对于标识编号1,表示lidar及毫米波雷达都在一秒内发送10次,而照相机图像则不发送。对于标识编号5,lidar及毫米波雷达都在一秒内向边缘服务器128发送10次,而照相机图像则向边缘服务器128发送3次全hd图像。
[0109]
最右侧的列表示在搭载于车辆的各种传感器中发送几个传感器的数据。例如,对于标识编号1,表示lidar及毫米波雷达都发送4个数据,而照相机则不使用。对于标识编号4,相对于lidar及毫米波雷达都发送4个传感器的数据,照相机也是4个。与此相对,在标识编号6的情况下,lidar及毫米波雷达同样为4个,但照相机仅使用2个。
[0110]
像这样,通过针对各标识编号指定各传感器的分辨率或压缩率、发送的间隔、使用的传感器个数,能够控制发送的数据的总量。即,通过指定传感器数据集id,能够控制从车辆发送到边缘服务器128的传感器数据的内容及总量。
[0111]
需要说明的是,在以上的说明中,作为区域的性质,列举了儿童检测区域及事故区域,但区域的性质并不限于这些。例如,即使是成人,对于操作智能手机的成人也与儿童同样地需要注意。在检测出两人乘坐或三人乘坐的自行车的情况下也同样。进而,作为照相机图像优先的例子,例如可列举存在较多停车车辆的地方、存在长时间拥堵的地方、故障车辆在通常车辆不停车的位置停车的区域(故障车辆区域)等。
[0112]
在本实施方式中,如上所述,从各车辆向边缘服务器128发送各车辆所具有的传感器数据集表。边缘服务器128在确定高优先级区域后,参照各车辆的传感器数据集表,确定从哪个车辆接收与哪个标识编号对应的传感器数据集的发送,对该车辆指定传感器数据集的标识编号并请求传感器数据的发送。在车辆中,在接收到该请求时,基于能够利用的传输容量、本车辆内的网络的数据通信的延迟时间、搭载于车载装置的cpu的处理时间以及到边缘服务器128为止的传输延迟等,判定是否能够在允许延迟时间内发送与从边缘服务器128发送来的标识编号对应的全部传感器数据集。如果判定为肯定,则开始所指定的传感器数据集的发送。如果判定为否定,则要求边缘服务器128将标识编号减1,不开始传感器数据的发送。在存在从车辆发出的将标识编号减1的响应时,边缘服务器128选择其他车辆,并对该车辆请求特定的传感器数据集的发送。如果来自任一车辆的传感器数据集的发送开始,则继续通信,如果存在从全部车辆发出将标识编号减1这样的要求,则降低应该传输的传感器数据的量,指定比之前指定的编号低1的值作为传感器数据集的标识编号,再次重复车辆的选择和传感器数据的发送请求。关于该步骤的详细内容,将参照图15后述。
[0113]
图10示出针对传感器数据集的标识编号确定的传感器优先级策略表404的一例。图10所示的是与图9的标识编号3或6对应的内容。图9的标识编号3的传感器数据集的传感
器个数为“4,4,2”。即毫米波雷达、lidar均为4个,照相机为2个。在图10所示的例子中,作为毫米波雷达,假设存在毫米波雷达#0、1、2及3这4个,则它们按照该顺序被采用。在lidar的情况下也同样,假设存在lidar#0、#1、#2及3,则它们按照该顺序被采用。对于照相机,假设存在照相机#0、#1、#2及3,则在它们中照相机#2及3被采用。像这样,从4个照相机中采用哪个照相机是基于从各照相机得到的传感器数据的价值来确定的。
[0114]
以下,对于像上述照相机那样在4个照相机中只采用2个时如何确定所采用的照相机(如何生成传感器优先级策略表404),对其方法的一例进行说明。
[0115]
参照图11,在该例中,根据传感器的种类,对毫米波雷达、lidar及照相机分别分配0、1及2的传感器种类编号。进而,如图12所示,根据传感器的位置种类(前后、左右),分配传感器位置种类编号。在图12所示的例子中,在传感器位置为前方时分配0,为后方时分配1,为左时分配0,为右时分配1。在该例中,传感器位置是前后和左右的组合。即,在照相机的情况下,如图13所示,对于车辆82的左前方的照相机440、右前方的照相机442、左后方的照相机444及右后方的照相机446,当组合上述传感器种类编号和传感器位置种类的前后及左右时,则对各照相机分配如下的代码。
[0116][0117]
当使用该代码时,则在4个照相机中仅采用2个时,能够确定选择哪个即可。以下,对该方法进行说明。以下的说明涉及通过确定从各照相机得到的图像数据的价值的大小,并选择与价值相应的代码,从而采用与该代码对应的照相机的方法。
[0118]
参照图14,考虑实际空间50管理的对象区域500,假设其中存在交叉路口512。假设在交叉路口512的附近存在大厦514,在大厦514中存在高速的数据通信的基站。因此,假设相对于在以交叉路口512为中心的高速通信区域510中能够进行高速通信,在其他区域中只能利用低速通信。该信息通过图3所示的通信状况地图152而得到。另外,已知在交叉路口512设置有基础设施传感器。该信息也通过图3所示的交通状况俯瞰地图150可知。
[0119]
在该状态下,如图14所示的车辆520所示,假设车辆在高速通信区域510内向交叉路口512行驶。如上所述,在交叉路口512设置有基础设施传感器,并且该信息被高速地发送到边缘服务器128。因此,即使车辆520向边缘服务器128发送了交叉路口512附近的图像数据,车辆520的照相机的检测范围与基础设施照相机的检测范围的重复也较大,数据重复而浪费。另一方面,在车辆520的后方不存在基础设施传感器。因此,车辆520的照相机的检测范围与周围的基础设施照相机的检测范围不存在重复、或者即使存在重复也非常小,如果将由车辆520的后方的照相机得到的图像数据发送到边缘服务器128,则其利用价值高。进而,由于车辆520位于能够进行高速通信的区域中,因此作为图像能够利用hd图像或全hd图像。
[0120]
另外,考虑在高速通信区域510中向远离交叉路口512的方向行驶的车辆522。在这种情况下,由于与车辆520相同的理由,车辆522的后方的图像对于边缘服务器128来说价值
低。另一方面,车辆522的前方的图像对于边缘服务器128来说价值高。在车辆522的情况下,由于处于能够进行高速通信的区域,因此能够利用hd图像或全hd图像。
[0121]
进而,考虑在高速通信区域510外的道路上行驶的车辆524。由于车辆524处于低速通信区域,因此作为图像应该利用sd图像。另外,由于在车辆524的附近没有基础设施照相机,因此车辆524的前方图像及后方图像双方对于边缘服务器128来说都是有用的。
[0122]
如上所述,在本实施方式中,将来自能够得到与由基础设施照相机得到的图像不重复的图像的照相机的图像的价值设定得高,将来自不是这样的照相机的图像的价值设定得低,选择能够得到价值高的图像的照相机。即,在本实施方式中,较高地评价来自能够得到补充基础设施照相机的检测范围的图像的照相机的图像的价值,较低地评价与基础设施照相机的检测范围重复的图像的价值。
[0123]
因此,例如假设车辆520、522及524都如图6所示分别装备4个lidar、毫米波雷达及照相机,以下对如何确定图10所示的传感器优先级策略表404进行说明。
[0124]
用图11所示的符号表示传感器种类,用图12所示的符号表示各传感器的位置(前后、左右)。按照(传感器种类、前后、左右)的顺序对它们进行代码化。对于照相机以外的传感器也同样。
[0125]
例如,在车辆520的情况下,对于照相机,无论左右都采用后方的照相机。即,采用4个照相机中的2个照相机。由于车辆520处于能够进行高速通信的区域,因此这种情况下的传感器数据集为图9所示的标识编号“6”。在这种情况下,当以降序对12个传感器的代码进行排序时,这12个传感器以如下的顺序进行排列。
[0126]
211
[0127]
210
[0128]
201
[0129]
200
[0130]
111
[0131]
110
[0132]
101
[0133]
100
[0134]
011
[0135]
010
[0136]
001
[0137]
000
[0138]
其中下位的4个是毫米波雷达,在标识编号6的传感器数据集中全部采用。中位4个是lidar,它们也全部采用。上位4个中最初的2个“211”及“210”指车辆520的后方照相机。在标识编号6的传感器数据集中仅采用2个照相机,因此采用这些上位的2个,不采用其他照相机。
[0139]
同样地,在车辆522的情况下,作为按升序对代码进行排序的结果,仅采用代码的值为上位的“200”及“201”。在车辆524的情况下,不需要进行排序,而采用全部的照相机。
[0140]
像这样对各传感器进行代码化,如果前方的传感器的价值高,则按升序对代码进行排序,如果后方的传感器的价值高,则按降序对代码进行排序,由此能够选择所希望的传
感器。
[0141]
需要说明的是,在本实施方式中,按升序或降序对代码整体进行排序。但是,本公开并不限于这样的实施方式。通过将代码的第二位及第三位作为不同的关键位分别按升序、降序进行排序,能够基于针对前后和左右双方确定的价值来选择传感器。
[0142]
《实现边缘服务器128的程序》
[0143]
图15以流程图形式示出在边缘服务器128中通过计算机实现对上述各区域的特定车辆请求传感器数据的发送并收集传感器数据的处理的程序的控制结构。该程序与生成交通状况俯瞰地图的程序及生成通信状况地图的程序并列地以规定时间间隔反复进行动作。
[0144]
参照图15,该程序包括:步骤550,按照上述基准从边缘服务器128负责的区域中提取高优先级区域;步骤552,针对在步骤550中提取出的每个区域执行以下的处理554;以及步骤556,在步骤552结束后,对于在任一高优先级区域内都不存在的车辆,指示以比从高优先级区域内发送传感器数据的车辆长的周期(也包括发送停止的情况。)发送传感器数据并结束程序的执行。
[0145]
处理554包括:步骤570,确定与处理对象的区域的性质相应的传感器优先级策略;步骤572,根据从存在于处理对象的区域内的车辆发送来的数据计算该车辆的传感器的检测范围,并将处理对象的区域包括在传感器的检测范围内的车辆、或者基于车辆的移动速度及方向而在不久的将来处理对象的区域进入传感器的检测范围的可能性高的车辆、即搭载了规定的传感器的车辆选定为车辆候补;步骤574,针对在步骤572中选定的每个车辆,基于按照由步骤570确定的传感器优先级策略从该车辆接收到的传感器数据集表,确定传感器数据集的标识编号;步骤576,针对各车辆执行尝试传感器数据的接收的处理578;步骤580,作为执行步骤576的结果,判定是否开始了从对象车辆接收传感器数据集,并按照判定使控制流程分支;以及步骤582,响应于步骤580的判定为否定,将向各车辆发送的传感器数据集的标识符的值减1,将控制返回到步骤576。在步骤580的判定为肯定时,由于能够进行关于对象区域的传感器数据的接收,因此对该区域的处理554结束,转移到下一个区域的处理。
[0146]
处理578包括:步骤590,针对对象车辆发送由步骤574确定的传感器数据集的识别符,并请求对象车辆发送相应的传感器数据集;步骤592,判定步骤590的处理结果是否开始了传输,并按照判定使控制流程分支;步骤594,响应于步骤592的判定为肯定,向存在于处理中的高优先级区域内的其他车辆发送中止传感器数据的发送的指示;以及步骤596,退出与处理中的高优先级区域相关的处理578的循环处理。在步骤592的判定为否定(从对象车辆接收到将传感器数据集的标识符降低1的要求)时,处理578结束,对处理对象的高优先级区域内的候补车辆中的下一个车辆开始处理578。
[0147]
需要说明的是,处理554针对每个区域进行,但有时在区域内存在多个候补车辆。此时,优选从被认为能够收集传感器数据的效率高的车辆开始依次执行处理578。例如,使用搭载的传感器的种类多的顺序、传输容量大、rtt(round trip time:从发出信号到返回响应为止的时间)小的顺序等基准,对候补车辆进行排序,从位次高的车辆开始执行处理578。当然,本公开并不限于这样的方法,例如也可以按照随机的顺序选择车辆,或者按照期待存在于高优先级区域内的时间长的顺序选择车辆。
[0148]
在针对全部的高优先级区域开始了传感器数据的接收时,控制进入步骤556,对存
在于高优先级区域的外部的车辆指示以长周期发送传感器数据并结束处理。关于此时从各车辆发送的传感器数据集的标识符,可以指定预定的标识符,也可以根据各车辆存在的位置的区域的通信速度使车辆侧选择。
[0149]
《实现车内外协作部164的程序》
[0150]
参照图16,为了实现图6所示的车内外协作部164而由计算机执行的程序在车内外协作部164中接收到某些事件的情况下执行。在此,假设事件中包括对cpu的中断。
[0151]
该程序包括步骤640,判定接收到的事件是否是传感器数据集的发送指示,并按照判定使控制流程分支。在步骤640中接收到的传感器数据集的发送指示包括搭载有执行该程序的车载装置的车辆的传感器数据集表中的任一个传感器数据集的标识符。
[0152]
该程序进一步包括:步骤642,响应于步骤640的判定为肯定,基于可利用的无线传输容量、车辆内的网络延迟、cpu的处理等,推定将所指定的传感器数据集发送到边缘服务器128所需的传输延迟;步骤644,基于由步骤642推定的传输延迟,判定是否能够将所指定的传感器数据集发送到边缘服务器128,即判定在步骤642中计算出的传输延迟是否在允许延迟以下,并按照判定使控制流程分支;步骤650,响应于步骤644的判定为肯定,进行构成由所指定的标识符确定的传感器数据的传感器的选择,针对车载网络288内的网络交换机292、294、296、298及第一多千兆交换机300和第二多千兆交换机302,设定为优先发送来自所选择的传感器的传感器数据,并结束该程序的执行;以及步骤648,响应于步骤644的判定为否定,要求边缘服务器128将发送对象的数据集的标识符的值降低规定的数(例如1),并结束程序的执行。
[0153]
该程序进一步包括:步骤660,响应于步骤640的判定为否定,判定接收内容是否为来自边缘服务器128的数据发送的中止指示,并使控制流程分支;以及步骤664,响应于步骤660的判定为否定,将车载网络288(参照图6)内的各交换机从在步骤650中设定的状态复位为默认的状态,并结束该程序的执行。
[0154]
进而,该程序包括:步骤670,响应于步骤660的判定为否定,判定接收到的数据是否为表示以低速发送传感器数据的来自边缘服务器128的指示,并按照判定使控制流程分支;以及步骤674,响应于步骤670的判定为肯定,再次选择以低速发送的传感器数据,将车载网络288(参照图6)内的各交换机设定为优先传输来自所选择的传感器的传感器数据的发送,并结束该程序的执行。
[0155]
该程序进一步包括:步骤680,响应于步骤670的判定为否定,判定接收到的数据是否是来自搭载于车辆的传感器的传感器数据,并按照判定使控制流程分支;步骤682,响应于步骤680的判定为肯定,将接收到的传感器数据传输到自动驾驶ecu172(参照图6);步骤683,接着步骤682,按照优先级策略进行传感器的选择和交换机的设定;步骤684,接着步骤683,判定在步骤680中接收到的传感器数据是否是向边缘服务器128传输的对象,并按照判定结果使控制流程分支;步骤686,响应于步骤684的判定为肯定,将在步骤680中接收到的传感器数据传输到边缘服务器128,并结束程序的执行;以及步骤688,响应于步骤680的判定为否定,进行按照接收到的数据的处理,并结束程序的执行。在步骤684的判定为否定时,不进行任何处理,结束程序的执行。
[0156]
在本实施方式中,在步骤650、664及674中,在传感器数据的传输之前确认传感器数据向边缘服务器128的传输的有无及传输速度,根据确认结果,如果需要则设定交换机的
优先级并进行传输。如果不需要传输,则不进行传感器数据的传输。具体而言,在本实施方式中,对来自各传感器的数据输出部进行指示,以对来自规定的传感器的传感器数据的数据包附加表示应该追加到按照优先级策略设定的各交换机中的任一个的优先队列中的信息。其结果,大致实时地控制是否应该发送传感器数据、如果发送则发送哪个传感器数据。
[0157]
图17以流程图形式示出在图16的步骤642中执行的程序的控制结构。参照图17,该程序包括:步骤700,对搭载于车辆的各传感器数据,执行推定从作为该传感器数据的输出源的传感器到发送目的地(即边缘服务器128)为止的端点间的延迟时间的处理702;以及步骤704,作为步骤700的结果,对全部的传感器数据判定传输延迟的推定值是否比允许延迟时间小,并按照判定结果使控制流程分支。
[0158]
该程序进一步包括:步骤706,响应于步骤704的判定为肯定,对表示是否能够在允许延迟时间内向边缘服务器128发送传感器数据的标志设定0,并结束该程序的执行;以及步骤708,响应于步骤704的判定为否定,对标志设定9,并结束该程序的执行。在图16的步骤644中,如果该标志为0,则判定为能够进行传感器数据的发送,如果为9,则判定为不能发送。
[0159]
图17的处理702包括:步骤730,确认(估计)从车内外协作部164到边缘服务器128为止的传输容量(在这种情况下是无线传输延迟);步骤732,在图6所示的车载网络288中,确认(估计)从处理对象的传感器到tcu290为止的数据的传输延迟;步骤734,确认(估计)cpu340(参照图7)及tcu290为了传输传感器数据而需要的系统处理时间;以及步骤736,通过对步骤730、732及734进行合计,针对处理对象的传感器数据,推定在从该传感器到边缘服务器128为止的传输中产生的延迟时间,并结束处理702。
[0160]
在步骤730中成为问题的无线传输延迟起因于图6的tcu290所使用的无线通信的传输容量的变动的情况较大。由于4g通信及5g通信的切换、大型车辆的遮蔽等,无线通信的传输容量有可能大幅变动。在步骤730中,例如也可以将在车辆与边缘服务器128之间最近实际执行数据通信时的观测结果用作传输延迟。
[0161]
传输延迟通过下式计算。
[0162]
无线传输延迟=传感器数据量/线路速度
[0163]
+车内网络传输延时
[0164]
+系统处理时间
[0165]
+余量
[0166]
关于车内网络传输延迟和系统处理时间,基于最近的观测结果进行表格化即可。或者,也可以包括车内网络传输延迟和系统处理时间来设定余量。
[0167]
需要说明的是,在这样计算延迟时间的情况下,需要使由车辆82维持管理的计时器与外部的基准计时器同步。例如,在基于从边缘服务器128向车辆发送数据所需的时间来确定线路速度的情况下,如果车辆的计时器与边缘服务器128的计时器不同步,则无法计算准确的传输延迟。因此,图7所示的计时器350基于ntp(network time protocol:网络时间协议)、avb(audio-video bridging:音视频桥接)、tsn(time-sensitive networking:时间敏感网络)等协议与外部的时刻取得同步。另外,车辆内的各部分的计时器也通过与计时器350取得同步而使得不在传输延迟的计算等中产生不良情况。
[0168]
车内网络的传输延迟是指,在图6中来自各传感器的传感器数据通过网络到达车
内外协作部164为止的时间、与从车内外协作部164到达tcu290为止的时间之和。cpu的处理时间是指,基于图7所示的cpu340的、用于将传感器数据发送到边缘服务器128的处理所需的处理时间。由于车内外协作部164进行车辆的控制的关系,因此作为车内网络及cpu的资源,为了车内控制而需要预先留有余量。对于传输容量及车内网络,其状态的确认容易,对传感器数据的发送的影响也容易估计。但是cpu资源容易受到其他处理的影响,另外,由于如果不开始实际的传感器数据的发送则不明确地知道,因此比其他两个要素难以估计。因此,也可以预先在各种条件下执行发送传感器数据的处理,实测其结果消耗的cpu资源,以表等的形式保存。
[0169]
图18是示出用于实现图7所示的车内外协作部164的cpu340响应于计时器350每隔规定时间产生的中断信号而执行的优先级策略的更新处理的程序的控制结构的流程图。参照图18,该程序包括:步骤800,根据gps(global positioning system:全球定位系统)等的输出来检测本车辆的位置;步骤802,基于步骤800,根据地图信息来检索存在于本车辆的周边的基础设施传感器设备;以及步骤804,判定在步骤802中检索到的基础设施传感器是否位于本车辆的前方的规定距离内,并响应于判定结果使控制流程分支。
[0170]
该程序进一步包括:步骤806,在步骤804的判定为肯定时,进一步判定在本车辆的后方的规定距离内是否存在基础设施传感器,并基于判定结果使控制流程分支;步骤808,在步骤806的判定为肯定时执行,比较到前方的基础设施传感器为止的距离和到后方的基础设施传感器为止的距离,判定前方的基础设施传感器是否较远,并响应于判定使控制流程分支;步骤812,在步骤808的判定为肯定时,确定使本车辆所搭载的传感器中的前方优先,并结束程序的执行;以及步骤810,在步骤808的判定为否定时,确定使本车辆所搭载的传感器中的后方优先,并结束程序的执行。
[0171]
该程序进一步包括:步骤814,响应于步骤806的判定为否定,确定使后方的传感器优先,并结束程序的执行;步骤816,响应于步骤804的判定为否定,判定在本车辆的后方的规定距离内是否存在基础设施传感器,并根据判定使控制流程分支;步骤818,响应于步骤816的判定为肯定,确定使本车辆所搭载的传感器中的前方的传感器优先,并结束程序的执行;以及步骤820,在步骤816的判定为否定时执行,随机地设定本车辆所搭载的传感器的优先顺序,并结束程序的执行。
[0172]
执行该程序,如上所述,通过按照优先顺序按升序或降序对传感器的代码进行排序,进而针对各传感器种类选择由传感器数据集确定的个数的优先顺序高的传感器,从而得到用于确定向边缘服务器128发送的传感器数据集的传感器优先级策略表404。该程序每隔规定时间重复,每次都更新传感器优先级策略表404。因此,如果充分缩短该规定时间,则能够根据车辆的位置及周围的状况大致实时地始终得到适当的传感器优先级策略表404。
[0173]
图19是示出用于实现图16的步骤650的程序的控制结构的流程图。参照图19,该程序包括:步骤850,通过对由从边缘服务器128接收到的标识符确定的传感器数据集中的各传感器数据执行以下的处理852,针对每个传感器种类选择输出发送到边缘服务器128的传感器数据的传感器;以及步骤854,对各交换机(或各传感器的输出部)设定与由步骤850确定的优先级对应的数据包传输的优先级策略,并结束该程序的执行。
[0174]
处理852包括:步骤870,判定由所指定的传感器数据集确定的传感器个数是否比作为处理对象的传感器种类的传感器且搭载于车辆的传感器的个数少,并根据判定使控制
流程分支;步骤872,在步骤870的判定为肯定时,根据传感器优先级策略表404确定各传感器的价值;步骤874,接着步骤872,从价值高的传感器选择由所指定的传感器数据集对处理对象的传感器种类指定的个数的传感器;以及步骤878,响应于步骤870的判定为否定,选择处理对象的传感器种类的全部传感器,并结束处理852。
[0175]
《动作》
[0176]
参照图6,传感器单元280、282、284及286中包括的各传感器分别输出与周围的状况相应的传感器数据。这些传感器数据分别经由网络交换机292、294、296、298、第一多千兆交换机300及第二多千兆交换机302等发送到车内外协作部164。在传感器中,lidar测定到分别存在于周围的规定范围内的移动体的面向lidar的部分的格子点为止的距离,并将测距信号作为各点的三维位置坐标的集合即点云来输出。毫米波雷达测定到存在于周围的移动体为止的距离,并输出其信号。照相机以规定的帧率拍摄摄像范围的图像。在图像中,输出包括图像的中心部的、由传感器数据集指定的范围的图像(sd图像、hd图像、全hd图像)。这些传感器数据被发送到图6所示的自动驾驶ecu172,但其中由边缘服务器128指定的传感器数据集所指定的传感器的数据也被发送到边缘服务器128。在确定传感器数据集时,边缘服务器128及车内外协作部164如下进行动作。
[0177]
图7所示的计时器350每隔规定时间产生计时器中断,并对cpu340提供中断信号。响应于该中断信号,cpu340执行图18所示的控制结构的程序。通过定期执行该程序,根据车辆与周围的基础设施传感器的关系,实时更新优先级策略,该优先级策略用于确定在按照传感器数据集从车辆所具有的多个传感器中选择传感器时的优先级。
[0178]
如上所述,边缘服务器128的接收处理部210接收来自多个基础设施传感器设备180的信号及来自搭载于车辆82的传感器170的信号,将来自lidar及毫米波雷达的信号提供给移动体跟踪部212,并将来自照相机的图像数据提供给属性检测部216。另一方面,接收处理部210在从传感器170接收到的信息中,将表示车辆的位置、速度及行驶方向的信息提供给车辆跟踪部220。车辆跟踪部220基于接收到的信息,维持表示各车辆的当前位置及移动方向的数据。需要说明的是,从各车辆向边缘服务器128发送表示该车辆所搭载的传感器的检测范围的坐标。车辆信息存储部222将这样的信息与各车辆的坐标一起存储。
[0179]
边缘服务器128的移动体跟踪部212通过分析从接收处理部210接收到的来自lidar等的测距信号,来在第一周期中确定各移动体的位置。该分析所需的时间短,在第一周期中更新移动体跟踪结果213。属性检测部216通过对从接收处理部210接收到的图像数据进行图像分析,来确定图像中的车辆、人等移动体的属性。由于图像处理花费时间,因此基于属性检测部216的属性检测的周期是比基于移动体跟踪部212的移动体跟踪结果213的更新周期长的第二周期。属性检测部216的属性217被存储在属性存储部218中。
[0180]
参照图5,接收处理部210从对象区域内的基础设施传感器设备180及车辆82等接收传感器数据及车辆数据。移动体跟踪部212根据这些数据检测对象区域内的移动体的位置,并跟踪其移动。跟踪结果被存储在移动体跟踪结果存储部214中。同样地,属性检测部216检测各移动体的属性。检测出的移动体的属性被存储在属性存储部218中。综合处理部224综合移动体的跟踪结果和移动体的属性,使用存储在交通状况俯瞰地图存储部226中的高清晰地图生成交通状况俯瞰地图225,并将该数据保存在交通状况俯瞰地图存储部226中。综合处理部224基于新接收到的数据始终更新保存在交通状况俯瞰地图存储部226中的
交通状况俯瞰地图225。
[0181]
车辆跟踪部220将从各车辆接收到的车辆信息221保存在车辆信息存储部222中。车辆跟踪部220进一步基于存储在车辆信息存储部222中的车辆信息221和新接收到的车辆信息221,来跟踪区域内的各车辆。车辆跟踪部220进一步对新进入到区域内的车辆要求传输数据集表的发送,并将接收到的传输数据集表接收到传感器数据集表存储部248中。
[0182]
当在交通状况俯瞰地图225中产生应该向各车辆发送的信息时,信息发送部228根据存储在交通状况俯瞰地图存储部226中的数据生成应该向各车辆发送的信息,并经由发送处理部230发送到各车辆。
[0183]
线路速度信息存储部256将保持在接收处理部210从区域内的各车辆接收到的数据中的发送时刻和边缘服务器128中的该接收时刻、以及存储在车辆信息存储部222中的各车辆的位置作为组进行提取并累积。通信状况地图管理部258基于累积在线路速度信息存储部256中的数据和存储在高清晰地图存储部262中的高清晰地图,针对将地图分割为格子状而得到的各分区,生成与车辆和边缘服务器128之间的传输时间相关的通信状况地图,并存储在通信状况地图存储部260中。通信状况地图管理部258基于累积在线路速度信息存储部256中的最近的线路速度信息,始终将通信状况地图存储部260维持在最新的状态。
[0184]
高优先级区域提取部240、策略确定部244、候补车辆选定部246、数据集查询部250及车辆选定部252如下进行动作。参照图15,以下的处理以规定时间重复。
[0185]
首先,边缘服务器128按照上述基准从边缘服务器128负责的区域中提取高优先级区域(步骤550)。接着,针对在步骤550中提取出的每个区域,在步骤552中执行处理554。
[0186]
在处理554中,确定与处理对象的区域的性质相应的传感器优先级策略(步骤570)。接着,在步骤572中,根据从存在于处理对象的区域内的车辆发送来的数据计算该车辆的传感器的检测范围,判定是否是将处理对象的区域包括在传感器的检测范围内的车辆、以及在不久的将来处理对象的区域进入传感器的检测范围的可能性高的车辆、即是否是搭载了规定的传感器的车辆,并将满足条件的车辆选定为车辆候补。在接下来的步骤574中,针对在步骤572中选定的每个车辆,按照由步骤570确定的传感器优先级策略、通信状况地图以及与各车辆所搭载的传感器相关的车辆信息,确定并存储应该从该车辆收集的传感器数据集。
[0187]
在步骤576中,针对在步骤572中选定的每个候补车辆执行处理578。此时,在本实施方式中,从候补车辆中具有最优选的属性(所搭载的传感器的种类、个数及性能、数据发送性能等)的车辆开始依次执行处理578。
[0188]
在处理578中,将传感器数据与由步骤574确定的传感器数据集的标识符一起发送到对象车辆。
[0189]
参照图16,在接收到该信息的车辆中,步骤640的判定为肯定,执行步骤642,推定向边缘服务器128发送所指定的传感器数据集时的传输延迟。该处理如图17所示。即,针对各传感器数据,确认(估计)无线传输延迟(步骤730)、车内网络传输延迟(步骤732)及系统处理时间(步骤734),并基于这些推定从处理对象的传感器到边缘服务器128为止的端点间的合计的延迟时间。如果在全部的传感器数据中传输延迟的推定值比允许延迟小,则在步骤706中将标志设定为0。如果在传感器数据中即使有一个传输延迟的推定值为允许延迟时间以上,则在步骤708中将标志设定为9。
[0190]
在步骤644中,当判定为在步骤642中计算出的传输延迟比允许延迟小,因此能够将所指定的传感器数据集发送到边缘服务器128时,在步骤650中按照传感器数据集选择用于将传感器数据发送到边缘服务器128的传感器,设定各交换机以优先传输来自该传感器的传感器数据。
[0191]
即,参照图19,对与由边缘服务器128指定的标识符对应的传感器数据集内的各传感器数据执行处理852的处理。在处理852中,首先,针对某个种类的传感器,判定由传感器数据集指定的传感器个数是否比装备在车辆上的全部传感器的个数少。如果该判定为否定,则搭载于车辆的对象种类的全部传感器被选择为向边缘服务器128发送传感器数据的传感器(步骤878)。如果步骤870的判定为肯定,则在步骤872中,按照该时刻的传感器的优先级策略来确定各传感器的价值,在步骤874中,从价值高的传感器开始,选择由所指定的传感器数据集确定的数量的传感器。当像这样对全部的传感器种类选择了传感器时,在步骤854中,设定各交换机,以使得优先传输来自所选择的传感器的传感器数据。
[0192]
其结果,开始从所选择的传感器输出以边缘服务器128为目的地的传感器数据。当cpu340(图7)接收到该传感器数据时,经由图16的步骤640

步骤660

步骤670

步骤680的路径,在步骤682中将传感器数据传输到自动驾驶ecu172。进而,如果传感器数据是向边缘服务器128的传输对象,则经由步骤684

步骤686的路径,传感器数据被传输到边缘服务器128。
[0193]
再次参照图15,在这种情况下,步骤592的判定为肯定(标志=0),执行步骤594及596的处理,步骤576的处理结束。由于在接下来的步骤580中判定为正在执行来自对象车辆的传感器数据的传输,因此对象区域的处理结束,针对下一个高优先级区域执行处理554。
[0194]
假设在步骤590中请求了传感器数据集的传输的车辆中,在传输延迟为允许延迟时间以上时,执行以下的处理。
[0195]
参照图16,在这种情况下,按照步骤640

步骤642

步骤644的路径进行处理。由于步骤644的判定为否定,因此执行步骤648的处理。即,该车辆对边缘服务器128发送请求将传感器数据集的标识符降低1的信息。
[0196]
再次参照图15,在接收到该请求的边缘服务器128中,步骤592的判定为否定(标志≠0)。对对象车辆的处理578的执行结束,对下一个车辆执行处理578。当全部候补车辆都不能在允许延迟时间内进行传感器数据的传输时,步骤580的判定为否定,并在步骤582中将各车辆的传感器数据集的标识符的值减1。然后,使用新的标识符对各车辆重复处理578。重复这样的处理直到找到能够进行传感器数据的发送的车辆为止。虽然未图示,但在对全部候补车辆不能进行传输时,能够从步骤570重新开始处理。
[0197]
因此,当针对全部作为对象的高优先级区域开始从所选择的车辆发送传感器数据时,执行步骤556,对区域外的车辆发送表示以长周期发送传感器数据的指示。
[0198]
参照图16,当各车辆接收到该指示时,经由图16的步骤640

步骤660

步骤670的路径执行步骤674。在步骤674中,进行传感器的选择、来自传感器的数据输出以及网络内的交换机的再设定(复位),以将与步骤650不同的数据集(多数情况下是全部的传感器数据)以长周期发送到边缘服务器128。其结果,从所选择的车辆以外的车辆,以长周期向边缘服务器128发送传感器数据。
[0199]
需要说明的是,对于在高优先级区域选择的车辆以外,从边缘服务器128发送中止
传感器数据的发送的指示。在这种情况下,在这些车辆中,经由图16的步骤640

步骤660的路径执行步骤664的处理。即,步骤664被复位,全部的传感器数据被从向边缘服务器128的传输对象中排除。
[0200]
参照图16,关于在各车辆中执行的程序的动作,关于接收到数据集发送指示、数据发送中止指示以及低速数据发送指示时的动作如上所述。在cpu340接收到来自传感器的传感器数据时,经由步骤640

步骤660

步骤670

步骤680的路径,在步骤682中将该传感器数据传输到自动驾驶ecu172(参照图6),通过接下来的步骤684及686,如果该传感器数据是向边缘服务器128的传输对象,则传输到边缘服务器128,否则不进行任何处理,结束该程序的执行。
[0201]
在步骤680中判定为接收到的数据不是传感器数据时,控制进入步骤688,执行按照接收到的数据的处理,并结束处理。
[0202]
如上所述,根据本实施方式,在满足了规定的条件的区域(高优先级区域)中,按照与该区域的条件相应的传感器优先级策略,能够仅将对生成交通状况俯瞰地图最有效的传感器数据在规定的允许延迟以内最高效地发送到边缘服务器128的车辆进行传感器数据的发送,除此以外的车辆不进行传感器数据的发送。向边缘服务器128发送的数据量不会过大,交通状况俯瞰地图也能够实时地适时生成并维持。在此时的传输延迟的推定中,除了从车辆的发送机到边缘服务器128为止的传输容量(线路速度)以外,还在推定车内网络的传输延迟以及cpu中的处理时间的基础上对它们进行合计,进而加上余量与允许延迟进行比较。其结果,在边缘服务器128中,能够从考虑与边缘服务器128的线路速度和车辆内的传输延迟的要因而选择的车辆中,以高概率收集为了生成并维持交通状况俯瞰地图所需的信息。其结果,也能够降低在对象区域中车辆与边缘服务器128之间的通信拥塞的危险性。另外,对于成为对象的区域,采用与成为对象的理由相应的传感器优先级策略,选择能够以适合于该传感器优先级策略的形式发送传感器数据的车辆。因此,能够根据交通状况,向边缘服务器128发送最需要的数据,生成充分反映了需要的信息的交通状况俯瞰地图。
[0203]
通过图17的处理702,推定从搭载于车辆82的多个传感器的每一个到边缘服务器128为止的端点间的传感器数据的发送延迟时间。通过图18所示的处理及图19所示的步骤872的处理,基于包括车辆82的位置及姿势的车辆的状态、搭载于车辆82的多个传感器在车辆82中的设置位置、以及多个传感器的检测范围与基础设施传感器的检测范围的重复状态,确定搭载于车辆82的多个传感器输出的传感器数据的价值。通过图19的步骤874的处理,基于在图17的处理702中推定的端点间的发送延迟时间、以及根据车辆82的位置及行驶方向等而通过图18的处理及图19的步骤872确定的价值,选择传感器数据的一部分,并将该传感器数据的副本经由图6的tcu290发送到边缘服务器128。包括车内网络中的延迟时间在内,推定从传感器到边缘服务器128的端点间的发送延迟时间,并基于所推定的发送延迟时间和针对传感器数据的每一个通过图18的处理及图19的步骤874确定的价值来选择向边缘服务器128发送的传感器数据。由于在追随tcu290的传输容量的变动的同时,考虑从传感器到边缘服务器128为止的端点间的发送延迟时间,选择在边缘服务器128中能够有效利用的传感器数据并由车内外协作部164进行发送,因此能够在最大限度地利用可利用的传输容量的同时,尽可能地发挥边缘服务器128的功能。
[0204]
除了将到达图7所示的输入输出i/f352的传感器数据输入到图6的tcu290为止的
cpu340中的处理时间和传感器数据从tcu290发送到边缘服务器128所需要的通信延迟时间以外,进一步针对每个传感器推定来自多个传感器的传感器数据经由图6所示的车载网络288到达图7的输入输出i/f352为止的网络延迟时间,并基于这些来计算从各传感器到边缘服务器128为止的端点间的发送延迟时间。由于考虑到车载网络288的发送延迟时间来计算端点间的发送延迟时间,因此能够更准确地推定在允许延迟时间内能够向边缘服务器128发送的数据量,能够更准确地进行应该发送的传感器数据的选择。
[0205]
在搭载于车辆82的多个传感器中,来自与基础设施传感器的检测范围重复的检测范围大的传感器的传感器数据在边缘服务器128中的利用价值低。与基础设施传感器的检测范围重复的检测范围越小的传感器,该传感器输出的传感器数据在边缘服务器128中的利用价值越高。因此,通过参照图14说明的图18所例示的算法,推定存在于车辆82附近的基础设施传感器的检测范围,在传感器中,通过将其检测范围与基础设施传感器的检测范围的重复范围小的传感器的价值计算得高,将重复范围大的传感器计算得小,从而优先选择来自这些传感器的传感器数据并发送到边缘服务器128。由于在有限的传输容量中将价值高的传感器数据发送到边缘服务器128,因此与传输容量的变动无关地,能够在边缘服务器128中进行基于传感器数据的稳定的处理。需要说明的是,在图18所示的算法中,虽然没有调查基础设施传感器的检测范围的详细情况,但至少在选择搭载于车辆82的传感器中的、检测范围与基础设施传感器重复的可能性低或几乎没有的传感器这一点上,满足上述条件。
[0206]
如图18的算法所示,基础设施传感器的检测范围以规定时间间隔更新。如图18所示,传感器数据的价值也基于车辆82的位置及姿势和更新后的基础设施传感器的检测范围以规定时间间隔更新。因此,追随车辆82的移动及车辆82周边的环境等,至少以规定时间间隔更新车辆82的各传感器的价值。其结果,与车辆82的移动及车辆周边的环境的变化等无关地,将价值高的传感器数据发送到边缘服务器128。因此,与车辆的分布及环境的变化无关地,边缘服务器128能够稳定地进行处理。
[0207]
如图19所示,针对每个传感器的种类设定传感器数据的价值。因此,能够更有效地利用传输容量来选择对边缘服务器128的处理有效的传感器数据。
[0208]
从图19所示的算法可知,当将指定传感器数据集中的任一个的标识符提供给车内外协作部164时,如图9所示,确定与该标识符对应的传感器数据集。针对每个传感器种类,从传感器数据的价值高的传感器开始依次选择由该传感器数据集指定的数量的传感器。针对全部种类的传感器,基于传感器数据集的指定,将有价值的规定个数的传感器数据发送到边缘服务器128。其结果,在边缘服务器128中,能够有效地利用这些传感器数据来执行稳定的处理。
[0209]
图6所示的自动驾驶ecu172基于来自搭载于车辆82的多个传感器的传感器数据进行动作。由于这些传感器数据中的被车内外协作部164选择的传感器数据被发送到边缘服务器128,因此能够在自动驾驶ecu172和边缘服务器128中共用传感器数据,能够高效地进行车辆的自动驾驶和边缘服务器128的处理的执行。
[0210]
《第二实施方式》
[0211]
《构成》
[0212]
在上述第一实施方式中,将发送到自动驾驶ecu172的传感器数据的一部分发送到
边缘服务器128。但是,本公开并不限于这样的实施方式。参照图20,该第二实施方式所涉及的交通支援系统900包括:车辆914,具有与第一实施方式所涉及的车辆82相同的构成;车辆916,代替图4的车辆84,具有与车辆82相同的构成,但不具备图4及图6所示的自动驾驶ecu172,而具备未图示的远程操纵ecu;以及远程控制服务器910,用于从车辆916经由因特网912接收传感器数据,基于该传感器数据生成控制车辆916的远程操纵ecu的信号(远程控制指令),并经由因特网912发送到车辆916。
[0213]
参照图21,车辆916代替图4所示的车载装置92而包括车载装置932,代替图4所示的自动驾驶ecu172而包括远程控制ecu930。车载装置932代替车载装置92的nsw160、车内外协作部164及车外通信机162而包括nsw950、车内外协作部952及车外通信机954。远程控制ecu930不具备自动驾驶ecu172那样的自动驾驶的功能,在本实施方式中,仅按照从远程控制服务器910发送来的远程操纵指令进行动作。
[0214]
如图21所示,该车载装置932不是将来自传感器170的传感器数据发送到远程控制ecu930,而是如箭头960所示,经由nsw950、车内外协作部952及车外通信机954发送到远程控制服务器910。从远程控制服务器910发送来的远程操纵指令以与传感器数据的发送路径相反的路径由车内外协作部952接收,并经由nsw950提供给远程控制ecu930。
[0215]
在这样的实施方式中,基本上传感器170全部被发送到远程控制服务器910,另一方面,其一部分被发送到边缘服务器128。因此,车内外协作部952的cpu执行的程序的控制结构如图22所示。
[0216]
参照图22,该程序与图16所示的程序的不同之处在于:代替图16的步骤682而包括在接收到传感器数据时将该传感器数据传输到远程控制服务器910的步骤972这一点;包括响应于步骤680的判定为否定,判定接收到的数据是否为来自远程控制服务器910的远程操纵指令并使控制流程分支的步骤980这一点;以及包括在步骤980的判定为肯定时,将接收到的远程操纵指令传输到图21所示的远程控制ecu930并结束该程序的执行的步骤982这一点。
[0217]
通过分别比较图4和图21、以及图16和图22可以容易地理解,本实施方式所涉及的车辆916除了不是自动驾驶而是通过远程操纵进行动作这一点以外,与第一实施方式所涉及的车辆82同样地进行动作,能够得到相同的效果。
[0218]
在该第二实施方式中,作为硬件,除了远程控制ecu930以外,使用与第一实施方式所示的硬件相同的硬件即可,与第一实施方式的不同之处在于车辆916等执行的程序的控制结构的部分。边缘服务器128使用与第一实施方式的服务器完全相同的服务器即可。
[0219]
如上所述,在该第二实施方式中,将传感器输出不用于自动驾驶而用于远程操纵的车辆也能够用作收集传感器数据的对象。能够扩大传感器数据的收集对象,在减小对具有自动驾驶功能的车辆造成的影响的同时,也能够较高地维持边缘服务器所维持管理的交通状况俯瞰地图的品质。
[0220]
图20及图21所示的远程控制服务器910基于从搭载于车辆916的传感器170接收到的传感器数据进行动作,并将远程操纵指令发送到远程控制ecu930。发送到远程控制服务器910的传感器数据中的任一个被车内外协作部952选择并发送到边缘服务器128。因此,能够在远程控制服务器910和边缘服务器128中共用传感器数据,能够有效地进行车辆916的远程操纵和边缘服务器128的处理的执行。
[0221]
在上述实施方式中,通过车内外协作装置测定线路速度,来确定是否能够进行传感器数据集的发送。但是,本公开并不限于这样的实施方式。例如,边缘服务器128也可以将根据自身管理的区域内的通信状况地图152(参照图3)和各车辆的位置推定的各车辆与边缘服务器128之间的线路速度发送到车内外协作装置。在这种情况下,车内外协作装置使用该线路速度来判定是否能够发送传感器数据集的传感器数据。
[0222]
在上述实施方式中,边缘服务器128进一步从各车辆收集传感器数据集表,基于这些表对候补车辆指定传感器数据集的标识符,并请求传感器数据的发送。但是,本公开并不限于这样的实施方式。例如,考虑边缘服务器128不收集传感器数据集表,而对各车辆根据通信速度等条件,查询能够将来自指定的传感器的传感器数据最多发送到边缘服务器128的数据集。边缘服务器128在有回答的车辆中选择能够发送最多的数据的车辆即可。
[0223]
进而,在上述实施方式中,边缘服务器128和车辆(主要是车内外协作部164)协作来确定从车辆发送到边缘服务器128的传感器数据集。但是,本公开并不限于这样的实施方式,车内外协作部164也可以单独确定传感器数据集。例如,在传感器是照相机的情况下,在照相机输出的图像不清晰的情况下,考虑中止将来自该照相机的图像传输到边缘服务器128,将能够取得清晰的图像的其他照相机的图像发送到边缘服务器128。关于图像是否清晰,例如对图像进行傅立叶分析,基于高频成分是否多来判定即可。
[0224]
在上述实施方式中,为了车内外协作部164准确地估计线路速度,基于图7所示的计时器的时刻同步是不可缺少的。但是,时刻同步的精度依赖于时刻同步中使用的协议及车内外协作部164及具有相同构成的ecu的硬件性能。因此,优选在同步误差大的情况下将延迟时间的计算中的余量设定得大,在同步误差小时将余量设定得小。
[0225]
在本实施方式中,用于使车内外协作部164及952作为车内外协作部及其构成要素的各功能进行动作的计算机程序在车内外协作部164及952出厂时被写入rom344中。但是,根据需要,也可以更新经由网络写入rom344中的计算机程序。进而,也可以通过在车载装置932上连接可移动存储介质的读出装置,从cd-rom(compact disk-read only memory:光盘只读存储器)或dvd-rom(digital versatile disk-read only memory:数字通用光盘只读存储器)等介质更新这些计算机程序。在这种情况下,也考虑记录有计算机程序的cd-rom或dvd-rom等在市场上流通的情况。
[0226]
本次公开的实施方式只是例示,本公开并不仅限于上述实施方式。本公开的范围在参考了公开的详细说明的记载的基础上,由权利要求书的各权利要求表示,包括与其中记载的语句均等的意思及范围内的全部变更。
[0227]
符号说明
[0228]
50 实际空间
[0229]
52、150、225 交通状况俯瞰地图
[0230]
70 通信系统
[0231]
82、84、520、522、524、914、916 车辆
[0232]
86 行人
[0233]
88 基础设施照相机
[0234]
90 交通信号控制器
[0235]
92、94、932 车载装置
[0236]
96 便携式电话
[0237]
98、100 无线通信机
[0238]
110、112、114 基站
[0239]
120、122 城域nw
[0240]
124、130 分布式dc
[0241]
126、128 边缘服务器
[0242]
140 核心nw
[0243]
142 核心dc
[0244]
144 核心服务器
[0245]
152 通信状况地图
[0246]
160、950 nsw
[0247]
162、954 车外通信机
[0248]
164、952 车内外协作部
[0249]
170 传感器
[0250]
172 自动驾驶ecu
[0251]
174、960 箭头
[0252]
180 基础设施传感器设备
[0253]
190 基础设施传感器
[0254]
192 通信装置
[0255]
210 接收处理部
[0256]
212 移动体跟踪部
[0257]
213 移动体跟踪结果
[0258]
214 移动体跟踪结果存储部
[0259]
216 属性检测部
[0260]
217 属性
[0261]
218 属性存储部
[0262]
220 车辆跟踪部
[0263]
221 车辆信息
[0264]
222 车辆信息存储部
[0265]
224 综合处理部
[0266]
226 交通状况俯瞰地图存储部
[0267]
228 信息发送部
[0268]
230 发送处理部
[0269]
240 高优先级区域提取部
[0270]
242 传感器优先级策略存储部
[0271]
244 策略确定部
[0272]
246 候补车辆选定部
[0273]
248 传感器数据集表存储部
[0274]
250 数据集查询部
[0275]
252 车辆选定部
[0276]
254 查询收发部
[0277]
256 线路速度信息存储部
[0278]
258 通信状况地图管理部
[0279]
260 通信状况地图存储部
[0280]
262 高清晰地图存储部
[0281]
280、282、284、286 传感器单元
[0282]
288 车载网络
[0283]
290 tcu
[0284]
292、294、296、298 网络交换机
[0285]
300 第一多千兆交换机
[0286]
302 第二多千兆交换机
[0287]
320 微处理器
[0288]
340 cpu
[0289]
342 总线
[0290]
344 rom
[0291]
346 ram
[0292]
348 dmac
[0293]
350 计时器
[0294]
352 输入输出i/f
[0295]
354 中断控制器
[0296]
400 搭载传感器信息
[0297]
402 传感器数据集表
[0298]
404 传感器优先级策略表
[0299]
406 高清晰地图数据
[0300]
408 传感器数据存储区域
[0301]
410 数据包优先级策略表
[0302]
440、442、444、446 照相机
[0303]
500 对象区域
[0304]
510 高速通信区域
[0305]
512 交叉路口
[0306]
514 大厦
[0307]
550、552、556、570、572、574、576、580、582、590、592、594、596、640、642、644、648、650、660、664、670、674、680、682、683、684、686、688、700、704、706、708、730、732、734、736、800、802、804、806、808、810、812、814、816、818、820、850、854、870、872、874、878、972、980、982 步骤
[0308]
554、578、702、852 处理
[0309]
900 交通支援系统
[0310]
910 远程控制服务器
[0311]
912 因特网
[0312]
930 远程控制ecu。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1