通信装置、通信方法以及计算机可读取的记录介质与流程

1.本公开涉及应用于移动体的通信技术。


背景技术：

2.专利文献1公开一种车载通信装置。车载通信装置与移动通信方式以及wifi通信方式这两方对应。在探测到车辆的异常的情况下，车载通信装置将表示车辆行驶状况的数值数据以及图像数据发送给指定服务器。此时，车载通信装置用移动通信方式发送数值数据，用wifi通信方式发送图像数据。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018-120443号公报


技术实现要素：

6.考虑车辆、机器人等移动体将通过多个照相机得到的多个影像流数据发送到外部的状况。在经由单一的通信线路同时发送多个影像流数据的情况下，在该单一的通信线路的通信速度降低时，存在多个影像流数据的质量一律降低的可能性。
7.本公开的1个目的在于提供一种能够在避免数据质量的一律降低的同时适合地发送在移动体中得到的多个影像流数据的技术。
8.第1观点涉及搭载于移动体并能够经由多个通信线路与外部装置通信的通信装置。
9.通信装置具备控制器。
10.控制器进行：
11.取得通过搭载于移动体的多个照相机得到的多个影像流数据，
12.动态地设定多个影像流数据的优先次序，
13.取得多个通信线路的优先次序，
14.以对优先次序高的通信线路分配优先次序高的影像流数据的方式，设定多个影像流数据和多个通信线路的分配关系，
15.将多个影像流数据经由分别分配的多个通信线路发送给外部装置。
16.第2观点涉及经由多个通信线路在移动体与外部装置之间进行通信的通信方法。
17.通信方法包括：
18.取得通过搭载于移动体的多个照相机得到的多个影像流数据的处理；
19.动态地设定多个影像流数据的优先次序的处理；
20.取得多个通信线路的优先次序的处理；
21.以对优先次序高的通信线路分配优先次序高的影像流数据的方式，设定多个影像流数据和多个通信线路的分配关系的处理；以及
22.将多个影像流数据经由分别分配的多个通信线路发送给外部装置的处理。
23.第3观点涉及由搭载于移动体的计算机执行的通信程序。
24.移动体能够经由多个通信线路与外部装置通信。
25.通信程序使计算机执行：
26.取得通过搭载于移动体的多个照相机得到的多个影像流数据的处理；
27.动态地设定多个影像流数据的优先次序的处理；
28.取得多个通信线路的优先次序的处理；
29.以对优先次序高的通信线路分配优先次序高的影像流数据的方式，设定多个影像流数据和多个通信线路的分配关系的处理；以及
30.将多个影像流数据经由分别分配的多个通信线路发送给外部装置的处理。
31.根据本公开，移动体的通信装置能够使用多个通信线路。将在移动体中取得的多个影像流数据经由多个通信线路从移动体发送给外部装置。因此，能够避免多个影像流数据的数据质量的一律降低。
32.进而，根据本公开，动态地设定多个影像流数据的优先次序。然后，通过优先次序高的通信线路，发送优先次序高的影像流数据。因此，优先地确保优先次序高的影像流数据的通信必要条件。即，能够将多个影像流数据适合地发送给外部装置。
附图说明
33.图1是示出本公开的实施方式所涉及的通信系统的概要的概念图。
34.图2是用于说明本公开的实施方式所涉及的通信系统的应用例的概念图。
35.图3是示出本公开的实施方式所涉及的通信系统的结构例的框图。
36.图4是示出本公开的实施方式所涉及的通信系统的具体例的框图。
37.图5是示出本公开的实施方式所涉及的搭载有多个照相机的移动体的一个例子的概念图。
38.图6是示出本公开的实施方式所涉及的搭载于移动体的通信控制器的功能结构例的框图。
39.图7是示出本公开的实施方式所涉及的考虑优先次序的流通信处理的流程图。
40.图8是用于说明本公开的实施方式所涉及的流优先次序的动态的设定的第1例的概念图。
41.图9是用于说明本公开的实施方式所涉及的流优先次序的动态的设定的第1例的概念图。
42.图10是用于说明本公开的实施方式所涉及的流优先次序的动态的设定的第2例的概念图。
43.图11是用于说明本公开的实施方式所涉及的流优先次序的动态的设定的第3例的概念图。
44.(附图标记说明)
45.1：通信系统；10：第1通信装置；11：通信接口；12：通信控制器；13：流优先次序设定部；14：策略信息；15：线路优先次序取得部；16：分配部；20：第2通信装置；21：网络接口；22：通信控制器；30：通信网络；100：移动体；110：移动体控制部；150：照相机；200：外部装置；220：操作人员监视器；250：显示装置；ref：参照信息；prog：通信程序。
具体实施方式
46.参照附图，说明本公开的实施方式。
47.1.通信系统
48.图1是示出本实施方式所涉及的通信系统1的概要的概念图。通信系统1包括第1通信装置10、第2通信装置20、以及通信网络30。第1通信装置10和第2通信装置20经由通信网络30相互连接。第1通信装置10和第2通信装置20可经由通信网络30相互通信。
49.在本实施方式中，第1通信装置10和第2通信装置20中的至少一方搭载于移动体。作为移动体，例示车辆、机器人、飞翔体等。车辆既可以是自动驾驶车辆，也可以是驾驶员驾驶的车辆。作为机器人，例示物流机器人、作业机器人等。作为飞翔体，例示飞机、无人机等。
50.在以下的说明中，第1通信装置10搭载于移动体100。第2通信装置20搭载于移动体100的外部的外部装置200。外部装置200的种类没有特别限定。例如，外部装置200是管理移动体100的管理服务器。作为其他例子，外部装置200也可以是远程支援移动体100的动作的远程支援装置。作为进一步其他例子，外部装置200也可以是与移动体100独立的移动体。典型地，移动体100的第1通信装置10和外部装置200的第2通信装置20进行无线通信。但是，本实施方式不限定于无线通信。
51.图2是用于说明本实施方式所涉及的通信系统1的应用例的概念图。在图2所示的例子中，通信系统1被用于远程支援移动体100的动作的“远程支援”。更详细而言，在移动体100搭载有照相机150。照相机150对移动体100的周围的状况进行摄像，取得图像信息。第1通信装置10将图像信息发送给作为外部装置200的一种的远程支援装置200a。远程支援装置200a的第2通信装置20从移动体100接受图像信息。远程支援装置200a将接受的图像信息显示于显示装置250。远程操作人员观察显示于显示装置250的图像信息，掌握移动体100的周围的状况，远程支援移动体100的动作。作为由远程操作人员作出的远程支援，可以举出辨识支援、判断支援、远程驾驶等。由远程操作人员作出的指示从第2通信装置20送到移动体100的第1通信装置10。移动体100依照由远程操作人员作出的指示进行动作。
52.从移动体100向外部装置200可发送各种流数据。例如，在图2中例示的远程支援的情况下，发送通过照相机150得到的影像流数据。还考虑同时发送通过多个照相机150得到的多个影像流数据的情况。除此以外，还考虑发送通过搭载于移动体100的麦克风取得的声音流数据的情况。
53.本实施方式所涉及的移动体100的第1通信装置10构成为能够经由多个通信线路与外部装置200通信。可同时使用的通信线路数增加，所以易于确保作为整体的通信速度即数据质量。第1通信装置10使用多个通信线路中的必要的数量的通信线路，将流数据发送给外部装置200。
54.图3是示出本实施方式所涉及的通信系统1的结构例的框图。
55.第1通信装置10与多个种类的通信方式对应。作为通信方式，例示通过移动体通信运营商(mno：mobile network operator)提供的通常的蜂窝方式、通过虚拟移动体通信运营商(mvno：mobile virtual network operator)提供的廉价的蜂窝方式、无线lan(local area network，局域网)方式等。在多个种类的通信方式之间，通信成本不同。在上述例子的情况下，无线lan方式最便宜，通常的蜂窝方式最贵。
56.如图3所示，第1通信装置10包括多个通信接口11以及通信控制器12。
57.多个通信接口11与通信网络30连接，根据多个种类的通信方式的各个通信方式与第2通信装置20进行通信。例如，第1通信接口11-1根据第1通信方式进行通信。第2通信接口11-2根据与第1通信方式不同的第2通信方式进行通信。此外，多个通信接口11既可以分别通过不同的物理接口实现，也可以通过与共同的物理接口不同的逻辑接口的组合实现。
58.根据多个种类的通信方式的各个通信方式，确立多个通信线路。即，多个通信线路与多个种类的通信方式分别对应。还可以说是多个通信线路与多个通信接口11分别对应。多个通信接口11分别经由多个通信线路与第2通信装置20进行通信。例如，第1通信接口11-1经由基于第1通信方式的第1通信线路c1进行通信。第2通信接口11-2经由基于第2通信方式的第2通信线路c2进行通信。
59.通信控制器12是为了控制在移动体100上动作的至少1个应用发送接收的数据而设置的。例如，通信控制器12取得从至少1个应用发送到外部装置200(第2通信装置20)的流数据。通信控制器12将流数据分配给多个通信接口11中的使用的接口。然后，通信控制器12经由分配的通信接口11(通信线路)，将流数据发送给外部装置200。
60.另外，通信控制器12根据需要进行使流数据的质量降低的拥堵控制。例如，在流数据是图像(运动图像)的情况下，拥堵控制通过使分辨率或者帧速率降低而使画质降低。作为其他例子，拥堵控制也可以通过改变压缩率而使流数据的质量降低。
61.通信控制器12例如通过计算机和计算机程序的协作实现。移动体100具备包括处理器和存储装置的计算机。以下，将提供通信控制器12的功能的计算机程序称为“通信程序prog”。通信程序prog被储存到存储装置。通过处理器(计算机)执行通信程序prog，实现通信控制器12的功能。此外，通信程序prog也可以记录到计算机可读取的记录介质。通信程序prog也可以经由网络提供。
62.第2通信装置20包括网络接口21以及通信控制器22。网络接口21与通信网络30连接，与第1通信装置10进行通信。
63.通信控制器22是为了控制在外部装置200上动作的至少1个应用发送接收的数据而设置的。例如，通信控制器22经由网络接口21，接受从第1通信装置10发送的流数据。然后，通信控制器22将流数据输出给发送目的地的应用。
64.通信控制器22例如通过计算机和计算机程序的协作实现。外部装置200具备包括处理器和存储装置的计算机。计算机程序被储存到存储装置。通过处理器(计算机)执行计算机程序，实现通信控制器22的功能。
65.图4是示出本实施方式所涉及的通信系统1的具体例的框图。
66.第1通信装置10的多个通信接口11包括无线lan接口11-a、廉价蜂窝接口11-b、以及蜂窝接口11-c。无线lan接口11-a经由基于无线lan方式的通信线路ca进行通信。无线lan接口11-a经由接入点31-a与通信网络32(例：wan)连接。廉价蜂窝接口11-b经由基于廉价的蜂窝方式的通信线路cb进行通信。廉价蜂窝接口11-b经由蜂窝网络31-b与通信网络32连接。蜂窝接口11-c经由基于通常的蜂窝方式的通信线路cc进行通信。蜂窝接口11-c经由蜂窝网络31-c与通信网络32连接。
67.在图4所示的例子的情况下，按照基于无线lan方式的通信线路ca、基于廉价的蜂窝方式的通信线路cb、基于通常的蜂窝方式的通信线路cc的顺序，通信成本从低到高。
68.2.考虑优先次序的流通信处理
69.以下，考虑从移动体100向外部装置200同时发送多个影像流数据的情况。通过搭载于移动体100的多个照相机150，得到多个影像流数据。
70.图5示出搭载有多个照相机150的移动体100的一个例子。在图5所示的例子中，移动体100是车辆。该车辆具备多个照相机150-a～150-c。前方照相机150-a以对前方向进行摄像的方式设置。左方照相机150-b以对左方向进行摄像的方式设置。右方照相机150-c以对右方向进行摄像的方式设置。通过这些多个照相机150-a～150-c，得到表示车辆的前方向、左方向、以及右方向各自的状况的多个影像流数据。
71.在假设经由单一的通信线路同时发送多个影像流数据的情况下，在该单一的通信线路的通信速度降低时，存在多个影像流数据的质量一律降低的可能性。根据影像流数据的利用的观点，数据质量一律降低不是优选的。
72.因此，根据本实施方式，为了避免数据质量的一律降低，多个影像流数据经由多个通信线路从移动体100被发送到外部装置200。进而，根据本实施方式，多个影像流数据并非随便地分配给多个通信线路，而考虑“优先次序”分配给多个通信线路。在以下的说明中，“流优先次序”是影像流数据的优先次序，“线路优先次序”是通信线路的优先次序。
73.图6是示出搭载于移动体100的第1通信装置10的通信控制器12的功能结构例的框图。通信控制器12包括流优先次序设定部13、线路优先次序取得部15、以及分配部16。这些功能块通过处理器执行通信程序prog(参照图3、图4)而实现。
74.图7是示出考虑优先次序的流通信处理的流程图。以下，参照图6以及图7，详细说明本实施方式所涉及的考虑优先次序的流通信处理。在此，作为一个例子，考虑多个影像流数据s1、s2、s3和多个通信线路c1、c2、c3。
75.2-1.步骤s10
76.在步骤s10中，通信控制器12取得通过搭载于移动体100的多个照相机150得到的多个影像流数据s1～s3。
77.2-2.步骤s20
78.在步骤s20中，流优先次序设定部13设定多个影像流数据s1～s3的流优先次序。特别，流优先次序设定部13“动态”地设定流优先次序。
79.作为一个例子，考虑影像流数据s1～s3被发送给远程支援装置200a，被用于由远程操作人员作出的远程支援的情况(参照图2)。关于远程操作人员主要注视多个影像流数据s1～s3中的哪一个，根据移动体100的状况等可动态地变化。在该情况下，从远程操作人员(远程支援)的观点，根据需要影像流数据s1～s3的各个数据的程度，动态地设定影像流数据s1～s3的流优先次序。
80.在流优先次序设定部13中使用的信息、以及利用流优先次序设定部13的具体的处理如以下所述。
81.在影像流数据s1～s3的头部，储存识别信息。例如，识别信息表示取得影像流数据的照相机150的信息。作为其他例子，识别信息表示影像流数据的种类。流优先次序设定部13根据识别信息识别影像流数据s1～s3。
82.参照信息ref是在流优先次序设定部13动态地设定流优先次序时参照的信息。例如，参照信息ref表示动态地变化的移动体100的状况。例如，从控制移动体100的移动体控制部110，提供这样的参照信息ref。
83.策略信息14是表示在什么样的状况下如何设定流优先次序的“设定策略”的信息。换言之，策略信息14是将参照信息ref的内容和影像流数据s1～s3的流优先次序关联起来的信息。策略信息14被预先制作，储存到通信控制器12可访问的存储装置。
84.流优先次序设定部13依照在策略信息14中表示的设定策略，根据在参照信息ref中表示的状况，动态地设定流优先次序。关于流优先次序的动态的设定，可考虑各种例子。即，关于参照信息ref以及设定策略，可考虑各种例子。关于流优先次序的动态的设定的各种例子，在后面详细说明。
85.2-3.步骤s30
86.在步骤s30中，线路优先次序取得部15取得多个通信线路c1～c3的线路优先次序。
87.例如，根据各通信线路的通信成本的观点，预先决定线路优先次序。在该情况下，通信成本越低，线路优先次序越高。例如，在第1通信线路c1的通信成本低于第2通信线路c2的通信成本的情况下，第1通信线路c1的线路优先次序被设定得高于第2通信线路c2的线路优先次序(c1》c2)。在图4所示的例子的情况下，按照基于无线lan方式的通信线路ca、基于廉价的蜂窝方式的通信线路cb、基于通常的蜂窝方式的通信线路cc的顺序，通信成本从低到高。因此，按照通信线路ca、cb、cc的顺序，线路优先次序从高到低(ca》cb》cc)。线路优先次序取得部15取得从通信成本的观点预先决定的线路优先次序的信息。
88.作为其他例子，根据各通信线路的通信速度的观点，设定线路优先次序。在该情况下，通信速度越高，线路优先次序越高。通信速度可以是理论值、实测值、以及推测值中的任意一个。例如，作为通信速度，使用吞吐量的实测值或者推测值。吞吐量也可以通过将地域、时间、星期等作为参数的推测模型推测。推测模型也可以经由深度学习制作。作为吞吐量的测量方法或者推测方法，提出有各种例子。在本实施方式中，其手法没有特别限定。线路优先次序取得部15取得各通信线路的通信速度的信息，根据通信速度设定线路优先次序。
89.作为进一步其他例子，根据各通信线路的通信延迟的观点，设定线路优先次序。在该情况下，通信延迟越小，线路优先次序越高。通信延迟既可以是实测值，也可以是推测值。作为通信延迟的测量方法或者推测方法，提出有各种例子。在本实施方式中，其手法没有特别限定。线路优先次序取得部15取得各通信线路的通信延迟的信息，根据通信延迟，设定线路优先次序。
90.线路优先次序也可以根据通信成本、通信速度、以及通信延迟中的2个以上的组合设定。例如，在如下的情况下，第1通信线路c1的线路优先次序最高，第3通信线路c3的线路优先次序最低。
91.第1通信线路c1：通信成本＝低、通信速度＝高、通信延迟＝低第2通信线路c2：通信成本＝中、通信速度＝高、通信延迟＝低第3通信线路c3：通信成本＝低、通信速度＝低、通信延迟＝高
92.这样，线路优先次序取得部15根据通信成本、通信速度、以及通信延迟中的至少一个，设定多个通信线路c1～c3的线路优先次序。关于使哪个通信参数优先而设定线路优先次序，依赖于由用户要求的“通信必要条件”。关于使哪个通信参数优先而设定线路优先次序，也可以由用户指定。
93.2-4.步骤s40
94.在步骤s40中，分配部16设定多个影像流数据s1～s3和多个通信线路c1～c3的分
配关系。特别，分配部16以对线路优先次序高的通信线路分配流优先次序高的影像流数据的方式，设定多个影像流数据s1～s3和多个通信线路c1～c3的分配关系。
95.作为一个例子，考虑流优先次序是s1》s2》s3、且线路优先次序是c1》c2》c3的情况。在该情况下，分配部16将第1影像流数据s1分配给第1通信线路c1，将第2影像流数据s2分配给第2通信线路c2，将第3影像流数据s3分配给第3通信线路c3。
96.2-5.步骤s50
97.在步骤s50中，通信控制器12将多个影像流数据s1～s3，经由分别分配的通信线路c1～c3(通信接口11)，发送给外部装置200。
98.2-6.效果
99.如以上说明，根据本实施方式，移动体100的第1通信装置10能够使用多个通信线路。在移动体100中取得的多个影像流数据经由多个通信线路从移动体100发送给外部装置200。因此，能够避免多个影像流数据的数据质量的一律降低。
100.进而，根据本实施方式，根据状况，动态地设定多个影像流数据的流优先次序。然后，通过线路优先次序高的通信线路，发送流优先次序高的影像流数据。因此，优先地确保流优先次序高的影像流数据的通信必要条件。即，能够将多个影像流数据适合地发送给外部装置200。
101.例如，多个影像流数据被发送给远程支援装置200a，被用于由远程操作人员作出的远程支援(参照图2)。避免多个影像流数据的数据质量的一律降低，并且优先地确保优先次序高的影像流数据的通信必要条件，所以远程支援的精度提高。
102.3.流优先次序的动态设定的例子
103.以下，说明本实施方式所涉及的流优先次序的动态的设定的各种例子。典型地，从远程支援(远程操作人员)的观点，根据需要多个影像流数据的各个数据的程度，动态地设定流优先次序。
104.3-1.第1例
105.图8以及图9是用于说明流优先次序的动态的设定的第1例的概念图。
106.在第1例中，参照信息ref是反映“移动体100的预定移动方向”的信息。例如，在移动体100是车辆的情况下，参照信息ref包括方向盘操舵方向、方向盘操舵角、转向灯信息、档位、以及车轮速中的至少一个。作为其他例子，参照信息ref也可以包括移动体100的当前位置和目标移动路线。从控制移动体100的移动体控制部110，提供这样的参照信息ref。
107.流优先次序设定部13从移动体控制部110取得参照信息ref，根据取得的参照信息ref掌握移动体100的预定移动方向。然后，流优先次序设定部13根据移动体100的预定移动方向，动态地设定多个影像流数据的流优先次序。具体而言，流优先次序设定部13将更接近预定移动方向的方向的影像流数据的流优先次序，设定得高于更远离预定移动方向的方向的影像流数据的流优先次序。
108.在图8所示的例子中，移动体100(车辆)是预定进行左拐、或者处于进行左拐的过程中，移动体100的预定移动方向是左方向。在该情况下，通过对左方向进行摄像的左方照相机150-b得到的影像流数据最重要。因此，通过左方照相机150-b得到的影像流数据的流优先次序被设定得最高。另一方面，通过对右方向进行摄像的右方照相机150-c得到的影像流数据的流优先次序被设定得最低。
109.在图9所示的例子中，移动体100(车辆)具备对前方向进行摄像的前方照相机150-a和对后方向进行摄像的后方照相机150-d。在移动体100前进的情况下，通过前方照相机150-a得到的影像流数据的流优先次序被设定得高于通过后方照相机150-d得到的影像流数据的流优先次序。相反地，在移动体100后退的情况下，通过后方照相机150-d得到的影像流数据的流优先次序被设定得高于通过前方照相机150-a得到的影像流数据的流优先次序。
110.3-2.第2例
111.图10是用于说明流优先次序的动态的设定的第2例的概念图。
112.在第2例中，参照信息ref表示“远程操作人员的视线方向”。例如，远程支援装置200a具备检测远程操作人员的视线方向的操作人员监视器220。操作人员监视器220包括对远程操作人员的眼以及脸进行摄像的照相机。操作人员监视器220通过解析由照相机摄像的远程操作人员的图像，检测远程操作人员的视线方向。然后，操作人员监视器220生成表示远程操作人员的视线方向的视线信息los。远程支援装置200a经由第2通信装置20，将视线信息los发送给移动体100。即，远程支援装置200a将远程操作人员的视线方向反馈给移动体100。
113.移动体100的通信控制器12从远程支援装置200a接受视线信息los。流优先次序设定部13取得视线信息los作为参照信息ref，掌握远程操作人员的视线方向。然后，流优先次序设定部13根据远程操作人员的视线方向，动态地设定多个影像流数据的流优先次序。具体而言，流优先次序设定部13将更接近视线方向的方向的影像流数据的流优先次序设定得高于更远离视线方向的方向的影像流数据的流优先次序。
114.例如，在远程操作人员的视线方向是左方向的情况下，通过对左方向进行摄像的左方照相机150-b得到的影像流数据最重要。因此，通过左方照相机150-b得到的影像流数据的流优先次序被设定得最高。另一方面，通过对右方向进行摄像的右方照相机150-c得到的影像流数据的流优先次序被设定得最低。
115.3-3.第3例
116.图11是用于说明流优先次序的动态的设定的第3例的概念图。
117.在第3例中，考虑映入各影像流数据的“特定物体”。特定物体是远程操作人员注视的可能性高的物体。例如，特定物体包括人、自行车、其他车辆、信号灯、以及标识中的至少一个。参照信息ref表示映入各影像流数据的特定物体的种类以及数量。
118.例如，移动体控制部110取得通过多个照相机150得到的多个影像流数据。移动体控制部110通过分析构成各影像流数据的图像信息来进行物体辨识，取得参照信息ref。然后，移动体控制部110将参照信息ref提供给通信控制器12的流优先次序设定部13。
119.作为其他例子，也可以是流优先次序设定部13通过分析构成各影像流数据的图像信息，进行物体辨识，取得参照信息ref。
120.流优先次序设定部13将特定物体更多地映入的影像流数据的流优先次序设定得高于特定物体更少地映入的影像流数据的流优先次序。也可以进行与特定物体的种类对应的加权。例如，人、自行车、信号灯的权重被设定得比较大。
121.在图11所示的例子中，通过前方照相机150-a得到的影像流数据的流优先次序被设定得最高。另一方面，通过对右方向进行摄像的右方照相机150-c得到的影像流数据的流
优先次序被设定得最低。