图像处理装置、车辆、图像处理方法以及程序与流程

1.本发明主要涉及图像处理装置。


背景技术：

2.在专利文献1记载了图像处理技术，该图像处理技术在表示车辆及其周边的样子的图像设置虚拟视点，能够一边变更虚拟视点一边观察确认该图像。在专利文献1中，示出了将这样的技术用于防盗用途的一例。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2015-76062号公报


技术实现要素：

6.发明所要解决的问题
7.在使通过上述图像处理技术获得的图像实现用途的进一步多样化时，期望进行进一步技术改良。
8.本发明的例示的目的在于能够以比较简便的方式使通过上述图像处理技术获得的图像实现用途的多样化。
9.用于解决问题的方案
10.本发明的第一方面涉及图像处理装置，所述图像处理装置处理关于车辆的图像，所述图像处理装置的特征在于，具备：第一获取单元，其获取表示所述车辆周边的样子的图像来作为车辆周边图像；第二获取单元，其获取表示所述车辆的状态的信息；第三获取单元，其获取所述车辆的驾驶员的图像来作为驾驶员图像；以及图像生成单元，其基于由所述第二获取单元获取到的信息，生成所述车辆的图像来作为车辆图像，并使所述车辆图像以及所述驾驶员图像与所述车辆周边图像重合来生成合成图像。
11.发明的效果
12.根据本发明，有利于通过上述图像处理技术获得的图像的用途的多样化。
附图说明
13.图1是示出图像显示系统的结构例的示意图。
14.图2是示出车辆的结构例的示意图。
15.图3是示出图像处理方法的一例的流程图。
16.图4a是示出车辆周边图像的示意图。
17.图4b是示出驾驶员图像的示意图。
18.图4c是示出车辆图像的示意图。
19.图4d是示出合成图像的示意图。
20.图5a是示出某虚拟视点的合成图像的例子的图。
21.图5b是示出其它虚拟视点的合成图像的例子的图。
22.图6a是示出图像显示系统的其它结构例的示意图。
23.图6b是示出图像显示系统的其它结构例的示意图。
具体实施方式
24.以下，参照附图来详细说明实施方式。另外，以下的实施方式并不用于限定权利要求书涉及的发明，另外，发明并不需要实施方式中说明的全部特征的组合。也可以是，在实施方式中说明的多个特征中的两个以上的特征任意地组合。另外，对相同或同样的结构附加相同的附图标记，并省略重复的说明。
25.(图像显示系统的一例)
26.图1是示出实施方式涉及的图像显示系统sy的结构例的示意图。图像显示系统sy具备车辆1、图像处理装置2以及终端3，在本实施方式中，它们能够经由网络n相互通信。
27.在本实施方式中，车辆1设为骑乘式车辆。这里，骑乘式车辆是指驾驶员跨骑于车身的骑乘式车辆，在其概念中除了包括通常的两轮车(包括踏板式车辆)之外，还包括三轮车(前一轮且后二轮、或者前二轮且后一轮的车辆)、四轮巴吉那样的全地形车(atv)等。另外，作为其它实施方式，车辆1也可以是乘用式车辆。车辆1具备摄像装置11a、摄像装置11b、检测装置12以及通信装置13。
28.图2是示出车辆1的结构例的示意图。
29.以能够拍摄出表示车辆1周边的样子的图像的方式在车身周边部设置多个摄像装置11a，并以这些摄像区域包含车辆1周边的整个区域的方式设置这些多个摄像装置11a。即，以相互相邻的两个摄像装置11a的摄像区域部分相互重叠的方式设置多个摄像装置11a。在图中，用虚线示意性地示出摄像装置11a的指向方向，摄像装置11a的实际的检测范围比图示的范围宽。
30.以能够分别从前方以及后方拍摄驾驶员的方式在驾驶员的座位的前后分别设置摄像装置11b。在图中，与摄像装置11a同样，用虚线示意性地示出摄像装置11b的指向方向，但摄像装置11b的实际的检测范围比图示的范围宽。在后记述详细内容，但由此能够拍摄驾驶员的容姿、姿态、运动状态等。
31.关于摄像装置11a、11b，可以使用由ccd/cmos图形传感器等构成的公知的摄像机。另外，在本实施方式中，作为一例，为了降低摄像装置11a、11b所需的成本，使用单眼摄像机。
32.以能够检测车辆1的状态的方式在车身的各部位设置检测装置12。这里，在本实施方式中，车辆1的状态包括车速、转向角(或转轮角)、车身的姿态以及灯体(前大灯、尾灯、转向指示灯等)的状态。
33.例如，基于每单位时间的车轮转速来检测车速，这能够通过使用公知的速度传感器来实现。例如，基于转向轮相对于车身的方向(或车把相对于车身的方向)来检测转向角，这能够通过使用公知的舵角传感器来实现。例如，基于车身相对于重力方向的方向来检测车身的姿态，这能够通过公知的加速度传感器来实现。另外，例如，基于光源的导通状态来检测灯体的状态，这能够通过使用公知的电流表来实现。
34.通信装置13经由网络n将摄像装置11a、11b的摄像结果以及检测装置12的检测结
果发送至图像处理装置2。通信装置13可以被记载为发送和接收装置等，在本实施方式中也可以仅被记载为发送装置。在后记述详细内容，但摄像装置11a的摄像结果示出表示车辆1周边的样子的图像(以下设为车辆周边图像9a)。摄像装置11b的摄像结果示出驾驶员的图像(以下设为驾驶员图像9b)。检测装置12的检测结果示出表示车辆1的状态的信息(以下设为车辆信息9i)。
35.再参照图1，图像处理装置2具备通信部21和运算部22。通信部21能够经由网络n来使图像处理装置2与车辆1以及终端3分别进行通信。在后记述详细内容，但运算部22进行包含图像处理在内的既定的运算处理。在本实施方式中，运算部22作为包括cpu以及存储器的处理器，执行既定的程序由此实现运算部22的功能。即，可以是，经由网络或存储介质读出该程序，并在计算机上执行该程序。
36.另外，作为其它实施方式，也可以是，运算部22由pld(可编程逻辑器件)、asic(用于特定用途的半导体集成电路)等半导体装置构成。即，能够通过硬件和软件中的任一方来实现运算部22的功能。
37.在本实施方式中，终端3作为便携终端(例如智能手机)，具备通信部31、操作部32以及显示部33。终端3的用户可以是车辆1的驾驶员，也可以是与驾驶员不同的第三者。通信部31能够经由网络n来使终端3与图像处理装置2进行通信。在后记述详细内容，但操作部32能够受理用户的操作输入，另外，显示部33能够显示图像。操作部32以及显示部33可以设置成一体(例如，可以是触摸面板式显示器)，也可以个别地设置。
38.在后记述详细内容，但在这样的图像显示系统sy中，车辆1能够与图像处理装置2进行通信，将摄像装置11a、11b的摄像结果以及检测装置12的检测结果发送至图像处理装置2。图像处理装置2基于上述摄像结果以及检测结果，由运算部22进行既定的图像处理来生成合成图像(以下设为合成图像9x)，并将合成图像9x发送至终端3。用户能够使用终端3，一边对操作部32进行操作输入一边在显示部33观察确认合成图像9x。
39.(图像处理方法的一例)
40.图3是示出用于生成合成图像9x的图像处理方法的一例的流程图。主要由运算部22执行本流程图的内容，其概要是，基于车辆信息9i来生成车辆1的图像(以下设为车辆图像9c)，使用图像9a～9c来生成合成图像9x。另外，本流程图可以在使用车辆1时(行驶中)被执行，也可以在使用车辆1之后(非行驶时)被执行。
41.在步骤s1000(以下简称为“s1000”。关于在后记述的其它步骤也是同样的)中，从车辆1获取车辆周边图像9a。如在前记述的那样，由多个摄像装置11a获得车辆周边图像9a，以这些摄像区域包含车辆1周边的整个区域的方式在车身周边部设置这些多个摄像装置11a。由此，车辆周边图像9a表示车辆1周边的整个区域的样子，以所谓的全景(360度全景)来获得。由此，通过使用球面坐标系，能够以比较简便的方式对车辆周边图像9a进行图像处理。
42.在s1010中，从车辆1获取驾驶员图像9b。如在前记述的那样，由在驾驶员的座位的前后设置的一对摄像装置11b来获得驾驶员图像9b，以能够从前方以及后方拍摄驾驶员的方式设置这一对摄像装置11b。由此，驾驶员图像9b表示驾驶员的容姿(例如，骨格、服装(除了衣服之外还包括头盔))、姿态(静止图像的情况)、运动状态(运动图像的情况)等驾驶员的驾驶样子。由此，通过使用基于既定的人体模型的三维坐标系，能够以比较简便的方式对
驾驶员图像9b进行图像处理。
43.在s1020中，从车辆1获取车辆信息9i。如在前记述的那样，由检测装置12获得车辆信息9i，该检测装置12以能够检测车辆1的状态的方式设置于车身的各部位，车辆1的状态包括车速、转向角、车身的姿态以及灯体的状态。
44.在s1030中，基于车辆信息9i来生成车辆图像9c。车辆信息9i表示车速、转向角、车身的姿态以及灯体的状态，因此生成与这些对应的状态的车辆1的图像来作为车辆图像9c。由此，通过使用基于对应的车辆模型的三维坐标系，能够以比较简便的方式对车辆图像9c进行图像处理。
45.在s1040中，使图像9b～9c与车辆周边图像9a重合来生成合成图像9x。如在前记述的那样，在本实施方式中，用球面坐标系来处理车辆周边图像9a，用三维坐标系来处理驾驶员图像9b以及车辆图像9c。
46.这里，三维坐标系通常使用从坐标中心到对象为止的车身前后方向的距离x、从坐标中心到对象为止的车身左右方向的距离y以及从坐标中心到对象为止的车身上下方向的距离z，能够用坐标(x、y、z)表示。另外，球面坐标系通常使用从坐标中心到对象为止的距离r、将坐标中心与对象之间连通的线与车身上下方向所成的角θ以及将坐标中心与对象之间连通的线与车身前后方向所成的角能够用坐标表示。
47.图4a是示出车辆周边图像9a的示意图。用球面坐标系来处理车辆周边图像9a，车辆周边图像9a被描绘于距坐标中心的距离r的位置。换言之，作为全景的车辆周边图像9a为在半径r的球体的内壁描绘而成的形状。上述r可以设定为比车辆1靠外侧的位置。
48.图4b是示出驾驶员图像9b的示意图。用三维坐标系来处理驾驶员图像9b，例如能够基于既定的人体模型来描绘头部、肩部、躯体部(胸部以及腹部)、腰部、手臂部(上臂部以及前臂部)、手部、腿部(大腿部以及小腿部)、足部等。也可以附随地进一步描绘服装。
49.图4c是示出车辆图像9c的示意图。用三维坐标系来处理车辆图像9c，例如，能够描绘基于车辆信息9i(表示车速、转向角、车身的姿态以及灯体的状态的信息)的状态的车辆1的图像。例如，车辆图像9c能够以车身倾斜的姿态来描绘转弯中的车辆1。
50.这里，车辆信息9i包含表示车身的姿态的信息，因此可以根据车身的倾斜程度来校正摄像装置11a、11b的摄像结果。例如，在车身处于以倾斜角λ1倾斜的姿态的期间由摄像装置11a获取车辆周边图像9a的情况下，能够仅旋转角度λ1相当量来处理该图像9a。对摄像装置11a、11b的摄像结果的校正处理可以在图像处理装置2中进行，但也可以在车辆1中进行。
51.图4d是示出合成图像9x的示意图。可以是，以坐标中心、距离以及方向一致的方式合成图像9a～9c。另外，坐标中心在本实施方式中被设为座位的正上方的位置，但作为其它实施方式，也可以是其它位置(例如，车身中的任意位置)。
52.再参照图3，在步骤s1050中，向终端3发送合成图像9x。终端3的用户对操作部32进行操作输入，由此能够以来自任意位置的视点(以下称为虚拟视点)将合成图像9x显示于显示部33。另外，用户对操作部32进行操作输入，由此也能够对合成图像9x进行放大或缩小。
53.图5a示出在操作部32和显示部3设置成一体而成的触摸面板式显示器的情况下的合成图像9x的一例，图5b示出合成图像9x的其它例子(在与图5a不同的虚拟视点中的合成图像9x的例子)。在显示部33显示用于变更虚拟视点的图标8a、8b、用于进行放大的图标8c
以及用于进行缩小的图标8d来作为操作部32的一部分。用户对这些图标8a等进行既定的操作输入(例如，轻击操作、滑动操作、轻弹操作等)，由此能够从期望的虚拟视点来观察确认车辆1及其周边的样子。
54.存在如下情况，在变更了虚拟视点的情况下，合成图像9x中的车辆图像9c的尺寸被变更，驾驶员图像9b的尺寸也附随地被变更，由此能够降低伴随着该变更而合成图像9x的可视性发生变化而引起的不适感。另一方面，也可以是，用球面坐标系来处理车辆周边图像9a，因此在变更虚拟视点时，能够维持合成图像9x中的车辆周边图像9a的尺寸。
55.另外，在对车辆周边图像9a进行图像处理时，将球面坐标系中的距离r设定为比较大的值，由此能够降低在变更了虚拟视点的情况下车辆周边图像9a发生变化而引起的不适感(例如畸变)。在该情况下，使用像素数比较大的摄像装置11a，由此能够清晰地显示车辆周边图像9a。
56.在进行上述s1040(生成合成图像9x)时，期望图像9a～9c表示相互大致相同的时间的样子。由此，表示时间(在哪个定时拍摄的图像、或者基于在哪个定时获取到的信息而生成的图像)的属性信息能够与图像9a～9c关联。附随地，表示场所(在哪个场所拍摄的图像、或者基于在哪个场所获取到的信息而生成的图像)的属性信息也可以与图像9a～9c关连。
57.另外，如在前记述的那样，三维坐标系通常能够用坐标(x、y、z)表示，球面坐标系通常能够用坐标表示。由此，作为其它实施方式，也可以是，使用公知的坐标变换，由此驾驶员图像9b以及车辆图像9c与车辆周边图像9a同样，用球面坐标系来进行处理。或者，也可以是，车辆周边图像9a与驾驶员图像9b以及车辆图像9c同样，用三维坐标系来进行处理。
58.另外，在本实施方式中，使用单眼摄像机来作为摄像装置111，但也能够代替地使用复眼摄像机。由此，能够将摄像对象与距离信息一并拍摄，因此能够以比较简便的方式用三维坐标系来处理车辆周边图像9a。
59.另外，在本实施方式中，车辆1为骑乘式车辆，因此在生成合成图像9x时使用驾驶员图像9b，但也可以是，在车辆1为乘用式车辆的情况下(例如，难以从车外观察确认驾驶员的情况)不使用驾驶员图像9b。该情况下，也可以省略摄像装置11b。
60.以上，根据本实施方式，获取表示车辆1周边的样子的图像来作为车辆周边图像9a，并获取表示车辆1的状态的车辆信息9i。之后，基于车辆信息9i来生成车辆1的图像来作为车辆图像9c，使车辆图像9c与车辆周边图像9a重合来生成合成图像9x。此时，也可以是，使驾驶员图像9b附随地与车辆周边图像9a重合。用户(例如驾驶员)使用该合成图像9x，例如，能够从期望的虚拟视点来观察确认驾驶中的车辆1及其周边的样子，或者也能够让第三者观察该样子。由此，根据本实施方式，合成图像9x能够活用于多种用途，作为一例，能够活用于表示更详细的驾驶状况的行车记录仪。
61.(图像显示系统的其它例)
62.根据所述的图像显示系统sy(参照图1)，在与车辆1不同的场所(例如服务器)实现图像处理装置2的功能，并在终端3进行合成图像9的显示和虚拟视点的变更，但并不限于该方式。
63.图6a示出图像显示系统sya的结构例。在本系统sya中，图像处理装置2搭载于车辆
1。该情况下，从车辆1向终端3发送合成图像9x可以经由网络n来进行，也可以通过公知的通信单元(例如bluetooth(注册商标))来进行。
64.图6b示出图像显示系统syb的结构例。在本系统syb中，图像处理装置2设置于终端3。即，可以是，终端3经由网络n等从车辆1接收图像9a、9b以及车辆信息9i，基于它们来生成合成图像9x并显示于显示部33。
65.另外作为其它例，终端3也可以是车载用监视器(例如，汽车导航系统)。该情况下，驾驶员能够一边驾驶车辆1，一边从期望的虚拟视点来观察确认其周边的样子。
66.(其它)
67.在以上的说明中，为了便于理解，用与各要素的功能上相关联的名称表示了各要素，但是各要素不限于以实施方式中说明的内容作为主功能，也可以辅助性地具有那些功能。
68.另外，在本说明书中，作为典型例，例示了车辆1，但实施方式的内容也能够应用于不具备车轮的设施(船舶等)，即，能够应用于各种移动体。
69.(实施方式的总结)
70.第一方面涉及图像处理装置(例如2)，所述图像处理装置处理关于车辆(例如1)的图像，所述图像处理装置的特征在于，具备：第一获取单元(例如s1000)，其获取表示所述车辆周边的样子的图像来作为车辆周边图像(例如9a)；第二获取单元(例如s1020)，其获取表示所述车辆的状态的信息(例如9i)；以及图像生成单元(例如s1030、s1040)，其基于由所述第二获取单元获取到的信息，生成所述车辆的图像来作为车辆图像(例如9c)，并使所述车辆图像与所述车辆周边图像重合来生成合成图像(例如9x)。
71.根据第一方面，这样获得的合成图像能够活用于多种用途。
72.附随地，在第一方面中，其特征在于，还具备第三获取单元(例如s1010)，所述第三获取单元获取所述车辆的驾驶员的图像来作为驾驶员图像(例如9b)，所述图像生成单元进一步使所述驾驶员图像与所述车辆周边图像重合来生成所述合成图像。
73.由此，在合成图像中，能够描绘更详细的样子。
74.在第二方面中，其特征在于，所述图像生成单元用球面坐标系来处理所述车辆周边图像。
75.根据第二方面，能够以比较简便的方式实现车辆周边图像的处理。
76.在第三方面中，其特征在于，所述图像生成单元用三维坐标系来处理所述车辆图像。
77.根据第三方面，能够以比较简便的方式实现车辆图像的处理。
78.在第四方面中，其特征在于，还具备发送单元(例如s1050)，所述发送单元向既定的终端(例如3)发送所述合成图像，所述终端的用户对所述终端进行操作输入由此能够以来自任意位置的视点来显示所述合成图像。
79.根据第四方面，用户能够以任意的视点来观察确认车辆以及其周边的样子。
80.在第五方面中，其特征在于，还具备显示单元(例如33，图5a、图5b)，所述显示单元以来自任意位置的视点来显示所述合成图像。
81.根据第五方面，用户能够以任意的视点来观察确认车辆以及其周边的样子。
82.在第六方面中，其特征在于，所述显示单元伴随着所述视点的变更而变更所述车
辆图像的尺寸。
83.根据第六方面，能够降低在变更视点时与之伴随地合成图像的变化引起的不适感。
84.在第七方面中，其特征在于，所述车辆的状态包括车速、转向角、车身的姿态、以及/或者灯体的状态。
85.根据第七方面，在合成图像中，能够描绘更详细的样子。
86.第八方面涉及车辆(例如1)，所述车辆为能够与上述的图像处理装置进行通信的车辆，所述车辆的特征在于，具备：第一摄像装置(例如11a)，其拍摄表示所述车辆周边的样子的图像；检测装置(例如12)，其检测所述车辆的状态；以及通信装置(例如13)，其将所述第一摄像装置的摄像结果以及所述检测装置的检测结果发送至所述图像处理装置。
87.即，上述的图像处理装置能够应用于公知的车辆。
88.第九方面涉及车辆(例如1)，所述车辆为能够与上述的图像处理装置进行通信的车辆，所述车辆的特征在于，具备：第一摄像装置(例如11a)，其拍摄表示所述车辆周边的样子的图像；第二摄像装置(例如11b)，其拍摄所述驾驶员的图像；检测装置(例如12)，其检测所述车辆的状态；以及通信装置(例如13)，其将所述第一摄像装置的摄像结果、所述第二摄像装置的摄像结果以及所述检测装置的检测结果发送至所述图像处理装置。
89.即，上述的图像处理装置能够应用于公知的车辆。
90.第十方面涉及车辆(例如1)，所述车辆的特征在于，具备：上述的图像处理装置；第一摄像装置(例如11a)，其拍摄表示所述车辆周边的样子的图像；以及检测装置(例如12)，其检测所述车辆的状态。
91.即，上述的图像处理装置能够搭载于公知的车辆。
92.第十一方面涉及车辆(例如1)，所述车辆的特征在于，具备：上述的图像处理装置；第一摄像装置(例如11a)，其拍摄表示所述车辆周边的样子的图像；第二摄像装置(例如11b)，其拍摄所述驾驶员的图像；以及检测装置(例如12)，其检测所述车辆的状态。
93.即，上述的图像处理装置能够搭载于公知的车辆。
94.在第十二方面中，其特征在于，所述车辆为骑乘式车辆(例如1)，所述第二摄像装置分别设置于所述驾驶员的座位的前后。
95.根据第十三方面，能够适当地拍摄出驾驶员的图像。
96.在第十三方面中，其特征在于，在车身周边部设置多个所述第一摄像装置。
97.第十四方面，能够适当地拍摄出表示车辆周边的样子的图像。
98.第十四方面涉及图像处理方法，所述图像处理方法处理关于车辆(例如1)的图像，所述图像处理方法的特征在于，包括：步骤(例如s1000)，获取表示所述车辆周边的样子的图像来作为车辆周边图像(例如9a)；步骤(例如s1020)，获取表示所述车辆的状态的信息(例如9i)；步骤(例如s1010)，获取所述车辆的驾驶员的图像来作为驾驶员图像(例如9b)；步骤(例如s1030、s1040)，基于表示所述车辆的状态的信息，生成所述车辆的图像来作为车辆图像(例如9c)，并使所述车辆图像以及所述驾驶员图像与所述车辆周边图像重合来生成合成图像(例如9x)；以及步骤(例如33，图5a、图5b)，以来自任意位置的视点来显示所述合成图像。
99.根据第十四方面，这样获得的合成图像能够活用于多种用途。
100.第十五方面涉及程序，其特征在于，所述程序使计算机执行上述的图像处理方法的各步骤。
101.根据第十五方面，能够在计算机上实现上述的图像处理方法。
102.发明不限定于上述的实施方式，能够在发明的主旨的范围内进行各种的变形和变更。