一种人车互动方法、系统及装置与流程

本发明涉及汽车智能控制领域，特别是涉及一种人车互动方法、系统及装置。

背景技术

随着科技的发展，汽车已经不仅仅是传统意义上的交通工具，还兼顾了娱乐、与乘客互动等功能。现有技术中的车载娱乐系统，跟普通的平板差别不大，而且仅仅是实现了娱乐功能，与乘客的互动功能较弱。而且，现有技术中的人车互动方案，一般是用户通过智能终端与车载系统之间进行数据交互，从而实现自动控制等，汽车在这个交互过程中，属于被动控制的对象，这种方式并不是真正意义上的人车互动。

名词解释

gpu：全称graphicsprocessingunit，指图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备上图像运算工作的微处理器；

ar：全称augmentedreality，表示增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

技术实现要素：

为了解决上述的技术问题，本发明的目的是提供一种人车互动方法、系统及装置。

本发明解决其技术问题所采用的第一技术方案是：

一种人车互动方法，包括以下步骤：

实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；

对用户进行检测，并识别获得对应的用户控制信号；

根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。

进一步，所述实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上的步骤，具体包括：

实时地对汽车外部环境进行图像采集；

对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；

将所形成的虚拟图像中的各类场景物体进行虚拟化处理后，投影到汽车的车窗上。

进一步，所述人车互动方法在投影过程中，还根据汽车车窗的参数对车窗进行曲面校正。

进一步，所述根据汽车车窗的参数对车窗进行曲面校正的步骤，具体包括：

获取汽车车窗的曲率参数后，计算获得车窗与用于进行投影的投影仪之间的几何关系及变换矩阵；

将待投影的图像进行分割，提取出图像的角点信息；

将角点信息与计算获得的几何关系及变换矩阵进行矩阵运算，使图像产生对应的非线性几何变形后，再进行投影。

进一步，所述对用户进行检测，并识别获得对应的用户控制信号的步骤，其具体为：

对用户进行语音检测或者姿态检测，并基于检测获得的语音信号或姿态信号，识别获得对应的用户控制信号。

进一步，所述虚拟化处理具体如下；

将物体转换为对应的虚拟化物体，

和/或

为物体或者物体转换获得的虚拟化物体叠加新的虚拟物体。

进一步，所述将物体转换为对应的虚拟化物体的步骤，具体包括：

对物体进行特征点提取；

基于提取获得的特征点，将物体与预设的虚拟化物体库进行特征匹配，提取获得该物体对应的虚拟化物体。

进一步，所述特征匹配的具体过程如下：

将物体的特征点与预设的虚拟化物体库中的各虚拟化物体的特征点进行依次比对，并在物体与任一虚拟化物体之间相匹配的特征点的数量超过预设阈值时，判断该物体与该虚拟化物体相匹配。

本发明解决其技术问题所采用的第二技术方案是：

一种人车互动系统，包括主控制板、投影仪、摄像头模组以及检测模块，所述主控制板分别与投影仪、摄像头模组和检测模块连接；所述摄像头模组设置在汽车的顶部，所述投影仪设置于汽车顶棚；

所述摄像头模组，用于实时采集汽车外部环境的图像；

所述检测模块，对用户进行检测；

所述主控制板，用于：对采集的图像进行虚拟化处理、用于识别获得对用户的检测所对应的用户控制信号以及用于根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理；

所述投影仪，用于将虚拟化处理后的图像投影到汽车的车窗上。

进一步，所述主控制板包括车载处理器和图像处理器，所述图像处理器分别与车载处理器和摄像头模组连接，所述车载处理器分别与检测模块和投影仪连接；

所述图像处理器，用于：对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；

所述车载处理器，用于：将所形成的虚拟图像中的各类场景物体进行虚拟化处理；识别获得对用户的检测所对应的用户控制信号，以及根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理。

进一步，所述检测模块采用语音采集模块或深度摄像头。

本发明解决其技术问题所采用的第三技术方案是：

一种人车互动装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第一技术方案所述的人车互动方法。

本发明的有益效果是：本发明通过实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行操作，进而本发明识别获得汽车内外用户的用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户操作的对应变化，实现人车互动的目的。本发明基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的人车互动，体验感较强，而且较为真实，提高了用户体验。

附图说明

图1是本发明的一种人车互动方法的流程图；

图2是本发明的一种人车互动系统的结构示意图；

图3是本发明的一种人车互动装置的结构示意图。

具体实施方式

方法实施例

参照图1，本实施例提供了一种人车互动方法，包括以下步骤：

实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；

对用户进行检测，并识别获得对应的用户控制信号；

根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。

具体的，这里根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理，可以是根据预设的指令数据库进行处理的，不同的用户控制信号对应不同的指令，根据用户控制信号，从预设的指令数据库中获取对应的指令，从而对虚拟化处理后的图像再次进行对应的虚拟化处理。也可以不设置指令数据库，直接设定不同的用户控制信号所对应的虚拟化处理细节，从而直接根据用户控制信号匹配获得对应的虚拟化处理细节进行处理即可。具体如何根据用户控制信号进行虚拟化处理的实现形式可以多样化，本发明不做详细限定。

本发明中，汽车内部和/或外部的用户指汽车内部除驾驶员之外的乘客以及车外的行人，即本方案中不仅可以实现与车内乘客的人车互动，还可以实现与车外行人的人车互动。另外，本发明中，为了避免对驾驶员的驾驶造成干扰，汽车的车窗特指两侧的车窗，具体投影过程中，可以投影到整个汽车车窗上，也可以根据实际驾驶需要，只投影到车窗的一部分位置上，例如驾驶座和副驾驶座旁边的车窗可以只投影一部分，避免对驾驶员带来较多干扰，也可以只投影到汽车后座两侧的车窗上，实现与后座乘客以及车外行人的互动。

本实施例中，通过实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行手势动作，而本实施例识别获得汽车内外用户的用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户操作的对应变化，实现人车互动的目的。本方案基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的互动，体验感较强，而且较为真实，提高了用户体验。

本实施例中，对用户进行检测，可以是检测用户输入的语音、检测用户的触摸动作检测用户的姿态，也可以是检测用户通过车载输入设备输入的数据等，对用户进行检测的目的是检测获得用户的具体操作，从而识别获得对应的用户控制信号。

进一步作为优选的实施方式，所述对用户进行检测，并识别获得对应的用户控制信号的步骤，其具体为：

对用户进行语音检测或者姿态检测，并基于检测获得的语音信号或姿态信号，识别获得对应的用户控制信号。

语音检测是采集用户的语音信号，通过预先设定不同的语音信号对应的用户控制信号后，可以根据对用户的语音检测，识别提取获得对应的用户控制信号。例如，事先录制好“向左”、“向右”、“确认”、“前进”、“后退”、“跳跃”等不同的语音信号对应的用户控制信号，从而在对用户进行检测时，根据语音检测情况，就可以匹配获得对应的用户控制信号。

姿态检测指用户的操作动作检测，包括用户的手势，或者身体部位的操作动作，例如摇头、点头、转动身体、前后移动身体、晃动身体、耸肩等动作，一般通过相机或者图像传感器来进行姿态检测。通过预先设定不同的姿态信号对应的用户控制信号后，可以根据对用户的姿态检测，识别提取获得对应的用户控制信号。例如，预先设定点头动作对应的用户控制信号为确认，则当检测到用户的姿态为点头动作时，识别获得对应的用户控制信号为“确认”信号；预先设定向左的手势动作对应的用户控制信号为向左移动，则当检测到用户的姿态为向左的手势动作时，识别获得对应的用户控制信号为“向左移动”信号，具体如何设定不同的用户姿态对应不同的控制信号，可以根据主流的控制方式进行定义，也可以根据用户的操作习惯进行自定义设置。本发明不做过多限定。另外，姿态检测的具体检测过程是通过采集用户的图像后，进行图像处理，从而提取获得用户的姿态的。具体如何从图像中提取获得用户的姿态，本发明不做过多限定。

进一步作为优选的实施方式，所述实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上的步骤，具体包括：

实时地对汽车外部环境进行图像采集；

对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；具体渲染过程可以采用特定的gpu进行渲染；

将所形成的虚拟图像中的各类场景物体进行虚拟化处理后，投影到汽车的车窗上。这里，虚拟化处理实际上是ar过程，通过ar过程，将汽车外部环境的图像ar化之后投影到汽车车窗上，使得人车互动体验更加真实，增强用户体验感。

其中，所述场景物体包括以下种类中的至少一种：道路、汽车、房屋、建筑、树木、交通指示牌、指示灯和行人。

进一步作为优选的实施方式，所述虚拟化处理具体如下；

将物体转换为对应的虚拟化物体，

和/或

为物体或者物体转换获得的虚拟化物体叠加新的虚拟物体。

例如，对图像中的汽车，将其虚拟化成同一品牌型号的汽车，并在汽车的旁边增加一个可跳动的卡通小人，即可实现类似现有跑酷游戏这样的互动功能，在后续识别获得用户控制信号后，可以根据用户控制信号控制该卡通小人进行移动，实现虚拟显示的跑酷游戏，这种情况一般是针对汽车行驶缓慢或者堵车的情况，车上乘客可以基于汽车外部环境进行虚拟显示的游戏，降低拥堵过程带来的焦虑感。另外，可以在虚拟化物体旁边叠加广告内容，使得一边开车一边采用车窗播放广告，而且广告过程是与汽车外部环境相结合的，例如，对外部图像中的行人，通过ar虚拟化，给行人套上某个广告品牌的衣服，从而行人可以在汽车车窗上看到自己穿上该品牌衣服的效果，还可以通过手势切换不同的服装看不同的着装效果，这种互动方式直观且效果好，提高了行人的参与感。

进一步作为优选的实施方式，所述将物体转换为对应的虚拟化物体的步骤，具体包括：

对物体进行特征点提取；

基于提取获得的特征点，将物体与预设的虚拟化物体库进行特征匹配，提取获得该物体对应的虚拟化物体。

特征点是用于区分不同种类物体的，不同的物体，具有不同的特征点，例如道路的特征点，是从道路线提取的，人的特征点是由眼睛、鼻子、嘴巴构成的人脸。房屋的特征点，则可以从房屋轮廓提取获得。树木的特征点提取为颜色，叶子，树干及形状等。

特征点的特征匹配过程中，也是根据物体特征点的情况来进行匹配的，通过特征点匹配，准确提取获得物体对应的虚拟化物体。

进一步作为优选的实施方式，所述特征匹配的具体过程如下：

将物体的特征点与预设的虚拟化物体库中的各虚拟化物体的特征点进行依次比对，并在物体与任一虚拟化物体之间相匹配的特征点的数量超过预设阈值时，判断该物体与该虚拟化物体相匹配。虚拟化物体与物体的区别主要是在于局部形状、局部颜色或者整体的形状、颜色上的区别，降低投影过程耗费的资源，另外也使得投影结果更柔和，更符合人眼视觉。

进一步作为优选的实施方式，所述人车互动方法在投影过程中，还根据汽车车窗的参数对车窗进行曲面校正。

进一步作为优选的实施方式，所述根据汽车车窗的参数对车窗进行曲面校正的步骤，具体包括：

获取汽车车窗的曲率参数后，计算获得车窗与用于进行投影的投影仪之间的几何关系及变换矩阵；

将待投影的图像进行分割，提取出图像的角点信息；

将角点信息与计算获得的几何关系及变换矩阵进行矩阵运算，使图像产生对应的非线性几何变形后，再进行投影。

通过对车窗进行曲面校正后，可以使得投影结果更加贴合汽车车窗，投影效果更好。

总的来说，本发明基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的人车互动，体验感较强，而且较为真实，提高了用户体验。

系统实施例

参照图2，本实施例提供了一种人车互动系统，包括主控制板、投影仪、摄像头模组以及检测模块，所述主控制板分别与投影仪、摄像头模组和检测模块连接；所述摄像头模组设置在汽车的顶部，所述投影仪设置于汽车顶棚；

所述摄像头模组，用于实时采集汽车外部环境的图像；

所述检测模块，对用户进行检测；

所述主控制板，用于：对采集的图像进行虚拟化处理、用于识别获得对用户的检测所对应的用户控制信号以及用于根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理；

所述投影仪，用于将虚拟化处理后的图像投影到汽车的车窗上。

具体的，投影仪的投射距离一般为50～100cm，根据与车窗的距离进行调节后实现清晰投影。另外，为了系统的正常工作，一般还需配置相应的存储介质以存储采集的图像，存储介质可以直接与摄像头模组连接后与主控制板连接，也可以直接与主控制板连接，本发明不做过多限定。

本实施例中，通过摄像头模组实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行手势动作，而本实施例通过检测模块采集获得汽车内外用户的用户手势图像，进而识别获得用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户控制信号的对应变化，实现人车互动的目的。本方案基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的互动，体验感较强，而且较为真实，提高了用户体验。

进一步作为优选的实施方式，所述主控制板包括车载处理器和图像处理器，所述图像处理器分别与车载处理器和摄像头模组连接，所述车载处理器分别与检测模块和投影仪连接；

所述图像处理器，用于：对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；

所述车载处理器，用于：将所形成的虚拟图像中的各类场景物体进行虚拟化处理；识别获得对用户的检测所对应的用户控制信号，以及根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理。

进一步作为优选的实施方式，所述检测模块采用语音采集模块或深度摄像头。通过语音采集模块可以采集用户的语音信号。通过深度摄像头可以精确采集获得用户的姿态信号，这里姿态信号指进行图像采集所获得的包含用户姿态的姿态图像。

另外，摄像头模组一般采用现有的车顶摄像头，通过车顶摄像头采集汽车外部环境的图像。

本实施例中，所述车载处理器通过can总线与投影仪连接，通过can总线将待投影的虚拟化处理后的图像发送到投影仪进行投影。

本实施例的一种人车互动系统，可执行本发明方法实施例所提供的一种人车互动方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

装置实施例

参照图3，本实施例提供了一种人车互动装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现方法实施例所述的人车互动方法。

本实施例的一种人车互动装置，可执行本发明方法实施例所提供的一种人车互动方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。