通过感测车辆乘员的人口统计信息来选择性地显示广告的广告牌显示器和方法与流程

相关申请

本申请要求2015年9月4号提交的美国临时专利申请no.62/214,416的权益，通过引用将该美国临时专利申请的全部内容并入本文。

背景技术：

本发明的实施例涉及广告牌显示系统，其从车辆的内部乘员感测系统接收数据并分析数据以在广告牌显示器上提供涉及车辆乘员的广告。

电子广告牌显示器的概念是旧的且已知的。电子广告牌显示器提供周期性地改变的各种广告。然而，这些广告简单地基于广告客户的支付而被选择，并且在没有定位为观看广告牌显示器的车辆中人员的任何知识或与所述人员的关系的情况下被显示。

技术实现要素：

与日俱增的是，针对特定客户人口统计特征来对包括车辆的产品进行定制。许多应用可以受益于车辆中每个乘员的人口统计概况的改进的知识。例如，利用乘员的人口统计知识，可以针对它们用户的需要而设计车辆，自动系统可以基于乘员的需要和行动而进行响应和调整。除了确定车辆中乘员的数目和概况之外，分析每个乘员对外部刺激的反应（诸如对广告（例如，广告牌）的反应）也将是有用的。因此，广告客户可以更好地将广告对准乘员。

通过数据挖掘和机器学习，密集的概况被建模和分析以利用有针对性的车外电子显示器来帮助市场人员和广告客户。

在一个实施例中，本发明提供了一种用于利用广告牌显示系统选择性地向靠近位于道路附近的广告牌显示器的一个或多个车辆中乘员显示广告的方法。该方法包括：从用于靠近广告牌显示器的一个或多个车辆的内部乘员感测系统接收乘员的数目、乘员的人口统计信息以及车辆位置信息；处理乘员的人口统计信息和数目以确定与乘员相关的广告；以及利用广告牌显示器选择性地向靠近广告牌显示器的一个或多个车辆显示相关广告。

在另一实施例中，广告牌显示系统响应于一个或多个车辆中内部乘员感测系统获得乘员的人口统计信息的操作，而在广告牌显示器上向一个或多个车辆中的乘员提供广告。除了位于道路附近的广告牌显示器之外，广告牌显示系统包括显示控制器连同通信单元，所述显示控制器包括处理器和存储器，所述通信单元用于提供显示控制器与一个或多个车辆的内部乘员感测系统之间的通信。处理器被配置成经由通信单元从内部乘员感测系统接收设置在一个或多个车辆中的乘员的数目、设置在一个或多个车辆中的每个乘员的人口统计信息以及车辆位置信息，所述内部乘员感测系统包括设置在一个或多个车辆中的每个中的视频相机。响应于至少人口统计信息和车辆位置信息，处理器向广告牌显示器提供输出以选择性地显示对准一个或多个车辆的乘员的人口统计信息的广告。

在另一实施例中，本发明提供了一种在广告牌显示系统的广告牌显示器上选择性地向靠近位于道路附近的广告牌显示器的一个或多个车辆中乘员显示广告的方法。该方法包括在靠近广告牌显示器的车辆的内部乘员感测系统中操作视频相机以获得包括车辆中乘员的面部的视频数据。将视频数据提供给电子控制单元。该方法包括感测gps信号并确定车辆的车辆位置信息，从视频数据检测设置在车辆中的乘员的数目，以及从乘员的面部的视频数据确定人口统计信息。该方法还包括将车辆位置信息、乘员的数目以及乘员的人口统计信息存储在内部乘员感测系统的存储器中，并无线地传输乘员的数目、人口统计信息以及车辆位置信息。进一步的，该方法包括在广告牌显示系统的显示控制器中接收由用于靠近广告牌显示器的车辆的内部乘员感测系统无线地传输的乘员的数目、乘员的人口统计信息以及车辆位置信息。广告牌显示系统处理乘员的人口统计信息和数目以确定与乘员相关的广告；并在广告牌显示器上选择性地向靠近车辆中的乘员显示相关广告。

通过考虑详细描述和附图，本发明的其它方面将变得清楚。

附图说明

图1是根据一些实施例的道路和广告牌显示系统的图。

图2是根据一些实施例的内部乘员感测系统的框图。

图3是根据一些实施例的电子控制器的框图。

图4是根据一些实施例的仪表盘和挡风玻璃的正视图。

图5是图示了根据一些实施例的用于检测车辆乘员的数据的方法的流程图。

图6是图示了根据一些实施例的用于检测车辆乘员的营销元数据的方法的流程图，所述方法包括语音识别。

图7是图示了根据一些实施例的用于使用乘员元数据与广告牌显示系统交互的方法的流程图。

具体实施方式

在详细解释本发明的任何实施例之前，应理解的是，本发明在其应用上不限于在下面的描述中阐述或在下面各图中图示的组件的构造和布置的细节。本发明能够有其它实施例并且能够用各种方式来实践或施行。

而且，应理解的是，本文使用的名词和术语用于描述的目的并且不应视为限制性的。本文使用“包括”、“包含”或“具有”及其变型意在涵盖其后列出的项目及其等同物以及附加项目。术语“安装”、“连接”和“耦合”被宽广地使用并涵盖直接和间接安装、连接与耦合二者。另外，“连接”和“耦合”不局限于物理或机械连接或耦合，并且可以包括电气连接或耦合，无论是直接还是间接的。而且，可以使用任何已知手段来执行电子通信和通知，所述已知手段包括有线连接、无线连接等。

还应当指出的是，多个基于硬件和软件的设备以及多个不同结构的组件可以用于实现实施例。附加地，应当理解的是，实施例可以包括硬件、软件和电子组件或模块，出于讨论的目的，它们可以图示和描述为犹如大多数组件仅在硬件中实现一样。然而，本领域普通技术人员，并在阅读此详细描述的基础上，将认识到在至少一个实施例中，实施例的基于电子的方面可以在由一个或多个处理器可执行的软件（例如，存储在非暂态计算机可读介质上）中实现。这样，应当指出的是，多个基于硬件和软件的设备以及多个不同结构的组件可用于实现实施例。例如，在说明书中描述的“处理单元”和“控制器”可以包括标准处理组件（诸如一个或多个处理器）、一个或多个存储器模块（包括非暂态计算机可读介质）、一个或多个输入/输出接口，以及连接组件的各种连接（例如，系统总线）。

外部广告牌显示系统

图1图示了具有车辆12的道路10和附近的广告牌显示系统20。道路10附近的广告牌显示系统20包括显示控制器22，显示控制器22包括与存储器26和显示驱动器28通信的处理器24。显示驱动器28连接到位于邻近道路10的广告牌显示器30或者与广告牌显示器30通信。处理器24链接到通信单元34，通信单元34用于与车辆12等通信。广告牌显示器30选择性地显示各种广告图像。在一个实施例中，广告牌显示器30是用于提供在存储器26中存储的各种广告图像的数字电子显示器。在一些实施例中，所选广告图像包括视频图像，使得在广告牌显示器30上显示的图像在视觉上改变以将注意力吸引到广告牌显示器30。

处理器24提供用于向显示驱动器28进行广告的数字图像信号，显示驱动器28向广告牌显示器30提供图像以供在其上观看。处理器24经由互联网连接或经由通信单元34从存储器26或从图1中示出的远程云服务器36或其它电子存储设备获得数字图像信号。

内部乘员感测系统

图2图示了内部乘员感测系统40。内部乘员感测系统40集成在每个车辆12中，并且包括电子控制器42、视频相机44、麦克风46、数据库48、通信系统50、人机接口（hmi）52、全球定位信号（gps）导航系统54、娱乐系统56以及其它车辆系统58。如图2中所图示的，内部乘员感测系统40的组件与电子控制器42通信。

图2中示出的电子控制器42可以专用于内部乘员感测系统40，或者也可以是另一车辆操作系统的部分。在一些实施例中，电子控制器42与视频相机44和麦克风46一起集成在单个设备中。在其它实施例中，电子控制器42是包括内部和外部相机的多相机系统的部分。在一些实施例中，内部乘员感测系统40包括多于一个相机。在一个实施例中，视频相机44是数字视频相机。视频相机44被定位为观看车辆内部和车辆的乘员（例如，驾驶员和一个或多个乘客）。电子控制器42被配置成从视频相机44接收和处理图像或视频数据。麦克风46定位在车辆内部中并被配置成感测或检测声音（包括话音），将声音或音频信号转换成音频数据，并将音频数据提供给电子控制器42。电子控制器42被配置成从麦克风46接收和处理音频数据。麦克风46可以是独立的，或者它可以是另一车辆系统（例如，免提蜂窝系统）的部分。

图2中示出的数据库48根据本文描述的方法电子地存储关于内部乘员感测系统40的信息，包括乘员的元数据。电子控制器42被配置成从数据库48读取这样的信息和向数据库48写入这样的信息。在所图示的实施例中，数据库48可由电子控制器42访问。在可替换地实施例中，数据库48可以位于电子控制器42中，或者托管在内部乘员感测系统40外部并且可通过一个或多个居间网络访问的合适数据库服务器或其它系统上。

图2中示出的通信系统50包括硬件和软件组件，所述硬件和软件组件允许电子控制器42使用来自由以下构成的组的一种或多种模态来无线地通信：蜂窝数据、车辆对一切（v2x）通信以及wi-fi。还设想到其它通信布置和协议。通信系统50使电子控制器42能够使用公共数据网络（例如，因特网）与其它系统通信。

图2中示出的hmi52提供内部乘员感测系统40与车辆12的乘员之间的接口。hmi52耦合到电子控制器42，并且被配置成从乘员接收输入、从控制器接收数据，并且基于该数据向乘员提供警告或其它信息。hmi52包括合适的输入和输出机构，例如包括按钮、具有图形用户接口（gui）的触摸屏显示器、话音识别等。gps导航系统54包括用于使用gps信号来定位车辆的硬件和软件、全球定位系统以及针对驾驶员为基础的绘制路线。娱乐系统56包括被配置成向车辆的乘员提供视频和音频娱乐内容的硬件（例如，显示屏）和软件。在一些实施例中，娱乐内容包括通过通信系统50流式传送的视频内容。电子控制器42还耦合到其它车辆系统58，例如包括转向、制动和自动化车辆控制系统。

如图3中所图示的，在一个实施例中，电子控制器42包括电子处理单元60（例如，微处理器或另一合适可编程设备）、非暂态存储器64（例如，计算机可读存储介质）以及输入/输出接口68。在一个实施例中，输入/输出接口68包括使电子处理单元60能够与图2中图示的各种设备通信的一个或多个控制或数据总线。输入/输出接口68提供数据总线之上的电气连接或者有线、无线或光学连接，这些连接使图2中示出的设备能够使用例如以太网、can或flexray协议的网络通信协议进行通信。

存储器64可以包括程序存储区域（例如，只读存储器（rom））和数据存储区域（例如，随机存取存储器（ram））以及另一非暂态计算机可读介质。电子处理单元60执行存储在存储器64中的软件。软件可以包括用于执行如本文所描述的方法的指令和算法。

图3中示出的输入/输出接口68从电子控制器42外部的系统接收输入并向电子控制器42外部的系统提供输出，所述系统包括图2中示出的设备和系统。在一些实施例中，电子控制器42包括多个电气和电子组件，所述多个电气和电子组件向电子控制器42内的组件和模块提供功率、操作控制以及保护。应当理解的是，电子控制器42可以包括附加的、更少的或不同的组件。

在一个实施例中，电子控制器42被配置成执行机器学习功能。存储器64存储一个或多个学习引擎，所述一个或多个学习引擎由电子处理单元60可执行来处理从视频相机44和麦克风46接收的数据并发展关于车辆乘员的人口统计元数据。机器学习一般指代计算机应用在没有被显式地编程的情况下进行学习的能力。具体地，执行机器学习的计算机应用（有时称为学习引擎）被配置成基于训练数据来发展算法。例如，为了执行监督式学习，训练数据包括示例输入和对应期望（例如，实际）输出，并且学习引擎逐进地发展将输入映射到训练数据中包括的输出的模型。使用各种类型的方法和机制来执行机器学习，包括但不限于：决策树学习、关联规则学习、人工神经网络、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似度和度量学习、稀疏词典学习以及遗传算法。

在一些实施例中，电子控制器42通过诸如因特网和其它公共与私有网络的一个或多个通信网络，来访问训练数据、预测模型或学习引擎的一个或多个源。可替换地或附加地，电子控制器42将训练数据存储在数据库48中或存储器64中。

图4是车辆12的前内部部分70的部分透视图，前内部部分70包括仪表盘72、挡风玻璃74以及车顶76。另外，视频相机44在后视镜78附近安装到车顶76以获得车辆内的视频数据。另外，图4示出了诸如触摸屏的人机接口52。

内部乘员感测系统的操作

为了广告牌显示系统20正确地操作，必须将来自图1中示出的多个车辆12中的至少一个车辆的信息提供给广告牌显示系统。因此，用于每个车辆的内部乘员感测系统40如下操作。

如图5的图像和流程图100中所示出的，四个乘员面部104被设置在车辆12中的视频相机44感测到并且作为视频数据被提供给电子处理单元60。使用机器学习乘员检测算法，电子处理单元60确定检测到的每个乘员的数目、姿势和位置（步骤102）。对于每个面部，通过执行分类器算法的电子处理单元60来估计或确定人口统计信息和标记（步骤106）。确定人口统计信息包括利用用于给定乘员的面部的视频数据或视频图像来1）对年龄分类、2）对性别分类以及3）对人种和/或种族分类。在一些实施例中，获得其它分类信息。针对每个个体乘员确定人口统计信息。

在从乘员的面部视频图像确定人口统计信息后，电子处理单元60还确定情绪响应（步骤110）。情绪响应包括1）注视估计，包括面部正在看的地方，和2）当前情绪，诸如微笑、皱眉或大笑。乘员对刺激的情绪响应中的改变可能由车辆本身或外部的操作中的改变引起（即，当前情绪）。例如，当车辆加速时，乘员可能显示高兴，或者当hmi52发出警告时，乘员可能显示焦虑。除了确定情绪之外，电子处理单元60被配置用于将情绪和情绪或情绪响应出现的精确时间存储在存储器64中。

之后，在视频图像内跟踪或跟随乘员的面部104（步骤114）。跟踪乘员的面部104使内部乘员感测系统40能够确定乘员的情绪和他们对诸如广告的刺激的情绪响应。以该方式，跟随已经被分类的面部104，并且不必然要求重新分类。

电子处理单元60还被配置成将人口统计信息与其它车辆信息（即，gps位置、行程持续时间、乘客进入/离开等）进行组合（步骤116）。其它车辆信息可以包括车辆的意图目的地、车辆的制造和型号。另外，可以在对乘员分类和预测向其提供何种广告中利用乘员穿戴的衣物。

电子处理单元60被配置成当随时间跟踪乘员时改进分类器估计（步骤120）。诸如照明、乘员移动和乘员衣物的影响可能随时间变化，从而导致电子处理单元60随时间做出不同人口统计估计。电子处理单元60使用机器学习算法通过识别趋势或消除异常数据来改进其估计。该持续改进确保最可靠的元数据。

电子处理单元60被配置成将人口统计信息、车辆位置信息、行程目的地信息、行程持续时间信息以及附加信息作为元数据存储在数据库48中（步骤124）。电子处理单元60将数据分类为乘员特定数据（例如，基于面部和如下面所阐述的话音识别算法）；在特定时间和位置联系到特定车辆的一般性人口统计数据；或者分类为未联系到任何个体或车辆但是被聚合以提取车辆使用和运输的人口统计模式的一般性元数据。取决于应用，这允许应用对于用户的特定定制，或者允许可以确保个人隐私的基于广泛统计的应用。

如图6的流程图140中所图示的，在一些实施例中，麦克风46收集乘员语音以更好地探明乘员情绪状态和对外部事件的反应。电子处理单元60被配置成对从麦克风46接收的音频数据执行语音识别（步骤144）。然后标识关键词或短语（步骤148）。之后，电子处理单元60还被配置成将扬声器与面部进行匹配（步骤152）。这样的匹配依赖于估计乘员面部的移动或讲话以及与关键词的比较。该关键词和特定乘员信息作为元数据连同人口统计信息和用于每个特定用户的其它元数据一起存储在数据库48中（步骤160）。另外，经由通信系统50将元数据无线地传输到广告牌显示系统20的通信单元34。

此外，内部乘员感测系统40能够提供密集概况模型。在一个示例性实施例中，电子控制器42被配置成将检测到的人员与他们的人口统计信息、他们的情绪响应以及关键词的语音识别进行融合。收集乘员数据连同车辆动力学为市场研究员提供了乘员对广告牌显示系统上显示的广告的实时响应。

如图7的流程图200中所图示的，在一个实施例中，内部乘员感测系统40使用诸如元数据的乘员数据与广告牌显示系统20进行交互。例如，关于与乘员的数目、乘员人口统计特征以及其它度量（例如，行程目的地和持续时间）对应的视频图像中的多个面部的数据被通信系统50经由v2x无线地传输到广告牌显示系统20的即将到来的通信单元34。

更具体地，如图7中所示，车辆12进入广告牌显示系统20的区（步骤202）。内部乘员感测系统40的通信系统50提供与广告牌显示系统20的通信单元34的无线传输或无线通信（步骤206）。对于要发生的通信，车辆12必须在广告牌显示系统20的广播范围内。无线传输包括位于道路上的车辆相对于广告牌显示器34的车辆位置信息，如从gps信号所确定的。

广告牌显示系统20的显示控制器22从一个或多个靠近车辆分析靠近广告牌显示器30的乘员群体（步骤210）。另外，显示控制器22被配置成分析来自靠近广告牌显示器30的一个或多个车辆的度量（步骤212）。除了正靠近广告牌显示器30的多个车辆中的乘员的数目和乘员的人口统计信息（214）连同当行程数据可获得时多个车辆的行程目的地（216）和行程持续时间（218）之外，度量可以包括其它因素。在一些实施例中，车辆类型、乘员穿戴的衣物和一天中的时间也提供为度量。

利用所分析的度量，显示控制器22确定并显示有针对性的广告（步骤220）。有针对性的广告被认为最适用于由广告牌显示器30的视场中每个车辆的乘员构成的群体。如上面所阐述的，有针对性的广告基于各种因素并且基于一天中的时间。例如，在一个实施例中，在长行程持续时间的中午或者傍晚提供对于酒店或汽车旅馆的广告。在被认为接近典型的用餐时间的情况时，提供对于靠近的餐厅的广告。广告中显示的餐厅或设施的类型还基于乘员的年龄。总之，各种度量交互地辅助广告牌显示器30上广告的选择性显示。

在基于度量在受限时间内显示了广告后，广告牌显示系统20针对附加或更新后的度量而查询靠近车辆12（步骤230）。更新后的度量包括靠近车辆的乘员的印象计数（232）、情绪响应（234）以及眼睛注视（236）。内部乘员感测系统40被配置成将乘员的印象计数、情绪状态、任何情绪响应以及眼睛注视连同附加度量一起传送到广告牌显示系统（步骤240）。

显示控制器22使用以上信息来执行程序，以对准或选择更可能与靠近广告牌显示器30的一个或多个车辆的乘员相关或对其有用的未来或即刻的广告。显示控制器22被配置成与乘员的人口统计信息和数目组合地处理行程目的地信息和/或行程持续时间信息，以确定与乘员相关的广告。在一个实施例中，乘员的情绪状态辅助广告的选择。对于处于积极心情的乘员，广告不同于对于处于生气或坏心情的乘员的广告。

另外，显示控制器22被配置成跟踪针对当前广告的印象计数。使用乘员注视估计，广告客户准确地分析并估量各种广告方案的有效性。从印象计数分析有效性使未来要显示的广告与一个或多个车辆的特定乘员的相关性最大化。

其它度量可以用于对准广告。在一个操作中，如果向广告牌显示系统20告知车辆的燃料水平低，则对于附近加油站的广告出现。在另一场景中，儿童友好场地使用广告牌显示器30向如从人口统计信息所确定的携带儿童的车辆12进行广告。

在一个实施例中，印象计数、注视估计和情绪响应中的至少一个被收集并远程地传输到广告客户（诸如传输到远程云服务器36），以估量在广告牌显示器30上提供的广告的成功。广告牌显示系统20通过互联网或其它通信与云服务器36进行通信。因此，广告牌显示系统20向云服务器36提供人口统计信息，并接收广告以供在广告牌显示器30上观看。

在一些实现中，使用至少一个显示控制器22来控制以上描述的系统。显示控制器22包括一个或多个处理单元（例如，处理器、专用集成电路（“asic”）等）。相似的，车辆电子控制器42可以包括上面所列出的一个或多个处理单元。

在一个实施例中，显示控制器22的存储器26和车辆电子控制器42的存储器64是非暂态计算机可读介质。设想到随机存取存储器（ram）和只读存储器（rom）二者。除了显示控制器22之外，电子控制器42使用输入/输出接口68用于从电子控制器42外部的一个或多个传感器或系统发送和接收信息（例如，通过车辆通信总线，诸如控制器域网络（can）总线或flexray总线）。在一些实现中，电子控制器42还可以包括一个或多个附加内部传感器或系统。

广告牌显示器30是显示来自显示驱动器28的电子图像的电子广告牌显示器。广告牌显示器30是等离子、lcd、led或其它数字发光布置的视频屏幕。在一些实施例中，还提供扩音器或声音输出。

尽管设想到至少一个视频相机44，但是在一些实施例中提供多个视频相机来获得视频数据以检测乘员。

在参照其中两个车辆正靠近广告牌显示系统20的情形中，一个车辆可以被认为是具有第一内部乘员感测系统的第一车辆，并且另一个车辆可以被认为是具有第二内部乘员感测系统的第二车辆，所述第一内部乘员感测系统具有第一视频相机，所述第二内部乘员感测系统具有第二视频相机。当然，还设想到具有内部乘员感测系统的第三、第四、第五等车辆。

尽管图1示出了在一个方向靠近广告牌显示器30的车辆接收广告，但是在另一实施例中，在相反方向行驶的车辆在广告牌显示器30的相应侧观看广告消息。

利用主要用于乘员感测的内部视频相机44的可获得性，可以从相机图像提取车辆12中每个乘员的附加人口统计数据。该人口统计元数据可以被存储、分析并与各种其它传感器和车辆状态融合，以提供驾驶员和乘客的密集人口统计概况。该数据对于市场人员和广告客户是有用的。

因此，除了其它以外，本发明还提供了用于操作广告牌显示系统20以提供涉及靠近广告牌显示器30的车辆12的乘员的广告并用于操作内部乘员感测系统40以向其提供信息或数据的方法。