用于统计地确定在线调查结果中的偏差的系统和方法

用于统计地确定在线调查结果中的偏差的系统和方法
【专利摘要】本发明涉及一种用于统计地确定在线调查结果中的偏差的系统和方法。一种系统、方法、和计算机程序确定在调查结果中由于未响应的调查响应数据和/或错误的调查响应数据而引起的偏差、评估通过未响应的调查数据和/或错误的调查数据所引入的偏差对调查结果的影响、相应地分析调查结果，以提供对被调查的人群观看的内容（例如，广告）的观看者的印象的更精确的评估。该分析允许广告主改变广告以更好地推广产品或者服务，并且使广告主能够提高广告活动成功的可能性和活动的成本效率。
【专利说明】用于统计地确定在线调查结果中的偏差的系统和方法

【背景技术】
[0001]直到最近，电视和收音机控制将新闻、体育和娱乐提供给公众。然而，随着互联网连接和万维网的出现，信息和娱乐内容的提供已经越来越多地转移到网络连接设备，例如台式计算机和笔记本电脑、平板电脑、移动电话和智能手机、以及连接至CTV电视网的设备。
[0002]就这一点而言，通过互联网，像CNBC这样的服务提供新闻内容，像ESPN这样的服务提供体育内容，像网飞公司(Netflix)和葫芦网(Hulu)这样的服务提供包括电影和电视节目的娱乐内容。这些服务中的许多服务依靠广告收入模式，使得伴随着信息或娱乐内容，广告主刊登付费广告。进一步，其他互联网能够实现的服务，例如从电子邮件服务到拍卖服务到信息服务，包括广告来获得收益。
[0003]由于越来越接受通过网络提供信息和娱乐内容，以及通过网络刊登广告有重大成本，广告主已经开始更小心地管理他们的广告内容和相关的广告活动成本。广告主对他们的在线广告的效力很感兴趣，例如，特别是视频广告，这样他们可以评估他们投资收益。如果具有投资收益，广告主很可能会增加在线广告的开销总额。因此，广告主聚焦于基于网络的广告活动对消费群中的成员的影响和通过网络提供广告是否建立了良好的印象，是否加快建立广告品牌，关于这个调查是至关重要的。
[0004]万维网通常有利于实施调查，将其与通过互联网同时提供广告相关联，并且快速且低价地收集响应作为调查数据。例如，共同转让的共同未决的2009年5月28日递交的名称为“SYSTEM AND METHOD FOR AUTOMATED ONLINE SURVEY”的美国专利申请N0.12/455, 314涉及调查网站观众群体的具体特征，例如人口统计和心理统计，这帮助网站所有者和广告主优化广告，该美国专利申请的全部内容通过弓I用并入本文。
[0005]通常，广告出现在网页上或者结合其他内容(例如新闻、体育、或者娱乐或者其他基于网络的服务，例如邮件)提供。通过非限制性示例，广告可以作为图像、或者没有声音的视频、或者结合音频内容的视频提供。广告可以在非广告内容前面提供(前置式广告)、在非广告内容期间提供(中置式广告)、或者在非广告内容后面提供(后置式广告)。如果广告在非广告内容期间提供，则该广告可以在该非广告内容的中断期间提供或者与非广告内容同时提供。如果广告与非广告内容同时提供，则广告可以作为叠加在非广告内容上的图像或者视频流来提供。
[0006]调查可以与通过网络提供的内容关联。在预定的时间，通常在提供非广告内容和广告之前，调查被发送给观看者/调查对象。然而，连同调查过程遇到了多种问题，通常可以归为:(1)无响应的调查数据；和(2)错误的调查数据。无响应的调查数据是其中被调查的人没能响应调查的调查结果。错误的调查数据是其中被调查的人利用一个或多个不真实的答案来响应的调查结果。
[0007]广告主的挑战是确定这样的无响应的调查数据和错误的调查数据使从调查中获得的结果产生偏差的程度。不考虑通过无响应的调查数据和错误的调查数据引入调查结果中的偏差，调查数据是不可靠的。因此，需要用于确定是否存在无响应的调查数据和错误的调查数据并且适当计算通过无响应的调查数据和错误的调查数据引入调查数据中的偏差的系统和方法。
[0008]对于本领域的技术人员而言，通过阅读下面的说明书和研究附图，现有技术的这些和其他缺陷将变得清楚。


【发明内容】

[0009]根据示例性实施方式的系统和方法评估在整体调查结果上未响应的调查数据和错误的调查数据的偏差，并且其后基于偏差评估统计地校正整体调查。本文公开的实施方式涉及调查、普查等以及执行其的方案，包括使用在线问卷调查。
[0010]通过示例而非限制的方式提出的某些实施方式，涉及调查观看在网站访问的媒体流的人群，来得到他们的回应。与其他内容，例如视频娱乐(例如，电影)、新闻、体育、或者其他信息内容或者商标相关联的广告的好的或不好的印象，可以是调查的主题。
[0011]通过举例的方式，但不是通过限制的方式，一个实施方式提供一种通过校正在调查结果中由于未响应的调查响应数据和/或错误的调查响应数据产生的偏差、评估未响应的调查数据或者错误的调查数据对调查结果的影响、相应地分析调查结果，来校正在线调查结果。在这个非限制性示例中，通过基于未响应的调查数据和/或错误的调查数据统计地校正调查结果，可以获取内容(例如，广告)的观看者的印象的更精确的评估，这评估可以被广告主采用来测量他们广告的有效性、广告成本效益、品牌接受度等。
[0012]通过示例而非限制的方式提出的多种实施方式，利用优于现有技术的重要改进以确定未响应的调查和错误的调查数据对整体调查结果的影响，来解决上述难题。描述用于对人们执行调查或者普查的示例性系统和方法，包括用于执行在线调查和普查的方案，征集人们的响应以将信息提供给调查或者普查的主办方。例如，调查观看媒体的人以得到对媒体内容的反应，媒体例如为网站上的一个或者多个页面或者在网站上访问的流式传输的媒体。结合其他内容提供的广告的良好的印象和不好的印象可以为调查的示例性主题，该其他内容例如为通过网络(诸如因特网)提供的视频娱乐(例如，电影)、新闻、体育或者其他信息内容。
[0013]通过示例而非限制的方式提出的实施方式提供一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中的未响应的调查偏差的系统，包括:采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者；调查引擎，所述调查引擎包括能够被计算机系统执行以接收包括观看者对调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，分析引擎包括指令，该指令在调查完成后能够被所述计算机系统执行，以分析调查响应数据从而确定调查响应数据的平均值、方差和标准差，并且在响应的观看者中分析方差和标准差来推断未响应的调查偏差。
[0014]另一示例性实施方式提供一种用于确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中的未响应的调查偏差的方法，包括:进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者；接收包括观看者对调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中。在调查完成后，使用处理器来获取调查响应数据，使用处理器确定调查响应数据的平均值、方差和标准差；并且使用处理器在响应的观看者中分析方差和标准差来推断未响应的调查偏差。如果方差和标准差示出响应中的趋势在正方向上远离平均值，则未响应的调查偏差确定为正偏差，如果方差和标准差示出响应中的趋势在负方向上远离平均值，则未响应调查偏差确定为负偏差。
[0015]另一示例性实施方式提供一种校正关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的系统，包括:采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计多个观看者知道答案的问题组成；调查引擎，所述调查引擎包括能够被计算机系统执行以接收包括观看者对调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，分析引擎包括指令，该指令在调查完成后能够被所述计算机系统执行，以分析调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复，并且选择性地舍弃包括错误答复的调查数据。
[0016]另一示例性实施方式提供一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的方法，包括:进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计多个观看者知道答案的问题组成；接收包括观看者对调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中；在调查完成后，使用处理器获取调查响应数据；以及使用处理器分析调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复，并且选择性地舍弃包括错误答复的调查数据。
[0017]多种示例性实施方式确定在调查结果中由于未响应的调查响应数据和/或错误的调查响应数据产生的偏差、评估通过未响应的调查数据和/或错误的调查数据所引入的偏差对调查结果的影响、相应地分析调查结果，且基于由于未响应的调查数据和/或错误的调查数据所引起的偏差统计地校正调查结果，来提供对被调查的人群观看的内容(例如，广告)的观看者的印象的更精确的评估。优选地，一个示例性实施方式由在至少一个计算机系统上执行的全自动化软件应用程序和方法来实现。
[0018]有利地，校正的调查结果可以被广告主利用来测量他们的广告的有效性、广告的成本效益、品牌接受度等。校正的调查结果允许广告主改变广告以更好地推广产品或者服务，并且使广告主能够提高广告活动成功的可能性和活动的成本效率，来从根本上改变广告主分析在线调查结果以调整他们的广告策略的方式。
[0019]对于本领域的技术人员而言，在阅读如下的说明书和研究附图后，上述和其它示例性实施方式、特征、和优点将变得清楚。

【专利附图】

【附图说明】
[0020]现将参照附图描述多个示例性实施方式，其中，类似的组件提供有类似的附图标记。这些示例性实施方式旨在说明本发明而非限制本发明。在附图中:
[0021]图1为用于实现根据一个示例性实施方式的系统的计算机系统的框图；
[0022]图2为用于实现根据另一示例性实施方式的系统的替选计算机系统的框图；
[0023]图3是示出根据系统的一个示例性实施方式的用于分析在线调查结果的调查环境的示例性实施方式的框图；
[0024]图4示出包括在根据示例性实施方式创建的调查中的代表性问题的示例；
[0025]图5为示出用于生成一组调查问题的示例性过程的流程图；
[0026]图6为示出用于进行调查的示例性过程的流程图；
[0027]图7为示出根据本发明的确定在线调查结果中由于未响应的调查数据所引起的偏差的方法的示例性实施方式的流程图；
[0028]图8为示出根据本发明的确定在线调查结果中由于错误的调查数据所引起的偏差的方法的示例性实施方式的流程图。

【具体实施方式】
[0029]多种示例性实施方式提供这样的系统和方法:基于校正在调查结果或普查结果中由于对调查或普查无响应和/或错误的数据引起的偏差，统计地校正在线调查结果或者普查结果。例如，这些在帮助广告主提高广告活动成功的可能性和广告的成本效益方面可以是有价值的。
[0030]示例性实施方式提供了用于评估由于无响应的调查数据引起的偏差所影响的在线调查结果的在线调查的方案。其他示例性实施方式提供了用于评估由于错误的调查数据引起的偏差所影响的在线调查结果的在线调查的方案。示例性实施方式提供了统计地校正由于人(例如广告的观看者)经受调查时对调查无响应和/或错误的调查数据而引起的偏差所影响的在线调查。可以通过各种系统、方法和计算机指令来实现各种方面，该计算机指令存储在计算机可读介质上或存储在计算机可读介质内并且能够被处理器执行以实现所需的调查以及统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所引起的调查结果。
[0031]多种示例性实施方式尤其适用于计算机实现的基于软件的系统和方法，来提供统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果，在该上下文中，多种示例性实施方式将会予以描述。然而，应当理解，根据本发明的用于提供统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差造成的调查结果的方法和系统有更大的效用，这是因为它们可以在硬件中或者软件和硬件的结合中实现，以及也可以包含本文中没有描述的其他模块或者功能。
[0032]现在，参考附图，图1是示出根据在个人计算机12上实现的一个示例性实施方式的用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的计算机系统10的示例的框图。具体的，个人计算机12可以包括显示单元14、处理单兀16、和一个或者多个输入/输出设备18,输入/输出设备18允许用户与个人计算机12执行的软件应用程序交互。在所说明的示例中，输入/输出设备18可以包括键盘20和鼠标22，但是也可以包括其他外围设备，例如打印机，扫描仪等。处理单元16还可以包括中心处理单元(CPU) 24、持久性存储设备26 (例如硬盘)、和存储器28。CPU24可以控制持久性存储设备26和存储器28。
[0033]软件应用程序可以存储在持久性存储设备26中，并且当软件应用程序要被CPU24执行时该软件应用程序可以被下载到存储器28。在所示出的示例中，用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30可以下载到存储器28。用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30可以实现为被CPU24执行的一个或者多个模块。处理单元16可以与因特网32连接。
[0034]根据其他各种设想的示例性实施方式，计算机系统10也可以使用硬件来实现，或者可以实现在不同类型的计算机系统上，例如客户端/服务器系统、网络服务器、大型计算机、工作站等。因此，根据另一个示例性实施方式，各种示例性实施方式可以通过托管网络服务器来实现。图2中示出使用托管网络服务器的系统，通常由附图标记1801表示。优选地,系统1801包括由个人计算机1802访问的基于网络的应用程序，如图2所示。例如，个人计算机1802可以是在微软、苹果、Unix或者其他操作系统下运行的且提供有包括网络浏览器的图形用户界面的个人计算机。在其他示例性实施方式中，个人计算机1802可以被连接因特网的设备(例如平板电脑、智能手机、或者互联网电视)代替。
[0035]个人计算机1802可以与网络1807连接。例如，网络1807可以使用因特网连接实现。在系统1801的一个实现方式中，个人计算机1802可以移植到因特网，并且由网络服务器1803代管。优选地，系统1801的图形用户界面显示在连接至个人计算机1802的监控器1804上。鼠标1806被提供用于包括系统1801的图形用户界面的屏幕或窗口之间的鼠标驱动的导航。优选地，个人计算机1802还连接至键盘1808。鼠标1806和键盘1808使用户能够利用系统1801来执行用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30，该鼠标1806和键盘1808可以位于网络服务器1803上。系统1801也可以包括与个人计算机1802连接的打印机1809来提供调查结果的硬拷件。
[0036]根据该系统的多种示例性实施方式，提供了统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。使用在线调查数据确定由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的统计的校正。关于使用支持网络的设备(例如计算机、平板电脑、PDA、网络电视、诸如蜂窝电话的移动设备(例如，智能手机)等，通过网络提供给人们的广告，将通过示例而非限制的方式描述根据本发明的示例性实施方式。
[0037]图3是示出调查环境100的框图。在所示出的示例中，在线调查系统102可以与应用程序30 —体或设置成结合应用程序30，应用程序30用于分析调查数据和用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。在线调查系统102包括站点管理器110、采样引擎112和调查引擎114，该调查引擎114连接至包括分析引擎116及分析仪表板118的应用程序30，该应用程序30用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。在一个示例性实施方式中，部件110-118实现为计算机程序指令，该计算机程序指令在包括在一个或多个计算机(诸如图1示出的计算机系统10和/或图2示出的网络服务器1803)中的一个或多个处理器上执行。部件可以实现为同一进程/程序的不同的线程或者实现为不同的进程/程序。在不同的示例性实施方式中，一个或者多个部件可以组合，部件的功能可以混合。在一个示例性实施方式中，部件可以共同提供基于网络的“软件即服务”(SaaS)，在线调查系统的用户可以与该“软件即服务”交互，该用户包括各方，例如有兴趣调查在某些网站访问的媒体的观看者的网站所有者(通常称为网站所有者)104、带有支持网络的设备的观看者106、及对调查结果感兴趣的各方(通常称为广告购买者或广告买家)108。在线调查SaaS生成调查，且处理、分析并呈现调查数据。
[0038]站点管理器110允许网站所有者104注册或者提供调查服务和提供信息给广告购买者。在一些示例性实施方式中，网站所有者104可以提供广告，并且因此也等同于广告购买者108。在一些示例性实施方式中，网站所有者104提供与待被调查的观看者106所访问的任何网站相关联的URL (全球资源定位器，Universal Resource Locator)。网站可以是顶级网站或者子网站。如下面将更详细地描述，关于通过网站将介质提供至多个观看者106生成一个或者多个调查。调查信息存储在数据存储器120中。
[0039]多个观看者106中的所有或者一部分可以被选择来进行调查。在一些示例性实施方式中，当观看者在网站上被提供包括广告的内容或浏览页面时，观看者106的网络浏览器发送请求给采样引擎112。在其它示例性实施方式中，在接收到请求时，采样引擎112控制是否邀请观看者106参加调查。在一些示例性实施方式中，邀请观看者106参加调查可以基于一个或者多个因素，包括:例如，网站点击率、页面点击率、之前的参与接受率、到调查结束所剩的时间、完成调查还需要的样本数量、统计要求等。如果采样引擎112确定邀请应该提供给观看者 106，则以横幅、内容层、弹出窗口等形式向观看者提供可视化调查，来确定观看者是否愿意加入调查。如果观看者106做出肯定的响应，则调查引擎114从数据存储器120中获取调查，并将该调查通过浏览器提供给观看者，或者可以将观看者导向至调查引擎创建的调查页面。
[0040]调查引擎114使调查问题显示，收集调查结果，并且将调查结果存储在数据存储器120中。分析引擎116分析调查结果，如下面更详细地描述。分析仪表板118视觉上显示调查结果，使得调查结果可以被感兴趣的各方(例如网站所有者104和广告购买者108)观看，来了解从观看者106获取的调查结果。
[0041]通常，调查通过网站创建和存储以用于提供调查。如下面更详细地描述，在一些示例性实施方式中，调查可以被网站所有者104创建。在其他示例中，调查可以被广告购买者108创建。在一些示例性实施方式中，网站所有者104和/或广告购买者108可以包括调查问题，该调查问题来自选自存储在数据库中的问题的、数据存储器120中的待用于调查的问题中的一组预定的问题。可选地，在一些示例性实施方式中，网站所有者104和/或广告购买者108可以自己添加额外的问题。在一些示例性实施方式中，某些调查问题可以自动包括在调查中。调查提供给选自多个观看者106的可能的调查参与者。在一些示例性实施方式中，进行随机选择以减少所选择的样本中的偏差。在一些不例性实施方式中，选择包括对照组的观看者106。
[0042]一旦调查生成，则网站所有者104可以指定脚本标签(例如，〈scriptsrc= “http://static.domainname, com/start.js?id=23a878527a” >〈/script),该脚本标签包括与提供给观看者的具有待被调查的目标广告的内容或在网站上的具有待被调查的目标广告的页面相关的唯一标识符。网站所有者104随后可以指示网站准备好开始调查。因此，每当包含广告的内容或在网站上的包括广告的页面被下载到观看者的浏览器中时，脚本标签使得观看者的浏览器发送请求给采样引擎112，该采样引擎112选择性地招募观看者来参加调查。系统102重复将调查呈现给可能的调查参与者直到大量的观看者106的样本已参与调查。
[0043]图4是示出调查问题的示例的框图。在一些示例性实施方式中，调查问题可以用于收集关于观看者106的人口统计信息(例如，不易改变的性格特征)和关于观看者的心理信息(例如，偏好、兴趣和嗜好)。在一些示例性实施方式中，一组或多组涉及一般信息(诸如观看者的人口统计信息和/或心理信息)的默认问题(例如，“核心”问题和“产品购买”问题)也可以包括在调查中。此外，在一些示例性实施方式中，网站所有者104或广告购买者108可以选择将某些自定义问题包括在调查中。
[0044]图5是示出用于对调查问题进行排序的非限制性示例的流程图500。在这个非限制性示例中，称为“核心前缀”问题502的问题可以放置在调查的开始。这些问题被认为是基础的和直接的，涉及例如年龄、性别、地理位置、因特网使用等。广告特定问题可以放置在核心前缀问题之后。在广告特定问题中，较容易的问题504(例如对同一产品类别中的不同产品或同一服务类别中的不同服的偏好)可以放置在更具挑战性的问题506 (例如产品购买习惯和计划)之前。可选的自定义问题508可以加在类别特定的问题之后。最难/敏感的问题510 (例如收入和观看者106所写的反馈/建议)(在该示例中，称为“核心后缀”)可以放在调查的最后。答案通常已知的一般问题512也可以包括在调查中，如下面将更详细地描述。在另一示例中，调查可以仅问一个问题。
[0045]图6是示出用于执行调查的过程的示例的流程图。可以在诸如系统100上执行过程600。在这个示例中，过程600开始于601，在601处，创建调查，如上所述。在602，使用统计技术确定关于通过网站提供的广告的调查目标。调查目标反映实现具有特定的置信区间的特定的误差范围所需的调查的数量。例如，为了实现置信区间为95%的误差范围±5%，每月提供广告给一百万观看者106的网站将需要来自该月的观看者中的约400名随机采样的调查响应者。在603，网站发起调查。
[0046]在604，来自观看者106的请求被接收。如前面所述，在一些示例性实施方式中，网站所有者104将脚本标签嵌入到所提供的内容中或者观看者106访问的网页上。因此，当观看者的浏览器在网站上下载内容或者网页时，可以发送请求给在线调查系统102。在605,确定是否应当将参加调查的提议提供给观看者106。在一些示例性实施方式中，参加调查的提议提供给所有观看者106。在一些示例性实施方式中，参加调查的提议仅提供给多个观看者中的一部分或者一定的百分比的观看者。例如，通过将对于观看者106生成的随机数在预定的数量范围内作为提供观看者参与调查的机会的条件，可以确定观看者中的该部分。通过进一步举例的方式，通过相比于预定的数量追踪自提议最后一次提供以来的访问次数，以确定是否将提议提供给观看者106，可以确定该部分。通过另一个示例，百分比可以被计算为完成率，该完成率等于迄今完成的调查的数量与调查提议的数量之比，并且可以包括基于初始的小的完成数量(例如，3-5个完成的调查)和对应的初始的调查提议数量计算的初始完成率。
[0047]如果没有选择观看者106并且没有提议要提供，则控制返回到605来等待在604的另一个请求；否则，调查提议提供给观看者106，在606，确定调查提议是否被观看者接受。如果所选择的观看者106没有接受调查提议，控制返回到604来等待另一调查请求。如果观看者106接受，则在608，调查问题在观看者的浏览器中按适当排列的顺序呈现给观看者，并且记录对调查问题的响应。可选地，在610，捕获额外的响应特征。
[0048]本文中使用的响应特征指的是与调查对象而不是对调查响应上下文相关的特征。响应特征的示例包括调查的时间、浏览器类型、浏览器所用的语言、页面上下文信息(例如观看者参照的URL，所参照的URL中的关键词)、操作系统、屏幕尺寸、网络位置、地理位置坐寸ο
[0049]在612，结果(包括调查响应和响应特征)存储在数据存储器120中。在614，确定是否已获得目标样本。如果是，在616，过程600结束；否则，控制返回604以等待来自观看者106的另一请求，直到代表性数量的观看者已完成调查，以实现目标样本。
[0050]一旦大量的观看者106已完成调查，则可以提供对于抽样人口的累积调查结果。调查结果也可以通过多种方法进行分类和分析。例如，分析仪表板118可以基于对调查问题的回答将调查响应者的简介的细目提供给网站所有者104和/或广告购买者108，该细目例如为基于性别、年龄、种族、职业、收入、地理位置、购买习惯、购买意向或者其他调查响应的细目。此外，分析仪表板118可以基于响应特征提供调查信息细目，该响应特征例如时间、网页上下文、浏览器种类、操作系统、地理位置、或涉及的网站，例如博客或者搜索引擎或者其他目录。然而，如果未响应者的比例高或者调查结果包括错误的调查数据，则调查结果通常是有偏差的。
[0051]基于经验数据，对这样的调查的未响应是高的，约90%到95%，并且可能高达99%。就是说，预计在一百名观看者中能够有约一个观看者响应这样的调查。因此，至关重要的是，评估对于多个数观看者106中的作出响应的百分之一的观察者的调查结果，以确定未响应的调查偏差，因为在调查结果中由于未响应的调查偏差导致的任何偏离会影响调查结果O
[0052]根据一个示例性实施方式，用于确定未响应的调查偏差的方法可以基于初始调查结果执行。如图7所示的过程流程图所示，在图6所示的616完成调查后，在702开始未响应的调查偏差确定方法700。在704，获取存储在处理器可读存储介质(例如数据存储器120)的调查响应数据。在706，包括分析引擎116的处理器可执行的样本分析模块分析调查响应，以确定响应的数目。通过采样引擎112追踪提供有调查的观看者106的总数并且将该总数存储在数据存储器120中。在708，样本分析模块通过将对调查响应的数量除以提供有调查的观看者总数，来确定响应于调查的观看者106的百分比。
[0053]如上所述，响应的数量需要实现非常准确的调查目标；就是说，如果响应调查的观看者106的百分比低于预定的阈值百分比，样本可以被认为是太小而易受统计分析影响。在一个示例性实现方式中，预定的阈值百分比可以基于实现具有特定的置信区间的特定的误差范围所需的调查目标。例如，为了实现置信区间为95%的误差范围±5%，每月提供广告给一百万观看者的网站将需要来自该月的观看者中的约400名随机采样的调查响应者。并且，响应的百分比确定每个响应在统计分析中的权重；就是说，响应的百分比越低，每个响应在统计分析中所占的权重越大，且由于无响应的调查数据而使整体调查结果偏差也越多，例如，如果少数响应的观看者106中的大部分的印象不是良好的，则结论将是在利用未响应的观看者培养良好的印象方面广告可能不成功，因为广告没有与未响应的观看者产生共鸣并且他们选择不去完成调查，这要么因为他们没有理解广告内容并且没有感到有资格回复调查问题，要么因为他们不想花费时间回答关于起初没有吸引他们的广告的问题。本领域技术人员也熟悉其他确定响应调查的百分比的原因。
[0054]在一个优选实现方式中，多个观看者106中的一部分组成对照组。对照组中的观看者106的识别是通过在对照组中的观看者106所使用的观看设备上的用户ID或者“跟踪记录标记(cookie)”，相对地，没有通过用户ID或者跟踪cookie识别为对照组中的观看者的观看者在下文为了方便将称为“测试组”。此后，在测试组内的多个观看者106可以基于他们的观看设备上的用户ID或者跟踪cookie被识别为测试组中的观看者。在710，样本分析模块将来自测试组中的观看者106的调查结果和来自对照组中的观看者106的调查结果分类。
[0055]在712，包括分析引擎116的统计分析模块获取从两组中得到的调查数据，以确定对照组的平均响应和测试组的平均响应，并且比较来自测试组中的观看者106的平均响应和来自对照组中的观看者的平均响应，从而确定调查数据的一致性。通过非限制性示例的方式，可以比较响应于一般问题“您喜欢广告吗？是/否。”的调查数据。如果测试组中的大多数观看者106和对照组中的大多数观看者回答“是”，那么调查结果被认为是一致的，并且平均响应是“良好的”。
[0056]统计分析模块也可以分析关于某些调查问题的调查结果中的标准差。通过非限制性示例的方式，统计分析模块可以分析从测试组和对照组中的观看者106获取的对问题“下次我购买手机时，我会考虑做广告的手机？强烈不同意[I]/不同意[2]/不确定[3]/同意[4]/非常同意[5]”的调查数据。可以通过将对应于响应的所有数(例如，“ 1”、“2”、…“5”)求和并且除以响应的数量，并且将平均值基于原始结果或者可选地将结果四舍舍入到最接近的整数，来确定平均值。
[0057]然后，统计分析模块可以根据多个观看者106响应于调查的调查结果确定该广告关于帮助未来的购买决策有什么影响。例如，如果多个观看者106中大部分响应“同意”(例如，“同意”被确定是平均值)，通过评估除了 “同意”以外的响应，调查结果可以被分析来确定来自多个观看者的响应的方差，并且统计分析模块随后可以基于观看者的响应的方差，来确定标准差，以评估剩余的观看者是趋于“不确定”或趋于“非常同意”。
[0058]在这个非限制性示例中，分析可以基于标准统计分析。在统计和概率论中标准差(由符号σ表示)示出自平均数(平均值或者期望值)存在的变差或者“离差”的程度。低标准偏差表示数据点趋于非常接近于平均值；高标准偏差表示数据点分布在较大的值的范围内。随机变量、统计总体、数据集或者概率分布的标准差是其方差的平方根。
[0059]可以在响应的观看者106中确定方差和标准差，来评估由于对调查未响应所引起的偏差。就是说，标准差可以推断正偏差或者负偏差。例如，如果方差和标准差不出响应中的趋势朝向“非常同意”远离“同意”，则未响应的调查偏差被确定为正偏差。相反，如果方差和标准差示出响应中的趋势朝向“不确定”远离“同意”，则未响应的调查偏差被确定为负偏差。
[0060]在716，基于分析的结果，包括分析仪表板118的数据搜集和汇总模块可以创建报告，该报告包括测试组中的原始数据和来自多个观看者106的调查数据的关于平均响应的分析结果、自该平均响应的标准差、和基于观看者106的响应确定未响应的调查偏差、以及对于对照组中的多个观看者的原始数据以及分析结果。如果在718没有发起验证，过程在720结束。
[0061]在一些示例性实施方式中，统计分析模块也可以比较测试组的标准差的结果和对照组的标准差的结果，来确定结果是否相似。因此，可以期望重新调查以获得来自没有参加初始调查的观看者106的调查数据，如下面更详细地描述。
[0062]统计分析模块也可以分析问题“做广告的产品的品牌是什么？苹果iPhone/摩托罗拉Razor/三星Galaxy/不记得”的结果来验证来自多个观看者106的响应,和确定广告是否产生品牌认知。如果多个观看者106在其响应中识别出正确的品牌，则这强化了关于他们对考虑购买产品的响应的问题的响应。另一方面，如果多个观看者106的响应包括“非常同意”和“不记得”，则这会引起对调查数据的质疑。对来自对照组中的多个观看者106的相应响应的检查也可以作为对关于测试组的呈现为值得怀疑的调查结果的双重检查。然而，如果来自测试组和对照组的结果相似，则统计分析模块可以确定广告未能创建品牌认知或未能提闻品牌认知。
[0063]根据另一个示例性实施方式，未响应的调查偏差的确定可以作为两阶段过程执行。第一阶段与上面描述的相同。第二阶段是通过将控制返回到图6中所示的603，重新调查多个观看者106，最初通过因特网将广告提供给该多个观看者106但是该多个观看者未响应，并且使用来自包括测试组和对照组的多个观看者的初始响应和新的响应再次进行分析。
[0064]在一个示例性实施方式中，仅重新调查测试组中的没有响应的多个观看者106。可以通过跟踪cookie确定被重新调查的多个观看者106的身份。两阶段过程具有如下的额外的优势:使系统分析模块能够确定初始调查的调查结果和重新调查的调查结果的一致性。然后，来自重新调查的调查数据和初始调查数据相结合，并且进行如上所述的分析，以评估由于对初始调查未响应而引起的偏差。
[0065]本领域的技术人员应当理解，测试组和对照组中的多个观看者106的识别需要允许那些观看者使用用户ID。此外，本领域的技术人员也明白跟踪cookie通常维持限定量的时间，例如，30天，使得重新调查必须在删除跟踪cookie之前的指定的时段内发生。
[0066]通过示例而非限制的方式提出下列两阶段过程。通过这个非限制性示例，调查问题是“下次我购买手机时，我会考虑做广告的手机？强烈不同意[I]/不同意[2]/不确定
[3]/同意[4]/非常同意[5]”。例如，如上面所述，如果测试组的大多数响应“同意”且从测试组中的观看者106中的响应的方差计算出的标准差倾向“非常同意”，而不是倾向“不确定”，则可以通过将控制返回到图6中所示的603，重新调查测试组的未响应的观看者，以确定测试组中的没有响应的观看者中的倾向是否保持为“非常同意”，或者未响应的调查偏差是否与倾向于“非常同意”不同。在718，也可以进行重复调查以验证分析结果。
[0067]根据另一个示例性实施方式，可以执行确定调查结果中的错误响应以确定由于错误的调查数据所引起的偏差。错误响应的发生使得对从被调查的观看者106获得的调查数据提出质疑，并且能够使网站所有者104或者广告购买者108由于有效性值得怀疑而舍弃从这些观看者获取的调查结果。在一个示例中，基于经验数据，确定大约20%的调查响应包括错误数据。
[0068]为了确定来自观看者106的调查数据是否是错误的，在调查中包括预计多个观看者106知道答案的一个或多个问题。如果观看者106不正确地响应，例如，对通常已知答案的问题响应错误的答案，则可以舍弃对于该观看者的调查数据。
[0069]图8是用于确定调查结果中由于存在错误的数据而引起的偏差的过程800的示例性实施方式的流程图。在图6所示的616完成调查之后，在802，开始错误的调查偏差确定的方法800。在804，获取存储在处理器可读存储介质(如数据存储器120)中的调查响应数据。在806，包括分析引擎116的处理器可执行的样本分析模块检查对调查中包括的答案通常已知的一个或者多个问题的答复。通过非限制性示例，再次参考图4，在调查中可以包括一般问题，例如“哪位美国总统出现在5美元钞票上？华盛顿/杰弗逊/林肯/上述都不是”。如果观看者106响应“华盛顿”，例如，对通常已知答案“林肯”的问题响应错误答复，则在808，可以舍弃该观看者的调查数据。然后，在810，样本分析模块从总调查结果中减去舍弃的调查结果的数量，并且确定是否保留了统计学上显著数量的响应。如果没有，可以通过将控制返回到图6所示的603来重复调查；否则，在812，基于调查结果的分析结果，包括分析仪表板118的数据搜集和汇总模块可以创建包括原始数据和调查数据的分析结果的?艮告。
[0070]尽管已使用具体的术语和设备描述了多种实施方式，但是这样的描述仅是为了说明性目的。使用的词语是说明性词语而不是限制性词语。应当理解，不脱离本发明的说明书和附图支持的多种发明的精神或范围的基础上，本领域的普通技术人员可以进行改变和变型。此外，应当理解，各种其他实施方式的方面可以全部或者部分互换。例如，通过非限制性示例已描述了统计地校正由于未响应的调查数据和/或错误的调查数据所引入的偏差所引起的调查结果。然而，本文公开的多种原理更一般地适用，例如，与进行普查有关。因此，本发明意图依据本发明的真实精神和范围，在不存在限制和禁止的情况下解释权利要求书。
【权利要求】
1.一种校正关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于未响应于调查而引起的偏差的系统，包括: 采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者； 调查引擎，所述调查引擎包括能够被所述计算机系统执行以接收包括所述多个观看者对所述调查的响应的调查数据的指令； 数据存储器，所述数据存储器包括能够被所述计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及 分析引擎，所述分析引擎包括指令，所述指令在调查完成后能够被所述计算机系统执行，以分析所述调查响应数据从而确定所述调查响应数据的平均值、方差和标准差，并且在响应的观看者中分析所述方差和所述标准差来推断未响应的调查偏差。
2.如权利要求1所述的系统，还包括分析仪表板，所述分析仪表板包括被所述计算机系统执行以创建包括平均响应、自所述平均响应的标准差、和基于所述多个观看者的响应确定未响应的调查偏差的报告的指令。
3.一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的系统，包括: 采样引擎，所述采 样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计所述多个观看者知道答案的问题组成； 调查引擎，所述调查引擎包括能够被所述计算机系统执行以接收包括所述多个观看者对调查的响应的调查数据的指令； 数据存储器，所述数据存储器包括能够被所述计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及 分析引擎，所述分析引擎包括在调查完成后能够被所述计算机系统执行以分析所述调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复并且选择性地舍弃包括错误答复的调查数据的指令。
4.如权利要求3所述的系统，其中，包括错误答复的所述调查数据被舍弃，并且其中，所述分析引擎减去包括错误答复的所舍弃的调查响应的数目并且确定是否保留了统计学上显著数量的响应，并且其中，如果所保留的响应的数量在统计学上是不足的，则所述采样引擎重复调查。
5.如权利要求3所述的系统，还包括分析仪表板，所述分析仪表板包括被所述计算机系统执行以创建包括所述调查数据的报告的指令。
6.一种用于确定关于与被多个观看者所观看的媒体相关的的广告内容的调查结果中的未响应的调查偏差的方法，包括: 进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者； 接收包括所述多个观看者对所述调查的响应的调查数据； 将调查响应数据存储在处理器可读存储介质中；在所述调查完成后，使用处理器来获取所述调查响应数据； 使用所述处理器确定所述调查响应数据的平均值、方差、和标准差；以及 使用所述处理器在响应的观看者中分析所述方差和所述标准差以推断所述未响应的调查偏差。
7.如权利要求6所述的方法，还包括: 追踪提供有所述调查的观看者的总数，并且将所述总数存储在所述处理器可读存储介质中。
8.如权利要求6所述的方法，还包括: 分析所述调查响应数据以确定响应的数量。
9.如权利要求8所述的方法，还包括: 追踪提供有所述调查的观看者的总数，将所述总数存储在所述处理器可读存储介质中，通过将响应于调查的数量除以提供有所述调查的观看者的总数，来确定响应于所述调查的观看者的百分比，并且确定所述百分比是否至少等于预定的阈值百分比，使得来自所述多个观看者的所述调查结果构成能容许可靠的统计分析的足够的样本。
10.如权利要求6所述的方法，其中，所述多个观看者中的第一部分构成对照组，并且所述多个观看者中的第二部分构成测试组。
11.如权利要求10所述的方法，还包括通过第一部分观看者中的相应的观看者所使用的观看设备上的跟踪cookie，来识别所述对照组中的观看者。
12.如权利要求11所述的方法，其中，最初没有通过用户ID或者跟踪cookie识别为所述对照组中的观看者的观看者，随后基于在第二部分观看者中的相应的观看者所使用的观看设备上的用户ID或者跟踪cookie识别为所述测试组中的观看者。
13.如权利要求10所述的方法，还包括将来自所述测试组中的观看者的调查数据和来自所述对照组中的观看者的调查数据分类。
14.如权利要求13所述的方法，还包括获取从两组中得到的调查数据，以确定所述对照组的平均响应和所述测试组的平均响应，并且比较来自所述测试组中的多个观看者的平均响应和来自所述对照组中的所述观看者的平均响应，从而确定调查数据的一致性。
15.如权利要求6所述的方法，还包括创建报告，所述报告包括所述平均响应、自所述平均响应的标准差、和基于所述多个观看者的响应确定未响应的调查偏差。
16.如权利要求6所述的方法，还包括重新调查未响应的观看者以获取调查数据。
17.如权利要求6所述的方法，还包括分析所述调查数据以评估品牌认知度。
18.一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的方法，包括: 进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计所述多个观看者知道答案的问题组成； 接收包括所述多个观看者对调查的响应的调查数据； 将调查响应数据存储在处理器可读存储介质中； 在调查完成后，使用处理器获取所述调查响应数据；以及 使用所述处理器分析所述调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复，并且选择性地舍弃包括错误答复的调查数据。
19.如权利要求18所述的方法，其中，包括错误答复的所述调查数据被舍弃，并且所述方法还包括减去包括错误答复的所舍弃的调查响应的数目，确定是否保留了统计学上显著数量的响应，并且如果所保留的响应的数量在统计学上是不足的，则重复调查。
20.如权 利要求18所述的方法，还包括创建包括调查数据的报告。
【文档编号】G06Q30/02GK104050228SQ201410096316
【公开日】2014年9月17日 申请日期:2014年3月14日 优先权日:2013年3月14日
【发明者】阿亚潘·撒恩卡然, 哈利姆·达默尔吉, 维杰·考希克 申请人:优米有限公司