显示装置以及内容显示方法
【专利摘要】一种显示装置，能够反映出视听者的兴趣从而发挥更优良的广告效果。该显示装置具备：显示图像的显示部；对多个种类的内容进行切换并将其显示在显示部的显示控制部；以及对显示部所显示的内容的肯定度进行评价的内容评价部，该显示控制部根据肯定度来决定在显示部显示的内容。
【专利说明】显示装置以及内容显示方法
【技术领域】
[0001 ] 本发明涉及显示装置以及内容显示方法。
【背景技术】
[0002]近年来，数字标示(signnage)装置作为在店铺或者车站等公共场所用于面向非特定多数人进行广告/宣传的工具而知名。此类数字标示装置能够容易地变更广告/宣传的详情。因此，能够向视听者及时提供最新信息等，与历来的标示等相比，能够发挥更优异的广告效果(例如，专利文献1、2)。
[0003]专利文献1:特开2011-150221号公报
[0004]专利文献2:特开2012-128210号公报
[0005]然而，现有的数字标示装置所能进行的广告显示是，按照一定周期来显示预定详情的可谓单方性的广告/宣传方式，因此存在着不符合视听者的兴趣时难获效果的问题。
[0006]本发明的课题在于，反映视听者的兴趣从而发挥更优良的广告效果。
_7] 发明详情
[0008]为了解决以上的问题，本申请提供一种显示装置，其具备:显示部，显示图像；显示控制部，对多个种类的内容进行切换并显示在上述显示部；以及内容评价部，对针对上述显示部所显示的内容的肯定度进行评价，上述显示控制部根据上述肯定度来决定在上述显示部显示的内容。
[0009]本申请还提供一种内容显示方法，包括以下步骤:显示控制步骤，对多个种类的内容进行切换并显示在用于显示图像的显示部；内容评价步骤，对针对上述显示部所显示的内容的肯定度进行评价；以及内容决定步骤，根据上述肯定度来决定在上述显示部显示的内容。
[0010]根据本发明，能够反映视听者的兴趣从而发挥更优良的广告效果。
【专利附图】
【附图说明】
[0011]图1是表示第I实施方式所涉及的显示系统的概略结构的方框图。
[0012]图2是表示数字标示装置的功能性结构的方框图。
[0013]图3是表示数字标示装置的屏幕部的概略结构的正面图。
[0014]图4是表示数字标示装置的控制部的功能性结构的方框图。
[0015]图5是说明第I实施方式所涉及的显示控制处理的流程图。
[0016]图6是说明肯定度计算处理的流程图。
[0017]图7A是说明显示部所显示的广告的一个例子的图。
[0018]图7B是说明显示部所显示的广告的一个例子的图。
[0019]图7C是说明显示部所显示的广告的一个例子的图。
[0020]图7D是说明显示部所显示的广告的一个例子的图。
[0021]图8是说明第2实施方式所涉及的显示控制处理的流程图。
[0022]图9是说明广告的显示顺序的图。
[0023]图10是说明广告的显示顺序的图。
[0024]图1lA是说明显示部所显示的广告的一个例子的图。
[0025]图1lB是说明显示部所显示的广告的一个例子的图。
[0026]图1lC是说明显示部所显示的广告的一个例子的图。
[0027]图1lD是说明显示部所显示的广告的一个例子的图。
[0028]图12是说明第3实施方式所涉及的显示控制处理的流程图。
[0029]图13是说明广告的显示顺序的图。
[0030]图14是说明第4实施方式所涉及的显示控制处理的流程图。
[0031]图15是说明显示部所显示的广告的一个例子的图。
[0032]符号说明
[0033]2 数字标示装置(显示装置)
[0034]23 控制部
[0035]231显示控制单元
[0036]232脸部图像提取单元
[0037]233内容评价单元
[0038]30 摄像部
[0039]240 显示部
【具体实施方式】
[0040]以下，就用于实施本发明的最佳方式，参照附图进行说明。在此，以下所述的实施方式中包括为了实施本发明而优选的技术方面的各种限定，但这并不表示发明范围局限于以下的实施方式及其图示例。
[0041](第I实施方式)
[0042]图1是表示第I实施方式的显示系统的概略结构的方框图。显示系统I包括数字标示装置2和服务器装置5，数字标示装置2是本发明所涉及的显示装置，服务器装置5可通过网络N与数字标示装置2自由通信。服务器装置5例如是存储有数字标示装置2显示的广告数据等，并能够向数字标示装置2进行下载的结构。
[0043][数字标示装置]
[0044]图2是表示数字标示装置2的主控制结构的方框图。数字标示装置装置2具备投影部21和屏幕部22，投影部21照射出后述的广告等的图像的影像光，屏幕部22以其背面接受由投影部21照射的影像光并在其前面进行投影。
[0045]投影部21具备控制部23、投影仪24、存储部25以及通信部26，控制部23根据处理程序以及各种数据来控制各部分，投影仪24与控制部23连接，将从该控制部23输出的图像数据(包含动态图像以及静止图像的图像数据)变换成影像光，并向屏幕部22照射该影像光，存储部25存储处理程序以及各种数据，通信部26通过网络N与服务器装置5进行通信。
[0046]其次，关于屏幕部22进行说明。
[0047]图3是表示屏幕部22的概略结构的正面图。如图3所示，屏幕部22具备四边形的显示面板27和支撑该显示面板27的基座28。
[0048]显示面板27与影像光的照射方向大体正交，例如由丙烯板等一张透光板29形成。在透光板29的背面积层设置有背面投影用的薄膜屏幕，并且在薄膜屏幕的背面积层设置有薄膜状的菲涅尔透镜。从而，由该显示面板27和上述投影仪24构成显示部240 (参照图4)。
[0049]另外，在显示面板27的上部，例如设有摄像机等摄像部30。该摄像部30对与显示面板27相对的空间的影像进行实时拍摄，而生成图像数据。摄像部30具备摄像机和摄像控制部，该摄像机包括光学系统以及摄像元件，该摄像控制部控制摄像机，在此省略图示。上述摄像机可以使用可见光摄像机或者红外线摄像机。
[0050]摄像机的光学系统由多个透镜构成，焦点距离被固定在规定距离，拍摄边界深度变深。另外，该光学系统的光轴朝向能够对与显示面板27相对的人物的脸部进行拍摄的方向。
[0051]摄像兀件例如是CCD (Charge Coupled Device)或者 CMOS (ComplementaryMetal-Oxide Semiconductor)等图像传感器。在此,摄像元件将已通过了光学系统的光学像变换成二维的图像信号。
[0052]摄像控制部控制由摄像元件对特定被摄体进行的摄像。即，摄像控制部具备定时发生器和驱动器等，在此省略图示。并且，摄像控制部通过定时发生器、驱动器，使摄像元件扫描驱动，将接收到的光学像按照每个规定周期变换为二维的图像信号，并从该摄像元件的摄像区域按每I个画面的量读出帧图像，从而生成图像数据。
[0053]在基座28设置有按钮式的操作部32、扬声器等声音输出部33以及麦克等声音输入部34。
[0054]以图2所示，操作部32、声音输出部33、声音输入部34以及摄像部30与控制部23连接。
[0055]控制部23具备CPU和存储器，CPU通过执行各种程序来控制规定的运算以及各部分，存储器是执行程序时的工作区域(均未图示)。
[0056]另外，控制部23根据来自操作部32的操作信号，执行各种处理，必要时从存储部25中读出图像数据以及声音数据，执行投影仪24的显示控制以及声音输出部33的声音输出控制。
[0057]并且，控制部23将从摄像部30获得的图像数据以及从声音输入部34获得的声音数据存放到存储部25。
[0058]另外，控制部23根据来自操作部32的操作信号，控制通信部26，与服务器装置5进行通信。通过进行通信而获得的信息被存放到存储部25。
[0059][数字标示装置的显示控制处理]
[0060]在本实施方式，在数字标示装置2执行显示控制处理。
[0061]因此，在数字标示装置2中，如图2所示，在其存储部25中存放有用于进行显示控制处理的处理程序251，显示控制处理所需要的设定数据、图像数据、声音数据等各种数据被存放在存储部25内的数据存储部252。
[0062]并且，数字标示装置2的控制部23是所谓的计算机，通过执行上述显示控制处理的处理程序251，如图4所示，作为脸部图像提取单元231、内容评价单元232以及显示控制单元233起作用。
[0063]另外，在以下的说明中，摄像图像、脸部图像、显示图像、其他图像均以全部数字化来进行处理为前提。
[0064]脸部图像提取单元231从摄像部30的摄像图像中提取视听者的脸部图像。
[0065]内容评价单元232根据所提取的脸部图像，对作为显示部240所显示的种类的内容的广告进行评价。
[0066]显示控制单元233对多个种类的广告进行切换而显示在显示部240，并根据内容评价单元232的评价结果来决定在显示部240显示的内容。由此，根据视听者看到广告时的表情来对该广告进行评价，并根据评价结果，例如通过延长显示该广告或者切换成其他广告，从而能够决定所显示的广告。
[0067]关于上述各单元231至233，进一步进行补充说明。
[0068][脸部图像提取单元]
[0069]脸部图像提取单元231根据规定的算法，对从摄像部30取得的摄像图像进行脸部图像取得处理，以提取脸部图像。
[0070]该脸部图像提取单元231对从摄像部30取得的摄像图像，例如利用adaboost(自适应提升)算法来进行脸部图像的提取处理。
[0071]在adaboost算法中，使用对脸部图像的识别力弱的多个识别器(例如，识别正确率略高于0.5的程度)。这些识别器通过预先利用作为样本的脸部图像和非脸部图像进行学习，而对每个识别器设定有权重。
[0072]并且，脸部图像提取单元231通过由各识别器对摄像图像整体进行检索，并将从各识别器获得的分数(反映权重之后的分数)的合计为规定阈值以上的区域识别为脸部所在的区域。
[0073]上述识别器例如使用以黑白矩形区域及其配置来表现脸部的局部特征的被称为Haar-Like特征(哈尔特征)的多个模式图像。这些多个模式图像也通过利用脸部图像和非脸部图像进行的学习而在这里被加权。并且，根据各模式图像和摄像图像的检索区域的一致判定结果来计算该识别器的分数。
[0074]另外，作为用于提取脸部图像的检索区域，准备有多个尺寸，并且按这些尺寸的每个尺寸准备有识别器。即，以各种尺寸来进行脸部图像的检测，从而，不仅能取得摄像图像的摄像范围内的脸部图像的位置，还能取得脸部图像的尺寸。
[0075]另外，利用该脸部图像提取单元231提取脸部图像的方法仅表示一例，并不限定于上述处理，还可以利用其他众所周知的脸部图像提取手法。
[0076][内容评价单元]
[0077]内容评价单元232首先根据由脸部图像提取单元231提取的脸部图像来判定与多个种类的表情的哪种表情近似，由此进行脸部图像的表情识别。在本实施方式中，根据该脸部图像的表情识别结果，对显示部240显示的广告进行评价。
[0078]作为表情的种类，例如可举出快乐的脸部、高兴的脸部、幸福的脸部、平静的脸部以及和蔼的脸部等表现出肯定性感情的表情，或者悲哀的脸部、气愤的脸部以及厌恶的脸部等表现出否定性的感情的表情。但是并不限定于这些，还可以对更多或者更少的表情进行判定，另外，还可以对上述之外的其他表情进行判定。
[0079]该表情判定例如能够利用adaboost算法。
[0080]在此情况下，学习时，利用表示各种表情中的某一种表情的图像和其他表情的图像来生成多个识别器。另外，识别器的模式图像优选Haar-Like特征。由此，能够取得用于识别一种表情的多个识别器。
[0081]并且，与上述同样，关于其他所有的种类的表情，也按每种表情生成用于识别各表情的多个识别器。
[0082]在此，对上述各表情设定有评价值。关于肯定性感情，设定肯定性的值，S卩，正面评价值，关于否定性的感情，设定否定性的值，即，负面评价值。另外，评价值可以根据每个表情而不同，但也可以有评价值相同的多个表情。另外，取得评价值的手法属于例示，并不仅限于此，还可以使用评价表情的众所周知的其他方法。
[0083]另外，内容评价单元232对于按规定间隔被拍摄并被图像提取单元231提取的脸部图像，分别如上述那样求出评价值，并通过计算这些评价值的平均来求出基于表情识别的肯定度Pe，根据该肯定度Pe，对显示部240所显示的种类的广告进行评价。能够通过下述式(I)求出肯定度Pe。在此，“E”表示按规定间隔取得的评价值，“N”表示取得评价值的次数，即，表情识别次数。
[0084]肯定度Pe = ΣΕ/Ν......(I)
[0085]另外，内容评价单元232根据由脸部图像提取单元231提取的脸部图像，识别针对显示面板27的视线，并以识别出视线为条件，对脸部图像的表情进行评价。即，在未识别出视线的情况下，内容评价单元232不进行脸部图像的表情评价。
[0086]例如，根据脸部图像，将视听者的眼睛的内眼角设定为基准点、将虹膜设定为动点，并通过对它们的位置关系进行判定，能够进行针对显示面板27的视线的识别。在此，视线的识别方法并不限定于此，能够采用众所周知的种种方法。
[0087]另外，内容评价单元232根据由脸部图像提取单元231提取的脸部图像，进行针对显示面板27的视线的识别(检测)，并根据视线的识别结果，对显示部240所显示的种类的广告进行评价。在本实施方式中，内容评价单元232求出针对显示面板27的视线的识别时间和视线离开显示面板27的次数，并据此求出视线识别的肯定度P1。内容评价单元232根据该肯定度P1，对显示部240所显示的种类的广告进行评价。能够根据下述式(2)来求出肯定度P1。在此，“Ton”表示识别出针对显示面板27的视线的时间，“Nout”表示视线离开显示面板27的次数。
[0088]肯定度Pl = Ton*kl_Nout*k2......(2)
[0089]另外，在上述式⑵中，kl以及k2分别表示针对朝向显示面板27的视线的识别时间的系数、以及针对视线离开显示面板27的次数的系数。
[0090]在本实施方式中说明了根据针对显示面板27的视线的识别时间，对显示部240所显示的种类的广告进行评价的情况，但并不限定于视线的识别时间，还可以根据识别出视线的次数，对显示部240所显示的种类的广告进行评价。
[0091]内容评价单元232根据如上述求出的肯定度Pe以及肯定度Pl，求出对显示部240所显示的广告进行评价的肯定度P。具体是，能够根据下述式(3)求出肯定度P。
[0092]肯定度P =肯定度Pe+肯定度Pl.......(3)
[0093]另外，在此还可以对肯定度Pe及肯定度Pl分别进行加权。
[0094]在本实施方式中，通过上述方法求出了肯定度P，但是还可以像特开2013-051688号公报中记载的那样，根据视听者的脸部的朝向来求出肯定度P。
[0095][显示控制单元]
[0096]显示控制单元233进行对多个种类的广告进行切换并显示在显示部240的控制。
[0097]另外，显示控制单元233根据内容评价单元232的评价结果来决定在显示部240显示的广告。关于显示哪个广告，详情后述。
[0098]以下，关于由具有上述结构的数字标示装置2的控制部23执行的显示控制处理，参照图5进行说明。
[0099]首先，控制部23开始显示作为内容的广告(步骤S101)。具体是，例如，按每个规定时间(例如，10秒钟)对图7A至图7D所示的4个种类的广告进行切换并显示在显示部240。更具体是，按每个规定时间，按照图7A所示的“广告A-主”图像、图7B所示的“广告B-主”图像、图7C所示的“广告C-主”图像、图7D所示的“广告D-主”图像、图7A所示的“广告A-主”图像……的顺序切换显示。该显示控制与以下处理并行执行。
[0100]然后，控制部23使摄像部30对数字标示装置2的显示面板27的前方进行摄像(步骤 S102)。
[0101]控制部23执行脸部检测处理，即针对摄像图像进行脸部图像检测(步骤S103)。控制部23判定是否检测出了脸部图像(步骤S104)。控制部23在判定为检测出了脸部图像时(步骤S104:是)，使脸部图像提取单元231发挥功能，从摄像图像中提取脸部图像(步骤 S105)。
[0102]控制部23根据所提取的脸部图像，执行肯定度计算处理(步骤S106)。
[0103]在此，参照图6说明肯定度计算处理。
[0104]控制部23进行如上所述的视线识别处理，即识别针对显示面板27的视线(步骤S201)。接下来，控制部23如上所述根据视线识别结果计算基于视线识别的肯定度P1，并将其结果作为最新的肯定度P1，例如，更新存储于存储器(步骤S202)。
[0105]控制部23根据进行视线识别处理的结果判定是否识别出了针对显示面板27的视线(步骤S203)。在判定为识别出了视线的情况下(步骤S203:是)，控制部23使表情识别次数增加(步骤S204)，如上所述，执行对脸部图像的表情进行识别的表情识别处理(步骤 S205)。
[0106]控制部23，根据表情识别的结果来取得评价值，如上所述计算基于表情识别的肯定度Pe，并将其结果作为最新的肯定度Pe，例如，更新存储于存储器(步骤S206)。
[0107]另一方面，在步骤S203未判定为识别出了视线时(步骤S203:否)，控制部23不进行步骤S204至步骤S206的处理，而执行步骤S207的处理。
[0108]在步骤S207，控制部23根据如上所述求出的最新的肯定度Pe和肯定度P1，计算肯定度P (步骤S207)，并结束该处理。
[0109]返回图5的说明，在步骤S107，控制部23判定通过肯定度计算处理计算出的肯定度P是否超过规定的阈值th (步骤S107)。在判定为肯定度P超过阈值th时(步骤S107:是)，控制部23判定为视听者对显示部240当前正在显示的种类的广告有兴趣，并执行用于延长该广告的显示时间的显示延长处理(步骤S108)。延长显示的时间，例如为10秒钟，但并不限定于此。另一方面，在未判定为肯定度P超过阈值th时(步骤S107:否)，控制部23判定为视听者对显示部240当前正在显示的种类的广告没兴趣，并执行显示变更处理，即，将显示部240当前正在显示的种类的广告变更为其他种类的广告(步骤S109)。例如，在显示部240显示如图7A所示的“广告A-主”图像的情况下，变更成如图7B所示的“广告B-主”图像。另外，还可以随机选择变更后的广告。
[0110]控制部23对显示部240当前正在显示的种类的广告的显示时间进行累计，例如，对存储器中更新存储的显示时间进行累计处理(步骤S110)，并移到步骤S102的处理。通过这样，能够对显示部240按广告的每个种类进行显示的时间进行合计，例如能够将其用于营销(marketing)。
[0111]另外，在步骤S104未判定为检测出了脸部图像的情况下(步骤S104:否)，控制部23判定是否使广告显示结束(步骤S111)。具体是，例如，根据是否进行了规定的结束操作，来判定是否使广告显示结束。在未判定为使广告显示结束时(步骤Slll:否)，控制部23进入步骤S102。另一方面，在判定为使广告显示结束时(步骤Slll:是)，控制部23结束该处理。
[0112]如上所述，在第I实施方式中，由于是根据观看广告的视听者的表情，来延长显示部240所显示的广告显示或者变更广告详情，因此，能够反映视听者的兴趣从而发挥更优良的广告效果。另外，例如无需像通过向视听者显示选择项并根据视听者的选择来变更广告详情等的情况那样，由视听者进行选择动作，因此，即使在视听者对观看广告无积极兴趣的情况下，也能够发挥优良的广告效果。
[0113](第2实施方式)
[0114]以下，关于本发明的第2实施方式进行说明。在此，第2实施方式中采用的数字标示装置2的功能结构，与上述第I实施方式相同，因此省略说明。
[0115]关于第2实施方式所涉及的显示控制处理，参照图8进行说明。
[0116]首先，控制部23使摄像部30对数字标示装置2的显示面板27的前方进行摄像(步骤 S301)。
[0117]控制部23执行脸部检测处理，即，对摄像图像进行脸部图像的检测(步骤S302)。控制部23判定是否检测出了脸部图像(步骤S303)。在判定为检测出了脸部图像时(步骤S303为是)，控制部23开始显示作为内容的广告(步骤S304)。在此，例如，按每个规定时间对图7A至图7D所示的4个种类的广告进行切换，在显示部240进行概要显示。S卩，如图9所示，控制部23对“广告A-主”图像进行规定时间(例如，3秒钟)的显示(步骤S401)，对“广告B-主”图像进行规定时间的显示(步骤S402)，对“广告C-主”图像进行规定时间的显示(步骤S403)，对“广告D-主”图像进行规定时间的显示(步骤S404)，从而完成概要显示。
[0118]然后，控制部23使脸部图像提取单元231发挥功能，从摄像图像中提取脸部图像(步骤S305)，并执行上述肯定度计算处理(步骤S306)。
[0119]控制部23判定广告的概要显示是否完成了(步骤S307)。在未判定为概要显示已完成的情况下(步骤S307:否)，控制部23在进行了基于摄像部30的摄像之后(步骤S308)，进入步骤S305的处理。控制部23反复进行步骤S305至S308的处理，直到概要显示完成为止，并计算广告的每个种类的肯定度。
[0120]另一方面，在判定为广告的概要显示完成了时(步骤S307:是)，控制部23根据广告的每个种类的肯定度，执行用于决定广告详细内容的显示顺序的显示顺序决定处理(步骤S309)。具体是，控制部23决定显示顺序，以使广告的详细内容按照肯定度从高到底的顺序显示。并且，控制部23按照在步骤S309决定的显示顺序开始显示广告的详细内容(步骤S310)。例如，在计算出广告的每个种类的肯定度的结果是肯定度从高到低的顺序为广告A、广告D、广告B、广告C的情况下，最先显示作为广告A的详细显示的“广告A-子”图像，其次显示作为广告D的详细显示的“广告D-子”图像，然后显示作为广告B的详细显示的“广告B-子”图像，最后显示作为广告C的详细显示的“广告C-子”图像。在此，在“广告A-子”图像由4个图像构成、“广告B-子”图像由3个图像构成、“广告C-子”图像由5个图像构成、“广告D-子”图像由2个图像构成的情况下，如图10所示，控制部23最先分别按规定时间(例如，5秒钟)对“广告A-子I”图像至“广告A-子4”图像进行显示(步骤S501)，接下来，分别按规定时间对“广告D-子I”图像至“广告D-子2”图像进行显示(步骤S502)，然后，分别按规定时间对“广告B-子I”图像至“广告B-子3”图像进行显示(步骤S503)，然后，分别按规定时间对“广告C-子I”图像至“广告C-子5”图像进行显示(步骤S504)，反复进行该处理。在此，作为“广告A-子I”图像的一个例子，例如是图1lA所示的画像，作为“广告A-子2”图像的一个例子，例如是图1lB所示的图像，作为“广告A-子3”图像的一个例子，例如是图1lC所示的图像，作为“广告A-子4”图像的一个例子，例如是图1lD所示的图像。即，“广告A-子”图像分别是与图7A所示的“广告A-主”图像相关联的详细显示图像。“广告B-子”图像、“广告C-子”图像以及“广告D-子”图像也同样是具有分别与“广告B-主”图像、“广告C-主”图像以及“广告D-主”图像相关联的多个详细显示图像。
[0121]如上所述，在第2实施方式中，由于是根据观看广告的视听者的表情，决定在显示部240显示的广告的详细显示的显示顺序，因此，视听者能够按其感兴趣的顺序观看广告，并能够反映视听者的兴趣从而发挥更优良的广告效果。
[0122](第3实施方式)
[0123]以下，关于本发明的第3实施方式进行说明。在此，第3实施方式中采用的数字标示装置2的功能结构也与上述第I实施方式相同，因此省略说明。
[0124]关于第3实施方式所涉及的显示控制处理，参照图12进行说明。
[0125]首先，控制部23开始对作为内容的主剧本的广告进行显示(步骤S601)。具体是，例如，一边按每个规定时间(例如，10秒钟)对图7A至图7D的4种类的广告进行切换一边显示在显示部240。S卩，控制部23按每个规定时间，并按照图7A所示的“广告A-主”图像、图7B所示的“广告B-主”图像、图7C所示的“广告C-主”图像、图7D所示的“广告D-主”图像、图7A所示的“广告A-主”图像……的顺序进行切换显示。该显示控制与以下处理并行执行。
[0126]其次，控制部23使摄像部30对数字标示装置2的显示面板27的前方进行摄像(步骤 S602)。
[0127]控制部23执行脸部检测处理，即，对摄像图像进行脸部图像的检测(步骤S603)。控制部23判定是否检测出了脸部图像(步骤S604)。在判定为检测出了脸部图像的情况下(步骤S604:是)，控制部23使脸部图像提取单元231发挥功能，从摄像图像中提取脸部图像(步骤S605)，并根据提取的脸部图像来执行上述肯定度计算处理(步骤S606)。
[0128]控制部23判定通过肯定度计算处理计算出的肯定度P是否超过阈值th (步骤S107)。在判定为肯定度P超过阈值th时(步骤S607:是)，控制部23判定为视听者对显示部240当前正在显示的种类的广告有兴趣，并显示与该主剧本的广告相关联的子剧本的广告(步骤S608)。例如，在显示部240作为主剧本的广告显示“广告A-主”图像的情况下，判定为算出的肯定度P超过阈值th时,控制部23分别按规定时间(例如,5秒钟)对与“广告A-主”图像相关联的“广告A-子I”图像至“广告A-子4”图像进行切换显示。
[0129]然后，在由摄像部30进行了摄像之后(步骤S609)，控制部23移到步骤S605的处理。控制部23例如在显示“广告A-子”图像的情况下，在步骤S607，只要判定为肯定度P超过阈值th，就反复显示“广告A-子”图像。在子剧本的广告的显示结束之后，可以切换成主剧本的广告进行显示。
[0130]另外，在步骤S607未判定为肯定度P超过阈值th时(步骤S607:否)，控制部23判定为视听者对显示部240当前正在显示的种类的广告没兴趣，并移到步骤S601显示主剧本的广告。另外，在本实施方式中，以子剧本的广告都被显示了一遍为条件，可以在未判定为肯定度P超过阈值th的情况下移到主剧本，也可以在子剧本的广告的显示中未判定为肯定度P超过阈值th的情况下移到主剧本。
[0131]另外，在步骤S604未判定为检测出了脸部图像时(步骤S604:否)，控制部23判定是否使广告显示结束(步骤S610)。在未判定为使广告显示结束时(步骤S610:否)，控制部23移到步骤S602的处理。另一方面，在判定为使广告显示结束时(步骤S610:是)，控制部23结束该处理。
[0132]在本实施方式中，具有如上所述的结构，因此，例如可如下切换显示广告。
[0133]如图13所示，首先，控制部23以规定时间显示“广告A-主”图像(步骤S701)。此时，在判定为肯定度P超过阈值th时(步骤S702:是)，控制部23分别按规定时间对“广告A-子I”图像至“广告A-子4”图像进行显示(步骤S703)，只要肯定度P超过阈值th (步骤S704:是)，就反复显示“广告A-子”图像。
[0134]在步骤S702或者步骤S704未判定为肯定度P超过阈值th时(步骤S702:否，步骤S704:否)，控制部23按规定时间显示“广告B-主”图像(步骤S705)。此时，在判定为肯定度P超过阈值th时(步骤S706:是)，控制部23分别按规定时间对“广告B-子I”图像至“广告B-子3”图像进行显示(步骤S707)，只要肯定度P超过阈值th (步骤S708:是)，就反复显示“广告B-子”图像。
[0135]在步骤S706或者步骤S708未判定为肯定度P超过阈值th时(步骤S706:否，步骤S708:否)，控制部23按规定时间显示“广告C-主”图像(步骤S709)。此时，在判定为肯定度P超过阈值th时(步骤S710:是)，控制部23分别按规定时间对“广告C-子I”图像至“广告C-子5”图像进行显示(步骤S711)，只要肯定度P超过阈值th (步骤S712:是)，就反复显示“广告C-子”图像。
[0136]在步骤S710或者步骤S712未判定为肯定度P超过阈值th的情况下(步骤S710:否，步骤S712:否)，控制部23按规定时间显示“广告D-主”图像(步骤S713)。此时，在判定为肯定度P超过阈值th时(步骤S714:是)，控制部23分别按规定时间对“广告D-子I”图像至“广告D-子2”图像进行显示(步骤S715)，只要肯定度P超过阈值th (步骤S716:是)，就反复显示“广告D-子”图像。
[0137]在步骤S714或者步骤S716未判定为肯定度P超过阈值th的情况下(步骤S714:否，步骤S716:否)，控制部23移到步骤S701的处理。接下来反复进行这些处理。
[0138]如上所述，在第3实施方式中，能够根据观看广告的视听者的表情来判断视听者有兴趣的广告，并显示视听者有兴趣的广告的详细内容，因此，能够反映视听者的兴趣从而发挥更优良的广告效果。另外，无需由视听者进行选择所希望的广告的动作，因此能够发挥优良的广告效果，而不会给用户造成不便。
[0139](第4实施方式)
[0140]以下，关于本发明的第4实施方式进行说明。在此，第4实施方式中采用的数字标示装置2的功能结构也与上述第I实施方式相同，因此省略说明。
[0141]关于第4实施方式所涉及的显示控制处理，参照图14进行说明。第4实施方式与第I实施方式的不同之处在于，作为肯定度P的阈值，设定阈值thl以及比阈值thl小的阈值th2，并判定肯定度P超过哪个阈值，从而决定在显示部240显示的广告。另外，图14所示的显示控制处理中，步骤S801至步骤S806与图5所示的第I实施方式所涉及的显示控制处理的步骤SlOl至步骤S106相同，因此省略说明。
[0142]在步骤S807，控制部23判定通过肯定度计算处理计算出的肯定度P是否超过阈值thl (步骤S807)。即，控制部23判定肯定度P是否是第I肯定评价。在判定为肯定度P超过阈值thl时(步骤S807:是)，控制部23判定为视听者对显示部240当前正在显示的种类的广告非常有兴趣，并执行购买信息显示处理，显示与该广告相关的购买信息(步骤S808)。购买信息例如是图15所示的广告，例如表示该广告显示的商品的购买方法以及商品的陈列场所等。
[0143]另一方面，在未判定为肯定度P超过阈值thl时(步骤S807:否)，控制部23判定肯定度P是否超过阈值th2 (步骤S809)。即，控制部23判定肯定度P是否是第2肯定评价。在判定为肯定度P超过阈值th2时(步骤S809:是)，控制部23判定为视听者对显示部240当前正在显示的种类的广告稍有兴趣，并执行上述显示时间延长处理(步骤S810)。另一方面，在未判定为肯定度P超过阈值th2时(步骤S809:否)，控制部23判断为视听者对显示部240当前正在显示的种类的广告没有兴趣，并执行上述显示变更处理(步骤S811)。
[0144]然后，控制部23执行上述显示时间累计处理之后(步骤S812)，移到步骤S802的处理。
[0145]另外，在步骤S804未判定为检测出了脸部图像的情况下(步骤S804:否)，控制部23判定是否使广告显示结束(步骤S813)。在未判定为使广告显示结束的情况下(步骤S813:否)，控制部23移到步骤S802的处理。另一方面，在判定为使广告显示结束的情况下(步骤S813:是)，控制部23结束该处理。
[0146]如上所述，在第4实施方式中，根据观看广告的视听者的表情，显示与显示部240所显示的广告相关联的详细信息，或者延长显示正在显示的广告，或者变更广告详情等，因此能够根据视听者感兴趣的程度来进行显示，从而能够发挥高的广告效果。
[0147]如上所述，根据第I至第4实施方式，显示部240显示图像。控制部23对多个种类的广告进行切换并显示在显示部240。控制部23对针对显示部240所显示的广告的肯定度进行评价。控制部23根据肯定度来决定在显示部240显示的广告。其结果，能够反映视听者的兴趣，从而发挥更优良的广告效果。
[0148]另外，根据第I至第4实施方式，摄像部30进行摄像。控制部23从摄像部30的摄像图像中提取人物的脸部图像。控制部23根据所提取的脸部画像，对针对显示部240显示的广告的肯定度进行评价。其结果，能够根据视听者的脸部图像来评价视听者对显示部所显示的内容感兴趣的程度。
[0149]另外，根据第I至第4实施方式，控制部23根据所提取的脸部图像评价表情，并根据该脸部图像的表情的肯定度，对显示部240所显示的种类的广告进行评价。其结果，能够根据视听者的表情来评价视听者对内容的兴趣，从而能够发挥更优良的广告效果。
[0150]另外，根据第I至第4实施方式，控制部23根据所提取的脸部图像，来判定与预定的多个种类的表情的哪种表情近似。其结果，能够简单地判断出视听者的表情。
[0151]另外，根据第I至第4实施方式，控制部23按规定间隔求出表示脸部图像的表情的肯定度的评价值，计算出该评价值的平均，并根据该计算出的评价值的平均，对显示部240显示的种类的广告进行评价。其结果，能够对视听者的表情进行准确度高的评价。
[0152]另外，根据第I至第4实施方式，控制部23根据所提取的脸部图像，检测针对显示部240的视线，并以检测出该视线为条件，对脸部图像的表情进行评价。其结果，能够更正确地评价视听者的表情。
[0153]另外，根据第I至第4实施方式，控制部23根据所提取的脸部图像，检测针对显示部240的视线，并根据视线检测结果，对显示部240显示的种类的广告的肯定度进行评价。其结果，能够更精确地掌握视听者对内容的兴趣。
[0154]另外，根据第I至第4的实施方式，控制部23根据检测出针对显示部240的视线的时间，对显示部240所显示的种类的广告的肯定度进行评价。其结果，能够更精确地掌握视听者对内各的兴趣。
[0155]另外，根据第I实施方式，在针对显示部240显示的广告的肯定度为规定的肯定评价时，控制部23对显示部240正在显示的广告进行延长显示。其结果，由于是根据正在观看内容的视听者的脸部图像的状态，来对显示部所显示的内容进行延长显示，因此能够反映视听者的兴趣从而发挥更优良的广告效果。
[0156]另外，根据第2实施方式，控制部23根据针对显示部240所显示的广告的肯定度，来决定在显示部240显示广告的显示顺序。其结果，视听者例如能够按其感兴趣的顺序观看广告，因此能够反映视听者的兴趣从而发挥更优良的广告效果。
[0157]另外，根据第3实施方式，在针对显示部240显示的广告的肯定度是规定的肯定评价时，控制部23将显示部240正在显示中的广告切换成与该广告相关联的规定的广告详细内容。其结果，能够反映视听者的兴趣从而发挥更优良的广告效果。另外，由于无需由视听者进行选择所希望的内容的动作，因此不会给视听者造成不便，且能够发挥高的广告效果。
[0158]另外，根据第4实施方式，在针对显示部240显示的广告的肯定度是规定的第I肯定评价时，控制部23将显示部240正在显示中的广告切换成与该广告相关的购买信息，在针对显示部240显示的广告的肯定度是比第I肯定评价低的低评价即第2肯定评价时，控制部23延长显示显示部240正在显示的广告。其结果，由于是根据正在观看内容的视听者的脸部图像，来显示与显示部240正在显示的内容相关联的详细信息,或者对正在显示的内容进行延长显示，因此能够根据视听者的兴趣程度来进行显示，从而能够发挥高的广告效果。
[0159]另外，上述实施方式中记述的详情是本发明所涉及的显示装置的一个优选例，本发明并不限定于此。
[0160]另外，在上述实施方式中，说明了每次摄像时计算肯定度，并根据计算出的肯定度来进行显示延长处理或者显示变更处理的情况，此外，例如，为了提高肯定度的准确度，可以在显示部240显示的广告的种类被切换之后的数秒期间(例如，3秒钟)，只算出肯定度，而不进行显示延长处理或者显示变更处理。
[0161]另外，在上述的实施方式中，说明了以识别出了视线为条件来进行表情识别处理的情况，此外还可以是，无论有无视线识别都进行表情识别处理。
[0162]另外，在上述实施方式中，说明了根据表情识别的肯定度和视线识别的肯定度来求出肯定度的情况，但也可以只根据表情识别的肯定度来求出肯定度。另外，也可以只根据视线识别的肯定度来求出肯定度。
[0163]另外，在上述的实施方式中，关于肯定度的判定，可以根据广告的详情来变更判定方法或者判定的基准。
[0164]另外，在上述实施方式中，说明了对显示部240显示的广告的详情进行变更的情况，但也可以对声音输出部33输出的有声指南，或者对显示和声音的两者都进行变更。
[0165]另外，在上述实施方式中，可以根据肯定度的判定结果来适当变更所显示的广告的详情。例如，在主剧本中，关于“广告A-主”图像，在肯定度比阈值th大的情况下，可以适当地进行变更，如在进行与“广告A-主”图像相关联的显示之后，优先显示与“广告A-主”图像的商品类似的商品的广告(例如，“广告E-主”图像)等。
[0166]另外，在上述实施方式中，在表情识别处理以及视线识别处理中，可以一并进行性别和年龄的识别处理，从而获得观看广告的人的信息。除了这些信息之外，还可以根据在肯定度以及显示时间累计处理中累计出的广告显示时间，获得什么样的人对什么样的广告感兴趣等的营销信息。
[0167]另外，在上述的实施方式中，说明了对由摄像部30摄像的摄像图像进行表情识别等并计算出肯定度的情况，但并不限定于此，还可以利用声音输入部34进行声音识别并算出肯定度，只要能够算出肯定度，方法不限。
[0168]另外，作为存放有用于执行上述各处理的程序的计算机可读取的媒体，除了 ROM和硬盘等外，还可应用闪存等非易失性存储器，⑶-ROM等可搬运型记录介质。另外，作为通过规定的通信线路来提供程序数据的媒体，可应用载波(搬送波)。
[0169]另外，关于构成显示装置的各装置的细节结构以及细节动作，在不脱离发明宗旨的范围内，可进行适当的变更。
[0170]以上说明了本发明的实施方式以及变形例，但本发明的范围并不限定于上述实施方式以及变形例，本发明的范围包含权利要求的范围所记载的发明范围以及与其等同的范围。
【权利要求】
1.一种显不装直，具备: 显示部，显示图像； 显示控制部，对多个种类的内容进行切换并显示在上述显示部；以及 内容评价部，对针对上述显示部所显示的内容的肯定度进行评价， 上述显示控制部根据上述肯定度来决定在上述显示部显示的内容。
2.如权利要求1所述的显示装置，具备: 摄像部，进行摄像；以及 脸部图像提取部，从上述摄像部的摄像图像中提取人物的脸部图像， 上述内容评价部根据上述脸部图像，对针对上述显示部所显示的内容的肯定度进行评价。
3.如权利要求2所述的显示装置， 上述内容评价部根据上述脸部图像评价表情，并根据该脸部图像的表情的肯定度，对上述显示部所显示的种类的内容进行评价。
4.如权利要求3所述的显示装置， 上述内容评价部根据上述脸部图像判定与预定的多个种类的表情中的哪种表情近似，从而对上述脸部图像的表情进行评价。
5.如权利要求3所述的显示装置， 上述内容评价部以规定间隔求出表示上述脸部图像的表情的肯定度的评价值，并计算该评价值的平均，根据计算出的该评价值的平均，对上述显示部所显示的种类的内容进行评价。
6.如权利要求4所述的显示装置， 上述内容评价部以规定间隔求出表示上述脸部图像的表情的肯定度的评价值，并计算该评价值的平均，根据计算出的该评价值的平均，对上述显示部所显示的种类的内容进行评价。
7.如权利要求3所述的显示装置， 上述内容评价部根据上述脸部图像检测针对上述显示部的视线，并以检测出该视线为条件，对上述脸部图像的表情进行评价。
8.如权利要求4所述的显示装置， 上述内容评价部根据上述脸部图像检测针对上述显示部的视线，并以检测出该视线为条件，对上述脸部图像的表情进行评价。
9.如权利要求5所述的显示装置， 上述内容评价部根据上述脸部图像检测针对上述显示部的视线，并以检测出该视线为条件，对上述脸部图像的表情进行评价。
10.如权利要求6所述的显示装置， 上述内容评价部根据上述脸部图像检测针对上述显示部的视线，并以检测出该视线为条件，对上述脸部图像的表情进行评价。
11.如权利要求2所述的显示装置， 上述内容评价部根据上述脸部图像检测针对上述显示部的视线，并根据该视线的检测结果，对针对上述显示部所显示的种类的内容的肯定度进行评价。
12.如权利要求11所述的显示装置， 上述内容评价部根据检测出针对上述显示部的视线的时间，对针对上述显示部所显示的种类的内容的肯定度进行评价。
13.如权利要求1所述的显示装置， 在上述内容评价部的肯定度是规定的肯定评价时，上述显示控制部延长显示上述显示部正在显示的内容。
14.如权利要求1所述的显示装置， 上述显示控制部根据上述肯定度决定在上述显示部显示的内容的显示顺序。
15.如权利要求1所述的显示装置， 在上述肯定度是规定的肯定评价时，上述显示控制部将上述显示部正在显示的内容切换成与该内容相关的规定的详细内容。
16.如权利要求1所述的显示装置， 在上述肯定度是规定的第I肯定评价时，上述显示控制部将上述显示部正在显示的内容切换成与该内容相关的规定的详细内容，在上述肯定度是比上述第I肯定评价低的低评价即第2肯定评价时，上述显示控制部延长显示上述显示部正在显示的内容。
17.一种内容显示方法，包括以下步骤: 显示控制步骤，对多个种类的内容进行切换并显示在用于显示图像的显示部； 内容评价步骤，对针对上述显示部所显示的内容的肯定度进行评价；以及 内容决定步骤，根据上述肯定度来决定在上述显示部显示的内容。
18.—种程序，使具备用于显示图像的显示部的显示装置的计算机作为如下各部发挥功能，所述各部包括: 显示控制部，对多个种类的内容进行切换并显示在上述显示部； 内容评价部，对针对上述显示部所显示的内容的肯定度进行评价；以及 内容决定部，根据上述肯定度来决定在上述显示部显示的内容。
【文档编号】G06Q30/02GK104516501SQ201410505173
【公开日】2015年4月15日 申请日期:2014年9月26日 优先权日:2013年9月26日
【发明者】村上智彦, 中込浩一, 宫本优一 申请人:卡西欧计算机株式会社