图像处理装置、图像识别装置、图像识别方法以及程序的制作方法
【专利摘要】提供一种包括图像插入单元的图像处理装置，该图像插入单元将通过图像识别所辨识的识别用图像插入到视频内容中。所述图像插入单元插入所述识别用图像，使得识别用图像的显示持续时间少于与视觉感知的阈值接近的值。
【专利说明】图像处理装置、图像识别装置、图像识别方法以及程序
【技术领域】
[0001]本公开涉及图像处理装置、图像识别装置、图像识别方法以及程序。
【背景技术】
[0002]近来，随着图像识别技术的发展，诸如二维条型码的信息码的使用正在迅猛发展。具体地说，例如，如果在纸介质上打印信息代码，并且通过图像捕获装置来获得该信息代码的捕获图像，则变得可以通过图像识别来识别信息代码，并且根据识别结果来获得信息。
[0003]要注意的是，信息代码可从静止图像格式的捕获图像和运动图像格式的捕获图像两者中识别。例如，如专利文献I中所描述的，通过分析组成运动图像格式的捕获图像的相应的帧图像，可以指定捕获图像中的信息代码的区域，并且可以识别出信息代码。
[0004]引用列表
[0005]专利文献
[0006]专利文献I JP2011-186846A
[0007]非专利文献
【发明内容】
[0008]技术问题
[0009]另外，在显示装置上显示信息代码的使用场景也是可以想得到的。例如，将信息代码放置在TV广播屏幕中的部分区域的使用场景和将信息代码放置在数据广播(datacast)屏幕上的使用场景也是可以想得到的。
[0010]然而，在以上使用场景中，信息代码阻碍TV广播屏幕或者数据广播屏幕的观看。此外，将显示切换到数据广播屏幕以便利用该信息代码比较麻烦。
[0011]因此，在本公开中，提出了一种在不损害用户体验的情况下提供例如信息代码的识别用图像的新的和改进的图像处理装置、图像识别装置、图像识别方法以及程序。
[0012]技术方案
[0013]根据本公开，提供包括图像插入单元的图像处理装置，该图像插入单元将通过图像识别所辨识的识别用图像插入到视频内容中。所述图像插入单元插入所述识别用图像，使得所述识别用图像的显示持续时间少于与视觉感知的阈值接近的值。
[0014]根据本公开，提供包括图像选择单元、图像识别单元以及控制单元的图像识别装置，该图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集，该图像识别单元从通过所述图像选择单元选择的帧图像中通过图像识别来辨识识别用图像，该控制单元根据所述图像识别单元的识别结果来控制信息的提供。
[0015]根据本公开，提供一种图像识别方法，该图像识别方法包括从通过图像捕捉所获得的多个帧图像中选择帧图像的子集，通过图像识别从所选择的帧图像中辨识识别用图像，以及根据符合所述图像识别的结果的识别结果提供信息。
[0016]根据本公开，提供一种使计算机用作图像选择单元、图像识别单元以及控制单元的程序，该图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集，该图像识别单元从通过所述图像选择单元选择的帧图像中通过图像识别来辨识识别用图像，该控制单元根据所述图像识别单元的识别结果来控制信息的提供。
[0017]技术效果
[0018]根据如上所述的本公开，可以在不损害用户体验的情况下提供例如信息代码的识别用图像。
【专利附图】
【附图说明】
[0019]图1是示出了根据本公开的系统的使用场景的示例的说明性框图；
[0020]图2是示出了示例性的信息代码的插入的说明性框图；
[0021]图3是示出了另一个示例性的信息代码的插入的说明性框图；
[0022]图4是示出了内容处理装置的配置的功能框图；
[0023]图5是示出了信息代码的第一插入技术的说明性框图；
[0024]图6是示出了包括信息代码C的帧图像的特定示例的说明性框图；
[0025]图7是示出了信息代码的第三插入技术的说明性框图；
[0026]图8是示出了根据本公开的实施例的移动装置的配置的功能框图；
[0027]图9是示出了通过图像选择单元所选择的帧图像的特定示例的说明性框图；
[0028]图10是示出了对应于信息代码的信息的特定示例的说明性框图；
[0029]图11是示出了根据本实施例的移动装置的操作的流程图；
[0030]图12是示出了本实施例的示例性应用的框图；
[0031]图13是示出了图像捕获位置和通过图像捕获所获得的帧图像之间的关系的说明性框图；
[0032]图14是示出了移动装置的硬件配置的说明性框图。
【具体实施方式】
[0033]以下参考附图详细地描述本发明的优选实施例。需要注意的是，在本说明书和附图中，利用相同的附图标记来表示实质上具有相同功能和结构的元件，并且省去这些元件的重复的说明。
[0034]此外，在这个说明书和附图中，实质上具有相同功能和结构的多个结构元件在一些情况下可以通过附加到相同标记的不同字母来区分。例如，实质上具有相同功能和结构的多个元件根据需要被区分为显示装置30A、30B、30C等。另一方面，在不特定地区分实质上具有相同功能和结构的多个结构元件中的每一个时，仅仅给出相同标记。例如，显示装置30A、30B以及30C在不特定地区分时仅仅被指代为显示装置30。
[0035]此外，按照以下指示的顺序来描述本公开。
[0036]1、根据本公开的系统的使用场景
[0037]2、内容处理装置
[0038]3、移动装置
[0039]4、示例性应用
[0040]5、硬件配置[0041]6、结论
[0042]〈1、根据本公开的系统的使用场景>
[0043]在各种实施例中可以执行根据本公开的技术，以下将描述其示例。此外，根据本公开的系统设置有:
[0044]A.图像处理装置(内容处理装置10)，包括将通过图像识别所辨识的识别用图像插入到视频内容中的图像插入单元(120)，其中图像插入单元插入识别用图像，使得识别用图像的显示持续时间少于与视觉感知的阈值接近的值；以及
[0045]B.图像识别装置(移动装置20)，包括图像选择单元(230)、图像识别单元(240)以及控制单元(260)，图像选择单元(230)从通过图像捕获所获得的多个帧图像中选择帧图像的子集，图像识别单元(240)从通过图像选择单元所选择的帧图像中通过图像识别来辨识识别用图像，控制单元(260)根据通过图像识别单元的识别结果来控制信息的提供。
[0046]以下，首先，参考图1描述根据本公开的这种系统的使用场景。
[0047]图1是示出了根据本公开的系统的使用场景的示例的说明性框图。如图1所示，根据本公开的系统包括显示装置30A-30C和移动装置20。要注意的是，尽管在图1中未示出，根据本公开的系统另外设置有内容处理装置，该内容处理装置处理用于在显示装置30上显示的内容。
[0048](显示装置)
[0049]显示装置30显示例如运动图像或者静止图像的视频内容。例如，显示装置30布置在如图1所示的公共空间中，并且显示与广告或者宣传有关的内容。要注意的是，显示装置30也可以是放置在普通家庭中的TV。此外，显示装置30显示的内容不限于广告或者宣传。例如，显示装置30也可以显示来自数字陆地广播或者卫星广播的节目内容。
[0050](移动装置)
[0051]移动装置20是具有图像捕获功能和显示单元22的信息处理装置。移动装置20在通过图像识别从捕获图像中辨识特定的识别用图像时将与识别用图像对应的信息显示在显示单元22上。例如，与识别用图像对应的信息可以是文字、静止图像、运动图像、音频等，并且也可以是用户指南信息或者广告信息等。此外，尽管以下将例如二维码的显式信息代码描述为识别用图像的示例，但是识别用图像也可以是未包括显式信息代码的图像。
[0052]此外，在图1中，尽管智能电话被示出为作为图像识别装置的示例所给出的移动装置20，但是图像识别装置不限于这样的示例。例如，图像识别装置还可以是诸如个人计算机(PC)的信息处理装置、家用视频处理装置(诸如DVD录像机或者VCR)、个人数字助理(PDA)、家用视频游戏操纵台、或者电气设备。另外，图像识别装置还可以是诸如移动电话的信息处理装置、个人手持式电话系统(PHS)、便携式音乐播放器、便携式视频处理装置、或者便携式视频游戏操纵台。
[0053](使用场景)
[0054]在根据本公开的这种系统中，显示装置30显示信息代码插入到其中的内容。为此，通过捕获显示装置30的图像，移动装置20能够显示与在显示装置30上显示的信息代码对应的信息或者输出与在显示装置30上显示的信息代码对应的信息的音频。
[0055](背景)
[0056]然而，依赖于如何插入信息代码，存在损害用户体验的风险。例如，如图2所示，如果信息代码C持续地放置在诸如TV广播屏幕的主内容屏幕32的部分中，则信息代码C阻碍主内容屏幕32的观看。
[0057]此外，如图3所示，尽管将信息代码C放置在诸如数据广播屏幕的副内容屏幕34上的使用场景也是可以想得到的，但是将显示切换到副内容屏幕34以便利用信息代码C是麻烦的。
[0058]因此，鉴于上述情况引起创建根据本公开的实施例。根据本公开的实施例，信息代码被插入在内容中使得信息代码被立即显示出，从而在不损害用户体验的情况下提供信息代码。以下，详细地连续描述实现本公开的这种实施例的内容处理装置10和移动装置20。
[0059]〈2、内容处理装置〉
[0060]根据本公开的实施例的内容处理装置10通过将信息代码插入到由多个帧构成的内容中来处理内容。具体地说，内容处理装置10将对于用户难以察觉的信息代码插入，并且因此通过使显示装置30显示经处理的内容，可以同时地实现常规的内容观看同时也提供信息代码。以下，详细地描述这种内容处理装置10。
[0061]图4是示出了内容处理装置10的配置的功能框图。如图4所示，内容处理装置10具有存储单元110、图像插入单元120、图像调整单元130以及检测单元140。要注意的是，尽管以下描述在内容处理装置10处将信息代码插入到内容中的技术，但是通过将信息代码和用于插入的参数(例如，指示插入位置的信息)提供给显示装置30，也可以在显示装置30处进行信息代码的插入。
[0062]存储单元110是存储要被处理的视频内容的存储介质。此外，存储单元110也可以存储通过图像插入单元120使信息代码插入在里面的内容。
[0063]图像插入单元120从存储单元110中检索内容，并且将信息代码插入到内容中，使得信息代码的显示持续时间少于与视觉感知的阈值接近的值。在本文中，这个阈值通常被认为是大约30ms，但是已经确立这个阈值依赖于亮度、表面积、中心视场以及周围视场而改变。因此，在各种情形下的实验表明，如果信息代码的显示持续时间是60ms或者更大，则信息代码容易察觉。为此，在本实施例中，60ms被用作与视觉感知的阈值接近的值。换句话说，根据本实施例的图像插入单元120插入信息代码，使得信息代码的显示持续时间少于60ms。要注意的是，即使潜意识地觉察信息代码，信息代码是抽象图像并且不具有视觉含义。为此，信息代码的潜意识感知被认为对用户的行为有小的影响。
[0064]此外，图像插入单元120可以通过各种技术来插入信息代码。以下，将结合图像调整单元130和检测单元140的功能描述通过图像插入单元120的信息代码插入技术的特定示例。要注意的是，以下描述的第一至第四插入技术可以单独地或者组合地使用。
[0065](第一插入技术)
[0066]图5是示出了用于信息代码的第一插入技术的说明性框图。如图5所示，对于第一插入技术，图像插入单元120将包括信息代码C的黑白帧图像插入到组成内容的多个帧图像中。例如，图像插入单元120可以将包括信息代码C的帧图像插入到30fps内容的一个帧中，使得信息代码的显示持续时间少于与视觉感知的阈值接近的值。
[0067]然而，利用第一插入技术，尽管信息代码难以觉察，有时可能出现屏幕闪烁。相反，根据以下描述的第二至第四插入技术，可以最小化屏幕闪烁。
[0068](第二插入技术)[0069]内容处理装置10的图像调整单元130调整包括信息代码C的帧图像中的相应的像素值，以便在插入后减小相对于邻近帧图像的亮度和颜色的差异。随后，对于第二插入技术，图像插入单元120将包括信息代码C的帧图像插入到内容中，并且其相应的像素值已经通过图像调整单元130来调整。参考图6给出更加具体的描述。
[0070]图6是示出了包括信息代码C的帧图像的特定示例的说明性框图。如图6所示，要插入的帧图像由信息代码C形成在其中的区域和周围区域A组成。图像调整单元130可以调整这种帧图像的周围区域A的像素值，以与邻近帧图像的亮度和颜色匹配。例如，当邻近帧图像是蓝天时，图像调整单元130可以将周围区域A调整为蓝色。利用这种配置，可以最小化在显示经处理的内容时出现的闪烁。
[0071](第三插入技术)
[0072]图7是示出了用于信息代码的第三插入技术的说明性框图。如图7所示，对于第三插入技术，图像插入单元320将信息代码C插入到组成内容的帧图像32的部分中。此外，由于使用者被认为聚焦在图像的中心的附近，存在这样的可能性:图像的边缘的附近通过周围视场而不是中心视场来接收，并且空间分辨率和颜色的感知降低。因此，如图7所示，图像插入单元120可以将信息代码C插入在图像的边缘的附近，例如在右拐角中。利用这种配置，可以使用户不舒适度和屏幕闪烁最小化。
[0073](第四插入技术)
[0074]内容处理装置10的检测单元140检测内容中的场景在其中切换的帧图像。例如，检测单元140计算邻近帧之间的差异，并且检测具有较大的图像变化的帧图像，例如切入或者切出。随后，对于第四插入技术，图像插入单元120将信息代码C插入到通过检测单元140所检测的相对于邻近帧图像具有较大差异的帧图像中。同样地，利用这种配置，可以利用逆行掩蔽或者顺行掩蔽来使用户不舒适度和屏幕闪烁最小化。
[0075]〈3、移动装置>
[0076]以上这样描述根据本公开的实施例的内容处理装置10。接下来，将描述根据本公开的实施例的移动装置20。根据本实施例的移动装置20能够通过捕获显示装置30的图像来向用户提供与信息代码对应的信息，显示装置30显示信息代码已经通过上述讨论的内容处理装置10插入其中的内容。
[0077](移动装置的配置)
[0078]图8是示出了根据本公开的实施例的移动装置20的配置的功能框图。如图8所示，根据本公开的实施例的移动装置20具有图像捕获单元220、图像选择单元230、存储单元240、图像识别单元250、控制单元260、显示单元22、以及音频输出单元270。
[0079]图像捕获单元220捕获目标以获得捕获图像。具体地说，图像捕获单元220具有例如照相透镜和变焦透镜的摄影光学系统、以及例如电荷耦合器件(CCD)或者互补型金属-氧化物-半导体(CMOS)的图像传感器。
[0080]摄影光学系统凝聚从目标发出的光，并且将目标图像形成在图像传感器的成像表面上。图像传感器将通过摄影光学系统形成的目标图像转换为电图像信号。在本文中，图像传感器包括R分量(红色)光传感器、G分量(绿色)光传感器、以及B分量(蓝色)光传感器，对于每个颜色分量的光传感器，获得作为R分量检测结果的R图像、作为G分量检测结果的G图像、以及作为B分量检测结果的B图像。[0081]图像选择单元230从通过图像捕获单元220连续地获得的多个帧图像中选择帧图像的子集。具体地说，图像选择单元230从多个帧图像中选择可能包括信息代码的帧图像。在通过图像捕获单元220所获得的所有帧图像上进行信息代码的图像识别具有高处理负荷，并且因此通过选择在其上进行图像识别的帧图像的子集，更高效的图像识别是可能的。
[0082]例如，图像选择单元230可以从通过图像捕获单元220连续地获得的帧图像中选择具有黑和白的部分区域的帧图像。根据这种配置，在利用较早所讨论的“第一插入技术”来插入信息代码的情况下可以精确地选择具有插入信息代码的帧图像。
[0083]此外，图像选择单元230可以计算与邻近帧图像的差异，并且选择具有相对于邻近帧图像的较大差异的帧图像。例如，图像选择单元230可以计算在给定帧的R图像和邻近帧的R图像之间的每个像素值的差异的总值，并且在差异的总值超过标准时选择那个帧图像。根据这种配置，在利用较早所讨论的“第一插入技术”或者“第四插入技术”来插入信息代码的情况下可以精确地选择具有插入信息代码的帧图像。另外，甚至在利用“第二插入技术”或者“第三插入技术”来插入信息代码的情况下，该信息代码形成区域具有与邻近帧的差异。为此，对于利用“第二插入技术”或者“第三插入技术”来插入信息代码的情况，这种配置也是有效的。
[0084]存储单元240是存储彼此关联的要被提供给用户的信息代码和信息的存储介质。这种存储单元240可以是例如非易失性存储器、磁盘、光盘或者磁光(MO)盘的存储介质。非易失性存储器例如可以是闪速存储器、SD卡、miciOSD卡、USB存储器、电可擦可编程只读存储器(EEPROM)或者可擦除可编程只读存储器(EPROM)。此外，磁盘可以是硬盘、盘状磁性材料盘等。此外，光盘可以是压缩光盘(CD)、数字通用盘(DVD)、蓝光光盘(BD)(注册商标)
坐寸ο
[0085]图像识别单元250从通过图像选择单元230选择的帧图像中识别信息代码。例如，通过引用JP2000-82108A中描述的技术，图像识别单元250可以识别出信息代码，并且从存储单元240中获取与信息代码对应的信息。
[0086]要注意的是，信息代码的以上识别和相应信息的采集也可以通过云计算来实现。换句话说，移动装置20可以将通过图像选择单元230选择的帧图像发送到网络上的处理服务器，并且该处理服务器可以从帧图像中识别出信息代码并且将与信息代码对应的信息发送到移动装置20。此外，通过使移动装置20将每个彩色图像发送到处理服务器，也可以在处理服务器上生成合成图像。
[0087]控制单元260控制向用户提供通过图像识别单元250获取的信息。例如，在该信息包括视频的情况下，控制单元260使显示单元22显示信息，并且在信息包括音频的情况下，控制单兀260使首频输出单兀270输出彳目息的首频。要注意的是，首频输出单兀270可以是扬声器、耳机、头戴式耳机等。
[0088](信息提供的具体示例)
[0089]在此，参考图9和10来描述以上讨论到的通过移动装置20所提供的信息的示例。
[0090]图9是示出了通过图像选择单元230所选择的帧图像的特定示例的说明性框图，而图10是示出了与信息代码对应的信息的特定示例的说明性框图。如图9所示，在从通过图像捕获单元220连续地获得的多个帧图像中选择包括显示装置30显示信息代码C的帧图像36之后，图像识别单元250从存储单元240中获取与信息代码C对应的信息。[0091]随后，控制单元260基于通过图像识别单元250所获得的信息使显示单元22显示地图画面38。在本文中，尽管指示"XXX站吧〃的位置的地图画面38被示出为在图10中的提供给用户的信息，但是提供给用户的信息不限于这种示例。例如，在表示啤酒正在倒出的视频/音频信息对应于信息代码C的情况下，音频输出单元270可以输出在啤酒倒出时产生的声音，并且显示单元22可以显示描绘啤酒正在倒出的视频。
[0092](移动装置的操作)
[0093]以下，将描述根据本实施例的移动装置20的配置。接着，将参考图11概述根据本实施例的移动装置20的操作。
[0094]图11是示出了根据本实施例的移动客户端20的操作的流程图。如图11所示，首先，移动装置20的图像捕获单元220捕获显示具有插入其中的信息代码的内容的显示装置30的图像(S310)。随后，图像选择单元230从通过图像捕获单元220连续地获得的多个帧图像中选择帧图像的子集(S320)。
[0095]在那之后，图像识别单元250从通过图像选择单元230选择的帧图像中识别信息代码，并且从存储单元240中获取与信息代码对应的信息(S330)。控制单元260然后控制向用户提供通过图像识别单元250获取的信息(S340)。
[0096]如上所述，根据本实施例的移动装置20仅仅对通过图像选择单元230选择的帧图像的子集而不是对通过图像捕获单元220连续地获得的所有帧图像进行信息代码的图像识别。为此，可以减少图像识别的处理负荷。
[0097]〈4、示例性应用>
[0098]接着,参考图12描述本实施例的示例性应用。图12是示出了本实施例的示例性应用的框图。如图12所示，图像插入单元120可以插入信息代码Cl和关联于与信息代码Cl不同的信息的多个信息代码C2。要注意的是，尽管图12示出了将信息代码Cl和信息代码C2插入到同一帧图像中的示例，信息代码Cl和信息代码C2可以插入到不同帧图像中。
[0099]在本文中，信息代码Cl比信息代码C2更大。为此，在其上可以识别出信息代码Cl的图像捕获位置范围不同于在其上可以识别出信息代码C2的图像捕获位置范围。因此，变得可以根据显示信息代码的显示装置30和移动装置20的图像捕获位置之间的距离来向用户提供不同信息。以下更具体地描述这一点。
[0100]图13是示出了图像捕获位置和通过图像捕获所获得的帧图像之间的关系的说明性框图。如图13所示，在距显示装置30相对远的图像捕获位置P2处，信息代码Cl是可识别的，而信息代码C2是小的并且难以识别。另一方面，在相对靠近显示装置30的图像捕获位置Pl处，整个信息代码Cl没有符合在视角内并且因此难以识别出，而信息代码C2是可识别的。
[0101]为此，例如，通过将优惠券信息与信息代码C2关联并且将指示通过靠近显示装置30可以获得优惠券信息的信息与信息代码Cl关联，变得可以将远离显示装置30的使用者拉向更靠近显示装置30。要注意的是，与每个信息代码关联的信息不限于以上示例。例如，概要信息可以与从相对远的位置中可识别的信息代码Cl关联，而详细信息可以与从相对近的位置中可识别的信息代码C2关联。
[0102]〈〈5、硬件配置》
[0103]前述因此描述本公开的个个实施例。在前述中讨论的图像选择处理和图像识别处理通过软件和如下所述的移动装置20的硬件之间的协同作用来实现。
[0104]图14是示出了移动装置20的硬件配置的说明性框图。如图14所示，移动装置20包括CPU (中央处理器)201、ROM (只读存储器)202、RAM (随机存取存储器)203、输入设备208、输出设备210、存储设备211、驱动器212、图像拾音设备215、以及通信设备215。
[0105]CPU201作为操作处理设备和控制设备，并且根据各种程序来控制移动装置20内的所有操作。此外，CPU201可以是微处理器。R0M202存储由CPU201所使用的程序和操作参数。RAM203暂时地存储在CPU201的执行中所使用的程序和在这些执行中任意变化的参数。这些部分通过由中央处理器总线等配置的主机总线来相互连接。
[0106]输入设备208由例如鼠标、键盘、触板、按钮、麦克风、开关以及杆的通过使用者来输入信息的输入装置和输入控制电路组成，该输入控制电路基于使用者的输入来生成输入信号并且将该信号输出到CPU201。移动装置20的使用者能够通过操作输入装置208来向移动装置20输入各种数据和指令处理操作。
[0107]输出设备210例如包括诸如液晶显示器(IXD)装置、有机发光二极管(OLED)设备或者灯的显示设备。此外，输出设备210包括诸如扬声器或者头戴式耳机的语音输出设备。例如，显示设备显示所提取的图像和所生成的图像。另一方面，语音输出设备转换语音数据并且输出语音。
[0108]例如在本实施例中，存储设备211是配置为移动设备20的存储部分的示例的用于数据存储的设备。存储设备211可以包括存储介质、将数据记录到存储介质的记录设备和擦除在从存储介质读取的读取设备中所记录的数据的擦除设备以及存储介质。存储设备211存储通过CPU201所执行的程序和各种数据。
[0109]驱动器212是用于存储介质的读取器/写入器，并且被内置到移动装置20中或者被附接在外部。驱动器212读出记录在例如安装的磁盘、光盘、磁光盘或者半导体存储器的可移除存储介质24中的信息，并且将该信息输出到RAM203。此外，驱动器212可以将信息写入到可移除存储介质24。
[0110]图像拾取设备213包括例如使光线会聚的照相透镜和变焦透镜的图像拾取光学系统、以及例如电荷耦合装置(CCD)或者互补金属氧化物半导体(CMOS)的信号转换元件。图像拾取系统通过将来源于摄影目标的光线会聚来在信号转换部分中形成摄影目标，该信号转换元件将所形成的摄影目标转换为电图像信号。要注意的是，图像拾取设备213对应于图4中所示出的图像捕获单元220。
[0111]通信设备215例如是连接到网络12的由通信装置等组成的通信接口。在这里，通信设备215可以是无线局域网(LAN)兼容通信装置、长期演化(Long Term Evolution, LTE)兼容通信装置、或者利用线缆来进行通信的有线通信装置。
[0112]此外，网络12是用于从连接到网络12的设备发送的信息的有线或者无线传输路径。例如，网络12可以包括例如因特网、电话线路网和卫星通信网的公共线路网，包括以太网(注册商标)的各种局域网(LAN)以及广域网(WAN)。此外，网络12可以包括诸如网络协议-虚拟专用网络(Internet Protocol-Virtual Private Network, IP-VPN)的专用线路网。
[0113]要注意的是，尽管以上参考图14描述移动装置20的硬件配置，内容处理装置10的硬件以与移动装置20的实质上相同的方式来配置，因此省去其描述。[0114]〈6、结论〉
[0115]如上所述，根据本公开的实施例的内容处理装置10插入对于使用者难以感知的信息代码，因此通过使显示装置30显示经处理的内容，可以同时地实现常规的内容观看同时还提供信息代码。此外，内容处理装置10也能够最小化由于信息代码的插入导致的使用者的不适和屏幕闪烁。
[0116]此外，根据本公开的实施例的移动装置20仅仅对通过图像选择单元230选择的帧图像的子集而不是对通过图像捕获单元220连续地获得的所有帧图像进行信息代码的图像识别。为此，可以减少图像识别的处理负荷。
[0117]本领域技术人员应该理解的是，在附加的权利要求或者它们的等效的范围内根据设计要求和其它因素可以出现各种变型、组合、子组合以及改变。
[0118]例如，在本说明书中的移动装置20的处理中的每个步骤可以不必要地以根据描述为流程图的顺序的时间序列来处理。例如，即使在移动装置20的处理中的每个步骤以与描述为流程图的顺序不同的顺序来处理，在移动装置20的处理中的每个步骤可以并行地处理。
[0119]此外，可以创建一种计算机程序，用于使诸如内置在内容处理装置和移动装置20中的CPU201、R0M202以及RAM203的硬件显示出类似于上述的内容处理装置和移动装置20的每个配置的功能。此外，还可以提供存储这个计算机程序的存储介质。
[0120]另外，本技术还可以如下地配置:
[0121](I) 一种图像处理装置，包括:
[0122]图像插入单元，所述图像插入单元将通过图像识别所辨识的识别用图像插入到视频内容中，
[0123]其中，所述图像插入单元插入所述识别用图像，使得所述识别用图像的显示持续时间少于与视觉感知的阈值接近的值。
[0124](2)如权利要求(I)所述的图像处理装置，其中
[0125]所述图像插入单元将所述识别用图像插入到构成所述视频内容的帧图像的子集中。
[0126](3)如权利要求⑴或(2)所述的图像处理装置，其中
[0127]所述图像处理装置还包括:
[0128]检测单元，所述检测单元检测所述视频内容中的场景在其中切换的帧图像，以及
[0129]所述图像插入单元将所述识别用图像插入到通过所述检测单元检测到的帧图像中。
[0130](4)如权利要求(I)所述的图像处理装置，其中
[0131]所述图像插入单元将包括所述识别用图像的帧图像插入到运动图像格式的所述视频内容中，以及
[0132]所述图像处理装置还包括:
[0133]图像调整单元，所述图像调整单元根据相邻的帧图像来调整所述帧图像中的各个
像素值。
[0134](5)如权利要求(I)至⑷中的任一项所述的图像处理装置，其中
[0135]所述图像插入单元插入第一识别用图像、以及与不同于第一识别用图像的信息关联的第二识别用图像，以及
[0136]所述第一识别用图像大于所述第二识别用图像。
[0137](6)如权利要求⑴至⑷中的任一项所述的图像处理装置，其中
[0138]所述图像插入单元在相同或者不同的帧图像中在不同位置处插入多个识别用图像。
[0139](7) 一种图像识别装置，包括:
[0140]图像选择单元，所述图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集；
[0141]图像识别单元，所述图像识别单元从通过所述图像选择单元选择的帧图像中通过图像识别来辨识识别用图像；以及
[0142]控制单元，所述控制单元根据所述图像识别单元的识别结果来控制信息的提供。
[0143](8)如权利要求(7)所述的图像识别装置，其中:
[0144]所述图像选择单元检测在两个连续的帧图像之间的差异，并且选择两个帧图像中的其差异超过标准的一个帧图像。
[0145](9)如权利要求(7)所述的图像识别装置，其中:
[0146]所述图像选择单元从所述多个帧图像中选择具有黑色和白色的部分区域的帧图像。
[0147](10) —种图像识别方法，包括:
[0148]从通过图像捕捉所获得的多个帧图像中选择帧图像的子集；
[0149]通过图像识别从所选择的帧图像中辨识识别用图像；以及
[0150]根据符合所述图像识别的结果的识别结果提供信息。
[0151](11) 一种程序，所述程序使计算机用作:
[0152]图像选择单元，所述图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集；
[0153]图像识别单元，所述图像识别单元通过图像识别从通过所述图像选择单元所选择的帧图像中辨识识别用图像；以及
[0154]控制单元，所述控制单元根据所述图像识别单元的识别结果来控制信息的提供。
[0155]附图标记列表
[0156]10内容处理装置
[0157]20移动装置
[0158]22显示单元
[0159]30显示装置
[0160]110存储装置
[0161]120图像插入单元
[0162]130图像调节单元
[0163]140检测单元
[0164]220图像捕获单元
[0165]230图像选择单元
[0166]240存储单元[0167]250图像识别单元
[0168]260控制单元
[0169]270音频输出单元
【权利要求】
1.一种图像处理装置，包括: 图像插入单元，所述图像插入单元将通过图像识别所辨识的识别用图像插入到视频内容中， 其中，所述图像插入单元插入所述识别用图像，使得所述识别用图像的显示持续时间少于与视觉感知的阈值接近的值。
2.如权利要求1所述的图像处理装置，其中 所述图像插入单元将所述识别用图像插入到构成所述视频内容的帧图像的子集中。
3.如权利要求1所述的图像处理装置，其中 所述图像处理装置还包括: 检测单元，所述检测单元检测所述视频内容中的场景在其中切换的帧图像，以及 所述图像插入单元将所述识别用图像插入到通过所述检测单元检测到的帧图像中。
4.如权利要求1所述的图像处理装置，其中 所述图像插入单元将包括所述识别用图像的帧图像插入到运动图像格式的所述视频内容中，以及 所述图像处理装置还包括: 图像调整单元，所述图像调整单元根据相邻的帧图像来调整所述帧图像中的各个像素值。
5.如权利要求1所述的图像处理装置，其中 所述图像插入单元插入第一识别用图像、以及与不同于第一识别用图像的信息关联的第二识别用图像，以及 所述第一识别用图像大于所述第二识别用图像。
6.如权利要求1所述的图像处理装置，其中 所述图像插入单元在相同或者不同的帧图像中在不同位置处插入多个识别用图像。
7.一种图像识别装置，包括: 图像选择单元，所述图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集； 图像识别单元，所述图像识别单元从通过所述图像选择单元选择的帧图像中通过图像识别来辨识识别用图像；以及 控制单元，所述控制单元根据所述图像识别单元的识别结果来控制信息的提供。
8.如权利要求7所述的图像识别装置，其中: 所述图像选择单元检测在两个连续的帧图像之间的差异，并且选择两个帧图像中的其差异超过标准的一个帧图像。
9.如权利要求7所述的图像识别装置，其中: 所述图像选择单元从所述多个帧图像中选择具有黑色和白色的部分区域的帧图像。
10.一种图像识别方法，包括: 从通过图像捕捉所获得的多个帧图像中选择帧图像的子集； 通过图像识别从所选择的帧图像中辨识识别用图像；以及 根据符合所述图像识别的结果的识别结果提供信息。
11.一种程序，所述程序使计算机用作:图像选择单元，所述图像选择单元从通过图像捕获所获得的多个帧图像中选择帧图像的子集； 图像识别单元，所述图像识别单元通过图像识别从通过所述图像选择单元所选择的帧图像中辨识识别用图像；以及 控制单元， 所述控制单元根据所述图像识别单元的识别结果来控制信息的提供。
【文档编号】G06K1/12GK103946871SQ201280057699
【公开日】2014年7月23日 申请日期:2012年11月1日 优先权日:2011年12月2日
【发明者】飞鸟井正道 申请人:索尼公司