专利名称：图片控制装置和图片控制方法
技术领域：
本申请涉及显示控制，更具体地，涉及控制在移动终端的显示器上显示的图片的 装置，以及用于控制在移动终端的显示器上显示的图片的方法。
背景技术：
已经开发了显示控制技术，其通过用户的物理操作(例如操纵按钮或触摸屏)来 放大或缩小在移动终端的显示器(例如液晶显示器OXD))上显示的图片的大小。然而，需要无需用户进行任何物理操作地控制在显示器上显示的图片的技术。
发明内容
本发明的示例性实施方式提供了使用图像识别的图片控制装置，其可以根据图像 识别所检测出的用户的动作来控制在移动终端等的显示器上显示的图片。本发明的示例性 实施方式还提供了使用图像识别的图片控制方法，其可以根据图像识别检测出的用户的动 作来控制在移动终端等的显示器上显示的图片。在以下描述中将阐明本发明的附加特征，其通过描述将部份地变得明显，或由对 本发明的实践获得。本发明的示例性实施方式提供了图片控制装置，该图片控制装置包括动作检测 器，其根据照相机获取的图像检测特定动作；以及图片控制器，如果动作检测器检测到特定 动作，其控制在显示器上显示的图片。本发明的示例性实施方式提供了图片控制方法，该图片控制方法包括根据照相 机获取的图像检测动作；并且如果检测出的动作是特定动作，则控制在显示器上显示的图 片。应理解的是，以上一般描述和以下详细描述都是示例性和说明性的，其旨在提供 如权利要求所要求的本发明的进一步说明。其它目的、特征和优势从以下描述、附图和权利 要求中将变得明显。
包括附图以提供对本发明的进一步理解，附图被并入并组成说明书的一部分，其 例示了本发明的实施方式，并与说明书一起说明本发明的原理。图1是例示了根据示例性实施方式的使用图像识别的图片控制装置的框图。图2是例示了根据示例性实施方式的图片控制方法的流程图。图3示出了存储的动作设置信息的示例。除非另外描述，在附图和详细描述中，相同的附图标记被理解为代表相同的组件、 特征和结构。为了清楚、例示和方便，这些组件的相对大小和描绘可以被夸大。
具体实施例方式
以下将参照附图更加充分地描述本发明，附图示出了本发明的示例性实施方式。 然而，本发明可以以许多不同的方式实现，并且不应被理解为限于本文阐明的实施方式。相 反地，提供这些示例性实施方式使得本公开很透彻，并将充分地向本领域技术人员传达本 发明的范围。在附图中，为了清晰，可以夸大层和区域的大小和相对大小。图中相同的参考 标记表示相同的组件。图1是例示了根据示例性实施方式的使用图像识别的图片控制装置100的框图。 图片控制装置100可以以硬件、软件或其组合的形式实现，并可以被配置在具有照相机的 移动终端中。本文所称的图片可以是静止图像、动态图像与/或视频。如图1所示，图片控制装置100包括动作检测器110以及图片控制器120。图片控 制装置100还包括驱动器130、动作设置单元140以及声音控制器150。动作检测器110接收由照相机200获取的用户图像并根据用户的图像检测特定动 作。可以通过分析包含在用户的图像中的特征点的变化从而识别动作或表情的变化而检测 特定动作。虽然所描述的图像是用户的，但是图像不限于此，动作检测器110可以从物体、 动物、用户以外的其他人、或者化身等的图像中识别他们动作或表情的变化。本发明中所使用的术语“动作”表示运动或表情。例如，动作检测器110可以根据 用户的图像通过检测用户朝向照相机200或远离照相机200的运动、用户向左或向右的运 动、用户右眼或左眼的眨动、用户的嘴唇形状、用户脸的倾斜、用户脸向左或向右的旋转、用 户的哭丧脸来识别用户的动作或表情变化，从而检测特定动作。如果动作检测器110检测到特定动作，则图片控制器120控制在显示器300上显 示的图片。图片控制器120可以通过放大或缩小图片的大小或改变属于该图片的各像素的 坐标、颜色和/或亮度以改变颜色效果、白平衡等控制在显示器300上显示的图片。图片控 制器120还可以进行其它控制。在放大或缩小图片大小的情况下，图片控制器120可以放大或缩小存储于存储器 中或通过网络实时传送的图片的大小。通过网络传送的图片可以是从相同的信道发送的图 片或从不同的信道发送的图片，和/或实时传送的图片或延迟传送的图片。例如，图片控制器120可以放大或缩小单层图片(例如JPG文件等)的整个区域 或部分区域的大小。作为另一示例，图片控制器120可以放大或缩小多层图片(例如 PHOTOSHOP 文件等)中的层的大小。作为另一示例，图片控制器120可以放大或缩小在包括多个关联对象的树形结构 图片(例如HTML文件等)中的对象的大小。因此，图片控制装置100以这种方式控制显示在移动终端的显示器上的图片，即， 依据通过图像识别根据照相机200获取的用户的图像而检测出的用户的动作放大或缩小 图片的大小，而无需用户对移动终端进行任何直接的物理操作。驱动器130可以响应于用户在显示器300上的触摸驱动图片控制功能。即，当显示 器300是触摸屏时，如果当再现图片时用户触摸了触摸屏300上的特定位置，则驱动器130 驱动照相机200获取用户的图像。然后，动作检测器110根据照相机200获取的用户的图像检测用户的动作，并且图片控制器120根据检测出的用户的动作控制显示在触摸屏300上的图片。请注意，照相机 200获取的用户的图像不需显示在屏幕300上。另选地，由照相机200获取的用户的图像可 以被显示在触摸屏300以外的显示屏上。
此时，图片控制器120可以放大或缩小触摸屏300上发生用户触摸的特定位置处 的图片的大小并且使其居中。即，如果用户触摸了触摸屏300上的特定位置，则驱动器130 驱动图片控制功能，并且如果动作检测器110根据照相机200获取的用户的图像检测到特 定动作，则图片控制器120放大或缩小发生用户触摸的特定位置的图片，并使其居中。因此，根据通过图像识别检测出的用户的动作可以以这样的方式控制图片，S卩，无 需用户进行任何物理操作而放大或缩小图片。动作设置单元140可以设置应该由动作检测器110检测的特定动作。即，动作设置 单元140允许用户设置将用于控制图片的特定动作，然后将其作为动作设置信息160存储 于存储器中，存储器例如只读存储器、随机存取存储器、闪存、可移动存储器或包含在处理 器中的寄存器。动作检测器110为了检测特定动作而参照被存储的动作设置信息160。图 3示出了存储的动作设置信息160的示例。如图3所示，动作设置信息160可以包含“应被 检测的动作”字段和“图片控制操作”字段。声音控制器150控制与图片控制器120所控制的图片相关联的声音。即，声音控 制器150用于控制与图片控制器120根据图像识别检测出的用户动作所控制的图片相关联 的声音。声音控制可以与图像控制同时地或分立地实现。例如，声音控制可以增大或减小通过声音输出单元400输出的与该图片相关联的 声音的音量。因此，也可以根据图像识别检测出的用户动作控制与图片关联的声音。例如， 用户增大或减小与图片关联的声音的音量，而无需进行任何物理操作。以下，将参照图2详细描述图1的具有上述结构的图片控制装置100利用图像识 别控制图片的方法。图2是例示根据示例性实施方式的图片控制方法的流程图。首先，在操作510中，确定是否收到驱动命令(驱动命令可以由于触摸移动终端的 触摸屏的特定区域等而产生)，并且是否获取了用户图像。如果驱动命令被接收并且照相机 被驱动以获取用户图像，则图片控制装置在操作520根据获取的用户图像检测特定动作。例如，由动作设置信息指示的特定动作或由默认动作信息指示的特定动作可以通 过根据用户的图像检测用户朝向照相机或远离照相机的运动而被检测。这里，可以通过识 别照相机获取的用户图像的对象大小的变化来检测用户朝向照相机或远离照相机的运动。作为另一示例，可以通过根据用户的图像检测用户向左或向右的动作来检测特定 动作。可以通过识别包含在用户的图像中的特征点的位置运动、旋转、倾斜等来检测用户向 左或向右的运动。作为另一示例，可以通过根据用户的图像检测用户左眼或右眼的眨动来检测特定 动作。可以通过识别包含在用户的图像中的对应于用户的左眼或右眼的特征点的变化来检 测用户左眼或右眼的眨动。作为另一示例，可以通过根据用户的图像检测用户的嘴唇形状来检测特定动作。可以 通过识别包含在用户的图像中的对应于用户的嘴唇的特征点的变化来检测用户的嘴唇形状。作为另一示例，可以通过根据用户的图像检测用户的脸的倾斜来检测特定动作。 可以通过识别包含在用户的图像中的特征点的位置运动、旋转或倾斜来检测用户的脸的倾斜。作 为另一示例，可以通过根据用户的图像检测用户的脸向左或向右的旋转来检测 特定动作。可以通过识别包含在用户的图像中的特征点的位置运动、旋转或倾斜来检测用 户的脸向左或向右的旋转。作为另一示例，可以通过根据用户的图像检测用户的哭丧脸来检测特定动作。可 以通过识别包含在用户的图像中的对应于用户的眼镜、鼻子和嘴唇的特征点的变化来检测 用户的哭丧脸。如果在操作520中检测到特定动作，则图片控制装置在操作530中控制显示在移 动终端的显示器上的图片。对图片的控制被保持，直到在操作540中收到结束命令。在操作530中，对图片的控制可以是放大或缩小存储于存储器中的图片或经由网 络实时传送的图片的大小。例如，在操作530中，图片控制装置可以放大或缩小单层图片 (例如JPG文件等)的整个区域或部分区域的大小。作为另一示例，在操作530中，图片控制装置100可以放大或缩小在多层图片(例 如PHOTOSHOP 文件等)中层的大小。作为另一示例，在操作530中，图片控制装置100可以放大或缩小在包括多个关联 对象的树形结构图片(例如HTML文件等)中的对象的大小。可以泛泛地检测用户的动作然后确定该动作是否是特定动作，也可以针对特定的 动作进行有针对性的检测。因此，该图片控制装置利用图像识别可以以这种方式控制显示在移动终端等的显 示器上的图片，即，根据图像识别从由照相机获取的用户的图像中检测出的用户的动作来 放大或缩小图片的大小，而无需用户进行任何物理操作。以下，将描述根据示例性实施方式的利用图像识别的图片控制装置被应用于移动 终端的示例。例如，通过以这种方式实现图片控制装置，即，如果根据照相机获取的图像检测到 用户朝向照相机的运动，则放大在显示器上显示的图片大小，并且如果从获取的图像中检 测到用户远离照相机的运动，则缩小在显示器上显示的图片，可以根据用户朝向或远离照 相机的运动来控制图片，而无需用户进行任何直接的物理操作。作为另一个示例，通过以这种方式实现图片控制装置，即，如果根据照相机获取的 图像检测到用户向左的运动，则放大在显示器上显示的图片大小，并且如果从获取的图像 中检测到用户向右的运动，则缩小在显示器上显示的图片大小，可以根据用户向左或向右 的运动来控制图片，而无需用户进行任何直接的物理操作。作为另一个示例，通过以这种方式实现图片控制装置，即，如果根据照相机获取的 图像检测到用户左眼的眨动，则放大在显示器上显示的图片大小，并且如果从获取的图像 中检测到用户右眼的眨动，则缩小在显示器上显示的图片大小，可以根据用户左眼或右眼 的眨动来控制图片，而无需用户进行任何直接的物理操作。作为另一个示例，通过以这种方式实现图片控制装置，即，如果根据照相机获取的 图像检测到用户张开他或她的嘴唇，则放大在显示器上显示的图片大小，并且如果从获取 的图像中检测到用户撅起他或她的嘴唇，则缩小在显示器上显示的图片大小，可以根据用 户嘴唇的形状来控制图片，而无需用户进行任何直接的物理操作。
作为另一个示例，通过以这种方式实现图片控制装置，S卩，如果根据照相机获取的 图像检测到用户的脸向前倾斜，则放大在显示器上显示的图片大小，并且如果从获取的图 像中检测到用户的脸向后倾斜，则缩小在显示器上显示的图片大小，可以根据用户脸的倾 斜来控制图片，而无需用户进行任何直接的物理操作。作为另一 个示例，通过以这种方式实现图片控制装置，S卩，如果根据照相机获取的 图像检测到用户的脸向左旋转，则放大在显示器上显示的图片大小，并且如果从获取的图 像中检测到用户的脸向右旋转，则缩小在显示器上显示的图片大小，可以根据用户的脸向 左或向右的旋转来控制图片，而无需用户进行任何直接的物理操作。作为另一个示例，通过以这种方式实现图片控制装置，S卩，如果从由照相机获取的 图像中检测到用户的哭丧脸，则放大在显示器上显示的图片大小，并且如果从获取的图像 中检测到用户的笑脸，则缩小在显示器上显示的图片大小，可以根据用户的表情来控制图 片，而无需用户进行任何直接的物理操作。此外，图片控制装置可以根据用户接近或远离照相机的速度，接近或离开发生的 次数，用户向左或向右移动的速度，用户向左或向右的移动发生的次数，用户眨动他或她的 左眼或右眼的速度，用户眨动他或她的左眼或右眼发生的次数，用户张开嘴唇的程度，用户 的脸倾斜的程度，用户的脸向左或向右旋转的速度，用户的脸旋转的次数或用户的哭丧脸 的程度来调整图片放大或缩小的程度。例如，可以这样地来调整图片放大或缩小的程度当用户向前倾斜一次他的脸时， 将图片大小放大至150%而当用户向前倾斜两次他的脸时，将图片大小放大至200%。上述实施方式适用于显示控制技术或其应用。对于本领域技术人员明显的是，在不脱离本发明的精神和范围的情况下，可以对 本发明进行各种修改和变型。因而，本发明旨在覆盖本发明在所附权利要求及其等同物的 范围内的修改和变型。本申请要求2009年9月24日提交的韩国专利申请第10-2009-0090650号的优先 权，此处以引证的方式并入其全部内容，用于所有目的。
权利要求
1.一种图片控制装置，该图片控制装置包括动作检测器，其根据照相机获取的图像检测特定动作；以及图片控制器，在所述动作检测器检测到所述特定动作时，所述图片控制器控制在显示 器上显示的图片。
2.根据权利要求1所述的图片控制装置，其中所述图片控制器放大或缩小所述图片的大小。
3.根据权利要求1所述的图片控制装置，其中所述图片控制器放大或缩小单层图片的 整个区域或部分区域的大小。
4.根据权利要求2所述的图片控制装置，其中所述图片控制器放大或缩小多层图片的 层的大小。
5.根据权利要求2所述的图片控制装置，其中所述图片控制器放大或缩小包括多个对 象的树形结构的图片中的对象的大小。
6.根据权利要求2所述的图片控制装置，其中所述图片控制器放大或缩小存储在存储 器中的图片的大小。
7.根据权利要求2所述的图片控制装置，其中所述图片控制器放大或缩小经由网络传 送的图片的大小。
8.根据权利要求1所述的图片控制装置，所述图片控制装置还包括驱动器，所述驱动 器用以驱动图片控制功能。
9.根据权利要求8所述的图片控制装置，其中所述驱动器响应于对触摸屏的触摸来驱 动所述图片控制功能。
10.根据权利要求9所述的图片控制装置，其中所述图片控制器放大或缩小在所述触 摸屏上发生所述触摸的位置处的所述图片的大小并使所述图片居中。
11.根据权利要求1所述的图片控制装置，所述图片控制装置还包括动作设置单元，所 述动作设置单元用以设置应该由所述动作检测器检测的所述特定动作。
12.根据权利要求1所述的图片控制装置，所述图片控制装置还包括声音控制器，所述 声音控制器用以控制与所述图片相关联的声音。
13.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测朝 向或远离所述照相机的运动。
14.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测向 左或向右的运动。
15.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测左 眼或右眼的眨动。
16.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测嘴 唇形状。
17.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测脸 朝向照相机或远离照相机的倾斜。
18.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测脸 向左或向右的转动。
19.根据权利要求1所述的图片控制装置，其中所述动作检测器根据所述图像检测哭丧脸。
20.一种图片控制方法，所述图片控制方法包括 根据照相机获取的图像检测动作；以及如果检测到的动作是特定动作，则控制在显示器上显示的图片。
21.根据权利要求20所述的图片控制方法，所述图片控制方法还包括 接收驱动命令，以检测所述动作。
22.根据权利要求20所述的图片控制方法，所述图片控制方法还包括 如果收到结束命令，则终止所述检测和所述控制。
23.根据权利要求20所述的图片控制方法，其中所述特定动作是运动的变化或面部表 情的变化。
全文摘要
本发明涉及图片控制装置和图片控制方法，该图片控制装置根据通过图像识别检测出的动作来对移动终端的显示器上显示的图像进行控制。该图片控制方法包括根据照相机获取的图像检测动作；并且如果检测出的动作是特定动作，则控制在显示器上显示的图像。
文档编号G06K9/00GK102033696SQ20101028492
公开日2011年4月27日 申请日期2010年9月17日 优先权日2009年9月24日
发明者任善彬, 全炯伯, 安胤锡, 崔成圭, 张京亚, 朴贞雅, 朴锡均, 李圣范, 李学成, 李相玟, 林源虎, 郑道源, 金燮坤 申请人:株式会社泛泰