专利名称：显示处理设备、显示处理方法和程序及移动终端设备的制作方法
技术领域：
本发明涉及可用于设有相机功能的终端设备的显示处理设备、显 示处理方法、显示处理程序以及移动终端设备，其中该终端设备包括
例如移动电话、个人手持电话系统(PHS)电话、个人数字助理(PDA) 设备、移动游戏机、笔记本型和/或桌面型个人计算机装置等等，本发 明尤其涉及以下显示处理设备、显示处理方法、显示处理程序和移动
终端设备其能够基于通过相机单元摄取的用户脸部的图像来检测例 如用户脸部的朝向和/或位置的变化，并且实时执行与检测结果相对应 的显示处理，该显示处理例如包括改变显示单元上显示的图像的显示 方向和/或显示尺寸。
背景技术：
曰本未实审专利申请公开No. 7-181939公开了 一种显示设备，其 通过检测某人无意识执行的动作来自动放大显示画面图像的一部分 和/或显示整个图像，而无需机械地操作鼠标等等。
根据上述显示设备，通过传感器来测量用户和液晶显示器之间的 距离。当测得值表明用户和液晶显示器之间的距离较大时，存储器中 存储的图像数据以缩小图像的形式被显示在液晶显示器上。如果测得 值表明该距离较小，则存储器中存储的图像数据以放大图像的形式被 显示在液晶显示器上。
发明内容
但是，日本未实审专利申请公开No. 7-181939中公开的显示设备 设有专门设计来测量用户和液晶显示器之间的距离的传感器。因此，显示设备本身可能变成大尺寸的设备。
因此，本发明提供了这样一种显示处理设备、显示处理方法、显 示处理程序和移动终端设备，其能够在无需使用专门设计的传感器的 情况下，通过小型结构，基于用户脸部的位置和/或角度的变化来改变 显示单元上显示的图像的显示方向和/或显示尺寸并且显示该图像。
因此，根据本发明实施例的一种显示处理设备包括脸部图像检 测单元，被配置为基于从设在壳体上的相机单元发送来的成像输出数 据来检测用户脸部的图像；位置/角度变化检测单元，被配置为检测通 过脸部图像检测单元检测到的用户脸部图像的位置的变化和通过脸 部图像检测单元检测到的用户脸部图像的脸部角度的变化；以及显示 控制单元，被配置为在显示单元上显示预定的显示图像，根据通过位 置/角度变化检测单元检测到的用户脸部图像在X轴方向和Y轴方向 上发生的位置变化来对显示单元上显示的显示图像执行显示位置移 动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用 户脸部图像的脸部角度的变化来认行旋转处理以获得从脸部角度观 看的显示图像，并且在显示单元上显示所获得的显示图像。
根据本发明的实施例，基于从设在壳体上的相机单元输出的摄取 数据来检测用户脸部的图像。另夕卜，基于所检测到的用户脸部图像在 X轴方向和Y轴方向上的位置变化来对脸部图像的显示位置执行移动 处理，并将脸部图像显示在显示单元上。另外，基于Z轴方向上的位 置变化来执行放大/缩小处理，并且基于用户脸部图像的角度变化来对 脸部图像执行旋转处理以获得从上述脸部角度观看的显示图像，并且 将显示图像显示在上述显示单元上。
根据本发明的实施例，对通过设在壳体上的相机单元摄取的用户 脸部的图像进行分析以检测用户脸部的位置和/或角度的变化。另外， 可以基于检测到的用户脸部的位置和/或角度的变化来改变显示单元 上显示的图像的显示方向和/或显示尺寸，并且可以显示脸部图像。使 用设在壳体上的相机单元使得可以通过小型结构来实现上述处理，而 无需使用专门设计的传感器。
图l是根据本发明实施例的移动电话的框图2A示出了上述移动电话的外部视图2B示出了上述移动电话的另一外部视图3是示出了上述移动电话中基于正面相机图像(front camera image )对显示图像执行的显示处理操作的流程的流程图4是示出上述移动电话的示例性使用的示意图5是示出基于通过上述移动电话获得的正面相机图像对备用 图像执行的放大/缩小处理的示意图6是示出基于通过上述移动电话获得的正面相机图像对备用 图像执行的移动显示处理的示意图7A是示出基于通过上述移动电话获得的正面相机图像对备用 图像执行的旋转显示处理的示意图7B是示出基于通过上述移动电话获得的正面相机图像对备用 图像执行的旋转显示处理的另一示意图7C是示出基于通过上述移动电话获得的正面相机图像对备用 图像执行的旋转显示处理的另 一示意图8A是示出在上述移动电话中基于正面相机图像对备用图像执 行的其他显示处理的另一示意图8B是示出在上述移动电话中基于正面相机图像对备用图像执 行的其他显示处理的另一示意图9是示出在主相机单元的使用期间在上迷移动电话中执行的 变焦控制操作的流程的流程图。
具体实施例方式
本发明可用于移动电话。
[移动电话的电学配置
首先，图l示出了根据本发明一个实施例的移动电话的框图。如图1所示，上述的移动电话包括天线l和通信电路2、扬声器单元3、 麦克风单元4、显示单元5、操作单元6以及发光二极管(LED)单 元7，其中，该天线1和通信电路2在基站和移动电话之间执行无线 通信，所述无线通信包括语音会话、TV电话会话、电子邮件传输、 万维网(Web)数据等等，扬声器单元3被配置为发送所接收到的语 音数据等数据，麦克风单元4被配置为收集例如用于发送的语音数据， 显示单元5被配置为显示操作菜单、电子邮件、图像(静止图像和视 频)等等，操作单元6设有包括十字键、输入键、数字键等在内的多 个操作键，LED单元7被配置为以光的方式将例如呼入和/或呼出通 知给用户。
另外，上述的移动电话包括所谓的自拍正面相护u单元8、主相护" 单元9、振动单元10、计时器11以及所谓的三轴加速度传感器12， 其中，该正面相机单元8用来摄取例如移动电话的用户的静止图像和 /或视频，主相机单元9被配置为摄取适当主体的静止图像和/或视频， 振动单元10被配置为通过使移动电话壳体振动来将例如呼入和/或呼 出通知给用户，计时器11被配置为计数时间，并且加速度传感器12 -故配置为检测三个轴方向(即，X轴方向、Y轴方向和Z轴方向)上 的加速度。
另外，上述的移动电话包括存储器13和控制单元14,其中，存 储器13存储有用来经由上述基站进行无线通信处理的通信程序和/或 各类应用程序以及上述应用程序所处理的各类数据项(内容)等等， 控制单元14被配置为控制整个移动电话的操作。
除了上述的通信程序之外，存储器13还存储脸部识别处理程序、 显示处理程序以及相机控制程序，其中，该脸部识别处理程序用来对 主要由正面相机单元8摄取的图像中显示的用户脸部图像执行识别处 理，该显示处理程序用来根据基于脸部识别处理程序识別出的用户脸 部的位置的变化来改变显示单元5上显示的图像的显示方向和/或显 示尺寸，该相才几控制程序控制正面相机单元8和/或主相机单元9的成 像，并且具有对被摄取的静止图像和/或视频的查看功能。另外，存储器13存储电子邮件管理程序、日程簿管理程序、Web 浏览程序、电话簿管理程序以及音乐播放器程序，其中，该电子邮件 管理程序用来控制电子邮件的生成和/或接发，日程簿管理程序用来管 理记录有用户日程的日程簿数据，Web浏览程序用来浏览设在预定网 络(包括通信网络、因特网等等)上的服务器设备所发表的网页，电 话簿管理程序用来管理电话簿数据，音乐播放器程序用来再现音乐内 容。
另外，存储器13存储记录有用户预定的日程数据的日程簿数据； 用来登记用户姓名数据(包括用户的熟人、朋友等等的姓名)、静止 图像(脸部的照片等等)的数据、地址数据、电话号码数据、电子邮 件地址数据、生日数据等等的电话簿数据；基于音乐播放器程序再现 的音乐内容；基于相机控制程序的查看功能被再现的静止图像内容和
视频内容；发送和接收的电子邮件内容；以及电话呼叫和电子邮件的 传入和传出历史的数据，等等。
[移动电话的外部构造
图2A和2B是上述移动电话的正视图和后视图。如图2A和2B 所示，上述的移动电话例如具有所谓的直板(直棒)形状。
如闺2A所示，上述的显示单元5被设置在与壳体21的正面部 分21a的上半部分大致对应的区域上，并且上述的操作单元6被设置 在与正面部分21a的下半部分大致对应的区域上。在正面部分21a上， 上述的扬声器单元3被配置为输出所接收的语音数据，并且上述的自 拍正面相机单元8被设置在显示单元5的上端部5a和壳体21的上端 部21b之间。
另外，上述的用来收集例如用于发送的语音数据的麦克风单元4 被设置在操作单元6的下端部6a和壳体21的下端部21c之间。另外， 如图2B所示，用于为预定主体摄像的主相机单元9被设置在壳体21 的背面部分21d上靠近壳体21的上端部21b的位置处。[基于正面相机图像对显示图像数据执行的显示处理操作J
上述的移动电话根据通过自拍正面相机单元8摄取的用户脸部 图像的位置和/或角度的变化来改变显示单元5上显示的图像的显示 方向和/或显示尺寸，并且显示图像。图3是示出为了根据用户脸部的 位置和/或角度的变化来改变显示单元5上显示的备用图像的显示方 向和/或显示尺寸而执行的显示处理操作的流程的流程图。
首先，控制单元14基于存储在存储器13中的显示处理程序来充 当显示控制单元，以便从存储器13中读取绘图对象信息，绘图对象 信息包括要绘制的对象的多边形数据、顶点坐标数据、顶点颜色数据 以及紋理坐标数据、放置在多边形表面上的紋理数据、关于施加到对 象的光的强度、方向等各种信息。然后，控制单元14基于绘图对象 信息对作为预定的三维图像而提供的备用图像数据执行绘图处理，并 且在显示单元5上显示备用图像，从而图3的流程图所示的处理过程 -故启动。
在步骤SO,控制单元14判断键当前是否被用户锁定(判断锁键 功能被开启还是被关闭)。如果确定锁键功能被关闭，则控制单元14 使处理前进到步骤Sl。
即，当设置在例如上述的移动电话的壳体的侧面部分上的锁键按 钮被操作时，对移动电话上设置的键中的一部分和/或全部执行的操作 被取消，也就是说，锁键功能被开启。因此，在步骤S0，控制单元 14在执行下述的处理过程之前判断锁键功能是被开启还是关闭。然 后，如果确定锁键功能被关闭，则控制单元14使处理前进到步骤S1。
接下来，在步骤S1，控制单元14通过监视从图l所示的加速度 传感器12输出的传感器数据来判断移动电话的壳体21是否被移动。 然后，控制单元14使处理前进到步骤S2，以便在检测到壳体21的移 动时启动正面相机单元8。
即，在等待通过移动电话传输的电话呼入和/或传入电子邮件的 同时，用户经常将移动电话放置在桌面上、充电器上等等。在这种情 况下，移动电话进入静止状态。如果在静止状态期间启动正面相机单元8来基于正面相机图像对显示图像执行显示处理(下文将描述)， 则会浪费电能。
另外，当基于正面相机图像对显示图像执行显示处理(下文将描 述)时，用户用他的手握住并举起移动电话，从而他的脸部的图像通 过正面相机单元8被摄取，如图4所示。结果，壳体21发生移动。 因此，在步骤S1，控制单元14基于从加速度传感器12输出的传感器 数据来判断是否由于用户握住并举起移动电话而发生了壳体移动。如 果检测到壳体移动，则在步骤S2启动正面相机单元8。因而可以防止 在移动电话处于静止状态时启动正面相机单元8，从而防止了浪费电 能。
另外，即使正面相机单元8已被启动，控制单元14也间歇地和/ 或连续地监视从加速度传感器12输出的传感器数据。然后，当在一 段预定时间中连续检测到从加速度传感器12输出的传感器数据项并 且该传感器数据项表明移动电话的壳体21处于静止状态时，执行控 制以便停止已被启动的正面相机单元8。
当在正面相机单元8已被启动的情况下，在预定的时间段中连续 检测到从加速度传感器12输出的传感器数据项并且该传感器数据项 表明移动电话处于静止状态时，很有可能移动电话被放置在了桌子、 克电器上等等。因此，在这种情况下，很有可能无用地启动了正面相 机单元8。因此，当在一段预定时间中连续从加速度传感器12检测到 表明移动电话的壳体21处于静止状态的传感器输出数据项时，控制 单元14执行控制，使得已启动的正面相机单元8被停止。从而可以 防止浪费电能。
接下来，当正面相机单元8被启动时，控制单元14使处理前进 到步骤S3,并且基于存储在存储器13中的脸部识别处理程序来充当 脸部图像检测单元。然后，控制单元14检测通过正面相机单元8摄 取的图像中显示的用户脸部部分。如果在通过正面相机单元8摄取的 图像中显示多个用户的脸部，则控制单元14仅识别最大的用户脸部。
接下来，在步骤S4，控制单元14判断上述的脸部识别处理是否-故正确地执行，并且在确定脸部识别处理被正确地执行时使处理前进
到步骤S5。在步骤S5，控制单元14临时存储关于识别出的用户脸部 的位置、尺寸、角度等等的信息作为初始脸部信息，并使处理前进到 步骤S6或之后的步骤。
在步骤S6或之后的步骤，控制单元14基于存储在存储器13中 的脸部识别处理程序充当位置变化检测单元。从而，控制单元14基 于通过正面相机单元8摄取的图像来检测用户脸部的当前位置、当前 尺寸和当前角度的变化，该变化是参照临时存储在存储器13中的初 始脸部信息所指示的用户脸部的位置、尺寸和角度来检测的。
例如，控制单元14通过使用例如日本未实审专利申请^^开 No.2004-133637中公开的技术来检测X轴方向、Y轴方向和Z轴方向 上的用户脸部的位置移动，该技术被实现来将包括关于脸部的亮度值 分布的信息的模板数据与静止图像数据进行匹配。
更具体而言，首先，准备至少两类图像的数据，该图像数据是通 过将通过正面相机单元8摄取的图像(帧图像=静止图像)的数据 缩小而获得的。然后，准备一组脸部亮度分布信息模板的数据，该数 据是在用户倾斜头部时获得的。然后，将这些模板依次与上述的图像 进行匹配。上述的模板朝着脸部三维矩形坐标系统的X轴、Y轴和Z 轴中的每一个倾斜。控制单元14通过将缩小的图像与模板进行匹配 来检测静止图像中显示的用户脸部的倾斜度。
另外，当模板一边在二维平面上移动一边与缩小的摄取图像进行 匹配并且某个区域与模板匹配时，意味着该区域与显示脸部图像的位 置相对应。可基于真实图像数据的缩小率来获得区域尺寸。另外，基 于这时使用的模板可获得相对于三个正交轴的旋转角度、偏转(yaw )、 俯仰(pitch)以及滚动(roll)。
在通过执行上述的脸部识别处理来检测到用户脸部的移动方向 和旋转角度(脸部角度)之后，控制单元14在步骤S6判断用户脸部 图像的当前尺寸是否因为用户脸部在靠近正面相机单元8的方向(Z 轴方向)上移动而有所增大从而使得该尺寸变得大于初始脸部信息所指示的脸部图像的尺寸。然后，如果确定用户脸部图像的当前尺寸有
所增大，则控制单元14使处理前进到步骤S11。
如果处理前进到步骤Sll，则控制单元14基于存储在存储器13 中的显示处理程序充当显示控制单元。从而，控制单元14执行重绘 处理，以便放大显示单元5上显示的备用图像，以使脸部图像具有与 存储器13临时存储的初始脸部信息所指示的脸部尺寸与当前脸部尺 寸之差相对应的大尺寸。然后，控制单元14在显示单元5上显示放 大后的备用图像，并使处理前进到步骤SIO。
接下来，如果在上述的步骤S6确定用户脸部的尺寸未被增大， 则控制单元14使处理前进到步骤S7，以便判断用户脸部图像的当前 尺寸是否因为用户脸部(在Z轴方向上)远离正面相机单元8而有所 减小从而使得该尺寸变得小于初始脸部信息所指示的脸部图像的尺 寸。然后，如果确定用户脸部图像的当前尺寸有所减小，则控制单元 14使处理前进到步骤S12。
当处理前进到步骤S12时，控制单元14基于存储在存储器13 中的显示处理程序充当显示控制单元。从而，控制单元14执行重绘 处理，以便缩小显示单元5上显示的备用图像，以使脸部图像具有与 存储器13临时存储的初始脸部信息所指示的脸部尺寸与当前脸部尺 寸之差相对应的小尺寸。然后，控制单元14在显示单元5上显示缩 小后的备用图像，并使处理前进到步骤SIO。
图5的部分(a)、 (b) 、 (c) 、 (d)示出了上述的放大/缩 小处理的具体例子。图5中的部分(a)和(b)中的每一个示出了用 户脸部的图像，该图像是通过正面相机单元8摄取的，图5中的部分 (c)和(d)中的每一个示出了显示单元5上显示的备用图像。
当用户如图5的部分(a)和(b)中所示按该顺序使得其脸部靠 近正面相机单元8时，控制单元14执行重绘处理，以便如图5的部 分(c)和(d)中所示按该顺序放大备用图像，并且将放大后的备用 图像显示在显示单元5上。
相反，当用户如图5的部分(b)和(a)中所示按该顺序使得其脸部远离正面相机单元8时，控制单元14执行重绘处理，以《更如图5 的部分(d)和(c)中所示按该顺序缩小备用图像，并且将缩小后的 备用图像显示在显示单元5上。
这样，当用户使脸部靠近和/或远离正面相机单元8时，显示单 元5上显示的备用图像被放大和/或缩小来显示。
接下来，如果在上述的步骤S7判定用户脸部图像的尺寸未被减 小，则控制单元14使处理前进到步骤S8，以便判断用户脸部图像的 当前位置相对于上述初始脸部信息所指示的脸部位置(初始脸部位 置)是否由于在不改变用户和正面相机单元8之间的距离的情况下用 户在X轴方向和/或Y轴方向上移动而有所改变，所述X轴方向和/ 或Y轴方向包括向上方向、向下方向、向左方向、向右方向、倾斜方 向，等等。如果判定用户脸部图像的位置有所改变，则控制单元14 使处理前进到步骤S13。
当处理前进到步骤S13时，控制单元14基于存储在存储器13 上的显示处理程序充当显示控制单元。从而，控制单元14基于临时 存储在存储器13中的初始脸部信息所指示的初始脸部位置以及当前 脸部位置来检测用户脸部的移动方向，并且执行重绘处理，以便通过
用图像来生成一备用图像。然后，控制单元14在显示单元5上显示 该备用图像并使处理前进到步骤SIO。
图6的部分U)、 (b)、 (c)和(d)中的每一个示出了上述 的移动处理的具体例子。图6中的部分(a)和(b)中的每一个示出 了用户脸部的图像，该图像是通过正面相机单元8摄取的，图6中的 部分(c)和(d)中的每一个示出了显示单元5上显示的备用图像。
当用户如图6的部分(a)和(b)中所示按该顺序在向右方向上 移动脸部时，控制单元14执行重绘处理，以便获得通过如图6的部 分(c)和(d)中所示按该顺序在向右方向上移动显示单元5上显示 的备用图像而生成的备用图像，并且将所获得的备用图像显示在显示 单元5上。相反，当用户如图6的部分(b)和(a)中所示按该顺序在向左 方向上移动脸部时，控制单元14执行重绘处理，以便获得通过如图6 的部分(d)和(c)中所示按该顺序在向左方向上移动显示单元5上 显示的备用图像而生成的备用图像，并且将所获得的备用图像显示在 显示单元5上。
根据图6的部分(a)至(d)，用户示例性地在向右方向和/或 向左方向上移动脸部。 <旦是，即^f吏用户在向上方向、向下方向和倾斜 方向上移动脸部，控制单元14也会执行重绘处理以便获得通过在与 用户脸部的移动方向相对应的方向上移动备用图像而生成的备用图 像，并将所获得的备用图像显示在显示单元5上，这与上述实施例的 情况一样。
从而，当用户相对于正面相机单元8在垂直方向、7jc平方向和倾 斜方向上移动其脸部时，显示单元5上显示的备用图像在垂直方向、 水平方向和倾斜方向上^皮移动以进^f亍显示。
接下来，如果在上述的步骤S8判定用户脸部的位置未被改变， 则控制单元14使处理前进到步骤S9，并且判断用户脸部的角度是否 有所改变(=脸部朝向是否有所改变)。如果判定用户脸部图像的角 度有所改变，则控制单元14使处理前进到步骤S14。
当处理前进到步骤S14时，控制单元14基于存储在存储器13 上的显示处理程序充当显示控制单元。从而，控制单元14检测临时 存储在存储器13中的初始脸部信息所指示的脸部角度以及当前脸部 角度之间的差异，并且执行重绘处理以获得从与检测到的差异相对应 的脸部角度观看的备用图像。然后，控制单元14将该备用图像显示 在显示单元5上，并且使处理前进到步骤SIO。
图7A、 7B和7C中的每一个示出了根据上述的脸部角度执行的 显示处理的例子。图7A示出了用户在向左方向上旋转其脸部的例子。 在该情况下，控制单元14执行重绘处理，以便获得通过在向右方向 上旋转显示单元5上显示的备用图像而生成的备用图像，从而执行重 绘处理来获得显示上述备用图像的对象的备用图像，其中该对象是从左侧倾斜方向上观看的，并且控制单元14将所获得的备用图像显示 在显示单元5上。
图7B示出了用户在向下方向上旋转脸部的例子。在该情况下， 控制单元14执行重绘处理，以便获得通过在向下方向上旋转显示单 元5上显示的备用图像而生成的备用图像，从而执行重绘处理来获得 显示上述备用图像的对象的备用图像，其中该对象是从上方倾斜方向 上观看的，并且控制单元14将所获得的备用图像显示在显示单元5 上。
图7C示出了用户在左上倾斜方向上旋转脸部的例子。在该情况 下，控制单元14执行重绘处理，以便获得通过在右上倾斜方向上旋 转显示单元5上显示的备用图像而生成的备用图像，从而执行重绘处 理来获得显示上述备用图像的对象的备用图像，其中该对象是从左下 倾斜方向上观看的，并且控制单元14将所获得的备用图像显示在显 示单元5上。
从而，当用户在垂直方向和水平方向或者向上倾斜方向和向下倾 斜方向上移动脸部时，重绘处理被执行，以使得显示单元5上显示的 备用图像成为从用户脸部的旋转方向上观看的备用图像，并且该备用 图像被显示在显示单元5上。
接下来，当通过执行上述重绘处理而使处理前进到步骤S10时， 控制单元14监视操作单元6的操作状态，以便判断用户是否决定终 止用来基于正面相机图像对显示图像执行显示处理的应用程序。然 后，随着用户脸部图像的位置被移动，上述的备用图像被反复绘制， 直到检测到终止该应用程序的决定为止。在检测到终止该应用程序的 决定时，图3的流程图中所示的整个处理结束。
在上述实施例中，基于用户脸部的移动位置、旋转方向等等来重 绘三维备用图像以进行显示。但是，如图8A和8B所示，可以预先准 备与用户脸部的移动位置、旋转方向等等相对应的多个备用图像。另 外，可以从这多个备用图像中选择与实际检测到的用户脸部的移动位 置和/或旋转方向相对应的备用图像来显示。[在主相机单元的使用期间执行的变焦控制操作
当根据上述实施例的移动电话使用设有变焦功能的主相机单元
9来进行成像时，控制单元14实时地在显示单元5上显示当前通过主 相机单元9摄取的图像。用户实时地一边查看显示单元5上显示的摄 取图像一边确定时间，并且在期望的时间按压和操作快门按钮，从而 使得适当的静止图像被摄取。当通过使用上述的主相机单元9来进行 成像时，控制单元14基于主相机单元9和用户脸部之间的距离来对 主4目才几单元9的变焦功能执4亍拉近(zoom画up) /推远(zoom-down) 控制。
图9是示出在主相机单元9的使用期间执行的变焦控制操作的流 程的流程图。在用户执行操作来指定使用主相机单元9进行成像时， 控制单元14进行控制，从而使主相机单元9被启动。同时，控制单 元14基于存储器13中存储的显示处理程序来启动图9的流程图中示 出的处理。
首先，控制单元14启动正面相机单元8并使处理前进到步骤 S21。在步骤S21，控制单元14基于存储在存储器13中的脸部识别处 理程序充当脸部图像检测单元。然后，控制单元14检测通过正面相 机单元8摄取的图像中示出的用户脸部部分。如果在通过正面相机单 元8摄取的图像中示出了多个用户的脸部，则控制单元14如上所述 仅识别最大的用户脸部。
接下来，在步骤S23,控制单元14判断上述脸部识别处理是否 被正确地执行，并且在判定脸部识别处理被正确执行的情况下使处理 前进到S24。在步骤S24,控制单元14将包括有关所识别的用户脸部 的位置、尺寸、角度等的信息在内的初始脸部信息临时存储在存储器 13中，并使处理前进到步骤S25。
在步骤S25，控制单元14基于存储在存储器13中的脸部识别处 理程序充当位置变化检测单元。从而，控制单元14判断通过正面相 机单元8摄取的用户脸部图像的尺寸相对于存储器13中临时存储的初始脸部信息所指示的用户脸部尺寸是否由于用户使其脸部靠近正
面相机单元8而有所增大。如果判定用户脸部图像的尺寸有所增大， 则控制单元14使处理前进到步骤S28。
如果处理前进到步骤S28,则控制单元14对主相机单元9执行 拉近控制，以便实现与存储器13中临时存储的初始脸部信息所指示 的脸部尺寸和当前脸部尺寸之间的差异相对应的放大率，并且使处理 前进到步骤S27。因而，当用户使其脸部靠近正面相机单元8时，通 过主相机单元9摄取的对象图像被放大并摄取。
接下来，如果在上述的步骤S25判定用户脸部图像的尺寸未被增 大，则控制单元14使处理前进到步骤S26，以便判断通过正面相机单 元8摄取的用户脸部图像的尺寸相对于存储器13中临时存储的初始 脸部信息所指示的用户脸部图像的尺寸是否由于用户脸部远离正面 相机单元8移动而有所减小。如果判定用户脸部图像的尺寸有所减小， 则控制单元14使处理前进到步骤S29。
如果处理前进到步骤S29,则控制单元14对主相机单元9执行 推远控制，以便实现与存储器13中临时存储的初始脸部信息所指示 的脸部尺寸和当前脸部尺寸之间的差异相对应的缩小率，并且使处理 前进到步骤S27。从而，当用户使其脸部远离正面相机单元8时，通 过主相机单元9摄取的对象图像被缩小并摄取。
接下来，当对主相机单元9执行上述拉近/推远控制从而使处理 前进到步骤S27时，控制单元14通过监视操作单元6的操作状态来 判断用户是否执行了用于指定终止通过使用主相机单元9执行的成像 的操作。然后，控制单元14根据用户脸部和正面相机单元8之间的 距离的变化反复对主相机单元9执行拉近/推远控制，直至检测到为指 定终止通过主相机单元9执行的成像而执行的操作为止。然后，在检 测到为指定终止通过主相机单元9执行的成像而执行的操作时，控制 单元14终止图9的流程图所示的整个流程。
由于控制单元14如上所述基于用户脸部和正面相机单元8之间 的距离来对主相机单元9执行拉近/推远控制，因此用户可通过使其脸部靠近和/或远离正面相机单元8来对主相机单元9执行拉近操作和/ 或推远操作。当通过操作按钮来执行拉近操作和/或推远操作时，可能 由于按钮操作而发生相机抖动。但是，根据上述实施例的移动电话可 以减少上述相机抖动的发生。[实施例的优点从上述描述清楚可见，上述实施例的移动电话通过设在壳体21 上的自拍正面相机单元8来摄取用户脸部的图像。控制单元14基于 通过正面相机单元8摄取的用户脸部图像来检测用户脸部位置的移动 和/或脸部角度的变化。然后，控制单元14基于脸部的移动位置和/ 或脸部角度的变化来使诸如备用图像之类的预定图像数据经受包括 放大、缩小、水平和垂直移动、旋转等在内的处理，并且显示该预定 图像数据。从而，显示单元5上显示的上述备用图像等可被改变成从 用户脸部的位置观看的备用图像并被显示。另外，使用设置于壳体21上的正面相机单元8使得可以在无需 使用专门设计的传感器的情况下通过小型结构来实现上述实施例。另夕卜，由于基于正面相机单元8和用户脸部之间的距离来对主相 机单元9执行拉近/推远控制，用户可以通过使其脸部靠近和/或远离 正面相机单元8来对主相机单元9执行拉近操作/推远操作。因此，可 以不通过操作按钮来执行拉近操作/推远操作，这防止了按钮操作导致 的相枳j+动。[示例性的修改虽然移动电话被用于实现本发明的上述实施例，但是包括PHS 电话、PDA设备、移动游戏机、笔记本型和/或桌面型个人计算机装 置等在内的终端设备也可被使用。使用任何上述设备都可获得相同优 点。本发明包含与2008年6月2日向日本专利局提交的日本专利申 请JP 2008-145044中公开的内容相关的主题，特此通过引用将该申请的全部内容并入。本领域的技术人员应当理解，取决于设计要求和其他因素，可以 进行各种修改、组合、子组合和变更，而不限于上述实施例，只要它 们处于所附权利要求或其等同物的范围之内。
权利要求
1.一种显示处理设备，包括脸部图像检测单元，被配置为基于从设在壳体上的相机单元发送来的成像输出数据来检测用户脸部的图像；位置/角度变化检测单元，被配置为检测通过所述脸部图像检测单元检测到的用户脸部图像的位置的变化和通过所述脸部图像检测单元检测到的用户脸部图像的脸部角度的变化；以及显示控制单元，被配置为在显示单元上显示预定的显示图像，根据通过所述位置/角度变化检测单元检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显示图像。
2. 根据权利要求1所述的显示处理设备，还包括 移动检测单元，被配置为检测所述壳体的移动；以及控制单元，被配置为执行控制以便停止至少所述脸部图像检测单 元和所述位置/角度变化检测单元直到所述移动检测单元检测到所述 壳体的移动为止，控制所述脸部图像检测单元和所述位置/角度变化检 测单元以便在通过所述移动检测单元检测到所述壳体的移动时启动 对所述脸部图像的检测以及对所述脸部图像的位置和所述脸部角度 中每一个的变化的检测，并且执行控制以便在从通过所述移动检测单 元检测到所述壳体的静止状态起经过预定的时间时停止所述脸部图 像检测单元和所述位置/角度变化检测单元。
3. 根据权利要求1所述的显示处理设备，还包括用作所述相 机单元的、用于摄取用户脸部图像的正面相机单元和用于摄取适当的 主体的图像的、设有变焦功能的主相机单元，其中，所述显示控制单元实时地在所述显示单元上显示通过所述主相机单元摄取的摄取图像，还包括控制单元，该控制单元被配置为控制所述主相机单元的变 焦功能，以便当检测到基于通过所述正面相机单元摄取的用户脸部图像通过所述位置/角度变化检测单元检测到的z轴方向上的至少一个位置变化中的发生在靠近所述正面相机单元的方向上的位置变化时， 根据所述发生在靠近所述正面相机单元的方向上的位置变化来对通 过所述主相机单元摄取的主体图像执行拉近，并且被配置为控制所述 主相机单元的变焦功能，以便当检测到基于通过所述正面相机单元摄 取的用户脸部图像通过所述位置/角度变化检测单元检测到的z轴方 向上的至少一个位置变化中的发生在远离所述正面相机单元的方向 上的位置变化时，根据所述发生在远离所述正面相护b单元的方向上的 位置变化来对通过所述主相机单元摄取的主体图像执行推远。
4. 一种显示处理方法，包括以下步骤通过脸部图像检测单元基于从设在壳体上的相机单元发送来的 成像输出数据来检测用户脸部的图像；通过位置/角度变化检测单元检测在上述步骤中检测到的用户脸 部图像的位置的变化和在上述步骤中检测到的用户脸部图像的脸部 角度的变化；以及通过显示控制单元在显示单元上显示预定的显示图像，根据在上 述步骤中检测到的用户脸部图像在X轴方向和Y轴方向上发生的位 置变化来对所述显示单元上显示的显示图像的显示位置执行移动处 理，基于Z轴方向上的位置变化来执行放大/缩小处理，根据用户脸;的显示图《:，并且在^f述显示单元上显示所获;寻的显示图;象。
5. —种显示处理程序，用来使计算机充当脸部图像检测单元，该脸部图像检测单元被配 置为基于从设在壳体上的相机单元发送来的成像输出数据来检测用 户脸部的图像；用来使所述计算机充当位置/角度变化检测单元，该位置/角度变化检测单元被配置为检测通过使所述计算机充当所述脸部图像检测 单元而检测到的用户脸部图像的位置的变化和通过使所述计算机充 当所述脸部图像检测单元而检测到的用户脸部图像的脸部角度的变化；以及用来使所述计算机充当显示控制单元，该显示控制单元被配置为 在显示单元上显示预定的显示图像，根据通过使所述计算机充当所述 位置/角度变化检测单元而检测到的用户脸部图像在X轴方向和Y轴 方向上发生的位置变化来对所述显示单元上显示的显示图像的显示 位置执行移动处理，基于Z轴方向上的位置变化来执行放大/缩小处 理，根据用户脸部图像的脸部角度的变化来执行旋转处理以获得从所 述脸部角度观看的显示图像，并且在所述显示单元上显示所获得的显 示图像。
6. —种移动终端设备，包括设在壳体上的相机单元；脸部图像检测单元，被配置为基于从所述相机单元发送来的成像 输出数据来检测用户脸部的图像；位置/角度变化检测单元，被配置为检测通过所述脸部图像检测 单元检测到的用户脸部图像的位置的变化和通过所述脸部图像检测 单元检测到的用户脸部图像的脸部角度的变化；显示单元，被配置为显示预定的显示图像；以及显示控制单元，被配置为在所述显示单元上显示所述预定的显示 图像，根据通过所述位置/角度变化检测单元检测到的用户脸部图像在 X轴方向和Y轴方向上发生的位置变化来对所述显示单元上显示的显 示图像的显示位置执行移动处理，基于Z轴方向上的位置变化来执行 放大/缩小处理，根据用户脸部图像的脸部角度的变化来执行旋转处理 以获得从所述脸部角度观看的显示图像，并且在所述显示单元上显示 所获得的显示图像。
全文摘要
本发明提供了显示处理设备、显示处理方法和程序及移动终端设备。该显示处理设备包括脸部图像检测单元，基于从设在壳体上的相机单元输出的成像数据来检测用户脸部图像；位置/角度变化检测单元，检测用户脸部图像的位置的变化和脸部角度的变化；以及显示控制单元，在显示单元上显示预定的图像，根据检测到的用户脸部图像在X轴方向和Y轴方向上发生的位置变化来移动显示图像的位置，基于Z轴方向上的位置变化来执行放大/缩小处理，根据脸部角度的变化来执行旋转处理以获得从脸部角度观看的显示图像，并且在显示单元上显示所获得的图像。
文档编号G01B11/26GK101599267SQ20091020314
公开日2009年12月9日 申请日期2009年6月2日 优先权日2008年6月2日
发明者今井秀明, 石田明宽, 花见伊登子, 高塚进 申请人:索尼爱立信移动通信日本株式会社