通信功能。
[0246] 无线通信部210根据主控制部200的命令，对容纳于移动通信网NW的基站装置BS进 行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等 的收发及Web数据或流数据等的接收。
[0247] 显示输入部220是所谓的触摸面板，其具备显示面板221及操作面板222,所述显示 输入部通过主控制部200的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性 地向用户传递信息，并且检测用户对所显示的信息的操作。
[0248] 显不面板221 是将LCD(LiquidCrystalDisplay)、0ELD(0rganicElectro- LuminescenceDisplay)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显 示面板221的显示面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个 或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信 号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操 作位置(坐标）。
[0249]图21所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面 板221与操作面板222成为一体而构成显示输入部220,配置成操作面板222完全覆盖显示面 板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的 功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域（以下， 称为显示区域）、及针对除此以外的不与显示面板221重叠的外缘部分的检测区域（以下，称 为非显示区域）。
[0250]另外，可使显示区域的大小与显示面板221的大小完全一致，但无需一定要使两者 一致。并且，操作面板222可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外 缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置 检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式 或静电电容方式等，还可以采用任意方式。
[0251] 通话部230具备扬声器231和麦克风232,所述通话部将通过麦克风232输入的用户 的语音转换成能够在主控制部200中处理的语音数据而输出至主控制部200,并对通过无线 通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图 21所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风 232搭载于框体202的侧面。
[0252]操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图21所示，操 作部240搭载于智能手机201的框体202的侧面，是用手指等按下时开启，手指离开时通过弹 簧等的复原力而成为关闭状态的按钮式开关。
[0253]存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名 称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的 Web数据及已下载的内容数据，并且临时存储流数据等。并且，存储部250由智能手机内置的 内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储 部250的各个内部存储部251与外部存储部252通过使用闪存类型(flashmemorytype)、硬 盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的 存储器（例如，MicroSD(注册商标）存储器等）、RAM(RandomAccessMemory)或R0M(Read OnlyMemory)等存储介质来实现。
[0254]外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用 于通过通信等（例如，通用串行总线(USB)、IEEE1394等）或网络（例如，互联网、无线LAN、蓝 牙（Bluetooth)(注册商标）、RFID(RadioFrequencyIdentification)、红外线通信 (InfraredDataAssociation:IrDA)(注册商标）、UWB(UltraWideband)(注册商标）或紫 蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
[0255]作为与智能手机201连结的外部设备，例如有:有/无线头戴式耳机、有/无线外部 充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(Subscriber IdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线 连接的智能手机、有/无线连接的个人计算机、有/无线连接的TOA、有/无线连接的个人计算 机、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201 内部的各构成要件、或将智能手机201内部的数据传送至外部设备。
[0256]GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1~STn发送的GPS信号， 执行基于所接收的多个GPS信号的测位运算处理，检测包括智能手机201的炜度、经度、高度 的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取 位置信息时，还能够利用该位置信息检测位置。
[0257]动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智 能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向 或加速度。该检测结果被输出至主控制部200。
[0258]电源部290根据主控制部200的命令，向智能手机201的各部供给积蓄在电池(未图 示）中的电力。
[0259]主控制部200具备微处理器，根据存储部250所存储的控制程序或控制数据进行动 作，统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通 信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
[0260]应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实 现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外 线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
[0261]并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静态图像或 动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控 制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入 部220的功能。
[0262]而且，主控制部200执行对显示面板221的显示控制及检测通过操作部240、操作面 板222进行的用户操作的操作检测控制。
[0263]通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件 键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法落入显示面板221的 显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
[0264]并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作， 或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接 受通过滚动条进行的显示图像的滚动请求。
[0265]而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置 是与显示面板221重叠的重叠部分（显示区域)还是除此以外的不与显示面板221重叠的外 缘部分(非显示区域），并控制操作面板222的感应区域或软件键的显示位置的触摸面板控 制功能。
[0266]并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势 操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描 绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
[0267]相机部241 是使用CMOS(ComplementaryMetalOxideSemiconductor)或CCD(Charge-CoupledDevice)等成像元件进行电子摄影的数码相机。并且，相机部241能够通 过主控制部200的控制，将通过摄像获得的图像数据转换成例如JPEG(JointPhotographic codingExpertsGroup)等被压缩的图像数据，并记录于存储部250,并且能够通过外部输 入输出部260和无线通信部210输出。在图21所示的智能手机201中，相机部241搭载于与显 示输入部220相同的面，但相机部241的搭载位置并不限定于此，还可搭载于显示输入部220 的背面，或者还可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换用 于进行拍摄的相机部241来单独拍摄、或者同时使用多个相机部241来进行拍摄。
[0268]并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板 221显示由相机部241获取的图像，或者作为操作面板222的操作输入之一而利用相机部241 的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。 而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器 同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能 够在应用软件内利用来自相机部241的图像。
[0269]另外，能够在静态图像或动态图像的图像数据上附加通过GPS接收部270获取的位 置信息、通过麦克风232获取的语音信息、（也可通过主控制部等进行语音文本转换而成为 文本信息）、通过动作传感器部280获取的姿势信息等等来记录于存储部250,还能够通过外 部输入输出部260或无线通信部210输出。
[0270]在上述的智能手机201中，与点像复原处理相关的上述各处理部例如可通过主控 制部200、存储部250等适当地实现。
[0271]本发明并不限定于上述实施方式，当然也能够在不脱离本发明的宗旨的范围内进 行各种变形。
[0272] 符号说明
[0273] 10-数码相机、12-透镜单元、14-相机主体、16-透镜、17-光圈、18-光学系统操作 部、20-透镜单元控制器、22-透镜单元输入输出部、26-成像元件、28-相机主体控制器、29-用户界面、30-相机主体输入输出部、32-输入输出接口、34-设备控制部、35-图像处理部、 37-变焦控制部、39-点像复原控制处理部、41-滤波器适用部、42-增益调整部、43-存储器、 50-像高中央部、51-像高周边部、52-光学系统、60-计算机、62-计算机输入输出部、64-计算 机控制器、66-显示器、70-因特网、80-服务器、82-服务器输入输出部、84-服务器控制器、 101-摄像模块、110-EDoF光学系统、110A-摄影透镜、111-滤光器、112-成像元件、114-AD转 换部、120-复原处理块、122-电平调整部、123-白平衡增益部、124-伽马处理部、125-去马赛 克处理部、126-RGB/YCrCb转换部、127-Y信号复原处理部、200-主控制部、201-智能手机、 202-框体、210-无线通信部、220-表示输入部、221-显示面板、222-操作面板、230-通话部、 231-扬声器、232-麦克风、240-操作部、241-相机部、250-存储部、251-内部存储部、252-外 部存储部、260-外部输入输出部、270-GPS接收部、280-动作传感器部、290-电源部。
【主权项】
1. 一种图像处理装置，其具备： 滤波器适用部，对通过利用光学系统进行的摄影而获取的原图像数据，适用基于所述 光学系统的点扩散函数的复原滤波器来获取复原图像数据;及 增益调整部，调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据已 调整该放大率之后的差分及所述原图像数据获取恢复图像数据， 所述滤波器适用部将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波 器用作所述复原滤波器， 所述增益调整部根据所述光学系统的光学变焦的倍率确定所述放大率。2. 根据权利要求1所述的图像处理装置，其中， 所述复原滤波器根据获取所述原图像数据时的所述光学系统的光圈值来确定。3. 根据权利要求1或2所述的图像处理装置，其中， 当获取所述原图像数据时的所述光学系统的光圈值为小于第1光圈值的小光圈侧的值 时，所述滤波器适用部将与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器 用作所述复原滤波器来获取所述复原图像数据， 当获取所述原图像数据时的所述光学系统的光圈值为小于所述第1光圈值的小光圈侧 的值时，所述增益调整部根据所述光学系统的光学变焦的倍率确定所述放大率。4. 根据权利要求1至3中任一项所述的图像处理装置，其中， 所述滤波器适用部根据所述光学系统中的光轴上或光轴附近的像高中央部的调制传 递函数与所述光学系统中具有大于所述像高中央部像高的像高周边部的调制传递函数的 差异，从与所述光学系统的光学变焦的倍率值无关而确定的共同的滤波器的候选即多个滤 波器候选中选择用作所述复原滤波器的滤波器。5. 根据权利要求4所述的图像处理装置，其中， 所述多个滤波器候选包含第1滤波器候选及不同于第1滤波器候选的第2滤波器候选， 当所述像高中央部的调制传递函数与所述像高周边部的调制传递函数之差小于第1阈 值时，所述滤波器适用部将第1滤波器候选用作所述复原滤波器，当所述像高中央部的调制 传递函数与所述像高周边部的调制传递函数之差为第1阈值以上时，所述滤波器适用部将 第2滤波器候选用作所述复原滤波器。6. 根据权利要求1至5中任一项所述的图像处理装置，其中， 当所述原图像数据为动态图像时，所述滤波器适用部将与所述光学系统的光学变焦的 倍率值无关而确定的共同的滤波器用作所述复原滤波器来获取所述复原图像数据， 当所述原图像数据为动态图像时，所述增益调整部根据所述光学系统的光学变焦的倍 率确定所述放大率。7. 根据权利要求6所述的图像处理装置，其中， 当所述原图像数据为静态图像时，所述滤波器适用部使用根据所述光学系统的光学变 焦的倍率确定的所述复原滤波器来获取所述复原图像数据。8. 根据权利要求7所述的图像处理装置，其中， 当所述原图像数据通过动态图像摄影期间的静态图像摄影而获取时，所述滤波器适用 部使用根据所述光学系统的光学变焦的倍率确定的所述复原滤波器来获取所述复原图像 数据。9. 根据权利要求1至8中任一项所述的图像处理装置，其中， 所述光学系统具有调制相位来扩大景深的透镜部。10. -种摄像装置，其具备： 通过利用光学系统进行的摄影而获取原图像数据的成像元件;及 权利要求1至9中任一项所述的图像处理装置。11. 根据权利要求10所述的摄像装置， 所述摄像装置还具备能够切换光学变焦及数码变焦的变焦控制部， 成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据所述光学 系统的点扩散函数而被确定。12. 根据权利要求11所述的摄像装置，其中， 成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据所述光学 系统中光轴上或光轴附近的像高中央部的调制传递函数与所述光学系统中具有大于所述 像尚中央部像尚的像尚周边部的调制传递函数的差异而被确定。13. 根据权利要求11或12所述的摄像装置，其中， 成为所述光学变焦与所述数码变焦的切换基准的所述光学变焦的倍率，根据获取所述 原图像数据时的变焦方向而被确定。14. 根据权利要求10至13中任一项所述的摄像装置，其中， 所述增益调整部根据获取所述原图像数据时的变焦方向确定所述放大率。15. -种图像处理方法，其具备： 滤波器适用步骤，对通过利用光学系统进行的摄影而获取的原图像数据，适用基于所 述光学系统的点扩散函数的复原滤波器来获取复原图像数据;及 增益调整步骤，调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据 进行该调整之后的差分及所述原图像数据获取恢复图像数据， 所述滤波器适用步骤中，将与所述光学系统的光学变焦的倍率值无关而确定的共同的 滤波器用作所述复原滤波器， 所述增益调整步骤中，根据所述光学系统的光学变焦的倍率确定所述放大率。16. -种程序，其用于使计算机执行如下步骤： 对通过利用光学系统的摄影而获取的原图像数据，适用基于所述光学系统的点扩散函 数的复原滤波器来获取复原图像数据的步骤;及 调整所述原图像数据与所述复原图像数据之间的差分的放大率，根据进行该调整之后 的差分及所述原图像数据获取恢复图像数据的步骤， 该程序中， 在获取所述复原图像数据的所述步骤中，将与所述光学系统的光学变焦的倍率值无关 而确定的共同的滤波器用作所述复原滤波器， 在获取所述恢复图像数据的所述步骤中，根据所述光学系统的光学变焦的倍率确定所 述放大率。
【专利摘要】本发明提供一种能够抑制复原滤波器的数据量并以简单的处理结构执行的点像复原处理技术所涉及的图像处理装置、摄像装置、图像处理方法及程序。对通过利用光学系统进行的摄影而获取的原图像数据，适用基于光学系统的点扩散函数的复原滤波器，由此获取复原图像数据即S13：滤波器适用步骤。调整原图像数据与复原图像数据之间的差分的放大率，根据调整之后的差分及原图像数据获取恢复图像数据即S15：增益调整步骤。滤波器适用步骤中，将与光学系统的光学变焦的倍率值无关而确定的共同的滤波器用作复原滤波器，增益调整步骤中，根据光学系统的光学变焦的倍率确定放大率。
【IPC分类】G06T5/20, H04N5/228, H04N5/225, H04N5/232, H04N5/238, H04N5/243
【公开号】CN105453539
【申请号】CN201480043398
【发明人】入江公祐, 杉本雅彦, 成濑洋介, 林健吉
【申请人】富士胶片株式会社
【公开日】2016年3月30日
【申请日】2014年6月20日
【公告号】US20160150161, WO2015015944A1