手机相机图像采集与处理的解决方案

admin

固态成像可分为几大类。在低端市场上，有用于光电鼠标和影印机的传感器。好一点的是手机、普通数码相机和摄影机中的成像器。接下来是专业画质的影像采集设备。最高端的是用于科学仪器的成像器。从图1可以看出，设备的分辨率分为4个等级，而价格分为4大类。其中按每像素的价格计算，手机成像器的坐标位置独具一格。

图1：价格与分辨率之间的关系。四类成像器按照像素数区分，手机成像器的出货量最高，因此其每像素价格较低。(数据来源：Tessera)

用于便携式电子产品的相机模块设计与制造是最具有挑战性的。更普遍的因素，包括高产量，严重的价格侵蚀，设备高度受限，不断增加的性能和功能标准。尽管如此，由于手机中广泛安置相机模块，该市场规模将全面主导着其他因素：纯用于手机平台相机模块，每天制造数量超过200万部。
固态相机模块
固态成像开始于196_9年贝尔实验室半导体元件组的电荷耦合器件（CCD）发明。第一款使用CCD传感器的便携式数码相机（DSC）由柯达公司的工程师于1985年推出。另一种成像技术被称作互补性金属氧化物半导体，即CMOS，由美国NASA喷气推进实验室于20世纪70年代发明。这项成果最终导致了CMOS有源像素传感器的诞生。CMOS成像器可以提供很多片上功能，允许更小的尺寸、更低的功耗以及简易的安装集成。因此，CMOS成为当今除部分要求使用光学成像应用外的主导着固态成像器技术。目前，很多公司可以制造图像传感器模具。面积最小的标准化成像器为1/4公用中间格式（即QCIF），共25344像素；最大商用成像器可达111兆像素。
相机模块分三个主要部分：固态成像器，用来将光信号转换为电信号；镜头仓，包含了镜头的所有光学部件；机架，将镜头仓固定在于成像器相对应的正确的物理位置上。相机模块的侧切图见图2。

图2：固态相机模块的侧切图

镜头仓分为三个关键部分：用来将外景对焦在成像器上的镜头，几个光圈及红外过滤器。在QCIF相机模块中，只有一个镜头，而在一些兆级像素的相机模块中，通常会有4个以上的镜头。一般情况下，考虑到成本，镜头都是塑料质地的。但考虑到更好的光学性能，一些高质量相机的第一级镜头会采用玻璃质地。光学仓体含有至少一个光圈级来限制视野，并且经常会有几个小孔来控制光线畸变，并设置了曝光速度（F数值）。
镜头表面是中央区域十分清洁的不透明薄膜。对于正常的使用，镜头仓始终包含了红外滤光器，因为硅成像器对人眼感知光线以外无线波十分敏感。
镜头仓安置在被称为镜头旋转塔中，然后旋入镜头机架中。镜头机架将镜头仓固定在大约相对成像器最为合适的位置，通过旋转镜头旋转塔从而可以调整对焦。
市场与未来趋势
固态相机模块在2001年前还是一个专业级产品，直到在公用中间格式（CIF）相机出现在手机中。在近8年来，每年用于手持平台的成像传感器的生产量从几千部上升到近10亿部。预计2008年，大约80%的手机将装有至少一部相机，很多会安装两部。最终当市场趋于饱和时，每半年的相机产量在15亿部左右（根据Techno系统研究公司2007年11月的报告）。其他使用手机相机的应用包括低端数码相机、汽车驾驶辅助、网上摄影以及玩具等，而2015年这些应用会带来额外半年10亿部的相机产量。
消费者十分宠爱带有相机的手机，因为有着这样集成的相机，他们可以随身随时携带着它。然而，与等像素量级的数码相机相比，手机相机的图片质量要逊色一些。消费者越来越意识到这一差距，并且明白了像素的计数不能代表图片的质量。这一趋势意味着将来的手机需要一个VGA分辨率的相机用于视频会议，甚至更高的5M-10M分辨率的相机用于图片拍摄。
鉴于兆级像素相机可以实现较好的图片质量，消费者们正要求拍照手机也能实现类似数码相机的质量和越来越多的类似数码相机的功能。一些最为?手的特点包括：
低光敏度，尤其是可以在室内不用闪光灯即可拍照。闪光灯下的拍摄耗电量巨大，尤其是在一个电池寿命成为消费者重点关注的产品中。闪光灯下的拍照还会引来一些成像副作用，如红眼效应。
对焦，图像稳定性以及光学变焦。显然，拍照需要对焦。而图像稳定性在很多方面类似于对焦，因为它也可以令图像模糊，跟对焦引起纵向模糊不同的是，它的模糊来自于横向的平面纬度。因为目标与相机之间的距离会变化，这就要求相机调整焦距或者延伸景深。光学变焦允许用户得到更紧距离的拍摄主题以及景象细节的被放大。数字变焦会降低图片质量，因此如果拍摄的质量本身不高的情况下，不推荐使用数字变焦。
高分辨率。尽管分辨率越高不代表画质越高，但通过高分辨率成像器可以采集到更多的信息，从而有利于后期的软件处理来增强图像。
尺寸小型化。相机模块的高度是一个限制手机厚度的主要因素。而当前的手机时尚在于超薄，因此相机模块理想高度为1.5毫米，当前的高度5毫米显然有些过高。
廉价的成本。相机模块和相关的图像处理器都是比较贵的组件，从而抬高了整机的价格。这对于那些有两个相机的手机更是如此，相机的成本可以达到整个手机物件清单的20%。（Semiconductor Insights, 2008年）
消费者关于拍照手机的需求是高质量图像采集，适用于各种条件下，并可以一键完成。不像数码相机，拍照手机的更可取的功能是相机的全自动操作，不需要菜单或者浏览设置。如此的高度集成是系统设计的主要挑战，其中价格是最为关键因素。
模块成本降低
相机模块的基本成本因素是尺寸。成像器的成本正比于模具对角线的平方，而光学仓的成本正比于立方体的直径。因此，降低硅片模具的尺寸将导致每个晶圆上模具的增加，从而降低了成像器的成本。然而，降低模具的尺寸将带来像素尺寸的减小，连锁反应是量子效应的降低以及弱光下的性能降低。光学部件的成本很大程度上取决于制作镜头材料的数量以及光圈、滤镜等平面功能材料的面积。为了降低成本，注塑式塑料质地镜头被广泛应用在相机模块中。不过，相比与玻璃镜头，塑料会降低颜色的纯度以及透明度，特别是短波（蓝光）照射时。因为相机模块的面积与其高度相关，降低传感器和光学器件的面积符合手机超薄化的趋势。
相机模块的第二个主要成本因素在于制造工艺。不同于传统半导体器件，相机模块集成化成本不受材料或工艺的影响，而受产量的影响。相机模块的产量下降主要成因为光学器件的缺损。因为相机模块直到集成化完成后才可以进行光学性能检测，出现缺损就意味着不小成本的耗费。大多数光学器件缺损是由成像器的微粒污染引起的。
传统的相机模块集成化工序，是采用了板上芯片的配装，因为成像器模具时完全暴露在外面，直到镜头机架贴附上并且镜头仓完全安置后，因此容易造成产能较低。这也导致了相机模块制造采用板上芯片配装方式逐渐被淘汰，取而代之的是晶圆级封装。据预测，到2012年，将超过65%的成像器将采用晶圆级封装（Yole Development, 2008年4月）。成像器采用晶圆级封装的关键在于，相机模块制造工艺的第一步是玻璃晶圆被贴附在半导体晶圆的前面。这样，每个模具的精密光学部分就被保护起来，从而不存在任何污染，同时也没有损坏成像器。图3为一个由晶圆级封装保护的成像器。

图3：由晶圆级封装保护的成像器实例。

由于相机缺陷导致手机产量下降的主要原因是可调电路和用于连接相机模块和手持机主要电路板的连接器出现问题。这些部件是必须的，因为传统上用于光学机架和镜头仓的材料，与表贴封装时出现的热漂移是不相兼容的；几乎所有的其他手机部件都是表贴的。
从图3可以看出，晶圆级封装很容易通过球形网格阵列接口来提供，从而使其兼容于表贴封装。由此引发了一个趋势，即为光学器件采购高性能材料，从而通过取消可调电路和连接器来实现成本的降低，并且支持相机模块如手机其他模块一样进行表贴封装。据预计，这种相机模块将在3年内从3%的市场份额增长到30%（Techno系统研究公司，2007年11月）。
高度的减小
成像器的晶圆级封装可以实现的厚度小于500微米。大多数相机模块的高度取决于光学元件。减小镜头仓中的镜头数目对减小模块高度和成本都有着显著的影响。不过，光学表面的数量与图像质量也存在着直接关系。相机模块的设计师们需要知道放宽规格标准从而协调地满足用户所需的成本/高度/画质要求。例如，一个用于低端手机的VGA相机的规格不同于用于中级、视频会议级手机的VGA相机规格。用于视频的相机没有必要呈现同样的细节，因此可以使用更小的成像器，更小更廉价的光学器件。
因为传统相机模块，仅通过工程上的优化，无法在高度上有显著的减小，或者图像质量的明显改善，因此必须采用一些替代的策略。其中供选择的有采用完全不同的相机模块硬件架构和/或通过软硬件结合使用非线性光学器件。本系列文章的第2部分提出了新一代硬件技术的革新以及对相机模块的设计和尺寸方面的影响。第3部分将讨论软件增强型的镜头是如何提升拍照手机性能的。第4部分考虑了数字化图像增强技术以及人脸识别技术是如何嵌入到移动设备中来，从而支持图像拍摄及观看的。


本系列文章的第一部分主要讨论了相机模块持续性发展的主要驱动力。对于消费者而言，这个驱动力便是更好的图像质量并且是简单的点击“定点-拍摄”操作。手持制造商对如何压缩成本，减小设备高度和厚度更感兴趣，因为便携式电子产品变薄已经成为一种时尚。然而，现有的小型化并廉价又不损图像质量的相机模块发展似乎已经到了尽头。实现逐步的减少成本和高度、同时提高光学性能，这些都需要彻底的新式相机模块架构、材料选择以及组装技术。
过时的离散组装技术
传统的相机模块制造涉及了一系列离散部件的组装。这样做有几个基本的限制。首先，每个部件单独制造会增加组装的成本。一旦用于大批量生产的生产线落成，想进一步提高生产力，只能通过安装并行生产线来稀释工厂的行政开销，这样势必会增加设备的融资费用。
其次，组装的精度随着图像质量的要求而不断提高。图像质量与成像的分辨率存在一定的联系，因此，制造一个百万像素的相机模块通常需要比一般VGA分辨的的相机更高的机械精度。而相机模块组装的规格要比常规的电子产品更为严格，因此需要更为昂贵的设备，同时也意味着吞吐量的放慢。
第三，每个组件必须要以尽可能低的成本进行制造。这就意味着，比如说镜头必须是光轴径向对称的，因为这是最便宜的制造形状，也是与螺纹式调焦机制相兼容的。然而，成像器模具通常是一个长方形的形式，因此镜头仓和成像器之间宽高比很不协调，由此会表现为图片角落处的图片质量降低。
最后，还有一些由于无法一次性制作正确的产品而引发的后果。虽然可以将镜头仓的光轴设置成无限接近成像器的光轴，但那样的话高度会变得不正确。多胶线的厚度和其他参数是无法足够精确的调整，进而在制造过程中无法确定镜头炮塔的位置。这就意味着每个镜头模块都应放置在测试装置中，进行上电然后进行一系列的图片采集，直到完成焦点调整并确定下来。显然，这是一个缓慢的过程，并需要配备一个已知良好具有光学头的芯片测试仪器，这就使得传统的相机模块最终成型大大提高了制造成本。
晶圆级的封装
成像器的晶圆级封装，对于相机模块而言并不是一个新的架构，但可以提高设计的优势，这一点将会在后面介绍。
成像器转用晶圆级封装的最初基础是出于减小成本的需要。虽然采用晶圆级封装会增加组装的成本，但它有助于相机模块制造过程中消除产量损失的主要成因-成像器光学敏感区的粒子污染或损坏。这一好处得益于进行制造前在成像传感器晶圆的表面贴上一层玻璃（如图4所示）。从这一点看，成像器是完全被保护起来，以避免受到环境或机械损坏，因此晶圆上的绝大多数良好的光学模具可以转换成生产的相机模块。（有关现代化晶圆级封装下的成像器模具，如本系列文章的第一部分中的图3所示。）

图4. 晶圆级空腔封装的形成过程。(数据来源：Tessera)

左图--器件晶圆包含了5个图像传感器；中图--使用密封材料来形成每个模具周围的图片框；右图--使用盖子材料贴敷来密封每个模具上的空腔，并在器件晶圆和外罩玻璃间留有一定的空间。最后将晶圆上的每个封装后的模具切割下来。
晶圆级封装技术，在其背后表面上提供了一个球栅阵列接口。这允许成像器和其他组件一起放置在共同的印刷电路板上，并通过简单的回流焊线路进行贴敷，进而减小了组装成本。球栅阵列接口的可靠性也优于传统相机模块的通过芯片电路板组装的弹性电路和连接器件。
晶圆级封装必须提供成像器模具前面的连接垫和封装背面球栅阵列接口之间的连接。有几种实现的方法，人们可以从一系列成像器封装解决方案中获得一种商业认可的形式。自2001年该技术提出以来，共有超过10亿个成像器采用了晶圆级封装。这种封装不仅通过了手机部件易用性的规格，还表现出在JEDEC一级汽车可靠性标准上超过两星的安全度。
如果材料和设备设置延续标准的半导体行业的做法，那么晶圆级封装也就不再是一种低成本的解决方案。为了实现大幅度的降低成本，就需要在所有这些领域上有所创新。一种办法已经被证明为很成功的是，采用成熟的为不同行业不同应用大量生产的材料，并使用一种为印刷电路板行业开发的工具集[Humpston, G, et al., IEEE Trans. Advanced Packaging, 2008, 31(1), 33-38]。通过这个方法，每个模具的成本，包括设备的折旧，降低到每个模具几美分的水平，这要比采用分离式封装要低两个数量级
晶圆级光学器件
成像器采用晶圆级封装在降低成本上是有成效的，但对于光学仓的成本或相机模块的高度毫无影响。这就需要引入另一种方法来完成分离式光学器件的组装。
发生在20世纪的电子行业的大部分变革，都要归功于集成电路的发明，从而使得分离式设备被一种全新的多种设备紧挨着制造同时保持各自功能的方法所取代。21世纪似乎可以看到集成技术将应用到光学器件上。如同集成半导体，集成光学可以提供相当的经济规模，一致性和可重复性，以及原来分离式光学器件所不具备的功能。这方面的例子是，衍射光学单元可以将光线分散到非常广廓的空间和/或非常高效的准确定义的模式上。这方面的挑战是，是否晶圆级光学器件可以同时降低成本并减小相机模块的外型，同时最好还能提高性能。
成像器的晶圆级封装是有经济吸引力的，因为固定的工艺成本被分摊到很多晶圆上的良好组件上。同样，这种好处还推及到晶圆规模的镜头制造环节上来。通过使用几种的镜头晶圆，可以容易准确的堆叠并绑扎在一起。这些堆叠可以是单个完成的。最终的结果是光学部件跟传统相机光学的功能一样，但具有更低的成本、更准确及重复性强等优点。
转移到晶圆级制造技术上，为材料的选择和镜头的形状提供了一定的灵活性。用于晶圆级镜头的材料可以有比注塑镜头更高的折射率，从而有助于减小体积。用于构建镜头的材料可以从高温耐久性，实现相机模块的表贴以及进一步突出成本优势的角度进行选择。由晶圆级制造促成的层层间的精度以及旋转队列，意味着镜头可以有重新注入的属性、衍射的表面特征以及非对称形状，从而配合成像器的矩阵形状。这些光学器件的有点可以保证镜头堆叠，从而减小模块的高度，而又不牺牲光学性能。
晶圆级相机模块
尽管成像器模具的晶圆级封装最开始源自降低相机模块成本的需要（消除组装时引起的产量损失），偶然的结果发生了：覆盖的玻璃提供了非常统一的表面，而每个成像器模具间的距离非常精确。因此，这成为了一个非常理想的衬底或是晶圆级光学堆叠可以贴敷在其上的平台。晶圆级成像器封装的高精度和晶圆级镜头堆叠，都不需要额外的成本或者是现场的焦点调整。没有移动部件，使得产品变得非常强大。由于晶圆级堆叠有相对镜头仓和镜头炮塔而言非常低的配置，产生的晶圆级相机模块也是小型的。图5显示了带有由分离器件组装的相机模块的VGA晶圆级相机。晶圆级相机与传统相机相比，成本在30%到50%，而外形只占传统相机的50%，并采用表贴封装。

图5. 并排放置的是相同分辨率的晶圆级相机模块和传统相机模块。OptiMLTM模块是基于SHEELCASE 晶圆级封装的成像器模具，并附有晶圆级镜头仓。(数据来源：Tessera)

在成像器和光学晶圆级封装的创新，引领了及其紧凑的低成本的相机模块的发展。然而，这些发展并不能显著的改变相机模块的光学性能。有关改进光学性能的方法将在本系列文章的第三部分进行讨论。

  
本部分主要讨论的是使用软件增强光学性能。
晶圆规模的制造技术的发明使得以非常低廉的成本生产及其紧凑的相机模块成为可能。处于物理上的原因，很小的相机模块其性能要劣于大一些的相机模块，但小相机模块产生的缺陷可以通过新式的采用晶圆规模制造的镜头结构来纠正。然而，这只能用来保持现状，无法提升图像质量也无法增强用户的体验。
当前，高分辨率拍照手机的设计师们已经可以仅突出像素数量来向消费者推销其产品。随着拍照手机的广泛应用（已经超过80%的手机安置了至少一个摄像头），消费者们已经意识到图像的质量和其像素数不存在必然的联系。事实上，从火星车上传回的令人惊叹的图片是通过仅为1M像素的相机拍摄的。同样，专业级相机的设计师们已经很早就知道，为了获取一个更高质量的数码图片，就需要光学和软件的密切配合。
如在本文的第一部分讨论的那样，客户的需求提高了新式拍照手机的图像质量以及一系列嵌入式功能。其中最让人期待的是光学变焦、调焦以及低光学灵敏度，例如没有闪光的拍照。所有这些功能都是实现起来相对简单的，前提是允许增加高度和成本，尤其是变焦的范围。传统的变焦需要两个镜头来在相机内的光轴上做相对运动。这可以通过微型驱动器来完成，但最终的产品会体积大、功耗大、反应速度慢，并且不符合便携式电子设备的恶劣环境下的完整无损，尤其是“跌落试验”。因此，相机模型的设计师们如何能提供所有的消费者所需的功能，提高图片质量，同时不影响产品的外观、可靠性以及最重要的成本？答案就是软件增强光学。
软件增强光学
软件增强光学，或称之为“智能光学”，是一种对已知光学效应进行图像处理的纠正技术。光学效应可以是必须予以纠正的内在缺陷，或有意引入一种能提供某功能或特定效果的人为修正。如果目标仅仅是提高图像的质量，那么可以不用投资购买高质量、高精度的光学设备，可以通过软件就可以纠正由低廉光学镜头仓引来的已知畸变。例如，如果尺寸以及成本受限，就意味着图片的角落总是存在相同程度的模糊不清，软件增强光学可以应用边缘锐化算法来修正这些角落区域。然后，用户就会对这样的图片感到满意，因为这些相机模块内部固有的缺陷可以修正或被掩盖，而呈现出的图片在所有部门都很好。为了进一步高效，这种修正可以完全做到对用户透明，即无需用户干涉。
有了这种软件增强光学的概念，新的机会处处逢生。这些基本的方法是使用专业镜头，在光线进入相机时对这些光线进行操作，按照所需的功能来将这些光线在分布在成像器上。受操作的图片没有直接使用，它需要软件进一步修正。然而，因为图像按照已知的方式被操作，在数字上是可以被恢复的，从而高质量的输出被提出出来。通过这种办法便可实现很多功能，包括无运动部件的全光学变焦、延长景深以及低能见度环境下的小F值光学性能。
用于光学变焦的软件增强光学解决方案利用了这种现象，即在常规光学镜头仓中，信息的密度在视野范围内是不一致的。中心区域包含了更多的数据，而边缘相反。然而一个图像传感器有一个规则的、二维的像素阵列。这意味着取景时，成像器的中心是正常采样，而边缘是过采样。软件增强光学解决方案利用了特定设计的像素镜头，从而提供了视野内非均匀分布的光学感应性能，从而与固态成像器的量化格式相吻合。在效果上，这与自然界所采取的传统方法相反。很多带有单孔径眼睛的动物，尤其是鸟类，有一个标准的“镜头”，但在视网膜上的导管和圆锥细胞是非均匀分布的。在这两种情况中，都会导致图像失真，但都可以得到纠正，因为镜头的设计以及成像器（或者视网膜）的像素分布都是已知的。
为了能以一样的放大倍数查看，算法必须压缩视野中央区域的细节，因为在这个区域中专业镜头增加了放大倍数和分辨率。因此，压缩不会降低图像的质量，而实际上，软件增强镜头解决方案在这样的设计中，可以使得图像质量与传统的相机产生的一样。当图像进行缩放时，图像的边框会出现，而已经放大的中央区域会被保留。随后，图像会被纠正失真。这是与数字变焦最大的不同，因为变焦是镜头运动的结果，并在图像采集时已经固定下来，因此变焦后的图像保留了其原始的较高的分辨率。软件增强光学可以实现3倍的变焦。
图7是一个使用软件增强光学来提供变焦功能的例子。在这个方案中，没有可运动的部件，即是物理上的紧凑型、坚固耐用、瞬间可视、耗电量很小的、进而成本很低。这明显好于数字变焦。数字变焦涉及到了图像的修剪和扩展来填补视野，这自然会降低分辨率，因为可用的信息将分散在更大的区域上。在一个3倍的数字变焦中，几乎90%的质量信息会在图像采集时丢失，这也是为什么数字变焦只提供了很小倍数的放大功能。用于变焦的图像增强解决方案可以通过固定镜头和一个简单的算法来实现。这使得这种方案对所有成像器技术以及所有分辨率（从QCIF到>10M像素）都适应，所以预计将在短期内广泛应用于拍照手机中。

图7. 使用OptiMLTM变焦软件增强光学解决方案实现的光学变焦（仅显示视野的中央区域）(左图）进行失真纠正前的图像（中图）经过1倍光学变焦放大的失真纠正后的图像（右图）经过2倍光学变焦放大的失真纠正后的图像。来源：Tessera公司

通过拍照手机得到的图片往往是出于“一时兴起”的事情。消费者不希望场景是安排好的，并且将没有时间或感到麻烦来将相机和他们本人置于距目标最合适的地方。借助于这些小型光学器件，一个传统的相机模块只需在一定的距离内聚焦目标，典型的是60厘米到数十米。由于未能了解和遵守这个限制，消费者往往对他们自己成像后的图片无法感到满意。针对这个问题的图像增强解决方案是“扩展景深”。这导致了场景的所有细节将会被定焦，只要这些细节在距相机模块10厘米到无穷远的范围内。类似于软件增强镜头变焦方案，这可以通过专业镜头提供的光学放大和一个简单算法的合并得到。它不涉及任何运动部件，因此是坚固的、可靠的、瞬时的并低功耗的。

在传统的相机模块中，光学镜头仓被设计用来聚焦光源点，因此放置在相机内离成像器一定的距离的位置上。如果镜头无法聚焦或者目标离镜头太近，涂点会出现在弥漫的区域，因此图像会变得模糊。这种镜头将光源变换成模糊光斑的规律可以描述成一种数学上的变化，称之为点扩散功能。如果镜头的点扩散功能已知，模糊可以通过使用数字信号处理来恢复到原始的现场情景。但当图片中的仅某个区域失焦，则不管采用什么变换方法，都无法可靠的识别出来。软件增强光学解决了这个问题，方法是通过可控的方法来重新定焦整个图像。镜头有效的创建了一个不管离光源多远模糊程度都一样的图像，这可以通过一个直接的算法来进行解交织。其结果使得图像更加良好、清晰，不管前景、中距或者远景都能同时在焦点上。图8给出一个很好的例子。

图8.一种传统的镜头只能聚焦有限范围内的目标，尤其是中距和远距离的目标；一种软件增强光学解决方案，如OptiML聚焦，可以实现扩展景深，从10厘米到无穷远，而无需增相机模块的高度或者复杂度。来源：Tessera公司

关于拍照手机的主要抱怨之一是其低能见度时的性能。其实这只是一个半真理命题。小型相机模块因为其像素尺寸的缩小，无疑导致了相对于数字静止相机光学灵敏度的降低。从2007年像素尺寸为2.2μm到2008年的1.75μm，预计2009年会发展到1.4μm，最终会达到1.1μm，这一趋势会对低能见度性能和图像质量有着显著的影响。简而言之，随着像素尺寸的降低，其敏感度也在减小。从更为技术的角度来看，光二极管吸收光子和释放电子的能力随着像素的下降而减弱。小像素尺寸带来的其他相应影响，包括第动态范围和下降的信噪比。现实中，拍照手机较差低能见度性能的感知更主要的是由越来越多在低能见度环境下拍照而带来的；典型的，在晚上以及在如俱乐部和饭店等场所，在这些地方的光照强度大约在5 lux，而远远小于白天室外的>350 lux。由于亮度下降，从数字成像器得到的图片质量自然迅速恶化，如同增加噪声一样出现缺陷，细节丢失或者色彩错误。

拍照手机低能见度性能不足的一个重要原因是，无法改变光学镜头仓的F值，因为这在制造时就一定固定了。大多数数字静态相机提供了一个增大光圈的选项，来补偿昏暗场景下光子数目的减少。但机械可调光圈会使得机身变得很大、不坚固、反应速度慢并功耗较高。简单的降低固定光圈相机的F值来提高低光敏感度，不是一个很好的选择，因为较大的光圈会减小景深，从而当场景有景深时很难获取一个很好的图像质量。典型的，标准拍照手机使用的光圈在F/2.8到F/2.4之间，主要是为了保留足够的深度，来对正常亮度条件下的对焦。一个简单的成像光圈固定，在低光条件下，不能延长曝光时间。然而，这会使得图片易受到运动模糊或机身晃动的影响，并且不可能用于视频采集，因为视频采集需要曝光时间受帧率限制在67毫秒以内。
速度”是描述光学系统将光线传递到成像器的能力的一种简单方法。在光线好的环境下对“慢镜头”进行操作。这是因为，光学允许使用小光圈以及慢快门来获取很好的景深。而在差光线下或在好光线但需要快门速度很快（如下面提到的体育运动）的条件下拍照，需要一个“快镜头”。因此，这个挑战是在光照条件、景深、快门速度间提供一个很好的联系，并开发一种快速镜头来适用于低光场景。

软件增强光学为拍照手机提供了一种全自动解决方法，从而可以使消费者可以在更广泛的光照条件下拍摄清晰的图片。这种方法的基本思想是设计带有低F值光学器件的相机模块，典型是F/1.75，并通过一种上述的扩展景深解决方案来将景深恢复成正常情况。低F值光学器件使超高速镜头解决方案适用于静态摄影以及视频采集。信号处理可以补偿对比度的损失并随后降低最终图像中的噪声，而保留了原始图像的边缘、细节以及质地等。这是可能的，因为写入线性缓存器中供算法使用的信息提供了基于像素平均的数据，并提高了图像的信噪比约6个dB。该种方案的有效性可以通过对比图9中由1.75μm成像器得到的两张图来描述。

实现

软件增强光学综合了专业镜头和自定义的算法，从而提供了有着卓越质量的图片，并对用户完全透明。然而，相机模块的设计师们需要事先考虑如何将这些增强技术纳入到手持机中，而不是一个插件的形式。原则上，所有需求只是一个客户制定的光学镜头仓中的镜头，这可以通过现有的架构和镜头材料来制造而成。自定义的镜头可以甚至可以取代现有的镜头。和这个镜头一起的，还有图像处理算法。用于这些方案中的算法可以非常小，通常是10万级逻辑门。这对于嵌入到CMOS成像器而言非常小，但这需要与成像器制作商协调，然后模具必须安置正确的光学器件。

另一种放置算法的方法是软件或固件的形式，可以运行在图像处理器或者手机处理器上。同样，两种方案在技术角度上都很简单，但需要与传统的相机模块供应商进行很好的沟通。不过，这些方案的益处是如此引人注目，带有扩展景深的3百万像素拍照手机已在量产并将在2009年配置到高分辨率相机-连同变焦和超快速镜头解决方案。

虽然这些可以提升高度微型化和低成本相机模块的原始性能的软件增强光学工作，是独立于变焦解决方案，他们都没有提供可以提升用户拍摄体验时的满意度的功能。这个问题并不涉及相机模块设计师们，而是原始设备制造商的任务。一个数码相机最常见的问题是红眼现象，这解释了为什么当前80%以上的数码静态相机都实现了减弱红眼现象的功能。这些功能是否会在拍照手机上提供，以及它们是如何被集成的。