手机成像的颠覆性技术：智能手机摄像头再上新水平

admin

手机成像的颠覆性技术：智能手机摄像头再上新水平

DxOMark自2012年起开始测试智能手机摄像头，在过去五年中，智能手机摄像头已经走过了很长的演变之路。今日，智能手机已经成为全球数十亿摄影爱好者和普通消费者的首选成像设备。由于其图像质量和性能的显着提升，智能手机在销售和人气方面已经遥遥领先传统独立式数码相机。

在下图中，您可以看到测试的最早的高端设备诺基亚808直到今日的旗舰手机（例如谷歌Pixel 2、iPhone X和三星Galaxy Note 8）之间的演变。一如预期，苹果、三星和谷歌的产品一代更比一代精进，而且图像质量也到达了前所未有的水平，因此想以“传统”方式获得显着的改进也变得越来越困难了。

         目前图像传感器的效率仅以渐进式逐步提高，而传统数码相机制造商可以通过增加图像传感器或镜头光圈尺寸（以及镜头尺寸）来改善相机的光线捕捉能力和图像质量，但智能手机制造商却只能在非常狭小的空间限制内力求改进，因为薄型机身和时尚设计是大多数消费者购买智能手机的关键标准，因而提高了摄像头的设计难度。这迫使移动设备制造商必须跳出固有思维模式，在不借助更大的摄像头模块的条件下开发提高图像质量和摄像头性能的解决方案。本文将探讨双摄像头、多帧堆叠和创新的自动对焦等技术的引入如何影响智能手机摄像头各个方面的性能，例如纹理和噪点、曝光、自动对焦、变焦质量和散景效果。

光线捕捉是噪点和纹理的关键在我们的智能手机摄像头测试中，噪点和纹理是两项彼此独立的评测项目，但事实上噪点和纹理的关系非常密切，因此我们必须同时考虑这两个标准。图像处理技术可以轻易降低图像噪点，但必须权衡噪点和纹理之间的关系，因为强烈的降噪处理会模糊细密的纹理并降低细节的丰富性。增加传感器尺寸、镜头光圈和曝光时间可以提高摄像头的输入信噪比（SNR），但如上文所述，由于智能手机的尺寸限制，我们不能增大前两者的尺寸。另一方面，使用较慢的快门速度则会提高摄像头抖动和产生运动模糊的风险，因此在很多情况下也必须排除这一可能性。

除了传感器大小和像素数量之外，还有很多方法可以提升图像质量

尽管如此，我们还是有办法超越这些限制。这包括影像防抖系统，可以让人在静态场景中使用较慢的快门速度，而时域降噪（TNR）则可以结合多帧图像数据以增加拍摄时累计的曝光时间；此外，双摄像头也增加了（组合后的）总传感器感光面积，同时不需要使用更大的镜头。如果将拜耳传感器（彩色）与黑白传感器相结合，一如华为Mate 10 Pro，图像质量更可进一步提升。相比于搭载两个拜耳传感器的传统双摄像头能捕获两倍于单传感器摄像头的光线，华为 Mate 10 Pro在理论上可以捕获的光线大约是单传感器的四倍，因为它的黑白传感器没有颜色滤镜，因此有助于提升纹理保留的质量，但其美中不足之处在于低光拍摄时可能较难捕捉色彩信息。

在下图中，您可以看到我们在过去五年间测试过的几款重要手机的噪点和纹理分数。我们在下面的表格中列出了摄像头的规格。许多营销内容将广告重点放在像素数量和图像传感器的尺寸上。但是从图中可以看出，这两个条件都不是图像质量的可靠标准，因为大光圈、光学影像防抖和时域降噪也都是决定图像质量的关键要素。

列表中最老的一款手机诺基亚808就是一个很好的例子。它让人了解到，大型传感器的确可以帮助摄像头拍出细致的纹理并降低噪点水平。诺基亚传感器的分辨率为4100万像素，令人印象深刻。但是在默认模式下，照片却仅以500万像素输出，但即使在500万像素的情况下，它在低光下的得分也显然比800万像素的iPhone 5s和iPhone 6，甚至1600万像素的三星Galaxy S5更高，其原因在于诺基亚的大传感器能够捕捉到很多光线。

光圈大小也是捕捉光线的决定性因素之一。多年来当智能手机的图像传感器尺寸变化不大时，手机制造商已经大幅增加镜头光圈的尺寸。2015年以来，三星Galaxy S5的光圈已经比诺基亚808（f/2.2 vs. f/2.4）要快一些。列表中最新的三星手机搭载了更快的f/1.7光圈，而华为Mate 10 Pro甚至在其两个镜头上都配备了f/1.6的光圈。虽然最新一代的手机的图像传感器的尺寸比诺基亚808更小，但其快速光圈却部分抵消了诺基亚808的图像传感器尺寸的优势，而且结合使用光学影像防抖和时域降噪技术后，其拍摄结果甚至比诺基亚出色多了。

光学影像防抖可以稳定图像并减少摄像头晃动造成的模糊风险，因此拍照时可以延长曝光时间，从而提高输入的信噪比。时域降噪通过合并多帧图像来消除噪点而不会牺牲纹理的丰富性，而且还有助于减少运动模糊，因为图像堆叠过程中使用的每个帧都是以比传统单幅图像更快的快门速度拍摄的。

图像处理技术正在改变手机摄像头的成像

iPhone 6是演示图像处理技术如何提高图像质量的一个绝好例子。从图表上可以看出，尽管它使用了与iPhone 5s相同的成像硬件，但它的噪点和纹理都比前代产品好。iPhone 6配备了苹果的A8芯片组，具有改进的图像信号处理器（ISP），A8 ISP很可能支持时域降噪，但当时苹果并没有提供任何详细的信息。一年后（2015年），谷歌在Nexus 6P设备上引入了HDR+，通过嵌入式ISP来合并高达10帧的Raw格式的图像。

我们来看看一些样本照片。下面的图像剪裁来自5勒克斯低光照片。正如您所看到的，从iPhone 5s到iPhone 6，细节的增加非常明显。如上所述，两个机型的图像传感器和镜头部件都没有任何改变，因此其中的差别肯定要归功于图像处理的进展。令人惊讶的是，尽管iPhone 7 Plus的像素更高，镜头光圈更大，且配备了光学影像防抖，但在细节方面，它和iPhone 6之间的表现并没有太大的差别。因为苹果设法调校iPhone 7 Plus的图像处理参数，以使得iPhone 7 Plus图像上的噪点其少于iPhone 6，即使iPhone 7 Plus具有1200万像素的更高分辨率。因此，虽然iPhone 7 Plus的高分辨率传感器捕获了更多细节，但却因为降噪处理而变得模糊了。反观iPhone X则得益于改进的时域降噪算法，又向前迈进了一步，其噪点比7 Plus略低，而且明显拥有更丰富的细节。

我们可以在下面看到目前四款高端智能手机摄像头三星Galaxy Note 8、谷歌Pixel 2、华为Mate 10 Pro和苹果iPhone X的比较。这四款手机在测试中都拿下了极高的总成绩，但是制造商显然应用了不同的图像处理手段来实现这些结果。在上面图表的分数中，我们可以看到三星Galaxy Note 8和谷歌Pixel 2的噪点和纹理得分几乎刚好相反。它们的整体表现相似，但为了迎合不同的口味，三星使用了大量的降噪处理来生成非常光洁的图像，但却也在强烈的降噪过程中牺牲了一些丰富的纹理，反观Pixel 2的图像则有更多的颗粒，但细节更到位，纹理也更丰富，也就是说，三星和谷歌分别代表了降噪和纹理的两个极端。华为Mate 10 Pro和苹果iPhone X则采用了相比较下更为平衡的处理方式。

照片曝光：智能手机摄像头变得越来越聪明了

评测照片的曝光表现时，分别在户外高光条件下、典型的室内照明条件下以及低光条件下评鉴拍摄结果。在下面的分数比较图中，可以看到2012年户外分数已经处于相当高的水平，但最新一代的手机的分数则更高，而且在室内和低光条件下，其分数的提升更为可观。

智能化的软硬件协作

摄像头的进一步智能化是这些改进的主要推手。测试的第一台摄像头没有任何自动检测HDR场景、场景分析或人脸检测等智能功能，导致实景评测时的曝光失败。诺基亚808的传感器尺寸极大，拥有非常好的动态范围，但其拍摄结果却不如可以自动触发多帧HDR功能的iPhone 5s。自从三星Galaxy S6推出后，这项技术也成为了三星手机上的标准功能。

在过去几年间，制造商已经进一步完善HDR模式和场景分析，从而改善了逆光人像或高对比度场景等难处理的拍摄场景的表现。另外，在极弱光线条件下为了隐藏噪点，极为常见的处理手法是使照片曝光不足，因此信噪比的提升更进一步提升了极弱光线下的曝光表现。也就是说，诺基亚 808的大尺寸传感器原本很有可能可以在低光下表现得更好，但是诺基亚工程师只是简单地移植了之前用于较小图像传感器的曝光策略。如果他们当初能够对诺基亚808进行更好的调校，其表现也许会更好，这是一个典型的手机调校的反面例子。

让我们看看上面图表中的数字如何对应于真实世界的拍摄结果。下面是在1勒克斯的极低光下拍摄的样本照片。正如您所看到的，尽管诺基亚808搭载了比其他手机更大的图像传感器，其捕捉光线的能力也更好，但它的曝光效果却非常黑暗。如上所述，这样的结果很大程度上是由于诺基亚未对图像处理策略进行优化调校。iPhone 5s能够拍出更明亮但仍明显曝光不足的照片，其部分原因是为了控制图像噪点，另一原因则在于苹果的图像处理理念：苹果为了保有场景的气氛，宁愿使黑暗场景的曝光略微不足。三星Galaxy S7是这一比较中最新的手机，由于它具有比诺基亚和iPhone 5s更好的调校和降噪处理，因此能够实现更明亮、更可用的曝光效果。

目前的华为Mate 10 Pro和谷歌Pixel 2等旗舰机型得益于更好的降噪处理，因此其曝光效果明显比老款智能手机要来得好。再一次，由于苹果的调校策略，iPhone X在低光下的曝光比其他竞争机型要稍微暗一些。

您可以在下面看到在真实世界中拍摄的高对比度场景的样本照片。早在2010年，智能手机摄像头就出现了自动HDR功能，但早期版本的性能并不是很好。当时iPhone 5s已经配备了HDR，因此我们可以在下面的样本照片看到蓝天，但天空的色彩仍然比较偏青色而非蓝色，而且最亮的高光位区域仍然出现了一些剪贴纹理。在更新的iPhone机型的拍摄结果中，我们可以清楚地看到这一技术是如何发展且日臻完善的：iPhone 7 Plus能够完美地保留天空的色彩，而且iPhone 8 Plus也使阴影变亮了些，以便在非常黑暗的前景区域中还原出一些细节。

我们可以在下面一系列逆光人像中观察到类似的进展。iPhone 5s没有任何人脸检测功能，因此它根据背景的亮度来曝光，使人像照片里的拍摄对象变得非常暗。7 Plus显然对拍摄对象捕获了更到位的细节，但却使较明亮的背景显得曝光过度了。在这次比较中，iPhone 8 Plus是其中最新的设备，它配备了最精进的HDR和人脸检测功能，因此可以实现最均衡的曝光效果，其人像照片中的拍摄对象和背景的细节表现都非常到位。

视频防抖：各个组件和功能的协作

视频防抖功能需要动员多个智能手机组件和功能的无缝协作方能获得最佳效果。在较旧的手机（如诺基亚808或三星Galaxy S5）上，该功能完全借助于图像处理算法，且仅用于抵消手持拍摄时产生的晃动，其算法会分析图像内容以检测运动，但是风险是摄像头可能会锁定运动主体，而不会保持对场景中静态元素的对焦。

苹果是第一个通过集成陀螺仪数据来增强该功能的制造商。使陀螺仪和图像传感器数据同步是一项极具挑战性的技术，但是苹果公司可以完全控制其手机上的所有硬件和软件元件，实现软硬件协作。反观三星的老款手机虽然也搭载了陀螺仪，但由于安卓操作系统的限制，这些手机无法以有效的方式将陀螺仪应用于视频防抖上。目前所有的高端手机都使用陀螺仪数据来实现视频防抖的功能。

缓存和光学影像防抖正在将视频防抖提升到新水平

视频防抖的技术进化的下一步在于软件方面的改进。一个我们称之为“非因果防抖”的技术使用大约一秒钟的视频缓存器来让防抖系统预测未来的摄像头运动。这个功能与更大比例的图像剪裁相结合，即使在拍摄者正在走路或骑自行车，也可以拍出令人印象深刻的静态相机效果。这种先进的防抖功能需要陀螺仪提供非常可靠的数据，而2012年或2013年的老组件可能无法实现这种技术。

最新的手机还在这一组合中添加了光学影像防抖，以补偿帧间运动，同时也能减少帧与帧之间的清晰度差异，这种差异可能对最终结果产生负面的影响。但是，引入光学影像防抖后，也增加了另一层复杂性。三星首先在Galaxy S6和S7手机上进行了第一次尝试，但其最终结果却比没有光学影像防抖的iPhone 6和6更糟糕，幸好，三星后来在Galaxy Note 8上做出了相当大的改进。

苹果是首个成功地将光学影像防抖技术集成至手机的制造商，iPhone 7/7 Plus手机是第一代成功案例。

自动对焦：更多的传感器，打造更优异的性能

除了视频防抖之外，自动对焦也是另一个需要多个硬件和软件的和谐协作才能完美达到最佳拍摄效果的子摄像头系统。DxOMark评鉴了照片和视频的自动对焦表现。虽然这两种自动对焦仰赖相同的技术，但它们必须采用不同的工作方式方能产生很好的拍摄效果。除了准确性之外，照片的自动对焦速度还必须很快。另一方面，视频的自动对焦应该稳定平顺，因为我们可能在最终的视频中察觉到任何对焦波动或焦点的突然变化。

对比度检测的局限性

2015年之前，基于对比度的自动对焦曾经是最先进的技术。然而，这种自动对焦方法有几大缺点。它通过观察移动镜头元件时图像对比度的变化来工作，但系统并不知道何时已达到了最大对比度。而且镜头必须移到超过最佳位置后返回，方能确认对焦。更糟糕的是，摄像头开始对焦时，它并不知道应该拉长还是缩短对焦距离。比如它从一米的距离开始对焦，随后可能会对焦到无穷远处，如果没有找到最高对比度，它才会切换方向，最后终于在50厘米处找到清晰度的峰值。这一问题对于视频的影响尤其严重，因此苹果决定让iPhone 5s仅在录制开始时锁定焦点，在录像过程中完全不进行对焦，导致该手机在视频自动对焦测试中的得分非常低。

2015年，传感器制造商在这一组合中添加了相位检测（PDAF），将专用的相位检测传感器集成到图像传感器的像素矩阵中。三星Galaxy S5是第一款采用这种传感器的智能手机，随后则是iPhone 6。苹果公司的表现明显比三星更好，因此iPhone 6成为了自动对焦方面的新标准。然而，相位检测在低光条件下的表现并不理想，因此iPhone 6的低光测试中的结果实际上比它的前身iPhone 5s更差。一年后，苹果公司在iPhone 6s上采用了一个更实际的方法，它在低光下将对焦方式切换为对比度自动对焦，从而提高了自动对焦的得分。同时，三星也在Galaxy S6上实现了更好的相位检测整合，从而改善了自动对焦的表现。

双像素传感器和飞行时间（TOF）激光器提高了自动对焦的速度

一些较新的手机使用更先进的系统来改善自动对焦性能。例如，三星Galaxy S7和谷歌Pixel是测试中最出色的机型，其表现甚至优于目前所有的iPhone机型，但它们是以不同的方式来提高自动对焦的速度。Galaxy S7使用所谓的双像素，这项技术最早出现在2013年的佳能数码单反相机上，它将其图像传感器上的所有1200万像素当作相位像素，以降低系统对噪点的敏感度，使其更适合于在低光条件下拍摄。三星在内部开发了双像素智能手机传感器，在2016年的竞赛中取得了真正的优势。

而谷歌在2016年推出最早的Pixel手机时，尚无法使用双像素传感器的技术，因此，谷歌工程师使用了激光飞行时间传感器来估算拍摄对象的距离，就像Nexus 6P采行的方法。这项技术在低光条件下进行短距离拍摄的效果很好，但是在高光条件下就相形见绌了，而且在长距离拍摄时则完全失灵。但是，之后谷歌Pixel 2增加了一个双像素传感器，将飞行时间传感器与相位检测相结合后，将自动对焦性能提升到了更高的水平，取得了令人印象深刻的拍摄结果。反观苹果的iPhone仍然仰赖极少的相位检测传感器，因为目前尚无可用于iPhone手机内的小尺寸传感器的双像素传感器，导致其照片和视频的自动对焦得分较低。

变焦：双摄像头的表现不凡

与传统的袖珍型数字相机相比，变焦仍是智能手机明显屈居劣势的少数几个领域之一。由于高端智能手机的薄型机身不能提供足够的空间来集成传统的伸缩式变焦镜头，因此智能手机摄像头长期以来一直仅限于数字变焦。不过，即使它们没有使用任何高级的变焦方法，也可以拍出可用的结果。诺基亚808凭借其大型传感器和高达4100万像素的分辨率，目前仍然是室内条件下表现最好的变焦相机之一。三星Galaxy S6也取得了不俗的成绩，特别是在光线较弱的情况下，它凭借其1600万像素的传感器和光学影像防抖，仍有不错的表现。

智能手机引入第二个远摄镜头，成为双摄像头手机之后，其变焦性能获得了巨大的改进，但是这项技术目前还很新，而且还在不断发展中。苹果的首款双摄像头手机iPhone 7 Plus在高光下取得了不俗的成绩。然而，与以前的iPhone相比，尤其是在室内低光下与单镜头iPhone 7相比，它的改进显得相当微不足道，其原因在于苹果认为在这样的光线条件下变焦镜头的图像质量并不够好，因此7 Plus在低光下会切换到主摄像头进行数码变焦。您可以在这篇文章中阅读有关iPhone 7和7 Plus之间的差异的详细分析。

双摄像头以不同的方式提升变焦性能

在光线较弱的情况下，iPhone 8 Plus的变焦性能仅比iPhone 7 Plus略有改善，直到当前采用了防抖远摄镜头的旗舰产品iPhone X推出后，才有了真正的改进。使用类似技术的三星Galaxy S8是我们目前测试过的最好的变焦手机。

华为采取了与其竞争对手苹果和三星完全不同的方式：Mate 10 Pro使用第二个2000万像素黑白传感器的图像数据来取代较长的副镜头进行变焦，其最终结果虽然比最新的iPhone或Note 8的表现略微逊色，但明显优于单镜头手机，如谷歌Pixel 2。

在下面的示例中，我们可以看到图表中的分数如何对应于现实世界中的实际拍摄结果。三星Galaxy Note 8目前是我们在所有光线条件下表现最出色的机型，而苹果iPhone X紧随其后。华为Mate 10 Pro采用了第二个高分辨率黑白传感器，而不是焦距较长的远摄镜头，其表现比苹果和三星略为逊色，但是明显优于谷歌Pixel 2和更早的智能手机。

散景

传统的智能手机摄像头搭载了小型图像传感器，因此基于物理定律的原理，其景深几乎是无限远的。为了模拟数码单反相机上的快速镜头的浅景深，手机制造商开发了“假散景”模式。有些人称之为“人像模式”，也有人称之为“景深模式”，无论如何，这都是为了达到同样的目的而设计的模式，其目的在于捕捉清晰的前景景物，同时平滑地模糊背景。

比较图表中最老的手机（诺基亚808和iPhone 5s）根本没有散景模式。通常，没有这种功能的手机在散景测试中会拿到25分的基础分数。三星Galaxy S6是最早采用散景模式的大厂牌手机之一，但它实际的分数却低于25分，因为其纯粹以软件实现的焦点叠加手法非常拙劣，使得大多数用户反而更喜欢标准图像。

用户使用谷歌Nexus 6P时，必须在拍摄过程中稍微向上移动手机，方能创建出场景的景深图，其拍摄结果比S6更好，但仍然出现了许多隔离被摄主体的伪像。华为P9是列表中第一款采用双摄像头技术进行散景模拟的手机。其双镜头的位置略微偏移，因此可以获得比之前的方法更好的景深估计。

在当前的高端手机中，苹果iPhone 8 Plus和iPhone X的人像模式拍出了最出色的摄影效果，表现出很好的被摄体隔离以及平滑自然的模糊渐变层次。iPhone X的表现仅比iPhone 8 Plus略好，在室内和光线不足的情况下的噪点较少，这在肤色的表现上尤其明显。谷歌Pixel 2和三星Galaxy Note 8紧跟其后，它们以不同的处理手法获得了非常相近的成绩。Note 8最好的图像的散景效果比Pixel 2更自然，它能够更好地隔离被摄主体，同时也产生了较少的伪像。然而，Note 8有一些重复性的问题，而且散景模式并不总是在适当的时候激活。Pixel 2不同于搭载了双摄像头的Note 8，它使用图像传感器的双像素以及以机器学习为基础的算法来进行景深估计，其图像效果不如Note 8的最佳图像，但其人像模式的表现很稳定。

改进的景深估计可创造更好的散景效果

华为Mate 10 Pro采用了双摄像头设置，可以很好地隔离被摄主体并产生虚化背景，但是由于其副摄像头采用了与主摄像头相同的广角镜头，其景深模式采用等效35毫米左右的视野来拍摄图像，这并不是典型的人像焦距，因此它无法拍出与苹果和Note 8摄像头（各自配备了大约等效50毫米的副镜头）完全相同的人像照片。

我们再来看看一些样本照片。您可以在下面看到散景模式在移动设备上出现以来所取得的进展。Nexus 6P在摄像头稍微向上移动时拍摄了一系列照片，由此产生的景深图多半会出现一些错误（由红色箭头表示）。使用焦点叠加方法的三星Galaxy S7也是如此。这种方法在不同的焦点设置下快速连续拍摄几张照片，然后合并拍摄结果。华为P9是最早提供散景模式的双摄像头手机之一，它估计场景景深的能力比谷歌和三星要好，但还远远不够完美。

目前搭载了双摄像头的高端手机在创建景深图方面的表现比前几代要好得多。在下面的示例中，您可以看到三星Galaxy Note 8、华为Mate 10 Pro和苹果iPhone X的焦平面中的所有物体都是清晰的，而且物体附近的背景虚化也都是正确的。

在下面的示例中，我们可以看到这些手机在真实世界的高光条件下能够拍出非常好的效果。图像显示出很好的被摄体隔离、平滑的模糊渐变层次以及宜人自然的背景模糊，但它们在低光下的表现仍有改善空间。在昏暗的环境中，所有的图像都出现了大量的亮度噪点，这在人像的肤色上尤其明显。

展望：更多的整合，打造更出色的图像

回顾过去5年智能手机摄像头的发展历程，我们可以看到，摄像头硬件和图像处理并肩前进，其进展速度比“传统”相机更快。虽然数码单反相机和无反相机在某些领域仍然遥遥领先（例如自动曝光），但就图像处理技术而言，相机市场里的佳能、尼康、宾得和其他厂商都落后于苹果、三星、谷歌和华为。由于较大的相机具有硬件优势，它们实际上并不需要使用与智能手机相同的像素处理水平即可拍出出色的照片，但不可否认的是，智能手机和数码单反相机之间的性能差距正在逐渐缩小。

未来几年，我们可能会在智能手机摄像头上看到更多的3D感应元件，例如飞行时间或双像素传感器，因为它们可以进一步改善散景效果、人像透视、脸部照明和其他借助于景深数据的图像特征的算法。自从Light L16相机为多焦点相机架构开拓了一条康庄大道后，智能手机制造商也走上了同样的道路并不足为奇。这种多摄像头设备采用了拜尔（色彩）和黑白传感器组合，可以专注于纹理和噪点的改进，或者通过特殊镜头（如远摄、超广角和鱼眼镜头）为用户提供更多的灵活性，因此融合所有这些组件和传感器的数据的高效算法将成为成像过程中的关键元素。

    简言之，手机制造商未来将面临许多挑战。但观看目前高端移动产品的成果，手机制造商已经具备了良好的条件，可以战胜这些挑战，在不久的将来将智能手机的图像质量和摄像头的性能提升到新的水平