一流杀人,这个老法师口中的“黄金法则”,在智能手机上似乎已经失效。
▲不同的“相机”传感器尺寸不同。图片来自:henrys.com
虽然智能手机摄像头的“底”越来越大,但还是过不了一寸的门槛,也就是说手机的物理参数还是不如入门定位的黑卡。
▲索尼RX100黑卡vs小米11 Ultra。图片来自:dpreview
即使在发布会上,三星GN2 1/1.12寸的主摄像头小米11 Ultra,也与1寸有些许差距。
在小米12上,索尼定制的IMX707尺寸只有1/1.28英寸。同期iQOO 9 Pro主摄像头GN5尺寸为1/1.57英寸,我的GT2 Pro主摄像头IMX766尺寸为1/1.56英寸。
▲以IMX766为主摄像头的真我GT2 Pro。
所以按照CMOS的物理尺寸,小米12和12 Pro依然是骁龙8 Gen1新机第一波中最喜欢堆叠的产品。CMOS的大小不再是衡量手机影像系统的主要标准。
于是,追求“超底”主摄像头似乎成为了过去。
底大一级压死人指的是什么?或者说,大底能带来什么优势?
简单来说,更大的传感器会获得更纯净的照片,更好的暗光表现和更好的“模糊”。
为了得到同样的结果,小尺寸的传感器需要更低的ISO,更长的快门时间和更大的光圈。
▲“大”有大烦恼,“小”有小优点。图片来自:dpreview
在成像效果上,大尺寸传感器有碾压级的优势,但也要付出代价。
为了容纳更大的传感器尺寸,相机和镜头的体积成倍增加。为了将光线均匀地分散在传感器上,复杂的光学设计会成倍增加镜头的重量。随之而来的是成本,也就是钱。
▲全画幅系统和M43系统的体积直观对比。图片来自:wildernessshots
另一方面,小尺寸的传感器正好相反,体积、重量、成本也降低了。
严格来说,传感器尺寸与成像质量成正比,也与体积重量和价格成正比。
他们之间总会有一个“甜蜜点”。在相机系统中,全画幅是,而在智能手机中,每个制造商试图达到的一英寸可能是。
直到“计算摄影”的出现。
「计算摄影」的破局无论是相机还是智能手机,成像原理无非是镜头控制光线进入CMOS,CMOS进行光电转换,然后图像传感器还原图像。
按照上面的流程,手机不可能打得过相机,除非“剑走偏锋”。
相比相机强大的工具属性,智能手机其实更倾向于“结果”。普通大众用手机记录更方便,后期很少润色,以“一拍即卖”为主。
▲ iPhone 13 Pro vs Pixel 6 Pro。图片来自:cnet
随着手机SoC中AI算力的崛起,手机摄影也逐渐从简单的HDR、夜景多帧合成发展到实时HDR、大光圈模拟、复杂“夜景”模式。
随着AI计算能力的大幅提升,以及不同图像算法的精细匹配,智能手机的成像过程不再是传统的,而是加入了很多“计算”的成分。
以前用相机拍摄时,往往需要提前计划和选择拍摄项目,这也催生了阳光十六条原则等一些经典经验。
智能手机天生就是“一体机”,任何场景、主体、光线都需要自由处理。传统的采集、处理、还原的记录过程并不适合手机的图像系统。经过AI的计算和调整,更符合手机用户想要的结果。
随着计算摄影逐渐成为主流,相机的硬件规格不再是衡量图像能力的唯一标准。像力逐渐成为综合实力的展示,包括更好的硬件,更好的AI算法。
SoC中更强大的ISP和AI性能也和CMOS、镜头一起影响着手机的图像力。
自研芯片的崛起无论是苹果的A系列芯片,还是高通的8系列芯片,在最近的更新迭代中,相对于CPU和GPU性能的快速提升,无论是核心数量还是晶体管数量,神经计算引擎都有了数倍甚至十倍的提升。
▲每秒可进行15.8万亿次AI计算的A15。图片来自:苹果
这些改进应用于产品的方方面面,基于机器深度学习的计算摄影就是其中之一。
即使SoC上的AI计算能力有了很大的提升,但仍然是一个通用的解决方案,不同平台之间图像的个性化呈现和计算摄影效果的表现差别不大。
对于不断追求差异化的手机厂商来说,这远远不够,所以手机中用于图像差异化的“额外”芯片已经非常普遍。
▲ vivo X70 Pro+内置vivo V1自研ISP。
比如小米MIX FOLD上风起云涌的C1,vivo X70系列上的V1,Find X5系列上将出现的Mariana X芯片,都是为了在图像上有自己的特色而设计的。
记得在体验vivo X70 Pro+的时候,独特的音色和强烈的暗光表现给我留下了深刻的印象。而且在逐帧“计算”图像时,多出来的芯片能效比更好,也有省电的效果。
▲ OPPO自研NPU Mariana X .图片来自:OPPO
OPPO的Mariana X芯片也解决了对图像更强的计算能力和高能效比的问题。
随着芯片计算能力的提升和算法的完善,在手机图像的最终效果方面,计算摄影、机器深度学习和AI算法都会给普通用户带来明显的改变。
▲内置一英寸图像传感器的索尼Xperia Pro-I。图片来自:Petapixel
但从1/2.8寸到1/1.12寸,甚至到1寸,在手机拍摄的很多场景中,不仔细对比很难察觉到变化。
如果换个参照系,普通人很难分辨出全画幅相机和APS-C相机在同一个场景下,用同样规格的镜头拍出的照片有什么区别。
所谓“摄影最重要的是后脑勺”大概也是这个意思。
自主研发的ISP芯片(或称图像NPU),或称计算摄影,解决了“头在后面”的问题。
随着AI的普及,传统的硬件规格更接近于一道菜的“原料”,而计算摄影更像是一个会做五大菜系,根据季节和心情烹饪的厨师。重要性不言而喻。
都想掌握核心科技去年,搭载M1 Pro和M1 Max自研芯片的新款MacBook Pro正式亮相。谷歌Pixel 6 Pro还配备了“自研”张量芯片,而vivo V1、澎湃P1和玛丽安娜X也让vivo、小米和OPPO第一次参与了核心制造。
▲谷歌张量。
“造芯”运动已经成为2021年消费电子行业的主旋律。
苹果的M系列芯片以能效比高著称,与硬件契合度好,与其他产品构成生态屏障。Pixel 6 Pro的张量也和Android 12有一定关系,但不构成壁垒。
▲谷歌定制的张量,结合Android 12,让Pixel 6系列成为“最智能的Pixel手机”。
再到国内厂商定制的ISP和NPU,虽然芯片很小,但足以给形象带来一定的优势,甚至不排除最终对品牌形成壁垒。
自从相机出现在手机上,它的发展就和传统影像厂商如出一辙。更大的底座,更高的像素,更大的光圈一直是主旋律。由于这个原因,摄像头凸起,占据了手机中相当大的空空间。
▲ Leitz Phone 1配一寸图像传感器。图片来自:徕卡
但随着越来越接近上限,边际效应越来越明显,成像效果的提升不再显著。
直到“计算摄影”和自研ISP芯片的出现,手机图像的发展方向被彻底扭转,以算法和机器学习为导向的计算摄影正在成为主战场。
▲小米11 Ultra,Leitz Phone 1,iPhone 12 Pro Max。图片来自:XDA
尺寸更大、成本更高的鞋底传感器不再是手机厂商的首选,他们更喜欢对传感器进行“调教”,即基于成熟硬件的算法优化,以及使用独立图像芯片(ISP、NPU)打造独特的图像壁垒。
可以预见,在物理光学定律不被打破的情况下,未来几年新机发布时,图像的焦点将集中在AI计算、机器学习、独特色调、极限对焦等“计算”上。,传感器的尺寸和型号也会越来越小。