2021 LT10 | OPPO首个自研NPU芯片解析：计算影像更强了

2021-12-15 18:09:37 [ 中关村在线原创 ] 作者：阿喾

前言：中关村在线2021年终特别栏目《Leading Technology 10》（以下简称LT10），旨在根据推动行业发展贡献，并能够代表未来一年乃至多年后形成的主流应用技术，且落地于产品本身为基准，评选年度10大领先技术，从而引领产业持续发展。

“马里亚纳”是地球上最深的海沟，最深处超过11000米，比世界最高峰珠穆朗玛峰的海拔还多出2000多米。对于人类来说，马里亚纳海沟更像一个深渊、一个未知之地，它隐藏着最虚无的黑暗，最厚重的压力，人类探索马里亚纳海沟每一步，困难都是前所未有的。

就是这样一个充满挑战和未知的名字，OPPO用其来形容自研芯片的难度，还用它为自研芯片品牌命名。而今，面对未来，OPPO终于踏出了第一步。

OPPO发布首个自研NPU芯片——马里亚纳 MariSilicon X

马里亚纳MariSilicon X是OPPO首款自研芯片，同时也是全球首个为影像而生的专用NPU芯片。2021年，移动手机影像发展迎来新开端，手机影像正在集体进入硬件级算法时代，OPPO作为先行者，此前曾全球首发与索尼联合设计的超感光猫眼镜头，这是手机厂商首次实现将自研硬件级图像处理单元集成至传感器。

而这一次，马里亚纳MariSilicon X的发布，意味着OPPO在移动影像领域走出了重要一步，这不仅是OPPO技术发展的重要里程碑，同时也开启了计算影像发展的新征程。有鉴于此，中关村在线认为，2021年OPPO推出的马里亚纳MariSilicon X自研NPU芯片可以参与本次终极评选。

01 自研NPU芯片，探索计算影像新极限

2021年，对于手机影像来是发展极为关键的一年。这一年，传感器在大幅升级，影像算法也在提升，多摄像头矩阵实现了全焦段覆盖、多功能拍摄。手机厂商也在积极创造各自的影像标识，从多主摄融合再到计算光学、从液态镜头再到独立影像芯片的研发，行业变革历历在目。

对于OPPO而言，影像一直都是长期坚持的核心赛道之一，值此移动影像大幅跃进的关键时刻，OPPO自然不会落下。马里亚纳MariSilicon X便是OPPO围绕摄影技术不断探索实践的最新成果，其至少具备以下几点行业意义：

1、马里亚纳® MariSilicon X用AI技术解决传统手机影像难题——ISP和通用处理器算力不足导致的夜景视频长期以来画质不佳的难题，以及传统影像链路中的信息损耗问题。

2、解决手机长期尚未解决的难题，弱光视频画质，将计算影像推向了4K+20bit RAW+AI+Ultra HDR的极限，为行业设立了影像新标杆。

一般来说，很多手机芯片都支持相应的AI加速功能，通过协调整合CPU、GPU、DSP等传统单元来辅助完成，不过在一些重载场景下，会对AI性能又有了新诉求。OPPO显然也洞察到了这点，所以通过研发独立NPU单元来辅助AI运算。

而在马里亚纳MariSilicon X支持下，暴涨的AI性能将会为影像提升带来非常大的支持，尤其在画质增强、夜景渲染等方面都有着非常抢眼的表现。

马里亚纳 MariSilicon X 4K视频截图 V.S. Find X3 Pro 4K视频截图

当然，马里亚纳MariSilicon X的更多作用还是在于对影像极限的探索，比如4K AI夜景视频，让手机拥有更专业的影像能力，这是它存在的现实意义之一。

02 马里亚纳MariSilicon X基础参数解析

马里亚纳MariSilicon X采用台积电6nm EUV制程打造，这是全球首个6nm移动端独立影像专用NPU。众所周知，在芯片侧，制程工艺越小，在同样面积上集成的电路越复杂，电路的性能就越强。目前，手机端采用的6nm EUV处理器相比第一代7nm工艺，晶体管密度提升18%，性能和能效比已经有了显著改善。马里亚纳MariSilicon X作为OPPO首个自研芯片，选择从6nm开始入局，起点和难度都是非常高的。

在架构方面，马里亚纳MariSilicon X采用AI时代的DSA架构，和传统芯片一样，NPU也有不同的架构设计，而AI DSA便是当下公认的最理想NPU架构。

基于领先的架构设计，马里亚纳MariSilicon X拥有18 Tops AI算力，超过了iPhone 13 Pro的15.8 Tops。

能效上，马里亚纳MariSilicon X能效比达到了11.6Tops/w，运行OPPO AI降噪模型的速度是达到Find X3 Pro（骁龙888）的20倍，能效达到40倍。

马里亚纳MariSilicon X还采用了创新的双层存储架构，并在AI计算单元集成了专用的片上内存子系统，该内存子系统只服务于AI计算，最高可提供万亿比特/每秒的超大吞吐量，是目前手机最高内存吞吐量的十倍以上。

与此同时，马里亚纳MariSilicon X还配备Tb级读写速度的AI专用宽带，传输速度最高可达8.5GB/s，为AI的高效运算提供充分的内存读写支持，让超强算力不再受读写速度限制。

03 创新升级：无损的实时RAW计算和最大化传感器能力的RGBW Pro

① 无损的实时RAW计算

了解摄影的都知道，专业相机中有一种叫“RAW”的特殊格式，RAW格式实际就是一堆原始数据的合集，摄影师利用后期软件，从RAW中选取关键信息，最终呈现出一张令自己满意、让大众悦目的图像。毫无疑问，RAW是产生绝佳图像的关键，因此拥有最多的原始信息的RAW域，往往也被看作计算摄影的 “黄金点” 。

然而在手机中，AI计算往往只能在后端完成，原始图像数据在层层转换后，会损失很多的信息和细节，这意味着在通过AI处理图像时，实际处理的并非最初那张蕴含丰富信息的“原始图像”，难以实现最佳的效果。

马里亚纳MariSilicon X的突破之处在于重塑转换链路，引领性地将复杂的AI算法以及20bit HDR融合全部前置到RAW域进行，AI计算也就不再受限于信息量的损耗，可以为整个影像链路输出高质量的图像数据。而且，与传统后端计算相比，马里亚纳 MariSilicon X的实时RAW计算能够带来8dB的图像信噪比提升，比如改善基础画质，提升预览成像、第三方APP画质效果等等。

② 最大化传感器能力的RGBW Pro

2021年8月份，OPPO在未来影像技术发布会上发布了全新一代RGBW捕光传感器，通过从底层改变传感器像素排列，进而提升传感器的进光量，目前该技术已经成功在Reno7系列上商用，而OPPO Reno7系列也凭借这一创新技术成为迄今为止前置摄像头感光能力最强的手机。

RGBW捕光传感器像素示意

所谓的RGBW像素排列就是用一个不包含色彩“W”像素替换传统RGGB拜耳阵列中的G（绿色）像素，尽管实现了感光性的提升，但也带来猜色难、色彩失准等问题。其中，在“猜色”过程中，需要复杂的算法作为支撑，在全新的RGBW传感器个，OPPO将自研四合一像素聚合等一系列算法写入传感器硬件，形成独具优势的“图像处理单元”，这个处理单元可以提供足够的算力支持，这也是OPPO Reno7采用IMX709传感器拍摄却不偏色的重要原因。

但此前这个“图像处理单元”是封装在传感器之中的，而马里亚纳MariSilicon X毕竟是独立NPU，无论是AI性能还是算力，实际上都有了更大幅的提升，此时再与RGBW传感器进行协同，也能帮助RGBW传感器释放更大潜力。

从测试来看，在HDR AI降噪这类典型应用场景中，马里亚纳MariSilicon X通过双链路的设计和2x RAW计算，能够实现8.6dB信噪比和1.7倍解析力提升。这意味着，即便传感器规格没有升级，也能通过马里亚纳MariSilicon X来提升手机的成像质量，对于手机影像提升来说确实是一件值得兴奋的事情。

04 领先优势：行业领先的Ultra HDR

在成像、视频应用中，目前主流的8bit色深，HDR提升到了10bit，达到了10.7亿色。HDR技术可以实现更大的动态范围，比如逆光场景下，可以大幅提升视频质量和观感，HDR在很多手机拍摄场景中都能用到，其本身甚至已经成为了衡量手机影像能力的一个标准。

在新一代主流旗舰SoC中，HDR处理能力已经达到了18bit的程度，不过这一次马里亚纳MariSilicon X集成了自研MariLumi 影像处理单元，支持最高20bit的处理位宽，使得画面动态范围达到了20bit 120db（20 stops），四倍于当前旗舰。

马里亚纳 MariSilicon X 4K视频截图 V.S. Find X3 Pro 4K视频截图

在即时呈现出的画面中，最亮与最暗之处的亮度对比极值达到100万比1，接近人眼的实际观察效果。

总结：

综合来看，马里亚纳MariSilicon X采用了全新架构和旗舰Soc级制程工艺，它具备强大算力、能效比和计算速度，让AI算法的运行速度达到空前水平。未来，马里亚纳MariSilicon X将和通用平台一起构成手机运算的“核心”，一机双芯共同推动计算影像迈向新极限。有鉴于此，中关村在线认为马里亚纳® MariSilicon X的出现，势必会对行业产生更积极的影响，在推动移动影像的发展，最终会惠及更广大的消费者。