AI-ISP | 最新行业趋势分析

⚡ AI-ISP最新行业趋势分析 ⚡

本文主要介绍AI-ISP的诞生背景、对NPU算力要求、落地难点、夜间全彩成像以及未来发展趋势。

[TOC]

1️⃣ ISP 流程简介

ISP主要用于对从传感器中读取的原始图像数据进行预处理和优化,以提高图像的质量和清晰度。它可以进行白平衡、曝光控制、色彩校正、锐化、降噪等处理,从而产生高质量的图像。

2️⃣ AI-ISP 诞生背景

照度(Lux)是判断光照场景的主要指标,人眼能感受色彩低照度的极限为1Lux,市场上夜视相机的极限光照度基本在0.01Lux。不过,随着智能化设备的普及,一些设备开始要求能够在0.0005Lux,甚至是0.0001Lux这样的超低照度场景下精准地捕捉信息。这样的应用有很多,比如无人机航拍、森林防火、旷野安防,以及自动驾驶场景,等等。超低照度的应用场景加重了ISP工作的负担,甚至是已经超出了传统ISP的性能范围,这便是AI ISP诞生的背景。
利用AI算力深度学习海量场景和数据,智能调优复杂参数,输出算法模型辅助图像处理,使图像质量获得大幅改善。AI与传统ISP的结合趋势在手机中非常突出,并且也在走入安防、无人机等领域。暗光条件下的降噪、对比度增强和场景的提亮,AI ISP在这三个方面的表现超过了传统的ISP。
在不少应用中,得到了端侧大算力的支持,AI ISP的强大功能就可以得到全部发挥,获得比传统ISP更优的效果。但这是否意味着AI ISP可能全部取代传统ISP呢?答案可能并非如此
AI-ISP的定义,是完成从感光芯片到成像过程的一整个算法集合体,包含20-30个算法。凡利用AI解决的问题与这20-30个成像任务相关,如降噪、锐化、HDR等,那么就可以被认为是在解决AI-ISP的问题。
二者区别如下

3️⃣ NPU 算力要求

芯片算力预留上能够给AI ISP的空间较小:摄像头分辨率的选择、是否需要开启视频编解码功能满足视频的本地存储,每增加一个模块,功耗就会上升。比如,嵌入式应用中的15×15m㎡封装尺寸SOC芯片,功率上限是4 ~ 5w,2 ~ 2.5w用于视频处理,2.5w用于NPU,如果功耗需要控制在2~3w,对于NPU算力就有更严苛的要求,而NPU正是AI ISP的AI核心。
由于 ISP 任务的计算量巨大且强度大,因此通常将任务分区为在许多 NPU 内核上执行。进入NPU内核的输入侧存在大量图像重叠。即使对于神经网络内部的 3×3 卷积层,仅对几个像素的重叠要求也可能导致整个网络层面的巨大重叠。需要尽量减少重叠,以减少系统的内存、功耗和计算需求。这样做的方法是通过层级重叠共享。

AI 计算革命将突破传统成像系统天花板

4️⃣ AI-ISP 落地难点

神经网络实现的 AISP 很难调试

​由于不同产品应用对图像的要求不一,因此芯片厂商基本都会预留大量参数,以供产品厂商再做调整,调试出具备自身风格的图像。然而,对于使用 ISP 芯片的厂商们来说,想要对一整个神经网络进行调整,为此专门另招专业的算法工程师并不切合实际,此外也根本没有数据对图像风格进行调整。

​在大摄像头行业的工程调试过程中,由于采用了新的ISP和AI ISP技术,新一代的传感器与上下游的整合是一个非常大的问题。譬如,手机厂商发布一款新的摄象头,可能采用索尼或者三星的最新一代产品,它要适应这颗新的摄象头大概需要800-2000个算法工程师做调试,大概有3000-4000个参数需要调整,要在500-1000个场景下调试这3000个左右的参数,为了在每一个场景下保证图像的一致性,需要耗费大量的人力。

通过神经网络实现整个ISP,难度太大且不必要

​只需做跟图像质量相关的关键ISP环节,如降噪、HDR、3A等 AI 化,就能立刻提升图像质量,而不必对整个ISP进行神经网络化。目前大多数业界针对AI-ISP的研究,都只将少数模块AI化,大多数芯片厂商只处理其中的一部分任务,仍然留很多参数,让下游产品厂商做调整。

5️⃣ AI-ISP 局部融合

去除图像中的坏点,做一些简单的颜色空间转换,整体的亮度拉升,传统的ISP算法已经做得很好,业界还是倾向于对其进行保留
AI图像处理更适合在降噪、低光照、暗光提亮等方面,而传统ISP在正常情况下已经达到人眼视觉的效果,AI ISP将更多扮演功能补足的角色,两者将长期共存。

​以视频中的运动场景为例,传统ISP需要借助AI ISP技术,将运动物体、其拖影、背景做相应的识别分离,再利用传统ISP进行调试。这对于汽车电子尤为重要,因为其对产品效果和实用性有极高要求,拖影识别会影像对前方物体位置的判断,整体影响汽车行路安全性的判断。

​这就是最常见的以传统ISP为主,AI ISP为辅的合作模式。具体而言,针对性场景通过图像调试工程师算法调参的方式人为把控,达到效果最优化。AI ISP主要处理超感光降噪,低照度甚至暗光场景,或针对传统ISP目前薄弱的环节,为AI ISP提供优劣对比明显的图像数据集对其进行精确训练。

超感光降噪降噪对比

降噪后目标检测对比

双光融合效果对比

视频画质提升对比

夜间实时全彩成像对比

6️⃣ AI-ISP 夜间全彩成像

根据业界的AI ISP技术,AI成像具有颠覆性的四大优势:

​1、其中,全彩实时成像能够提高30%的目标识别速度,减少60%的识别错误;

​2、夜间高分辨率>200万像素全彩成像,从“看得见”到“看得清”;

​3、全天候应用结构化数据应用由12小时延伸至24小时;

​4、性价比高,无需补光,能耗低,结构简单,可靠性高。

AI ISP是唯一可以实现彩色夜视的技术路线

​在过去几乎所有的夜视技术都需要用红外光去做夜间成像,因为在夜间有大量的红外辐射,光的强度足以去激发感光芯片的信号,但在夜间因为可见光非常非常少,所以以往行业基本上没有考虑过用可见光做成像。传统的微光夜视仪运用近红外波段,热成像仪运用远红外波段来进行彩色还原。然而,380-790 纳米的可见光波(红、橙、黄、绿、蓝、靛**、紫光)段是光谱中唯一有色彩信息的波段。*

​如上图,所有的色彩(红、成、黄、绿、蓝、紫)都在380纳米到790纳米这样一个波段,AI ISP技术恰恰可以使用这部分的光线,所以能够做到真实色彩的还原。当然,还原的程度就需要看技术算法的优劣。

效果图

在没有任何光源的暗室现场,我们看到并截取了几个现场图片,如下:

左上角:知名厂商0;右上角:知名厂商1;左下角:知名厂商2;右下角:普通摄像头

如上图,这是在照度为0.001lux的暗室下的静止图像效果。左边第一列摄像机效果最佳,全彩还原更真实,颗粒度更饱满细腻。

如上图,这是在有人物走动,相当于有画面流动的情况下的视觉效果。

AI与ISP技术的结合解决了低照度下实时全彩夜视的世界性难题,传统的安防时代早已过去,过去几年通过大量后端AI算力进行分析的时代也将很快过去,AI前移的AI ISP技术时代或将掀起第三次视觉领域的浪潮。未来10年1000亿颗的规模将给这些AI ISP厂商更大的舞台,市场或许也将产生新的领头羊和独角兽。
在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。

7️⃣ AI-ISP 未来趋势

行业应用场景

在国内外行业应用中,国内的无人机、自动驾驶、公安、中国铁塔、石油石化、矿井、安全应急、远洋船只、铁路以及消费品行业将是主要的应用场景。

厂商赛道

​目前,大摄像头领域的市场根据视觉远近主要划分为三个赛道:

传统安防领域最大的厂商主要有海康、大华、宇视、华为、高德红外,这些厂商的产品主要应用场景是50m-100m范围。
在200-800米范围内的主要厂商有海康、大华和深知未来;
在更远距离上有深知未来、SHEENRUN等。

结论

传统ISP,人工调参,过于复杂
端到端AISP,算力不够,功耗大,成本高,目前难实时
AI ISP将更多扮演功能补足的角色,两者将长期共存

🤝 Thank you

❤️ 每周免费分享CV&AIGC相关最新资讯,感兴趣可以关注,喜欢动动小手点个赞,谢谢支持!

​ 

Read More 

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *