DSO.ai
础滨驱动的设计应用
了解更多 →
边缘设备视觉的爆炸式增长
今年 1 月在拉斯维加斯参加 CES 的任何参观者，都可能已经注意到有多少电子边缘设备正在采用图像传感器：无人机、门铃、笔记本电脑、玩具、安全摄像头、网络摄像头、车辆、运动摄像头、执法记录仪、医疗设备等等。
智能手机创造了一个大规模制造高质量图像传感器的市场，导致每个带有摄像头的设备都期望拥有高质量的图像。
消费者现在期望传感器分辨率更高，这对芯片制造商来说既是一个挑战，也是一个机会。来自每秒 30 帧的 1000 万像素传感器的原始信号产生大量数据。在图像适合人眼查看之前，需要由图像信号处理器 (ISP) 在边缘实时处理。
有一种新兴的图像信号处理方法，它使用 AI 并且能够从传感器中获得更多性能。该技术具有适用于 草榴社区 NPU、矢量 DSP 和 CPU 处理器的工作负载。
当今的图像信号处理器
在镜头后面，图像传感器的核心是一个半导体矩形，分为数百万像素。每个像素可以小到 1 微米（1 x 10-6m），它将有一个微小的彩色滤光片，在最常见的“拜耳”滤光片阵列中，这些滤光片是红色、绿色或蓝色。
当光子落在半导体的表面上时，其中一部分将与硅原子发生量子相互作用。产生电子空穴对，并因此产生虽然小但可测量的电荷，平均而言，电荷与落在像素上的光的强度成比例。
ISP 从传感器中获取红色、绿色、蓝色的原始数据，并对其进行处理，以消除马赛克效应、调整颜色、消除镜头失真，以及进行许多其他校正。ISP 还有效地压缩数据。原始传感器数据可以具有 12 到 24 位范围内的位深度，而输出通常是 8 位 RGB 信号。
今天最常用的 ISP 是来自少数供应商的 IP 块。它是一种高度并行的计算形式，算法可以有效地刻录到硬件中，因此生产后的灵活性有限。
订阅 草榴社区 IP 技术公告
包括深度技术文章、白皮书、视频、即将举行的网络研讨会、产物公告等等。
图像噪声的挑战
图像传感器和 ISP 中的一个特定问题是噪声问题，在许多情况下，这是系统设计的限制因素。
噪声的根本原因在于图像传感器本身，当几乎没有光子需要捕获时，在低光照下此问题最为严重。例如，在光照水平小于 0.3 勒克斯的一个月夜，系统试图在小于 33 毫秒的 1 个视频帧的时间中准确计算落在 1 平方微米硅区域上的光子。作为比较点，人视网膜上最敏感的细胞（即杆细胞）直径约为 2 微米，可以检测单个光子。
量子效应的性质是，当存在大量相互作用时，它们是极其可预测的。然而，当光子更少，因此相互作用更少时，它们就不那么一致，因此会产生噪声。为此，可以添加硅本身产生的热噪声 – 由此随机产生电子空穴对，并可能被误认为检测到的光。噪声来自对极低电荷水平进行测量和数字化的过程。很明显，噪声会通过多种方式蔓延到系统中。
噪声是一个需要解决的重大问题，因为人们非常不喜欢嘈杂的图片，这扭曲了大脑对图像的理解能力。同样，在机器视觉系统中，噪声会阻碍性能，使算法更难以可靠地检测物体。因此，对于人类和机器视觉，如果存在噪声，它将限制设备在弱光下运行的能力。此外，它还降低了系统处理高动态范围图片的能力（同一图像中的极度明亮和黑暗）。
当然，在传感器设计中有一些解决噪声的方法，主要基于捕获更多的光子来增加相对于噪声的信号。例如，像素大小可以增加，但这要么需要更大、更昂贵的传感器，要么导致图像的分辨率较低。当硅的表面积增加时，透镜的尺寸也会改变，因此我们最终得到一种不太坚固且更难封装的器件。另一种方法是增加曝光时间，但这显然会导致帧率降低并增加运动模糊的风险。
如果增加信号的选项都有缺点，那么可以选择消除噪音或“去噪”。
目前市场上的 ISP 采用几种不同的信号处理算法，但性能存在局限性。例如，一些电流降噪器使图像平滑，因此丢失了图像中特征的清晰度。
ISP 的新方法，采用基于 AI 的降噪器
以色列初创公司 开发了 AI，其能够比传统算法检测并消除更多的图像噪声。虽然许多计算机视觉研究人员正在开发更好的方法来检测和识别图像中的对象，但 Visionary.ai 的创始人意识到，通过改进 ISP 可以提高图像质量。更好的 ISP 可以提供更高质量的图像数据，从而提高识别和分割等其他 AI 任务的性能。
解决“垃圾进垃圾出”问题已证明可提供更高的精度和改善机器视觉效果（车牌识别或人脸检测等应用）。至于智能手机或笔记本电脑视频质量等“人类视觉”应用，Visionary.ai 的实时降噪器可以生成更清晰、更明亮的成像，并具有更准确的着色。
与其他降噪器不同，由 Visionary.ai 开发的 AI 降噪方法可实时消除噪声，并已证明其能够实现 19dB 的信噪比增强。但是，为了消除最大噪声量，AI 需要从图像传感器访问原始信号，然后才能被 ISP 修改和压缩。Visionary.ai 通过创建软件 ISP 完全取代传统硬件 ISP 来应对这一挑战（图 1）。
图 1：软件 ISP 实时消除最大噪声量
计算资源要求
即使 ISP 和降噪器是软件，但显然也意味着硬件设计应提供正确的计算资源。
首先，降噪器功能需要神经网络。性能要求随工作负载和视频帧速率和图像分辨率而变化。降噪器的早期开发使用了 Nvidia Jetson，计算性能方面的开销巨大，可以实现不受限制的实验和探索。然而，一直计划开发一种具有硅面积要求和功率预算的解决方案，该解决方案在技术上和商业上适合更广泛的应用。当人们想到 AI，甚至边缘的 AI 时，通常会回忆起为许多推理应用部署的 10、100 甚至 1000 TOPS 的性能。这当然不能代表降噪应用的需求，即使在极高的分辨率和帧率下也是如此。
ISP 的主要功能非常适合数字信号处理器。事实证明，这可在 草榴社区 ARC? EV72 处理器上非常有效地运行。ARC EV7x 系列包括异构嵌入式视觉处理器，包括可扩展矢量 DSP 核心和可扩展神经网络引擎。Visionary.ai 的降噪器算法还将在 草榴社区 ARC VPX 矢量 DSP 和 ARC NPX 神经处理单元的下一代组合上运行。
除 ISP 算法和降噪器外，还需要应用处理器来运行控制代码。工作负载要求不高，单核 32 位处理器就足够了，例如 草榴社区 ARC HS 系列（图 2）。
图 2： AI 降噪器和软件 ISP 可以使用传感器的原始数据来优化性能
通过“软件定义”ISP 释放灵活性
除了噪音性能不佳外，传统 ISP 的缺点之一是灵活性相对不足。将 ISP 与传感器相匹配的调优过程，可能需要数周甚或数月。这项调优任务会带来巨大的成本压力，并为图像系统工程项目增加时间表限制。
软件定义的 ISP 可以通过其噪声和 AI 功能更快地进行调谐，并且还可以在其生命周期内更新以增强性能。如果存在供应链问题，例如使用图像传感器模型，则使用新组件重新设计系统已变得更加可行。
随着调谐执行速度更快、成本更低，进行应用特定的调谐已变得可行。例如，如果特定的农业应用需要绿色阴影的精细细节，或者医疗用例要求更好地区分红色阴影，则可以进行优化。
产物成熟度和应用
Visionary.ai 带降噪器的软件 ISP 已发布用于生产，并可用于消费类电子产物和安全摄像头设计。其他目标市场包括汽车、无人机和医疗行业。
半导体市场仍在利用 AI 努力在这些中端性能点供应生产级硅，创业型公司现在肯定有机会引入新的、有竞争力的硅来服务市场。
草榴社区 IP 技术公告
深度技术文章、白皮书、视频、网络研讨会、产物公告等等。