DSO.ai
础滨驱动的设计应用
了解更多 →
将机器学习从云端转移到嵌入式边缘
SiMa.ai 业务开发和系统应用副总裁 Kavitha Prasad
随着以泽字节计算的数据产生后并推送到云端，数据管理、连接和存储的成本变得巨大且还不断变大。此外，当距离起到决定作用时，云中的系统延迟就是一个难以解决的挑战。为了克服这些云端的挑战，系统设计师都在将更多的人工智能 (AI) 和计算功能推送到嵌入式边缘中去。
处理和分析更加贴近其所服务的应用的数据就变得越来越流行，并为工业、消费类、汽车和航空航天应用中的机器人技术、自主系统和其他智能视觉应用打开了新的市场。虽说将机器学习 (ML) 处理推送到边缘降低了延迟，但同时也带来了新的开发和部署的挑战。
边缘机器学习的系统开发挑战
为了帮助边缘 AI 系统架构师实现其愿景， 提供了一个异构计算平台，在保障功耗和性能的同时，改进易用性和上市时间，取得了很好的平衡。此外，在不断变化的 AI 推理领域，架构师需要灵活地将机器学习添加到传统应用，而且还需要随着技术和应用需求的演变，轻松升级机器学习功能，从而满足未来的应用需求。
SiMa.ai 的全新机器学习 SoC (MLSoC?) 平台支持 ML 和传统计算，采用高性能、低功耗和软件优先的理念，可加快设计速度。根据数十位客户的反馈，我们正在构建一种以软件为中心且易于使用的架构。按照帧/秒/瓦特 (FPS/W) 衡量时，该架构的性能始终是其他方案的 30 倍。我们正在与客户密切合作，以了解他们的应用并将其映射到我们的硬件。
通过尽早提供我们的 SDK，我们开始帮助客户缩短上市时间并先于其竞争对手交付支持机器学习的产物。支持行业标准机器学习框架（如张量虚拟机 (TVM)，以及 Open VX、OpenCV 和 OpenCL），可使客户专注于自己的应用，而无需处理硬件或接口。此外，使用标准开源方法可帮助设计人员显著提高易用性，并且可与所选硬件结合使用，以应对下一代需求。
尽早将软件交到客户手中至关重要，但我们也知道，硬件 IP 的选择也是我们产物成功与否的关键所在。我们收集了大量客户意见，以精简要集成到我们平台的 IP 清单，并且确定我们需要的 IP 供应商，可提供强大而完整的 IP 产物组合以及验证和确认工具。我们选择了 草榴社区，因为它们能提供我们解决客户挑战所需的完整处理器、接口和安全 IP 组合，以及诸如 Fusion Design Platform 等工具，能够支持我们优化实现。
例如，MLSoC 平台提供高达 50 万亿次运算/秒 (TOPS) 的总体性能（以 10 TOPS/瓦运行时），从而能够在边缘实现传统上需要云级性能的 ML 工作负载。SiMa.ai 选用了 DesignWare? ARC? 嵌入式视觉处理器，因为它的功耗/性能特性符合我们对计算机视觉处理的要求（图 1）。DesignWare ARC EV7x 视觉处理器的异构多核架构包括多达四个高性能 VPU。每个 EV7x VPU 包含一个 32 位标量单元和一个 512 位宽矢量 DSP，可配置用于 8、16 或 32 位运算，以在不同数据流上执行同步乘法累加。
除了处理功能外，我们还使用所选的 DesignWare 安全和接口 IP 增强了功耗和性能。草榴社区 的安全 IP 有助于保护片上系统 (SoC) 的数据和算法，而 MIPI CSI-2、以太网、PCI Express 和 LPDDR IP 以更低的功耗提供高速摄像头、主机处理器和内存连接。
图 1：SiMa.ai MLSoC 架构
”我们专门构建的高度集成 MLSoC 支持传统计算以及业界领先的机器学习，实现的计算/功耗效率是行业其他方案的 30 多倍。我们很高兴与 草榴社区 合作以实现我们的共同目标，将高性能机器学习转移到嵌入式边缘。”"
Krishna Rangasayee
|SiMa.ai 创始人兼首席执行官
符合未来的保护和安全标准
保护 SoC 的数据是一项成绩，保护自动驾驶汽车乘客的生命则是一次飞跃。SiMa.ai 正在按照合规所需的流程，加快在需要 ISO 26262 认证的应用领域集成 MLSoC，包括集成合适类型的 IP。我们正在整合在正确的时间进行认证所需的安全机制，以及可信设备所需的安全保护功能。
展望未来
SiMa.ai 的 MLSoC 最初针对计算机视觉应用进行了优化，此类应用是机器人、安全保护和自主机器中端点 AI 用例的核心，但我们计划将 MLSoC 扩展到更广泛的机器学习应用中。我们计划于今年年中完成流片，并在客户开发周期的各个阶段都积极与客户互动。由于我们提前提供了 SDK，客户将能够在硅可用后快速编译和部署其系统。
作者介绍
Kavitha Prasad 是 SiMa.ai 的业务开发和系统应用副总裁。Kavitha 负责通过与客户和合作伙伴的密切合作，为 SiMa.ai 的机器学习 SoC 定义系统级架构。她是一位技术带头人，拥有超过 22 年的经验，在多个工艺节点的 ASIC、SoC、FPGA 和服务器中提供了多种成功的产物。在加入 SiMa.ai 之前，Kavitha 在 Intel 平台解决方案集团负责为嵌入式细分市场提供系统解决方案，以及担任其他职务。在加入 Intel 之前，她在 Xilinx 和 Philips 担任过多个技术职务。Kavitha 拥有圣何塞州立大学的电子电气工程理学硕士学位。