草榴社区

GenAI 的简单定义是“一类机器学习算法，可以生成各种类型的内容，包括类人文本和图像。” 早期的机器学习算法专注于检测图像、语音或文本中的规律，然后根据数据进行预测。例如，预测某一图像中有猫的概率百分比。GenAI 算法迈出了下一步——它们感知和学习规律，然后通过模拟原始数据集按需生成新规律。它们生成猫的图像或详细描述猫。

虽然 ChatGPT 可能是最著名的 GenAI 算法，但还有许多算法可用，并且会经常发布更多算法。GenAI 算法的两种主要类型是文本到文本生成器（又名聊天机器人，如 ChatGPT、GPT-4 和 Llama2），和文本到图像生成模型（如 DALLE-2、Stable Diffusion 和 Midjourney）。您可以在图 1 中看到这两种 GenAI 模型的示例提示及其返回的输出。因为一种基于文本，另一种基于图像，所以这两种类型的输出将需要来自尝试实现这些算法的边缘设备提供的不同资源。

常见的 GenAI 用例需要连接到互联网，并从那里访问大型服务器群，以计算复杂的生成式 AI 算法。但是，对于边缘设备应用而言，整个数据集和神经处理引擎必须位于单个边缘设备上。如果可以在边缘运行生成式 AI 模型，那么汽车、相机、智能手机、智能手表、虚拟现实和增强现实、IoT 等应用都会实现潜在的用例和好处。

在延迟低、隐私或安全问题少或网络连接受限是关键考虑因素的情况下，在边缘设备上部署 GenAI 具有显著优势。

考虑 GenAI 在汽车应用中的可能应用。车辆并不总是受到无线信号覆盖，因此 GenAI 需要利用边缘可用的资源运行。GenAI 可用于改善道路救援，并将操作手册转换为 AI 增强的交互式指南。车载用途可能包括 GenAI 驱动的虚拟语音助手，改善在驾驶时设置导航、播放音乐或用语音发送消息的能力。GenAI 还可用于个性化定制您的座舱体验。

其他边缘应用也可能受益于生成式 AI。通过本地生成覆盖计算机生成的图像并减少对云处理的依赖，可以优化增强现实 (AR) 边缘设备。虽然联网的移动设备可以使用生成式 AI 提供的转换服务，但断开连接的设备应能够提供至少一部分相同的功能。与我们的汽车示例一样，语音助手和交互式问答系统可以使一系列边缘设备受益。

虽然边缘现已存在 GenAI 用例，但实现工作必须克服与计算复杂性和模型大小以及边缘设备固有的功率、面积和性能限制相关的挑战。

了解 GenAI 的构建模块对于了解其架构要求很有帮助。GenAI 快速发展的核心是转换器，这是一种在 2017 年 Google Brain 论文中引入的相对较新的神经网络。转换器在图像、视频或其他二维或三维数据的自然语言处理和卷积神经网络 (CNN) 方面优于递归神经网络 (RNN) 等成熟的 AI 模型。转换器模型的重要架构改进领域是其注意力机制。与传统的 AI 模型相比，转换器可以更关注特定的字词或像素，从而基于数据得出更好的推断。这使得转换器能够更准确地学习文本字符串中的字词与 RNN 之间的上下文关系，从而能够更准确地学习和表达图像中比 CNN 更复杂关系。

GenAI 算法需要大量的数据移动和显著的计算复杂性（借助转换器支持）。平衡了这两个要求之后，就可以确定给定架构是计算受限（乘法不足以处理现有数据），还是内存受限（内存和/带宽不足以提供完成处理所需的全部乘法）。文本到图像具有更好的计算和带宽要求组合——处理二维图像需要的计算较多，参数较少（在十亿范围内）。大型语言模型则更加不平衡。只需要较少的计算，却需要数量庞大的数据移动。即使是较小的（六七十亿参数）LLM 也受内存限制。

显而易见的解决方案是选择最快的内存接口。从图 3 中可以看出，边缘设备中通常使用的内存 LPDDR5 的带宽为 51 Gbps，而 HBM2E 可支持高达 461 Gbps 的带宽。然而，这并没有考虑到 LPDDR 内存相对于 HBM 的降耗优势。HBM 接口通常用于高端服务器型 AI 实现，但 LPDDR 因其降耗能力，而几乎完全用于功耗敏感型应用。