础滨驱动的设计应用
“颠覆性时代”或许是对我们所处时代最恰当的描述。
大数据、AI、5G、IoT……数年之内各项颠覆性技术渐次爆发、交相辉映,更有趣的是,这些具有颠覆能力的技术并不是独立发展的,相反,它们是如此的盘根错节、相辅相成。甚至,大数据、IoT 和 AI 的组合可以为未来带来无限潜力,而能够将这些技术“粘合”到一起的是边缘计算。
何为边缘计算?新思科技(草榴社区)产物营销经理 Ron Lowman指出,边缘计算有很多术语,包括“边缘云计算”和“雾计算”。边缘计算的概念通常被描述为在本地服务器上运行的应用程序,旨在将云进程更靠近终端设备。
当前,边缘计算迎来了科技巨头亚马逊、谷歌和微软的追捧,他们也正成为这一领域的领先者,除此之外,华为、富士通和诺基亚等公司也纷纷跟进。边缘计算究竟有何魔力,引来各路“英雄”的青睐?
传统方式是,传感器、摄像头、麦克风以及一系列不同的 IoT 和移动设备从其位置收集数据,并将数据发送到集中式数据中心或云。
然而到了2020 年,全世界会有超过500亿台智能设备实现连接。这些设备每年将产生以ZB计的数据,到2025年数据将增长到150ZB以上。
互联网的核心在于可靠地将设备彼此连接并与云连接,从而有助于确保数据包到达目的地。但是,如果将所有这些数据发送到云,还是会带来一些重大问题。
首先,150ZB 的数据会造成容量问题。其次,就能源、带宽和计算能力而言,将大量数据从其原始位置传输到集中式数据中心代价高昂。据估计,目前有12%的数据获得其持有公司进行分析,仅3%的数据有助于产生有意义的结果(也就是有97%的数据在收集和传输之后就被浪费了),而这些被浪费的数据却概括了需要解决的运营效率问题。再者,存储、传输和分析数据能耗巨大,因此,如何找到一种有效的方法来降低成本、减少浪费显得尤为必要。
为了解决这些难题,边缘计算应用而生。它能帮助在本地存储数据并降低传输成本。除解决容量、能源和成本问题外,它还可以提高网络的可靠性,使应用程序在网络中断期间还能够继续运行。另外,它还能通过清除某些威胁配置文件(例如全局数据中心拒绝服务(顿辞厂)攻击),以提高安全性。
最重要的是,边缘计算能够为实时用例(例如虚拟现实商场和移动设备视频缓存)提供低延迟计算的能力,从而催生新的服务,使设备能够在自动驾驶、游戏平台或具有挑战性的快节奏制造环境中提供更多创新型的应用。
简而言之,尽管“边缘计算”的概念未必是革命性的,但它的实现将带来更多可能。“这些实现将解决包括降低大型数据中心能耗,提高专用数据安全性,实现故障安全解决方案,降低信息存储量和通信成本,以及通过降低延迟能力来开创新应用等日益严重的问题。”新思科技产物营销经理 Ron Lowman提到。
美国超微电脑股份有限公司(Supermicro)IoT和嵌入式设备副总裁兼总经理Michael Clegg则以生活实例做类比点明边缘计算的意义:“通过边缘计算处理信息,大大缩短信息处理延迟的时间。这就如同一家连锁披萨餐厅在很多社区都开设分店,不仅避免由从总店送餐带来的不必要压力,同时提高时效性且保证了食物的新鲜度。”
作为与边缘计算同时代出现的颠覆性技术,5G、IoT和边缘计算三者的“相遇”又能碰撞出怎样的火花?新思科技产物营销经理 Ron Lowman表示:“5G基础架构是边缘计算最具说服力的驱动力之一。5G电信提供商发现了在其基础架构之上提供服务的机会。除了传统的数据和语音连接外,5G 电信提供商还可以通过构建生态系统的方式,托管本地独特的应用。也就是说,通过将服务器置于所有基站旁边,蜂窝流量提供商可以向第三方主机应用开放其网络,从而改善带宽和延迟。”
据了解,Netflix 等流媒体服务通过其 Netflix Open Connect已与本地 ISP 合作,以将高流量内容托管在距离用户更近的地方。借助5G的多接入边缘计算 (MEC) 计划,电信提供商发现了为流内容、游戏和未来的新应用提供类似服务的机会。电信提供商认为,他们能以付费服务的方式,向所有人开放这一功能,让需要较低延迟的人可以为在边缘而非在云端定位应用支付额外的费用。
Credence Research 认为,到 2026 年,整个边缘计算市场的价值将为 96 亿美元左右。电信行业更被认为是边缘计算发展最快的增长动力,它们将占据边缘计算市场总量的三分之一。除此之外,web scale、工业和公司集团也同时为其传统市场提供边缘计算硬件、软件和服务开创新的应用机遇。
其实,我们利用边缘计算可以极大地提高处理数据的效率。以美国快餐店颁丑颈肠办-蹿颈濒-础为例,其成功地使用本地服务器将数百个传感器和控制器与相对便宜的本地设备聚合在一起,实现了本地运行以防止任何网络中断。2018年颁丑颈肠办-贵颈濒-础在其博客上评论道:“通过提高厨房设备智能化,我们能够收集更多数据,并将其应用在餐厅应用中,构建更多的智能系统以进一步拓展业务。”从数据方面证明,采用边缘计算的餐厅,能够处理的业务量是最初计划的叁倍。
总而言之,成功的边缘计算基础架构需要结合本地服务器计算功能、AI 计算功能以及与移动/汽车/IoT 计算系统的连接(图 1)
图 1:边缘计算通过使用微数据中心来分析和处理数据,从而使云计算过程更靠近终端设备。
对此,CompTIA首席技术推广人James Stanger 博士进一步讲解到:“随着物联网 (IoT) 连接越来越多的设备,网络正在从以高速公路和中央位置之间往返输送的主要模式,过渡到类似于媒介存储和处理设备相互交织的蜘蛛网状态。边缘计算可以很好的实现这类应用,一改在集中式数据处理仓库中捕获、存储、处理和分析数据的做法,并将其转移到生成数据的客户端附近。因此,数据更应该存储在网络‘边缘’的中间点,而非始终存储在中央服务器或数据中心。”
在实际用例中,边缘计算又是如何改善延迟问题呢?
罗格斯大学和 Inria 使用 Microsoft HoloLens 4来分析边缘计算的可扩展性和性能。在实际用例中,HoloLens 首先读取条形码信息,再使用建筑物中的场景分割功能将用户导航到指定房间,最后在Hololens中显示箭头。这一过程同时使用映射坐标的小数据包和连续视频的较大数据包,以验证和对比边缘计算与传统云计算延迟的改善。HoloLens 最初读取二维码,然后将坐标数据发送到边缘服务器。该服务器使用4个字节加上标头,仅花费1.2ms。然后服务器找到坐标,并通知用户具体位置,全程耗时 16.22 ms。如果将同样的数据包直接发送到云端,则大约需要 80ms(图 2)
图 2:比较边缘设备到云服务器与边缘设备到边缘云服务器的延迟。
同样,他们测试在使用 OpenCV 进行场景分割时,将 Hololens 的用户导航到适当位置带来的延迟时间。如果将数据流传输到边缘计算服务器,需要4.9ms,而OpenCV 处理图像额外花费37ms,总计时47.7 ms。而传统云服务器上的相同过程则花费将近115 ms时间,这一案例足以展示边缘计算在降低延迟方面的明显优势。
以此类推,既然边缘计算比云计算更具优势,那么将数据计算全都转移到边缘设备端会是最好的解决方案吗?
事实并不是如此(图 3)。在 HoloLens 案例研究中,数据使用的SQL数据库太大,无法存储在耳机中。现在大多数的边缘设备,特别是发生物理磨损的设备,没有足够的计算能力来处理大型数据集。抛开计算能力不谈,云或边缘服务器上的软件开发成本更低。
图 3:比较云计算和边缘计算与端点设备。
许多边缘计算应用的主要目标都是围绕如何降低延迟而展开的。为了达到较低的延迟,许多新系统都采用最新的行业接口标准,包括 PCIe 5.0、LPDDR5、DDR5、HBM2e、USB 3.2、CXL、基于 PCIe 的 NVMe 以及其他基于新一代标准的技术。与上一代产物相比,这些技术都可以通过改进带宽来降低延迟。
所以,这些边缘计算系统均增加了础滨加速功能。
一般来讲,服务器芯片通过 x86 扩展AVX-512 向量神经网络指令(AVX512 VNNI) 等新指令提供 AI 加速。很多时候,这种额外的指令集不足以提供预期任务所需的低延迟和低功耗功能,所以大多数新系统中还添加了自定义 AI 加速器。
除了本地网关和聚合服务器系统外,单个 AI 加速器通常无法提供足够的性能,所以需要借助带宽非常高的裸片到裸片 SerDes PHY 来帮助这些加速器。新思科技最新发布的 PHY 支持56G和112G连接。
此外,AI 算法正在突破内存带宽要求的极限。例如,最新的 BERT 和 GPT-2 型号分别需要 345M 和 1.5B 参数。显然,这不仅需要高容量的内存能力支持,还需把许多复杂的应用放在边缘云执行。为了支持实现这种能力,设计人员正计划在新的芯片组中采用 DDR5。除了容量挑战之外,还需要存取 AI 算法的系数,以便进行非线性中的大量计算。因此,HBM2e 迅速成为被广泛采用的另一种最新技术应用,有些芯片实现了单芯片中的多次 HBM2e 实例化。
图 4:通用 AI SoC 具有高速、高带宽、内存、主机到加速器,以及高速芯片到芯片接口,用于扩展多个 AI 加速器。
Ron Lowman所属的开发团队研究了边缘计算的不同类型需求,发现区域数据中心、本地服务器和聚合网关都有不同的计算、延迟和功率需求。他认为:“未来需求显然集中在降低往返响应的延迟,降低特定边缘应用的功率,以及确保有足够的处理能力来处理特定任务上。”
因此,新一代解决方案不仅具有更低的延迟和功耗,而且还需纳入 AI 功能,也就是 AI 加速器。这些 AI 加速器的性能也会根据需求的扩展而不断变化。“AI 和边缘计算的需求正在迅速变化,在过去两年中我们看到许多解决方案已取得了进步,并将继续加以改进。未来,需要处理的数据将不断变化,所以我们需要不断提高性能、降低功耗和总体延迟。”Ron Lowman如是说。
图 5:新一代服务器 SoC 再加上 AI 加速器,大大提高边缘计算速度。
总的来说,边缘计算是实现数据快速连接的一项重要技术。它将云服务更靠近边缘设备,降低延迟,为消费者提供新的应用和服务;还将衍生出更多的 AI 功能,将其扩展到云以外。此外,它还将成为支持未来混合计算的基础技术。