DSO.ai
由人工智慧驱动的设计应用
瞭解更多 →
新思科技與力積電合作升級 3DIC 封裝技術以實現更快的AI推論
本文原文由Kenneth Larsen及力积电副总经理张守仁共同撰写
英文原文：Upgrading 3DIC Packaging for Faster AI Inference with PSMC
3DIC 设计正逐漸成為一個重要議題。如今市場對 人工智慧(AI)應用的需求不斷增加，而摩爾定律的減緩迫使晶片设计工程師開始尋求其他類型的晶片架構，以符合消費者和領先服务供應商期望的技術發展。有別於只是將多個矽晶片相互連接，3DIC 设计藉由矽晶圓或晶片的垂直堆疊，提供大規模更好的性能、功率效益和更小的體積。
这也促成新思科技和力積電 (PSMC) 攜手合作提供一種新的晶圓堆疊 (WoW) 和晶片堆疊 (CoW) 解决方案；這是一種特定類型的 3DIC 设计，利用新思科技 3DIC 編譯器平台和 PSMC 的先進製程技術所創造的全新協作解决方案，能夠以較少的工作量，製作出將DRAM 记忆体直接推疊並與矽晶片整合的電路设计。
圖 1：在新思科技3DIC 編譯器中對 3D 堆疊晶片的晶片凸塊、TSV 和混合鍵合(hybrid bond)的視覺化。
力積電副總經理張守仁指出，3DIC 设计非常複雜，特別是在堆疊记忆体和邏輯晶片時，需要半導體生態系統中許多領域的專業知識。我們很高興能與新思科技密切合作，提供這項尖端解决方案，可將设计工程師把多個半導體晶圓合併成一個 3D 设计所需花費的時間縮短一到兩個月，同時減少目前堆疊兩個晶片所需的高成本反覆迭代次數。
繼續閱讀以探索更多關於 WoW、混合鍵合以及其主要優點，為何 DRAM-邏輯堆疊有助於創新的 AI 應用，以及這個全新的新思科技與力積電的合作方案如何提供改良的工程生產力和快速投產優勢。
什麼是WoW及CoW混和鍵合(Hybrid Bonding)？
晶圓堆疊(Wafer-on-wafer)混合鍵合堆疊是一種 3D 设计，用電力連結不同晶圓，建立一個單一的整合元件。每個晶圓上都有微小的銅焊墊(copper pad)，徹底固定地接合在一起，形成數萬至數百萬個電路互連。對於不同晶片尺寸的设计，相關的晶片堆疊(CoW)混合鍵合可能是更實用的方法。透過 WoW 和 CoW 3D 堆疊，混合鍵合可以在不浪費功率的情況下縮短信號傳輸距離，並提供比任何其他 3D 整合方案更高的互連和頻寬密度。這項技術可以擴展到次微米互連，以實現廣泛分類(disaggregation)和小晶片架構創新。
力積電的開發工作旨在實現晶圓對晶圓堆疊，利用現有的矽供應鏈，可將間距縮短到 3 微米以下。此外，力積電與新思科技的合作，透過使用堅固的銅對銅鍵合(Cu-to-Cu bonding)結合矽穿孔 (TSV) 製程，成功展示晶圓級多重堆疊結構。
圖 2：精細間距互連的尺寸微縮，L. Jiang 等人，ECTC 2022
然而，相較於其他方法，混合鍵合技術更加複雜精細，成本也相對地增加。但對於像 AI 訓練引擎這樣的先進應用而言，增加的成本是非常值得的，因為它提供顯著的记忆体頻寬密度和低延遲。使用混合鍵合技術在邏輯上堆疊记忆体，提供AI 所需的性能和低延遲，並且在多方面優於傳統的 2D 甚至 2.5D 设计。
提早進行多晶粒系統(multi-die system)的架構探索將使晶片设计人員獲益良多，比如說，避免花費心力與金錢進行重新流片(respin)。然而在傳統上，此探索過程一直都是以手動方式執行，大多數设计人員皆需仰賴靜態試算表和特定的內部工具進行作業。因此，要達成關鍵績效指標(KPI)、甚至跟上專案進度極具挑戰性。
現在，有一項嶄新的變革誕生了，也就是針對多晶粒系統而生，為加速其系統架構實現所设计的早期系統架構探索解决方案草榴社区 Platform Architect for Multi-Die Systems。
該解决方案建立在領先業界的草榴社区 Platform Architect?之上，提供SystemC?交易級、基於建模的工具，可對SoC架構進行早期分析和優化，從而提高效能和功率。這款新工具經過AI和车用多晶粒系統设计人員認證，權衡了多晶粒系統的複雜相互依賴關係。繼續閱讀以瞭解更多關於這種基於模型的動態效能和功率分析與模拟技術，將如何幫助降低系統架構決策的風險，同時改善多晶粒系統设计的周轉時間。
圖 3：混合鍵合製程流程。Albert Lan 等人，2021年第17屆國際元件封裝大會
在逻辑上堆叠顿搁础惭的挑战
晶片设计師長期以來一直在思考如何將處理器和记忆体的堆疊最佳化的策略。有許多因素需要考慮，包括選擇異質或均質整合、如何最有效地將電力傳遞到晶片堆疊中、熱管理、堆疊中的笔痴罢感测器、應力誘導的性能和可靠性問題等等。
圖 4：DRAM 堆疊在處理器晶片上，在新思科技 3DIC Compiler呈現的熱力視覺化。
新思科技技術产物管理資深處長Kenneth Larsen指出，由於動態隨機存取记忆体(DRAM)的數據保留對溫度有較高的敏感度，因此有別於堆疊靜態隨機存取记忆体(SRAM)，這些因素在堆疊DRAM時，更是顯得複雜。圖4顯示3D堆疊架構中處理器和DRAM的操作溫度可能達到120°C/110°C，而在2D的DRAM架構中則為55°C。
較高的溫度會導致DRAM的電荷洩漏 (charge leakage)，進而加速數據遺失的速度。因此，在一定時間內需要進行更多次的自我刷新來保持數據的健康狀態。晶片设计師需要探索溫度如何影響系統的整體性能。
圖 5：對於DRAM來說，資料保留的時間對溫度具有敏感度。
當DRAM堆疊在邏輯晶片的上面時，在底部計算邏輯晶片產生的熱會向上通過记忆体，造成需要设计散熱和熱逸散(heat escape)。
最後，记忆体和邏輯设计是由不同供應商或设计團隊負責，可能會導致兩者在堆疊時出現不連貫的流程，因為團隊之間沒有共同的介面可以討論或交換设计。此外，縮小晶片的幾何結構和製程是不同的；例如，一個是100% GDS，另一個是縮小90%的GDS。這些挑戰需要創新的EDA解决方案，協助设计師能夠從设计階段進入到製造階段。
高效能的多晶粒系统整合
力積電與新思科技合作開發這項新解决方案主要依賴於草榴社区 3DIC Compiler平台，這是一個適用於高效能3D多晶粒(milti-die)系統整合的全面性、端對端的解决方案。3DIC Compiler是在新思科技数位设计解决方案系列(草榴社区 Digital Design Family)的通用融合數據模型基礎架構上開發的，融合眾多變革性的多晶粒设计功能，提供一個完整的3D架構到签核的平台。該解决方案包括沉浸式的2D和3D視覺化、跨層級的探索和規劃、设计和實作、DFx、系統層級验证和签核分析。
圖 6：具有 DRAM 處理器的中介層。
系統的完整連結模型可以在3DIC Compiler 中建模，或者透過標準的網路清單和各種文本格式匯入。3DIC Compiler 提供在底層跟頂層晶片間建立連接的功能，相較於利用手動方式，從概念、设计、實作到製造階段多個步驟和查核來優化晶片，3DIC Compiler可協助晶片设计師節省長達兩個月的時間。
3D 系統連接性檢查就是其中一個範例，整個步驟需要验证半導體晶片、晶片堆疊、中介層、嵌入式橋接器和封裝基板之間的電氣、邏輯和物理連接性。從晶片上的邏輯晶片墊片到主要 IO 的電氣連接，以及銲點和凸點(bond and bump)之間的物理連接，還有像是網路不完整或短路的等違規情況都可以找出來。對於 3D 设计規則檢查、晶片鏡像堆疊、鍵合協調(boding coordination)以及電源和 DFT 檢查等也是如此。
圖 7：透過新思科技 3DIC Compiler 視覺化的TSV 的熱圖。
藉由3DIC Compiler，新思科技的軟體可以檢查信號和功率是否透過TSV正確地經由底層晶片通過並達到上層晶片；它還可以進行必要的熱模拟，以模拟兩個晶片之間電率消耗及後續產生熱的相互作用。位於兩個晶片之間的這些熱量需要被散發，而 3DIC Compiler 可以透過不同的方法來實現這一點。
系統的完整連結模型可以在3DIC Compiler 中建模，或者透過標準的網路清單和各種文本格式匯入。3DIC Compiler 提供在底層跟頂層晶片間建立連接的功能，相較於利用手動方式，從概念、设计、實作到製造階段多個步驟和查核來優化晶片，3DIC Compiler可協助晶片设计師節省長達兩個月的時間。
3D 系統連接性檢查就是其中一個範例，整個步驟需要验证半導體晶片、晶片堆疊、中介層、嵌入式橋接器和封裝基板之間的電氣、邏輯和物理連接性。從晶片上的邏輯晶片墊片到主要 IO 的電氣連接，以及銲點和凸點(bond and bump)之間的物理連接，還有像是網路不完整或短路的等違規情況都可以找出來。對於 3D 设计規則檢查、晶片鏡像堆疊、鍵合協調(boding coordination)以及電源和 DFT 檢查等也是如此。
圖 8：晶圓堆疊解决方案。圖片由力積電提供。
最終，使用力積電和新思科技的全新3D晶圓堆疊和晶片堆疊解决方案的客戶可以放心，3DIC Compiler是以經過認證的新思科技数位设计系列為基礎開發，因此客戶從下線試量產(tape-out)開始的整個過程都能得到新思科技数位设计系列完整的技術支援。這個新解决方案為记忆体和邏輯晶片之間提供了高頻寬，增強了AI推論性能和速度。
隨著人工智慧技術在更多面向融入我們日常生活中，複雜度可預見會更加顯著，對记忆体頻寬、IO 和運算能力的總體需求也將會隨著時間而增加。隨著摩爾定律的放緩，先進封裝成為現今和未來的晶片设计工程師在尋找的共同答案。像 3DIC Compiler 這樣的产物正在幫助设计工程師們快速且有效率地滿足這些新興應用需求，推動人工智慧等領域的發展。