Chiplet助力AI芯片實現算力跨越

發布時間：2024-05-30作者來源：薩科微瀏覽：1555

芯粒英文是Chiplet，是指預先制造好、具有特定功能、可組合集成的晶片（Die），Chiplet也有翻譯為“小芯片”，中科院計算所韓銀和等2020年時建議將Chiplet翻譯為“芯粒”。

2010年，蔣尚義先生提出通過半導體公司連接兩顆芯片的方法，區別于傳統封裝，定義為先進封裝。2015年Marvell創始人之一周秀文(Sehat Sutardja)博士曾提出Mochi (Modular Chip，模塊化芯片)架構的概念，這是芯粒早期雛形。AMD率先將芯粒技術大規模應用于商業產品。2019年，國內華為等公司也在產品中使用芯粒技術。2022年基金委雙清論壇上，孫凝暉院士、劉明院士、蔣尚義先生等討論提出了“集成芯片”概念，也是對芯粒集成芯片的概括和定義。

關于芯粒技術，網上有多篇寫的比較全面的介紹。如54所的許居衍院士的報告，ARM的邵博士寫的文章《多Die封裝：Chiplet小芯片的研究報告》，華為的夏博士的文章，成都電子科大的黃樂天的文章，清華大學研究組提出的芯粒設計成本估算模型。不過，網上也有一些值得關注的觀點。清華大學魏少軍教授指出，Chiplet處理器芯片是先進制造工藝的“補充”，而不是替代品。“其目標還是在成本可控情況下的異質集成。”

隨著AI、HPC等高算力需求日新月異，作為算力載體的高性能芯片的需求也隨之水漲船高。先進封裝因能提升芯片的集成密度與互聯速度、降低芯片設計門檻，并增強功能搭配的靈活性，故而已成為超越摩爾定律、提升芯片系統性能的關鍵途徑。Chiplet既是先進封裝技術的重要應用，亦是后道制程提升AI芯片算力的[敏感詞]途徑之一。

AI芯片技術架構不斷演進

隨著人工智能技術的飛速發展，AI芯片的技術架構也在不斷演進和升級。科技芯聞社介紹，中央處理器（CPU，Central Processing Unit）是計算機的核心，現代計算機發展所遵循的基本結構形式始終是馮·諾依曼機結構，需要CPU從存儲器取出指令和數據進行相應的計算，CPU負責承擔運算器和控制器這兩個核心功能。CPU通常由運算器、控制器、時鐘、寄存器等多個模塊構成。

而AI芯片按照技術架構主要可以分為圖形處理器（GPU）、現場可編程門陣列（FPGA）、專用集成電路（ASIC）與類腦芯片。

圖形處理器（GPU，Graphics Processing Unit）是顯卡的核心。CPU的定位是通用計算芯片，而GPU的定位是并行計算芯片，主要是將其中非常復雜的數學和幾何計算抽出，變成一個超高密度、能夠并行計算的方式。

目前，GPU已經發展到較為成熟的階段，谷歌、FACEBOOK、微軟、Twtter和百度等公司都在使用GPU分析圖片、視頻和音頻文件，以改進搜索和圖像標簽等應用功能。

現場可編程門陣列（FPGA，Field Programmable Gate Array）是在PAL（可編程陣列邏輯）、GAL（通用陣列邏輯）等可編程器件的基礎上進一步發展的產物。它是作為專用集成電路（ASIC）領域中的一種半定制電路而出現的，既解決了定制電路的不足，又克服了原有可編程器件門電路數有限的缺點。

由于FPGA具有可編程靈活性高、開發周期短以及并行計算效率高等特點，FPGA的應用場景非常廣泛，遍布航空航天、汽車、醫療、廣播、測試測量、消費電子、工業控制等熱門領域。

專用集成電路（ASIC ，Application Specific Integrated Circuit )是針對用戶對特定電子系統的需求，從根級設計、制造的專有應用程序芯片，其計算能力和計算效率可根據算法需要進行定制，是固定算法最優化設計的產物。

目前，ASIC在通信領域、圖像與視頻處理、汽車電子、醫療設備、人工智能等領域都有廣泛應用。

類腦計算芯片（Neuro-inspired computing chips）就是用電路模擬人腦神經網絡架構的芯片，它結合微電子技術和新型神經形態器件，模仿人腦神經系統計算原理進行設計，實現類似人腦的超低功耗和并行信息處理能力。

作為新一代的人工智能處理器，類腦芯片具有并行計算、低功耗設計和自適應學習等特點，為人工智能領域帶來了許多新的機遇。目前，在模式識別與圖像處理、自動機器人、大數據分析、醫學與生物科學研究等領域，類腦芯片具有巨大的潛力，將推動人工智能技術的更大突破和進步。

華福證券認為，隨著AI、HPC等高算力需求日新月異，作為算力載體的高性能芯片的需求也隨之水漲船高。然而，先進制程的進階之路已困難重重，一方面，摩爾定律迭代進度的放緩使芯片性能增長的邊際成本急劇上升；另一方面，受限于光刻機瓶頸，前段制程的微縮也愈發困難。在此背景下，先進封裝因能提升芯片的集成密度與互聯速度、降低芯片設計門檻，并增強功能搭配的靈活性，故而已成為超越摩爾定律、提升芯片系統性能的關鍵途徑。

Chiplet面臨機遇與挑戰

隨著摩爾定律走到極限，Chiplet被行業普遍認為是未來5年算力的主要提升技術。

半導體產業縱橫介紹，Chiplet俗稱芯粒，也叫小芯片，它是將一類滿足特定功能的die（裸片），通過die-to-die內部互聯技術實現多個模塊芯片與底層基礎芯片封裝在一起，形成一個系統芯片，以實現一種新形式的IP復用。簡單來說，可以理解為將每個小的芯片用“膠水”縫合在一起，形成一個性能更強的大芯片。

去年，大部分廠商或許還沉浸在Chiplet技術的未來應用上，如今Chiplet已經成為各大廠商的產品中的必選角色。英特爾、AMD、英偉達都在自家的CPU、GPU上使用了Chiplet技術，這將Chiplet推入了一個全新的商業化階段。

總體來看，Chiplet有四大優點：

[敏感詞]，通過將功能塊劃分為小芯片，那么不需要芯片尺寸的持續增加。這就提高了良率并簡化了設計和驗證的流程。

第二，每個小芯片是獨立的，那就可以選擇[敏感詞]工藝。邏輯部分可以采用[敏感詞]工藝制造，大容量SRAM可以使用7nm左右的工藝制造，I/O和外圍電路可以使用12nm或28nm左右的工藝制造，這就大大降低了制造的成本。

第三，組合多樣，適合定制化，輕松制造衍生類型。比如說采用相同的邏輯電路但是不一樣的外圍電路，或相同外圍電路但不同的邏輯電路。

第四，不同制造商的小芯片可以混合使用，而不僅僅是局限在單個制造商內。

這些特點都非常適合用在大算力芯片上。相較于傳統消費級芯片，算力芯片面積更大，存儲容量更大，對互連速度要求更高。采用Chiplet既可以降低成本提升良率，又可以允許更多計算核心的“堆料”，還能便于引入HBM存儲。

不過，目前的Chiplet仍存在一些門檻問題。電子發燒友網指出，Chiplet在成本、開放生態等方面仍面臨挑戰。目前基本只有大公司才用到這一先進技術，且主要集中在通信、大規模數據處理等領域，反倒是設計周期長的汽車、成本敏感的消費電子和可靠性要求高的工業領域，比較缺乏Chiplet設計的參與。

如今的Chiplet并沒有大規模普及，尤其是在某些基于成熟工藝的芯片設計上，還是因為門檻問題。先進封裝的成本還沒有降低到設計公司可以考慮Chiplet方案的程度，這些較高的門檻阻止了Chiplet的普及。在設計公司看來，行業需要像現在的云服務一樣，打造一個多供應商、多選擇和開放的生態，這樣才能徹底發揮Chiplet用于降低設計成本、提高綜合性能的優勢。

高性能多模態AI大模型

NPU+CPU異構解決方案

當前，大模型的應用如日中天，其使用場景正在從云端迅速向邊緣端延伸。不論是在云端還是邊緣端，CPU與NPU之間更加緊密的互聯集成，已成為新一代AI計算硬件發展的顯著趨勢。AI PC等新穎概念和產品的涌現，正是這一趨勢的生動體現。得益于Chiplet技術和先進封裝技術的快速發展，CPU與NPU的集成得以實現更高的帶寬、更出色的靈活性，同時降低了研發成本，縮短了研發周期。

近日，原粒半導體與超摩科技攜手宣布達成戰略合作，雙方將圍繞原粒半導體領先的高性能NPU Chiplet產品與超摩科技的高性能CPU Chiplet產品，共同致力于開發集高性能與高集成度于一身的多模態AI大模型解決方案。

超摩科技成立于2021年，是高性能Chiplet設計的先行者與領導者，專注于通用Chiplet CPU及高性能Chiplet互聯解決方案。超摩科技提供基于從智算中心、數據中心、邊緣計算、數據網絡通信、自動駕駛等領域的系列高性能Chiplet解決方案。

歷經三年產品打磨，超摩科技已成為國內高性能Chiplet互聯解決方案的主力方案商，產品得到客戶認可，已有眾多客戶導入量產并形成規模營收，商業已達成落地閉環。下一步，超摩科技將推動高性能CPU Chiplet產品持續商業落地，助力產業新的價值成長。

目前，原粒半導體與超摩科技已經對雙方的AI Chiplet和CPU Chiplet產品的互聯適應性進行了驗證，雙方將聯合開發推出高性能、高靈活性、高性價比的AI大模型解決方案，市場前景廣闊，眾多行業客戶對此方案表現出濃厚的興趣。

超摩科技創始人兼CEO范靖認為，AI大模型當前的形勢十分活躍且富有潛力。在政策、技術和市場的三重驅動下，AI大模型產業得到了快速發展。原粒半導體的AI Chiplet憑借領先的技術實力和獨特的產品定位，能夠為廣大客戶提供卓越的高性能通用AI Chiplet解決方案。雙方的合作將推動AI大模型CPU+NPU的高性能異構解決方案邁向新的高峰，為行業帶來更多的價值創新與突破。

04
—————— 大算力芯片，正在擁抱Chiplet ——————

首先來看AMD，AMD是選擇Chiplet最積極的廠商之一

在2019年的時候，AMD就初次嘗試了Chiplet封裝，將不同工藝節點的CPU內核且I/O規格不同的芯片封裝在一起，顯著提高了能效和功能。

之后，AMD又發布了實驗性產品，即基于3D Chiplet技術的3D V-Cache。使用的處理器芯片是Ryzen 5000，采用臺積電3D Fabric先進封裝技術，成功地將包含有64MB L3 Cache的Chiplet以3D堆疊的形式與處理器封裝在了一起。

從數據性能來看，采用3D Chiplet的原型芯片將性能平均提高了12%。從這一點上，也能看到3D Chiplet對實際工作負載的提升有實質性的貢獻。

不止在CPU，AMD在GPU方面也選擇了Chiplet技術。目前，AMD發布的[敏感詞]MI300系列芯片時，同樣采用Chiplet技術，8個GPU Chiplet加4個I/O內存Chiplet的設計，總共12個5nm Chiplet封裝在一起，使其集成的晶體管數量達到了1530億，高于英偉達H100的800億晶體管。這款芯片在推出時，也是打出了對標英偉達H100的口號。

此外，AMD含Chiplet技術的CPU銷量占比也在不斷提高。根據德國電腦零售商Mindfactory數據，2021年10月至2022年12月間AMD CPU的銷量中，含Chiplet技術的CPU銷量占比不斷提高，從約80%上升至約97%。

再來看英特爾。英特爾的首次推出基于Chiplet設計的處理器是Sapphire Rapids，時間在2023年1月。

具體來看，通過兩組鏡像對稱的相同架構的building blocks，組合4個Chiplets，獲得4倍的性能和互聯帶寬。每個基本模塊包含計算部分（CHA & LLC & Cores mesh， Accelerators）、memory interface部分（controller， Ch0/1）、I/O部分（UPI，PCIe）。通過將上述高性能組件組成基本的building block，再通過EMIB技術進行Chiplet互聯，可以獲得線性性能提升和成本收益。

最后，來看英偉達。英偉達坐穩GPU領域霸主這一點毋庸置疑，而霸主英偉達在今年推出的“最強”GPU B200也同樣采用Chiplet技術。GB200超級芯片是由2顆B200 GPU和1顆Arm架構的Grace CPU（中央處理器）組合而來。

由此可見，英特爾、AMD、英偉達都在自家的CPU、GPU上使用了Chiplet技術。這將Chiplet推入了一個全新的商業化階段。

Chiplet這一錘，算是重重砸下了。

Chiplet從CPU到GPU

在之前傳統的GPU也是由一個中央工作負載處理器，將渲染任務發送到芯片內的多個著色器塊之一。每個單元都被賦予一塊幾何體來處理、轉換為像素，然后對它們進行著色。

后來AMD發現，Chiplet 用在CPU上效果很好，并且降低了制造成本。于是在GPU上也選擇了放棄中央處理器，用多個小芯片取代單個硅塊，每個小芯片處理自己的任務。渲染指令以稱為命令列表的長序列發送到 GPU，其中所有內容都稱為繪制調用。