過年看了功夫,很多人不喜歡,但中二魂爆發的我看的雖然尷尬但也蠻過癮的,其中戴立忍演的傳神,一句「要相信」!到現在還迴盪在耳邊。 當企業導入AI 代理系統,算力消耗模式會轉為長期持續型,而非一次性建置,我昨天在講NV財報的時候,有提到這將影響記憶體與封裝路徑。朋友馬上就問我為什麼,我來講一下我的分析。 關鍵在於「負載型態」的改變。 過去訓練模型屬於一次性、大規模資本支出,算力與記憶體需求呈現階段性高峰;但當企業導入 Agentic AI,推論會變成日常營運的一部分,形成長期、穩定、可預測的算力消耗。 這會對記憶體產業產生結構性影響: 容量需求持續化,推論不再是尖峰式需求,而是全年運轉,DRAM 與 HBM 需求從「建設期拉貨」轉為「營運期消耗」。 頻寬與延遲要求提高,Agent 系統需要即時決策與多模態處理,對高頻寬記憶體(HBM)與高速互連架構的依賴會加深。 儲存層角色升級,長期運行意味著模型權重、KV cache、歷史資料常駐,NAND 將從冷資料儲存,轉向推論架構的一部分。 簡單說,訓練是「蓋工廠」,推論是「開工營運」。當產業從建設期進入營運期,記憶體需求就會從週期性,轉向結構性。 你再看看昨天Hynix宣布與SNDK正式於 2026 年 2 月 25 日宣布啟動高帶寬快閃記憶體(HBF)全球標準化,雙方依托開放計算項目(Open Compute Project, OCP) 框架設立專門工作組,共同推動 HBF 成為新一代記憶體產業標準。 為何目前特別強調AI 推理市場? 訓練為數據與模型創建階段,對記憶體頻寬要求極高,但訓練資源密集集中。而推理則是模型部署與實際使用階段,涵蓋大量使用者請求,需要在更低功耗與更大容量間尋找平衡。 HBF 的定位正好迎合推理階段「容量 × 能效」的矛盾需求:推理任務日益依賴大規模上下文資訊與大量中間資料;傳統 HBM 高頻寬但容量有限,難以承擔龐大推理資料;SSD 雖容量大但不能提供實時頻寬。因此 HBF 出現是為了 補足 HBM 與 SSD 的短板,提升整體 AI 系統效率與可擴展性。 儘管不是直接對台灣記憶體廠牌的消息,HBF 標準化會牽動:記憶體控制器、封測、模組設計供應鏈重新布局;記憶體與加速器系統整合要求將提升;整體看來,記憶體層級的多層架構變革正在形成,故事才剛剛開始,並不是循環的結束。 要相信,要相信。