格羅克(Groq)技術(shù)為Rubin平臺(tái)邁向多智能體系統(tǒng)新領(lǐng)域做好準(zhǔn)備

Rubin圖形處理器與格羅克推理加速器

英偉達(dá)的Vera?Rubin計(jì)算平臺(tái)將為下一代人工智能數(shù)據(jù)中心（英偉達(dá)首席執(zhí)行官黃仁勛將其稱作 “人工智能工廠”）提供強(qiáng)勁算力支持，這些系統(tǒng)將于今年晚些時(shí)候正式面世。在本屆 GTC 大會(huì)的主題演講中，黃仁勛公布了英偉達(dá)將去年收購(gòu)的格羅克知識(shí)產(chǎn)權(quán)技術(shù)融入Rubin平臺(tái)、實(shí)現(xiàn)功能升級(jí)的具體方案。Rubin平臺(tái)現(xiàn)已新增一款核心芯片 —— 英偉達(dá) Groq 3 LPU 推理加速器，該芯片能大幅提升系統(tǒng)的令牌生成量與低延遲表現(xiàn)，為前沿 AI 模型的高交互性運(yùn)行提供支撐。

此前，Rubin平臺(tái)已搭載六款核心芯片，英偉達(dá)依托這些芯片搭建機(jī)柜級(jí)算力系統(tǒng)，并進(jìn)一步拓展為規(guī)?；斯ぶ悄芄S，這六款芯片分別為：Rubin圖形處理器、Vera中央處理器、新一代 NVLink 6 橫向擴(kuò)展交換機(jī)、ConnectX 9 智能網(wǎng)絡(luò)接口卡、Bluefield 4 數(shù)據(jù)處理單元，以及集成共封裝光模塊的 Spectrum-X 縱向擴(kuò)展交換機(jī)。如今，Groq 3 LPU 成為Rubin平臺(tái)實(shí)現(xiàn)規(guī)?；瘮U(kuò)展的又一核心硬件單元。

與多數(shù)依賴高帶寬存儲(chǔ)器作為工作內(nèi)存的人工智能加速器不同，每顆 Groq 3 LPU 芯片均集成了 500 兆字節(jié)的靜態(tài)隨機(jī)存取存儲(chǔ)器，這類存儲(chǔ)器也被用于中央處理器和圖形處理器的超高速緩存。相較于Rubin圖形處理器搭載的 288 吉字節(jié)超大容量第四代高帶寬存儲(chǔ)器，500 兆字節(jié)的容量看似微不足道，但該靜態(tài)隨機(jī)存取存儲(chǔ)器能提供 150 太字節(jié) / 秒的超高帶寬，遠(yuǎn)超第四代高帶寬存儲(chǔ)器 22 太字節(jié) / 秒的帶寬表現(xiàn)。對(duì)于對(duì)帶寬高度敏感的人工智能解碼運(yùn)算，Groq 3 芯片帶來(lái)的海量帶寬提升，能為推理應(yīng)用賦予極具吸引力的性能優(yōu)勢(shì)。

英偉達(dá)將基于 Groq 3 LPU 芯片搭建 Groq 3 LPX 機(jī)柜，每個(gè)機(jī)柜集成 256 顆 Groq 3 LPU 芯片。該款機(jī)柜可提供 128 吉字節(jié)的靜態(tài)隨機(jī)存取存儲(chǔ)器，推理加速帶寬達(dá) 40 拍字節(jié) / 秒，機(jī)柜內(nèi)還配備專用橫向擴(kuò)展接口，單臺(tái)機(jī)柜的擴(kuò)展帶寬可達(dá) 640 太字節(jié) / 秒。

英偉達(dá) Groq 3 LPX 機(jī)柜核心參數(shù)

2026 年下半年正式上市

（配圖標(biāo)注：推理加速器芯片間點(diǎn)對(duì)點(diǎn)骨干連接器、8 顆推理加速器芯片、現(xiàn)場(chǎng)可編程門陣列、搭載 Bluefield 4 的數(shù)據(jù)處理單元的主中央處理器、推理加速器芯片間點(diǎn)對(duì)點(diǎn)連接）

英偉達(dá)超大規(guī)模計(jì)算業(yè)務(wù)副總裁伊恩?巴克表示，英偉達(dá)將 Groq LPX 機(jī)柜定位為Rubin平臺(tái)的協(xié)處理器，能夠?qū)崿F(xiàn) “AI 模型每個(gè)令牌的每一層解碼性能全方位提升”，同時(shí)這一組合也讓Rubin平臺(tái)具備了支撐人工智能下一發(fā)展前沿的能力 —— 滿足多智能體系統(tǒng)的運(yùn)行需求。這類系統(tǒng)需在對(duì)萬(wàn)億級(jí)參數(shù)模型進(jìn)行推理運(yùn)算、處理百萬(wàn)級(jí)令牌上下文窗口的同時(shí)，保障高交互性能。

在多智能體系統(tǒng)中，人工智能智能體的交互對(duì)象正從面對(duì)聊天窗口的人類，逐漸轉(zhuǎn)變?yōu)槠渌斯ぶ悄苤悄荏w，這也讓系統(tǒng)的響應(yīng)速度要求發(fā)生了新的變化。對(duì)于人類而言，每秒生成 100 個(gè)令牌的速度已屬可觀，但對(duì)于人工智能智能體來(lái)說(shuō)，這一速度卻十分緩慢。伊恩?巴克描繪的多智能體系統(tǒng)未來(lái)圖景中，Rubin圖形處理器與格羅克推理加速器的組合，將把人工智能智能體間的交互吞吐量從目前每秒 100 個(gè)令牌的水平，提升至每秒 1500 個(gè)及以上令牌。

Groq 3 LPU 芯片的加入，將進(jìn)一步強(qiáng)化Rubin平臺(tái)在低延遲推理領(lǐng)域的競(jìng)爭(zhēng)力，助力其應(yīng)對(duì)行業(yè)挑戰(zhàn)者。賽睿博拉斯公司憑借晶圓級(jí)引擎技術(shù)，集成了海量靜態(tài)隨機(jī)存取存儲(chǔ)器與算力單元，能為先進(jìn)模型提供低延遲推理運(yùn)算，該公司還多次指出英偉達(dá)圖形處理器在低延遲推理場(chǎng)景下的短板。包括開(kāi)放人工智能公司在內(nèi)的頭部客戶，均已采購(gòu)賽睿博拉斯的算力服務(wù)，借助其平臺(tái)的低延遲優(yōu)勢(shì)運(yùn)行前沿人工智能模型。

伊恩?巴克還透露，Groq 3 LPU 的推出或會(huì)降低Rubin CPX 推理加速器的應(yīng)用比重，英偉達(dá)目前正重點(diǎn)推進(jìn) Groq 3 LPX 機(jī)柜與Rubin平臺(tái)的集成工作。盡管他并未透露更多細(xì)節(jié)，但在當(dāng)前內(nèi)存資源緊張的行業(yè)背景下，這一研發(fā)重心的調(diào)整實(shí)則合乎情理 ——Groq 3 LPU 與Rubin CPX 推理加速器的定位相近，均為提升推理性能的專用芯片，而 Groq 3 LPU 無(wú)需像Rubin CPX 加速模塊那樣，搭配大容量第七代圖形雙倍數(shù)據(jù)率存儲(chǔ)器。