北京時(shí)間3月19日凌晨，英偉達(dá)創(chuàng)始人兼CEO黃仁勛發(fā)表GTC 2025主題演講。黃仁勛宣布了一系列重磅發(fā)布，展示了英偉達(dá)在加速計(jì)算和AI領(lǐng)域的最新進(jìn)展和未來布局。

黃仁勛指出，AI處于一個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn)，推理和Agentic AI的需求推動(dòng)了計(jì)算量的激增。他還預(yù)測(cè)到2030年，數(shù)據(jù)中心的建設(shè)規(guī)模將達(dá)到一萬(wàn)億美元；未來有工廠的企業(yè)將會(huì)有兩個(gè)工廠：一個(gè)用于生產(chǎn)實(shí)際產(chǎn)品，另一個(gè)是AI工廠。

大會(huì)現(xiàn)場(chǎng)，黃仁勛宣布Blackwell平臺(tái)已全面投產(chǎn)，在特定推理模型測(cè)試場(chǎng)景下，Blackwell的性能最高可達(dá)Hopper的40倍。今年下半年將推出的Blackwell Ultra，還透露了下一代 NVIDIA Rubin Ultra GPU 和 NVIDIA Vera CPU 架構(gòu)的細(xì)節(jié)。

此外，宣布推出“AI工廠的操作系統(tǒng)”Nvidia Dynamo，用于加速和擴(kuò)展AI工廠中的推理模型；為支持AI工廠擴(kuò)展到數(shù)百萬(wàn)個(gè)GPU，還推出了首個(gè)采用共同封裝光學(xué)（CPO）技術(shù)的硅光子系統(tǒng)等。

Nvidia Dynamo 是一款開源的 AI 推理服務(wù)軟件，專為加速和擴(kuò)展 AI 工廠中的 AI 推理模型而設(shè)計(jì)。它通過高效地編排和協(xié)調(diào)大量 GPU 上的 AI 推理請(qǐng)求，確保 AI 工廠以最低成本運(yùn)行，同時(shí)最大化 token 收入。

據(jù)IDC圈不完全統(tǒng)計(jì)，當(dāng)前國(guó)內(nèi)擬建、在建智算中心約有600座左右（詳情參考：600+智算項(xiàng)目450+未投產(chǎn)，DeepSeek對(duì)IDC產(chǎn)業(yè)9大沖擊｜算力產(chǎn)業(yè)核心內(nèi)刊）。Nvidia Dynamo發(fā)布之后，將對(duì)這些項(xiàng)目的下一步部署和運(yùn)營(yíng)帶來極大影響。黃仁勛還宣布通用汽車將采用NVIDIA AI、模擬和加速計(jì)算技術(shù)來開發(fā)下一代汽車、工廠和機(jī)器人。在機(jī)器人方面，英偉達(dá)還發(fā)布了Omniverse（物理AI的操作系統(tǒng)）、新一代世界基礎(chǔ)模型Cosmos、Newton（與DeepMind和Disney Research合作開發(fā)的物理引擎）以及人形機(jī)器人的通用基礎(chǔ)模型Isaac Groot N1并開源。

以下是GTC2025黃仁勛演講全文實(shí)錄

經(jīng)數(shù)字開物團(tuán)隊(duì)編譯整理

歡迎來到GTC！今年真是太棒了。我們Nvidia一直想把GTC辦好，所以，今天我們用AI的魔法，帶大家到Nvidia總部逛一逛。猜猜這是哪兒？這就是我們平時(shí)工作的地方！真是精彩的一年。我們有很多超酷的事情要和大家分享。先說好，我可是完全即興發(fā)揮，沒有稿子，也沒有提詞器，不過我要講的東西可不少。咱們這就開始吧！

首先，我要感謝所有的贊助商，感謝所有參與這次大會(huì)的嘉賓們。幾乎各行各業(yè)都有代表參加。醫(yī)療、交通、零售，還有計(jì)算機(jī)行業(yè)，計(jì)算機(jī)行業(yè)的各位都來了。見到大家真是太好了，感謝你們的贊助。

GTC最早是從GeForce開始的。一切都源于GeForce。今天我手上拿的是GeForce5090。你敢信嗎，我們開始做GeForce已經(jīng)25年了，現(xiàn)在GeForce在全世界都賣斷貨了。這是5090,采用Blackwell架構(gòu)。跟4090比，體積小了30%，散熱效果好了30%，性能更是難以置信，甚至難以比較，這都得歸功于AI。

GeForce把CUDA帶給了全世界，CUDA又讓AI成為可能?，F(xiàn)在，AI反過來又徹底改變了計(jì)算機(jī)圖形學(xué)。你們現(xiàn)在看到的可是實(shí)時(shí)的計(jì)算機(jī)圖形，100%路徑追蹤。每渲染一個(gè)像素，AI就能預(yù)測(cè)出另外15個(gè)。想想看，我們用數(shù)學(xué)方法渲染一個(gè)像素，AI就能推算出另外15個(gè)！而且，它還必須算得特別準(zhǔn)，這樣圖像才好看，而且還得保證時(shí)序穩(wěn)定，也就是說，一幀一幀地看，不管是往前還是往后，因?yàn)檫@是計(jì)算機(jī)圖形，所以它得一直保持穩(wěn)定。

太不可思議了，AI這些年進(jìn)步太大了。雖然也就10年時(shí)間。我們討論AI的時(shí)間可能更長(zhǎng)一些。但AI真正火起來，也就是十年前的事。一開始是感知AI，比如計(jì)算機(jī)視覺、語(yǔ)音識(shí)別，后來就是生成式AI。過去五年，我們主要關(guān)注生成式AI，教AI怎么把一種形式的東西轉(zhuǎn)換成另一種形式。文本變圖像，圖像變文本，文本變視頻，氨基酸變蛋白質(zhì)，屬性變化學(xué)物質(zhì)。我們能用AI生成各種各樣的東西。

生成式AI徹底改變了計(jì)算機(jī)的工作方式，從原來的檢索式計(jì)算模型，變成了現(xiàn)在的生成式計(jì)算模型。以前，我們做的基本上都是預(yù)先創(chuàng)建好內(nèi)容，存好幾個(gè)版本，用的時(shí)候再挑一個(gè)合適的。現(xiàn)在，AI能理解你說的是什么，明白你的意思，知道你要干什么，然后直接生成你需要的東西。有需要的話，它還會(huì)自己去找資料，加深理解，然后給你生成答案。它不再是簡(jiǎn)單地找數(shù)據(jù)，而是直接生成答案。這可是計(jì)算方式的根本性變革，計(jì)算機(jī)的每一層都變了。

過去幾年，特別是最近兩三年，AI領(lǐng)域有了重大突破。這是AI的根本性進(jìn)步。我們管它叫基于智能體的AI（Agentic AI）。Agentic AI基本上意味著AI有了自己的“代理”，能自己干活了。它能感知周圍的環(huán)境，理解發(fā)生了什么。它能推理，更厲害的是，它能琢磨怎么回答問題，怎么解決問題。它能規(guī)劃行動(dòng)，并付諸實(shí)踐。它還能用各種工具，因?yàn)樗F(xiàn)在能理解各種各樣的信息，也就是多模態(tài)信息。它能上網(wǎng)，看網(wǎng)頁(yè)的布局、文字、視頻，甚至還能看視頻學(xué)習(xí)，理解了之后，再用這些新學(xué)到的知識(shí)來完成任務(wù)。

Agentic AI的核心，當(dāng)然是一種全新的能力——推理。而且，下一波浪潮已經(jīng)來了。今天我們會(huì)好好聊聊這個(gè)。這就是機(jī)器人技術(shù)（Robotics），它是由物理AI（physical AI）來驅(qū)動(dòng)的。物理AI就是能理解現(xiàn)實(shí)世界的AI，它懂摩擦力、慣性、因果關(guān)系、物體恒存性這些東西。比方說，一個(gè)東西挪到墻角后面了，AI知道它還在那兒，只是看不見了。所以說，這種理解現(xiàn)實(shí)世界、理解三維世界的能力，會(huì)開啟一個(gè)AI的新時(shí)代，我們叫它物理AI，它會(huì)讓機(jī)器人技術(shù)更上一層樓。

每一個(gè)階段，每一波浪潮，都給我們大家?guī)砹诵碌馁嶅X機(jī)會(huì)。也給GTC帶來了更多新的合作伙伴。所以，GTC現(xiàn)在都快擠爆了。要想讓更多人來GTC，唯一的辦法就是把圣何塞給擴(kuò)建了。我們正在努力，我們有的是地。圣何塞，你可得加油發(fā)展，這樣我們才能把GTC辦得更大更好。說真的，我站在這兒，真希望你們也能看到我看到的。我們現(xiàn)在就在一個(gè)體育場(chǎng)的正中間。去年是咱們恢復(fù)線下活動(dòng)的第一年。當(dāng)時(shí)就跟搖滾音樂會(huì)似的。有人說GTC是AI界的伍德斯托克音樂節(jié)。今年呢，又有人說它是AI界的超級(jí)碗。唯一的區(qū)別就是，在這個(gè)超級(jí)碗里，大家都是贏家！所以，每年都有越來越多的人來，因?yàn)锳I能給越來越多的行業(yè)、越來越多的公司解決更多更有意思的問題。今年，要好好聊聊Agentic AI和物理AI的核心。

那么，到底是什么推動(dòng)了AI的每一波浪潮和每一個(gè)階段呢？這里面有三個(gè)關(guān)鍵。

首先是怎么解決數(shù)據(jù)的問題。這一點(diǎn)很重要，因?yàn)锳I是一種數(shù)據(jù)驅(qū)動(dòng)的計(jì)算機(jī)科學(xué)方法。它得從數(shù)據(jù)里學(xué)習(xí)，從數(shù)字化的經(jīng)驗(yàn)里學(xué)習(xí)，才能學(xué)到知識(shí)，積累經(jīng)驗(yàn)。那么，怎么解決數(shù)據(jù)問題呢？第二個(gè)問題是，怎么才能在沒有人工干預(yù)的情況下訓(xùn)練AI？“人工干預(yù)”這事兒挺麻煩的，因?yàn)樵蹅兊臅r(shí)間有限，我們又希望AI能學(xué)得飛快，比人快得多，而且能學(xué)得特別多，多到人根本跟不上。所以，第二個(gè)問題就是，怎么訓(xùn)練模型？

第三個(gè)問題是，怎么才能讓AI規(guī)?；?，不斷擴(kuò)展？如何創(chuàng)造、如何找到一種算法，使得你提供的資源越多（無論是什么樣的資源），AI就變得越聰明。這就是Scaling Law。然而，在過去的一年里，幾乎全世界都對(duì)此產(chǎn)生了誤判。計(jì)算需求，也就是AI的Scaling Law，其韌性遠(yuǎn)超預(yù)期，實(shí)際上呈現(xiàn)出超加速增長(zhǎng)的態(tài)勢(shì)。由于Agentic AI，由于推理能力的引入，我們現(xiàn)在所需的計(jì)算量，比去年同期我們的預(yù)期高出了100倍。讓我們來分析一下這背后的原因。

首先，讓我們從AI能夠做什么入手，然后反向推導(dǎo)。正如我之前提到的，Agentic AI的基礎(chǔ)實(shí)際上是推理能力。我們現(xiàn)在所擁有的AI能夠進(jìn)行推理，這意味著它們可以將一個(gè)問題逐步分解。也許，它會(huì)嘗試幾種不同的方法來解決問題，然后選擇最佳答案。又或許，它會(huì)用多種方式來解決同一個(gè)問題，以確保得到一致的最佳答案。這被稱為一致性檢查。再或者，在得出答案之后，它會(huì)把答案代入到原始的方程式中——例如一個(gè)二次方程式——來驗(yàn)證答案是否正確，而不是簡(jiǎn)單地、一次性地給出結(jié)果。還記得兩年前我們剛開始使用ChatGPT的時(shí)候嗎？盡管它是一個(gè)奇跡，但許多復(fù)雜的問題，甚至是許多簡(jiǎn)單的問題，它都無法給出正確的答案。這是可以理解的。它只是進(jìn)行了一次嘗試?；谒ㄟ^學(xué)習(xí)預(yù)訓(xùn)練數(shù)據(jù)所獲得的知識(shí)，基于它從其它經(jīng)驗(yàn)、預(yù)訓(xùn)練數(shù)據(jù)中所看到的內(nèi)容，它會(huì)像一個(gè)學(xué)者一樣，一次性地給出答案。但現(xiàn)在，我們擁有的AI能夠一步一步地進(jìn)行推理，這得益于一系列的技術(shù)，如思維鏈、一致性檢查，以及各種不同的路徑規(guī)劃等技術(shù)。現(xiàn)在，我們擁有的AI能夠推理，能夠?qū)栴}分解，一步一步地進(jìn)行推理。

可以想象，這樣一來，我們生成的Token數(shù)量，雖然AI的基礎(chǔ)技術(shù)仍然是相同的——生成下一個(gè)Token，預(yù)測(cè)下一個(gè)Token，但現(xiàn)在的下一個(gè)Token構(gòu)成了第一步，然后是下一個(gè)Token，在它生成第一步之后，第一步會(huì)再次作為輸入，讓AI生成第二步、第三步和第四步。所以，它不再是簡(jiǎn)單地生成一個(gè)Token或一個(gè)單詞，而是生成一系列的單詞，這些單詞代表著推理的一個(gè)步驟。因此，生成的Token數(shù)量大幅增加。稍后我會(huì)給你們展示具體的數(shù)據(jù)，現(xiàn)在可以輕松達(dá)到100倍的增長(zhǎng)。增長(zhǎng)了100倍。這意味著什么呢？這意味著，它可以生成100倍的Token。

正如我之前解釋的，這種情況可能會(huì)發(fā)生，或者是因?yàn)槟Ｐ妥兊酶訌?fù)雜，從而生成10倍的Token。而為了保持模型的響應(yīng)速度和交互性，避免我們因?yàn)榈却鼳I思考而失去耐心，我們現(xiàn)在必須將計(jì)算速度提升10倍。因此，10倍的Token，10倍的速度。我們所需要的計(jì)算量很容易就達(dá)到了100倍。所以，你們會(huì)在接下來的演示中看到這一點(diǎn)。

現(xiàn)在，我們進(jìn)行推理所需的計(jì)算量比過去要大得多。那么，接下來的問題就是，我們?nèi)绾谓虝?huì)AI完成我剛才所描述的任務(wù)，如何執(zhí)行這個(gè)思維鏈？一種方法是，你必須教會(huì)AI如何推理。正如我之前在關(guān)于訓(xùn)練的部分提到的，我們需要解決兩個(gè)基本問題。數(shù)據(jù)從何而來？以及我們?nèi)绾伪苊馐艿?ldquo;人工干預(yù)”的限制？因?yàn)槲覀兡軌蛱峁┑臄?shù)據(jù)和進(jìn)行的演示是有限的。而這正是過去幾年里取得的重大突破。強(qiáng)化學(xué)習(xí)，以及可驗(yàn)證的結(jié)果。

本質(zhì)上，這是對(duì)AI的一種強(qiáng)化學(xué)習(xí)，當(dāng)它嘗試解決一個(gè)問題時(shí)，一步一步地進(jìn)行。在人類歷史上，我們已經(jīng)解決了許多問題，并且知道這些問題的答案。我們知道二次方程的公式以及如何求解。我們知道如何求解勾股定理，知道直角三角形的規(guī)則。我們知道許多數(shù)學(xué)、幾何、邏輯和科學(xué)方面的規(guī)則。我們有一些益智游戲，我們可以給AI設(shè)置一些約束條件，比如數(shù)獨(dú)之類的游戲，等等。我們有數(shù)百個(gè)這樣的問題空間，我們可以生成數(shù)百萬(wàn)個(gè)不同的例子，讓AI有成百上千次的機(jī)會(huì)逐步解決問題，同時(shí)，我們使用強(qiáng)化學(xué)習(xí)來獎(jiǎng)勵(lì)那些表現(xiàn)越來越好的AI。因此，綜合來看，我們有數(shù)百個(gè)不同的主題，數(shù)百萬(wàn)個(gè)不同的例子，數(shù)百次的嘗試，每一次嘗試都會(huì)產(chǎn)生數(shù)萬(wàn)個(gè)Token。把所有這些加在一起，就是為了訓(xùn)練模型而產(chǎn)生的數(shù)萬(wàn)億個(gè)Token?，F(xiàn)在，借助強(qiáng)化學(xué)習(xí)，我們有能力生成海量的Token，還有合成數(shù)據(jù)生成，其實(shí)就是使用一種類似于機(jī)器人的方法來訓(xùn)練AI。這兩項(xiàng)技術(shù)的結(jié)合，給整個(gè)行業(yè)帶來了巨大的計(jì)算挑戰(zhàn)。你們可以看到，整個(gè)行業(yè)正在積極應(yīng)對(duì)。

接下來我要向你們展示的是Hopper的出貨量，來自前四大云服務(wù)提供商（CSP）。這四大云服務(wù)提供商擁有公有云，分別是Amazon、Azure、GCP和OCI。這前四大云服務(wù)商，注意，這里面并不包括AI公司，也不包括所有的初創(chuàng)公司和企業(yè)。有很多都沒有包括在內(nèi)，僅僅是這四家。這只是為了讓你們對(duì)Hopper的出貨高峰年份以及Blackwell的第一年有一個(gè)大致的了解。

你們可以看到，事實(shí)上，AI正在經(jīng)歷一個(gè)拐點(diǎn)。它變得更加有用，因?yàn)樗兊酶斆髁?。它能夠進(jìn)行推理，因此它的應(yīng)用也更加廣泛。從一個(gè)現(xiàn)象就可以看出它的應(yīng)用越來越廣泛：現(xiàn)在每當(dāng)你使用ChatGPT的時(shí)候，似乎等待的時(shí)間越來越長(zhǎng)了，但這其實(shí)是一件好事。這說明有很多人都在有效地使用它。而訓(xùn)練這些模型以及進(jìn)行推理所需的計(jì)算量，都出現(xiàn)了巨大的增長(zhǎng)。所以，僅僅在一年之內(nèi)（Blackwell才剛剛開始發(fā)貨），你們就可以看到AI基礎(chǔ)設(shè)施的驚人增長(zhǎng)。與此同時(shí)，整個(gè)計(jì)算領(lǐng)域也反映了這一點(diǎn)。我們現(xiàn)在看到的情況是一直到這個(gè)十年的結(jié)束，到2030年，我預(yù)計(jì)數(shù)據(jù)中心的建設(shè)規(guī)模將達(dá)到一萬(wàn)億美元。我相當(dāng)肯定，我們很快就會(huì)達(dá)到這個(gè)數(shù)字。

（紫色部分代表分析師對(duì)全球數(shù)據(jù)中心（包括云服務(wù)提供商和企業(yè)等）資本支出增長(zhǎng)的預(yù)測(cè)）

有兩種趨勢(shì)同時(shí)發(fā)生。第一種趨勢(shì)是，絕大部分的增長(zhǎng)可能會(huì)被加速。絕大部分的增長(zhǎng)可能會(huì)被加速。這意味著我們?cè)缇椭懒?，通用?jì)算這條路已經(jīng)走到頭了，我們需要一種新的計(jì)算方法。整個(gè)世界正在經(jīng)歷一場(chǎng)平臺(tái)級(jí)的轉(zhuǎn)變，從原來在通用計(jì)算機(jī)上跑的手工編寫的軟件，轉(zhuǎn)向在加速器和GPU上跑的機(jī)器學(xué)習(xí)軟件。這種計(jì)算方式，可以說，已經(jīng)越過了那個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn)。現(xiàn)在，我們能看到拐點(diǎn)正在出現(xiàn)，全球的數(shù)據(jù)中心建設(shè)正在發(fā)生巨變。所以，第一件事，就是我們的計(jì)算方式變了。

第二個(gè)是越來越多的人意識(shí)到，未來的軟件是需要真金白銀的投入的。這是一個(gè)非常重要的概念。在過去，我們寫好軟件，然后在計(jì)算機(jī)上運(yùn)行就完事了。但未來不一樣了，計(jì)算機(jī)會(huì)為軟件生成Token。這樣一來，計(jì)算機(jī)就成了Token的生成器，而不是簡(jiǎn)單的文件檢索器。從基于檢索的計(jì)算到生成式計(jì)算，從老一套的數(shù)據(jù)中心模式，到構(gòu)建這些新型基礎(chǔ)設(shè)施，我把它們叫做AI工廠。它們就是AI工廠，因?yàn)樗鼈冎桓梢患?，那就是生成這些特別厲害的Token，然后我們?cè)侔堰@些Token重新組合成音樂、文字、視頻、研究成果、化學(xué)品或者蛋白質(zhì)，等等。我們把它轉(zhuǎn)化成各種各樣的信息。

所以，整個(gè)世界正在經(jīng)歷一場(chǎng)變革，不僅僅是信息量、要建設(shè)的數(shù)據(jù)中心數(shù)量在變，連怎么建設(shè)的方式都在變。數(shù)據(jù)中心里，所有的東西都會(huì)被加速，但不一定都是AI。關(guān)于這一點(diǎn)，我想多說幾句。這張幻燈片，是我個(gè)人的最愛。為什么這么說呢？因?yàn)檫@么多年來，你們一直都來參加GTC，一直聽我在這里講這些庫(kù)。實(shí)際上，這就是GTC的核心所在，濃縮在這一張幻燈片里。

不夸張地說，很久以前，20年前，我們就只有這一張幻燈片。一個(gè)庫(kù)接著一個(gè)庫(kù)，不斷地增加。你不能光去加速軟件本身。這就好比，我們需要一個(gè)AI框架來創(chuàng)造AI，然后我們?nèi)ゼ铀龠@個(gè)AI框架。同樣的道理，你也需要物理學(xué)、生物學(xué)、多物理場(chǎng)，以及各種各樣的量子物理學(xué)的框架。你需要各種各樣的庫(kù)和框架。我們把它們叫做CUDA X庫(kù)，它們是各個(gè)科學(xué)領(lǐng)域的加速框架。第一個(gè)要介紹的庫(kù)非常厲害，NumPy是全世界下載量最大、使用最廣泛的Python庫(kù)，去年一年就被下載了4億次。CuLitho，是一個(gè)計(jì)算光刻庫(kù)。經(jīng)過四年多的努力，我們現(xiàn)在已經(jīng)掌握了處理光刻的整個(gè)流程，也就是計(jì)算光刻，這是晶圓廠里的第二個(gè)工廠。一個(gè)是制造晶圓的工廠，另一個(gè)是制造用于生產(chǎn)晶圓的信息的工廠。

每個(gè)行業(yè)，每個(gè)擁有工廠的公司，未來都會(huì)有兩個(gè)工廠。一個(gè)是負(fù)責(zé)生產(chǎn)實(shí)際產(chǎn)品的工廠，另一個(gè)是負(fù)責(zé)進(jìn)行數(shù)學(xué)計(jì)算的工廠。AI工廠，汽車工廠，汽車的AI工廠，智能音箱工廠，還有智能音箱的AI工廠。CuLitho就是我們的計(jì)算光刻。臺(tái)積電、三星、ASML，以及我們的合作伙伴Synopsys、Mentor，都給予了我們極大的支持。我認(rèn)為，這個(gè)領(lǐng)域現(xiàn)在正處在一個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn)，再過五年，每一個(gè)光刻過程，都將在Nvidia的平臺(tái)上進(jìn)行處理。Cuda Arial是我們的5G庫(kù)。把GPU變成5G無線電設(shè)備，這有什么不可以呢？信號(hào)處理可是我們的強(qiáng)項(xiàng)。一旦我們搞定了這個(gè)，我們就能在它的基礎(chǔ)上疊加AI。也就是用于RAN的AI，或者我們叫它AI RAN。下一代的無線電網(wǎng)絡(luò)，一定會(huì)深度嵌入AI。為什么我們現(xiàn)在會(huì)被信息論限制住呢？因?yàn)槲覀兡塬@得的頻譜資源就那么多。但是，如果我們加上AI，情況就完全不同了。Cu OPT是數(shù)值優(yōu)化，或者叫數(shù)學(xué)優(yōu)化。幾乎每個(gè)行業(yè)都會(huì)用到它，比如你安排航班座位、管理庫(kù)存和客戶、協(xié)調(diào)工人和工廠、調(diào)度司機(jī)和乘客等等，總之就是會(huì)遇到各種各樣的約束條件。大量的約束，大量的變量，你需要對(duì)時(shí)間、利潤(rùn)、服務(wù)質(zhì)量、資源利用率等等進(jìn)行優(yōu)化。

Nvidia就用它來管理我們的供應(yīng)鏈。Cu OPT是一個(gè)非常強(qiáng)大的庫(kù)。它能把原本需要幾個(gè)小時(shí)才能完成的任務(wù)，縮短到幾秒鐘。這有什么意義呢？這意味著我們現(xiàn)在可以探索一個(gè)大的多的解空間。我們已經(jīng)宣布，將會(huì)開源Cu OPT?，F(xiàn)在，幾乎所有人都在用Gurobi或者IBM、CPLEX或者FICO。

我們正在和這三家公司緊密合作。整個(gè)行業(yè)都非常興奮。我們即將為這個(gè)行業(yè)帶來巨大的加速。Parabricks是用于基因測(cè)序和基因分析的。MONAI是全球領(lǐng)先的醫(yī)學(xué)成像庫(kù)。Earth2是用于預(yù)測(cè)高分辨率局部天氣的多物理場(chǎng)仿真庫(kù)。CuQantum和Cuda Q，我們將在GTC上舉辦我們的第一個(gè)量子計(jì)算日。我們正在和這個(gè)生態(tài)系統(tǒng)里的幾乎所有人合作，要么幫助他們研究量子架構(gòu)、量子算法，要么一起構(gòu)建經(jīng)典的加速量子異構(gòu)架構(gòu)。所以，這方面的工作非常令人興奮。cuTENS0R和相關(guān)量子化學(xué)加速庫(kù)是用于張量收縮和量子化學(xué)的。當(dāng)然了，這個(gè)技術(shù)棧是世界聞名的。很多人以為只有一個(gè)叫做CUDA的軟件，但實(shí)際上，在CUDA之上，有一整套的庫(kù)，這些庫(kù)被集成到了整個(gè)生態(tài)系統(tǒng)、軟件和基礎(chǔ)設(shè)施的方方面面，這樣才能讓AI成為可能。

今天，我還要宣布一個(gè)新的成員：cuDss，我們的稀疏求解器。這對(duì)于CAE(計(jì)算機(jī)輔助工程)來說至關(guān)重要。這是過去一年里發(fā)生的最重要的事情之一。通過與Cadence、Synopsys、Ansys、Dassault，以及所有這些系統(tǒng)公司的合作，我們現(xiàn)在已經(jīng)讓幾乎所有重要的EDA(電子設(shè)計(jì)自動(dòng)化)和CAE庫(kù)都實(shí)現(xiàn)了加速。說出來你們可能不信，直到最近，Nvidia還一直使用通用計(jì)算機(jī)，運(yùn)行著速度非常慢的軟件，來為其他人設(shè)計(jì)加速計(jì)算機(jī)。原因就在于，我們之前一直沒有針對(duì)CUDA進(jìn)行優(yōu)化的軟件。所以，現(xiàn)在隨著我們轉(zhuǎn)向加速計(jì)算，我們的整個(gè)行業(yè)都將迎來一次巨大的飛躍。CuDf，是用于處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)框。我們現(xiàn)在已經(jīng)實(shí)現(xiàn)了對(duì)Spark和Pandas的嵌入式加速。真是太棒了，然后，我們還有Warp，這是一個(gè)用Python編寫的物理庫(kù)，是專門為CUDA打造的Python物理庫(kù)。關(guān)于這個(gè)，我們有一個(gè)重要的消息要宣布，我先賣個(gè)關(guān)子，稍后再說。

這里展示的只是一小部分能夠?qū)崿F(xiàn)加速計(jì)算的庫(kù)。絕不僅僅只有CUDA。我們?yōu)镃UDA感到無比自豪，但如果沒有CUDA，沒有我們?nèi)绱她嫶蟮挠脩艋A(chǔ)，這些庫(kù)也不會(huì)被這么多的開發(fā)者所使用。對(duì)于所有使用這些庫(kù)的開發(fā)者來說，你們之所以使用它，首先是因?yàn)樗芙o你們帶來難以置信的加速，能讓你們實(shí)現(xiàn)難以置信的規(guī)模擴(kuò)展；其次，是因?yàn)镃UDA的用戶基礎(chǔ)現(xiàn)在無處不在。它存在于每一個(gè)云平臺(tái)，每一個(gè)數(shù)據(jù)中心，全世界每一家計(jì)算機(jī)公司都在提供它。毫不夸張地說，它無處不在。所以，通過使用這些庫(kù)中的任何一個(gè)，你的軟件，你那些優(yōu)秀的軟件，就能觸及到每一個(gè)人。因此，我們現(xiàn)在已經(jīng)到達(dá)了加速計(jì)算的轉(zhuǎn)折點(diǎn)。CUDA讓這一切成為可能。而你們?cè)谧拿恳晃?，這就是GTC的意義所在，整個(gè)生態(tài)系統(tǒng)，是你們所有人讓這一切成為可能。所以，我們?yōu)槟銈儨?zhǔn)備了一個(gè)小短片。謝謝大家。

向所有的創(chuàng)造者、先行者、未來的建設(shè)者們致敬！CUDA為你們而生。自2006年以來，全球超過200個(gè)國(guó)家和地區(qū)的600萬(wàn)開發(fā)者使用了CUDA，并徹底改變了計(jì)算領(lǐng)域。憑借著900多個(gè)CUDA X庫(kù)和AI模型，你們正在加速科學(xué)的進(jìn)步，重塑各行各業(yè)，并賦予機(jī)器視覺、學(xué)習(xí)和推理的能力?，F(xiàn)在，Nvidia Blackwell的速度比第一代CUDA GPU快了5萬(wàn)倍。這種數(shù)量級(jí)的速度提升，以及規(guī)模的擴(kuò)展，正在不斷縮小模擬與現(xiàn)實(shí)之間的差距。數(shù)字孿生(DigitalTwins)。而對(duì)于你們來說，這僅僅是一個(gè)開始。我們迫不及待地想看到你們接下來的行動(dòng)。

我熱愛我們的工作。我更熱愛你們用它所創(chuàng)造的一切。在我這33年的職業(yè)生涯中，最讓我感動(dòng)的一件事，是一位科學(xué)家對(duì)我說：“Jensen，因?yàn)檫@項(xiàng)工作，因?yàn)槟愕墓ぷ?，我終于可以在有生之年完成我畢生的事業(yè)了。”老天，如果這都不能打動(dòng)你，那你可真是太麻木了。所以，這一切都是為了你們。謝謝大家。

我們繼續(xù)來聊聊AI。AI最初是在云端發(fā)展起來的，這是有原因的。因?yàn)槭聦?shí)證明，AI需要基礎(chǔ)設(shè)施。它是機(jī)器學(xué)習(xí)。既然這門科學(xué)叫做機(jī)器學(xué)習(xí)，那你就需要一臺(tái)機(jī)器來進(jìn)行科學(xué)研究。所以，機(jī)器學(xué)習(xí)需要基礎(chǔ)設(shè)施。而云數(shù)據(jù)中心恰恰擁有基礎(chǔ)設(shè)施。他們還擁有非常強(qiáng)大的計(jì)算機(jī)科學(xué)和卓越的研究實(shí)力。這是AI在云端和云服務(wù)提供商那里蓬勃發(fā)展的絕佳條件。但這并不是AI的終點(diǎn)。AI將會(huì)無處不在。我們將從多個(gè)角度來探討AI。當(dāng)然了，云服務(wù)提供商都喜歡我們的尖端技術(shù)。他們喜歡我們擁有全棧的技術(shù)體系，因?yàn)檎缥抑敖忉屵^的，加速計(jì)算不僅僅是芯片的事情。甚至不僅僅是芯片、庫(kù)和編程模型，而是芯片、編程模型，以及構(gòu)建在它們之上的一整套軟件。

整個(gè)技術(shù)棧是非常復(fù)雜的。每一層，每一個(gè)庫(kù)，基本上都類似于SQL。SQL，被稱為存儲(chǔ)計(jì)算。它是IBM在計(jì)算領(lǐng)域掀起的一場(chǎng)重大革命。SQL僅僅是一個(gè)庫(kù)。大家可以想象一下，我剛才給你們展示了一大堆庫(kù)，而在AI領(lǐng)域，還有更多。所以，這個(gè)技術(shù)棧是非常復(fù)雜的。云服務(wù)提供商也喜歡Nvidia CUDA的開發(fā)者同時(shí)也是他們的客戶，因?yàn)闅w根結(jié)底，他們是在為全世界構(gòu)建基礎(chǔ)設(shè)施。所以，一個(gè)繁榮的開發(fā)者生態(tài)系統(tǒng)是非常有價(jià)值的，也是備受贊賞的?，F(xiàn)在，我們要把AI推廣到世界各地，而世界各地的情況千差萬(wàn)別，系統(tǒng)配置不同、操作環(huán)境不同、特定領(lǐng)域的庫(kù)不同，使用方式也不同。

所以，當(dāng)AI應(yīng)用到企業(yè)中，IT應(yīng)用到制造業(yè)、機(jī)器人技術(shù)或者自動(dòng)駕駛汽車領(lǐng)域，甚至應(yīng)用到那些剛剛起步的GPU云公司時(shí)，有很多這樣的公司，大概有20家，它們都是在Nvidia時(shí)代創(chuàng)立的。他們只做一件事，那就是托管GPU，他們把自己叫做GPU云。我們的一個(gè)重要合作伙伴Core Weave正在準(zhǔn)備上市，我們?yōu)樗麄兏械椒浅ｒ湴?。所以，GPU云有他們自身的需求。但其中一個(gè)讓我非常感興趣的領(lǐng)域是邊緣計(jì)算。

今天，我們宣布，Cisco、Nvidia、T-Mobile，這家全球最大的電信公司，以及Cerberus ODC，將要為美國(guó)的無線電網(wǎng)絡(luò)構(gòu)建一個(gè)全棧的技術(shù)體系。這將是第二個(gè)技術(shù)棧。所以，我們今天宣布的這個(gè)技術(shù)棧，將會(huì)把AI引入到邊緣計(jì)算領(lǐng)域。大家要記住，全球每年有1000億美元的資本投資于無線電網(wǎng)絡(luò)和所有用于未來通信的數(shù)據(jù)中心，毫無疑問，這些投資都將轉(zhuǎn)向采用融入了AI的加速計(jì)算。AI肯定能在調(diào)整無線電信號(hào)、大規(guī)模MIMO，使之適應(yīng)不斷變化的環(huán)境和交通狀況方面，做得更好。當(dāng)然，我們會(huì)利用強(qiáng)化學(xué)習(xí)來實(shí)現(xiàn)這一點(diǎn)。MIMO本質(zhì)上就是一個(gè)巨大的無線電機(jī)器人。這是毋庸置疑的。所以，我們當(dāng)然會(huì)提供這些能力。AI無疑會(huì)給通信領(lǐng)域帶來革命性的變化。大家想想，平時(shí)我給家里打電話的時(shí)候，不用多說什么，就幾個(gè)字，因?yàn)槲移拮又牢以谀膬汗ぷ?，工作狀態(tài)怎么樣，我們的話題可以接著昨天繼續(xù)聊，她大概也記得我喜歡什么、不喜歡什么，通常只需要幾個(gè)字，就能表達(dá)很多信息。之所以這樣，是因?yàn)榇嬖谥舷挛?，以及人類的先?yàn)知識(shí)。如果把這些能力結(jié)合起來，就能給通信領(lǐng)域帶來翻天覆地的變化?？纯此谝曨l處理方面所取得的成就。再看看我剛才所描述的3D圖形。所以，我們當(dāng)然也會(huì)在邊緣計(jì)算領(lǐng)域做同樣的事情。

因此，我對(duì)我們今天宣布的消息感到非常興奮。T-Mobile、Cisco、Nvidia、Cerberus、ODC將會(huì)一起構(gòu)建一個(gè)全棧的技術(shù)體系。AI將會(huì)進(jìn)入到各行各業(yè)。這僅僅是其中之一。AI最早進(jìn)入的領(lǐng)域之一就是自動(dòng)駕駛汽車。當(dāng)年我第一次看到Alexnet的時(shí)候，我們已經(jīng)在計(jì)算機(jī)視覺領(lǐng)域耕耘了很長(zhǎng)時(shí)間?？吹紸lexnet的那一刻，真是令人振奮，非常激動(dòng)人心。這促使我們下定決心，要全力以赴地投入到自動(dòng)駕駛汽車的研發(fā)中。所以，我們從事自動(dòng)駕駛汽車的研發(fā)已經(jīng)有十多年了，我們開發(fā)的技術(shù)幾乎每一家自動(dòng)駕駛汽車公司都在使用。這些技術(shù)可能應(yīng)用在數(shù)據(jù)中心里。例如，特斯拉在數(shù)據(jù)中心里使用了大量的Nvidia GPU。也可能應(yīng)用在數(shù)據(jù)中心或者汽車?yán)铩aymo和Zoox在數(shù)據(jù)中心和汽車?yán)锒际褂昧宋覀兊挠?jì)算機(jī)。也可能僅僅應(yīng)用在汽車?yán)铩＿@種情況比較少見，但有時(shí)候確實(shí)只應(yīng)用在汽車?yán)?，或者他們?huì)使用我們的所有軟件。

此外，我們和汽車行業(yè)也有合作。更準(zhǔn)確地說，汽車行業(yè)希望和我們合作。我們打造了三種計(jì)算機(jī)：訓(xùn)練計(jì)算機(jī)、模擬計(jì)算機(jī)和機(jī)器人計(jì)算機(jī)，也就是自動(dòng)駕駛汽車的計(jì)算機(jī)。還有運(yùn)行在這些計(jì)算機(jī)之上的所有軟件、模型和算法。這和我之前展示的其他所有行業(yè)的情況是一樣的。

今天，我非常高興地宣布，通用汽車選擇了Nvidia作為合作伙伴，一起來打造他們未來的自動(dòng)駕駛汽車車隊(duì)。自動(dòng)駕駛汽車的時(shí)代已經(jīng)到來了，我們期待著與通用汽車在三個(gè)領(lǐng)域展開AI方面的合作：制造領(lǐng)域的AI，用來革新他們的制造方式；企業(yè)級(jí)AI，用來革新他們的工作方式、汽車設(shè)計(jì)和汽車模擬；以及車內(nèi)AI。為通用汽車構(gòu)建AI基礎(chǔ)設(shè)施，與通用汽車攜手合作，共同打造他們的AI。

我對(duì)此感到非常興奮。有一個(gè)領(lǐng)域我感到非常自豪，但很少有人關(guān)注到，那就是汽車安全，我們稱之為Halos。安全這項(xiàng)工作，需要從芯片到整個(gè)系統(tǒng)的全方位技術(shù)。系統(tǒng)軟件、算法、方法論，從多樣性到確保多樣性、監(jiān)控、透明度、可解釋性等等，所有這些不同的理念都必須深深地融入到你開發(fā)系統(tǒng)和軟件的每一個(gè)環(huán)節(jié)。我相信，我們是全球第一家對(duì)每一行代碼都進(jìn)行安全評(píng)估的公司。七百萬(wàn)行代碼都經(jīng)過了安全評(píng)估。我們的芯片、我們的系統(tǒng)、我們的系統(tǒng)軟件，以及我們的算法，都經(jīng)過了第三方的安全評(píng)估，他們會(huì)逐行檢查代碼，以確保其設(shè)計(jì)能夠保證多樣性、透明度和可解釋性。我們還申請(qǐng)了1000多項(xiàng)專利，在這次GTC期間，我強(qiáng)烈建議大家去參加Halos的研討會(huì)，親眼看看所有這些技術(shù)是如何融合在一起，來確保未來的汽車既安全又能夠?qū)崿F(xiàn)自動(dòng)駕駛的。這是我感到非常自豪的一件事情。但很少有人關(guān)注到這一點(diǎn)，所以這次我想多花點(diǎn)時(shí)間來聊聊這個(gè)話題。好的，Nvidia Halos。你們都見過汽車自動(dòng)駕駛的場(chǎng)景。Waymo的無人駕駛出租車非常棒。但是，我們制作了一段視頻，想和大家分享一下我們用來解決數(shù)據(jù)、訓(xùn)練和多樣性問題的一些技術(shù)，這樣我們就可以利用AI的魔力來創(chuàng)造AI。讓我們一起來看看。

Nvidia正在利用Omniverse和Cosmos來加速自動(dòng)駕駛汽車(AVs)的AI開發(fā)。Cosmos的預(yù)測(cè)和推理能力為AI優(yōu)先的AV系統(tǒng)提供了支持，這些系統(tǒng)可以通過新的開發(fā)方法、模型蒸餾、閉環(huán)訓(xùn)練和合成數(shù)據(jù)生成來實(shí)現(xiàn)端到端的訓(xùn)練。首先，模型蒸餾被用作一種策略模型。Cosmos的駕駛知識(shí)從一個(gè)速度較慢、但更智能的“老師”（這里指的是一個(gè)性能更好但速度較慢的模型）那里，遷移到一個(gè)更小、更快的“學(xué)生”（這里指的是一個(gè)需要部署到車端的模型）那里，并在車端進(jìn)行推理。

老師的策略模型展示了最佳的行駛軌跡，學(xué)生模型通過反復(fù)迭代學(xué)習(xí)來模仿這條軌跡，直到它的表現(xiàn)幾乎與老師的模型相同。蒸餾過程可以快速啟動(dòng)一個(gè)策略模型，但復(fù)雜的路況需要進(jìn)一步的微調(diào)。閉環(huán)訓(xùn)練可以對(duì)策略模型進(jìn)行微調(diào)。日志數(shù)據(jù)會(huì)被轉(zhuǎn)換成3D場(chǎng)景，然后在基于物理的模擬環(huán)境中，利用Omniverse神經(jīng)重建來進(jìn)行閉環(huán)駕駛，創(chuàng)建這些場(chǎng)景的不同版本，來測(cè)試模型的軌跡規(guī)劃能力。

然后，Cosmos行為評(píng)估器可以對(duì)生成的駕駛行為進(jìn)行評(píng)分，來評(píng)估模型的性能。新生成的場(chǎng)景以及它們的評(píng)估結(jié)果，會(huì)創(chuàng)建一個(gè)用于閉環(huán)訓(xùn)練的大型數(shù)據(jù)集，幫助自動(dòng)駕駛汽車更穩(wěn)定可靠地應(yīng)對(duì)復(fù)雜的路況。

最后，3D合成數(shù)據(jù)生成增強(qiáng)了自動(dòng)駕駛汽車對(duì)不同環(huán)境的適應(yīng)能力。Omniverse根據(jù)日志數(shù)據(jù)，通過融合地圖和圖像，構(gòu)建出細(xì)節(jié)豐富的4D駕駛環(huán)境，并生成真實(shí)世界的數(shù)字孿生，包括通過對(duì)每個(gè)像素進(jìn)行分類來指導(dǎo)Cosmos進(jìn)行語(yǔ)義分割。然后，Cosmos通過生成準(zhǔn)確且多樣化的場(chǎng)景來擴(kuò)展訓(xùn)練數(shù)據(jù)，從而縮小模擬環(huán)境和真實(shí)環(huán)境之間的差距。Omniverse和Cosmos使自動(dòng)駕駛汽車能夠?qū)W習(xí)、適應(yīng)并智能地駕駛，從而推動(dòng)實(shí)現(xiàn)更安全的出行。

Nvidia就是干這個(gè)的。這是我們的使命：用AI來創(chuàng)造AI。我們剛才給你們展示的那些技術(shù)，跟你們現(xiàn)在正在體驗(yàn)的、把你們帶入到我們稱之為Nvidia的數(shù)字孿生世界的那些技術(shù)，非常相似。好了，咱們來聊聊數(shù)據(jù)中心。Blackwell已經(jīng)全面投產(chǎn)了，就是這個(gè)樣子。真是太了不起了。你們知道嗎，對(duì)于我們來說，這簡(jiǎn)直就是一件藝術(shù)品。你們覺得呢？這可是一件大事，因?yàn)槲覀冊(cè)谟?jì)算機(jī)架構(gòu)上實(shí)現(xiàn)了一個(gè)根本性的轉(zhuǎn)變。

實(shí)際上，大概三年前，我給你們展示過一個(gè)類似的版本。它叫做 Grace Hopper，整個(gè)系統(tǒng)叫做 Ranger。Ranger 系統(tǒng)大概有屏幕一半那么寬。它是世界上第一個(gè) NVLink。三年前，我們展示了 Ranger 的運(yùn)行效果，但是它太大了。不過，我們的思路是完全正確的。我們當(dāng)時(shí)想要解決的就是擴(kuò)展性的問題。橫向擴(kuò)展的分布式計(jì)算，簡(jiǎn)單來說，就是用一大堆不同的計(jì)算機(jī)一起工作，來解決一個(gè)特別大的問題。

但是在進(jìn)行橫向擴(kuò)展之前，縱向擴(kuò)展是必不可少的。兩者都很重要，但是你得先進(jìn)行縱向擴(kuò)展，然后再進(jìn)行橫向擴(kuò)展。縱向擴(kuò)展非常困難，沒有那么容易的解決方案。你不能像用 Hadoop 那樣去進(jìn)行縱向擴(kuò)展或者橫向擴(kuò)展。弄一堆普通的計(jì)算機(jī)，把它們連接到一個(gè)大型網(wǎng)絡(luò)里，然后用 Hadoop 來進(jìn)行存儲(chǔ)計(jì)算。大家都知道，Hadoop 是一個(gè)革命性的想法，它讓超大規(guī)模的數(shù)據(jù)中心能夠解決海量的數(shù)據(jù)問題，而且通常使用的都是現(xiàn)成的計(jì)算機(jī)。然而，我們現(xiàn)在要解決的問題實(shí)在是太復(fù)雜了，如果用 Hadoop 那種方式來進(jìn)行擴(kuò)展，會(huì)消耗掉太多的電力和能源。那樣的話，深度學(xué)習(xí)就根本不可能實(shí)現(xiàn)了。所以，我們必須要做的就是首先進(jìn)行縱向擴(kuò)展。這就是我們進(jìn)行縱向擴(kuò)展的方式。我可搬不動(dòng)這個(gè)大家伙。它足足有 70 磅重（約 31.8 公斤）。這是上一代的產(chǎn)品。整個(gè)系統(tǒng)的架構(gòu)叫做 HGX。它徹底改變了我們所熟知的計(jì)算。它徹底改變了AI。

這里面有八個(gè) GPU。每一個(gè) GPU 都跟這個(gè)差不多。大家看，這是兩個(gè) GPU，兩個(gè) Blackwell GPU 被封裝在一個(gè) Blackwell 芯片里面。這個(gè)下面有八個(gè)這樣的封裝。它會(huì)連接到我們稱之為 NVLink8 的這個(gè)東西上。然后，它再連接到像那樣的 CPU 托架上。

所以這里有兩個(gè) CPU，位于整個(gè)系統(tǒng)的頂部。我們通過 PCI Express 來連接它們。然后，其中有很多個(gè)會(huì)通過 InfiniBand 連接起來，最終形成一個(gè) AI 超級(jí)計(jì)算機(jī)。

過去是這樣的。這就是我們一開始的方案。這就是我們?cè)谶M(jìn)行橫向擴(kuò)展之前，所能達(dá)到的縱向擴(kuò)展的極限。但是我們希望能夠進(jìn)一步地進(jìn)行縱向擴(kuò)展。我之前跟大家說過，Ranger 這個(gè)系統(tǒng)，在之前的基礎(chǔ)上又進(jìn)行了橫向擴(kuò)展，更確切地說，是縱向擴(kuò)展了四倍。我們當(dāng)時(shí)有了 NVLink32，但是整個(gè)系統(tǒng)實(shí)在是太大了。所以，我們必須要做一些非常了不起的事情。那就是重新設(shè)計(jì) NVLink 的工作方式，以及縱向擴(kuò)展的方式。我們做的第一件事，就是，我們意識(shí)到，這個(gè)系統(tǒng)中的 NVLink 交換機(jī)是嵌入在主板上的。我們需要把 NVLink 系統(tǒng)解耦出來，把它單獨(dú)拿出來。這就是 NVLink 系統(tǒng)。

大家看，這是一個(gè) NVLink 交換機(jī)。這是目前世界上性能最強(qiáng)的交換機(jī)。它能夠讓每一個(gè) GPU 都能夠同時(shí)以全帶寬和其他所有的 GPU 進(jìn)行通信。這就是 NVLink 交換機(jī)。我們把它解耦出來，把它單獨(dú)拿出來，然后放到了整個(gè)機(jī)箱的中央。這里一共有 18 個(gè)這樣的交換機(jī)，分布在九個(gè)不同的機(jī)架里面，我們把它們叫做交換機(jī)托盤。然后，這些交換機(jī)是相互獨(dú)立的。計(jì)算單元現(xiàn)在位于這里。它的計(jì)算能力相當(dāng)于之前那兩個(gè)部分的計(jì)算能力。最厲害的是，這是完全液冷的。通過液冷技術(shù)，我們能夠把所有這些計(jì)算節(jié)點(diǎn)都?jí)嚎s到一個(gè)機(jī)架里面。這是整個(gè)行業(yè)的一個(gè)重大變革。在座的各位，我知道你們來了很多人。我要感謝你們，和我們一起實(shí)現(xiàn)了從集成的 NVLink 到解耦的 NVLink、從風(fēng)冷到液冷的這一根本性的轉(zhuǎn)變。從每臺(tái)計(jì)算機(jī)大約 60,000 個(gè)組件，到每個(gè)機(jī)架 600,000 個(gè)組件。20 千瓦全液冷。這樣一來，我們就在一個(gè)機(jī)架里面實(shí)現(xiàn)了一臺(tái) Exaflops 級(jí)別的超級(jí)計(jì)算機(jī)。這難道不令人驚嘆嗎？這就是計(jì)算節(jié)點(diǎn)。

現(xiàn)在，它可以被安裝到其中一個(gè)機(jī)架里面。3,000 磅（約 1360 千克）重，5,000 根線纜，長(zhǎng)度大約有兩英里。這真是一個(gè)令人難以置信的電子設(shè)備。600,000 個(gè)零部件。我覺得這相當(dāng)于 20 輛汽車的零部件。把 20 輛汽車的零部件集成到一臺(tái)超級(jí)計(jì)算機(jī)里面。我們的目標(biāo)就是要實(shí)現(xiàn)這一點(diǎn)。我們的目標(biāo)就是要進(jìn)行縱向擴(kuò)展。這就是它現(xiàn)在的樣子。我們本質(zhì)上是想要構(gòu)建這樣一塊芯片。但是，沒有任何光刻掩膜版的尺寸限制能夠允許我們這樣做。沒有任何現(xiàn)有的工藝技術(shù)能夠做到這一點(diǎn)。它擁有 130 萬(wàn)億個(gè)晶體管。其中有 20 萬(wàn)億個(gè)晶體管是用于做冗余計(jì)算的。所以，在短期之內(nèi)，你根本不可能合理地制造出這樣的芯片。

要解決這個(gè)問題，方法就是把它進(jìn)行解耦，就像我剛才描述的那樣，把它分解成 Grace Blackwell NVLink 72 機(jī)架。但最終的結(jié)果是，我們完成了終極的縱向擴(kuò)展。這是世界上有史以來最極端的縱向擴(kuò)展。這里能夠?qū)崿F(xiàn)的計(jì)算量、內(nèi)存帶寬（高達(dá) 570 TB/秒），這臺(tái)機(jī)器里的一切現(xiàn)在都是以 T（萬(wàn)億）為單位的。你擁有了一個(gè) Exaflops，也就是每秒一百萬(wàn)萬(wàn)億次的浮點(diǎn)運(yùn)算能力。我們之所以要這樣做，是為了解決一個(gè)極端的問題。

很多人誤以為這個(gè)問題很簡(jiǎn)單，但實(shí)際上，這是最極端的計(jì)算問題。它叫做推理。原因很簡(jiǎn)單。推理就是一個(gè)工廠生產(chǎn) Token 的過程。而工廠是用來產(chǎn)生收入和利潤(rùn)的，或者說，是會(huì)產(chǎn)生虧損的。所以，這個(gè)工廠必須以極高的效率和極高的性能來建造。因?yàn)檫@個(gè)工廠里的一切，都會(huì)直接影響到你的服務(wù)質(zhì)量、你的收入和你的盈利能力。我來給大家解釋一下這張圖表怎么看，因?yàn)槲乙粫?huì)兒還會(huì)再回到這張圖表。

基本上，這里有兩個(gè)坐標(biāo)軸。X 軸是每秒鐘生成的 Token 數(shù)量。每當(dāng)你進(jìn)行聊天的時(shí)候，當(dāng)你向 ChatGPT 輸入一個(gè)提示 的時(shí)候，它輸出的就是 Token。這些 Token 會(huì)被重新組合成單詞。每個(gè)單詞可不止一個(gè) Token。它們會(huì)把“the”這樣的詞進(jìn)行 Token 化，它可以用于“the”、“them”、“theory”、“theatrics”等等各種情況。“the”就是一個(gè) Token 的例子。他們會(huì)把這些 Token 重新組合成單詞。我們已經(jīng)確定了，如果你想讓你的 AI 變得更聰明，你就需要生成大量的 Token。

這些 Token 包括推理 Token、一致性檢查 Token，以及提出一大堆想法，然后從中選擇最佳方案的 Token。所以，這些 Token，它可能是在進(jìn)行自我反思，這是否是我能做的最好的工作？所以它會(huì)像我們平時(shí)自言自語(yǔ)一樣，跟自己對(duì)話。你生成的 Token 越多，你的 AI 就越聰明。但是，如果你回答一個(gè)問題花了太長(zhǎng)的時(shí)間，客戶就不會(huì)再來了。這和網(wǎng)頁(yè)搜索是一個(gè)道理。在返回一個(gè)智能的答案之前，它能夠花費(fèi)的時(shí)間是有限度的。所以，你就會(huì)面臨這兩個(gè)相互制約的維度。你一方面想要生成大量的 Token，但另一方面，你又希望能夠盡快地完成。所以，你的 Token 生成率就非常重要。你希望每一個(gè)用戶每秒鐘能夠獲得的 Token 數(shù)量越多越好。

然而，在計(jì)算機(jī)科學(xué)和工廠運(yùn)營(yíng)中，延遲、響應(yīng)時(shí)間和吞吐量之間存在著一個(gè)根本性的矛盾。原因很簡(jiǎn)單。如果你從事的是大批量的業(yè)務(wù)，你會(huì)進(jìn)行批量處理，這叫做批處理。你把大量的客戶需求集中起來，然后生產(chǎn)出一個(gè)特定的版本，供所有人稍后使用。然而，從批量生產(chǎn)開始，到你最終使用，這中間可能會(huì)間隔很長(zhǎng)的時(shí)間。所以，這對(duì)于計(jì)算機(jī)科學(xué)來說是一樣的，對(duì)于生成Token 的 AI 工廠來說也是一樣的。所以，你面臨著這兩個(gè)基本的矛盾。一方面，你希望客戶的服務(wù)質(zhì)量能夠盡可能地好，希望 AI 能夠非常智能，而且響應(yīng)速度要快。另一方面，你又希望你的數(shù)據(jù)中心能夠?yàn)楸M可能多的人生產(chǎn) Token，這樣你才能最大化你的收入。最理想的狀態(tài)是右上角。理想情況下，這條曲線的形狀應(yīng)該是一個(gè)正方形，這樣你就可以為每一個(gè)用戶快速地生成 Token，一直到達(dá)到工廠的極限為止。但是，沒有任何工廠能夠做到這一點(diǎn)。所以，它可能是一條曲線。你的目標(biāo)是最大化曲線下面的面積，也就是 X 和 Y 的乘積。你向外擴(kuò)展得越多，通常就意味著你正在建造的工廠越好。

事實(shí)證明，對(duì)于整個(gè)工廠的每秒 Token 數(shù)，以及響應(yīng)時(shí)間的每秒 Token 數(shù)而言，其中一個(gè)需要巨大的計(jì)算量，而另一個(gè)維度則需要巨大的帶寬和計(jì)算量。所以，這是一個(gè)非常難以解決的問題。一個(gè)比較好的解決思路是，你應(yīng)該擁有大量的 flops、大量的帶寬、大量的內(nèi)存，大量的各種資源。這是最好的出發(fā)點(diǎn)，這也是為什么這是一臺(tái)如此出色的計(jì)算機(jī)的原因。你從盡可能多的 flops、盡可能多的內(nèi)存、盡可能多的帶寬開始，當(dāng)然，還有最好的架構(gòu)、最高的能效，而且你必須擁有一個(gè)編程模型，能夠讓你運(yùn)行各種軟件，所有這些都非常困難，這樣你才能實(shí)現(xiàn)最終的目標(biāo)?，F(xiàn)在，讓我們來看一下這個(gè)演示，讓大家對(duì)我們正在討論的內(nèi)容有一個(gè)更直觀的感受，請(qǐng)播放視頻。

傳統(tǒng)的大語(yǔ)言模型具備基礎(chǔ)知識(shí)，而推理模型則利用思維 Token來解決復(fù)雜的問題。這里有一個(gè)例子，要求在滿足特定約束條件——比如遵循傳統(tǒng)、考慮拍照角度以及處理家庭成員間的矛盾——下來為一個(gè)婚禮宴會(huì)安排座位。傳統(tǒng)的 LLM 可以在 500 個(gè) Token 內(nèi)迅速給出答案，但可能會(huì)出錯(cuò)。而推理模型則需要思考超過 8000 個(gè) Token 才能得出正確答案。這就好比需要一位牧師來維持現(xiàn)場(chǎng)秩序一樣。

各位，大家都知道，如果你要為一個(gè) 300 人的婚禮安排座位，想找到一個(gè)完美的，或者說最佳的方案，這事兒通常只有 AI 或者新娘的母親才能搞定。合作模式 (co-op) 在這種情況下是行不通的。大家可以看到，我們給模型提出了一個(gè)需要推理的問題。R1 開始運(yùn)行，它進(jìn)行各種推理，嘗試不同的方案，然后回過頭來檢驗(yàn)自己的答案，判斷自己做得對(duì)不對(duì)。與此同時(shí)，上一代的大語(yǔ)言模型采用的是單次生成的方式，只用了 439 個(gè) Token。它速度是挺快，看起來也挺有效，但結(jié)果卻是錯(cuò)的。這 439 個(gè) Token 就白白浪費(fèi)掉了。另一方面，如果要對(duì)這個(gè)問題進(jìn)行充分的推理——實(shí)際上這還是一個(gè)相對(duì)簡(jiǎn)單的問題，如果我們加入更多更復(fù)雜的變量，那推理的難度可就大大增加了。最終，推理模型使用了將近 9000 個(gè) Token，而且由于模型本身的復(fù)雜性，計(jì)算量也更大了。這是一個(gè)方面。

在給大家展示具體結(jié)果之前，我先來解釋一下其他方面。對(duì)于這個(gè)問題的答案，咱們來看一下 Blackwell 系統(tǒng)，以及現(xiàn)在已經(jīng)規(guī)?；?NVLink 72。首先，我們需要用到這個(gè)模型。這個(gè)模型可不小，比如說 R1 吧，大家可能覺得它小，但實(shí)際上它有 6800 億個(gè)參數(shù)。而下一代的模型，參數(shù)可能會(huì)達(dá)到數(shù)萬(wàn)億。要解決這個(gè)問題，辦法就是把這數(shù)萬(wàn)億的參數(shù)，或者說整個(gè)模型的工作負(fù)載，給它分散到整個(gè) GPU 系統(tǒng)里去。可以采用張量并行，把模型的某一層放到多個(gè) GPU 上去跑；也可以采用管道并行，把整個(gè)流程中的一部分切出來，放到多個(gè) GPU 上去；還可以采用專家并行，把不同的專家模型部署到不同的 GPU 上。這三種并行方式——管道并行、張量并行和專家并行——組合起來的數(shù)量非常龐大。而根據(jù)具體的模型、工作負(fù)載和實(shí)際情況，我們需要靈活地調(diào)整計(jì)算機(jī)的配置，來達(dá)到最大的吞吐量。

有時(shí)候，我們需要優(yōu)化來獲得極低的延遲，有時(shí)候呢，我們需要優(yōu)化吞吐量。這就需要用到一些動(dòng)態(tài)批處理的技術(shù)，以及其他各種用來做批處理和聚合工作的技術(shù)。所以說，這些 AI 工廠的軟件，或者說操作系統(tǒng)，那是相當(dāng)復(fù)雜的。這里有一個(gè)非常重要的觀察結(jié)果，像 NVLink72 這樣的同構(gòu)架構(gòu)，它有一個(gè)巨大的優(yōu)勢(shì)，那就是每一個(gè) GPU 都可以執(zhí)行我剛才說的所有這些操作。我們觀察到，這些推理模型在計(jì)算的過程中會(huì)經(jīng)歷好幾個(gè)不同的階段。其中一個(gè)階段就是思考。在思考的階段，模型不會(huì)產(chǎn)生大量的 Token，它產(chǎn)生的 Token 可能是給自己用的。模型在思考，可能是在閱讀，在消化信息。這些信息可能是一個(gè) PDF 文件，可能是一個(gè)網(wǎng)站，甚至可能是一段視頻，模型以超線性的速度把這些信息都給吸收進(jìn)來。

然后，模型把所有這些信息匯總起來，形成一個(gè)答案，或者說一個(gè)計(jì)劃好的答案。所以說，這種信息消化和上下文處理的過程需要大量的浮點(diǎn)運(yùn)算。接下來的階段叫做解碼 (decode)。我們把第一部分叫做預(yù)填充。解碼階段同樣需要浮點(diǎn)運(yùn)算，但更重要的是，它需要極高的帶寬。如果一個(gè)模型有數(shù)萬(wàn)億個(gè)參數(shù)，那么很容易就能算出來，它每秒需要好幾個(gè) TB 的帶寬。我之前提到過每秒 576 TB，僅僅是從 HBM 顯存里頭把模型讀出來，然后生成一個(gè) Token，就需要每秒好幾個(gè) TB 的帶寬。為什么每次只生成一個(gè) Token 呢？這是因?yàn)檫@些大語(yǔ)言模型是在預(yù)測(cè)下一個(gè) Token。這就是為什么我們說“下一個(gè) Token”，它不是預(yù)測(cè)每一個(gè) Token，它是在預(yù)測(cè)下一個(gè) Token。

現(xiàn)在我們有各種各樣的新技術(shù)，比如說推測(cè)解碼  等等，可以加速這個(gè)過程。但歸根結(jié)底，模型還是在預(yù)測(cè)下一個(gè) Token。模型會(huì)讀取整個(gè)模型和上下文（我們把它叫做 KV 緩存，KV cache），然后生成一個(gè) Token。接下來，模型把這個(gè) Token 再放回去考慮，生成下一個(gè) Token，就這么循環(huán)往復(fù)。每一次循環(huán)，模型都需要讀取數(shù)萬(wàn)億個(gè)參數(shù)，生成一個(gè) Token；再讀取數(shù)萬(wàn)億個(gè)參數(shù)，生成另一個(gè) Token；就這么不斷地重復(fù)。在剛才的演示里，我們生成了 8600 個(gè) Token。這意味著數(shù)萬(wàn)億字節(jié)的信息被輸入到 GPU 里頭，每次只產(chǎn)生一個(gè) Token。這也就是為什么我們特別需要 NVLink 的根本原因。

NVLink 能讓我們把所有這些 GPU 整合起來，變成一個(gè)巨無霸，實(shí)現(xiàn)終極的規(guī)模擴(kuò)展。其次，因?yàn)楝F(xiàn)在所有的資源都通過 NVLink 連起來了，我們就可以把預(yù)填充和解碼這兩個(gè)過程給它分開，根據(jù)需要，把更多的 GPU 用在預(yù)填充上，少一點(diǎn)的 GPU 用在解碼上。因?yàn)槟Ｐ托枰M(jìn)行大量的思考，作為一個(gè) AI Agent，它需要閱讀大量的信息，做深度的研究。大家可以回想一下深度研究的過程。我之前聽到 Michael 談到他做研究的方式，我也會(huì)做類似的事情。

我們會(huì)為我們的 AI 啟動(dòng)一些非常龐大的研究項(xiàng)目。我很喜歡這種方式，因?yàn)槲乙呀?jīng)為硬件付過錢了，我非常樂意讓我們的 GPU 全力工作，這能給我?guī)順O大的樂趣。我會(huì)寫點(diǎn)兒東西，然后 AI 就開始進(jìn)行各種各樣的研究，它可能會(huì)訪問 94 個(gè)不同的網(wǎng)站，把所有的信息都讀一遍。我呢，也在讀這些信息，AI 會(huì)根據(jù)這些信息形成一個(gè)答案，然后寫出一份報(bào)告。這簡(jiǎn)直太棒了。

在整個(gè)過程里，預(yù)填充階段特別忙，但實(shí)際上并沒有生成很多的 Token。另一方面，當(dāng)你在跟聊天機(jī)器人聊天的時(shí)候，幾百萬(wàn)的用戶同時(shí)都在做類似的事情，那 Token 生成的需求量就會(huì)非常大，也就是說解碼的負(fù)載會(huì)非常重。所以，根據(jù)不同的工作負(fù)載，我們可能會(huì)決定把更多的 GPU 用在解碼上，或者把更多的 GPU 用在預(yù)填充上。這種動(dòng)態(tài)調(diào)整的操作，那是非常復(fù)雜的。

剛才我已經(jīng)給大家介紹了管道并行、張量并行、專家并行、動(dòng)態(tài)批處理、推理任務(wù)的分解以及工作負(fù)載管理。另外，我還需要處理 KV 緩存，把它路由到正確的 GPU 上去，還得管理它在整個(gè)內(nèi)存層級(jí)結(jié)構(gòu)里頭的流動(dòng)。這部分軟件的復(fù)雜程度，那是相當(dāng)高的。所以，今天我們正式發(fā)布 Nvidia Dynamo。

Nvidia Dynamo 負(fù)責(zé)處理所有這些復(fù)雜的工作，它本質(zhì)上就是 AI 工廠的操作系統(tǒng)。過去，我們運(yùn)行數(shù)據(jù)中心，用的操作系統(tǒng)跟VMware 差不多。我們會(huì)編排——現(xiàn)在也還是這樣，我們是一個(gè)大用戶——我們會(huì)編排大量的企業(yè)級(jí)應(yīng)用，讓它們?cè)谖覀兊钠髽I(yè) IT 基礎(chǔ)設(shè)施上跑起來。但是在未來，應(yīng)用不再是傳統(tǒng)的企業(yè) IT 應(yīng)用了，而是 AI Agent；操作系統(tǒng)也不再是 VMware 之類的了，而是 Dynamo。這個(gè)操作系統(tǒng)將運(yùn)行在 AI 工廠之上，而不是傳統(tǒng)的數(shù)據(jù)中心之上。

我們把它叫做 Dynamo，這是有深刻含義的。大家都知道，Dynamo 是開啟上一次工業(yè)革命，也就是能源革命的關(guān)鍵設(shè)備。水流進(jìn)發(fā)電機(jī)，電力就這么產(chǎn)生了。通過水流，或者點(diǎn)燃燃料，把水燒開了產(chǎn)生蒸汽，驅(qū)動(dòng)發(fā)電機(jī)，最終輸出的是電力這種看不見、摸不著，但是極具價(jià)值的能量。之后又過了差不多 80 年，才發(fā)展出交流電。但是 Dynamo，正是一切的開端。

所以，我們把這個(gè)操作系統(tǒng)，這個(gè)復(fù)雜得不得了的軟件，叫做 Nvidia Dynamo。它是開源的，完全公開。我們非常高興能有這么多的合作伙伴跟我們一起來開發(fā)它。其中，我最喜歡的合作伙伴之一，Perplexity，我非常欣賞他們，不光是因?yàn)樗麄冏龅哪切╅_創(chuàng)性的工作，還因?yàn)?Aravin 真的是一個(gè)非常棒的人。Perplexity 在這個(gè)項(xiàng)目上跟我們是緊密合作?，F(xiàn)在，我們需要等基礎(chǔ)設(shè)施擴(kuò)展完成，但與此同時(shí)，我們已經(jīng)做了很多很多的模擬，非常深入。我們用超級(jí)計(jì)算機(jī)來模擬我們的超級(jí)計(jì)算機(jī)，這完全是合情合理的?，F(xiàn)在，我要給大家展示一下，我前面講的這些技術(shù)都能帶來什么好處。大家請(qǐng)回憶一下工廠的示意圖。

在圖上，縱坐標(biāo) (Y 軸) 表示整個(gè)工廠每秒鐘能生成的 Token 數(shù)量，橫坐標(biāo) (X 軸) ，表示用戶體驗(yàn)到的每秒 Token 數(shù)量。我們的目標(biāo)是構(gòu)建超級(jí)智能的 AI，并且實(shí)現(xiàn)大規(guī)模的部署。這個(gè)是 Hopper 的性能曲線。Hopper 能夠?yàn)槊恳粋€(gè)用戶提供大概每秒鐘 100 個(gè) Token 的生成速度。這是由 8 個(gè) GPU 通過 InfiniBand 連接起來的一個(gè)系統(tǒng)。我把性能標(biāo)準(zhǔn)化成了每兆瓦每秒的 Token 數(shù)。這是一個(gè) 1 兆瓦的數(shù)據(jù)中心，對(duì)于 AI 工廠來說規(guī)模不算大哈，但我們先以 1 兆瓦為例。在這個(gè)規(guī)模下，Hopper 可以為每個(gè)用戶提供每秒 100 個(gè) Token 的生成速度，整個(gè) 1 兆瓦的數(shù)據(jù)中心每秒可以生成 10 萬(wàn)個(gè) Token。或者，如果進(jìn)行大規(guī)模的批處理，并且用戶愿意等比較長(zhǎng)的時(shí)間，那么整個(gè) AI 工廠每秒可以生成大概 250 萬(wàn)個(gè) Token。Hopper 的吞吐量是 250 萬(wàn)。

這是個(gè)什么概念？250 萬(wàn)意味著什么？怎么去理解這個(gè)數(shù)字？大家可以回想一下，ChatGPT 的價(jià)格大概是每 100 萬(wàn)個(gè) Token 10 美元，對(duì)吧？每 100 萬(wàn)個(gè) Token 10 美元。咱們先假設(shè)一下，我覺得每 100 萬(wàn)個(gè) Token 10 美元的價(jià)格大概在這個(gè)位置 (圖表較低的位置)。我估計(jì)它應(yīng)該在這個(gè)位置，但咱們不妨假設(shè)它在更高的位置 (圖表較高位置)。250 萬(wàn)乘以 10，就是每秒 2500 萬(wàn)美元?；蛘?，如果價(jià)格在比較低的這個(gè)位置，那就是 10 萬(wàn)，除以 10，也就是每個(gè)工廠每秒 25 萬(wàn)美元。一年有 3153.6 萬(wàn)秒，把這個(gè)數(shù)字乘以每秒的收入，就能估算出這個(gè) 1 兆瓦數(shù)據(jù)中心一年的收入。這就是我們的目標(biāo)。

一方面，我們希望 Token 的生成速度越快越好，這樣才能構(gòu)建真正智能的 AI。如果 AI 足夠智能，用戶就愿意掏更多的錢。另一方面，AI 越智能，單個(gè)請(qǐng)求需要的計(jì)算量就越大，所以在總的吞吐量上就會(huì)有所下降。這是一個(gè)非常合理的權(quán)衡。我們現(xiàn)在要做的，就是改進(jìn)這條曲線。

我現(xiàn)在給大家展示的，是目前世界上最快的計(jì)算機(jī)，Hopper，它曾經(jīng)引領(lǐng)了一場(chǎng)革命。那么，我們?cè)趺床拍芨弦粚訕?？首先，我們推出?Blackwell，還有 NVLink8。同樣的 Blackwell 芯片，同樣的計(jì)算節(jié)點(diǎn)，配上 NVLink8，用的是 FP8 精度。Blackwell 就是更快，規(guī)模更大，晶體管更多，所有方面都有提升。但我們希望更進(jìn)一步。所以，我們引入了一種新的精度。雖然它并不完全等同于 4 位浮點(diǎn)數(shù)，但是通過用 4 位浮點(diǎn)數(shù)，我們可以對(duì)模型進(jìn)行量化，從而降低能耗，用更少的能量來完成同樣的工作。這樣一來呢，因?yàn)橥瓿赏瑯拥娜蝿?wù)需要的能量少了，我們就能完成更多的工作。

大家要記住，一個(gè)很重要的理念就是，未來所有的數(shù)據(jù)中心都會(huì)受到功率的限制。你的收入會(huì)受到功率的限制。你可以根據(jù)你能用到的功率來估算你的收入。這跟其他很多行業(yè)的情況是一樣的。所以，我們現(xiàn)在所處的，是一個(gè)功率受限的行業(yè)。我們的收入會(huì)跟這個(gè)直接相關(guān)。

正因?yàn)檫@樣，我們需要確保我們擁有能效最高的計(jì)算架構(gòu)。接下來，我們通過 NVLink72 來進(jìn)行擴(kuò)展。大家注意看 NVLink72 和 FP4 精度下的 Blackwell 之間的性能差別。由于我們的架構(gòu)是高度集成的，現(xiàn)在我們又增加了動(dòng)態(tài)特性，Dynamo 可以進(jìn)一步提升性能。Dynamo 對(duì) Hopper 也有幫助，但是它對(duì) Blackwell 的提升尤其明顯。

大家注意看我標(biāo)出來的這兩個(gè)亮點(diǎn)，這差不多就是系統(tǒng)的“最佳工作點(diǎn)”。這很可能就是你運(yùn)行工廠時(shí)候的最佳狀態(tài)。你需要在這兩者之間找到一個(gè)平衡：最大的吞吐量和 AI 的最高質(zhì)量。最智能的 AI，還有最大規(guī)模的部署，這兩個(gè)指標(biāo)的交匯點(diǎn)，才是我們真正需要去優(yōu)化的目標(biāo)。

如果我們把這兩個(gè)方框給它放大，這就是 Blackwell 和 Hopper 的詳細(xì)對(duì)比。Blackwell 的性能遠(yuǎn)遠(yuǎn)好于 Hopper。大家要記住，這不是在芯片數(shù)量相同的情況下的對(duì)比，而是在功耗相同的情況下的對(duì)比。這是終極的摩爾定律，這才是摩爾定律一直以來真正的含義?，F(xiàn)在，在同樣的功耗下，Blackwell 的性能提升了 25 倍，這不是芯片數(shù)量一樣，也不是晶體管數(shù)量一樣，而是功耗一樣，這是最終的限制因素。我們能給數(shù)據(jù)中心提供的能源是有限的。所以，在同樣的功耗下，Blackwell 實(shí)現(xiàn)了 25 倍的性能提升。

現(xiàn)在，大家看到的是“性能彩虹圖”。這非常了不起，也是最有意思的部分。大家可以看到各種各樣的配置，在帕累托前沿曲線 (Pareto Frontier）下面有幾百萬(wàn)種可能的數(shù)據(jù)中心配置方式。我們可以用各種不同的方式來分配工作負(fù)載，進(jìn)行并行化和分片。我們找到了最佳的解決方案，也就是這個(gè)帕累托前沿。帕累托前沿上的每一個(gè)點(diǎn)，都對(duì)應(yīng)著一種不同的配置，用不同的顏色來表示。

這表明，我們需要一個(gè)可編程的架構(gòu)，而且這個(gè)架構(gòu)要盡可能地具有同構(gòu)性和可替代性，因?yàn)樵谡麄€(gè)帕累托前沿上，工作負(fù)載的變化非常劇烈。大家看，在圖的最上邊，我們有專家并行度是 8，批處理大小是 3000，分解關(guān)閉，Dynamo 關(guān)閉的配置。在圖的中間，專家并行度是 64，其中 26% 用來做上下文處理。也就是說，Dynamo 打開，26% 的資源用來做上下文處理，剩下的 74% 用來做非上下文處理/解碼，批處理大小是 64，專家并行度分別是 64 和 4。在圖的最下邊，我們有張量并行度是 16，專家并行度是 4，批處理大小是 2，上下文占比 1% 的配置。在整個(gè)范圍內(nèi)，計(jì)算機(jī)的配置都在不斷地變化。

接下來，我們來看一下輸入序列長(zhǎng)度的影響。這是一個(gè)常用的測(cè)試場(chǎng)景。這是一個(gè)比較容易進(jìn)行基準(zhǔn)測(cè)試的場(chǎng)景。輸入序列長(zhǎng)度是 1000 個(gè) Token，輸出序列長(zhǎng)度是 2000 個(gè) Token。大家注意，我們之前展示的那個(gè)演示里，輸出序列長(zhǎng)度高達(dá) 9000 個(gè) Token，甚至 8000 個(gè) Token。很明顯，這個(gè)測(cè)試場(chǎng)景不能完全代表之前的那個(gè)聊天示例。但這個(gè)場(chǎng)景更有代表性。我們的目標(biāo)是為下一代的工作負(fù)載構(gòu)建下一代的計(jì)算機(jī)。這有一個(gè)推理模型的例子，在這個(gè)推理模型里，Blackwell 的性能是 Hopper 的 40 倍！這是一個(gè)非常驚人的提升。

我之前說過等 Blackwell 開始大規(guī)模出貨的時(shí)候，Hopper 估計(jì)就白送都沒人要了。我指的就是這個(gè)。如果有人還在考慮買 Hopper，別擔(dān)心，沒關(guān)系的。但我是“首席收入終結(jié)者”，我的銷售團(tuán)隊(duì)會(huì)說：“別這么說” 有些情況下，Hopper 還是夠用的。這是我對(duì) Hopper 能說的最好的一句話了。如果讓我大膽猜一下的話，適用的情況不多。這就是我想表達(dá)的觀點(diǎn)。

當(dāng)技術(shù)發(fā)展得這么快，工作負(fù)載這么重，而且你正在構(gòu)建這些 AI 工廠的時(shí)候，我們真的希望你投資到正確的版本上。為了讓大家更直觀地了解，這是一個(gè) 100 兆瓦工廠的對(duì)比。基于 Hopper，你需要 45000 個(gè)芯片，1400 個(gè)機(jī)架，每秒可以生成 3 億個(gè) Token。而基于 Blackwell 呢，你只需要 86 個(gè)機(jī)柜！是啊，我知道，這看起來不合常理。我們不是想少賣給你們，我們的銷售團(tuán)隊(duì)會(huì)說：“Jensen，你這是在減少銷量，但 Blackwell 更好。”

總之，你買的越多，省的就越多。現(xiàn)在情況甚至更好了，你買的越多，賺的就越多！大家要記住，一切都要放在 AI 工廠的背景下來考慮。雖然我們一直在說芯片，但實(shí)際上，我們始終是從整體的規(guī)模出發(fā)的。我們說芯片，但出發(fā)點(diǎn)始終是整體的規(guī)模，是能夠擴(kuò)展到的最大的規(guī)模。

現(xiàn)在，我想給大家展示一下 AI 工廠的實(shí)際的樣子。但是 AI 工廠實(shí)在是太復(fù)雜了。我剛才只是舉了一個(gè)機(jī)架的例子，它里頭有 60 萬(wàn)個(gè)零件，重量達(dá)到了 3000 磅?，F(xiàn)在，我們需要把這個(gè)機(jī)架跟其他很多的機(jī)架連起來。所以，我們開始構(gòu)建所謂的“數(shù)字孿生”，也就是每一個(gè)數(shù)據(jù)中心的數(shù)字孿生。在建數(shù)據(jù)中心之前，你必須先建一個(gè)數(shù)字孿生。來看一下，這真是太漂亮了。

當(dāng)前，全球各國(guó)都在競(jìng)相建設(shè)最先進(jìn)的大規(guī)模 AI 工廠。建設(shè) AI 超級(jí)工廠是一項(xiàng)非凡的工程壯舉，它需要來自供應(yīng)商、建筑師、承包商和工程師等數(shù)萬(wàn)名工作人員的共同努力，來建造、運(yùn)輸和組裝近 50 億個(gè)組件，以及超過 20 萬(wàn)英里的光纖——這個(gè)距離幾乎相當(dāng)于從地球到月球的距離。Nvidia OMniverse 藍(lán)圖為 AI 工廠的數(shù)字孿生提供了有力支持，使我們能夠在實(shí)際建設(shè)開始之前很久，就對(duì)這些 AI 工廠進(jìn)行超前的設(shè)計(jì)和優(yōu)化。

今天，Nvidia 的工程師們正在使用該藍(lán)圖來規(guī)劃一個(gè) 1 吉瓦的 AI 工廠，該工廠集成了最新的 Nvidia DGX 超級(jí)計(jì)算集群 的 3D 和布局?jǐn)?shù)據(jù)、來自 Vertiv 和 Schneider Electric 的先進(jìn)電源和冷卻系統(tǒng)、以及來自 Nvidia air 的優(yōu)化拓?fù)浣Y(jié)構(gòu)。Nvidia air 是一個(gè)用于模擬網(wǎng)絡(luò)邏輯、布局和協(xié)議的框架。傳統(tǒng)模式下，這項(xiàng)工作通常是在各自獨(dú)立的部門中完成的。

而 Omniverse 藍(lán)圖使我們的工程團(tuán)隊(duì)能夠并行協(xié)作，從而探索各種不同的配置方案，以最大化總體擁有成本 (TCO) 和電能利用率。Nvidia 使用由 CUDA 和 Omniverse 庫(kù)加速的 Cadence Reality 數(shù)字孿生來模擬空氣和液體冷卻系統(tǒng)，并使用 Schneider Electric 的 eTap (電力系統(tǒng)仿真分析軟件) 來模擬電源轉(zhuǎn)換效率和可靠性。實(shí)時(shí)模擬使我們能夠在幾秒鐘內(nèi)完成迭代并運(yùn)行大規(guī)模的假設(shè)情景，而無需花費(fèi)數(shù)小時(shí)的時(shí)間。我們利用數(shù)字孿生技術(shù)向龐大的團(tuán)隊(duì)和供應(yīng)商傳達(dá)指令，從而減少執(zhí)行錯(cuò)誤，加快項(xiàng)目啟動(dòng)時(shí)間。此外，在規(guī)劃設(shè)備改造或系統(tǒng)升級(jí)時(shí)，我們可以輕松地測(cè)試和模擬成本及停機(jī)時(shí)間，從而確保我們的 AI 工廠能夠適應(yīng)未來的需求。 

這是有史以來第一次有人建造這樣的數(shù)據(jù)中心，真是太美了，各位，我必須要加快速度了，因?yàn)槲矣泻芏鄡?nèi)容要和大家分享。首先，讓我們來看一下我們整體的路線圖。目前，我們正在全力生產(chǎn) Blackwell 系列產(chǎn)品，全球各地的計(jì)算機(jī)公司都在大規(guī)模部署這些性能驚人的機(jī)器。我感到非常高興，也十分感謝大家為過渡到這一全新架構(gòu)所付出的巨大努力。今年下半年，我們將順利過渡到升級(jí)版本——Black Wall Ultra NVLink 72。它的浮點(diǎn)運(yùn)算能力提升了 1.5 倍，擁有全新的注意力指令集，內(nèi)存容量也增加了1.5 倍。增加的這些內(nèi)存對(duì)于 KV cache 等應(yīng)用非常有幫助。它的網(wǎng)絡(luò)帶寬也翻了一番。因此，由于我們采用了相同的底層架構(gòu)，大家可以非常平滑地過渡到新版本。這就是 Blackwell Ultra，它將在今年下半年正式推出。

我們之所以如此迅速地推進(jìn)產(chǎn)品更新，背后是有原因的，這是我所知道的唯一一個(gè)產(chǎn)品發(fā)布會(huì)，在座的每一位都會(huì)說“好的，請(qǐng)繼續(xù)介紹下一個(gè)”。事實(shí)上，這正是我所期望得到的反應(yīng)。原因在于，我們正在建設(shè)的是 AI 工廠和 AI 基礎(chǔ)設(shè)施，這需要長(zhǎng)達(dá)數(shù)年的規(guī)劃。這和購(gòu)買筆記本電腦不一樣，不是那種可以隨意支配的開銷，而是我們必須提前進(jìn)行周密規(guī)劃的。我們必須規(guī)劃場(chǎng)地、電力供應(yīng)，準(zhǔn)備好資本支出，召集工程師團(tuán)隊(duì)，并且需要提前兩到三年進(jìn)行整體布局。這就是為什么我會(huì)提前兩三年向大家展示我們的路線圖，以免我們?cè)谖逶路萃蝗恍夹庐a(chǎn)品，讓大家感到措手不及。

比如，“下個(gè)月我們就要遷移到一個(gè)全新的、性能超強(qiáng)的系統(tǒng)”。稍后我會(huì)給大家舉一個(gè)例子來說明。我們計(jì)劃在未來幾年內(nèi)陸續(xù)推出新品，明年將要推出的產(chǎn)品是以一位杰出的天文學(xué)家的名字命名的。她的孫輩們今天也來到了現(xiàn)場(chǎng)。她的名字是 Vera Rubin，她發(fā)現(xiàn)了暗物質(zhì)。Vera Rubin 這一產(chǎn)品系列非常了不起，因?yàn)樗?CPU 是全新設(shè)計(jì)的，性能是 Grace 的兩倍，擁有更大的內(nèi)存和帶寬，但功耗卻只有 50 瓦。這真的是非常了不起。Rubin 采用了全新的 GPU、CX9、全新的網(wǎng)絡(luò)、smart NIC、NV link 6、全新的 MV link、全新的內(nèi)存 HBM4。基本上除了機(jī)箱之外，所有的組件都是全新的。這樣一來，我們就可以在一個(gè)方向上大膽地承擔(dān)技術(shù)風(fēng)險(xiǎn)，而不必?fù)?dān)心與基礎(chǔ)設(shè)施相關(guān)的其他風(fēng)險(xiǎn)。Vera Rubin MVLink144 將于明年下半年正式推出。

關(guān)于這一點(diǎn)，我之前犯了一個(gè)錯(cuò)誤，需要大家和我一起來做一個(gè)調(diào)整。Blackwell 實(shí)際上是將兩個(gè) GPU 集成在一個(gè) Blackwell 芯片當(dāng)中。我們之前稱其為一個(gè) GPU，但這個(gè)說法是不準(zhǔn)確的。因?yàn)檫@會(huì)影響到 MV link 的命名規(guī)則。因此，在不追溯修改 Blackwell 的前提下，從現(xiàn)在開始，當(dāng)我說 MVLink 144 時(shí)，它僅僅表示連接了 144 個(gè) GPU。每一個(gè) GPU 都是一個(gè)獨(dú)立的 GPU 裸片。它們可以被封裝在一起，封裝的具體方式可能會(huì)隨時(shí)發(fā)生變化。每一個(gè) GPU 裸片都是一個(gè)獨(dú)立的 GPU，每一個(gè) MV link 都連接到相應(yīng)的 GPU。所以，更準(zhǔn)確地說，應(yīng)該是 Rubin NV link 144。這為今年下半年的產(chǎn)品發(fā)布奠定了基礎(chǔ)。

明年，我們將推出 Rubin Ultra。所以，是 Vera Rubin Ultra。它將于 2027 年下半年問世。它將采用 NVLink 576，實(shí)現(xiàn)極致的縱向擴(kuò)展能力。每個(gè)機(jī)架的功率為 600 千瓦，包含 250 萬(wàn)個(gè)組件。很顯然，它還集成了大量的 GPU，所有的參數(shù)都得到了大幅提升。它的浮點(diǎn)運(yùn)算能力是原來的 14 倍，達(dá)到了 15 exaflops，而不再是 1 exaflop。正如之前提到的，現(xiàn)在是 15 exaflops。這是縱向擴(kuò)展的 exaflops。它的帶寬高達(dá) 4.6 petabytes，也就是每秒 4600 terabytes。這里指的是縱向擴(kuò)展的帶寬，我指的不是聚合帶寬，而是縱向擴(kuò)展的帶寬。當(dāng)然，還有許多全新的 MV link 交換機(jī)和 CX9。“ISO 尺寸”意味著它與 Grace Blackwell 具有相同的物理尺寸。現(xiàn)在，讓我們更直觀地了解一下。這就是它的外觀。

接下來，會(huì)非常有意思。各位現(xiàn)在正在部署 Grace Blackwell。我無意冒犯，但這就是 Grace Blackwell 的樣子。這就是 Rubin 的樣子。它們具有相同的物理尺寸。換句話說，在進(jìn)行橫向擴(kuò)展之前，必須先進(jìn)行縱向擴(kuò)展。然后，再利用我稍后將要展示給大家的這項(xiàng)令人驚嘆的技術(shù)來進(jìn)行橫向擴(kuò)展。首先進(jìn)行縱向擴(kuò)展，現(xiàn)在大家可以感受到我們的發(fā)展速度。這是縱向擴(kuò)展的浮點(diǎn)運(yùn)算能力。Hopper 為 1x，Blackwell 為 68x，Rubin 為 900x 縱向擴(kuò)展的浮點(diǎn)運(yùn)算能力。如果我把它轉(zhuǎn)換成你們的 TCO (總體擁有成本)，也就是功率除以性能，或者說是曲線下方的面積，即浮點(diǎn)運(yùn)算能力乘以帶寬。那么，一個(gè)簡(jiǎn)單的經(jīng)驗(yàn)法則是，用瓦特?cái)?shù)除以這些數(shù)字，就可以大致判斷你們的 AI 工廠是否取得了進(jìn)展。大家可以看到，Rubin 將會(huì)顯著降低總體擁有成本。這就是 Nvidia 的產(chǎn)品路線圖，非常緊湊，一年更新一次。

我們?nèi)绾芜M(jìn)行縱向擴(kuò)展呢？我們推出了 MP Vlink，用于縱向擴(kuò)展。我們的橫向擴(kuò)展網(wǎng)絡(luò)是 InfiniBand 和 Spectrum X。很多人都對(duì)我們進(jìn)入以太網(wǎng)領(lǐng)域感到驚訝。我們決定進(jìn)軍以太網(wǎng)的原因在于，如果能夠讓以太網(wǎng)具備 InfiniBand 的那些優(yōu)良特性，那么網(wǎng)絡(luò)本身將會(huì)更易于使用和管理。因此，我們決定投資 Spectrum，并將其命名為 Spectrum X。

我們將擁塞控制、極低延遲以及作為計(jì)算結(jié)構(gòu)一部分的大量軟件等特性引入其中。通過這些努力，我們使 Spectrum X 具備了令人難以置信的高性能。我們將有史以來最大的單個(gè) GPU 集群通過 Spectrum X 縱向擴(kuò)展為一個(gè)巨型集群，也就是 Colossus。還有很多其他的例子。毫無疑問，Spectrum X 是我們?nèi)〉玫囊豁?xiàng)巨大成功。我非常興奮的一個(gè)領(lǐng)域是，最大的企業(yè)網(wǎng)絡(luò)公司采用了 Spectrum X，并將其集成到他們自己的產(chǎn)品線中，從而幫助全球的企業(yè)轉(zhuǎn)型為 AI 公司。目前，我們擁有 10 萬(wàn)個(gè) CX8 和 CX7。CX8 和 CX9 即將問世。在 Rubin 時(shí)代，我們希望將 GPU 的數(shù)量橫向擴(kuò)展到數(shù)十萬(wàn)個(gè)。將 GPU 橫向擴(kuò)展到數(shù)十萬(wàn)個(gè)的挑戰(zhàn)在于，橫向擴(kuò)展的連接，這種連接在縱向擴(kuò)展上目前主要依賴于銅纜。我們應(yīng)該盡可能地使用銅纜，大約一到兩米的距離。銅纜連接表現(xiàn)非常出色，可靠性高、能效好、成本低。因此，我們?cè)诳v向擴(kuò)展中盡可能多地使用銅纜。

但是，在橫向擴(kuò)展中，數(shù)據(jù)中心的規(guī)模已經(jīng)相當(dāng)于一個(gè)體育場(chǎng)，我們需要更長(zhǎng)距離的連接。這就是硅光子技術(shù)的用武之地。硅光子技術(shù)目前面臨的挑戰(zhàn)在于收發(fā)器的功耗非常巨大。要實(shí)現(xiàn)電信號(hào)到光信號(hào)的轉(zhuǎn)換，必須經(jīng)過 SerDes，也就是收發(fā)器。而且是多個(gè) SerDes。讓我們把畫面調(diào)出來，這樣我就能給大家更清楚地展示一下。首先，我們宣布推出 Nvidia 首個(gè)采用共同封裝 (Co-packaged optics) 技術(shù)的硅光子系統(tǒng)，這是全球首個(gè)每秒 1.6 TB 的 CPO。它基于微環(huán)諧振器調(diào)制器 (MRM) 技術(shù)，完全采用我們?cè)?TSMC 的先進(jìn)工藝技術(shù)制造，我們?cè)谶@個(gè)項(xiàng)目上已經(jīng)合作了一段時(shí)間。此外，我們還與一個(gè)龐大的技術(shù)提供商生態(tài)系統(tǒng)展開了緊密合作，共同開發(fā)了接下來我將要展示給大家的這項(xiàng)成果。這真是一項(xiàng)令人驚嘆的技術(shù)。

我們之所以決定投資 MRM，是因?yàn)樗哂畜@人的密度和功率優(yōu)勢(shì)，與用于電信領(lǐng)域的 Mach-Zehnder 調(diào)制器相比，MRM 具有更高的密度和更低的功耗。當(dāng)你從一個(gè)數(shù)據(jù)中心連接到另一個(gè)數(shù)據(jù)中心時(shí)，或者在我們現(xiàn)在使用的這些收發(fā)器中，我們使用的是 Mach-Zehnder 調(diào)制器，這是因?yàn)橹暗拿芏纫蟛⒉桓摺，F(xiàn)在，如果大家看一下這些收發(fā)器，這是一個(gè)收發(fā)器的例子。

這個(gè)收發(fā)器的功耗是 30 瓦。請(qǐng)大家記住，30 瓦。如果批量采購(gòu)，單個(gè)的價(jià)格是 1000 美元。這是一個(gè)插頭。這一端是電接口，另一端是光接口。光信號(hào)通過黃色的光纖傳輸進(jìn)來。你把它插到交換機(jī)上，連接的就是電信號(hào)。這一端集成了收發(fā)器、激光器和 Mach-Zehnder 調(diào)制器技術(shù)。非常了不起。我們利用它來實(shí)現(xiàn) GPU 到交換機(jī)、再到下一個(gè)交換機(jī)、最終到 GPU 的連接。假設(shè)我們有 10 萬(wàn)個(gè) GPU，那么就需要 10 萬(wàn)個(gè)這樣的收發(fā)器，以及另外 10 萬(wàn)個(gè)用于交換機(jī)之間的連接。另一端則連接到另一個(gè)網(wǎng)絡(luò)接口卡 (NIC)。如果我們有 25 萬(wàn)個(gè) GPU，就需要增加一層交換機(jī)。每一個(gè) GPU，假設(shè)有 25 萬(wàn)個(gè) GPU，每個(gè) GPU 將配備 6 個(gè)收發(fā)器，也就是 6 個(gè)這樣的插頭。這 6 個(gè)插頭將為每個(gè) GPU 增加 180 瓦的功耗，每個(gè) GPU 180 瓦，每個(gè) GPU 6000 美元。那么，問題來了，我們?nèi)绾螖U(kuò)展到數(shù)百萬(wàn)個(gè) GPU 呢？因?yàn)槿绻幸话偃f(wàn)個(gè) GPU，乘以 6，那就是 600 萬(wàn)個(gè)收發(fā)器，再乘以 30 瓦，那就是 180 兆瓦的收發(fā)器功耗。它們本身不進(jìn)行任何計(jì)算，僅僅負(fù)責(zé)信號(hào)的傳輸。

所以，問題是，我們?nèi)绾尾拍茇?fù)擔(dān)得起如此高的功耗？正如我之前提到的，能源是我們最為寶貴的資源。一切最終都與能源息息相關(guān)。因此，這將通過減少 180 兆瓦的功率，來直接限制我們以及我們客戶的收入。這就是我們所做的這項(xiàng)了不起的工作——我們發(fā)明了世界上第一個(gè) MRM 微環(huán)。大家現(xiàn)在看到的就是它的外觀。這里有一個(gè)小小的波導(dǎo)?？吹讲▽?dǎo)上的那個(gè)圓環(huán)了嗎？這個(gè)圓環(huán)會(huì)產(chǎn)生諧振，從而精確控制波導(dǎo)的反射率，限制和調(diào)制通過的光量，通過吸收或者透?jìng)鱽砜刂乒庑盘?hào)。它將連續(xù)的激光束轉(zhuǎn)換為數(shù)字信號(hào) 1 和 0。這就是這項(xiàng)技術(shù)的奧秘所在。這項(xiàng)技術(shù)，也就是光子 IC，與電子 IC 堆疊在一起，然后再與一組微透鏡堆疊，這組微透鏡再與光纖陣列堆疊。所有這些組件都是在 TSMC 使用 CoWoS (Chip-on-Wafer-on-Substrate) 技術(shù)來制造的，并且采用 CoWoS 封裝技術(shù)，與眾多技術(shù)提供商合作完成。最終，它變成了大家現(xiàn)在看到的這個(gè)令人驚嘆的設(shè)備。讓我們來看一段關(guān)于它的視頻。

這真是一個(gè)偉大的技術(shù)奇跡。它們被集成到這些交換機(jī)當(dāng)中。我們的 InfiniBand 交換機(jī)，芯片運(yùn)行得非常出色。今年下半年，我們將正式推出硅光子交換機(jī)。明年下半年，我們將推出 Spectrum X。

由于我們選擇了 MRM，由于我們?cè)谶^去五年中承擔(dān)的巨大技術(shù)風(fēng)險(xiǎn)，我們已經(jīng)申請(qǐng)了數(shù)百項(xiàng)專利，并且我們已經(jīng)將這項(xiàng)技術(shù)授權(quán)給我們的合作伙伴，以便大家都可以大規(guī)模制造?，F(xiàn)在，我們可以將硅光子技術(shù)與共同封裝選項(xiàng)完美地結(jié)合起來。無需收發(fā)器，光纖直接接入我們的交換機(jī)，radix 高達(dá) 512。大家現(xiàn)在看到的就是 512 個(gè)端口。這在以前是根本無法實(shí)現(xiàn)的。這為我們擴(kuò)展到數(shù)十萬(wàn)甚至數(shù)百萬(wàn)個(gè) GPU 奠定了堅(jiān)實(shí)的基礎(chǔ)。這樣做的好處，大家可以想象一下，在數(shù)據(jù)中心里，我們可以節(jié)省數(shù)十兆瓦的電力。我們假設(shè)是 60 兆瓦。6 兆瓦相當(dāng)于什么？6 兆瓦相當(dāng)于 10 個(gè) Rubin Ultra 機(jī)架。6 兆瓦就是 10 個(gè) Rubin Ultra 機(jī)架。60 兆瓦，那可是相當(dāng)可觀的。

這意味著我們可以將相當(dāng)于 100 個(gè) Rubin Ultra 機(jī)架的功率用于部署 Rubins。這就是我們的產(chǎn)品路線圖，一年一次，每?jī)赡旮乱淮蔚讓蛹軜?gòu)，每年推出一個(gè)全新的產(chǎn)品系列。每年都會(huì)有顯著的性能提升，我們會(huì)分別在芯片、網(wǎng)絡(luò)或系統(tǒng)機(jī)箱等方面承擔(dān)一定的技術(shù)風(fēng)險(xiǎn)，以便在不斷追求這些尖端技術(shù)的同時(shí)，有力地推動(dòng)整個(gè)行業(yè)向前發(fā)展。

Vera Rubin，我非常感謝她的孫輩們今天能夠來到這里。這是我們對(duì)她所做出的杰出貢獻(xiàn)表示認(rèn)可和敬意的絕佳機(jī)會(huì)。我們的下一代產(chǎn)品將以 Feynman 的名字來命名。好的，以上就是 Nvidia 的產(chǎn)品路線圖。接下來，我將和大家分享一下企業(yè)級(jí)計(jì)算方面的一些進(jìn)展。這一點(diǎn)非常重要。為了將 AI 技術(shù)推廣到全球的企業(yè)，首先，我們需要了解 Nvidia 的另一個(gè)重要領(lǐng)域——3D 高斯濺射（Gaussian Splats）的獨(dú)特魅力。

為了將 AI 技術(shù)全面推廣到企業(yè)級(jí)應(yīng)用中，我們有必要回顧并牢記一點(diǎn)：AI 和機(jī)器學(xué)習(xí)已經(jīng)徹底重塑了整個(gè)計(jì)算體系。從處理器、操作系統(tǒng)到上層應(yīng)用程序，一切都煥然一新。應(yīng)用程序的開發(fā)方式、編排方式，乃至運(yùn)行方式，都與以往大不相同。舉個(gè)例子，數(shù)據(jù)訪問的方式將發(fā)生根本性的變革。未來，我們不再需要像過去那樣，先精確檢索到所需的數(shù)據(jù)，然后再通過閱讀來理解其含義；而是可以像使用 Perplexity 那樣，直接提出問題，就能得到答案。未來的企業(yè) IT 也將如此。我們將擁有 AI Agent，它們將成為我們數(shù)字化勞動(dòng)力的重要組成部分。

目前，全球有 10 億知識(shí)工作者，而未來，可能會(huì)有 100 億數(shù)字工作者與我們并肩作戰(zhàn)。所有的軟件工程師都將得到 AI 的輔助，這一點(diǎn)我深信不疑。而且，到今年年底，Nvidia 所有的軟件工程師都將實(shí)現(xiàn) AI 輔助。AI Agent 將無處不在。它們的運(yùn)行模式、企業(yè)的應(yīng)用方式，以及我們對(duì)它們的管理方式，都將發(fā)生根本性的變化。因此，我們需要一系列全新的計(jì)算機(jī)。而這，才是 PC 應(yīng)有的樣子。

高達(dá) 20 petaflops 的算力，72 個(gè) CPU 核心，芯片間互聯(lián)技術(shù)，HBM 高帶寬內(nèi)存，以及為 GeForce 顯卡預(yù)留的 PCI Express 插槽。這款名為 DGX Station 的產(chǎn)品，以及 DGX、Spark 和 DGX Station，將由所有 OEM 廠商提供，包括 HP、Dell、Lenovo 和 ASUS。它將是為全球的數(shù)據(jù)科學(xué)家和研究人員量身打造的。這是屬于 AI 時(shí)代的計(jì)算機(jī)，這才是計(jì)算機(jī)應(yīng)有的形態(tài)，也是計(jì)算機(jī)未來的發(fā)展方向。我們?yōu)槠髽I(yè)提供了全線產(chǎn)品，從小型的工作站、服務(wù)器，到超級(jí)計(jì)算機(jī)，一應(yīng)俱全。所有合作伙伴都將提供這些產(chǎn)品。此外，我們還將對(duì)計(jì)算堆棧的其他組成部分進(jìn)行革新。

計(jì)算領(lǐng)域有三大支柱：計(jì)算、網(wǎng)絡(luò)（正如我之前提到的 Spectrum X，一個(gè)面向全球企業(yè)的 AI 網(wǎng)絡(luò)），以及存儲(chǔ)。存儲(chǔ)必須進(jìn)行徹底的重塑。未來的存儲(chǔ)系統(tǒng)將不再是基于檢索的，而將是基于語(yǔ)義的。因此，存儲(chǔ)系統(tǒng)必須能夠在后臺(tái)持續(xù)地嵌入信息，將原始數(shù)據(jù)轉(zhuǎn)化為知識(shí)。這樣一來，當(dāng)你需要訪問數(shù)據(jù)時(shí)，無需進(jìn)行檢索，只需與之對(duì)話，提出問題或任務(wù)即可。舉個(gè)例子，Box 的 Aaron 已經(jīng)與我們展開合作，在云端部署了一個(gè)應(yīng)用。從本質(zhì)上講，這是一個(gè)超級(jí)智能的存儲(chǔ)系統(tǒng)。未來，每個(gè)企業(yè)都將擁有類似的系統(tǒng)。這就是未來的企業(yè)級(jí)存儲(chǔ)。我們正在與整個(gè)存儲(chǔ)行業(yè)通力合作，包括 DDN、Dell、HP Enterprise、Hitachi、IBM、NetApp、Nutanix、Pure Storage、Vast 和 Weka 等眾多杰出的合作伙伴。幾乎全球所有的存儲(chǔ)廠商都將首次提供這一技術(shù)堆棧。未來的存儲(chǔ)系統(tǒng)將實(shí)現(xiàn) GPU 加速。

這是 Michael 準(zhǔn)備的幻燈片，是一張非常棒的幻燈片。為什么這么說呢？因?yàn)樗靡粡埢脽羝颓逦仃U述了 Dell 將提供全線的 Nvidia Enterprise IT AI 基礎(chǔ)設(shè)施系統(tǒng)，以及運(yùn)行其上的所有軟件。大家可以看到，我們正在引領(lǐng)一場(chǎng)全球企業(yè)界的革新。

今天，我們還發(fā)布了一個(gè)功能強(qiáng)大的模型，每個(gè)人都可以運(yùn)行。之前，我向大家展示了 R1，一個(gè)具備推理能力的模型。我還將它與不具備推理能力的模型 Llama 3 進(jìn)行了對(duì)比，顯然 R1 要智能得多。但是，我們還可以做得更好，讓任何公司都能為企業(yè)級(jí)應(yīng)用做好充分準(zhǔn)備。現(xiàn)在，作為我們 NIMS 系統(tǒng)的一部分，R1 已經(jīng)完全開源。大家可以下載并在任何平臺(tái)上運(yùn)行，包括 DGX Spark、DGX Station、任何 OEM 廠商制造的服務(wù)器、云端，還可以將其集成到任何 Agentic AI 框架中。我們正在與全球眾多公司展開合作，接下來，我將快速地展示其中的一部分，請(qǐng)大家仔細(xì)觀看。

現(xiàn)場(chǎng)有很多我們的重要合作伙伴，我想在這里特別介紹一下 Accenture。Julie Sweet 和她的團(tuán)隊(duì)正在構(gòu)建 AI 工廠和 AI 框架。還有 Amdocs，它是全球最大的電信軟件公司。以及 AT&T，John Stankey 和他的團(tuán)隊(duì)正在構(gòu)建 AT&T 的 Agentic AI 系統(tǒng)。Larry Fink 和 Blackrock 團(tuán)隊(duì)也在構(gòu)建他們自己的系統(tǒng)。還有 Andy Rude。未來，我們不僅要招聘ASIC設(shè)計(jì)師，還要從 Cadence Design Systems（CEO為Anirudh Devgan）聘請(qǐng)大批數(shù)字ASIC設(shè)計(jì)師。Cadence正在構(gòu)建其AI框架，集成NVIDIA的模型（如NeMo）、NVIDIA NIM（推理微服務(wù)）以及 CUDA加速庫(kù)（如cuDNN），支持本地和云端部署。Capital One，作為在技術(shù)應(yīng)用方面最為領(lǐng)先的金融服務(wù)公司之一，已經(jīng)全面采用了 Nvidia 的技術(shù)。Deloitte 的 Jason 及其團(tuán)隊(duì)， Eni的Janet及其團(tuán)隊(duì)，NASA 的 Adina 及其團(tuán)隊(duì)，都在將 Nvidia 的技術(shù)集成到他們各自的 AI 框架中。此外，還有 Christian 和他在 SAP 的團(tuán)隊(duì)，Bill McDermott 和他在 ServiceNow 的團(tuán)隊(duì)。

接下來，讓我們轉(zhuǎn)換一下話題，來談一談機(jī)器人技術(shù)?，F(xiàn)在，是時(shí)候討論機(jī)器人了。機(jī)器人時(shí)代已經(jīng)到來。機(jī)器人最大的優(yōu)勢(shì)在于，它們能夠與物理世界進(jìn)行交互，做到數(shù)字信息無法做到的事情。我們都清楚地認(rèn)識(shí)到，全球正面臨著嚴(yán)重的勞動(dòng)力短缺問題。預(yù)計(jì)到 2030 年，全球勞動(dòng)力缺口將至少達(dá)到 5000 萬(wàn)。我們當(dāng)然非常樂意為每個(gè)人提供 5 萬(wàn)美元的年薪。但相應(yīng)的，我們可能也需要每年支付 5 萬(wàn)美元給機(jī)器人。

因此，這將是一個(gè)規(guī)模極為龐大的產(chǎn)業(yè)。機(jī)器人系統(tǒng)的種類繁多。未來的基礎(chǔ)設(shè)施都將是機(jī)器人化的。倉(cāng)庫(kù)和工廠中將部署數(shù)以十億計(jì)的攝像頭。全球范圍內(nèi)，有 1000 萬(wàn)到 2000 萬(wàn)家工廠。正如我之前提到的，每一輛汽車都已經(jīng)是一個(gè)機(jī)器人。而現(xiàn)在，我們正在致力于開發(fā)通用機(jī)器人。接下來，我將向大家展示我們的進(jìn)展。

所有運(yùn)動(dòng)的物體都將實(shí)現(xiàn)自主化。物理 AI 將賦能各行各業(yè)的各類機(jī)器人。Nvidia 構(gòu)建的三臺(tái)計(jì)算機(jī)，實(shí)現(xiàn)了機(jī)器人 AI 的模擬、訓(xùn)練、測(cè)試以及真實(shí)世界經(jīng)驗(yàn)的持續(xù)循環(huán)。訓(xùn)練機(jī)器人需要海量的數(shù)據(jù)?；ヂ?lián)網(wǎng)規(guī)模的數(shù)據(jù)能夠提供常識(shí)和推理能力，但機(jī)器人還需要?jiǎng)幼骱涂刂茢?shù)據(jù)，而這些數(shù)據(jù)的獲取成本往往很高。借助基于 Nvidia、Omniverse 和 Cosmos 構(gòu)建的藍(lán)圖，開發(fā)人員可以生成大量多樣化的合成數(shù)據(jù)，用于訓(xùn)練機(jī)器人的行為策略。首先，在 Omniverse 中，開發(fā)人員可以根據(jù)不同的領(lǐng)域、機(jī)器人類型和任務(wù)需求，聚合來自真實(shí)世界的傳感器數(shù)據(jù)或演示數(shù)據(jù)。

然后，利用 Omniverse 對(duì) Cosmos 進(jìn)行調(diào)節(jié)，將原始采集的數(shù)據(jù)倍增，生成海量且逼真的多樣化數(shù)據(jù)。開發(fā)人員可以使用 Isaac Lab，利用這些增強(qiáng)的數(shù)據(jù)集對(duì)機(jī)器人的行為策略進(jìn)行后期訓(xùn)練。通過模仿學(xué)習(xí)來克隆行為，或者通過強(qiáng)化學(xué)習(xí)和 AI 反饋進(jìn)行試錯(cuò)，讓機(jī)器人學(xué)習(xí)新的技能。需要注意的是，實(shí)驗(yàn)室的訓(xùn)練環(huán)境與真實(shí)世界是存在差異的。因此，新的行為策略還需要經(jīng)過現(xiàn)場(chǎng)測(cè)試。開發(fā)人員可以利用 Omniverse 進(jìn)行軟硬件在環(huán)測(cè)試，在具有真實(shí)世界環(huán)境動(dòng)態(tài)的數(shù)字孿生環(huán)境中模擬機(jī)器人的行為策略，并進(jìn)行域隨機(jī)化、物理反饋以及高頻傳感器模擬。在真實(shí)世界的應(yīng)用場(chǎng)景中，往往需要多個(gè)機(jī)器人協(xié)同工作。Mega 是一個(gè) Omniverse 藍(lán)圖，它支持開發(fā)人員對(duì)經(jīng)過后期訓(xùn)練的行為策略進(jìn)行大規(guī)模測(cè)試。

例如，富士康就在一個(gè)虛擬的 Nvidia Blackwell 生產(chǎn)設(shè)施中，對(duì)各種不同類型的機(jī)器人進(jìn)行了測(cè)試。當(dāng)機(jī)器人的“大腦”執(zhí)行任務(wù)時(shí)，它們會(huì)通過傳感器模擬來感知行動(dòng)的結(jié)果，然后規(guī)劃下一步的行動(dòng)。Mega 允許開發(fā)人員測(cè)試多種機(jī)器人的行為策略，使機(jī)器人能夠作為一個(gè)系統(tǒng)協(xié)同工作，無論是進(jìn)行空間推理、導(dǎo)航、移動(dòng)，還是執(zhí)行靈巧的操作。許多令人驚嘆的成果都誕生于模擬之中。今天，我們非常高興地推出 Nvidia Isaac Groot N1。Groot N1 是一個(gè)用于人形機(jī)器人的通用基礎(chǔ)模型。它建立在合成數(shù)據(jù)生成和機(jī)器學(xué)習(xí)的基礎(chǔ)之上。在模擬環(huán)境中，Groot N1 采用了一種雙系統(tǒng)架構(gòu)，以實(shí)現(xiàn)快速和慢速的思考模式，其靈感來源于人類認(rèn)知過程的原理。慢速思考系統(tǒng)使機(jī)器人能夠感知和推理周圍的環(huán)境以及接收到的指令，并規(guī)劃出正確的行動(dòng)方案。

而快速思考系統(tǒng)則負(fù)責(zé)將這些規(guī)劃轉(zhuǎn)化為精確且連續(xù)的機(jī)器人動(dòng)作。Groot N1 強(qiáng)大的泛化能力，使得機(jī)器人能夠輕松地操控常見的物體，并協(xié)同執(zhí)行多步驟的任務(wù)。借助這一整套包含合成數(shù)據(jù)生成和機(jī)器人學(xué)習(xí)的完整流程，人形機(jī)器人的開發(fā)者們可以在全球多個(gè)不同的環(huán)境中，對(duì) Groot N1 進(jìn)行跨多種形態(tài)和任務(wù)的后期訓(xùn)練。各行各業(yè)的開發(fā)者們都在利用 Nvidia 的這三臺(tái)計(jì)算機(jī)，來構(gòu)建下一代的具身 AI。

物理 AI 和機(jī)器人技術(shù)的發(fā)展日新月異，請(qǐng)大家務(wù)必密切關(guān)注這一領(lǐng)域。它極有可能發(fā)展成為規(guī)模最大的產(chǎn)業(yè)。從本質(zhì)上講，我們所面臨的挑戰(zhàn)是相同的。正如我之前提到的，我們主要關(guān)注三個(gè)方面，而且這些方面是系統(tǒng)性的：第一，如何解決數(shù)據(jù)問題？如何以及在哪里生成訓(xùn)練 AI 所需的數(shù)據(jù)？第二，模型架構(gòu)應(yīng)該是什么樣的？第三，Scaling Law 是什么？我們應(yīng)該如何擴(kuò)展數(shù)據(jù)、算力，或者兩者兼顧，從而讓 AI 變得越來越智能？如何實(shí)現(xiàn)這種擴(kuò)展？這些基本問題同樣存在于機(jī)器人領(lǐng)域。

在機(jī)器人領(lǐng)域，我們創(chuàng)建了一個(gè)名為 Omniverse 的系統(tǒng)，它是我們用于物理 AI 的操作系統(tǒng)。大家可能已經(jīng)聽我介紹 Omniverse 很長(zhǎng)時(shí)間了。這次，我們又新增了兩項(xiàng)關(guān)鍵技術(shù)。今天，我將向大家展示兩項(xiàng)重要的成果。其中之一是，我們可以利用具備生成能力，并且能夠理解物理世界的生成模型，來擴(kuò)展 AI。我們將這個(gè)模型稱為 Cosmos。我們利用 Omniverse 來對(duì) Cosmos 進(jìn)行調(diào)節(jié)，并利用 Cosmos 來生成無限數(shù)量的環(huán)境。這些環(huán)境使我們能夠創(chuàng)建出有依據(jù)、受我們控制，同時(shí)又具備系統(tǒng)無限性的數(shù)據(jù)。正如大家所看到的，在 Omniverse 中，我們用鮮艷的色彩來展示對(duì)場(chǎng)景中機(jī)器人的完美控制，而 Cosmos 則可以創(chuàng)建出所有這些虛擬環(huán)境。

第二項(xiàng)重要成果，正如我們之前所討論的，當(dāng)今語(yǔ)言模型的一項(xiàng)關(guān)鍵擴(kuò)展能力就是強(qiáng)化學(xué)習(xí)?？沈?yàn)證的獎(jiǎng)勵(lì)至關(guān)重要。那么，問題來了，在機(jī)器人技術(shù)中，什么是可驗(yàn)證的獎(jiǎng)勵(lì)呢？正如我們所熟知的，答案就是物理定律，即可驗(yàn)證的物理獎(jiǎng)勵(lì)。因此，我們需要一個(gè)性能強(qiáng)大的物理引擎。目前，大多數(shù)物理引擎的設(shè)計(jì)都有其特定的應(yīng)用場(chǎng)景，它們可能是為大型機(jī)械設(shè)計(jì)的，也可能是為虛擬世界、電子游戲等設(shè)計(jì)的。但是，我們需要的是一個(gè)專為精細(xì)的剛體和柔性體設(shè)計(jì)的物理引擎，它能夠支持觸覺反饋、精細(xì)運(yùn)動(dòng)技能以及執(zhí)行器控制的訓(xùn)練。我們還需要它具備 GPU 加速能力，從而使得這些虛擬世界能夠以超線性時(shí)間運(yùn)行，實(shí)現(xiàn)超實(shí)時(shí)的效果，并且能夠以極快的速度訓(xùn)練 AI 模型。此外，我們還需要將它無縫集成到一個(gè)全球機(jī)器人專家都在使用的框架中，也就是MuJoCo。因此，今天，我們非常榮幸地宣布一項(xiàng)意義非凡的合作。DeepMind、Disney Research 和 Nvidia 這三家公司將攜手合作，共同打造一個(gè)全新的項(xiàng)目。我們將它命名為 Newton。讓我們一起來了解一下 Newton物理引擎。

我們還有一個(gè)激動(dòng)人心的好消息要宣布。我之前就說過，我們的機(jī)器人技術(shù)一直在突飛猛進(jìn)。今天，我們正式宣布 Groot N1 開源！感謝各位的光臨。

讓我們來做一個(gè)總結(jié)。感謝大家參加本次 GTC 大會(huì)。我們討論了幾個(gè)重要方面。首先，Blackwell 已經(jīng)全面投產(chǎn)，并且正在迅速擴(kuò)大生產(chǎn)規(guī)模?？蛻舻男枨蠓浅Ｍⅲ@是理所當(dāng)然的。因?yàn)?AI 領(lǐng)域正處于一個(gè)關(guān)鍵的拐點(diǎn)。由于推理 AI 以及推理 AI 和 Agentic AI的訓(xùn)練需求，我們需要進(jìn)行的 AI 計(jì)算量大幅增加。其次，配備了 Dynamo 技術(shù)的 Blackwell NV Link 72，其 AI 工廠的性能是 Hopper 的 40 倍。隨著 AI 技術(shù)的不斷發(fā)展和規(guī)?；瘧?yīng)用，推理將成為未來十年最重要的工作負(fù)載之一。第三，我們已經(jīng)制定了年度技術(shù)路線圖，方便大家規(guī)劃各自的 AI 基礎(chǔ)設(shè)施。目前，我們擁有三大 AI 基礎(chǔ)設(shè)施：面向云計(jì)算的 AI 基礎(chǔ)設(shè)施、面向企業(yè)的 AI 基礎(chǔ)設(shè)施，以及面向機(jī)器人的 AI 基礎(chǔ)設(shè)施。最后，我們還有一個(gè)驚喜要帶給大家，請(qǐng)觀看視頻。謝謝大家！感謝所有促成這段視頻的合作伙伴，感謝所有為這段視頻的制作做出貢獻(xiàn)的人。祝大家在 GTC 期間收獲滿滿。謝謝大家！

【AI算力產(chǎn)業(yè)討論社群｜僅限受邀加入】

席位鎖定中：AI算力領(lǐng)域TOP級(jí)從業(yè)者專屬圈層

√  與頭部算力企業(yè)深度對(duì)話

√  獲取一手全球AI與算力產(chǎn)業(yè)信息

√  獲取AI算力產(chǎn)業(yè)獨(dú)家信息

√  隨時(shí)了解智算中心項(xiàng)目動(dòng)態(tài)

√  有機(jī)會(huì)參與主題AI與算力產(chǎn)業(yè)交流活動(dòng)

掃碼驗(yàn)證身份（需備注姓名/公司/職務(wù)）

注：每滿200人關(guān)閉入口

不止是 DeepSeek，更是 AI 算力產(chǎn)業(yè)的未來！