SIGGRAPH 2023：計(jì)算圖形技術(shù)正在塑造生成式AI的全新時(shí)刻

“生成式AI時(shí)代和AI的iPhone時(shí)刻已經(jīng)到來(lái)。”NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在計(jì)算機(jī)圖形大會(huì)SIGGRAPH上的一番話，讓臺(tái)下數(shù)千觀眾響起一片掌聲。的確，生成式AI的火熱讓過(guò)去高深的人工智能技術(shù)如此近在咫尺，無(wú)論是企業(yè)的生產(chǎn)力和生產(chǎn)流程創(chuàng)新，還是人們?nèi)粘Ｉ畹捏w驗(yàn)，都在智能時(shí)代迎來(lái)了質(zhì)的躍遷。在各類(lèi)GPT、大模型的火熱背后，對(duì)高算力、高帶寬等也帶來(lái)了新的需求。

生成式AI時(shí)代和AI的iPhone時(shí)刻

更先進(jìn)的模型、更大規(guī)模的數(shù)據(jù)集需要更低的時(shí)延、更多的內(nèi)存/存儲(chǔ)、更大的帶寬、更強(qiáng)的處理能力，要知道，近十年在進(jìn)行大規(guī)模數(shù)據(jù)模型訓(xùn)練時(shí)所需的計(jì)算力已經(jīng)增長(zhǎng)了數(shù)十萬(wàn)甚至百萬(wàn)倍，這種情況使得生成式AI的高質(zhì)量體驗(yàn)需要耗費(fèi)大量的專(zhuān)用算力、高速網(wǎng)絡(luò)和內(nèi)存，并沒(méi)有實(shí)現(xiàn)真正的普惠。隨著模型的不斷更新，訓(xùn)練也會(huì)成為一項(xiàng)持續(xù)開(kāi)支。同時(shí)，只有少數(shù)巨頭企業(yè)才有能力構(gòu)建像ChatGPT這樣的超大型LLM。

而在SIGGRAPH期間，NVIDIA從軟件、硬件和應(yīng)用開(kāi)發(fā)等方面，為推動(dòng)生成式AI的普惠提供了更多的選擇。該公司發(fā)布了GH200 Grace Hopper超級(jí)芯片平臺(tái)和名為“NVIDIA AI Workbench”的全新統(tǒng)一工作空間，以簡(jiǎn)化NVIDIA AI平臺(tái)上模型的調(diào)節(jié)和部署。此外，黃仁勛宣布將對(duì)NVIDIA Omniverse進(jìn)行重大升級(jí)，加入對(duì)生成式AI和 OpenUSD的支持，“計(jì)算機(jī)圖形學(xué)和AI密不可分，圖形學(xué)需要AI，AI也需要圖形學(xué)。AI將在虛擬世界中學(xué)習(xí)技能，于此同時(shí)，AI也可以用于創(chuàng)建虛擬世界。

Omniverse是一個(gè)OpenUSD原生軟件平臺(tái)，可以進(jìn)行跨3D工具和應(yīng)用的連接、描述及模擬。此次更新將加快虛擬世界和高級(jí)工作流的創(chuàng)建速度，推動(dòng)工業(yè)數(shù)字化進(jìn)程。Cesium、Convai、MoveAI、SideFX Houdini和Wonder Dynamics已通過(guò)OpenUSD接入Omniverse。此次平臺(tái)更新主要升級(jí)了Omniverse Kit（用于開(kāi)發(fā)原生OpenUSD應(yīng)用和擴(kuò)展程序的引擎），以及NVIDIA Omniverse Audio2Face基礎(chǔ)應(yīng)用和空間計(jì)算功能。

最新平臺(tái)更新、Adobe Firefly的接入、OpenUSD向RealityKit的導(dǎo)入以及Ada架構(gòu)系統(tǒng)將共同加速各種具有互操作性的3D工作流以及工業(yè)數(shù)字化進(jìn)程

具體來(lái)說(shuō)，Omniverse Kit的更新包括——模塊化應(yīng)用構(gòu)建，全新Omniverse Kit ExtensionRegistry是一個(gè)用于訪問(wèn)、共享和管理Omniverse擴(kuò)展程序的中央存儲(chǔ)庫(kù)，開(kāi)發(fā)者可以輕松啟用或關(guān)閉其應(yīng)用中的功能，因此能夠比以往更加輕松地利用NVIDIA提供的600多個(gè)核心Omniverse擴(kuò)展程序來(lái)構(gòu)建自定義應(yīng)用；全新開(kāi)發(fā)者模板和資源：全新應(yīng)用和體驗(yàn)?zāi)０遄寗傞_(kāi)始使用OpenUSD和Omniverse的開(kāi)發(fā)者只需要進(jìn)行極少量的編碼工作就能輕松上手；提升效率和用戶(hù)體驗(yàn)：全新渲染優(yōu)化功能充分利用NVIDIA RTX GPU中NVIDIA Ada Lovelace架構(gòu)的各項(xiàng)改進(jìn)，并將DLSS 3技術(shù)完全集成到Omniverse RTX渲染器中，全新AI降噪器可實(shí)現(xiàn)大型工業(yè)場(chǎng)景的實(shí)時(shí)4K路徑追蹤；由原生RTX驅(qū)動(dòng)的空間集成：全新擴(kuò)展現(xiàn)實(shí)（XR）開(kāi)發(fā)者工具可讓用戶(hù)在基于Omniverse的應(yīng)用中構(gòu)建原生空間計(jì)算選項(xiàng)，使用戶(hù)能夠按照自己的想法靈活地體驗(yàn)3D項(xiàng)目和虛擬世界。

NVIDIA還發(fā)布了一系列面向開(kāi)發(fā)者和企業(yè)的框架、資源和服務(wù)，以此加速通用場(chǎng)景描述（即OpenUSD）的采用。此外，NVIDIA構(gòu)建了全新的Omniverse Cloud API，供開(kāi)發(fā)人員更無(wú)縫地實(shí)現(xiàn)和部署OpenUSD工作流和應(yīng)用程序。OpenUSD支持的全新Omniverse連接器已推出，為工業(yè)企業(yè)打破復(fù)雜生產(chǎn)流水線中的數(shù)據(jù)孤島帶來(lái)了更多的可能性?？梢钥吹?，NVIDIA正在通過(guò)NVIDIA Omniverse與新的技術(shù)組合、ChatUSD和RunUSD等云應(yīng)用編程接口，以及全新NVIDIA OpenUSD開(kāi)發(fā)者計(jì)劃，來(lái)推進(jìn)OpenUSD的發(fā)展。OpenUSD是一個(gè)3D框架，可以實(shí)現(xiàn)軟件工具與數(shù)據(jù)類(lèi)型之間的互通，從而構(gòu)建虛擬世界。

上述提到的四款全新Omniverse Cloud API包括：ChatUSD，一款面向開(kāi)發(fā)人員的大型語(yǔ)言模型copilot工具，可以回答USD知識(shí)問(wèn)題或生成Python-USD代碼腳本。ChatUSD借助NVIDIA提供的USD功能和Python-USD代碼片段進(jìn)行微調(diào)；RunUSD，其是一個(gè)Cloud API，通過(guò)檢查上傳文件與OpenUSD版本的兼容性，將OpenUSD文件轉(zhuǎn)換為完全路徑跟蹤渲染的圖像，并使用Omniverse Cloud生成渲染，NVIDIA OpenUSD開(kāi)發(fā)者計(jì)劃中的開(kāi)發(fā)人員可以使用該API的演示；DeepSearch，其為L(zhǎng)LM代理，可在海量無(wú)標(biāo)記資產(chǎn)數(shù)據(jù)庫(kù)中進(jìn)行快速語(yǔ)義搜索；USD-GDN Publisher，其為一鍵式服務(wù)，可助力企業(yè)和軟件制造商從USD Composer等基于Omniverse的應(yīng)用向Omniverse Cloud GDN發(fā)布基于OpenUSD的高保真體驗(yàn)，并實(shí)時(shí)傳輸?shù)骄W(wǎng)絡(luò)瀏覽器和移動(dòng)設(shè)備。

NVIDIA Omniverse開(kāi)啟通往OpenUSD廣闊天地的大門(mén)

OpenUSD旨在更好地連接電影和動(dòng)畫(huà)制作流程。同時(shí)，工業(yè)應(yīng)用（比如構(gòu)建具有互操作性的制造設(shè)計(jì)流程、創(chuàng)建符合物理學(xué)的實(shí)時(shí)工廠數(shù)字孿生或訓(xùn)練和驗(yàn)證自動(dòng)駕駛汽車(chē)等）也對(duì)3D框架提出了不同的要求。為了支持這些高度復(fù)雜的工業(yè)和感知AI工作負(fù)載，NVIDIA正在開(kāi)發(fā)NVIDIA Omniverse（用于開(kāi)發(fā)應(yīng)用程序的OpenUSD原生軟件平臺(tái)），以及地理空間數(shù)據(jù)模型、度量組件、SimReady、OpenUSD規(guī)范等。OpenUSD地理空間數(shù)據(jù)模型讓用戶(hù)可以對(duì)逼真的工廠、倉(cāng)庫(kù)、城市乃至地球數(shù)字孿生進(jìn)行模擬和計(jì)算。對(duì)于極大規(guī)模的項(xiàng)目，它還會(huì)考慮到地球的曲率以確保模擬符合物理學(xué)。工業(yè)應(yīng)用需要合并來(lái)自許多工具和來(lái)源的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集以不同的單位表示。NVIDIA正在開(kāi)發(fā)一個(gè)OpenUSD度量組件，使用戶(hù)能夠百分之百準(zhǔn)確地合并不同格式的數(shù)據(jù)集。

在計(jì)算終端層面，NVIDIA與全球數(shù)據(jù)中心系統(tǒng)制造商、工作站廠商緊密協(xié)作，推進(jìn)著AI與工業(yè)制造、數(shù)據(jù)科學(xué)、內(nèi)容創(chuàng)作等領(lǐng)域的應(yīng)用。NVIDIA推出了搭載全新NVIDIA L40S GPU的NVIDIA OVX服務(wù)器。這款功能強(qiáng)大的通用數(shù)據(jù)中心處理器將通過(guò)NVIDIA Omniverse平臺(tái)，加速計(jì)算密集型的復(fù)雜應(yīng)用，包括AI訓(xùn)練與推理、3D設(shè)計(jì)與可視化、視頻處理以及工業(yè)數(shù)字化等。NVIDIA OVX系統(tǒng)的每臺(tái)服務(wù)器最多支持8塊NVIDIA L40S GPU，每塊GPU的顯存為48GB?；贜VIDIA Ada Lovelace GPU架構(gòu)的L40S搭載第四代Tensor Core和FP8 Transformer Engine，可以提供超過(guò)1.45 PFLOP的張量處理能力。對(duì)于擁有數(shù)十億個(gè)參數(shù)和多種數(shù)據(jù)模式（如文本和視頻）的復(fù)雜AI工作負(fù)載，與NVIDIA A100 Tensor Core GPU相比，L40S能夠?qū)⑸墒紸I的推理性能和訓(xùn)練性能分別提高1.2倍和1.7倍。

OVX服務(wù)器采用全新NVIDIA GPU以加速訓(xùn)練和推理以及圖形密集型工作負(fù)載，將通過(guò)戴爾科技、慧與、聯(lián)想、超微等公司提供

為了支持實(shí)時(shí)渲染、產(chǎn)品設(shè)計(jì)、3D內(nèi)容創(chuàng)建等高保真專(zhuān)業(yè)可視化工作流，NVIDIA L40S GPU搭載142顆第三代RT Core，可提供212 TFLOP的光線追蹤性能，使專(zhuān)業(yè)創(chuàng)作者能夠創(chuàng)建沉浸式的視覺(jué)體驗(yàn)和逼真的內(nèi)容。針對(duì)計(jì)算要求嚴(yán)苛的工作流，如工程和科學(xué)模擬等，NVIDIA L40S搭載18176顆CUDA Core，可提供近5倍于NVIDIA A100 GPU的單精度浮點(diǎn)計(jì)算（FP32）性能，以加快復(fù)雜計(jì)算和數(shù)據(jù)密集型分析的速度。NVIDIA L40S將于今年秋季上市。包括華碩、戴爾科技、技嘉、慧與、聯(lián)想、QCT、超微在內(nèi)的全球系統(tǒng)構(gòu)建商近期將提供搭載NVIDIA L40S GPU的OVX系統(tǒng)。部署L40S GPU的企業(yè)將受益于NVIDIA AI Enterprise軟件，該軟件發(fā)布了重大更新，能夠?yàn)?00多個(gè)框架、預(yù)訓(xùn)練模型、工具套件和軟件提供生產(chǎn)就緒型企業(yè)級(jí)支持和安全，其中包括用于模擬的NVIDIA Modulus、用于數(shù)據(jù)科學(xué)的NVIDIA RAPIDS和用于生產(chǎn)型AI的NVIDIA Triton推理服務(wù)器。

除了面向數(shù)據(jù)中心的新品，NVIDIA還推出了全新NVIDIA RTX工作站，以及三款全新臺(tái)式工作站Ada架構(gòu)GPU——NVIDIA RTX 5000、RTX 4500和RTX 4000，為全球?qū)I(yè)人士帶來(lái)最新的AI、圖形和實(shí)時(shí)渲染技術(shù)。全新RTX工作站配備4塊NVIDIA RTX 6000 Ada GPU，每塊GPU具有48GB顯存，單個(gè)桌面工作站就可提供5828 TFLOPS的AI性能和192GBGPU顯存。這些系統(tǒng)還可根據(jù)用戶(hù)需求，配備N(xiāo)VIDIA AI Enterprise或Omniverse Enterprise軟件，以支持各種要求嚴(yán)苛的生成式AI和圖形密集型工作負(fù)載。

NVIDIA RTX 6000 Ada GPU、NVIDIA Omniverse和NVIDIA AI Enterprise軟件將大幅提升臺(tái)式工作站的性能

據(jù)了解，系統(tǒng)構(gòu)建商將在今年秋季開(kāi)始提供最多可搭載四塊RTX 6000 Ada GPU，以及NVIDIA AI Enterprise和NVIDIA Omniverse Enterprise軟件的RTX工作站。全新NVIDIA RTX5000 GPU已經(jīng)上市，惠普、麗臺(tái)科技、PNY和Ryoyo Electro等全球分銷(xiāo)合作伙伴將陸續(xù)發(fā)貨。BOXX、戴爾、惠普、聯(lián)想等全球分銷(xiāo)合作伙伴將在今年秋季開(kāi)始提供NVIDIA RTX 4500和RTX 4000 GPU。

可以看到，NVIDIA通過(guò)一系列的技術(shù)和產(chǎn)品創(chuàng)新，在廣泛的生態(tài)伙伴協(xié)作之下，正在快速推進(jìn)生成式AI在企業(yè)、開(kāi)發(fā)者群體，以及千行百業(yè)的場(chǎng)景應(yīng)用，并且大幅降低了企業(yè)AI項(xiàng)目的門(mén)檻，用領(lǐng)先的圖形技術(shù)描繪了一個(gè)嶄新的AI未來(lái)，二者相互促進(jìn)，融合發(fā)展。正如黃仁勛所言：“在五年前的SIGGRAPH上，NVIDIA將AI和實(shí)時(shí)光線追蹤引入GPU，從此顛覆了計(jì)算機(jī)圖形。不僅如此，在NVIDIA通過(guò)AI重塑計(jì)算機(jī)圖形的同時(shí)，也致力于為AI重塑GPU。”