Nvidia、1名パラメ〖タの欄喇AI羹け糠GPUとAIコンピュ〖タを券山
染瞥攣介の箕擦另馳1名ドル措度となったNvidiaの辦絡イベントであるGTC 2024が海降介めに勢カリフォルニア劍サンノゼで倡號され、1名パラメ〖タを借妄するための糠しいAIチップ≈GB200∽を湯らかにした。この瀾墑は、糠GPU≈Blackwell∽を2改とCPU≈Grace∽1改を礁姥したSiP∈System in Package∷。Blackwellも、2チップ菇喇となっており、GPU1改でも叼絡なチップとなっている。なぜ叼絡なチップが澀妥か。
哭1 Nvidiaの料度莢敷CEOのJensen Huang會 叫諾¨Nvidiaの怪遍スライド
GTCはかつてGPU Technology Conferenceと鈣ばれていたが、答拇怪遍に惟ったNvidia家の料度莢敷CEOであるJensen Huang會∈哭1∷は、GPU∈グラフィックプロセッサユニット∷という嘆疚はもはや冊殿のものになりつつある、と揭べた。GPUは、もともとCG∈コンピュ〖タグラフィックス∷で敞を閃くためのチップであったが、ニュ〖ラルネットワ〖クモデルが悸脫步されて笆丸、帽なる井さな姥下遍換達を絡翁に積つAIチップとしても蝗えた。GPUでは、デッサンにせよ、咖派りにせよ、1綏の敞を、井さなブロックに尸充して、稱ブロックを票箕に事誤瓢侯させて閃茶するが、その稱ブロックの遍換がまさに姥下遍換であった。ニュ〖ラルネットワ〖クのモデルと鏈く票屯な俐妨洛眶の乖誤遍換瓢侯であったから、GPUがAIチップとしてそのまま蝗われてきた。
AIは欄喇AIに券鷗し、池漿させるべきパラメ〖タ眶は、チャットGTPのベ〖スとなるGPT-3で1750帛パラメ〖タにもなり、叼絡な池漿ソフトウエアとなった。GPT-3.5やGPT-4のように、さらなるパラメ〖タ眶の籠裁は、これまでのGPUではとても粗に圭わない。GPT-3の池漿にはA100のGPUで300泣かかったと咐われている。さらに絡きなGPT-4は1名パラメ〖タになるという。これでは池漿に部鉗もかかってしまう。GPUの拉墻がもっと光くなければ借妄できない。Nvidiaが候鉗呵光拉墻のAIチップ≈Grace Hopper∽を叫したが、海鉗のGTC 2024では、さらに光拉墻なチップが判眷した。
光拉墻なAIチップでは、ニュ〖ラルネットワ〖クモデルに努した紛換緘恕が滇められている。GPUだけだと痰綠な紛換が驢く、久銳排蝸が絡きすぎた。潑に、ニュ〖ラルネットワ〖クの姥下遍換ではa∵0という紛換が端めて驢い。批えは0∈ゼロ∷に瘋まっているのにもかかわらずGPUでは鏈ての遍換を≈竅集賴木に∽乖ってきた。そこで、Nvidiaは、候鉗券山したH200∈コ〖ド嘆Grace Hopper∷というAIチップでは、a∵0という紛換が驢い諒乖誤はCPU∈Grace∷で0という瘋まった眶機に恃垂し、0ではない紛換の泰乖誤をGPUで乖う數及をとった。
海攙のAIチップ≈GB200∽(哭2)に2改のGPU≈Blackwell∽とCPUを烹很したのは、諒乖誤と泰乖誤をそれぞれが么碰するためだと蛔われる。GB200の夸俠におけるAI拉墻は、これまで呵光だったH100 の30擒にも懼る。
哭2 糠しいGPUの≈Blackwell∽チップを2改と、Neoverse V2 CPUコアベ〖スのCPUチップ1改で菇喇されるGB200 叫諾¨Nvidiaの怪遍スライド
この糠房GPUの≈Blackwell∽∈哭2の懼の2改のチップ∷に礁姥されたトランジスタ眶は、これまで呵絡の2080帛改にも懼る。しかも稱Blackwellは、さらに企つのダイに尸かれており、2改のダイを辦つのGPU瀾墑と菇喇している。それぞれのダイはHBM3Eメモリを4改ずつ積ち、圭紛8改で384GBのメモリを積っている。CPUはArmの64ビットのデ〖タセンタ〖羹けのNeoverse V2コアを72改礁姥したもの。呵奪Armはさらに光拉墻なNeoverse V3を券山している∈徊雇獲瘟1∷。
AIス〖パ〖コンピュ〖タも捏捌
Nvidiaは1名パラメ〖タを借妄するためのAIコンピュ〖タも捏捌した。≈Grace Blackwell ス〖パ〖チップ∽と鈣ぶGB200を2改、辦つのコンピュ〖タボ〖ド∈コンピュ〖トトレイと鈣ぶ∷に箭め、このボ〖ドを18綏コンピュ〖タラックに悸劉した。つまり、1駱のコンピュ〖タラックに72改のBlackwell GPUが烹很されている。それをNVLinkという光廬インタ〖フェイスで鏈てのGPUを儡魯する。この眷圭のメモリは鏈てのGPUがデ〖タを鼎銅するコヒ〖レント覺輪にしている。すべてのGPUをつなぐNVLinkでのチップ粗のデ〖タレ〖トは900GB/sと端めて光廬だ。コンピュ〖トトレイのAI拉墻は80PetaFLOPSと光く、メモリ推翁は1.7TB。
このコンピュ〖タ≈GB200 NVL72∽はラックスケ〖ルになっており、80Peta FLOPSのコンピュ〖トトレイが18綏で菇喇されているため、1.4Exa FLOPSというス〖パ〖コンピュ〖タになる。この拉墻は、泣塑のスパコン≈少遲∽のおよそ3擒の拉墻であり、附哼TOP500で疽拆されている呵光拉墻のスパコン≈Frontier∽の1.2Exa FLOPS を畝えることになる。1名パラメ〖タの欄喇AIにはこの鎳刨の拉墻が滇められるとしている。さらにこのコンピュ〖タラックを絡翁に事べると、糠箕洛のス〖パ〖コンピュ〖タのデ〖タセンタ〖が叫丸懼がると斧姥もっている。このデ〖タセンタ〖のAI拉墻は645 Exa FLOPSととてつもなく叼絡になる。
GPUやCPUを絡翁に事誤瓢侯させる眷圭には、もはやバス數及は蝗えないため、スイッチ數及でデ〖タの萎れを臘妄する澀妥がある。そこで、スイッチ脫のNVLink脫のICも倡券している。NVLinkは呵絡576改のGPUを儡魯でき、另圭弄なバンド升は1Peta B/sで、光廬メモリ推翁は240TBと絡きい。
徊雇獲瘟
1. ≈Arm、クルマのデ〖タセンタ〖步に羹けIPコアを郊悸∽、セミコンポ〖タル (2024/03/19)
