Cerebras、4兆トランジスタの��3世代ウェーハスケールAIチップを開発
Cerebras Systems社は、4兆トランジスタを集積したウェーハスケールのAIアクセラレータチップ「WSE-3」を開発した。300mmウェーハから21cm角に切り�Dった半導��で、�i�vのWSE-2（参考�@料1）での7nmから5nmプロセスを�W(w┌ng)��して集積度を�屬欧拭�このウェーハスケールICを組み込んだAIコンピュータ「CS-3」を64��組み込む「Condor Galaxy 3」を戦�S的パートナーであるG42と共同で開発中である。
図1 ��3世代のウェーハスケールIC「WSE-3」を開発 出�Z：Cerebras Systems
ウェーハスケールIC「WSE-3」を搭載したAIコンピュータCS-3の性�Δ�、これまで最高のCS-2と同じ消�J電��、同じ価格で比べると性�Δ�2倍になっているという。このコンピュータCS-3は、最も巨�j(lu┛)なAIモデルを学�{させることを�`的としたマシンで、最�j(lu┛)24兆パラメータのAIモデルを学�{させることを狙っている。同社のウェーハスケールAIチップは、��1世代が16nm（参考�@料2）、��2世代7nm、��3世代が5nmとやってきた。5nmプロセスのICファウンドリはTSMCだと、このAIチップを搭載したコンピュータを��作しているG42がニュースリリースで述べている（参考�@料3）。
ウェーハスケールICのチップ�C積は46,225mm2と巨�j(lu┛)で、スパース線形代数（ゼロの�Hい�娣�`）に最適化された90万コアが集積されている。AIコンピュータとしての性�Δ�125 Peta FLOPS（1Petaは10の15乗）、オンチップメモリの容量は44 GB、外�陬瓮皀蝓�HBM）は1200 GBで、メモリのバンド幅は21 Peta Bytes/sとなっている。
Cerebrasはまた、AIアクセラレータCS-3を学�{��に使い、QualcommのクラウドAI 100 Ultraを推�b��にAIを使えば、約10倍のコスト・パフォーマンスが�uられたとしている。
アブダビを拠点とするAIコンピュータ企業のG42社は、CerebrasのAIチップWSE-3を搭載したAIアクセラレータ「CS-3」を64��並べたAIコンピュータ「Condor Galaxy 3」を試作した。CG 3には約5800万個のAIに最適化したコアを�△�、16 Exa FLOPS（Floating Operations Per Second）という��高性�Δ鯣�ｧすると見積もっている。Exaは10の18乗を�T味する単位。
2023�Q11月現在における世�cのスーパーコンピュータランキングTOP500で最も高�]のスパコンは、��Oakridge 国立研�|所の1.1 Exa FLOPSであるから、CS-3はその1桁�屬寮��Δ箸覆�。ちなみに日本の富�tは昨�Qに��き��4位の0.44 Exa FLOPSとなっている。
「Condor Galaxy 3」を使えば�j(lu┛)��模言語モデルLlama-70B（700億パラメータ）を学�{させるのにわずか数日で済むという。1750億パラメータのLLMであるGPT-3をNvidiaのGPUであるA100では学�{するのに300日かかったと言われている。
これまでのCondor Galaxy 1と2は、�盜颯�リフォルニア�Δ棒���されているが、Condor Galaxy 3はテキサス�Ε瀬薀垢棒���される予定だという。
CerebrasのCS-1とCS-2のAIアーキテクチャは、��来のフォンノイマン型コンピューティングではなく、ニューラルネットワークのワークフローと同様、データフローコンピューティングである。CS-3もそのアーキテクチャを採��していると思われるが、��らかにしていない。
参考�@料
1. 「7nmプロセスで���]したウェーハ��模の巨�j(lu┛)なAIチップ」、セミコンポータル (2021/04/28)
2. 「Cerebras社、ウェーハ��模のAIチップを実�△靴織灰鵐團紂璽燭鯣�売」、セミコンポータル (2019/12/20)
3. "G42 and Cerebras Break Ground on Condor Galaxy 3, an 8 exaFLOPs AI Supercomputer", G42 (2024/03/13)
