図1　��3世代のウェーハスケールIC「WSE-3」を開発　出�Z：Cerebras Systems

ウェーハスケールIC「WSE-3」を搭載したAIコンピュータCS-3の性�Δ蓮△海譴泙悩嚢發�CS-2と同じ消�J電��、同じ価格で比べると性�Δ�2倍になっているという。このコンピュータCS-3は、最も巨�jなAIモデルを学�{させることを�`的としたマシンで、最�j24兆パラメータのAIモデルを学�{させることを狙っている。同社のウェーハスケールAIチップは、��1世代が16nm（参考�@料2）、��2世代7nm、��3世代が5nmとやってきた。5nmプロセスのICファウンドリはTSMCだと、このAIチップを搭載したコンピュータを��作しているG42がニュースリリースで述べている（参考�@料3）。

ウェーハスケールICのチップ�C積は46,225mm2と巨�jで、スパース線形代数（ゼロの�Hい�娣�`）に最適化された90万コアが集積されている。AIコンピュータとしての性�Δ�125 Peta FLOPS（1Petaは10の15乗）、オンチップメモリの容量は44 GB、外�陬瓮皀蝓�HBM）は1200 GBで、メモリのバンド幅は21 Peta Bytes/sとなっている。

Cerebrasはまた、AIアクセラレータCS-3を学�{��に使い、QualcommのクラウドAI 100 Ultraを推�b��にAIを使えば、約10倍のコスト・パフォーマンスが�uられたとしている。

アブダビを拠点とするAIコンピュータ企業のG42社は、CerebrasのAIチップWSE-3を搭載したAIアクセラレータ「CS-3」を64��並べたAIコンピュータ「Condor Galaxy 3」を試作した。CG 3には約5800万個のAIに最適化したコアを�△�、16 Exa FLOPS（Floating Operations Per Second）という��高性�Δ鯣�ｧすると見積もっている。Exaは10の18乗を�T味する単位。

2023�Q11月現在における世�cのスーパーコンピュータランキングTOP500で最も高�]のスパコンは、��Oakridge 国立研�|所の1.1 Exa FLOPSであるから、CS-3はその1桁�屬寮��Δ箸覆�。ちなみに日本の富�tは昨�Qに��き��4位の0.44 Exa FLOPSとなっている。

「Condor Galaxy 3」を使えば�j��模言語モデルLlama-70B（700億パラメータ）を学�{させるのにわずか数日で済むという。1750億パラメータのLLMであるGPT-3をNvidiaのGPUであるA100では学�{するのに300日かかったと言われている。

これまでのCondor Galaxy 1と2は、�盜颯�リフォルニア�Δ棒���されているが、Condor Galaxy 3はテキサス�Ε瀬薀垢棒���される予定だという。

CerebrasのCS-1とCS-2のAIアーキテクチャは、��来のフォンノイマン型コンピューティングではなく、ニューラルネットワークのワークフローと同様、データフローコンピューティングである。CS-3もそのアーキテクチャを採��していると思われるが、��らかにしていない。

参考�@料
1. 「7nmプロセスで���]したウェーハ��模の巨�jなAIチップ」、セミコンポータル (2021/04/28)
2. 「Cerebras社、ウェーハ��模のAIチップを実�△靴織灰鵐團紂璽燭鯣�売」、セミコンポータル (2019/12/20)
3. "G42 and Cerebras Break Ground on Condor Galaxy 3, an 8 exaFLOPs AI Supercomputer", G42 (2024/03/13)