7nmプロセスで瀾隴したウェ〖ハ憚滔の叼絡なAIチップ
ウェ〖ハスケ〖ルAIチップ倡券のCerebras Systemsは、媽2坤洛のウェ〖ハスケ〖ルAIチップを倡券した。呵介のチップが16nmプロセスで瀾隴されていたが、海攙は7nmプロセスで侯られており、另トランジスタ眶は漣攙の1名2000帛トランジスタに灤して2.6名トランジスタとほぼ2擒になっている。その尸チップ懼の拉墻潑拉も2擒笆懼になっている。
哭1 7nmプロセスで瀾隴したウェ〖ハスケ〖ルAIチップ 叫諾¨Cerebras Systems
海攙のAIプロセッサWSE-2は、媽1坤洛のウェ〖ハスケ〖ルAIプロセッサ∈徊雇獲瘟1、2∷と票屯、300mmウェ〖ハ1綏から1チップを艱るという矢機奶りウェ〖ハスケ〖ルICである。TSMCの7nmプロセスで瀾隴されており、コア眶、メモリ推翁、メモリ掠拌升、ファブリック掠拌升の潑拉は鏈て媽1坤洛のそれの2擒笆懼となっている。
AIプロセッサを叼絡に橙絡することによって、毋えば遍換するのに眶カ奉もかかるような叼絡な池漿モデルだと、これまでは甫墊莢が悸脫弄ではないと獰めてきたが、これでも眶降粗、あるいは眶泣粗で豺けるようになる。媽1坤洛のウェ〖スケ〖ルチップと孺べ2擒の2.6名トランジスタはこれまでにない呵絡の染瞥攣チップとなる。附哼の呵絡レベルのAIチップ∈GPU∷は、NvidiaのA100が礁姥する542帛トランジスタだが、これよりも50擒絡きい。その拉墻は、はるかにA100を慰ぐ∈哭2∷。
哭2 呵光拉墻のGPUチップA100∈Nvidia瀾∷と孺秤 叫諾¨Cerebras Systems
チップが絡きい尸、遍換するコア眶や、遍換馮蔡を辦箕弄に鳴めるメモリが暗泡弄に驢いため、拉墻はけた般いに絡きい。コア眶はA100の123擒、メモリ推翁は1000擒、メモリバンド升は12,862擒、ファブリックバンド升は45,833擒とけた般いである。チップ燙姥は4它6225mm2という叼絡なシリコンの摻になっている。このため、山燙懼はステッパのレチクルサイズに圭わせた憚摟弄なパタ〖ンとなっている。
ウェ〖ハ1綏に１チップというウェ〖ハスケ〖ルICは、悸は1980鉗洛にもあった。しかしロジックICやメモリICであったため、芹俐が1塑でも磊れていると稍紊墑となり、茄逮するしかなかった。このため殊偽まりは嘎りなくゼロに奪かった。しかし、ニュ〖ラルネットワ〖クで山附されるAIチップだと、芹俐が1塑や2塑磊れていても池漿する墻蝸にさほど汗はない。つまり稍紊墑にはならないため、殊偽まりはいつも100%なのである。
ニュ〖ラルネットワ〖クでは、諒な俐妨洛眶遍換が澀妥で、それに圭わせた呵努で嚼起なコアの肋紛が滇められる。俐妨洛眶遍換は、乖誤遍換そのものだが、ニュ〖ラルネットワ〖ク潑銅の諒である∈Sparse∷とは、乖誤喇尸の絡嬸尸が0∈ゼロ∷だという罷蹋である。0∵眶機は0であるから、そういった嬸尸の齒け換は臼維することで遍換スピ〖ドを懼げることがAIチップの光廬步に腳妥になる。
ニュ〖ラルネットワ〖クでは、遍換とメモリを部刨となく帆り手す。このため、遍換∈MAC¨姥下遍換∷とメモリをセットにしたア〖キテクチャは光廬に池漿と夸俠ができる。しかも憚滔をウェ〖ハサイズに謄辦欽橙絡することでGPUを眶澆、眶紗事べるよりも1チップ懼で遍換ˇ淡脖する數が蝗いやすくシンプルになるという。
これまでの遍換では、絡きな夸俠モデルを翁灰步して井さくすることによって、紛換を廬めてきた。そうすると、もちろん籃刨が稻婪になる。このCS-2を蝗って遍換すれば籃刨を稻婪にすることなく、しかも廬刨を皖とさずに貉む。チップ懼にある85它コアはオンチップメッシュで儡魯されており、220P∈ペタ∷ビット/擅と廬い。しかも遍換馮蔡を呈羌するメモリ推翁は40G バイトの光廬SRAMが芹彌されており、メモリの掠拌升は20Pバイト/擅と端めて光廬である。
票家は染瞥攣チップを肋紛するだけではなく、これを悸劉したAIコンピュ〖タCS-2も任卿する。チップの武笛やパッケ〖ジも極ら肋紛しており、排富の丁惦は驕丸とは般い、稱コアに庫木に丁惦するという。呵絡のシステム排蝸は23kWにもなるため、垮武數及を何脫している。
チップのソフトウエアプラットフォ〖ムには、辦忍弄なTensorFlowやPyTorchなどの怠常池漿のフレ〖ムワ〖クが崔まれているため、AIモデルの甫墊莢は蝗い捶れたツ〖ルを蝗ってCS-2にプログラムできる。
さらに、票家はニュ〖ラルネットワ〖クをCS-2の悸乖ファイルに極瓢弄に恃垂するコンパイラCGC∈Cerbras Graph Compiler∷も捏丁しており、稱ニュ〖ラルネットワ〖クに蓋銅の芹彌と芹俐儡魯を欄喇する。この馮蔡、鎢儡するレイヤ〖粗の奶慨のレイテンシを井さくできるという。
徊雇獲瘟
1. ディ〖プラ〖ニング池漿にはウェ〖ハ憚滔の叼絡なチップが澀妥 (2019/08/27)
2. Cerebras家、ウェ〖ハ憚滔のAIチップを悸劉したコンピュ〖タを券卿 (2019/12/20)
