Cerebras家、ウェ〖ハ憚滔のAIチップを悸劉したコンピュ〖タを券卿
AIチップのスタ〖トアップ、勢(shì)Cerebras家の叼絡(luò)なウェ〖ハスケ〖ルAIチップを8奉に疽拆したが∈徊雇獲瘟1∷、Cerebras家はこの21.5cm∵21.5cmというこのチップを寥み哈んだAIアクセラレ〖タエンジンCS-1を泣塑で任卿するため、澎疊エレクトロンデバイスと捏啡した∈徊雇獲瘟2∷。
哭1 Cerebras家料度莢敷CTOのGary Lautherbach會(huì)
このほど丸泣したCerebras家の料度莢敷CTOのGary Lautherbach會(huì)∈哭1∷は、このウェ〖ハスケ〖ルLSI(哭2)に灤して、≈殊偽まりは100%である。芹俐は鵑墓菇喇を艱っているからだ∽と揭べる。この雇え數(shù)は徊雇獲瘟1で疽拆したように、40鉗漣のウェ〖ハスケ〖ルLSIとは鏈く般う。碰箕は、ロジックの辦つが稍紊になるとチップ鏈攣が稍紊となり、殊偽まりはほとんどゼロに奪かった。このため悸脫步できなかった。しかし、ニュ〖ラルネットワ〖クでは、あくまでも驢掐蝸1叫蝸の遍換達(dá)で1改のニュ〖ロンを山附でき、しかも坷沸ラインが1塑くらい磊れていても、豹攙烯を奶すことが材墻だ。しかも鏈攣∈客粗なら200帛ニュ〖ロン∷で斧れば1改や2改の稍紊は痰渾できる。このチップのニュ〖ロン眶は湯らかにしなかったが、鏈攣で1名2000帛トランジスタもあるため、かなりの眶のニュ〖ロン眶ではあろう。
哭2 Cerebras家マ〖ケティング么碰Andy Hock會(huì)が積つチップ
ニュ〖ラルネットワ〖クでは、辦つのニュ〖ロンに灤して10塑鎳刨の慨規(guī)が掐蝸され、叫蝸は1塑だけであり、その猛は1か0である。10塑鎳刨の慨規(guī)それぞれに腳み(0×1)を齒けるため、デジタルで山附すると10改のMAC∈姥下遍換∷になる。その批えが1か0ということは、驢眶のMAC遍換には≈0∵腳み=0∽という遍換が端めて驢いことになる。MAC遍換は乖誤でも山附できる俐妨洛眶であるが、乖誤妥燎の面咳の驢くはゼロになるため、このSparse∈諒∷嬸尸の紛換を臼維できる。こうすると、遍換攙眶を負(fù)らせる。CerebrasはこのSparse遍換を臼維することで排蝸跟唯を懼げた。
ただし、このチップはNvidiaのGPUよりもはるかに光い拉墻∈悸賦では眶紗擒×1000擒∷になっており、池漿させるためのAIチップであり、腳みを赦瓢井眶爬で山し、32ビット笆懼の遍換籃刨で警なくとも池漿籃刨を懼げることができる。
また、MAC遍換達(dá)はメモリ∈RAM∷に奪いほど遍換廬刨が懼がり、久銳排蝸も布がる。チップ鏈攣に礁姥したメモリは18GBのSRAMだが、AIコアと疚するAI遍換ブロックは繞脫のフォンノイマンコンピュ〖タであり、ここには48KBのロ〖カルメモリを積っているという。AIチップにおけるメモリの舔充は、MAC遍換した馮蔡を辦箕瘦賂し、肌のニュ〖ロンへ流るべきデ〖タを粕み叫すために蝗われる。さらに、澀妥な腳みを山す井眶爬の眶機(jī)を瘦賂する舔充もある。つまり、MAC+RAMのセットこそ、AIチップの塑劑である。ここでは、AIコアでの腳み遍換には、驢眶の赦瓢井眶爬遍換ができるようになっており、その瓢侯には1GHz笆懼のクロックを蝗っているという。
さて、ウェ〖ハスケ〖ルのシリコンをどうやってパッケ〖ジするか。これだけ絡(luò)きなチップは券錢(qián)も絡(luò)きいため、シリコンの錢(qián)四磨犯眶と票じ鎳刨の亨瘟を蝗わなければ、券錢(qián)による補(bǔ)刨汗でシリコンが充れてしまう恫れがある。この啼瑪に簇して4鉗笆懼も銳やして豺瘋し迫極の漓脫パッケ〖ジを倡券した、とLautherbach會(huì)は揭べている。簇息する驢眶の潑釣も艱評(píng)している。
チップの久銳排蝸は20kWと奶撅のチップよりははるかに絡(luò)きい。このため錢(qián)を燎玲く屁がすための庶錢(qián)に灤しては、チップの尉燙から誓ル〖プで垮武しており、さらにシステム鏈攣には鄂武するという尉數(shù)の武笛恕を脫いている。
このチップを1改だけ烹很し、排富や擴(kuò)告廢も崔めたAIコンピュ〖タCS-1(哭３)を倡券した。100Gビット/擅のEthernetを12レ〖ン脫いたI/Oの廬刨は1.2Tb/sと端めて廬い。CS-1は、篩潔の19インチラックで15U陵碰の絡(luò)きさに箭められている。
哭3 倡券したAIコンピュ〖タCS-1 叫諾¨Cerebras Systems
そしてディ〖プラ〖ニングのアルゴリズムや怠常池漿のフレ〖ムワ〖ク∈TensorFlowやPyTorchなど∷でプログラムできるようなソフトウエアプラットフォ〖ムも捏丁する。APIで極統(tǒng)にカスタマイズできる。ソフトウエアスタックを鏈てのレイヤ〖に沙づけし票箕に悸乖できるうえに鏈レイヤ〖を票箕にコンパイルでき悸乖に敗すことができる。
池漿箕粗をこれまでの眶カ奉から眶尸に、あるいは眶降粗から眶擅に沒(méi)教できるようになるため、これまで悸脫懼あきらめていた籃躬な絡(luò)きなAIモデルを活すことができるようになり、AIソフトウエアエンジニアの寵迢の眷ができる。拉墻が1000擒廬いということは、悸狠の池漿セットでも1000擒のデ〖タを胺うことができるため、もっと籃躬なソリュ〖ションを光廬に悸乖が材墻になる。柜柒任卿擦呈は踏年だが、おおよそ眶帛邊のレベルになるとしている。
徊雇獲瘟
1. ディ〖プラ〖ニング池漿にはウェ〖ハ憚滔の叼絡(luò)なチップが澀妥 (2019/08/27)
2. セレブラス家と任卿洛妄毆防腆を涅馮、畝光廬ディ〖プラ〖ニングシステム≈CS-1∽の減廟を倡幌 (2019/12/19)
