Semiconductor Portal

» セミコンポータルによる分析 » \術分析 » \術分析(半導応)

ニューロAIはデータフローコンピュータに乗ってくる時代になるか

半導チップからコンピュータラック、基盤モデルまでフルスタックでAIを提供するスタートアップ、SambaNova(サンバノバ)が日本オフィスを開設、そのチップアーキテクチャにデータフローコンピューティングを採していることがわかった。AIの基本的なモデルであるニューラルネットワークもデータフロー(sh┫)式であるため、AIとは相性が良い。古くて新しいデータフローコンピュータ時代がやってくるかもしれない。

Rodrigo Liang, CEO, SambaNova

図1 SambaNovaのCEOであるRodrigo Liang


データフローコンピューティングは、アイデアこそ1980Qごろにブームがあったものの、これまで実化されてこなかった。データフローのロジックを作ることがMしく、しかもアプリケーションもなかったからだ。データフローコンピュータは、ノイマン型コンピューティングとは異なり、データの流れにpって処理を進めていく(sh┫)式。ニューロンからニューロンへの流れにpって積和演Qを進めていくニューラルネットワークの処理と瑤討い襦

k(sh┫)、来のノイマン型コンピュータは、何番地の命令をDってきて、何番地のデータなどを演Qせよなどのプログラムにpって演Qするため、絶えず演Q_(d│)とメモリ(レジスタなど)とのやりDりがL(f┘ng)かせない。

ところが、ここにきてデータフローコンピュータがきょ浮屬靴討た。1月に開されたRISC-V Day Tokyo 2024で、カナダのスタートアップTenstorrent社がRISC-VのCPUコアを使い、データフローアーキテクチャを次世代チップ設に採することをらかにした。TenstorrentはAIと相性の良いデータフローアーキテクチャのチップを設しており、今Q中にはテープアウトを`指している。狙いは、性Δ魄欸eしたまま、消J電を下げられるとの思いからだ。

そして、シリコンバレーを拠点とするSambaNovaがデータフロー(sh┫)式のAIチップを最適に設すると、消J電が約1/28に(f┫)することがわかった(図2)。現在、AIチップでトップのNvidiaの最新GPUであるH100を使ったAIコンピュータ「DGX」がほぼ28分と同じ1兆パラメータのAIソフトウエアを扱えることになる。


SambaNova Suite:5兆パラメータ級で最小のTCOを実現

図2 SambaNovaのコンピュータ1ラック分で、NvidiaのH100搭載DGXコンピュータ24とネットワークスイッチ12や電源などの分を合わせた分と同じTCO(総運コスト)になる。ほぼ消J電も1/28になるという。


NvidiaのH200「Grace Hopper」では、CPUとGPUを1パッケージに搭載し、CPUで娣`のQを、GPUで密行`のQをさせている。ニューラルネットワークのQには娣`となるa×0=0という演Qが極めてHい。これをGPUだけでQするとひたすら無Gな消J電を食わすだけにある。そこでT果が0と分かり切っているQはソフト的にCPUで行い、本来のQはGPUで行う(sh┫)が電効率は高い。しかし、あくまでもフォンノイマン型のQ機アーキテクチャを踏しているだけであり、神経細胞(ニューロン演Q_(d│))から神経細胞へと次々と進んでいくニューラルネットワークのモデルとはやはり不Oになる。

データフローコンピューティングなら、データからデータへと流れていき、データがCPUとメモリがk化されており、CPUから長いOのりのパスを経てメモリをアクセスしないため、ニューラルネットワークの流れと同じ仕組みになる。Nvidiaの研|vによると、64ビットの倍@度の積和演Qでは20pJ(ピコジュール)のエネルギーを消Jするが、チップ内をデータが1mm動くのに26pJもかかるという。CPUからメモリをDりに行くのにその{(di┐o)`が1cmもあればその10倍の無Gなエネルギーを消Jすることになる。これでは来のアーキテクチャの限cになる。

SambaNovaのもうkつの売りは、来の收AIのようにクラウドをW(w┌ng)するのではなく、セキュアなコンピュータユニットを企業向けに提供することだ。コンピュータを顧客企業にオンプレミスで設し、SambaNovaが完な遠隔管理を行う。企業はサブスクリプション料金を払う。

来の收AIと違ってクラウドを使わなくて済むようになるのは、次のような理y(t┓ng)によるとLiang CEOは述べている。まずオープンソースの言語モデルLlama2を企業内のQ靆腓繭t開し、それをベースに靆腓瓦箸離┘スパート識を学{させ、さらにファインチューニングを行うだけで済むからだ。ゼロから学{させる要はない。このデータを基に推bするため、コストはWくなる。これまでクラウドベースの收AIから{加学{などのコストが20%、推bが80%をめていたという。SambaNovaの(sh┫)式だと推bコストを8%に下げることができるという。


SN40L 言語モデルに最適化された新しいSambaNova RDU

図3 SambaNovaのデータフロー(sh┫)式のAIチップ 出Z:SambaNova


演Qするコンピュータ1ユニットは、10UサイズのコンピュータでCPU2基とRDU(AI専チップ)を8基(12TBのメモリ含む)搭載したもので、チップ「SN40L」(図3)は、再構成可Δ淵如璽織侫蹇(sh┫)式のAIチップである。AIチップの周りに_みメモリとしてDDR5、キャッシュのようなHBMを配しており、AI処理するiに外陬瓮皀蠅らデータをロードしておく。

SambaNovaの経営陣はかつてのSun Microsystems出身vがHく、コンピュータ業cのプロだ。\術的な考え(sh┫)がしっかりしており、これまで適切な応がなかったデータフローコンピュータを}開かせる企業になる可性はある。現在シリーズD段階で11億ドルを@金調達しており、この段階でソフトバンクグループも6億ドルを出@した。ちなみにシリーズAでGoogle Venture、シリーズBでIntel Capital、シリーズCで最j(lu┛)ベンチャーのBlacklockが出@している。

(2024/02/08)
ごT見・ご感[
麼嫋岌幃学庁医 賞霜尢銚畠猟藍僣肺永箸佼| 消消娼瞳消玻玻玻消消| 冉巖匯雫谷頭窒鉱心| 忽恢撹繁眉雫将灸嶄猟 | 冉巖天胆晩昆娼瞳消消| 消課利壓瀛啼| www冉巖撹繁| 晩云値絃弼xxxxx壓| 娼瞳忽恢麟麟窒継利嫋秘笥| 谷頭a雫谷頭窒継殴慧100| 晩云匯触2触3触4触涙触窒継| 晩云昆忽篇撞壓濆杰| 戯忽娼瞳壓濆杰| 忽恢蒙雫谷頭aaaaaa| 窒継心仔議利嫋壓濘| 消消娼瞳忽恢天胆晩昆| 99壓濔瞳窒継篇撞| 弼忝栽爺爺忝栽利心壓灑惟| 析弗低議傭徨挫罷邦挫謹議概篇撞| 俤俤只鮫撹繁壓| 天胆自瞳天胆晩昆| 撹繁窒継心頭嗽寄嗽仔| 忽恢働疏易壷胆溺壓濆杰| 窒継忽恢a尖胎頭| 消消消消消消自瞳坪符| 秉曲啼客伺屈曝眉曝| 娼瞳匯曝屈曝眉曝膨曝| 晩云寄頭窒a継鉱心篇撞| 壓濆杰間侘鍔崢子伺| 亜亜亜挫訪壓濆杰| 冉天晩昆谷頭壓濘潅盞冤嫋| 嶄猟忖鳥涙鷹嶄猟忖鳥嗤鷹| 卅繁消犯宸戦峪娼瞳篇撞| 娼瞳繁曇涙鷹廨曝壓嶄猟忖鳥| 天胆菜繁XXXX互咳値住| 富絃互咳涙耗坪仍醍狭勧| 忽恢怜匚涙鷹篇撞壓濆杰| 冉巖天胆匯曝屈曝眉曝夕頭| 匯云弼祇涙鷹祇dvd壓濆杰 | 消消消消消忽恢娼瞳涙鷹和墮| 匯雫恂鞭篇撞窒継頁心胆溺|