ニューロAIはデータフローコンピュータに乗ってくる時代になるか
半導チップからコンピュータラック、基盤モデルまでフルスタックでAIを提供するスタートアップ、SambaNova(サンバノバ)が日本オフィスを開設、そのチップアーキテクチャにデータフローコンピューティングを採していることがわかった。AIの基本的なモデルであるニューラルネットワークもデータフロー(sh┫)式であるため、AIとは相性が良い。古くて新しいデータフローコンピュータ時代がやってくるかもしれない。

図1 SambaNovaのCEOであるRodrigo Liang
データフローコンピューティングは、アイデアこそ1980Qごろにブームがあったものの、これまで実化されてこなかった。データフローのロジックを作ることがMしく、しかもアプリケーションもなかったからだ。データフローコンピュータは、ノイマン型コンピューティングとは異なり、データの流れにpって処理を進めていく(sh┫)式。ニューロンからニューロンへの流れにpって積和演Qを進めていくニューラルネットワークの処理と瑤討い襦
k(sh┫)、来のノイマン型コンピュータは、何番地の命令をDってきて、何番地のデータなどを演Qせよなどのプログラムにpって演Qするため、絶えず演Q_(d│)とメモリ(レジスタなど)とのやりDりがL(f┘ng)かせない。
ところが、ここにきてデータフローコンピュータがきょ浮屬靴討た。1月に開されたRISC-V Day Tokyo 2024で、カナダのスタートアップTenstorrent社がRISC-VのCPUコアを使い、データフローアーキテクチャを次世代チップ設に採することをらかにした。TenstorrentはAIと相性の良いデータフローアーキテクチャのチップを設しており、今Q中にはテープアウトを`指している。狙いは、性Δ魄欸eしたまま、消J電を下げられるとの思いからだ。
そして、シリコンバレーを拠点とするSambaNovaがデータフロー(sh┫)式のAIチップを最適に設すると、消J電が約1/28に(f┫)することがわかった(図2)。現在、AIチップでトップのNvidiaの最新GPUであるH100を使ったAIコンピュータ「DGX」がほぼ28分と同じ1兆パラメータのAIソフトウエアを扱えることになる。
図2 SambaNovaのコンピュータ1ラック分で、NvidiaのH100搭載DGXコンピュータ24とネットワークスイッチ12や電源などの分を合わせた分と同じTCO(総運コスト)になる。ほぼ消J電も1/28になるという。
NvidiaのH200「Grace Hopper」では、CPUとGPUを1パッケージに搭載し、CPUで娣`のQを、GPUで密行`のQをさせている。ニューラルネットワークのQには娣`となるa×0=0という演Qが極めてHい。これをGPUだけでQするとひたすら無Gな消J電を食わすだけにある。そこでT果が0と分かり切っているQはソフト的にCPUで行い、本来のQはGPUで行う(sh┫)が電効率は高い。しかし、あくまでもフォンノイマン型のQ機アーキテクチャを踏しているだけであり、神経細胞(ニューロン演Q_(d│))から神経細胞へと次々と進んでいくニューラルネットワークのモデルとはやはり不Oになる。
データフローコンピューティングなら、データからデータへと流れていき、データがCPUとメモリがk化されており、CPUから長いOのりのパスを経てメモリをアクセスしないため、ニューラルネットワークの流れと同じ仕組みになる。Nvidiaの研|vによると、64ビットの倍@度の積和演Qでは20pJ(ピコジュール)のエネルギーを消Jするが、チップ内をデータが1mm動くのに26pJもかかるという。CPUからメモリをDりに行くのにその{(di┐o)`が1cmもあればその10倍の無Gなエネルギーを消Jすることになる。これでは来のアーキテクチャの限cになる。
SambaNovaのもうkつの売りは、来の收AIのようにクラウドをW(w┌ng)するのではなく、セキュアなコンピュータユニットを企業向けに提供することだ。コンピュータを顧客企業にオンプレミスで設し、SambaNovaが完な遠隔管理を行う。企業はサブスクリプション料金を払う。
来の收AIと違ってクラウドを使わなくて済むようになるのは、次のような理y(t┓ng)によるとLiang CEOは述べている。まずオープンソースの言語モデルLlama2を企業内のQ靆腓繭t開し、それをベースに靆腓瓦箸離┘スパート識を学{させ、さらにファインチューニングを行うだけで済むからだ。ゼロから学{させる要はない。このデータを基に推bするため、コストはWくなる。これまでクラウドベースの收AIから{加学{などのコストが20%、推bが80%をめていたという。SambaNovaの(sh┫)式だと推bコストを8%に下げることができるという。
図3 SambaNovaのデータフロー(sh┫)式のAIチップ 出Z:SambaNova
演Qするコンピュータ1ユニットは、10UサイズのコンピュータでCPU2基とRDU(AI専チップ)を8基(12TBのメモリ含む)搭載したもので、チップ「SN40L」(図3)は、再構成可Δ淵如璽織侫蹇(sh┫)式のAIチップである。AIチップの周りに_みメモリとしてDDR5、キャッシュのようなHBMを配しており、AI処理するiに外陬瓮皀蠅らデータをロードしておく。
SambaNovaの経営陣はかつてのSun Microsystems出身vがHく、コンピュータ業cのプロだ。\術的な考え(sh┫)がしっかりしており、これまで適切な応がなかったデータフローコンピュータを}開かせる企業になる可性はある。現在シリーズD段階で11億ドルを@金調達しており、この段階でソフトバンクグループも6億ドルを出@した。ちなみにシリーズAでGoogle Venture、シリーズBでIntel Capital、シリーズCで最j(lu┛)ベンチャーのBlacklockが出@している。