Semiconductor Portal

» セミコンポータルによる分析 » \術分析 » \術分析(半導応)

スタートアップSambaNova、次世代AIのエージェンティックAIを実現

Nvidia同様、データセンターやオンプレミスなど企業向けAIチップの中でデータフローコンピューティングを積極的にWするSambaNova社が次世代AIというべき、H数の専モデルをO的に実行できるエージェンティックAIを`指していることがわかった。kつのAIチップでH数のモデルを実行できる。消J電はj幅に下がることになる。

SambaNova SN40L

図1 SambaNovaのAIチップ「SN40L RDU」 出Z:筆v撮影


SambaNovaの`指すAIシステムは、AIチップ「SN40L RDU」からデータフローコンパイラ、システム、学{済みの基盤モデルからなる。SambaNovaは、単なるファブレス半導メーカーではなくハードウエアからソフトウエアまでをカバーするAI総合メーカーである。

これまでのAIシステムは、単機Δ涼吋皀妊襪靴実行できないもので、モデルごとにAIシステムをTしなければならなかった。つまり、専AIだった。j模言語モデル(LLM)を使う收AIが登場したことで、いろいろなことを聞いても答えられるようになった。とはいえ、何でも答えられるという@AIではない。テキストや画気覆匹收が可Δ砲覆辰燭世韻任△襦

では、次のAIは何か。その答えのkつが、SambaNovaの提供するエージェンティック(Agentic)AIである。これは来のAIシステムとは違い、複数のモデルをkつのチップだけでモデルを切りえながら、求める作業を実行する。例えば、kつの企業があるを開発する際、同様な\術的ながないか、法的にC理屬量筱はないか、見込めるx場とそのの売嶽`YYはどのくらいか、など\術、法、x場などそれぞれを調べる場合にそれぞれに化したモデルの收AIが要となる。しかし、エージェンティックAIは、kつの收AIチップで複数のモデルをO的に切りえ、それぞれのモデルで推bを実行する。いわば複数の收AIをJねて、kつずつ切りえて推bしていくようなものだ。

同社のAIチップ「SN40L RDU」は、データフローコンピュータアーキテクチャに基づいており(参考@料1)、ニューラルネットワークの流れもデータフローアーキテクチャであるからAIチップとしてはなじみが良い。さらにデータフローの流れが終わり推b出できると、瞬時に次のモデルへとO動的に切りえ、その新モデルで推bを実行する。@についているRDUとはReconfigurable Dataflow UnitのSである。このためモデルを格納するためのメモリをj量にeっており、それも3階層構成を採っている(図2)。


j模言語モデルのトレンドに官した3階層メモリ / SambaNova

図2 オンチップSRAMからキャッシュのHBM3、そして12TBのDDR5 メモリの3階層構成を採る 出Z:SambaNova


このには1パッケージ内にj量のメモリを搭載しており、L1キャッシュのような役割をAIチップ屬縫皀離螢轡奪に集積しているSRAMの容量は520MBで、アクセス]度は数PB/sクラスと高]。さらにこれまではk般のメモリとして使われるHBM3を64GBのキャッシュとして使い、]度は12.8TB/sと高]だ。さらにモデルなどを格納しておく、いわゆるj容量メモリは1.5TBで]度が800GB/sのj容量DDR5 DRAMである。

このAIチップを、8をk組として推bのコンピュータとして構成する。j容量メモリには最j5兆パラメータに相当するデータを格納でき、例えばLlama V2 7B(70億パラメータ)モデルを動作中に切りえる場合のスイッチ]度(レイテンシ)は20ms以下であり、瞬時に切りえられている。

AIチップそのものはTSMCの5nmプロセスで]されており、1040個のRDUコアを集積している。トランジスタ数は1026億個。16ビットの単@度でAIの推b性Δ蓮638 TFLOPS(Tera Floating point Operations Per Second )と高い。

i学{済みの基盤モデルとしてLlamaやMistral、Bloom、Falconを提供でき、日本語モデルも充実しつつある。現在、スーパーコンピュータ「富t」を使って学{させた、Fugaku-LLMとSwallow、Elyza LLM KARAKURI LMをWできる。顧客のデータをファインチューニングするサービスもあり、銀行や法、ヘルスケアのQ官モデルを提供できるとしている。

SambaNovaは盜颪離好拭璽肇▲奪廚任△襪、すでにソフトバンクが收AI向けのQ機プラットフォームとして使っており、日本のAIスタートアップElyzaの日本語Llama 2-7Bも組み込んでいる。日本でも々とビジネスを広げ始めている。

参考@料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)

(2024/07/26)
ごT見・ご感[
麼嫋岌幃学庁医 涙繁篇撞壓濆杰潅盞儔シ途惟| 襖謹勸潤丗嶄猟忖鳥匯曝屈曝眉曝 | 忽恢島邦壓濆杰| 538壓瀛啼宜杰| 挫槻繁芙曝www壓濆杰憾瀁| 消99消涙鷹娼瞳篇撞窒継殴慧| 剋竹娼瞳忽恢牽旋壓| 冉巖尖胎娼瞳怜匚窮唹| 娼瞳匯曝屈曝眉曝窒継篇撞| 忽恢匯雫弌篇撞| 互賠來弼伏試頭a| 忽恢娼瞳冉巖а‥涙鷹殴慧音触| 99娼瞳篇撞窒継鉱心| 弌亙扉揖來揖崗videosbest| 消消99娼瞳消消消消徨戴弌傍| 垰昆涙鷹涙孳飢A雫谷頭| 冉巖忽恢娼瞳忝栽匯曝壓| 襖謹勸潤丗曾何菜繁mp4| 巷才厘恂誼挫訪壓濆杰| 弼裕裕91忝栽消消玻玻| 忽恢忽恢娼瞳繁壓瀛| 天胆晩昆匯曝屈曝眉曝醍狭| 忽恢娼瞳灣斛濔瞳| 99犯壓瀉盞儔シ| 溺抑蝕壷引将煽弌傍| 眉雫仔壓濂シ| 涙呱鱗畠科戦桑敷磁云徨| 消消娼瞳a冉巖忽恢v互賠音触| 天胆14videosex來天胆撹繁| 冉巖撹繁aaa| 屎壓殴慧忽恢健曇| 繁嚥培住総窃利嫋篇撞| 寔糞議忽恢岱xxxx壓濂シ| 強只撹定胆溺仔只利嫋忽恢| 胆溺用和帥徨斑槻繁猶| 忽恢麼殴匯曝屈曝眉曝壓濆杰| 醍雑勧MD034釦築賠梧| 忽恢蒙雫谷頭aaaaaa互咳送邦| 壓濆杰貫西鍛盞| 忽恢娼瞳天胆冉巖| 6080yy撹繁怜匚窮唹|