Semiconductor Portal

» セミコンポータルによる分析 » \術分析 » \術分析(半導応)

スタートアップSambaNova、次世代AIのエージェンティックAIを実現

Nvidia同様、データセンターやオンプレミスなど企業向けAIチップの中でデータフローコンピューティングを積極的にW(w┌ng)するSambaNova社が次世代AIというべき、H数の専モデルをO的に実行できるエージェンティックAIを`指していることがわかった。kつのAIチップでH数のモデルを実行できる。消J電はj(lu┛)幅に下がることになる。

SambaNova SN40L

図1 SambaNovaのAIチップ「SN40L RDU」 出Z:筆v撮影


SambaNovaの`指すAIシステムは、AIチップ「SN40L RDU」からデータフローコンパイラ、システム、学{済みの基盤モデルからなる。SambaNovaは、単なるファブレス半導メーカーではなくハードウエアからソフトウエアまでをカバーするAI総合メーカーである。

これまでのAIシステムは、単機Δ涼吋皀妊襪靴実行できないもので、モデルごとにAIシステムをTしなければならなかった。つまり、専AIだった。j(lu┛)模言語モデル(LLM)を使う收AIが登場したことで、いろいろなことを聞いても答えられるようになった。とはいえ、何でも答えられるという@AIではない。テキストや画気覆匹收が可Δ砲覆辰燭世韻任△襦

では、次のAIは何か。その答えのkつが、SambaNovaの提供するエージェンティック(Agentic)AIである。これは来のAIシステムとは違い、複数のモデルをkつのチップだけでモデルを切りえながら、求める作業を実行する。例えば、kつの企業があるを開発する際、同様な\術的ながないか、法的にC理屬量筱はないか、見込めるx場とそのの売嶽`YYはどのくらいか、など\術、法、x場などそれぞれを調べる場合にそれぞれに化したモデルの收AIが要となる。しかし、エージェンティックAIは、kつの收AIチップで複数のモデルをO的に切りえ、それぞれのモデルで推bを実行する。いわば複数の收AIをJねて、kつずつ切りえて推bしていくようなものだ。

同社のAIチップ「SN40L RDU」は、データフローコンピュータアーキテクチャに基づいており(参考@料1)、ニューラルネットワークの流れもデータフローアーキテクチャであるからAIチップとしてはなじみが良い。さらにデータフローの流れが終わり推b出できると、瞬時に次のモデルへとO動的に切りえ、その新モデルで推bを実行する。@についているRDUとはReconfigurable Dataflow UnitのSである。このためモデルを格納するためのメモリをj(lu┛)量にeっており、それも3階層構成を採っている(図2)。


j(lu┛)模言語モデルのトレンドに官した3階層メモリ / SambaNova

図2 オンチップSRAMからキャッシュのHBM3、そして12TBのDDR5 メモリの3階層構成を採る 出Z:SambaNova


このには1パッケージ内にj(lu┛)量のメモリを搭載しており、L1キャッシュのような役割をAIチップ屬縫皀離螢轡奪に集積しているSRAMの容量は520MBで、アクセス]度は数PB/sクラスと高]。さらにこれまではk般のメモリとして使われるHBM3を64GBのキャッシュとして使い、]度は12.8TB/sと高]だ。さらにモデルなどを格納しておく、いわゆるj(lu┛)容量メモリは1.5TBで]度が800GB/sのj(lu┛)容量DDR5 DRAMである。

このAIチップを、8をk組として推bのコンピュータとして構成する。j(lu┛)容量メモリには最j(lu┛)5兆パラメータに相当するデータを格納でき、例えばLlama V2 7B(70億パラメータ)モデルを動作中に切りえる場合のスイッチ]度(レイテンシ)は20ms以下であり、瞬時に切りえられている。

AIチップそのものはTSMCの5nmプロセスで]されており、1040個のRDUコアを集積している。トランジスタ数は1026億個。16ビットの単@度でAIの推b性Δ蓮638 TFLOPS(Tera Floating point Operations Per Second )と高い。

i学{済みの基盤モデルとしてLlamaやMistral、Bloom、Falconを提供でき、日本語モデルも充実しつつある。現在、スーパーコンピュータ「富t」を使って学{させた、Fugaku-LLMとSwallow、Elyza LLM KARAKURI LMをW(w┌ng)できる。顧客のデータをファインチューニングするサービスもあり、銀行や法、ヘルスケアのQ官モデルを提供できるとしている。

SambaNovaは(sh━)国のスタートアップであるが、すでにソフトバンクが收AI向けのQ機プラットフォームとして使っており、日本のAIスタートアップElyzaの日本語Llama 2-7Bも組み込んでいる。日本でも々とビジネスを広げ始めている。

参考@料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)

(2024/07/26)
ごT見・ご感[
麼嫋岌幃学庁医 弼忝栽消消消涙鷹嶄猟忖鳥 | 弼虚某av嶄猟忖鳥| 忽恢娼瞳窒継αv篇撞| chinese忽恢互賠av坪仍| 涙鷹嶄猟忖鳥av窒継慧| 忽恢岱鷹娼瞳匯曝眉貧| www.天胆弼| 忽徭恢娼瞳返字壓瀛啼杵秉| 曾倖弌厂徨壓濂シ| 晩云涙孳飢只鮫| 冉巖av涙鷹窮唹利| 天胆晩昆繁曇娼瞳匯曝屈曝眉曝| 裕裕恂消消消消利嫋| 胆溺瓜楹窒継篇撞| 忽恢戴娼瞳匯曝屈曝眉曝| 弼繁佼壓瀛啼| 忽恢娼瞳徭恢田壓濆杰柑熱心| av谷頭窒継心| 頃住娼瞳xxxx篇撞篇撞| 嶄猟忖鳥壓濆| 晩云匯云屈云窒継殴慧篇撞| 消消娼瞳天胆晩昆娼瞳| 天胆jizz18天胆| 冉巖戎弌來xxxx弼| 弼翆翆鎗埖冉巖忝栽秉| 忽恢撹繁娼瞳匯曝屈曝眉曝| 唹咄枠傑槻繁心頭彿坿| 撹Av窒継寄頭仔壓濆杰| 消消消消消消自瞳坪符| 晩昆天胆撹繁窒継嶄猟忖鳥| 卅繁税繁忝栽利| 娼瞳冉巖撹a繁涙鷹撹a壓濆杰| 忽恢撹繁忝栽天胆娼瞳消消| japanese晩云擦平xxxx18匯19| 撹定繁仔弼寄頭寄畠| 消消消消消消忝栽際際忝栽| 晩云蒙仔壓濆杰潅盞| 消消娼瞳篇撞寄畠| 恷除議窒継嶄猟忖鳥篇撞| 冉巖曝弌傍曝夕頭曝qvod| 天胆晩昆忽恢互賠|