スタ〖トアップSambaNova、肌坤洛AIのエ〖ジェンティックAIを悸附
Nvidia票屯、デ〖タセンタ〖やオンプレミスなど措度羹けAIチップの面でデ〖タフロ〖コンピュ〖ティングを姥端弄に網脫するSambaNova家が肌坤洛AIというべき、驢眶の漓脫モデルを極圍弄に悸乖できるエ〖ジェンティックAIを謄回していることがわかった。辦つのAIチップで驢眶のモデルを悸乖できる。久銳排蝸は絡升に布がることになる。
哭1 SambaNovaのAIチップ≈SN40L RDU∽ 叫諾¨僧莢唬逼
SambaNovaの謄回すAIシステムは、AIチップ≈SN40L RDU∽からデ〖タフロ〖コンパイラ、システム、池漿貉みの答茸モデルからなる。SambaNovaは、帽なるファブレス染瞥攣メ〖カ〖ではなくハ〖ドウエアからソフトウエアまでをカバ〖するAI另圭メ〖カ〖である。
これまでのAIシステムは、帽怠墻の帽モデルしか悸乖できないもので、モデルごとにAIシステムを脫罷しなければならなかった。つまり、漓脫AIだった。絡憚滔咐胳モデル∈LLM∷を蝗う欄喇AIが判眷したことで、いろいろなことを使いても批えられるようになった。とはいえ、部でも批えられるという繞脫AIではない。テキストや茶嚨などの欄喇が材墻になっただけである。
では、肌のAIは部か。その批えの辦つが、SambaNovaの捏丁するエ〖ジェンティック∈Agentic∷AIである。これは驕丸のAIシステムとは般い、剩眶のモデルを辦つのチップだけでモデルを磊り侖えながら、滇める侯度を悸乖する。毋えば、辦つの措度がある瀾墑を倡券する狠、票屯な禱窖弄な潑釣がないか、恕弄に窩妄懼の啼瑪はないか、斧哈める輝眷とその瀾墑の卿懼謄篩馳はどのくらいか、など禱窖、恕圍、輝眷などそれぞれを拇べる眷圭にそれぞれに潑步したモデルの欄喇AIが澀妥となる。しかし、エ〖ジェンティックAIは、辦つの欄喇AIチップで剩眶のモデルを極圍弄に磊り侖え、それぞれのモデルで夸俠を悸乖する。いわば剩眶の欄喇AIを蘆ねて、辦つずつ磊り侖えて夸俠していくようなものだ。
票家のAIチップ≈SN40L RDU∽は、デ〖タフロ〖コンピュ〖タア〖キテクチャに答づいており∈徊雇獲瘟1∷、ニュ〖ラルネットワ〖クの萎れもデ〖タフロ〖ア〖キテクチャであるからAIチップとしてはなじみが紊い。さらにデ〖タフロ〖の萎れが姜わり夸俠叫蝸できると、街箕に肌のモデルへと極瓢弄に磊り侖え、その糠モデルで夸俠を悸乖する。瀾墑嘆についているRDUとはReconfigurable Dataflow Unitの維である。このためモデルを呈羌するためのメモリを絡翁に積っており、それも3超霖菇喇を何っている∈哭2∷。
哭2 オンチップSRAMからキャッシュのHBM3、そして12TBのDDR5 メモリの3超霖菇喇を何る 叫諾¨SambaNova
この瀾墑には1パッケ〖ジ柒に絡翁のメモリを烹很しており、L1キャッシュのような舔充をAIチップ懼にモノリシックに礁姥しているSRAMの推翁は520MBで、アクセス廬刨は眶PB/sクラスと光廬。さらにこれまでは辦忍のメモリとして蝗われるHBM3を64GBのキャッシュとして蝗い、廬刨は12.8TB/sと畝光廬だ。さらにモデルなどを呈羌しておく、いわゆる絡推翁メモリは1.5TBで廬刨が800GB/sの絡推翁DDR5 DRAMである。
このAIチップ瀾墑を、8綏を辦寥として夸俠脫のコンピュ〖タとして菇喇する。絡推翁メモリには呵絡5名パラメ〖タに陵碰するデ〖タを呈羌でき、毋えばLlama V2 7B∈70帛パラメ〖タ∷モデルを瓢侯面に磊り侖える眷圭のスイッチ廬刨∈レイテンシ∷は20ms笆布であり、街箕に磊り侖えられている。
AIチップそのものはTSMCの5nmプロセスで瀾隴されており、1040改のRDUコアを礁姥している。トランジスタ眶は1026帛改。16ビットの帽籃刨でAIの夸俠拉墻は、638 TFLOPS∈Tera Floating point Operations Per Second ∷と光い。
禍漣池漿貉みの答茸モデルとしてLlamaやMistral、Bloom、Falconを捏丁でき、泣塑胳モデルも郊悸しつつある。附哼、ス〖パ〖コンピュ〖タ≈少遲∽を蝗って池漿させた、Fugaku-LLMとSwallow、Elyza LLM KARAKURI LMを網脫できる。杠狄のデ〖タをファインチュ〖ニングするサ〖ビスもあり、朵乖や恕壇、ヘルスケアの稱灤炳モデルを捏丁できるとしている。
SambaNovaは勢柜のスタ〖トアップであるが、すでにソフトバンクが欄喇AI羹けの紛換怠プラットフォ〖ムとして蝗っており、泣塑のAIスタ〖トアップElyzaの泣塑胳Llama 2-7Bも寥み哈んでいる。泣塑でも緬」とビジネスを弓げ幌めている。
徊雇獲瘟
1. ≈ニュ〖ロAIはデ〖タフロ〖コンピュ〖タに捐ってくる箕洛になるか∽、セミコンポ〖タル、(2024/02/08)
