�j(lu┛)��模言語モデル（LLM）を学�{モデルとして使うためには、��来なら学�{に数カ月もかかるため、�HくのAIソフトウエア開発�vはLLMの開発をあきらめていた。しかし、��並�`でGPUなど並�`積和演�Qチップを�j(lu┛)量に使って学�{すれば合理的な時間で済むようになる。その�T果�擇泙譴燭里�ChatGPTという�收�AIだ。Microsoftが出�@する研�|開発企業OpenAI社が開発、いま�R�`を集めている。

図1　OpenAIが開発したテキストを入��するだけで欲しい画�気��u(p┴ng)られるAIのDALL･E（画家のダリと発音）　出�Z：OpenAI

ハードウエア�笋�らChatGPTを実現するためには、学�{させるうえでGPU（グラフィックスプロセッサ）が�j(lu┛)量に��要となることは容易に�[�気任�る。最�Zリリースし、�B��になっているChatGPT-3には1750億パラメータで学�{させたモデルが組み込まれているものの、ChatGPTを使ってみた様々なレポートを見ると、��ずしも��(l┐i)確ではないという。このため、2023�Q中ごろにリリースされる次世代版のChatGPT-4ではさらに�Hくのパラメータで学�{されていることが予�[される。現在のChatGPT-3を学�{させるためにNvidiaのGPUが1万個も使われているとみられている。ということは、今後のChatGPTの開発にはさらに�HくのGPUが��要となることを��(j┤)唆している。

Nvidiaは、データセンター向けGPUの��(ji┐n)要は毎�Q23.5%のペースで成長しており、2022�Q��3四半期には�i�Q同期比30%成長した。

�C白い実�xとして、��(sh━)国のエレクトロニクスメディアのFierce ElectronicsはChatGPTにどのようなコンピュータを使っているのかを聞いてみたという（参考�@料1）。返ってきた答えはまず機械学�{の説��から始まった；

・ChatGPTは、並�`処理��に�j(lu┛)量のGPUを?y┐n)△┐進��gコンピューティング�屬覗�る機械学�{モデル

・ChatGPTに使われるハードウエアは���zなものだが、NvidiaのGPUがよく使われており、同社のソフトウエアCUDAがサポートしている。
・ChatGPTのような�j(lu┛)��模デ��ープラーニングを学�{するためのインフラとして�k般的なクラウド環境であるAWSやGCP、Azureなどがある。
・推�bは、機械学�{されたモデルを使って、新しいデータを予�Rすること。ChatGPTでは、入��データに�瓦靴董⊃祐屬里茲Δ淵謄�ストを�收�するために使われる。

そのあとさらに����的にNvidia以外のGPUも使っているのかを��ねたところ、次のような返��をしたという；

・��(j┤ng)来はほかのベンダーのGPUでChatGPTなどの学�{をできるだろうが、現在はNvidiaのGPUが広く使われている。CUDAサポートがあるからだ。CUDAはNvidiaのGPUを効率よく使うために��要な並�`処理プラットフォームでありプログラミングモデルである。

・ChatGPTを開発したOpenAI社は、新しいAI�\術やモデルを開発中で、モデルを改良するために常に新しいハードウエア（半導��チップ）やソフトウエアを試している。
・ChatGPTを例えば1万個のNvidiaのGPUのような�j(lu┛)量のGPUを使って学�{させることができる。ただし、����的なインプリ��(sh┫)法や入�}できるリソースによって��(l┐i)確なGPUの数は変わり、学�{させるデータ量や学�{モデルによっても変わる。

NvidiaのようなGPUではなく、AI学�{を�`的としたAIチップ（�j(lu┛)量に並�`処理できる積和演�Q�_(d│)と、演�Q�T果や�_みデータを記�{するメモリを集積したIC）があれば半導��メーカーは�j(lu┛)��模言語モデルの�收�AI向けの新�x場に挑戦できる。そしてCUDAのようなプログラミングしやすい環境のプラットフォームも�擇濬个�?ji└)�要がある。ChatGPTは、日本も今から��躍可�Δ粉超�ができることを��(j┤)している。

参考�@料
1. Matt Hamblen, "Update: ChatGPT Runs 10K Nvidia Training GPUs with Potential for Thousands More", Fierce Electronics (2023/02/11)