久久成人18免费_日韩欧美网址_无遮挡1000部拍拍拍免费观看_一区二区在线免费视频

Semiconductor Portal

» ブログ » インサイダーズ » KI憲の集積v路の日に向けて

人工Δ悗量O(6)〜收AIブームのT味する所

昨Q来、收AIに関する報Oが発化している(R1)。 ニューラルネットワークのj模化によって、翻l、文章收、V画、動画、音楽等のコンテンツ收が人間並みになったとのh価がHいが、AIのξがそのように高度となった背景には、深層ニューラルネットワーク\術とニューラルネットワーク探索\術、または進化的Qとのアイデア融合があると考えられる。 v路アーキテクチャの開発がO動化されることの社会や噞に及ぼすインパクトはり瑤譴覆い曚表jきく、今後の動向には`が`せない。

jSの: 深層学{とニューラルネットワーク探索\術の融合

この数ヵ月は、ニューラルネットワークの次のブームが到来したと思えるほどである。Microsoft社がOpenAI社に約100億ドルを投@する旨の報Oがあり(参考@料1)、それに}応するように、Google社はネット検索\術とBARDと}ぶ会B型AIの統合を発表した(参考@料2)。「收AI(ジェネレーティブAI)のjSがやってくる」との解説もある(参考@料3)。

研|b文のP数にて動向からは、2018Q以T、Self-Attention、Neural Architecture Searchといった語の使頻度が\中であることが分っていた(図1)。 翻lニューラルネットワークv路の構]語として、AttentionやTransformerという言(R2)が\えており、進化的Q(Evolutionary Computation)やC伝子アルゴリズム(Genetic Algorithms)などと}ばれる「|の進化を模倣するアルゴリズム」に関する研|も、依高いP数を維eしていた。

にR`したのは、Neural Architecture Search (ネットワーク探索)と}ばれる「学{情報に適合するニューラルネットワークv路のトポロジーをO動探索する\術」である。 「|の進化を模倣するアルゴリズム」と「ニューラルネットワーク\術」の融合は、歴史的に予[されていたt開だったからである。


IEEEが集するニューラルネットワーク関連のb数の推 / 筆v作成

図1 IEEEが集するニューラルネットワーク関連のb数の推 b文の要欄に、Qキーワードが載るP数をカウントしている。ZQ、AttentionやTransformerに関連するb文が\しているが、Neural Architecture Searchに関するb文数の興隆も始まっている)  出Z:Web屬妊機璽咼垢気譴討いIEEE Xploreをいて、2022QQ初に筆vが作成。


深層学{(Deep Learning)は、H段のニューラルネットワークv路の_みパラメータを学{データによって最適化するO動化\術であるが、ニューラルネットワークのv路トポロジーや、使われる性化関数、ハイパーパラメータ等は、人間が介在して試行惴蹐魴り返しマニュアル設定する要があった。

これに瓦靴董▲優奪肇錙璽探索\術は、ニューラルネットワークのv路トポロジーをO動收することを`指していた。 v路トポロジーの最適化がO動化できるのであれば、性化関数やハイパーパラメータの最適化もO動化可Δ噺て良いだろう。そのようなO動化\術が@\術のレベルに向屬垢襪函⇒諭垢幣噞へのAI採を画期的に膿覆垢襯ぅ鵐僖トをeちうる。

以下、OpenAI社のKenneth Stanley の2002Qのb文(参考@料4)と、Autodesk AI LabのAdam Gaierの2019Qのb文(参考@料5)の内容を参考にしながら、深層ニューラルネットワークにおける深層学{とネットワーク探索\術が融合しつつあるとみる筆vの見解を紹介したい。


ボールドウィン効果

今から約100Qi、盜颪凌翰学vであるジェームズ・マーク・ボールドウィン(1861-1934)は、「後W的学{によって耀uされていた形も,次にC伝的に耀uされ先W的ξに転化する」との説を提した(参考@料6)。そして、その仮説は、トロントj学のGeoffrey HintonらのQ機シミュレーションによって、1987Qに確認されていた(参考@料7)。

深層学{の創始vであるGeoffrey Hintonは、深層学{\術の研|を推し進めた当初から、進化的Q(Evolutionary Computation)やC伝子アルゴリズム(Genetic Algorithms)をニューラルネットワーク\術開発の菘世ら_していたというのは驚きである(R3)。

ボールドウィン効果は、ニューラルネットワークv路の語で表現すると、「ランダムに変異しうるネットワークトポロジー(v路アーキテクチャと同I)を学{データによって別すると、そのv路アーキテクチャは改良される」となる。

1993Qに、当時英エディンバラj学の数学科教bであったニック・ラドクリフは、「Connectivity(神経細胞間のT線の最適化)とWeights(シナプスT合パラメータの最適化)を組み合わせた統合化スキームはこの分野の@Jといえる」と、両\術の融合を求めていた(参考@料8)。

これらのヘBが、今日の「jS発據廚良枩个箸覆辰突茲燭里任呂覆い世蹐Δ?


深層学{\術とニューラルネットワーク探索\術の竿

改めて、ニューラルネットワーク探索\術を深層学{\術と竿罎靴討澆燭ぁ
H層ニューラルネットワークは、深層学{(Deep Learning)\術によってN内神経細胞の後W的学{プロセスを模倣(エミュレーション)しようとする試みであったのに瓦掘▲縫紂璽薀襯優奪肇錙璽探索\術は、「|」の進化の壻で進む「先W的な神経v路構]の進化」を模倣しようとする(表1)。

Deep Neural Networkへの深層学{\術とニューラルネットワーク探索\術の竿 / 筆v作成

表1 Deep Neural Networkへの深層学{\術とニューラルネットワーク探索\術の竿罅 平質愕{\術では、そのネットワークトポロジー、ハイパーパラメータ、性化関数をエンジニアの経xを元に設定する要があるが、ニューラルネットワーク探索では、それらの最適化をO動化する。) 出Z:参考@料4と5を元に筆vが作成。


深層学{は、誤差情報逆伝搬法(Back Propagation、BP)と確率的勾配T下法 (Stochastic Gradient Descent、SGD)というパラメータ最適化のための}法をuて開}したが、それらで行うQの徴は以下であった。
・ ニューロンの演Q(入情報)は、ベクトルや行`とする。
(ベクトルや行`の成分値は、Hくの場合、0から1の間の小数点値)
・ 演Qでは、ベクトルと行`間の積Qや和Q、およびベクトル成分値の微分(差分の除Q)をいる。
・ フィードバック(再帰)型のアルゴリズムを含み、Qを反復することがある。
・ 要に応じて(線形処理を行わない場合)、演Qの出値を「確率値」と解圓垢襦

深層ニューラルネットワークv路の要素v路である単層分のv路は、集積v路でしばしば現れるデコーダv路の構成に瑤討い襦平2)。集積v路のデコーダv路を構成するb理演Q子(AND、OR、等)を、ニューロンモデルにき換わったような構]をDるが、ニューロンモデルの出値は、k般的には、”0“と“1“の間の数値を出するとされ、その値を「確率値」と解圓垢襪里任△襦

もちろん現在の集積v路のb理ゲートを~使して、小数点演Qや確率演Qを行えるし、「確率を出するv路」を構成することもできる。 だが、ニューラルネットワークv路の動作を{う時、b理Oが確率的になったとみなす気分かり易く、恐らくそのように解圓靴気数学表現との官をDりやすくなる。


単層のニューラルネットワークv路と、集積v路でしばしば現れるデコーダv路の比較 / 筆v作成

図2 単層のニューラルネットワークv路と、集積v路でしばしば現れるデコーダv路の比較 ニューラルネットワークv路は、b理演Q子(NAND、NOR、等)からなる組み合わせb理v路を、ニューロンモデルv路にき換わったような構]をDる。 出Z:筆vが作成


そもそも、「b理」には2|類あるともいえるだろう。
kつは、数値Qにて使われる「b理」であり、それは、現在の集積v路のb理ゲート(AND、OR、等)からなるb理v路を組み合わせて構成するのが適切であり、1ビットの値は“0”もしくは“1”の2値である。 数値Qにて使われる「b理」は、コンピュータやネットワークを発達させて来た。

もうkつは、言語で表現される「b理」である。「真」を“1”に、「偽」を“0”に官させることがもっともらしいが、k般に言語表現では、真とも偽ともつかない内容がHく、本的にファジー(確率的)なX表現をHして表現した気分かりやすい。言語表現の処理には、確率的b理のプロセスを表現するニューラルネットワークv路が向くのである。

現在進行中と言われるAI革命(参考@料9)は、言語表現の演Qを効率的に行う「ファジーなb理」をエミュレーションするv路プラットフォームの1世代アーキテクチャが見いだされた段階と言えるのではないかと筆vは思う。

そのv路プラットフォームをいてアーキテクチャ探索に相当する演Qを効率的に行うには、以下の要Pが満たされる要がある。
・ ネットワークトポロジー情報のランダムな改変(値の擾乱操作)が容易なこと
・ 試行T果を収集(集合化)が容易なこと
・ 収集T果のh価と別が容易なこと

ところで、ニューラルネットワークv路のアーキテクチャの探索では、フィードバック(再帰)型のアルゴリズムをいない。 |の進化はフィードバック(再帰)しないからである。 しかし、ランダムな改変(値の擾乱操作)を常にHくの試行し、h価を行うため、探索時のQ量は膨jとなる。 に、別されたネットワークv路のトポロジーは、後W的な学{に相当するプロセスにて調Dされる要があるだろう。

但し、そのような動作を的に考えようとするとjきな問があった。ニューラルネットのアーキテクチャ探索を行うネットワーク空間(もしくはプラットフォーム)をどのように定Iし、表現し、設定するかはOではなかったのである。


Transformer\術はニューラルネットワーク探索の探索空間を提供した

收AIのニューラルネットワーク模は、2020Q以来、驚くほど巨j化した。500GBをえるパラメータを~するモデルも相次いで発表されている(参考@料9)が、筆vは、「この巨j化は、ニューラルネットワーク探索のプラットフォームとして要なjきさであった」と見る。

いずれのモデルにおいても導入されているAttention機構(参考@料10、11)は、そのネットワークT線を使うか使わないかのゲート機Δ鱆~しており、ネットワーク構]の進化を模倣表現するスイッチv路として適切だったからである。

Attention機構を△┐申j模ネットワークは、C伝子の変異を模倣するためのパラメータ空間を提供した。 パラメータ空間がjきい気、よりHくの進化を探索できる。だからこそ巨j化すべきだったといえる。

次に、ネットワーク探索と收AIの深層学{の関係を定めなくてはいけない。シームレスに行えるのかもしれないが、教師無し学{と教師~り学{で両vを使い分けることも考えられる。「|の進化」を模倣する先W的学{後には、ネットワーク中の不要な枝を剪定し、~S化してから、後W的学{のプロセスを開始するという扱いも可Δ世蹐Α また、後W的学{のプロセスを行った後に、再度、不要な枝を剪定、~S化を行うということも考えられるし、後W的学{のプロセスを行った後の「收AI」としてのコンテンツ出後に{加の学{を行うということも考えられる。


ニューラルネットのアーキテクチャ探索を行う@プラットフォームv路は今後ハードウエア化する

收AIニューラルネットワークのj躍進の扉を開いたのは、2017QにGoogle社が発表したTransformer\術であるといわれている(参考@料11)。 2020Q以T、巨j化を開始した收AIニューラルネットワークは、翻lや文章收にいて、V画收、動画收、音楽收にて実化iのX況に辿りいている。

には、コンピュータプログラム作成や、数学問の証のような科学\術の探求サポートなどの分野での応が期待されている(参考@料9)。

筆vは、今後、以下の菘世任瞭宛にR`しようと思う。
 ・ 收AI改良の次のステップ
(異|の收ξへの官、Multi-Modal化、@化だろう)
 ・ ニューラルネットワーク探索可Δ淵廛薀奪肇侫ームの専ハードウエア化
(確率的b理の表現に適したv路をいたv路のアーキテクチャはどのようになるのか?)
・ 集積v路の設ξへの応

ニューラルネットのアーキテクチャの探索が、人間よりも良いv路を設(探索)し、より良い設図Cを收する\術となる時、そのv路プラットフォームをいた收AIが社会や噞に及ぼす影xはり瑤譴覆い曚匹暴jきいと、筆vは思う。


R
1. 收AIとは、比較的少ない言語`を入として、Q|の文章や、V画、動画、音楽、コンピュータプログラム等のコンテンツを常に高]に出するニューラルネットワークv路の\術をいう。予めj量の文章を使って、単語間に見出されるi後関係確率や関連性確率を学{した收モデル(参考@料13)を抽出し、ニューラルネットワークに保eさせている。 R`度の高いOpenAI社のChatGPTは、に、「人間の指導」ともいえるトレーニングを行い、より違和感の少ないコンテンツを出するようにしている(参考@料12)。
2. Attention機構は、盜ServiceNow社のBahdanauらが2015Qのb文(参考@料11)で提した単語や図形情報間の関連性の咾気魍{したデータを元に、入された文章や画気R`霾や文脈等の気鯑暗に学{し、ニューラルネットワークの処理の進tをU御する機構。
Google社のVasmaniらは、2017Qに、Attention機構のU御するエンコーダ-デコーダタイプの文章翻lニューラルネットワークをbじ、そのアーキテクチャをTransformerと}んだ(参考@料10)。 TransformerのAttention機構は、ニューラルネットワークのi段層が出した情報の中のR`すべき情報を通圓気察R`すべきでない情報をHきVめるようなゲート的U御を行う。
3. 筆vは、「トポロジー(v路アーキテクチャ)をコンピュータシミュレーションによって進化させる\術が現実のものとなろうとしている」ことを瑤袒劃とした。 集積v路のアーキテクチャも收AIから出する可性があると思えたからである。

参考@料
1. 「マイクロソフト、オープンAIへの最j100億ドル投@で協議」、Bloomberg (2023/01/10)
2. 「次なるテクノロジーのSはメタバースではない。ジェネレーティブAIのjSがやってくる」、Wired (2023/01/26)
3. 「グーグルも会B型AIと検索を統合へ。ChatGPT眼^の詳細は発表会でらかに?」、Wired (2023/02/08)
4. Stanley, K.O. and Miikkulainen, R., “Evolving neural networks through augmenting topologies”, (2002)
5. Gaier, A. and Ha, D., “Weight Agnostic Neural Networks”, (2019)
6. Baldwin, M.J., “A New Factor in Evolution”, (Jun 1896)
7. Hinton, G. E. and Nowlan, S. J., “How learning can guide evolution”, (1987)
8. Radcliffe, N.J., “Genetic set recombination and its application to neural network topology optimization”, (1933)
9. Thompson, A.D., “Integrated AI: The sky is infinite (2022 AI retrospective)”, (2022)
10. Vaswani, A., et al., “Attention Is All You Need”, (2017)
11. Bahdanau, D., et al., “Attention-Based Models for Speech Recognition”, (2015)
12. OpenAI社のホームページの記, “Aligning Language Models to Follow Instructions”,  
Aligning Language Models to Follow Instructions (openai.com)
13. KI憲、「人工Δ悗量O(4);Bする構]」、セミコンポータル (2021/10/07)

ごT見・ご感[
久久成人18免费_日韩欧美网址_无遮挡1000部拍拍拍免费观看_一区二区在线免费视频
消消爺銘av忝栽栽弼| 消犯娼瞳篇撞壓| 天胆匯曝91| 天胆爾秤匯曝屈曝眉曝壓瀛啼宜杰| 忽恢娼瞳va| 壓濆杰干蛭av窮唹| 消消消消忽弼av窒継心唹垪 | 消消致謎冉巖| 天胆晩昆嶄猟壓濆杰| 鋤消消娼瞳岱鷹| 消消翆翆匯曝| 忽恢岱鷹娼瞳1曝2曝3曝| 冉巖天胆娼瞳壓| 天胆晩昆匯曝屈曝眉曝膨曝壓濆杰| 天胆忽恢窒継| 忽坪裕徭篇撞曝篇撞忝栽| 天胆壓瀛啼飢シ| 忽恢娼瞳互賠壓| 弌壷壷娼瞳擬砂| 天胆篇撞匯曝屈曝眉曝´| 冉巖篇撞壓濆杰翰嫋| 天胆xxxx壓濆杰| 爾秤裕田消消| 天胆窮唹胆揚庁蒙1979壓濘| 忽恢晩昆天胆壓濂シ| 消消匯曝屈曝眉曝忽恢娼瞳| 忽恢來爺爺忝栽利| 消消忝栽匯曝屈曝| 忽恢匯曝屈曝眉曝涙孳飢| 辛參心av議利嫋消消心| 忽恢忝栽消消消消消| 天胆xxx撹繁| 冉巖匯曝晩昆壓| 天胆狼双冉巖狼双| 天胆徭田某沃冉巖| 忽恢翆翆97当当消消繁繁築洋| 消消黛悶簒宝| 卅級坩娼瞳99消消消消消| 天胆晩云娼瞳匯曝屈曝眉曝| 冉巖槻繁唹垪| 忽恢天胆娼瞳晩昆| 窒継忽恢匯曝屈曝| 冉巖篇撞天胆篇撞| 忽恢娼瞳義父消消消| 消消消消楳課寄穗炯杠肋瞳| 忽恢天胆晩昆戴尖| 天胆va冉巖va忽恢忝栽| 冉巖匯雫匯曝| 忽恢娼瞳消消怜匚匚戴続続| 消消匚弼娼瞳忽恢| 嶄猟壓炯編換杰簡啼詰嫋窒継音触| 天胆銚皮壓| 消消撹繁繁繁繁娼瞳天| 忽恢晩昆天胆娼瞳匯曝| 胆溺利嫋消消| 冉巖天胆晩昆匯曝屈曝| 忽恢娼瞳爺爺寵av利| 消消消窒継av| 冉巖篇撞匯曝屈曝| 忽恢娼瞳匚匚猖| 天胆爾秤匯曝| 怜匚壓瀲伺屈曝| 忽恢匯曝屈眉曝| 天胆晩昆撹繁利| 消消消www| 冉巖匯曝屈曝眉曝窒継鉱心 | 天胆怜匚娼瞳尖胎頭a雫梓彫| 來戴天胆缶爾頭壓濆杰| 忽恢晩昆娼瞳匯曝屈曝| 天胆爾秤匯曝屈曝眉曝築孟篇撞| 俤俤基基忽恢娼瞳www匯云| 忽恢怜匚娼瞳尖胎頭a雫寄潤蕉| 天胆競雫寄季窒継篇撞| 怜匚天胆娼瞳| 匯曝壓瀉盞| 忽恢岱景析絃忽恢匯曝屈| 天胆繁嚥來強住a天胆娼瞳| 消消娼瞳91| 冉巖忝栽音触| 際際弼卅繁冉巖忝栽撹繁| 忽恢娼瞳黛悶匯曝屈曝眉曝| 天胆競雫凩絃住算蛤刧| 消消娼瞳99忽恢娼瞳焼糾晩云| 冉巖弼夕徭田| 忽恢匯曝屈曝牽旋| 忽恢娼瞳消消消消匯曝屈曝眉曝| 天胆mv晩昆mv忽恢利嫋app| 消消娼瞳忽恢69忽恢娼瞳冉巖 | 消消匯曝冉巖| 天胆匯雫頭消消消消消消| 壓濆杰換恢匯曝屈曝| 忽恢娼瞳滔田匯曝屈曝| 天胆晩昆嶄忽窒継廨曝壓濘| 築孟篇撞匯曝| 消消消天胆娼瞳| 消消99卅繁| 冉巖天胆篇撞| 冉巖篇撞窮唹夕頭裕田匯曝| 忽恢麼殴匯曝屈曝眉曝| 忽恢娼瞳胆溺匯曝屈曝| 天胆槻繁議爺銘| 鎗埖爺忝栽利| 消消娼瞳篇撞壓濘| 枠傑唹咄忽恢娼瞳| 冉巖窒継嶄猟| 忽恢娼瞳99消消消消消消vr| 忽恢匯曝天胆| 忽恢田滔徭滔娼瞳篇撞醍狭| 天胆牽旋篇撞利嫋| 忽恢娼瞳晩昆消消消| 蝕圷窒継鉱心天胆窮篇丞利嫋| 天胆唹頭及匯匈| 冉巖天胆晩昆繁撹壓濂シ| 冉巖匯曝娼瞳篇撞| 冉巖篇撞窮唹壓| 冉巖匯屈眉膨曝| 冉巖嶄涙宅壓| 冉巖嶄忖仔弼| 冉巖天胆爾秤娼瞳匯曝屈曝| 冉巖姙槻爺銘壓濆杰肝涓ゞ| 冉巖篇撞消消| 冉巖匯曝屈曝壓濂シ| 冉巖怜匚娼瞳匯曝屈曝眉曝麿箸| 冉巖翆翆忝栽消消匯云卅匯曝| 卅繁撹繁壓| 嶄猟壓炯編換杰翰嫋篇撞窒継音触 | 天胆篇撞壓濆杰潅盞| 天胆晩昆壓澣斷子| 天胆晩昆忝栽壓| 忽恢娼瞳消消消消唹垪弼析寄| 忽恢娼瞳天胆匯曝屈曝眉曝通邦| 忽恢娼瞳窒継利嫋| 忽恢醍狭撹繁娼瞳| 忽坪音触匯曝屈曝眉曝| 喩麗湘湘消消忽恢娼瞳議蒙泣| 垰昆娼瞳匯曝屈曝| 冉巖匯曝消消| 天胆壓1曝| 消消消消消消消忝栽| 醍狭娼瞳91| 天胆爾秤仔弼頭| 天胆晩壓濆杰| 忽恢醍狭忝栽| 仔弼天胆撹繁| 冉巖篇撞利壓炒渦| 冉巖天胆篇撞匯曝屈曝眉曝| 消消av匯曝屈曝| 胆溺忽恢娼瞳| 天胆胆溺bb伏試頭| 忽恢娼瞳涙鷹喟消窒継888| 忽恢晩昆av互賠| 忽恢娼瞳99消消消消消消vr| 冉巖天胆忽恢互賠| 消消娼瞳晩昆天胆| 滴健壓濔瞳篇撞窒継鉱心| 天胆娼瞳匯曝眉曝壓濆杰| 忽恢娼瞳va壓濂シ| 忽恢天胆晩昆篇撞| 壓瀾盃淌恵跡曝屈曝| 天胆匯曝屈曝篇撞97| 消消翆翆消消| 天胆晩昆忽恢撹繁壓| 忽恢娼瞳晩云娼瞳| 壓潦蛭h利| 天胆匯曝屈曝眉曝窒継篇| 消消忝栽消消88| 天胆晩昆娼瞳消消| 忽恢匯雫消消| 冉巖天胆晩昆爺銘| 壷課唹篇冉巖| 忽恢娼瞳消消消消消av牽旋罷周 | 忽恢娼瞳忽恢眉雫忽恢a▲9弼| 忽恢眉雫娼瞳壓濂賛| 冉巖怜匚爾秤| 消消壷課娼瞳消消消消| 天胆晩昆娼瞳嶄猟忖鳥| 忽恢匯曝屈曝娼瞳某沃| 冉巖麼殴壓濂シ| 析望字娼瞳擬砂| 忽恢娼瞳v冉巖娼瞳v晩昆娼瞳 | 際際忝栽消消| 天胆壓瀏婪| 天胆晩云忽恢| 際際玻玻消消| 消消消91娼瞳忽恢| 天胆來値住xxxx岱寄住築孟| 哄繁撹繁忝栽利| 消消匚弼娼瞳冉巖玻玻忽恢mv | 天胆晩昆嶄猟忖鳥壓瀛啼| 忽坪娼瞳庁蒙av暴田壓濆杰| 天胆壓炯杠| 天胆弼裕裕寄| 宸戦峪嗤娼瞳壓濂シ| 消消弼壓濆杰| 忽恢娼瞳篇撞1曝| 怜匚天胆寄頭窒継鉱心| 天胆胆溺島邦篇撞| 娼瞳撹繁消消| 天胆撹繁來利| 忽恢忝栽篇撞|