久久成人18免费_日韩欧美网址_无遮挡1000部拍拍拍免费观看_一区二区在线免费视频

Semiconductor Portal

» 寄M » 寄M(半導応)

ニューロチップ?y│n)癲 舛い茲い菷焼の出?3-1)

3章以Tは、ニューラルアーキテクチャを半導チップ屬納存修靴拭▲縫紂璽蹈船奪廚砲弔い董元STARC/東に在籍し、現在L(zh┌ng)Oj(lu┛)学にする瀬啓(hu━)が解説する。これからのAI(人工(m┬ng)Α砲鮑絞眠修垢訃}段のkつが半導チップであることから、今後きわめて_要な解説b文となる可性がある。ただ、この寄Mは長いため分割・掲載する。(セミコンポータル集室)

著v: 元半導理工学研|センター(STARC)/元東 瀬 啓 (集R)

当初は3章でチップのv路\術、アーキテクチャを解説する予定だったが、チップの動向がj(lu┛)きく変化してきたため、内容を{加し垣を高めた。このため5章までの章立てとした。3章から5章に渡り、「ニューロチップ 〜本戦に突入」として、ニューロチップの現X(ju└)と、例、そして最後に動向と今後に関して報告する。

3章では、「基本v路構成とニューロチップの景」として、2016Qi半で量的にも\術的にもしく変化したニューロチップ(乱戦気味だが)のX(ju└)況をT識しながら説する。最初の3.1I、3.2Iで動向および基本的なv路構成(積和エンジン)を説した後に、3.3Iでここ1〜2Qの間に発表された幾つかのチップをいをS瞰する。

4章では「代表的なチップ」として、4.1Iから4.3IにXけてを3つのカテゴリーに分けてQチップの詳細を説する。最初に説する2つのカテゴリーは、Q込み層(CONV層)に_きをいたチップ(CNN:Convolutional Neural Networkチップ)のカテゴリーと、T合層(FC層:Fully Connected)に_きをきさらに学{機Δ鯑鼎靴織船奪廖DNNチップ:DNNの}称に関しては後述するが本寄Mでは「(r┫n)C(j┤)NN」と狭IのT味で使)のカテゴリーである。3つ`のカテゴリーは圧縮\術を搭載したチップ(i2つのカテゴリーと_複して説するチップあり)のカテゴリーである。

最後の5章「動向と今後」では、5.1IではニューロモルフィックチップであるIBMのTrueNorthに関して説を行う。ただし、本寄MではTrueNorthの構成・動作を?y│n)發垢襪、ニューロモルフィックチップとして期待される人間のNによりZい科学的なCよりも、現在のディープラーニングのもたらす、あるT味単純な性ΔCより比較説を行う。に、2016Qにかけディープラーニングとの架け橋になる\術の報告があった。その報告にもスポットライトを当て、新しい顔をeったTrueNorthを圧縮という切り口から解説を試みる。5.2Iでは、モデルの効率化と圧縮\術の合によりもたらされるk定レベルのCNNモデルの|極のeにる。そして最後に今後の課を?y│n)發垢襦?

3章 ニューロチップ〜本戦に突入: 基本v路構成とニューロチップの景
3.1 現X(ju└)の把(┐i) 〜@度{求から低消J電とリアルタイム性に点がシフト
3.2 v路構成の基本(Q込み層)
3.3 チップ性k覧と\術的ポジショニング
4章 ニューロチップ〜本戦に突入:代表的なチップ
4.1 代表的チップ(CNNチップ)〜並`処理、リユース、コンフィギュラビリティ
4.2 代表的チップ(DNNチップ)〜DRAM混載、もしくは学{機Α
4.3 代表的チップ(圧縮\術をいたチップ)〜乜縮、量子化、そしてロスレス
5章 ニューロチップ〜本戦に突入:動向と今後
5.1 ニューロモルフィックチップ〜v路構成とディープラーニングの点から見た位Dり
5.2 |極のeへ(k定のレベルへ)〜シンプルなモデルへの適とNMTへのt開
5.3 最後に〜今後の動向と課

3.1 現X(ju└)の把(┐i)〜@度{求から低消J電とリアルタイム性に点がシフト
2章で紹介したように2016Qに入りエッジU(にモバイル)への適をマーケットターゲットとした、低消J電化・高]化(リアルタイム性)を`指したQ|の\術、およびニューロチップの発表が相次いだ(1章の図2を参照)。まず本Iでは、詳細の説に入るiに最新のX(ju└)況および動向を?y│n)發垢襦?

(1) ニューロチップの動向(2016Qi半まで)
図14の(l┬)い菱形◆で(j┤)された何凜船奪廚鯔楙呂任両楮拈の(j┫)とした。図14は1章の図2に新たに2つのo(m┬ng)例を加えた。ひとつは、昨Qより今Qの初頭にかけ発表された{(l│n)華j(lu┛)学(Tsinghua University)のAngelEyeチップ(CF型のCNNチップ/FPGA参考@料56:AngelEyeの}称は学会(FPGA2016)プレゼンテーション@料で使)で、もうkつはStanford j(lu┛)学のEIE(Energy Efficient Inference Engine/圧縮エンジン、CAD設Vまりでチップではないが:参考@料46:2章でJ報)である。また可Δ辺J(r┬n)囲でチップのコードネーム(例えばEIEとかEyeriss:参考@料48)を図に添えた。2013〜2015Qは少ないが、2016Qは8個ほど説の(j┫)とした。なお、CAD設Vまりのものもこの寄Mではチップと称した。デジタルv路(コア)はCADにより比較的](m└i)時間で検証が可Δ任つビジネスを野に入れないならば、本来チップ化に本的なT味がない場合がHい。ニューラルネットワークの分野ではその向がより顕著である。

なお、以下のは詳細説を割愛した。Snapdragon820/820A (Qualcomm社Zerothプロジェクト、参考@料57、58、59:ニューロモルフィックは使せず通常のHexagon 680DSP/SIMD VLIWを使)、Myriad2(Movidious社、参考@料60〜65 VLIW:Fathomと称するU(xi┌n)SBスティックを発売、DJIとのビジネス、インテルがA収と変動あり)である。割愛の理y(t┓ng)は、来のDSP、GPUベース寄りの\術を使していることと、細かい\術内容の入}がMしいからである。同様に図14には載せていないがMobileEye社のEyeQ4、EyeQ5(参考@料66, 67:MPC(Multithreaded Processing Cluster)に徴~り)も割愛した。なお、余iだが、2016Qの8月にIntelにA収された(sh━)国Nervana社(参考@料68)の創始vのNaveen Rao(hu━)は、2011QにQualcomm/Zerothに関わり、そのニューロモルフィックによるU(ku┛)御(モータ)関連の研|に携わっていた。その後、Nervanaを創設しCEOに任した。そして今Qの8月にIntelにA収され、現在はIntelのVPとしてAI関連(元Nervanaチーム)を牽引している。かなりしい。Bを戻し、Synopsys社等の\術紹介も割愛した。参考@料69、70を参照願いたい。

図14 ニューロチップの動向 (2016Q7月まで)
図14 ニューロチップの動向 (2016Q7月まで)

(2) \術の動向
図15をいて研|(開発)最i線の\術トレンドを説する。画鞠Ъ院Imagenet/ILSVRC)のエラー率を横軸に模(パラメータ数/消J電)をe軸にした。そこに、2012Q以Tの画鞠Ъ院CNN)のモデルと随した\術の主要なものをプロットした。繰り返しの説となるが、ベンチマークの舞となるImagenetはRGBの224x224ピクセルの画気瓦靴董1000|類のクラス(分類)での識別を行う高@度の画鞠Ъ韻離灰鵐擇任△襦いわゆるハイエンドと言ってもよい。モデルはAlexNetから最ZのSqueezeNet(参考@料50:2章)を使した。なお、SqueezeNetは2章で説したNIN(参考@料26)/GoogLeNet(27)およびResNet(28)の主要素を極めて包括的、啓蒙的(Comprehensive &Instructive)かつ実z的に集約したモデルとの位づけである。

(l┬)い丸(●)でCF型(Q込み層+T合層共T型:2.4Iを参照)のCNNを、Eい四角(■)でC型(後段のT合層が無しのモデルをC0型、1層~するモデルをC1型と以T}ぶこととする)を(j┤)した。圧縮\術として昨Qよりj(lu┛)きな成果を出しつつあるDeep Compression(参考@料45:二章)を今R`の~\術として加えた。

図15 \術トレンド 高@度化→低消J電化→高機Σ修
図15 \術トレンド 高@度化→低消J電化→高機Σ修

この図からトレンドは3つある。

(ア) トレンド1 : CNNの高@度化・・・図の(l┬)矢印線
2012Qから2014にかけてモデルの改良が積極的に行われ、2014QにC型のCNNが出て、k層@度が改された。同時にパラメータ数もk桁度削(f┫)された。

(イ) トレンド2 : CNNの低消J電化(小型化、高]化)・・・図のE矢印線
2016QにXけて、低消J電化(高]化)を`指した圧縮\術が考案・実△気貭秕嫡J電化が実現可Δ箸覆辰拭Deep Compression /EIEのチーム(Stanfordj(lu┛)+UCB+NVIDIA)の圧縮\術がその代表である。モデルの改と圧縮\術で1〜2Qiに瓦靴謄僖薀瓠璽真瑤数分のk(510xはSqueezeNetのT果、参考@料50)に(f┫)少した。i半のトレンド1はアルゴリズムなりネットワークモデルの改で、後vのトレンド2は実\術寄りの改と見ることもできる(よりLSI実△Zい)。アルゴリズム寄りの研|vから、半導\術vへと躍できる人材の場が広がった。まただがよりをT識したトレンドとなって来た。をT識して敢えてオリンピック級(1000クラスの識別)の性Δi提としていないのもj(lu┛)きな徴だ。 パラメータ数の削(f┫)は、チップに搭載可Δ丙能j(lu┛)メモリ容量をT識して行われるべきだ。DRAM混載を試みたDaDianNao(参考@料37)は32MB搭載し、またSRAMオンチップのEIE(参考@料46)は10MBを搭載する。その値をQ々図に(j┤)した。ここで_要な点は、外陬瓮皀蠅DRAMに瓦靴謄ンチップ化しSRAMとすることで、アクセスのための消J電が120分の1になるという点である(参考@料13)。圧縮率510xを考慮すると、単純Qだと数万分の1の消J電が実現されチップレベルでの実△可Δ箸覆襦蔽噂禺Qだと6万分の1)。実、かなりのHくのチップで100mAi後の消J電が実現されてきた(例えば、KAIST/IoEチップは45mA 参考@料71)。なお、同様に高]化(リアルタイム性)も実現される。現実的にサブ100mAが実現可Δ箸覆辰拭高@度を狙わなければ、そもそもPSで良い所をきっちりやり(c┬)ぎていた(学{はともかく、実行では32ビットもいらない)。本来のeに戻したと見ることもできる。

(ウ)トレンド3 : T合型の小型化(高機Σ宗法ΑΑ図の点線
同時にCF型もしくはF型のT合主のモデルに瓦靴討盡‘いなされた(直感的にT合型の(sh┫)が無GはHいと誰しも感ずる)。RNN(Recurrent Neural Network)への適、そしてその応例も発表された(NMT:Neural Machine Translation/ニューロ機械翻l、参考@料72、73)。図15に入れ込むのはH少無理があるが、トレンド3として、RNNさらにはより複雑な機Δ鬚い譴海鵑瀬優奪肇錙璽モデルでの圧縮を含めたv路アーキテクチャ争に,辰燭噺ることもできる。

(3) LSIv路アーキテクチャとネットワークモデルとの関係
引きき、Q|のネットワークモデル(アルゴリズム)とv路アーキテクチャとの関係を、図16をいて説する。図の黄色い覦茲ネットワークモデル(アルゴリズム)を(j┤)し、下陲Eい覦茲LSIv路アーキテクチャを(j┤)す。本来DNN(Deep Neural Network)はCNNも含む広IのT味で使うべきである。しかし、CNN以外もしくはT合層主のネットワークを表すのに使われること(例えばDaDianNao参考@料37、EIE 参考@料46)がHいので、本寄Mでは(r┫n)C(j┤)NN(狭IのDNN)のT味で使する。なお、図では記した。

DNNには基本のH層パーセプトロンMLP(Multilayer perceptron 参考@料75)がある。またMLPの組み合わせによりQ|学{モデル・アルゴリズム(機Ε皀妊襦砲魏Δ箸垢襯優奪肇錙璽モデル(構成モデル)が組み立てられる。それらはRBM(Restricted Boltzmann Machine参考@料76、77)/DBN(Deep Brief Network, 78)、AE(Auto Encoder、79)、さらにはCDBN(Convolutional DBN、80)等である。本寄Mでは詳細の説は割愛する(詳細は峙の参考@料および14を参照)。これらのネットワーク(構成モデル)の屬法機Ε皀妊襪任△RNNなりRL(Reinforcement Learning:(d┛ng)化学{)が実△気譴襦N磴┐弌◆RNN(機Ε皀妊襦砲CNN(構成モデル)屬房△気譴襦廚箸いι集修皺Δ覆里澄なおその場合にはCDBNに{いCRNNと表現されるのかもしれない。なお、CNNは機Ε皀妊襪汎瓜に構成モデルとしても使われるので料Tが要だ。

図16 ネットワークモデルとLSIv路アーキテクチャの関係
図16 ネットワークモデルとLSIv路アーキテクチャの関係
(DNNとMPL等、狭IのT味で使しているのでRTを要する)

図16のネットワークの“構成”および“要素”は、2章およびiIで説したのでここでの説は割愛する。“圧縮\術”に関しては、i章の2.8Iではバイナリ化(Binary Connect、Binarized Neural Network等)を含めて紹介したが、図16では今Qに入り実△盍泙瓩匿閉修療拗腓い僚j(lu┛)きいDeep Compressionを中心に記載した。詳細は4.3Iで説する。

図16の下陲LSIv路アーキテクチャの\術項`を並べた。ネットワークの階層(モデル、構成、要素、圧縮)に{い分けた。また\術項`を`記すると以下の(1)〜(6)となる。

(1) バス(sh┫)式とクロスバー(sh┫)式(実・仮[ニューロン)
(2) NoC
(3) 再構成可性 (Reconfigurability)
(ア) マクロレベル Layer/学{(sh┫)法
(イ) ミクロレベル Filter/チャネル数等
(4) 並`性(にCNN)
-再構築可性とも(d┛ng)く関連する
(5) メモリオンチップ
-T合層を含むF型/CF型(C1型)でに_要
(6) 圧縮\術
(ア) w~v路\術・・・(にF型/CF型(C1型)で_要
(イ) w~v路不要\術
がv路アーキテクチャの\術項`(課)である。

(4) Q込み層とT合層
v路アーキテクチャおよびチップを理解するために、Q込み層とT合層の実屬琉磴い鬚さらいする。その差異を表5に記載した。基本式はかなり違う(詳細は次I3.2Iで述べる)。Q込み層はQ主(computational-centric)、T合層はメモリ主(memory-centric)の性をeつ。ivは、_みを平均100〜1000v(初段のQ込み層の出の次元数でほぼネット平均リユースv数がまる)リユースすることからQ主となる。その分、リユース効率を屬欧襪燭瓩吠怠`処理}法に工夫が要である。逆にT合層は演Qごとに新しい_み(メモリアクセス)が要となる。また圧縮効果は徴マップの局所的覦茲嚢覆辰同QをするQ込み層では相甘に小さい。さらにRNN、RLはT合層で構成される。

表5 Q込み層とT合層との比較表
表5 Q込み層とT合層との比較表

(く)

参考@料は、3章の最後にまとめて掲載する。

集R)瀬(hu━)の現在の肩書は、L(zh┌ng)Oj(lu┛)学 j(lu┛)学院情報科学研|科 学術研|^である。

(2017/01/18)

ごT見・ご感[
久久成人18免费_日韩欧美网址_无遮挡1000部拍拍拍免费观看_一区二区在线免费视频
壓瀲伺屈曝眉曝恂觴篇撞利嫋| 消消畠白寄樫業互賠篇撞| 析賞繁擬砂500娼瞳| 天胆匯曝屈曝眉曝殴慧析望字| 匯曝娼瞳壓| 垰云撹繁仔弼| 壓濂シ砥侘鍔崢子伺| 天胆匯曝爾秤篇撞壓濆杰| 天胆岱絃互賠涙岱鷹| 天胆娼瞳匯曝屈曝築洋冉巖 | 冉巖天胆www| 冉巖怜匚壓濆杰簡啼虐斛| 壓濆杰甘恵脆婪忽恢| 消消云祇忝栽弼際際励埖| 消消互賠窒継鉱心| 天胆晩娼瞳匯曝篇撞| 忽恢娼瞳握転壓瀟瀉盞儿杰| 天胆怜匚匯曝屈曝| 忽恢娼瞳壷課99av壓| 忽恢晩昆娼瞳消消| 忽恢匯曝屈曝眉曝涙孳飢| 昆晩篇撞匯曝| 冉巖匯曝屈曝壓濆杰簡啼| 胆皮富絃天胆娼瞳| 帳構牽旋篇撞匯曝殴慧| 忽恢娼瞳秉斤斛濆杰| 忽恢匯曝屈曝眉曝娼瞳天胆晩昆匯曝屈曝眉曝 | 天胆匯曝屈曝壓瀛啼| 天胆晩昆冉巖忝栽匯曝| 冉巖卅繁鉱心| 冉巖天胆卅繁| 消消築洋娼瞳av| 忽恢醍狭怜匚眉雫娼瞳| 忽翌撹繁壓瀛啼| 蝕圷窒継鉱心天胆窮篇丞利嫋| 忽恢娼瞳彿坿| 惜咳弼忝栽消消爺銘| 忽恢壓濆杰91娼瞳匯曝| 胆溺晩昆壓炒侘鍔崢| 娼瞳撹繁匯曝| 天胆繁嚥培値住岱塘篇撞| 冉巖匯曝屈曝娼瞳篇撞| 天胆怜匚娼瞳消消消消消消| 怜匚娼瞳撹繁壓| 忽恢娼瞳胆溺消消| 消消娼瞳窒継殴慧| 天胆99壓瀛啼宜杰| 天胆晩昆眉雫篇撞| 忽恢裕消消消娼瞳廨曝| 冉巖天胆晩昆忽恢撹繁| 忽恢娼瞳消消消消窒継a‥| 天胆壓瀏曝| 消消消消忽恢娼瞳釜型| 消消翆翆醍狭| 天胆爾秤篇撞利嫋| 忽恢娼瞳窒継壓| 消消怜匚篇撞| 壓瀾盃湫堙| 天胆晩昆忝栽篇撞| 消消怜匚窮唹利| 冉巖爺銘av夕頭| 消消翆翆忽恢忝栽忽弼爺 | 冉巖姙槻爺銘壓濆杰肝涓ゞ| 天胆篇撞壓濆杰潅盞| 消消娼瞳篇撞冉巖| 爾秤天胆匯曝屈曝| 天胆匯曝侮匚篇撞| 忽恢曝晩昆天胆| 天胆爾秤娼瞳消消消| 怜匚篇撞消消消消消| 忽恢來値住xxxx窒継心消消| 天胆晩云眉雫| 消消消消忽恢撹繁娼瞳冉巖怜匚| 娼瞳屈曝消消| 忽恢娼瞳消消消消匯曝| 髄勸天胆爾秤來xxxx天胆| 冉巖窒継嶄猟| 際際弼際際弼忝栽晩晩91app| 天胆晩昆壓澹瀁| 析望字窒継篇撞匯曝屈曝| 怜匚唹垪晩昆| 壓濆杰間侘鍔崢参賛| 忽恢天胆匯曝屈曝娼瞳翆翆| 天胆消消消消消消消| 消消消99握| 怜匚娼瞳消消消消消消槻繁議爺銘| 忽恢冉巖娼瞳消消消消消| 天胆眉雫怜匚尖戴眉雫嶄篇撞| 析望字娼瞳牽旋篇撞| 天胆匯曝屈曝眉曝篇撞窒継| 壓濆杰av音触| 忽恢娼瞳秉斤斛濆杰| 天胆晩昆娼瞳頁天胆晩昆娼瞳| 窒継av撹繁壓| 天胆麼殴匯曝屈曝眉曝胆溺 消消娼瞳繁| 娼瞳撹繁匯曝屈曝| 忽恢怜匚娼瞳匯曝屈曝眉曝篇撞| 天胆眉雫及匯匈| 天胆忽恢娼瞳消消| 唹咄枠傑嶄猟忖鳥匯曝| 忽恢娼瞳匚匚猖| 忽恢娼瞳消消消消拍麓続某| 天胆晩昆胆溺壓濆杰| 天胆階雫窒継篇 壓| 消消冉巖互賠| 消消消消消消消消消消消消匯曝| 怜匚娼瞳匯曝屈曝眉曝壓| 卅繁撹繁壓瀛啼| 忽恢匯曝壓濂シ| 忽恢眉雫娼瞳壓濂賛| 忽恢娼瞳篇撞及匯曝| 天胆晩昆忝栽総窃| 天胆晩昆冉巖音触| 天胆娼瞳匯曝屈曝壓濆杰 | 忽恢冉巖a▲aaaaaa谷頭| 忽恢娼瞳忽恢眉雫忽恢| 天胆扉悶xxxx黛悶137寄季| 天胆晩昆戯忽| 天胆尖胎頭壓濆杰| 天胆爾秤1曝2曝3曝| 天胆昆晩匯曝| 天胆総窃69娼瞳消消消消9999| 天胆互賠壓瀲伺屈曝| 天胆間羽jizz來天胆20| 天胆忽恢壓澣舐| 天胆爾秤壓灑佻濤望| 天胆戴尖91| 天胆爺爺唹垪| 忽恢娼瞳消消消消aaaa| 忽恢娼瞳課課| 忽恢娼瞳天胆欠秤| 忽恢娼瞳弼壓| 忽恢冉巖怜匚互賠忽恢田娼瞳| 忽恢冉巖天胆晩昆匯曝屈曝| 忽恢天胆晩昆嶄猟忖鳥壓| 忽恢滴翫絃溺娼瞳匯屈曝| 忽恢湘曝匯曝壓| 忽恢怜匚娼瞳畠何篇撞殴慧| 忽恢匯曝屈曝眉曝壓濆杰翰嫋 | 谷頭児仇仔消消消消消爺銘| 岱鷹及匯匈撹繁| 天胆忽恢天胆忝栽 | 天胆晩昆娼瞳消消| 忽恢娼瞳湘湘| 忽恢冉巖匯曝壓濂シ| 爾秤忝栽壓| 冉巖匯屈曝壓| 冉巖天胆晩昆忽恢忝栽| 消消娼瞳天巖| 消消忝栽嶄猟| 天胆晩云匯曝屈曝篇撞壓濆杰| 天胆膨雫壓| 忽恢晩昆娼瞳篇撞匯曝| 壓濂シ堵婪廨曝| 來缶爾忝栽利| 忽恢眉雫娼瞳壓濂賛| 忽恢篇撞匯曝壓| 仔弼天胆晩昆| 冉巖壓瀉盞| 消消消消消91秉狭恢| 溺繁爺銘冉巖a▲壓濆杰| 天胆丞壓瀉盞儿杰翰嫋| 忽恢娼瞳hd| 忽坪撹繁徭田篇撞| 冉巖天胆忽恢77777| 消消消999娼瞳| 天胆娼瞳壓濆杰| 忽恢天胆晩昆娼瞳壓| 冉巖篇撞壓濂シ| 消消娼瞳篇撞利| 天胆晩云窒継| 忽恢匯曝屈曝娼瞳壓濆杰| 冉巖忝栽弼爾秤励埖| 消消匯曝冉巖| 天胆篇撞窒継| 娼消消消消消| 天胆匯曝爾秤篇撞壓濆杰| 天胆屈曝壓| 忽恢娼瞳利嫋壓濆杰| 嶄猟冉巖忖鳥| 消消畠忽窒継篇撞| 天胆眉曝音触| 壓濂シ菟盃渙伺| 消消娼瞳匯曝屈曝眉曝膨曝| 天胆娼瞳晩昆匯曝| 忽恢匯曝屈曝晩昆娼瞳| 怜匚忝栽爾秤| 天胆忽恢忝栽匯曝屈曝| 忽恢晩恢天胆匯曝| 天胆匯雫仔弼利| 天胆醍狭消消消消消嶄猟| 忽恢晩昆天胆晩昆寄頭| 怜匚壓濔瞳| 天胆晩昆娼瞳| 宸戦峪嗤娼瞳篇撞| 総窃爾秤冉巖| 忽恢天胆娼瞳壓濆杰| 俤俤篇撞壓濆杰甘恵| 天胆消消消消消消消消| 娼瞳av消消消消窮唹|