著�v：　元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

2.7　　ディープ・ニューラルネットワーク　〜メモリ実�△亡悗垢觜融　А�3つのタイプ〜
本�Iでは、CNN以外も含めニューラルネットワークの構成の型が3つに分けられることを説��し、�Q々の型のパラメータ数、すなわちメモリの��模が条�Pによりどのように変わるのかに���`する。その理解を通して、LSIへのメモリの実�△隆�所を掴む。その中で、�`�Wの�T味も含めてオンチップ（混載）を�kつの議�bのポイントとする。なお、オンチップメモリ（SRAM）と外��けメモリ（DRAM）ではパワー、�]度共に2桁��度異なる（参考�@料13）。

(1) 3つのタイプに分けられる
図13に�o�瑤侶Q�|ネットワークもしくはモデルの処理����入��数（画�気�よび単純データ）と��要パラメータ数との関係を��した。CNN以外のアルゴリズム、さらにはアプリケーションへの適応をにらんだ実ネットワークの値も入れた。またパラメータ当たりのビット数を16ビットとし、バイト換�Qした量を��軸に�^した。��要なメモリ容量（Byte=8bit）である。�Qデータポイントにネット�@もしくはモデル�@を��記した（��要な場合には参考文献を参照）。さらに主にCNNに�瓦靴討魯�ラス数を加えた（例えばC10(Classが10）)。AlexNet、VGGNet等のモデルのクラス数は1000である。

図13　入��数と��要メモリ容量の関係
Googleの猫（参考�@料33：教師なし学�{）、2016�O動（�O動運転 参考�@料34）、Deep Q-Learning（
参考�@料35）、Autoencoder（マルチモーダル：参考�@料36）、DaDianNao(Super Leaning Machine Chip：参考�@料37)��　�R�T点：C型はConv層がモジュール化されていることが��徴。

ネットワークの構成の型として、�i�Iまでに紹介したCF型、C型に新たにF型を加えた。F型は�T合が���T合もしくは、�Q込み層でも��共通パラメータ型（�_み共�~weight sharingされていない）のネットワークを指す。教師なし学�{で著�@なグーグルの猫のネットが該当する。この形のネットワークをDNN (Deep Neural Net) とCNNと区別するために使��する場合があり図でも使��した。

横軸はニューラルネットが1度にタスク処理をする入��数である。この図の�J囲でCNNの場合には画素、DNN (F型) の場合には、画素に加えて音�m、データ（角度、スピード等）も含まれる��使��したDeep Q-Learning （深層�啣蹴��{のひとつ）の場合にはデータのみである。通常�b文等の発表ではパラメータはあからさまに記載しないので、半分��度は著�vが試�Qした値である。参考�@料14も参考にした。

(2) �Q々の型の��徴
ネットの構成の型ごとに内容を説��する
2-1)　F型（���T合主��型）〜教師なし学�{DNN、マルチモーダルAutoencoder、�啣蹴��{D QL）
現時点では、画�気龍技佞覆軍��{、複数�|のデータを同時処理するマルチモーダル、再帰型RNN、さらには�啣蹴��{が���T合（Fully Connected）が主��のF型となるようだ。���T合層が主��なので、入��次元数に�瓦靴�、2乗でパラメータが��要となる。教師なしでの画�鞠Ъ韻世肇僖薀瓠璽真瑤����\するので�敢�が��要である。これに�瓦靴董∈��v使��したDeep Q-learning（深層�啣蹴��{）では、そもそも画�汽如璽燭魄靴辰討い覆ぁ��]度、位��といったデータであり量的には少ない。RNNなり�啣蹴��{で画�犠霾鵑魄靴�際は、�瑤誥J囲では���iにCNNでデータを抽��化（例えば位��とか�]度に変換）して、入��次元数を落とすのが通常である。

2-2)CF型（CNN �Q込み層＋���T合層共�T型）：教師あり画�鞠Ъ韻�代表
入��数の2乗に比例してパラメータ数は�\加し�靴ぜ太��屬忘椶�。224x224と解�掬戮僚jきめ画�気両豺腓�32x32と小さい画�気両豺腓�主にプロットされている。クラス数はそれぞれ1000と10と極端に違う。�靴ぜ太�に乗るとするならば、ネットワークが最適化されると「入��数(X)とクラス数（C）の比は�k定値に落ち��く」ことを�T味する。X/C=100の�T味するところは「1クラス当たり10x10の画素が��要」との解�圓發任�る。この原理の�|��は今後の課��である��図の�Eい○で��したClass10のネットワークは�靴ぜ太�よりも下�笋縫廛蹈奪箸気譴討い�。クラス数に�瓦靴��埔蠅硫��掬戮魴eった入��画�気鮖斑�していると考えられる。この�T果のひとつはNVIDIAの�O動運転(End to end learning for Self-Driving Cars：参考�@料34)に使��されているネットワークである。何か他の�T図があるのかもしれない。なお、システムの内容は��3章以�Tで説��する。

2-3)C型（CNN �Q込み層主��）： モジュール化
Class1000のGoogLeNet22とResNet34/152を図13に加えてある。解�掬戮�低いケースは、�i�Iで紹介したMSRAのResNet110 (110層) のCIFAR-10 (3x32x32) でのベンチマークの�T果をプロットした。さらに参考�@料14に載っていた以下の3つのモデルを図13に入れてある。それらはAll-CNN(参考�@料54)、Hex Kernel(参考�@料55)、そしてNiN (Network in Network) のCIFAR版である。パラメータ数は100〜170万個と3x32x32の解�掬戮砲靴討呂�なり�Hい。�唹�に�Tぶと（桃色の薄い線）と��きが1でパラメータと解�掬戮枠耄禊愀犬砲△�。かなり乱暴だが、�Q込み層の場合には、入��の�R�`画素（群）の�Z�fでの��徴抽出の積み�_ねなので、あながち入��の次元数に比例するとみるのも間違ってはいない。この��しい関係と原理の�|��も今後の課��である。

まとめるとパラメータ数（y）は入��数（x）に�瓦靴�、それぞれの型式で
F型（���T合層型） ・・・ y=x²
CF型（共�T型） ・・・ y=x²/100
C型（�Q込み層型） ・・・ y∝x　　（ただし、モジュール化）

(3) メモリの実�△亡悗垢觜融�
図13の��軸に中国科学院CASが2014�Q��に発表したDaDianNaoの混載DRAM搭載量を��した。256Mビット（8.2mm角）、32Mバイトである。2014�Q8月発表のIBMのTrueNorthも同じくSRAMの混載で容量は256Mビット(25x17mm2)である。共に28nmでの混載であることから当�Cの�`�Wになる。

3-1) F型（���T合型）
���T合主��であることからメモリへのアクセスが頻繁に行われる。メモリの混載は極めて効果的である。しかし256Mビット/32Mバイトを混載の�`�Wとすると、画�輝���では��模的にかなりかけ�`れている。画�気魄靴�際には革新的な�\術が待望される。

3-2) CF型（共�T型）
入��の画素数は余裕を�eたせると100x100〜150x150画素��度がメモリ混載の限�cと考えられる。共�T型とは言え、���T合�陲�性�Δ�90%�i後を��めることから混載した際の消�J電��、スピード改��の効果は�jきい。メモリアクセスへの配慮が�_要である。

3-3) C型(�Q込み主��型)
入��の画素数が3x224x224（1000クラス）並みのネットワークもメモリ混載が�o��内に入ってきた。尚、�Q込み層では同じパラメータを繰り返し使��する��から（平均200�v��度、2.6�Iで説��）メモリへのアクセスは工夫により�j幅に軽��される。エッジ・モバイル�Uへのディープラーニングの適��がかなり現実的になって来た。その�屬如△匹嶺�度低消�J電��化を�{求するかがポイントとなる。

(4) ResNet34をLSIに実�△靴討澆�
少し図13から�`れて、LSIに実�△靴榛櫃砲匹里茲Δ砲覆襪��~単に試�Qしてみる（表3の16ビットのケース）。モデルは昨�Q��の発表から最�Z(2016�Q7月時点)までの半�Q間でかなりの�{検証・�t開検証実績報告（����検��、Recurrent NNとの複合/他機関報告含め：参考�@料29）のあるResNet、層数としては�}頃な34層を���Iした。表1より��要なメモリの��模としては、352Mビット（パラメータ当たり16ビット）が��要である。現時点では�i述のTrueNorth/DaDianNaoクラスの256Mビットが混載の実績とするとそれより�jきく、今後の微細化を�i提としても余裕があるとは言えない。しかし、エッジ応��を考えるとメモリ実�△砲�なりの�O�y度が出たと考えることができる。性�Δ亡悗靴討�、あくまで単純試�Qだが、36.4億�vのMAC演�Qが��要であることから3.64msecで1画�機淵侫譟璽燹砲稜Ъ噂萢�が可�Δ淵譽戰襪任△�(16ビット化で�]くなるが考慮せず)。仮に10倍��くても36msecで30fps(frame per sec)には�官�できるレベルである。ちなみに�i提として1TFLOPS/s(MAC換�Q)を使��したが、かなりレベルが高い。

ResNet等C型のCNNの登場によりエッジ�Uはもとよりかなりモバイルへの�t開が現実味を帯びてきた。なお、システム応��の場合には入��の解�掬�、並�`タスク数、パラメータのビット数、層数（34層でいいのか？）、クラス数、エラーの��容�J囲、連��で処理する複合機�ε�、システム構成の情報を加味する��要がある。��3章以�Tで����的な例を��いて可�Δ文造螢轡好謄爛ぅ瓠璽犬幌�る予定である。

表3 メモリ容量と演�Q時間の単純試�Q

2.8　　デ��ープ・ニューラルネットワーク　〜メモリ量���� サブ0.1Wも！ モバイルにロックオン〜
(1) パラメータ・データ低ビット化/圧縮の動きとその効果
表4に最�Zのメモリ量削��に直�Tするパラメータ・データ低ビット化/圧縮の動向を�k覧として��す。パラメータ・データは通常は、32ビットの浮動小数点演�Qをベースに研�|開発、�j�}IT企業のデータセンターでの実��が進められている。しかし、ほとんどのこの分野に関わる�気�32ビットもいらないのではと思う（��に実行時は）。32ビットと高�@度化することと、��徴抽出の際に����を抽��化（不要な�颪鬚修�落として）することが逆行しているからである。

振り返ると2012�Q以�iより�w定�D数、8ビット化の検討等がなされていた（参考�@料38）。2013〜2014�Qにはフィルタを行と�`に分割して実行時の���Q量を2〜3倍��度削��するSeparable Filter (参考�@料39、ニューヨーク�j学とFacebook AI Researchの報告)などのネットの圧縮法の報告があった。さらに2014�Qにもコロンビア�j学のSoudryらの�_みを±1とする�}法(Expectation Backpropagation：参考�@料40) 等の報告もあった。しかし、表4に��すように昨�Qの11月（昨�Q12月のNIPS)のBinary Connectの発表 (参考�@料41) の頃より直�Zの課��としてより�R�`され出し、またLSI実�△��Zい形での発表も�\えてきた。��筆すべきは�Q発表が、エッジの中でも搭載が��いだろうと�[定されていたモバイル機�_への�j��模ネットワークの搭載を身�Zな�颪箸靴討Δ燭辰討い訶世任△襦�Googleも同様にモバイルを指向。しかしまずは、直�Zの課��であるデータセンターでの実際の運��が先と思われる）。

パラメータ・データの低ビット化/圧縮の効果は、高�]化と同時に消�J電��も改��され、2乗の効果があり極めて魅��的である。さらにうまく行けばSRAMのオンチップ化も可�Δ箸覆衫匹い海箸个�りである。認識率の低下が懸念されるが、CNN等で見る限りはぼぼ無いかもしくは小さいとの�T果が報告されている。

表4　パラメータ・データの低ビット化/圧縮の動向

(2) 低ビット化/圧縮�桔，諒�類
�Q�\術の詳細を述べる。表4のパラメータ・データの低ビット化/圧縮は3つに分類される。

2-1) バイナリー化（1ビット化）：
±1の2値(1ビット)で演�Qを行う。バイナリーコネクトではパラメータだけを、バイナライズトネットワークでは加えてバッチ・ノーマライゼーション後の出��値を2値化する。なお、�@度が��要な学�{時誤差逆伝�鯔，離僖薀瓠璽身�調時は、保�eしているパラメータの実数を使��して値を��新する。MNIST/CIFAR（ベンチマークの�|類）への適��で良い�T果が�uられており、今後はImagenet等の�j��模画�気任慮‐擇鮃圓ε��t開の幅を広げるとのこと（2016�Q4月：参考�@料42）である。後�vと�瑤��桔，�IBMがTrueNorthのチップアーキテクチャに適��して、懸案であった深層学�{からスパイキングニューラルネットワークへ橋を架けることに成功している��深層学�{での成果をスパイキングニューラルネットワークに焼き直しニューロモルフィックアーキテクチャ�屬納孫圓任�る。同じく現時点ではMNIST/CIFAR(CNN)への適応である。詳細は��3章で説��予定である。

2-2) パラメータの圧縮（Deep Compression）：
パラメータの圧縮を学�{から実行にかけて表の3つの施策を��いて行う。効果は�jきい。��雑すぎて可��性が�Kいとの指�~も�pけている。また、C型（�Q込み層主��）のCNNモデルへの適���T果が待たれる等、�\術の柔軟性がどの��度あるかを�瑤蠅燭ぁ�

2-3) ビット数の削��（量子化）：
演�Q（積和演�Q、��性化演�Q、プーリング、����化ほか）だけを8ビット�D数(0-255)で処理する。ユーザーは��来通り32ビット浮動小数点演�Qのライブラリーがほぼそのまま使える（と理解している）。入���笋判侘��笋妊如璽燭領婿匆宗�32→8ビット）と反量子化を行うが、変換時のラウンド処理の�Dり扱いで�R�Tが��要のようである。2-1)〜2-3)とも共通にハードも最適化しないと100%の効果が引き出せない。1〜2�Q�XけてTPU (Tensor Processing Unit)なるカスタムチップを開発したことをGoogleが5月に�o表した。データ・パラメータの低ビット化の効果はオーバーヘッド分があり、�]度（サイクル数）改��およびメモリ量削��は�Q々3〜4倍と推�Rする。パワーも同様で、�T果パワー効率改��としては10倍��度となる。�k般ユーザーは�瑤蕕覆いΔ舛�、8ビット�D数処理のデ��ープラーニングをしていることになる。もちろん、�@度は落ちないことが�i提である。Googleにとってはデータセンターのディープラーニング実行コストが1/3〜1/4になり、かなりのインパクトと予�[する。パワーも��る。このタイミングでのビット数の削��の施策の�t開は、��1章冒頭で述べたように、「デ��ープラーニングのモデルライブラリーへの�t開すなわちデータセンター�t開の指数関数的勢い」を�Г┐襪燭瓩竜歩gの課��とみることも出来る。

その他、表4に��すように入��・中間データの外�陬瓮皀蠅箸療樵�時にロスレス圧縮を使う�\術の報告がISSCC2016でMIT/NVIDIAからあった（参考�@料48）。ハードの変��は��要で、効果は小さいが確実である。

(3) モバイルへの実�△硫���性は?!
Googleの動きに見られるように、�Jに実行フェーズでは�D数8ビットは認�瑤気譴弔弔△�。4倍弱の改��は確実、さらに低ビット化が進めば改��は32倍まで期待できる。今後、�j雑把に10倍��度の
パラメータの低ビット化/圧縮がなされると仮定して、どの��度LSI実�△妨�果があるのかResNet34(22.0Mパラメータ)を使��して試�Qしてみる。

3-1) ��要メモリ�C積は？
�i�Iに使��した表3の最���`（ピンク色の枠）に値を加えてある。32ビットに�瓦靴�1/10の効果とすると、端数で現実的ではないが3.2ビット/パラメータとなる。総メモリビット数は、22Mx3.2=71.4Mビット。最�Z�o表されている情報(参考�@料49)から、SRAMのオンチップでの�C積は、7Mbit/mm2 @16nm とする。��要エリア�C積は10mm2@16nm (3mm角�咾離汽ぅ�)となる��（152層のResNet152だと56Mパラメータで、25.5mm2となる。これだとさすがに�jきい）。ResNet34だとかなりの余裕を�eってSRAMのオンチップメモリ化（混載）が可�Δ箸覆�。�T果、図13の左の軸の22Mパラメータ以下（ほとんどe-DRAM DaDianNaoのラインの少し�屐砲��覦茲魯�バーできる��残るのは、かなり�jきな解�掬戮��顱塀j画�C）、もしくはマルチタスク処理、教師なし学�{等となる。

3-2) 積和演�Qのパワーはどのくらいのレベル？
モバイル搭載を考えると気になる点だ！同様に、Imagenetの画�鞠Ъ韻�30 frames/secで行った場合のパワーを試�Qしてみた。条�Pは�i�Iで使ったものと同じで、LSIとしては1TFLOPS/Wの性�Δ�出せることを�i提としている。同じく表3にまとめた。32ビットに�瓦靴董△修�10分の1の処理量で良いので1/10の消�J電��、100mWとする。3.6msecで1画�汽侫譟璽爐稜Ъ韻�終わるので次のフレームが来る30msec��はスタンバイ�X��になる。単純に1/10の�n働率と考えると、10mW��度の積和演�Q消�Jパワーとなる。オンチップSRAMのパワー等々を加えると、もう少し�\える。しかし依��かなりのローパワーでモバイルへの搭載も�科�可�Δ淵譽戰襪任△襦覆覆�1TFLOPS/Wがかなり厳しいが）ことがわかる。

まだ、いくつかの課��もあるが、SRAMオンチップでサブ0.1W��度は見込める�X況と考えられる。エッジ�Uはもとより、モバイル�Uも�o��内でロックオンされている�X��である。パラメータ・データの低ビット化/圧縮に関して本�Iのいくつかを��3章で少し踏み込み紹介する。

まとめ
今後のCNNのモデルの進化に関しては、NiN、GoogLeNet、およびResNetがもたらしたモジュール形式の改良で進んで行くと考えたい。ここ半�Qほどの間に総括的なSqueeze Net(参考�@料50)、ENet(参考�@料52)なるモデルの発表もある。今�QのImageNet(9月〜10月)およびNIPS(12月)で今後どのような進化の�妓�性を��すのか興��深い。そのようなネットワークモデルの進化と収�Jの流れに加えて、実際のアプリケーションにどのモデルをどのように使��するのかといった実�z的、包括的かつ教��的な�Bも今後出てくると予�[している。入��の次元数と出��のクラス数、そして��容誤差�J囲も絡んでくると考える。参考�@料51の著�v（Purdue�jのEugenio Culurciello教�b、TeraDeep社のCTOでLeCun��の教え子）はまとめることを��唆しているので期待したい。

LSI化の勘所として、詳細を見極めるまでには至っていないが、ある��度の�妓�性を本章で述べた。
　・高性�Σ修畔９腟��Σ�(システム化)・・・2つの�jきな流れ
　・基本構成（�Q込み層、���T合層、��性化関数、プーリング・・・、学�{時の�\法）は収�Jへ
　・モデルの進化（CF型からC型への�々圈法ΑΑ�C型が主流になりつつある
　・C型のモジュールが�_要
　・層数とエラー率改��（デ��ープ化へ）・・・100層以�峅���
　・積和演�Q数とパラメータ数（メモリ）の関係・・・200〜300倍
　・モデルのタイプ（F,CF,C型）と演�Q数・パラメータとの関係
　・パラメータ・データの低ビット化/圧縮の動向・・・ここ半�Qで進化
　・エッジ・モバイル�Uへの適��の可��性・・・�o��内でロックオン

本章の最後に���Bする。LSIの実��的な分野で、MIT、Stanford�j学、そしてUCB等の��動が��発である。その中にデジタルLSIの設��分野で著�@なStanford�j学のHorowitz教�bのグループも�@を連ねており(参考�@料46, 53, 13)�R�`される。それにも�\して、かなりの頻度で�j学の�b文にNVIDIAが�@を連ねている(ハードのGPUとソフトCuDNN等のSDKのサポート)点が気になる。次章以�T、本章の�b点を踏まえ、ディープラーニングLSIの�v路アーキテクチャおよび実応��システムへの実�△幌�る。

---

参考�@料 (1〜32までは�i�v以�i)

33. Q. V. Le, and A. Y. Ng., "Building High-level Features Using Large Scale Unsupervised Learning", In International Conference on Machine Learning, June 2012. 20120626. グーグルの猫.
34. Mariusz Bojarski+, "End to End Learning for Self-Driving Cars", 2016�Q4月25日. 2016ADAS(図13), CNNによる�O動運転.
35. 松元 叡�k, 「分�g深層�啣蹴��{でロボット�U御」, Preferred Research (Preferred Infrastructure Inc,), 2015�Q6月10日 （再掲：図13のパラメータ値は筆�vの試�Q値）
36. Noda, , Hiroaki Arie , Yuki Suga , Tetsuya Ogata, "Multimodal integration learning of robot behavior using deep neural networks", Robotics and Autonomous Systems, Volume62, Issue6, 721-736頁, 2014�Q6月. マルチモーダル
37. Yunji Chen, Tao Luo1,3, Shaoli Liu1, Shijin Zhang1, Liqiang He2,4, Jia Wang1, Ling Li1, Tianshi Chen1, Zhiwei Xu1, Ninghui Sun1, Olivier Temam2, "DaDianNao: A Machine-Learning Supercomputer", in Proceedings of the 47th IEEE/ACM International Symposium on Microarchitecture(MICRO’14), IEEE, 2014. DaDianNao、20141213.
38. Vincent Vanhoucke, Andrew Senior, Mark Z. Mao, "Improving the speed of neural networks on CPUs", 初期の低ビット化検討の�b文
39. Emily Denton, Wojciech Zaremba, Joan Bruna, Yann LeCun, Rob Fergus, "Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation", 2014�Q6月9日. Separable Filter.
40. Daniel Soudry, Itay Hubara, Ron Meir, "Expectation Backpropagation: Parameter-Free Training of Multilayer Neural Networks with Continuous or Discrete Weights", 2014�Q12月, ニューロンと負荷を±1（Binary化）.
41. Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David, "BinaryConnect: Training Deep Neural Networks with binary weights during propagations", 2016�Q4月18日(ver3). Binary Connect.
42. Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio, "Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1", 2016�Q3月13日(v3). Binarized NN
43. Steve K. Esser, Rathinakumar Appuswamy, Paul Merolla, John V. Arthur, and Dharmendra S. Modha, "Backpropagation for Energy-Efficient Neuromorphic Computing", Advances in Neural Information Processing Systems 28 (NIPS 2015), 2015�Q12月NIPS2015.SNNへBP適��.
44. Steven K. Esser, Paul A. Merolla, John V. Arthur, Andrew S. Cassidy, Rathinakumar Appuswamy, Alexander Andreopoulos, David J. Berg, Jeffrey L. McKinstry, Timothy Melano, Davis R. Barch, Carmelo di Nolfo, Pallab Datta, Arnon Amir, Brian Taba, Myron D. Flickner, Dharmendra S. Modha, "Convolutional Networks for Fast, Energy-Efficient Neuromorphic Computing", 2016�Q5月24日(V2).スパイキングNNへのCNN/BP応��.
45. Song Han, Huizi Mao, William J. Dally, "Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding", 2016�Q2月15日(V5).Deep Compression.
46. Song Han, Xingyu Liu, Huizi Mao, Jing Pu, Ardavan Pedram, Mark A. Horowitz, William J. Dally, "EIE: Efficient Inference Engine on Compressed Deep Neural Network", 2016�Q5月3日(V2). Deep Compression IP化.
47. Pete Warden, "How to quantize Neural Networks with TensorFlow", ブログ, 2016�Q5月3日, 演�Qの量子化（32bit→8bit）
48. Yu-Hsin Chen, Tushar Krishna, Joel Emer, Vivienne Sze, "Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks", 2016 IEEE International Solid-State Circuits Conference, Session 14.5, p262-264, 2016�Q2月 Eyeriss CNNの最適�v路(ISSCC2016)
49. 日経テクノロジーオンライン　"ルネサス、16nmFinFET向けデュアルポート�m込みSRAMを開発", 2015�Q12月8日. SRAMの�C積
50. Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, Kurt Keutzer, "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and &llt;0.5MB model size", 2016�Q4月6日（V3）, Squeeze Net.
51. Eugenio Culurciello, "Neural Network Architectures", ブログ, 2016�Q6月4日 再掲, Neural Network Architectureのサマリ.
52. Adam Paszke, Abhishek Chaurasia, Sangpil Kim, Eugenio Culurciello, "ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation", ENet, 2016�Q6月7日. リアルタイムのSemantic Segmentation.
53. Xuan Yang, Jing Pu, Blaine Burton Rister, Nikhil Bhagdikar, Stephen Richardson, Shahar Kvatinsky, Jonathan Ragan-Kelley, Ardavan Pedram, Mark Horowitz, "A Systematic Approach to Blocking Convolutional Neural Networks", 2016�Q6月14日. スタンフォード�j学 ホロビッツ教�b関連.
54. Jost Tobias Springenberg, Alexey Dosovitskiy, Thomas Brox, Martin Riedmiller, "Striving for Simplicity: The All Convolutional Net", 2014�Q12月21日. All-CNN(C型)
55. Zhun Sun, Mete Ozay, Takayuki Okatani, "Design of Kernels in Convolutional Neural Networks for Image Classification", 2015�Q11月30日. Hex Kernels(C型).