著�v：元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

4.3　代表的チップ（圧縮�\術を��いたチップ）〜�乜縮、量子化そしてロスレス
本�Iで扱うデータおよび�_みの圧縮�\術は実行��だ。共通の認識は「学�{時には誤差逆伝�鯔，猟_みを微調する際に�@度を要し�Hビットが��要」という点だ。�@度劣化に関しても小さめで0.5%��度までである（この��容�J囲は適��のアプリの仕様に�jきく依�Tするはず）。

本�Iの(1)でGoogle社のASICであるTPUに関連する�\術を、(2)と(3)でStanford�j学を中心としたDeep Compressionに関する�k連の�\術を説��する。なお�i�vはデータセンタからモバイルはもとよりIoT (エッジ)までの�t開を狙い、後�vはモバイル（エッジ）�官�の�|極（?!）を狙っている。そして、最後に(4)で他のチップ（IoE等：4.1�Iで説��）の圧縮�\術も含めて����を���茲垢襦�なお、圧縮�\術にはBinary Connect/Binarized Neural Networkといったバイナリでの学�{・実行処理を探求する動向もあるが、本寄�Mでは割愛した。またTPUに関しては、2017�Q4月にGoogleよりTPUに関しての詳細な紹介、及び�b文が出たのでそちらを参照してほしい。以下のブログより�b文のダウンロードが可�Α�https://cloudplatform.googleblog.com/2017/04/quantifying-the-performance-of-the-TPU-our-first-machine-learning-chip.html）。

図35はここ1�QでのGoogleとStanford�j学を中心とした2つの動きを時�U�`でまとめたものだ。圧縮処理の�桔，�らLSI実�◆�GoogleはASICを開発・使��中）、実応��へと����に�t開しているのが見て�Dれる。��に��徴的なのは、NMT（Neural Machine Translation：RNNベースのニューラル機械翻�l）を�Y的として研�|・開発が��である点だ。���T合層を主��として数��メガバイト（1ギガ）級のサイズのネットワークモデルである。�Zい��来、スマホで�O動翻�lがスタンドアローンでできるようになる勢いだ。日本語をスマホに�Bしかけると、スマホが中国語をしゃべってくれるのも間�Zかもしれない。

図35 圧縮�\術の開発の2つの流れ（狙うはモバイル/エッジ応��）

(1)TPU (Tensor Processing Unit)　Google社〜データセンタからエッジへ
図35に��すように、TPUは、2016�Q5月18日にGoogleのブログで発表（参考�@料94、95）された。2014�Q本格開発���}、2015�Q春にはチップを、そして22日で実効的に使えるようになったとのことだ。データサーバで使われる実行��の専��ASICチップである。実際にRankBrain/Street View/Alpha Go等に使��されたとのことだ（図36）。

Alpha Goに使��されたいわゆる人工���Δ���のラックだ。GoogleのTensorflowのライブラリ�屬覇阿�ことが�i提である。内�陲魯如璽拭δ_み共に8ビットで演�Q、エネルギー効率が1桁（10倍）改��された。ハードウェアの詳細は不��だ。32ビット浮動小数点演�Qを、8ビットで演�Qしているなら演�Q�v数が1/4に��少（�]度）、1演�Q当たりのメモリアクセス負荷が1/4に削��する��からエネルギー効率が10倍��度向�屬垢襦�（�崕劼��b文では、相�竿羈咾世���CPU/GPUの�]度比15〜30倍、エネルギー効率30〜80倍と報告されている）。なお、入出���霾�は32ビット浮動小数点のまま扱えるのがポイントである。

図36 TPUが実�△気譴織棔璽鼻丙検法▲如璽織札鵐燭任亮孫墫X況（ラックに搭載：��図）　Alpha Goで使��されたサーバラック（��盤の絵が�aり��けられている）
（�^真は参考�@料94 Google Cloud Platform Blogより転載）

GoogleユーザーのAI使��量（実行）の指数関数的な�Pびへの�眼^策と見てとれる（3〜4倍のユーザーを相�}にできる）。またパワー低��によるデータセンタの維�eコスト低��にも繋がる（メインテナンスを含めたコストメリットは10倍）。Googleのビジネス成長のための戦�Sエンジンと見ることができる。逆に見るならば、その性�Ω��屬瞭濂修�AIの発�t・成長への���]要因となる。またユーザーは無�T識のうちにその恩�L（�v答が早いなりAIも賢くなったと感ずる）を�pける。

ただし3〜4倍のスピードアップでは1〜2�Qしか�eたない。エッジ�笋納孫圓僚萢�をしないと早々にデータセンタはパンクする。��に�O動翻�lの性�Δ��屬�り、�Sが本格的に使い出したらたまったものではない（今はまだまだ未成�^で原語で読まざるを�uない）。

�k�機▲▲襯乾螢坤燹△發靴�はプログラム研�|�v、開発�vにとってのメリットも�jきい。なぜなら学�{は�@度が��要なことから32ビット��度の浮動小数点の使��が現�X�cけられない。その32ビットのコードをGoogleに渡し、TPU�屬覇虻遒気擦襪�4倍�]く動作できる。TPUから�Bはずれるが、�w定の�_み（パラメータ）も1/4となることから、モバイルへの�t開(通常100MB以下がモバイルへの搭載��可のリミットと聞いている)、すなわちGoogle Play�屬任旅眦戮�AIプログラム実�△鮨篆覆垢觚尭偉�ともなる。この点からも次なるGoogleの戦�Sが伺える。

図35に��すように、5月以�TのGoogle関連の情報を�Rってみると、2016�Q7月にTPUをIPコアとしてベンチャー企業であるフランスのGreenWaves Technologiesに提供している（参考�@料98）。ターゲットは世�c最初の本格IoTチップだ（�@称：GAP8 12 GOPS、20mW 2017�Q2月チップ）。�i述したが、TPUをグーグルのニューラル機械翻�l（GNMT：Google Neural Machine Translation：参考�@料99, 100）にも適��して�Jに運��しているとのことだ。Stanford�j学でも同様の動き（参考�@料72, 73）をしており、機械翻�l（音�m認識も同様）はAI関連で最もホットな�覦茲澄�

量子化�\術（Quantization）〜演�Qスピードアップの単純な�}法
ハードウェアに関しては情報が�o開されていないが、では�k��どのように8ビットに量子化するのかが�瑤蠅燭づ世任△襦�2016�Q5月18日のTPUの発表に先立つこと2週間�iの5月3日にGoogleのPete Warden��のブログにTensorFlow�屬覇虻遒垢詢婿匆修離魁璽匹�よびその解説記��が�o開されていた（参考�@料96）。かなり�@��性（だれでも�~単に使えトラブルの少ない）のある圧縮�\術と考える。なお、このPete Warden��は、元JetPec社のCTOで携帯��画�鞠Ъ吋愁侫函�Apple Storeに掲載：Deep Brief Network：DBNベース）を売り出した矢先、2014�Q��にGoogleに会社が�A収された経歴を�eつ（参考�@料97）。�峙�のTPUの開発���}と同じ時期だ。

図37に量子化のフローを��す。参考�@料96の図をまとめた。32ビット浮動小数点演�Qを、内�陲里�8ビットの�w定�D数�擬阿妊如璽�/�_み共に���Qする。�_み（Weight）は���iにオフラインで���Qしてもよいはずだ。問��は、実データ（入����徴マップ、出����徴マップの�Q値）をどのように処理するかである。図では��性化関数（Rectified Linear関数/ランプ関数：ReLu）を例として使��した。その8ビットでのReLu演�Qの�iにデータを32ビットから8ビットに変換する。

変換の�桔，蓮�入��の32ビットデータ内のMaxとMinの間を256に分割して、線形に0-255 (8ビットの�D数表現に変換)で割り��ける。なおこの線形に割り��ける�}法はDeep Compression（参考�@料45）で使��されている�}法と同じである。ReLuを8ビットで演�Qした後、��量子化を行う。���笋凌泙��H層の��中�壻�を削除しスリム化したものである。もちろん、量子化が出来ていない演�Qがあればその�霾�は32ビット浮動小数点で演�Qするとのことだ。

課��はちょっとした誤差が発�擇垢訶世里茲Δ澄Ｎ婿匆修虜櫃隆櫃畍躡垢任△襦�詳細はLibrary（参考�@料96、Blog参照）を読み理解する��要がある。Stanford�j学およびUC BerkleyのDeep Compression�頏�との議�bがあった（参考�@料96のコメント投�M欄）。Pete Warden��の�T見は、Deep Compressionは演�Q量が�Hすぎるとのことであった。
�\術的にはシンプルだが、導入の背景（データセンタの演�Q量の指数関数的な�\加）と判��理�y（ともかく処理時間の�]縮）が興味深い。����の動きを見ているとTensorFlowの�J囲という�|りを与えながら、エッジ/IoTへの実行処理�々圓魏��]化させるという戦�Sが浮き出てくる。TPUはLSIもしくはIPとしてその戦�Sコアとして位��づけられると見ることもできる。

図37 データ量子化の�}順　（Pete Warden��のBlog(参考�@料96)を参考に作成した）

(2)Deep Compression　(Stanford�j学など) 〜�Q要素�\術〜
図35に��すように、Stanford�j学のSon Han��らの�k連の発表（参考�@料101、45、46）をベースとして、UC Berkleyのメンバーが加わり、行った最新のネットワークモデルSqueeze Netへの適��、さらにはStanford�j学の機械翻�lの専門家たちとの共同開発であるNMT(Neural Machine Translation：ニューラル機械翻�l)への適��と、かなり�jがかりに研�|開発が行われてきた。

本項では、二つの�b文を扱う。�kつ�`は2015�Q10月に発表、Pruningに関して扱った�b文、二つ�`は、量子化およびハフマン符�ｲ修魎泙瓩�Deep Compressionを���嚇�に扱った本命の�b文である。

図38　Deep Compressionの圧縮のステップ　（参考�@料45を参考にして作成）

�b文（参考�@料45）を参考にして図38を作成した。Deep Compressionは3つのPruning、クラスタ化（量子化）、およびハフマン符�ｲ宗淵蹈好譽后砲�らなる圧縮�\術の総称だ。クラスタ化は量子化と言われているが、Google社のTPUで使��しているものと�\術内容は異なる。また図38に��すように実際には、Pruning後の残った�_みの位��情報を圧縮する圧縮�`格納�擬亜�CSC：Compressed Sparse Column）、さらには入��データに�瓦靴胴圓Ε璽蹈好�ップがある（データの圧縮に関してはこの�\術のみを��いている）。なお、ゼロスキップはEyerissが実�△靴討い襪發里帆世い脇瑛佑任△襦�

�}順を��すようStep1〜Step5を��記した。この5つのStepのうち、Pruningとクラスタ化は�@度の劣化の可��性があるが、それ以外はロスレスで本来�@度への影�xは無い。なお、Pruningおよびクラスタ化では劣化が��こらない�J囲での圧縮を行っている（劣化は0.4%以下）。

（ア）Pruning�\術 （参考�@料101）
日本語に�lすと、「枝おとし」とか「剪定」とかぴったりの�@�iがあるが、どうも�\術��語としてはいまひとつなのでそのまま、Pruningを使��する。�_みの圧縮は
(1)�_みの量（数）・・・Pruning
(2)�_みの位��情報・・・圧縮�`格納�擬�
(3)�_みのビット数（量子化/クラスター化）・・・クラスタ化
の��つの情報量をいかに圧縮するかにある。�_みの量を��らし、�_みのビット数を絞る。しかし、弊害として (2)の�_みの位��情報が��要となる。枝を落として圧縮するが、どこの枝を残したのかを覚えておく��要がある。本�\術では、専��のメモリ（��マトリクス）を���Tしている。SRAMだ。

図39 Pruning�\術の説�� 　(a) ネットワーク、　(b) �_みの分布の変化
参考�@料101を参考に作成

Pruningの�}順（参考�@料101）
図39(a)のネットワークの図のように、不要な「枝/接��」をそぎ落とし、「ニューロン」を削除する。その����となるのは図39(b)に��す不要なものである。図(b)も�b文を参考に作成した。���笋凌泙�最初の学�{により�uた�_みの分布を��す。この場合は±0.015の間にほとんどのものが入っている。Pruningの����は、�_みの値が小さいものである。なぜなら、値が小さいので次段への影�xが少ないからである。Deep Compressionでは「しきい値」を設定して容赦なくPruningする。また�_みが��てゼロの時、もしくは出��値がゼロの時ニューロン�O��も削除する。しきい値の設定の�桔，砲脇��Oの�}法が入っているらしい。あまり��確に書かれていない（�Q層毎にPruningをするとか、��パラメータをどの様に分割するかの�}法らしい）。

削除した後、再学�{を繰り返す。学�{レートを1/10に落として���tに行う。びっくりしないようにゆっくりやるので時間が�Xかる。削除した後の�_みの分布を(b)の下�笋凌泙某�した。その数は1/9となった。分布は初期�X��より広がりを�eつ。プラス・マイナスの2つの����分布の形になっている点が興味深い。抑�U性、興奮性シナプスを連�[させる。

さて、この�\術のオリジンは30�Q�iに遡る。参考�@料102，103, 104にあるように、1990�Q�i後に確立した�\術のリバイバルである。��にYann LeCun��（参考�@料103）により、かなり���tに検討されている。再学�{、またかなり時間の�Xかる点、効果が1/8である点等、�Jに約30�Q�iに報告されている。さらに�k歩踏み込み、エラー関数の2次微分値を最少にする�_みを削除する�}法（ある�T味BP法に考え�気��Zい）を��いている。CNNの�b文発表の9�Q�iである。LeCun��はご�Tじのように現在もディープラーニングの世�cをリードされている�気覆里任△譖|の感動を覚える。

しきい値を�jきくすると圧縮率は�屬�り、逆にエラー率も�\加する。�j��模なネットワーク(AlexNet/VGGNetのImagenet/ILSVRC)でエラー率の�K化が�jきくても0.4%��度と極めて小さい点に押さえている。彼らの最�jと判��した圧縮率は1/9である。8/9は不要な演�Qだった。後述するクラスタリング（量子化）含めてどの��度類�瑤離織好�に�t開できるか（転�ヽ��{に使える）はまだ�瑤觚造衒鷙陲呂覆ぁ�ニューラル機械翻�l(NMT)への応��例は後述する。

位��情報の圧縮（圧縮�`格納�擬亜�CSC Compressed Sparse Column）
�i述したように、しきい値によりそぎ落とした接��（枝）の位��を覚えておく��要がある。彼らが�k番��を入れている点だ。図40(a)の�_みマトリクスで覚えておく。マトリクスを�k�`の情報�`に��き換え、そぎ落とした接��をゼロと見なす。さらに����にゼロが�Hいことから「圧縮�`格納�擬亜廚鮹�いてマトリクス情報を圧縮する。��色のゼロは�T在だけをカウントして位��情報を圧縮する。図(a)の下�笋某�した表記だ。この表記のために4ビットが��要となる。15個ゼロが連なることを考えるとそうなる。�T果、Pruningで�擇�残った�_みは4ビットの位��情報（Index）を�eつ。以�屬�Pruningの�}順と内容である。これをハードウェアに実�△靴拭�

図40　(a) �_みの位��情報の圧縮、　(b) �_みの値のクラスタ化（量子化）
参考�@料45を参考に作成

（イ）�_みのクラスタ化（量子化）
�_みの位��は圧縮したので、今度は値の圧縮だ。Deep Compressionでは、�Q層ごとに�_みをK平均法によりクラスタリングしている。図40(b)に��すように、�_みをクラスタリングし、グループ番�､��_みに��わる。実際の値はグループの代表値（Centroid：32ビット）になる。学�{は図40(b)に��した代表値に�瓦靴董▲丱奪�プロパゲーション法による学�{を反映させることにより行う。なお、この代表値の学�{時の初期値は最�j、最小値に�瓦靴洞凩kに設定される。この単純なクラスタリング法だが、彼らが�Z労した点だと推察する。

（ウ）ハフマン符�ｲ�
Deep Compressionでは、ハフマン符�ｲ修鮹�いている。ロスレスの圧縮�\術である。本�Iでの説��は割愛する（参照�@料45）。

（エ）ゼロスキップ
図40(a)の入��ベクターと�_みマトリクスのマトリクス・ベクター演�Qの際に、入��ベクター値の要素ゼロの場合はその�霾�の演�Qをスキップすする。Eyerissでは50%��度の圧縮の効果があったが、EIEの場合には、���iにPruningが行われていることから効果は少ないと推�Rしている。�����v路構成��般に検�凜轡好謄爐鮗��△靴覆い箸い韻覆い茲Δ任�なり�_たい�\術だ。ちなみにEyerissでは、単純に�QPE内でデータを検�瑤靴討い襪世韻里茲Δ澄�

以�屐�Deep Compressionの�Q圧縮のStep 1〜5（図38）を濃淡はあるが、説��した。

引き��き、複数の�b文����を参考にしてまとめた�T果を��す。
図41で、圧縮のフロー(a)と�Qステップでの圧縮の効果の流れ(b)を説��する。データに関してはベクトル演�Qをする際に、ゼロであればスキップする。�_みに関しては、Pruningにより�_みの数が9分の1になった後に、そのゼロ以外の�_みの位��情報に関しては圧縮�`格納�擬阿鯏���する。4ビットの位��情報（Sparse Indexes）に集約される。オーバーヘッドは16%となる。�_みに関してはクラスタリングで量子化を行う。

32ビットから�Q込み層（Conv）は8ビットに圧縮、���T合層（FC）は5ビットにそれぞれクラスタ化される。8ビットは256�|類に分けられ、5ビットは32�|類に分けられたことになる。平均は(b)に��したように5.4ビットとなる。同時に256�|類かつ32�|類の合��288�|類32ビットの代表（Centroid）の�_みをコードブックとして�eつ。AlexNetの場合、そのオーバーヘッドは0.1%と極めて小さい。その後、ハフマン符�ｲ修魴个董��_みは平均4ビットで表現され、位��情報は3.2ビットで表現されるようになる。最後の実際の演�Qでは、逆符�ｲ重�を行い積和の演�Qを行う。

なお、�R�Tしてほしい点は、図41(a)の符�ｲ修��霾�は、学�{の段階でオフラインで行っておく作業である。実行では、逆符�ｲ修肇如璽燭離璽軛佑慮―个�主なEIEの作業となる。

図41 Deep Compressionでの圧縮の流れ　（参考�@料45を参考に作成）

(3)EIE (Energy Efficient Inference Engine：Stanford�j学)〜モバイル適��を狙う
�i項に引き��き、Deep Compression関連である。LSIへの実�◆�CADレベル）したものが何度も説��しているEIE(Energy Efficient Inference Engine：参考�@料46)である。

彼らはEIEの実�△任蓮�以下に��す点で内容を微調�Dしたり、�b文の内容を変えている。
1.ハフマン符�ｲ宗糞嬋簟ｲ宗砲牢泙泙譴討い覆ぁ�
2.����のビット数は16ビット�w定小数点が出発点。
3.データにゼロスキップを入れている（圧縮率は3倍と�jきい）。
4.���T合に�_きを��いている（RNN/LSTM、�O��言語への�t開等）。
5.逆符�ｲ修函▲如璽燭離璽軛佑慮―个砲茲蝓⊆孫圓�行われる。
6.他のLSI��例との比較/�@����(GPU/CPU)を加えた。

LSIとしての機�Δ蓮�Pruning、クラスタ化（量子化）の逆符�ｲ修函▲璽軛佑慮―个函△修靴謄縫紂璽薀襯優奪肇錙璽�の通常の実行である。��別な�v路の実�△���要だ。逆符�ｲ��v路等を導入しないと、100 GOPS��度の性�Δ世�、導入すると3TOPSと30倍の�]度改��が�uられる。通常のCPU/GPUで実行すると、その�]度改��は3倍��度と記されている。ハードウェアで専��化することから�k桁性�Δ��屬�ることになる。�v路的にはハフマン符�ｲ宗糞嬋簟ｲ宗砲悗��官�は入れていない。理�yは不��である。基��となるビット数は32ビットではなく、16ビットまで下げている。���iに検証して劣化がないと判��しての16ビットの採��だ。8ビットは劣化が��しかった。

���Qの�}順は以下となる。データ（Activation）の��ゼロ検出を行う。中心の�U御ユニット（Central Control Unit）で64個の演�QユニットPE (Processing Element)に��ゼロ値の演�Qを分配している。ひまそうな演�QユニットPEに演�Qをさせるように�U御している。その際に、入��データの値とデータの位��（index）をペアで送信する。位��情報を元に�官�する�_みの値と今度は�_みの位��を逆符�ｲ修垢襦�その際にSRAM内の�娣�`の値を使い、またコードブックより�_みの実際の値を引っ張ってくる。その後やっと積和の演�Qをする。

図 42 EIEの��要仕様　（参考�@料46を参考に作成）

チップの構成とラフなレイアウトを、参考�@料46を参考にして作成した。�QPEは演�Q�陲鮹羶瓦昧���の75%を��めるSRAM（�_み�娣�`��）が�Dり囲む構成となる(memoryの���~率は93%にも�屬�)。SRAM（�_み�娣�`）がパワーに��める割合は54%だ。演�Q�O��のエネルギー消�Jは10%と小さい。

AlexNet8, GoogLeNet22,そしてResNet34が搭載可��
図42の���笋了斗誉��Δ鮨�した。オンチップメモリの量は10MB�咾澄�AlexNetの�_みに��要なメモリ量は、��圧縮で240MB（32ビット換�Q）、Pruningとクラスタ化（量子化）で27分の1に圧縮されるとすると、9MB��度の�_み��の容量が��要なので、ほぼぎりぎりAlexNetのネットワークが格納できる。また、�Q込み層が主��のGoogLeNet22、ResNet34も圧縮率を10倍��度と見積もっても、余裕を�eって搭載可�Δ澄�

800MHz動作で、実行3TOPSの演�Q�ξ�を誇る。エネルギー効率は5TOPS/Wと突出して良い。28nmを�i提として4倍にすると性�Δ蓮�0.8となるも、ほぼ8mm角でかなり���T合タイプのネットワーク（RNN）が実現できそうだ。

(4)圧縮�擬阿里泙箸瓠ΑΑφ乜縮、量子化、ロスレス圧縮
表7に今まで述べてきたいくつかのニューロチップの圧縮�\術をまとめた。次�Iで説��するTrueNorthも参考に入れてある。圧縮には、�_みとデータに�瓦垢襪發里�あるが、�_みにはピンク色を、データには黄�u色をつけて見やすくしている。�Q�����@の下に主に適��している層（Layer）を記載してある。例えばEIEは主にFC層（���T合層）に���`している。それに�瓦靴�EyrissはCONV層（�Q込み層）に��化している（参考�@料92には���T合層での検討も行っている）。

チップで見ると、TPU、EIE、IoEが積極的で、Eyerissはオーソドックスだ。���Q主��型でデータの圧縮(ゼロスキップ含め)を���k優先としていると見ることができる。

表7のように圧縮を3つに分�`することができる。�乜縮は、単純にゼロと見なしてカットしてしまう圧縮法としてまとめている。エラー率に影�xが出る場合がある。量子化は、それぞれの�}法により値を��き換えることによりビット数を圧縮している。ロスレス圧縮は本来��失のない圧縮�擬阿澄�（なお、スキップ法もロスレスの�}法だ）

（ア）�乜縮
ニューラルネットワークに��に��徴的とみることができるゼロ、もしくはゼロ�Z辺のデータを削除（Pruning）したりスキップしたりする�唹�な�桔，澄���性化関数ReLUが効果を倍�\している。積和演�Qが基本なので�U命でもある（積により極小化し、和によって相��されゼロ化される）。�_みの場合には��的な圧縮で、データの場合には動的な圧縮となる。かつ両�桔，箸發棒賁臈�な�v路を入れる��要がある。��に�_りの場合には残った接��を覚えてかつ、実行では��しく動作させないといけないので複雑な印��を�pける。データの場合にはダイナミックな�}法が��要（Eyrissでは、PE内�陲任僚萢�に�里泙辰討い襦法ｆ��T合の場合には接��が広�Jでかつ1��1であることからゼロと見なせる可��性が高く効果が�jきい（10倍以�屐Ц機甑N長?!）。そのことから��須�\術だ。

（イ）量子化
TPUは単純な線形の圧縮（Max-Min値を線形に256分類）により8ビット化を行っている。�k�機�Stanford�jの�h価（EIE：参考�@料46）では8ビットでは性�ξ�化が�jきい（AlexNet80%→53%）との報告もある。TPUでは適��例により使い分けているということかもしれない（なお、TPU�O��がビット数可変である可��性もある）。

その点、EIEはクラスタ化により圧縮率を�屬欧討い襦Ｃ噂磴砲笋襪�8bitは無理だが、クラスタ化を行うと平均5.4ビット(�Q込み層8ビット、���T合層5ビット)まで圧縮が可�Δ世伴臘イ靴討い襦����z�v路が��要だ。より��の高い�桔，法��i�Iでも述べたがIoEのフィルタ/カーネル（�_み）のパターン化により圧縮法がある。高次のカーネルレベルでの符�ｲ宗���徴抽出）と見ることもできる。しかし、考えようによってはネットワークの層が進むこと�O��が、カーネルの抽��化（マクロ化）であるから何が何だかわからなくなる。今後どのように進むのか興味のある�\術だ。

（ウ）ロスレス圧縮
内�陲任�なり圧縮が進めば、効果は低く出ると考えられるが、1.5倍��度の効果が見込めるようだ。

表7 圧縮�\術の�k覧

圧縮�\術に関するまとめ
�Q込み層（��にC型のCNN）では余り思い切った策は�Dりにくい。効果が比較的低めに出るからだ。（次�Iで述べるSqueeze Netは入れ込んでいるが）。
���T合層を主��とするネットモデルでは、積極的な�t開があると�[定している。場合によってはバイナリ・コネクトなりバイナライズド・ネットワークの出番かもしれない（参考�@料41、42）。
初�Mの段階から時間が経ち、現時点(3月)では2月のISSCC2017、及び2月後半のFPGA2017(International Symposium on FPGA 2017)の内容も判��している。�~単に述べると、�Q込み層をターゲットにISSCC2017ではデータ/負荷共に量子化を行う�\術の報告があった。層毎でビット数を最適化する�}法（4-9bit）、さらには真にダイナミック（Real Time）に最適ビット数を検�瑤啓孫圓垢��桔，諒鷙陲�あった。かなり限�cまで詰め切った印��を�pけた。FPGA2017では1bit(Binary/XNOR) /2bit(ternary)に関する�\術の報告が�rんになされた。この�\術に関してはある��度�\術的に�妓�性が見えつつ�~りまた課��も見えてきた�X況である。

以�屐���4章では4.1�Iから4.3�Iに�Xけて、CNN、DNN、および圧縮�\術に関してのニューロチップの詳細を報告した。最終の��5章では最�Zの動向を加える。ニューロモルフィックチップとして最�Z新しい広がりを見せるIBMのTrueNorthと圧縮�\術（Deep Compression）の実�⇔磴鮠匆陲垢襦�最後に本寄�Mのまとめとして動向と今後の課��を述べる。

��集�R）��瀬��の現在の肩書は、���L�O�j学 �j学院情報科学研�|科 学術研�|�^である。

---

参考�@料 (1〜88まではこれまでの「ニューロチップ���b」参照)

89. TeraDeep社の新�△離曄璽爛據璽�
90. Market Video, "TeraDeep's Industry-First FPGA-based AI Inference Fabric Speeds Image Recognition, Video Analytics for On-Premise Appliances", October 18, 2016, TeraDeepの実��的なPress Release/Xilinx/Micron, 20181018.
91. XLINX, "TeraDeep's real-time video analytics run on (gasp) FPGA-based Micron/Pico Computing AC-510 platform", XILINXのDaily Blog, 20161018.
92. Yu-Hsin Chen, Joel Emer and Vivienne Sze, "Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks", 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA), EyerissのFull Paper版, 2016�Q6月18日.
93. 電子情報 2016�Q10月16日,"Google、IBM、AMD、NVIDIAなどがより高�]な�@��インターコネクト「Open CAPI」発表。サーバを10倍高�]化にすると"
94. Norm Jouppi, Distinguished Hardware Engineer, Google, "Google supercharges machine learning tasks with TPU custom chip", Google Could Platform Blog, 20160518, Google, TPUの発表
95. 電子情報, Stacey Higginbotham, "Google Takes Unconventional Route with Homegrown Machine Learning Chips", The Next Platform, May 19, 2016, TPUに関して比較的�@度の高かった電子情報, 20160519.
96. Pete Warden's Blog, "How to quantize neural networks with TensorFlow", TPUに使われていると�[定されている量子化�\術, 20160503.
97. IT Media, "Google、人工���Ρ���のシティガイド企業「JetPac」を�A収"
98. EETimes Europe, Peter Clarke, "IoT processor beats Cortex-M, claims startup", TPUがIPコア（画�鞠Ъ院砲箸靴�IoTチップに搭載予定（GAP8）, 20161104.
99. Quoc V. Le & Mike Schuster, "A Neural Network for Machine Translation, at Production Scale", Google Research Blog, 20160927, GNMT(Google Neural Machine Translation)に関しての紹介記��（�b文の発表にあたって）
100. Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean, "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", GNMTの�b文, 2016�Q10月8日.
101. Song Han, Jeff Pool, John Tran, William J. Dally, "Learning both Weights and Connections for Efficient Neural Networks", Pruning�\術、スタンフォード�j学、2015�Q10月30日.
102. Stephen Jose Hanson and Lorien Y Pratt, "Comparing biases for minimal network construction with back-propagation", In Advances in neural information processing systems, pages 177-185, 1989, 初期のPruning�\術.
103. Yann Le Cun, John S. Denker, and Sara A. Solla, "Optimal brain damage", In Advances in Neural Information Processing Systems, pages 598-605. Morgan Kaufmann, 1990, 初期のPruning�\術（接��数を��らした）.
104. Babak Hassibi, David G Stork, et al, "Second order derivatives for network pruning: Optimal brain surgeon", Advances in neural information processing systems, pages 164-164, 1993, 初期のPruning�\術.