Imagination、CNN推�b��アクセラレータAIコアを提供
英国のIPベンダー、Imagination Technologiesは、推�b専��のAI向けIPコア「PowerVR 2NX NNA」のライセンス提供を開始した。クラウドを通すとレイテンシが��くなるエッジやフォグなどの����に使うだけではなく、モバイルにも使えるほど消�J電��は少ないという。「セキュリティAIをエッジに�eってくる」と同社PowerVR 担当DirectorのChris Longstaff��は�喞瓦垢�。
図1 Imagination Technologies PowerVR 担当DirectorのChris Longstaff��
このIPを使えば、例えば1000��の�^真を学�{した検索エンジン(AIマシン)から、欲しい�^真を見つけるのに、高性��GPUなら60秒かかるところ、わずか2秒で求められるとしている。バッテリ��命の1%の時間を使って分類できる�^真��数は、GPUの2400��に�瓦靴董�42万8000��にものぼるという。また、ドローン��ではハードウエアを搭載しない場合、�����颪�ら10~15m�`れていないと演�Qが間に合わず衝突してしまうが、このIPコアを集積していれば1mまで接�Zしても衝突を�cけられるとする。
推�b��チップは、これまでモバイル����はなく、このIPコアは、GoogleやApple、Facebook、��度（Baidu）、華為などのスマホメーカーがAI/ニューラルネットワークをモバイルへ広げようとしていることに�官�するもの。このIPコアは、アクセラレータとして機�Δ掘�CPUと共に動作する。モバイル����として、低消�J電��と小さな�v路�C積が��要で、オプションだがMMU（メモリ管理ユニット）も集積できる。Androidをサポートしている点も��徴だ。ちなみに16nmプロセスでこのIPコアを集積すると1.1mm2��度の�C積だとしている。
Imaginationがニューラルネットワークアクセラレータと�}んでいるこのIPコアは、ニューラルネットワークの推�bアクセラレータとしての性��指数である推�b数/秒や、コスト効率を表す推�b数/mm2、消�J電��を表す推�b数/mWという指�Yで表すと、数�Cを�o開していないがすべて最高だとしている。またアクセラレータであるため、演�Q処理するためのハードウエアを�△┐討�り、ドライバ��のホストCPUとやり�Dりする。
図2 PowerVR 2NXファミリは推�b��IPコア 出�Z：Imagination Technologies
このIPコアはあくまでも推�b��のIPコアである。学�{をクラウド�屬離后璽僉璽灰鵐團紂璽燭�GPUのHPC（高性�Ε灰鵐團紂璽謄�ング）などで行い、ネットワークモデルや学�{データをマシンラーニングのフレームワークに格納している。この中に、オープンソースのデ��ープラーニングライブラリTensorFlowやCaffeなどを�eっている。これらのライブラリから����とするパターンを推�bするための形式に変換するのにImaginationが提供するPowerVR NNA Toolを使う。Imaginationは変換ツールに加え、DNNのAPIも提供する。
ニューラルネットワークの演�Qは基本的に行�`演�Qで､積和演�Qが中心になる。データに学�{��の�_みを�Xけ�Qしネットワーク��てのニューロン接��分を加えるという作業が��要だからである。このためこれまではGPUやDSPが向いていたが、データビット数は�w定しており、演�Qすべき�����颪砲茲辰栃僂┐蕕譴覆�った。このため、無�Gな演�Qも含まれており、消�J電��が�jきかった。GoogleのTPUは、レイヤーごとにデータビット数を変えることで、消�J電��を1/10に下げたという実績がある。このため、GPUやDSPではなく、AI専��のチップが求められている。
このPowerVR 2NX NNAでは、画�鞠Ъ叡�のCNN（�Qみ込みニューラルネットワーク）演�Qに��要な、画�気��Qみ込みからフィルタをかけたアクティベーション層、レイヤーを縮小するプーリング層、最後に完��接��層に至る操作を��て、このIPで行うデータフローシステムを�△┐討い�(図3)。この�T果、最小の�C積で最�jのMAC数/クロックを演�Qできる。
図3 PowerVR 2NXはCNNの動作を��て実行する 出�Z：Imagination Technologies
PowerVR 2NX NNAのアーキテクチャは、データビット数を32ビットではなく、16ビットや8ビット、4ビットと��要に応じて軽くできることが��長となっている。積和演�Qに��要なデータビットと�_み��けのビット数は、レイヤーごとに8ビット~4ビットで設定できる。
MACは�Y��構成として拡張性を�eたせており、16ビット/クロックのMAC（積和演�Q�_）を128~1024個、8ビット/クロックのMACを256~2048個�△┐討�り、ニューラルネットワークのレイヤーごとに最適なビット数を��ぶことができる。またビット深さはデータと�_みについて柔軟に変えることができ、16ビットから、12、10、8、7、6、5、4ビットまでサポートしている(図4)。加えて、このアクセレレータ内でデータフローを最適化しているため、外�陬瓮皀蠅悗離▲�セスは最小になっている。また、MMUをオプションで集積すれば、アンドロイドなどのOSにも�官�できる。
図4 PowerVR 2NXを使ったデータフロー レイヤーごとにデータ/�_みビット数を変えられる 出�Z：Imagination Technologies
このPowerVR 2NX NNAニューラルネットワークのアクセラレータIPコアは、CNNに�pった認識処理を�u�Tとするため、IoTビデオモニターをはじめ、サーベイランス(監��カメラ)、セキュリティなどのシステムに向く。消�J電��が小さいという魅��はモバイルカメラにも監��カメラ機�Δ���けられることを�T味する。
画�鞠Ъ韻忙箸�CNNでは、ディープラーニングライブラリはTensorFlowやCaffeなどが中心であるため、これらをサポートしているが、他のライブラリも��要ならばサポートしていくとLongstaff��はいう。
