ライブイベントなど�j画�C映�気鮗存修垢詒焼���をXilinxが推進
2020�Qの東�Bオリンピック/パラリンピック(東�B2020)などの�jきなイベントやコンサートに向け音�mや映�気�これまで以�屬��z��になる。これを�Г┐覿\術としてイメージセンサだけではなく、半導��チップ、��にFPGAが����されることになりそうだ。Xilinxはフレームサイズの拡�j、フレームレートの高�]化にFPGAが威��を発ｧすると訴求している。
画�CサイズはこれまでのHD（high definition）から4K、さらに8Kへと拡�jを見せている。フレームレートは画�Cサイズに引きずられ30fps、60fps、120fpsへと高�]化に向かっている。高�]にしなければ�j画�Cを�k気に表現できないからだ��色空間では色の深みを表す�妓�へ、さらに��るい所と暗い所を同時に最適なコントラストの映�気�できるHDR（高ダイナミックレンジ）などこれまでのイメージセンサや画�欺萢��v路よりも高い要求がなされている。そのビデオデータをホストコンピュータへ送るためのビデオ処理を可�Δ砲垢詒焼���がFPGAとなる。これほどの�j画�C・高�@細のデータを高�]に見せるためにASICでビデオ処理�v路を実現しようとするとその開発に2〜3�Qかかってしまうが、FPGAなら専��の�v路をプログラムするだけで実現できる。
Xilinxは、映�鬼愀犬塁x場として、放送機�_�x場と、業����AV機�_�x場を�[定しているが、いずれの�x場にも新しい�x場を創出できる�\術を揃えてきた。もともとデジタルの専��ロジック�v路を実現するFPGAのスケールアップを図ってきたが、��模が拡�jするにつれプログラム作業が�j変になると、プログラムを�}慣れたC/C++言語で作��するためのソフトウエアツールを開発、さらに専��のハードウエアロジックだけではなく、ソフトウエアベースでプログラムするCPUも同じチップに載せ、システムLSI（SoC）として扱えるようにもしてきた。
さらに昨�Qになると、コンピュータボードに差し込むだけでFPGAをプログラムできるアクセラレーションカード「ALVEO」を発表(参考�@料1)、今�Qに入り、CPU、FPGA、AI�v路、DSPなどを集積し、あらゆる応��にフレキシブルに�官�できるACAP（適��型コンピュータアクセラレーション基盤）コンセプト(参考�@料2)の��1��となる「VERSAL」����を出荷した。それに伴い、これまでのFPGA��のソフトウエア開発やCPUのコード開発ツールなどをまとめた総合ソフトウエア開発キット「VITIS」（参考�@料3）も今�Q発表した。
Xilinxが�[定する放送局でのライブTVを�Г┐詒焼���チップでは、図1のように、コンテンツ��集から画�気瞭�出��やアクセラレーションをはじめとして��集作業、グラフィックス処理、ルーティング��のスイッチ機�_や圧縮・�P長ボードなどにXilinxが�eつ����ポートフォリオを使える。
図1 ライブTVを実現する����群 出�Z：Xilinx
基本的には、ビデオカメラからの映�気�Camera LinkやCoaXpressなどのビデオ��格がなじみよいのに�瓦靴董▲灰鵐團紂璽��笋�EthernetやPCIeのような高�]シリアルインターフェイスがなじむため、その変換��のフレームグラバーボードが��要となるが、ここにFPGAが�~��となる。それもライブTVではレイテンシが可�Δ文造螢璽蹐��Zづけたい。このためのハードウエアが求められる。
図2 デジタルシネマを実現する����群 出�Z：Xilinx
しかし、デジタルシネマを�Г┐詒焼���では(図2)、リアルタイムは��要ないが、ビデオストリームとオーディオストリームの同期をとり、��集して音�x効果を�Bし込む。送るときには圧縮も可�Δ砲覆�。さらにシネマでは�]晶テレビやプロジェクタだけではなく、スマートフォンでも映�気鮓�たいという要求があるためトランスコーディングも��要となる。加えて��集する場合の色調�Dや、テロップに流すテキストを入れ込む作業も��要となる。
スポーツやコンサートなどのイベントでは、イマーシブ(没入���x的)なコンテンツが求められる(図3)。スポーツでは、きわどいプレイの見直しに360度の��点からのビデオを流すことも�\えてきた。このような場合にはインターネットからのIPネットワークでのサービス提供に�官�しなければならない。
図3 イマーシブなイベントを実現する半導������群 出�Z：Xilinx
応��では、機械学�{やディープラーニングを����することが�Hくなる。例えば、ビデオカメラで撮った映�気魎蘿Ь擇膿��颪鮓�分けるとか、ジェスチャーを認識するなどの応��がある。また、音�m認識�\術にもAIを使うことで、外国映画の音�mを認識し文�Cに��こすことが可�Δ砲覆�。また、実際の映�気魄欺未垢訃豺�、人�颪隆蕕箴}先を�z��に�，靴燭���操���\などでは、�z��に�Wきたい�霾�のみを�Hビットでエンコーディングし、背景の�霾�は少ないビットで表現してデータ転送を軽くすることもある。また、人�颪�3〜4人並んでいて、�Bをさせる場�Cでは人�颪里燗Hビットにし、それ以外の背景を少ビットに落とすことで負荷を軽くすることもAIの����で可�Δ砲覆襦４蕕��z��にしたい�霾�だけをロックオンする、あるいは�R�`すべきプレイヤーだけをマークして解�掬戮��屬欧襪海箸發任�る。
東�B2020では、ビデオとそれを�Г┐詒焼����\術が�莎劼筌謄譽咾���聴�vへテクノロジーの素晴らしさで驚きを与えることになろう。
参考�@料
1. Xilinx、��高級2.5D-LSIの��貌を��らかに (2018/10/12)
2. 東�B五�茲����∨�端Xilinx、アクセラレータカードや次世代VERSAL���T (2018/11/22)
3. Xilinx、AIを含めた統合ソフトウエアプラットフォームVITISを発表 (2019/10/02)
