AIリスク(その1): AI�\術実�△砲茲�O�擎修垢襯轡好謄爐硫檪�
トップ研�|�v達のAIリスクへの言及が、約1�Q�iより�\えて来ている(参考�@料1~5)。その内容は、雇��少を気にした旧来の�b調からエスカレートしており、人類を脅かす問�、核兵�_並みとされている。 本ブログでは、その�要を数�vに分けて報告したい。問�を�確に認識することが、�敢�\術の価値を理解する�屬任猟_要なステップと思うからである。
トップ研�|�v達の警笛
トロント�j学のHinton教�b(�R1)は、2023�Q5月にGoogle社から�`れ、複数のメディアを通してAIリスクを警告した。その中には、以下の指�~が含まれていた。
- AIは�U御を失い、人類にとって�害をもたらす�T在になる可��④�△襦�
(AI等の先端�\術により人類が絶滅する確率は、今後20�Q間に10%�度ある) - ネットワークにつながるAI群は、�k�|の集団�T識(Hive-Mind)を形成し、人間に�瓦垢詬グ明④鮠}に入れる可��④�△襦�
- �敢�亙��蕕覆い�▲▲淵蹈哀灰鵐團紂璽拭�R2)の�気�⊃祐屬砲箸辰討蝋イ泙靴い世蹐Α�
また、現在の�收�AI�\術の先導役であるモントリオール�j学のBengio教�bは、2023�Q12月に、以下のように�盜餤腸�岷,砲�AIリスクへの理解を証言し、�敢��㌫廚世帆覆┐拭�参考�@料3)。
- 環境と�O�朎�冒蠍澪鄰�するAIシステムは、不可逆的に�U御喪失する可��④�△�
- その�敢�聾�そ个擦討い覆ぁ�泙拭△修�敢�砲匹琉未隆鉸屬鰺廚垢襪���蕕覆ぁ�
- 不良化したAI(Rouge AI)の出現に�△─∨標翕�AIを開発する国際的な研�|ネットワークを構築し、防ナ的 AIの�\術をそのネットワーク内に秘匿化するべきだ。
- �j��模 AI システムは、寡�化する(�jきな権�を少数個人に与える)可��④�△襦�
両教�b共に、�j�}テック企業との関係が密だったからであろうか、これらの問�を予�[する理�yについては�Hくを語っていない。また、社会の�笋癲�塹��Bを除き、日本国の中では未だ�jきな反応を見せているようには思えない。反応が少ない理�yは、AIが人類の�發箸覆�餮譴蓮▲汽ぅ┘鵐后Ε侫��轡腑鵝�SF)の�R��みのテーマとして定�してしまったからであろうか?
実は、工学研�|�v達のAIリスクに関する学術�b文の発表や書籍の刊行は、2017�Qを境に、��\している(図1)。それらは、
- AI�\術に�遒狎伴綫㌣筱�
- AI�\術の�K�問�(マルウエア�收�筌汽ぅ弌柴�撃)
- AIの動作がブラックボックス的であり、推�b�T果を説��靴覆ぬ筱�
(AIの�b理は確率的であり、人間が理解可�Δ弊���AIに行わせることができない) - AIの動作を開発�vの�T図に�わせることの�Mしいこと
- 高度なAIをインターネット等で環境と相互作�(�O�朗虻遏砲気擦襪海箸�e険なこと
(AIが、�O�朎�某祐屬�召泙覆て虻遒鮃圓Δ箸いΩ����弔�辰討い襦� - 社会や�業�cに、独�や寡�が発�擇垢觀鎤阿�△襪海�
- ���兵�_の�O�朗虻遒砲�e険であること
に関する内容が�Hい(参考�@料4、5)。

図1 左の(A)は、Abstract欄に"AI"と"Defensive"を含む�b文・文献数の推��(2024�Q2月13日集�)、��の(B)は、 Abstract欄に"AI"と"Risk"を含む�b文・文献数の推��(2024�Q2月15日集�)
2017�Qは、�收�AIに関する基盤�\術が見いだされ、AIの言語インターフェースが革新され、IoTに関する連合学�{�\術が見いだされ、�j量のAI(�O�惞─璽献Д鵐函坊欧鯆命�優奪肇錙璽�砲茲辰禿�腓垢襪箸い�妓��充妥�箸覆辰芯_要な�Qであった。
��常に、�H岐にわたるテーマが含まれているが、筆�vは、これらは、AIをIoT(Internet of Things)システムに実�△気擦浸�鉾�擇垢詭筱�であると見る。そこで、以下に、2017�Q以�T、顕著となったAI-IoT統合での�_要�\術2点を改めて振り返ってみる。
IoTシステムのマルチエージェント化と連合学�{�\術
IoT�\術は、実�饑つcで�n働するセンサ等の端�機�_を通して収集する�j量のデータを、インターネットを通してデータセンターのサーバに蓄積し、統�処理を行った�屬巴蒔�機�_に�U御信�として�v帰させるというネットワークベースの複合システム(System of Systems)アーキテクチャである。 �j量に収集されたデータを元に、サーバがデータを確率的な推�b�b理として集約し、高度運転�мq/�O動運転/���]�U御/�攵�U御/インフラ管理から金融/���浜�亡悗垢訝蒔����を�O�朎�縫汽檗璽箸垢觴匆饉�△�什濘覆瓩蕕譴討い襦�
そのIoT端�を、ネットワークが��絶した孤立環境でも�O�朗虻遒垢襪海箸魏�Δ箸垢戮��Z�Qは、端�やエッジサーバ���にもAI�\術を実�△垢�妓��Edge-AI)が試されて来ている。 そのように�O�朗虻�ξ�が高い端�は、コンピュータサイエンスや認��奮悗埜世錣譴襦屮─璽献Д鵐函廚箸澆覆気譴Δ襦�R3)。 端�をAIエージェントに進化させ、IoTシステムを、�O�暙④�發ぅ泪襯船─璽献Д鵐肇轡好謄爐吠冤討気擦觚�|は、��にドローン等の����兵�_開発にて�嗄�に進められて来た(図2)。
図2 ����\術におけるAIエージェントの統合化の動向 出�Z : �@�人工��Ω�|会での筆�vらの発表�b文で�いた図
但し、複数のエージェントが連携し、共通の�`�Yや�`的を実現すべく協調するには、�Qエージェントの学�{がローカルに孤立し分�g的であっては不�科�任△蝓�Qエージェントの学�{�T果を、システム���を管理するサーバに集約・統合し、協調的な経�x�瑤箸靴萄胴柔�靴萄毒杰�靴覆�討呂い韻覆ぁ�
そのような協調的学�{(Collaborative Learning)を、より少ないデータ交信量にて効率的に行う�}法が、2017�Qに、Google社より見い出され連合学�{(Federated Learning)との�@称で発表された。連合学�{は、IoTシステムを�O�暙④�發ぅ泪襯船─璽献Д鵐肇轡好謄爐某焚修気擦�屬任猟_要なブレイクスルーであった。
端�やEdgeサーバへのAI�v路の実�△砲茲襦�IoTシステムのマルチエージェント化は、���システムを�j々的に革新しつつあるが、そこで��Tされている�\術は、�業�cや��B・�O�E��が進めているDX(デジタルトランスフォーメーション)で�いられる�\術と共通する。 その�X況の調�hは、昨�Q、筆�vらが「AIによって�O�擎修�覆�盜����\術の動向」と�した研�|会�b文にまとめた(参考�@料7、8)。
�收�AIによるマルチエージェントシステムの管理
Google社は、2017�Qに、トランスフォーマアーキテクチャと�}ぶ、入�テキスト文を元に、文章や画�気覆匹離灰鵐謄鵐弔�O動�收�垢�收�AI�\術(�j��模言語モデル)を発表した。�收�AIは、プログラムコードを出�させることもできるため、�Q�|の���内のプログラムと��Bし、��新されるソフトウエアを�O�朎�貿杰�垢襪海箸皺�Δ任△襦�弔泙蝓�收�AIは、チャットボットとして人間と��Bするように、IoTシステムの�QAIエージェントと会�Bし、�QAIエージェントに指令を出すデータセンター�笋龍\術であった。
�T果、IoTシステムは、環境からの情報を元に�O�朎�睦X況を認識し、�O�朎�亡超㍍罎貌�④�韻襪海箸��Δ�U御�UAIシステムへの進化を開始した。しかし、このことが、先進の研�|�v達も不�Wとさせている点である。Internetには様々なAI搭載���が参加しているため、�收�気豼��気譴襯如璽燭筌魁璽匹�帖垢���に及ぼす影�xの�てを予�[することなど不可�Δ世�蕕任△襦�泙靴討筺�AI�\術には、様々な脆弱性や�U御の�Mしさが報告されている。
カリフォルニア�j学バークレイ�髻�UC Berkeley)のDan Hendrycks��蓮◆屬海譟�AI開発)は���^びのようなものだ」と言い、「今日のシステムをより�W�にする�桔,慮‘い�㌫廖廚函��惷\術の��Cから「�W�設�の原�А廚�㌫廚任△襪海箸�喞瓦靴拭�参考�@料4)。
また、イリノイ�j学アーバナ・シャンペーン�髻�University of Illinois Urbana-Champaign、UIUC)のR. Fangら研�|�v達は、「�j��模言語モデル(LLM)が、��iにサーバやPC等の脆弱性を学�{させていなくても、�O�朎�縫ΕД屮汽ぅ箸鬟魯奪⑤鵐阿掘∧�┐淵織好�鮨祐屬離侫�璽疋丱奪�覆靴納孫圓垢襪海函廚鮨�した(参考�@料9)。インターネットに接�され、世�c中にサービスを行っているGPT-4のような�收�AIも、「そのようなハッキングが可�Α廚任△襪海箸�稜Г気譟∧鷙陲靴晋�|�v達は、「�Mたちの調�h�T果は、LLM の広�Jな�t開について疑問を引き�こす」との見解を記した(参考�@料9)。
今、この問�の����気鰺�鬚掘�敢�鮨覆瓩襪海箸�㌫廚箸覆辰討い襦E��ながら、�敢�\術には、�jきな�x場価値があるはずである。
筆�v�R
1. Hinton教�bは、深層学�{(Deep-Learning)�\術を見出し、Auto-Encoderや深層学�{を始めとして、��2次AIブーム以�TのAI�\術開発の先導�vであった。
2. Hinton教�bは、Google社で「アナログコンピュータ」の開発に�Dり組んでいた。Wired-Onlineの記�によると、「アナログのハードウェアはそれぞれ少しずつ異なるため、あるアナログのモデルから別のアナログのモデルにパラメータの�_みを�,垢海箸呂任④覆ぁ廚海箸�瓮螢奪箸箸覆襪噺譴辰討い襦併温憂@料10、11)。
3. エージェントとは、元々は、「設定された�`�Yや�`的を実現すべく�O�朎���動する代理人」を�T味する法�暿�語であったが、コンピュータサイエンスでは、1990�Q頃より、「��定タスクを�O�朎�房孫圓垢襯廛蹈哀薀燹廚料T味で使われて来た。�T果、「エージェント」は、サーバ��AIの�мqが無くても�O�朎�乏�{し応答することが可�Δ福��定タスク向けの����Ε皀献紂璽襦廚料T味で使われて来ている(参考�@料6)。
参考�@料
1. Y. Bengio, et al., "Managing AI Risks in an Era of Rapid Progress", (2023).
2. Y. Bengio, "AI and Catastrophic Risk", in Journal of Democracy", (2023/09)
3. Y. Bengio, "Presented before the U.S. Senate Forum on AI Insight Regarding Risk, Alignment, and Guarding Against Doomsday Scenarios", presentation before the U.S. Senate Forum, (2023/12/06)
4. Dan Hendrycks & Mantas Mazeika, "X-Risk Analysis for AI Research", Submitted on 13 Jun 2022.
5. �兩鍄�江間�~沙、�j�妬�`;「(耕�b)AIと�Mたち 人工��Α�U御できるか」、朝日新聞デジタル、(2023/09/16)
6. M. Wooldridge & N. R. Jennings; "Intelligent agents: theory and practice", The Knowledge Engineering Review , Volume 10 , Issue 2 , June 1995 , pp. 115 - 152.
7. �K��&�兩遏◆�AIによって�O�擎修�覆�盜����\術の動向」、�@�人工��Ω�|会、(2023/10/27)
8. �K��&�兩遏◆�AIによって�O�擎修�覆�盜����\術の動向(スライド)」、�@�人工��Ω�|会、(2023/10/27)
9. R. Fang, "LLM Agents can Autonomously Hack Websites", 2024
10. Steven Levy, 「AIのゴッドファーザーが提案する、未来のAIを友好的に保つ�桔�」、Wired, (2023/08/11)
11. Charles Platt,「アナログコンピューターの逆�─複雑な現実を扱う新世代アナログチップは実現するか」、Wired, (2023/06/23)