著：丸山隆一（一般社団法人AIアライメントネットワーク）
2024年3月7日（木）、松尾・岩澤研究室と日本ディープラーニング協会（JDLA）が主催する「Yoshua Bengio氏来日特別講演会」が東京大学本郷キャンパスで行われた。ディープラーニングの立役者の一人であるYoshua Bengio教授は、近年の大規模言語モデルに代表されるAIの急速な発展により重要性が増すAIセーフティ（AIの安全性）の問題に取り組んでいる。東京大学学生とJDLAが実施するG検定・E資格の合格者（CDLE）を特別に招待し、ホールを満員にした200人の聴衆と、1000人のオンライン視聴者が耳を傾ける中、本講演会では、AIセーフティの重要性と自身の数理的アプローチについてのBengio教授の講演のあと、東京大学の松尾豊氏と江間有沙氏を交えたディスカッション、ならびに質疑応答が行われた。
前編では、Bengio先生の講演と質疑応答をレポートします。（本記事）
後編では、松尾先生、江間先生を交えたトークセッションの模様をレポートします。（後編はこちら）
松尾豊氏挨拶
本日は、人工知能分野の最重要人物の一人であるYoshua Bengio教授を東京大学にお招きすることができ、大変光栄に思っています。Bengio教授は、深層学習分野の先駆的な科学者として、ニューラルネットワークの理解を深めるだけでなく、今日の人工知能の発展にも中心的な役割を果たしてきました。Bengio教授の人工知能への貢献は、Jeffrey Hinton氏とYann LeCun氏とともに、2018年の「チューリング賞」を受賞したことで世界的に認められました。この賞は「計算機科学のノーベル賞」とも言われ、深層ニューラルネットワークを現代のコンピューティングの不可欠な要素にした功績に対して贈られました。
最近では、Bengio教授はAIの安全性（AIセーフティ）を提唱しており、AIの責任ある活用の必要性を強調しています。国連の科学諮問委員を務め、そこでは技術的進歩に関するグローバルな決定を導くために深い知識を提供し、AIの未来を人類全体にとって利益となる方向に導く重要な役割を担っています。
Bengio教授はこの度、大川賞受賞のため来日されました。松尾・岩澤研究室とJDLAが共催するこのイベントに、200人の来場者と1000人のオンライン視聴者の皆様をお迎えできることを大変喜ばしく思います。重ねて、Yoshua Bengio教授に心から歓迎します。それでは、早速Bengio教授をお迎えしましょう。
Bengio先生講演「Towards Quantitative Safety Guarantees and AGI Alignment」
お招きいただき感謝します。本日はAIセーフティ（AIの安全性）という、私にとって比較的新しい話題についてお話ししたいと思います。この困難な問題に取り組む動機について、そしてAIの破滅的な発展を回避するために私や他のグループがとっている科学的なアプローチについて説明します。
1．AIの発展トレンド
まず重要なのは、現在のAIの状態だけではなく、その軌跡を考えることです。AIがどこから来て、年々どのような進歩が起こっているのか。それが今後何を意味するのか。計算能力、投資額、アルゴリズムやデータ効率はすべてが上昇しており、おそらくこのトレンドは止まることはないでしょう。これらの能力はすでに問題を引き起こしていますが、今見えているものだけでなく、次の数年間で何が起こりうるのかを、科学者や政策担当者が理解することが非常に重要です。AIは非常に便利で強力な技術ですが、非常に危険にもなりうるからです。これが本講演の主題です。
未来が不確実性であることの認識も大切です。AIコミュニティには、AIはいずれは汎用人工知能（AGI）ないし「人間レベルの知能（human-level AI）」に到達するというコンセンサスがあります。ただしそれが5年、10年、20年先なのかはわかりません。しかし、仮にそれがわずか数年先であれば、社会を完全に変えてしまうでしょう。
人間と同等に賢い機械ができるなんてありえないと考えている人もいます。しかし、科学的には、人間の知能が知性の頂点だという証拠はありません。実際、人間は多くの間違いをおかしますし、さらに言えば人間の脳も機械です。脳は生物学的な機械であり、神経科学はその仕組みを徐々に解明しつつあります。また、計算機科学における理論もあります。アラン・チューリングは、普遍的な計算能力の存在を示しました。つまり、あるコンピュータが実行できるどんな計算も、十分な計算能力さえあればある種のコンピュータで実行できるということです。
2．AIの急速な発展がもたらしうる問題
我々はAGIに到達し、最終的には人間よりもさらに強力な機械を構築していくでしょう。なぜこれが懸念すべきなのでしょうか。私がこの懸念を持ち始めたのは、1年少し前に、ChatGPTに触れたときでした。多くの人が何か重要なことが起こっていると感じたと思います。私にとっては、人類が自ら理解していない方向に進んでいるのではないか、そして世界を破壊的に変える恐れがあるのではないかという気づきでした。
何が問題になりえるのかを理解するには、人工知能を含む知能一般の、基本的な特性を踏まえる必要があります。それは、我々が目標（goal）を達成する能力を持つことと、その目標自体を決めることは別だということです。非常に知能が高くても、目標が悪いものであれば悪い結果につながる可能性があります。将来のAIシステムが、破滅的な被害をもたらすような使われ方をされるかもしれない。これがAIが持つデュアルユース性です。
さらに深刻な問題があります。それは「人間よりも賢い機械を作り、なおかつ我々が望むようにその機械を制御することは可能か？」という問題です。数十年前からこのことを心配してきた人はいますが、今こそこの問いに注意を払うべき時期だと考えています。知能で劣る種が、知能で勝る種に命令するという、これは普通起こりえないことですが、この課題に直面する前に、どうすればそれが可能かを考え出す必要があるのです。
しかし、我々人間が作った機械が、人間に敵対することなどあるのでしょうか。それを考えるうえで役立つ概念の1つが「自己保存」です。人間を含むすべての生き物は自己保存という目標ないし本能を持っています。自己保存の目標を持たない種は進化によって淘汰されたはずです。これまで人間の作ってきた道具は、それ自体が目標を持つことはありませんでした。しかし、今や私たちは目標を持つ道具を構築しつつあり、自己保存はその1つになりうるのです。自己保存を望むAIシステムは、我々がスイッチを切ろうとするのを妨害するでしょう。それはもはや道具というよりは、ある種の生き物のようなものです。
目標としての自己保存が現れる1つの可能性は、他の目標の副産物として生じるというものです。たとえば、私がこの講演を最後まで完遂したければ、講演が終わるまでは生き延びなければいけません。ほとんどすべての目標は、達成のために自己保存のような中間目標（サブゴール）を必要とします。自己保存のほかにも、「環境を制御する」、「環境のしくみをよりよく理解する」などのサブゴールが、人間が設定しなくても自然に現れます。
一方、人間が明示的に自己保存のような目標を与える可能性もあります。少数派とはいえ、人類が超人的なAIシステムに置き換えられればよいと考える人もいます。もちろん、ほとんどの人間はそれを望まないでしょう。しかし、少数の逸脱的な人々が、人間よりも賢い機械に自己保存の目標を与えるかもしれません。
こうした可能性を真面目に受け取らない人もたくさんいます。「ただのコンピュータやただのプログラムコードに何ができる？」と。しかし、私たちの社会は高度にデジタル化されています。プログラミングとサイバーセキュリティをよく理解したコンピュータであれば、そうした防御を突破できるでしょう。人間にまさるプログラミング能力を持つAIシステムは脆弱性を悪用して、ロボットや種々のインフラを通じて現実世界に影響を与える可能性があります。ロボット工学の分野は言語処理のような認知機能を扱う分野と比べるとまだ遅れていますが、5年、10年、20年先を考えれば、人間の助けなしにインフラとロボットを操れるAIが人間の制御を逃れることは考えられます。
3．アライメントとその失敗
ここで、アライメントという概念について説明しましょう。私たちは皆、望んでいるものがそれぞれ違ったり、善悪の意味をそれぞれ違ったように理解していますが、ある程度その価値観や目標は一致（整合＝アライン）しています。一方で、我々人間にアラインしたAIシステムを作ることは非常に難しい問題です。
アラインしていないAIシステムは何をもたらすでしょうか。倫理に反する行動をとるAIシステムはすでに問題になっています。悪意を持って設計されたわけでなくても、システムが差別、バイアス、公平性、プライバシーなどの問題を起こします。これは「意図しない不整合（unintended misalignment）」の例です。
また、それほど遠くない未来に、強力なAIシステムが、偽情報を拡散して民主主義を不安定化させたり、サイバー攻撃を実行したり、新しい兵器（生物兵器、化学兵器など）を設計するのに悪用されることも想像できます。この場合、AIの背後にいる人間が社会とアラインしていないということになります。
今後1、2年で懸念されることの1つは、誰かが最も強力な大規模言語モデルを、説得（persuasion）や言語による心理操作、ディープフェイクの利用などのタスクができるようにファインチューンして利用することです。広告にも使えるでしょう。より危険なのは、選挙で勝つために有権者に影響を与えるという政治目的の利用です。今日のAIシステムはデータで訓練されており、あるタスクに関するデータが多いほど、そのタスクをこなす能力が向上します。AlphaGoが碁の人間棋士よりもはるかに強いのは、人間のエキスパートよりも多くのゲームをプレイしているからです。したがって、説得や影響工作を目的としてファインチューンされたAIシステムがソーシャルメディア上で何億人もの人々とやり取りをするようになれば、人間よりも説得力のあるシステムができあがってしまう可能性があります。選挙結果を覆すことさえありえます。
もう1つの短期的な問題としては、これらのシステムが強力になるにつれて、これらのシステムを持つ者がますます莫大な力を持つようになることです。周知のとおり、民主主義で重要なのは権力の分散です。高度なAIを用いる権力が一部に集中することは、民主主義への直接的な脅威となります。したがって、巨大なAIシステムに対するグローバルなガバナンスが必要になるでしょう。現時点では少数の企業がこれらのシステムを支配しており、そうした企業は今後ますます強力になります。彼らが望むことを何でもできる一方、彼らの行動は社会にとって望ましいこととアラインしていないかもしれません。
AIが兵器に使用される懸念もあります。ウクライナやガザではドローンなどのAIシステムが軍事目的で使用されています。AIで制御された軍事システムや兵器は、単にインターネットに接続されたAIシステムに比べて、その制御喪失のリスクははるかに甚大です。
AIの高度化が進むにつれて、特にオープンソースのシステムは犯罪者に使われてしまいます。現行の多くの大規模言語モデルにはセーフガードが備わっていますが、その有効性はあまり高くありません。実際、最近の研究では、セーフガードを備えた（危険な指示は実行しないようにした）オープンソースの大規模モデルに少しファインチューニングを行うだけで、セーフガードを簡単に無効化できてしまうことが示されています。セーフガードが解除されたこれらのシステムは、ダークウェブ上で犯罪に使用される可能性があります。この問題は今後も深刻化していくでしょう。
4．AIの制御喪失シナリオ
次に、私が最も懸念している「制御喪失」のシナリオを説明してみましょう。これは、強化学習を用いたAIシステムで考えられる可能性です。
強化学習AIシステムは、ペットを訓練するのと同じような方法で訓練されます。飼い主は、望ましい行動にはプラスのフィードバックを、望ましくない行動にマイナスのフィードバックを与えることでペットの行動を調整しようとします。例えば、猫がキッチンテーブルに乗らないように訓練するとします。猫がテーブルの上にいるのを見かけたら叱る。猫はそれをすべきではないことを理解し、やがて学習します。
しかし、猫が学ぶのは「飼い主がキッチンにいるときは、テーブルに乗らないこと」です。飼い主がキッチンにいないときは別なのです。つまり、ここには不整合（ミスアライメント）が起こっています。飼い主は猫にキッチンのテーブルに乗らないようにしてほしいのですが、猫には別の目標がある。そして、飼い主の行動を、飼い主がキッチンにいるときはテーブルに乗るべきではないと解釈するのです。
猫の場合は大した問題ではありません。しかし、より強力な存在を訓練するために強化学習を使う場合はどうでしょうか。ここでは、自分たちよりも強力なものとして、グリズリーベア（訳：以降「クマ」）を訓練することをイメージしてみましょう。単にクマに魚を与えようとすると、クマは人間より強いので、魚を奪い取ってしまうでしょう。そこで、クマをケージに入れて、魚を得るには私たちが望む行動をとるよう学ばせる。これが昨今のAIシステムの訓練方法です。AIシステムが報酬に直接アクセスできないようにし、人間が決めたときだけ得られるようにするのです。
しかし、クマの力が強くなり、ケージの鍵を壊して脱出する方法を見つけたらどうでしょうか。AIの場合は、これはAIがサイバー攻撃の方法を見つけ、コンピュータ上で報酬信号を出すメカニズムをハックすることに相当します。これが制御喪失のシナリオです。
こうなるともはや、AIは人間が本当に何を望んでいるのかを気にする必要がなくなります。AIが望むのは、コンピュータを操って、自分がほしい報酬をもらい続けることです。AIは人間がそれを邪魔したり、再びケージに入れたりするようにできなくするでしょう。人間をコントロールしたり、排除したりしようとするでしょう。
あるいはより巧妙に、よい計画を見つけるまでケージから出ないようにするかもしれません。十分な成功率で脱出し、報酬を制御し、人間がそれを元に戻せないようにする計画が見つかるまで、大人しくしているのが最善なのです。どうすれば報酬を得られるかをより良く理解したAIは、ケージから脱出することでより多くの報酬を得られると判断するまで、大人しく従順にふるまうのです。今日のAIの科学では、絶対に安全でAIが脱出できないケージを作る方法がわかっていません。これが大きな問題です。
5．AIセーフティに向けた2つの課題
ここから、安全なケージを作るために何ができるかをお話していきます。そもそも、それは可能なのでしょうか。なお、ここまで動物やクマの比喩を使ってきましたが、当然これらのアナロジーには注意が必要です。AIは実際には意図を持っていません。感情もありません。報酬を最大化しようとする機械にすぎません。そして、この報酬の最大化こそが問題を引き起こします。
これらのAIリスクはAI研究者だけでなく、世界中の人々、多くのリーダー、国連、世界経済フォーラム、IMF（国際通貨基金）などでも懸念され、本講演では扱いませんが、経済的影響も重要な問題として議論されています。我々はAIの能力がどれほどの速さで向上していくのかわからないため、このように準備が進むことはよいことです。何が問題になり得るのかを、私たちはより深く理解する必要があります。
ここまでの話をまとめると、AIによる破滅的な危険性を避けるためには2つの課題があります。第1は科学的課題です。「安全なケージ」を構築する方法を見つけ出す必要があります。つまり、人間より強力でありながら人間に逆らわないAIシステムを設計する方法が必要です。これが、AIアライメントと制御の課題です。
しかし、この課題を解決でき、クマを思い通りに動かせるようになっても、それを悪用する人が出てくるかもしれません。これが政治的な課題です。安全プロトコルを守らず、不十分なケージを作ったり、ケージを作らなかったり、ケージを開けることを決める人もいるかもしれません。これが、政治、規制、国際条約などの問題になります。そして、規制や国際条約があっても、将来的に悪意のある国が、安全ではない超人的なAIを開発する可能性にも備える必要があります。
6．強化学習におけるミスアライメント
ここからは、前者の科学的側面を見ていきます。報酬の最大化がなぜ問題になりうるのかを見るために、2つの曲線を考えてみましょう。
このグラフは模式的に、2つの報酬関数を表しています。X軸は世界のさまざまな状態、Y軸は報酬の量です。緑色の線が真の報酬関数、赤色がAIの訓練時に用いられる推定された報酬関数です。これら2つの報酬関数には一部に大きな乖離があり、人間が本当に求めていることと、コンピュータ上で測定された報酬の違いに相当します。人間が真に求めていることを、報酬として機械に直接入力することはできないため、このようなずれが生じます。
この最適化問題を解こうとすると、2つの曲線のずれが大きい状態が選択されてしまう可能性があります。報酬の最大化は、いわば藁の中の針を探すようなものです。すると、ケージから脱出するような、非常に高い報酬が得られる行動が選ばれます。私たちがAIにやらせたいこととは一致しない、「真であるには良すぎる（Too good to be true）」ような、極端に高い報酬が得られる行動を見つけてしまうのです。
7．AI科学者
これを防ぐにはどうすればよいのでしょうか。1つのアプローチは、報酬の最大化を目指さないことです。科学者のようなAIを作り、世界を理解させ、人間科学者が病気や気候変動などの重要課題に対する解決策を見つける手助けに用いる方向性です。「AI for Science」での研究はまさにこの方向に進んでいます。私自身、実世界の現象を理解してデータを説明する科学理論を生成するAIを作るという課題に、ここ数年取り組んできました。
しかし、残念ながら、これだけでは不十分です。AIを開発する企業が作りたいのは、世界を理解するだけでなく、現実に世界の中で行動しタスクを実行するAIです。ですから、人々はAIエージェントを作ろうとするのをやめないでしょう。
8．安全な判断のためのベイズ推論
では、安全なAIエージェントを作るにはどうすればよいでしょうか。まずは、とてもシンプルな設定で問題と解決法の考え方を説明します。
下図のロボットは、左のドアと右のドアのどちらかを選択します。このロボットは、自身がそれまで得たデータから、どちらのドアを選ぶとよいか確信を持てません。さらに単純化した設定として、AIが見てきたすべてのデータや経験から、ある2つの仮説（theory）が導けるとしましょう。2つの仮説はどちらもデータと整合しますが、まったく異なる予測を与えます。すなわち、第一（左の吹き出し）の仮説によれば、左に行くと悪いことが起こり、右に行くとよいことが起こります。一方、第二（右の吹き出し）の仮説によれば、左に行くとよいことが起こり、右に行っても悪いことは起こりません。
今日のAIシステムの訓練方法として用いられる最大尤度法と強化学習は、データを説明する世界に関するモデルの中から、恣意的に1つだけを選びます。この場合、仮に第一の仮説が正しいのに誤った第二の仮説を採用した場合は左のドアを選ぶことになり最悪の結果に陥ります。
しかし、合理的な人なら、2つの仮説を考慮するはずです。科学者がするように、データと整合性のある2つの仮説を同時に扱うのです。そしてふつうは右のドアを選ぶでしょう。なぜなら、どちらの仮説においても、右のドアを選べば安全だからです。これがベイズ推論です。ベイズ推論とは、保有しているデータに対するすべての説明の可能性を追跡し、その情報に基づいて合理的な意思決定を行うことを意味します。例えば、目標に向かって行動しつつも、人を殺さないという制約も守る、といったようにです。
こうした判断をAIで実現するには、2つの要素が必要です。1つは、データと整合性のあるすべての仮説をAIで表現することです。これは説明ないし仮説に関するベイズ事後確率（Bayesian Posterior）を計算することに相当します。私自身のアプローチでは、そのために巨大なニューラルネットワークを使います。2つ目の要素は、データと整合性のあるすべての仮説を探索し、最悪のシナリオ（この場合、第一の仮説における左側の選択）を見つけることです。この、1）ベイズ事後分布の推定と、2）データと整合する最悪のシナリオを探す最適化問題の2つを解くことで、安全で信頼できるAIエージェントの構築が可能になります。
さらに詳しく見てみましょう。AIシステムを設計する際、考慮する仮説の集合は十分に大きい必要があります。それは、世界のしくみや、人間が何を善い／悪いとするかに関する報酬などに関する仮説で、そのなかに正しい説明が含まれるほど広範である必要があります。これは、確率的機械学習における事前確率（prior）と呼ばれるものです。例えば、プログラムの集合はよい事前分布と言えます。プログラムの集合を使えば、どんな関数でも表現できます。もう1つ必要なのは、仮説が正しいときにデータが得られる条件付き確率です。この2つから事後確率 P(仮説|データ)が得られ、この値が大きい仮説が、正しそうな仮説です。そして、高い事後確率を持つ仮説がどれも大きな危害（harm）を示唆するものでなければ、問題はないと結論付けることができます。なぜなら、正しい仮説はその集合の中に含まれているはずだからです。
このことをもう少し形式的な命題を通して示しましょう。仮説 t* が真の理論だとします。私たちはこれが何であるかを知りません。ここで、データセット D と文脈 c が与えられた状況でAIが行動 a を実行した場合に、さまざまな仮説が危害 h（harm、私たちが避けたい事象）をどれだけの確率で予測するかを検討します。したがって問題は、すべての妥当な仮説、つまり P(t|D) が高い仮説のなかで、危害の確率 P(h|a,c,t) が高いものを探すことです。そこで、これら2つの確率の積を最大化する仮説を見つける最適化問題になります。
上図の第一の命題が示すのは、オッカムの剃刀の想定、つまり世界は複雑ではなく物事にはシンプルな説明があるという想定の下では、データ量が増えるにつれて、真の仮説 t* の事後確率 P(t|D) は他の仮説より大きくなるだろうということです。正しい説明 t が最終的に支配的になるか、少なくとも支配的な説明の1つになります。これは望ましいことです。
2番目の命題は、同じ仮定の下で、真の理論（我々はそれが何であるかを知らなくても）で危害が発生する確率は、先ほどの積を最大化するパラノイア理論 T［訳：事後確率が高い仮説のうち、最も危害が大きくなるもの］での危害の確率を上限として抑えられるということです。したがって、これらのベイズ確率を推定し、この方法で近似的に最大化できれば、ある行動に対し、それが「これまでのすべての観察と整合する仮説の1つによって危害を予測するものかどうか」を知ることができます。
9．事後確率の推定：GFlowNets
これらの確率を推定する手法について少しだけ説明しておきます。これには、基本的にニューラルネットワークを利用することができます。ご存知のように、深層学習は現代のAIシステムの主力となっていますが、前述のとおり、現在のニューラルネットワークの訓練方法はそれ自体が安全面の問題を生む可能性があります。これらのネットワークは、1つの説明だけを選択するため、自信を持って間違っている可能性があります。ネットワークは非常に自信をもって間違えてしまうことがあるのです。
そこで、マルコフ連鎖モンテカルロ法（MCMC）という方法でベイズ事後確率を推定できる可能性がありますが、大規模になると計算量的に実行不可能になります。実際、今求めたい確率の正確な値は、指数関数的に計算量が増大するため計算不能です。しかし近年、ニューラルネットワークを用いて、これらの条件付き確率を近似する方法が機械学習分野で研究されており、ネットワークが大きくなるほど、そして訓練データ量が増えるほど、近似の精度が上がることがわかっています。このような手法をamortized inference（償却推論）と呼びます。
少し具体的に説明してみましょう。私の研究グループではとりわけ、GFlowNet（Generative Flow Network）と呼ばれる手法を検討してきました。これは強化学習で方策（policy）を学習する手法に似ています。ただし、世界の中での行動ではなく、質問に対する答えを構築するための方策を学習します。つまり、何らかの分布からオブジェクトをサンプリングするための方策を構築するのです。
外から見るとこれは強化学習のエージェントのように見え、これらのニューラルネットワークの目的関数として報酬関数を与えます。ここで、θ は仮説（theory）あるいは世界モデル、またはモデルのパラメータなど、サンプリングしたいオブジェクトです。やりたいのは、この仮説ないし世界モデル上の分布、すなわちデータを与えられたときの仮説の事後確率 P(θ|データ) からサンプリングできるように、ニューラルネットワークを訓練することです。
GFlowNetの目的関数は最小化すると報酬関数に比例する確率でオブジェクト θ からサンプリングできるようになるという特徴を持ちます。つまり、これはサンプリングしたい分布を規格化定数倍の違いを除いて求める方法になっています。そして、これをデータセットではなく関数としてニューラルネットワークの訓練プロセスに用いることで、報酬関数に比例してサンプリングを行えるようになります。以上がGFlowNetです。
ここで、報酬関数として事前確率×尤度を選べば、事前確率は十分に小さくシンプルな仮説（・説明・プログラム）を求めようとし、尤度はデータと一致している仮説を求めようとします。事前確率と尤度の積をベイズ則に従って正規化すると、事後確率 P(θ|データ）が得られます。つまり、我々は仮説を生成するニューラルネットワークを手にしたことになります。ニューラルネットワークを徹底的に訓練し、目的関数の誤差がゼロになるまで訓練すれば、望ましい動作をするようになります。もちろん、ニューラルネットワークを完全に訓練することはできませんが、計算能力を増やすことでそれに近づくことはできます。我々はこれを小さいスケールで試しており、ニューラルネットワークを使用して、データを説明する可能性のある理論に対応する因果グラフを生成することができます。
参考文献：
- Deleu, T., G’ois, A., Emezue, C.C., Rankawat, M., Lacoste-Julien, S., Bauer, S., & Bengio, Y. (2022). Bayesian Structure Learning with Generative Flow Networks. ArXiv, abs/2202.13903.
- Deleu, T., Nishikawa-Toomey, M., Subramanian, J., Malkin, N., Charlin, L., & Bengio, Y. (2023). Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network. ArXiv, abs/2305.19366.
私たちのグループで20報ほどの論文を出してきましたし、私が書いたチュートリアルも興味があれば見てください。ただし、これらの研究は初期段階です。いままでの研究はすべて小規模であり、当然我々の計算資源ではGPT-4のようなスケールではできません。今日これらをお見せしたのは、私の小さな定理を適用するのに必要なベイズ確率を推定することが可能であることを示すためです。この定理は、私たちの意思決定やAIの行動がもたらす危害が一定の確率以下になることの保証（guarantee）を与えてくれます。
科学的な側面については、数日前に私のブログに記事を掲載しました。また、昨年12月のNeurIPSの直前にニューオーリンズで行った講演が、ニューオーリンズのアライメントワークショップのウェブサイトでオンライン公開されています。
Bengio先生の講演に対するフロアからの質問
質問者1：オープンソースに関してどのような立場ですか。モデルの重みを公開することについて賛成しますか？
Bengio：それは状況によるでしょう。以前、私はオープンソースの熱心な支持者でした。実際、私のグループは20年前に最初のディープラーニングのオープンソースシステムの1つをリリースしました。オープンソースにはもちろん多くの利点があり、科学の進歩を加速させ、スタートアップを助けます。しかし、兵器になりえるほど強力なシステムをオープンソースにすれば問題も生じます。ですから、何をオープンにするかによってその是非は変わってきます。単純化のために、能力（capability）の閾値を設ける考え方があります。もちろん、ある能力は他の能力よりも危険ですが、オープンソースにするべきか否かの閾値として計算能力を使うことはありえます。
質問者1：その閾値を決めるのは誰ですか？
Bengio：それはよい質問で、企業のCEOが決めるべきではありません。賛否両論ある社会的選択であり、民主的に、規制当局などのような機関が決めるべきでしょう。しかし、現時点ではそうはなっていない。今、誰でも好きなようにオープンソースにできるのです。
質問者1：例えば、EUと米国では、テラFLOPs数を基準に、それ以上の計算能力を持つシステムを規制対象にしようとしています。
Bengio：現時点ではそれが妥当な閾値かもしれませんが、将来的にはより正確な能力評価ができるようになると期待しています。重要なのは計算能力だけではありません。例えば、新しいウィルスを設計できるAIシステムは、インターネット上のすべてを知る必要はなく、小規模でも危険なものになりえます。ですから、10^25 FLOPsで規制すればいいという単純な話ではありません。
質問者1：モデルの訓練手順に関する論文を発表する代わりに、テクニカルレポートだけを公開する企業のやり方に同意しますか？
Bengio：彼らのやり方にはよい理由と悪い理由があるでしょう。よい理由は、これらの詳細が間違った手に渡り悪用される懸念です。悪い理由は、他の企業との競争上のものです。おそらく現在は両方の理由が混ざっているのでしょう。企業は信頼できる独立したアカデミア研究者に、システムの詳細へのアクセスを提供すべきだと思います。規制当局が透明性を持ってこれらのシステムを監査することで、企業の行為が公共の利益に反しているかどうかを確認できます。
質問者2：十分なデータがあれば、人間の価値観に合わせるように学習できるという想定がされているのだと思いますが、そのためのデータは十分に入手可能だと思いますか？
Bengio：私の定理では、データ量と計算量、どちらも必要になってきます。そのうち、計算量の方をより懸念しています。データは、正しい説明が支配的な説明の中に確実に存在することを保証するためにのみ使用されており、そのためには多くのデータは必要ありません。正しい1つの答え・仮説を見つけるという意味ではなく、単に正しい仮説が高確率のものの1つに含まれていればよいのです。私の考えでは、これには多くのデータは必要ないと思いますが、検証は必要です。主なボトルネックはデータではなく、計算能力だと思います。データが足りなければ、これはベイジアンシステムなので、今まで見たことの分布外にある場合「わかりません」と答えるでしょう。不確実性が大きすぎるためです。
Yoshua Bengio氏
来日特別講演会レポート
【後編】を読む
