「99.9%の確率で今後100年以内に人類はAIに滅ぼされる」と語るローマン・ヤンポルスキー

西暦2,025年1月25日ケンブリッジのERA(存在リスク同盟)のフェローシップ参加者であるセヴェリン・フィールドが、arXivに論文「何故専門家は存在リスクとP(doom)に就いて意見が分かれるのか？AI専門家の調査」を投稿する。以下の主旨の内容であった。①目的AI専門家の間でAGIの存在リスクとP(doom)に対する見解が極端に分かれる原因を調査する。例えば、ローマン・ヤンポルスキーはP(doom)=99%、ヤン・ルカンは略0%と推定している。②方法111名のAI専門家(学術66%・産業16%・AIセーフティ研究者9%)にアンケート調査を行った。AIセーフティに関する文章をランダムに1つ読む前後での、AIセーフティ概念への習熟度・以下の9つの信念に対する同意度の回答変化を測定した。回答は5段階リッカート尺度(強く反対・反対・中立・同意・強く同意)で行われた。❶優先度に関する信念Ⅰ.AGIはまだ先の話なので、心配するにはまだ早いⅡ.技術系AI研究者は壊滅的リスクに関心を持つべきであるⅢ.壊滅的リスクは概して誇張されている❷技術的信念Ⅳ.既存のML(機械学習)パラダイムでAGIを生み出せるⅤ.AIは何処まで行っても道具にすぎず、自分自身の目的や欲求を持つ事は無いⅥ.AIが悪い振る舞いをしたら電源を切れば全て解決するⅦ.十分に高度なAIには自己保存や制御の衝動が自発的に出現する❸其の他Ⅷ.一部のAIは、現在又は将来、道徳的配慮の対象になり得るⅨ.AIセーフティの研究は、屢々重要な進歩を遅らせ、時間の無駄である③主要な発見❶2つの世界観が存在するAIは制御可能なツール派とそうでない派に二分される。前者は、壊滅的リスクは誇張されていると考え、短いAGIのリードタイムを好み、AIセキュリティへの馴染みが薄い。後者は、自己保存欲求が創発すると考え、安全性研究を優先し、理論的安全性概念に精通する。❷AI専門家の多くがアライメント研究に不慣れである以下の用語に対する知識が無い。詰まり、機械学習の専門知識がAIセキュリティの専門知識に直結しない。Ⅰ.道具的収束(認知率21%)最終目標が何であれ、其の為に役立つ共通の下位目標を自然に追求する様になる、という理論である。自己保存・資源の獲得・自分自身の停止を阻止する事等が挙げられる。例えば、「チェスに勝つ」でも「気候変動を解決する」でも、電源を切られたら達成出来ないので、どんなAIも自己保存に向かう、という予測である。Ⅱ.スケーラブル・オーバーサイト(認...一元化　公式HP https://uc-4.com/

http://www.nicovideo.jp/watch/sm45939300