西暦2,026年2月12日ニック・ボストロムが、論文「超知能の最適なタイミング」を発表する。超知能の開発は、ロシアンルーレットでは無く、放置すれば命に関わる病気を治す為の、リスクの高い手術であるとし、何もしなければ安全という前提は誤りで、現状でも170,000名が病気や老化で亡くなっており、私たち全員も数十年内に死に向かっている。従って、選択は「リスクゼロの基準」対「リスクの有るAI」では無く、異なるリスクを伴う複数の道筋の間の選択である、とした。此れはエリーザー・ユドコウスキーとネイト・ソアレスの共著「誰かが作れば全員死ぬ」への反論でもあった。主な内容は以下の通り。①主要なモデルと結論単純なやるか/やらないかモデルでは、超知能無しの平均余命を40年、成功すれば健康な20歳並みの死亡率(余命約1,400年)と仮定すると、AIによる絶滅確率が97%を下回る限り、今すぐ開発する方が期待余命を延ばすという結論になる。タイミングを変数に加えると、安全性研究の進展によってリスクを下げられる一方、待つ程、通常死因による死亡が積み重なる。初期リスクが低ければ、即座にローンチするのが最適で、リスクが高くても、最適な遅延は大抵1年程度である。興味深い事に、安全性の進歩が極端に速い場合も遅い場合も、早期ローンチが有利で、中間〜やや遅い場合に最も長い遅延が最適になる。其の後、幾つかの精緻化を加えている。時間割引はローンチを遅らせる方向に、生活の質の向上は早める方向に働く。但し質の効果は飽和し、又質の差が十分大きいと時間割引は寧ろ早期化を促す。限界効用逓減(リスク回避)はやや保守的にしますが、全体像を大きくは変えない。②多段階モデルと「安全性の棚牡丹」重視するのは、AGI能力に達するまでの期間(フェーズ1)と、その後に意図的に置く猶予期間(フェーズ2)を分ける多段階モデルである。実際のシステムが手に入って初めて、其れを調べて試験し、システム自身の能力を使って安全性研究を加速出来る「安全性の棚牡丹」が生じると想定する。此の利益は前倒しで得られ、直ぐに逓減する為、最適戦略は、フェーズ2で数ヶ月〜数年の短い猶予を置くという事になる。更に、不確実性とテストを導入すると、最適なのは固定的なローンチ日では無く、証拠に応じて条件付けられた方策になる。③分配的考慮最適なタイミングは人によって異なる。高齢者・病人・貧困層・現状の生活の質が低い人程、失うものが少なく得るものが大きい為、早期ローンチを選ぶのが合理的である。最も恵まれない人を重視する優先主義的な重み付けを政策に取り入れると、最適タイムラインは更に短くなる。加えて、70歳を超える人生には余り価値が無い、とい...一元化 公式HP https://uc-4.com/