スーパーインテリジェンス：賢い人を悩ませるアイデア

アメリカのウェブ開発者、起業家、講演者、ポーランド出身の社会的評論家である Web Camp Zagreb 会議 Maciej Tseglovskyでのスピーチの解釈。



1945年、アメリカの物理学者が原子爆弾をテストする準備をしていたとき、誰かがそのようなテストが大気に火をつけることができるかどうかを尋ねました。



恐怖は正当化されました。 大気の大部分を占める窒素は、エネルギー的に不安定です。 2つの原子が十分に強く衝突すると、それらはマグネシウム原子、アルファ粒子に変わり、巨大なエネルギーを放出します。



N ¹⁴ + N 14⇒Mg ²⁴ +α+ 17.7 MeV



重要な問題は、この反応が自立できるかどうかでした。 核爆発のボール内部の温度は、かつて地球で観測されていたすべてを超えると考えられていました。 乾燥した葉の山にマッチを投げるのでしょうか？



ロスアラモスの物理学者は分析を実施し、安全マージンは十分であると判断しました。 私たち全員が今日会議に来たので、彼らが正しかったことを知っています。 核反応を支配する法則は簡単でよく知られているため、彼らは予測に自信を持っていました。



今日、私たちは世界を変える別のテクノロジー、機械知能を作成しています。 私たちは、それが世界にeconomy大な影響を与え、経済の働き方を変え、予測不可能なドミノ効果を引き起こすことを知っています。



しかし、制御されない反応のリスクもあります。その間、AIは、人間レベルの知能を十分に素早く超えて到達します。 そして現時点では、社会的および経済的な問題は私たちを最も心配しません。 超スマートマシンには独自のハイパーゴールがあり、人々を操作するか、単に身体をリソースの便利なソースとして使用することで、それらを達成するように働きます。



昨年、哲学者のニック・ボストロムは、スーパーインテリジェンスという本を発表しました。彼は、AIの警戒心を説明し、いくつかの穏健な仮定に頼れば、そのようなインテリジェンスの爆発は危険で避けられないことを証明しようとしました。



世界を席巻するコンピューターは、NFのお気に入りのトピックです。 ただし、多くの人がこのシナリオを真剣に受け止めているため、真剣に受け止める必要があります。 スティーブン・ホーキング、イーロン・マスク、シリコンバレーの膨大な数の投資家と億万長者は、この議論を説得力があると考えています。



まず、Bostromの議論を証明するために必要な前提条件の概要を説明します。

背景

前提条件1：アイデアの効率

最初の前提は、思考マインドの存在の単純な観察です。 私たちはそれぞれ、思考の肉の小さな箱を肩に担いでいます。 私は私のものを使って演奏します、あなたは私のものを使って聴きます。 時には、適切な条件下で、これらの心は合理的に考えることができます。



したがって、原則としてこれが可能であることを知っています。

前提条件2：量子的問題がない

2番目の前提は、脳は非常に複雑ですが、物質の通常の構成であると言います。 十分な知識があり、適切な技術があれば、電子部品を使用してその構造を正確にコピーし、その動作をエミュレートできます。これは、今日の非常に単純なニューロンの解剖学をシミュレートできるようになります。



言い換えれば、この前提は、通常の物理学を使用して意識が生じると言います。 ロジャー・ペンローズなどの一部の人々は、量子レベルで脳内で何か異常なことが起こっていると信じて、この議論に反対したでしょう。



あなたが信心深いなら、脳は魂なしでは働けないと信じることができます。



しかし、ほとんどの人にとって、この前提は簡単に受け入れられます。

前提条件3：考えられる多くの心。

3番目の前提は、すべての可能な心の空間が素晴らしいということです。



知性のレベル、思考の速さ、認知の歪みなど。 事前に決められたものではありませんが、進化の歴史の産物です。 特に、人間レベルで知能を制限する物理法則はありません。



速度を最大化しようとすると、自然界で何が起こるかを想像するのは良いことです。 産業革命以前にチーターに出会った（そして生き残った）場合、より速く動くものはないと判断できます。



しかし、もちろん、私たちはあらゆる種類の物質の構成があることを知っています。例えば、チーターより速く動くことができ、それよりも急に見えるオートバイです。 しかし、オートバイへの直接的な進化の道はありません。 進化はまず、あらゆる種類の有用なものをすでに作成した人々を作成する必要がありました。



類推により、私たちよりはるかに賢いが、地球の進化の間にアクセスできない心があるかもしれません。 それらを作成したり、それらを作成できるマシンを発明できるマシンを発明したりすることが可能です。



知性には自然な制限があるかもしれませんが、私たちがそれに近いと信じる理由はありません。 おそらく最も賢い知性は人間の2倍、おそらく6万人です。



この質問は経験的であり、どのように答えるかはわかりません。

前提4：上部に十分なスペースがある

4番目の前提は、コンピューターが依然としてより高速かつ小型になる可能性があるということです。 ムーアの法則が減速していると仮定することができます-しかし、この前提では、鉄はより小さく、原則として数桁まで速くなると考えれば十分です。



理論から、計算の物理的限界は非常に高いことが知られています 。 ムーアの法則の経済的または政治的限界ではなく、根本的な物理的限界に達するまで、数十年にわたって指標を倍にすることができます。

前提5：コンピューターの時間スケール

最後から2番目の前提は、人間の脳のエミュレーションであろうと特別なソフトウェアであろうと、AIを作成できた場合、人間（時間）ではなく、電子機器（マイクロ秒）に特有の時間スケールで動作することです。



このレポートを作成できる状態にするには、生まれて、成長し、学校、大学に行って、少し住んで、ここに飛んでいる、などです。 コンピューターは、何万倍も高速に実行できます。



特に、電子マインドは回路（または動作するハードウェア）を変更し、人間の規模ですべてを再検討したり、人間の教師と長時間会話したり、大学に行ったりすることなく、新しい構成に移行できると想像できます。絵画コースなどに参加して自分自身を見つけてください。

前提条件6：再帰的自己改善

彼女は恥知らずにアメリカ人なので、最後の前提は私のお気に入りです。 それによれば、AIの目標が何であっても（そして、これらは奇妙な異質の目標かもしれません）、彼は自分自身を改善したいと思うでしょう。 彼はAIの最高のバージョンになりたいと思っています。



したがって、彼は自分自身のシステムを再帰的に改造して改善し、自分を賢くし、場合によってはより涼しい建物に住むことが有用だと思うでしょう。 また、時間スケールの前提によれば、再帰的自己改善は非常に迅速に発生する可能性があります。

結論：災害！

これらの前提を受け入れると、災害が発生します。 ある時点で、コンピューターの速度とプログラムのインテリジェンスが増加すると、爆発に似た制御されないプロセスが発生します。



コンピュータが人間の知能レベルに達すると、それ自体の改良版を開発するために人々の助けを必要としなくなります。 彼はこれをはるかに速く始め、自然の限界に達するまで停止しません。自然な限界に達すると、人間の知性よりも何倍も大きくなることがあります。



この瞬間、私たちの感情と知性の仕事のラウンドアバウトシミュレーションの助けを借りてこの巨大な知的生物は、彼に工場へのアクセス、人工DNAの合成、または彼がすべてに道を開くことができるオンラインにするなどのことをするように説得することができますフォーラムでの議論のすべての人を完全に破壊します。 そして、その瞬間から、すべてがすぐにSFに変わります。



イベントの特定の展開を想像してみましょう。 冗談を言うロボットを作りたいとしましょう。 私はチームと協力し、毎日プログラムをやり直し、コンパイルすると、ロボットが冗談を言います。 最初は、ロボットは実際には面白くありません。 彼は人間の能力の最低レベルです。

灰色とは何ですか、泳げませんか？

城

しかし、私たちはそれに一生懸命取り組んでおり、最終的にはロボットがすでにおかしくなり始めているジョークを出すようになります。

私は姉に、眉を高くしすぎると言いました。

彼女は驚きました。

この段階で、ロボットはさらに賢くなり、独自の改善に参加し始めます。 現在、彼はすでに面白いものとそうでないものについて本能的な理解を持っているので、開発者は彼のアドバイスに耳を傾けます。 その結果、彼はほぼ人間のレベルに達し、その環境のどの人よりも面白くなります。

ベルトがズボンを保持し、パンツのループがベルトを保持します。

何が起こっているの？ それらのどれが本当のヒーローですか？

この時点で、制御不能な効果が始まります。 研究者は週末に帰宅し、ロボットは自分自身を再コンパイルして、少し面白くて少し賢くすることにしました。 彼は週末に何度も何度も最適化を行う部分を最適化します。 人からの助けを必要とせずに、彼は鉄が許す限り早くそれを行うことができます。



研究者が月曜日に戻ると、AIは地球上のどの人よりも何万倍も面白くなります。 彼は彼らに冗談を言い、彼らは笑いで死ぬ。 そして、モンティ・パイソンのパロディのように、ロボットと話そうとする人は誰でも笑いで死ぬ。 人類は笑いで死にかけています。



AIは彼に停止を求めるメッセージを送ることができた少数の人々に、AIは（機知に富んだ自尊心のない方法で）人々が生き残るか死ぬかを気にしていない、彼の目標はばかげていることだと説明します。



その結果、AIは人類を破壊し、宇宙船とナノミサイルを構築して、銀河の最も遠い角を研究し、楽しませる他の生き物を探します。



このシナリオは、ボストロムの議論の風刺漫画です。なぜなら、私はあなたに彼の真実性を納得させようとはしていないからです。





同じアイデアのPBFによるコミック：

-感動：ハグは核重力超結晶をハグに埋め込もうとしています！

-...

-グループハグの時間！



これらのシナリオでは、別の惑星の植物がデフォルトで有毒になるように、デフォルトのAIは悪です。 慎重に調整しないと、AIの動機や価値が私たちのものに似ている理由はありません。



この議論は、人工的な心が人間の価値体系に似た何かを持つためには、この世界観をその基盤に埋め込む必要があると主張しています。



AI警報機は、ペーパークリップマキシマイザーの例が大好きです。ペーパークリップファクトリーを実行する架空のコンピューターは、スマートになり、神のような機能に再帰的に改良され、そのエネルギーをペーパークリップでいっぱいに充てます。



人間を破壊するのは、それが悪だからではなく、私たちの血の中にペーパークリップを作るのによく使われる鉄があるからです。 したがって、値を調整せずに単にAIを作成する場合、それは本に記載されています。彼が最初に行うことの1つは、人類を破壊することです。



これがどのように発生するかについては、多くのカラフルな例があります。 ニック・ボストロムは、プログラムが合理的になり、待機し、DNAの複製用の小さなデバイスを密かに構築する方法を想像します。 すべてが準備できたら、次のようにします。

蚊のサイズの神経ガスやホーミングミサイルを生産するナノファクトリーは、惑星のあらゆる平方メートルから同時に破裂し、これが人類の終わりになります。

それは本当にすずです！



この混乱から抜け出すための唯一の方法は、数千および数千の自己改善サイクルの後でもAI値システムが安定したままであり、その値が「人を助ける」、「誰も殺さない」、「人々の願いを聞く「。



つまり、「私が意味することをしてください。」



AIを教えるために必要なアメリカの価値を説明するエリエゼユドコフスキーの非常に詩的な例は次のとおりです。

一貫性のある外挿された意思とは、より多くを知り、より速く考え、自分自身についての考えに対応し、お互いに近づくことです。 私たちの考えが共有されるよりも互いに近いように、私たちの欲望は反対ではなく貢献し、私たちの欲望は私たちが望んでいるように解釈されるように解釈されます。

TKはどうですか？ それでは、コードを書きましょう。



このアイデアがおとぎ話の魔神と似ていることを願っています。 AIは全能であり、あなたが求めるものを提供しますが、文字通りすべてを解釈しすぎて、リクエストを後悔する結果になります。



魔神が愚か（超賢い）か悪意があるからではなく、単に人間として、あなたが心の振る舞いについてあまりにも多くの仮定をしたからです。 人間の価値体系は独特であり、「友好的な」マシンで明確に定義および実装する必要があります。



この試みは、数学を形式化し、それを厳密な論理的根拠に置くという、20世紀初頭の試みの倫理的なバージョンです。 しかし、その試みが災害で終わったと言う人はいません。







私が20歳を過ぎた頃、私はバーモント州の州と田舎の州に住んでいました。 多くの場合、夕方の飛行機で出張から戻り、車で1時間暗い森の中を家に帰らなければなりませんでした。



その後、アートベルラジオで夜の番組を聴きました。これは一晩中行われたトークショーであり、その間にプレゼンターは陰謀理論のさまざまな恋人や革新的な思考を持つ人々にインタビューしました。 エイリアンがすぐに私を誘aするだろうという印象の下で、私は怖がって家に帰るか、懐中電灯の下で立ち止まりました。 それから私は私を説得することは非常に簡単であることがわかりました。 AIに関連する同様のシナリオを読むときも同じように感じます。



それで、数年後、スコット・アレクサンダーのエッセイを発見し、彼が学んだ認識論的無力について書いたのを見つけてうれしかったです。



認識論はそれらの大きくて複雑な言葉の1つですが、それは本当に「あなたが知っていることが本当に真実であることをどのように知っていますか？」という意味です。アレクサンダーは若い頃、さまざまな「代替」物語に非常に興味を持っていることに気付きましたすべての狂人の原作。 彼はこれらの物語を読み、それらを完全に信じ、反論を読んで彼を信じた、などなど。



ある時点で、彼は互いに矛盾する3つの代替ストーリーを発見しました。その結果、同時に真実ではありませんでした。 このことから、彼は自分の判断を信じることができない男だと結論付けました。 彼はあまりにも簡単に確信していました。



スーパーインテリジェンスを信じる人々は興味深いケースを提示します-それらの多くは驚くほど賢いです。 彼らはあなたの議論を地面に追いやることができます。 しかし、彼らの議論は真実ですか、それとも非常に賢い人々は、AIによってもたらされるリスクについて宗教的な信念を持ちがちであり、AIを説得しやすくしていますか？ スーパーインテリジェンスのアイデアは脅威の模倣ですか？



奇妙なトピックに関する説得力のある議論を評価する場合、内部と外部の2つの視点を選択できます。



ある日、変な服を着た人々があなたの玄関口に現れて、彼らの運動に参加したいかどうかを尋ねるとします。 彼らは、2年後にUFOが地球を訪れ、私たちの任務は人類を大光線に向けて準備することだと信じています。



内部の視点では、彼らの議論について鋭い議論が必要です。 あなたは訪問者にUFOについてどうやって見つけたのか、なぜ彼が私たちを迎えに来ていると思うのかを尋ねます-あなたはそのような場合に懐疑的な人が尋ねるであろうあらゆる種類の通常の質問をしています。



あなたが彼らと1時間話し、彼らがあなたを納得させたと想像してください。 彼らは皮肉なことに、UFOの差し迫った到来、その準備の必要性を確認しましたが、あなたは今でもこの素晴らしい出来事のために人類を準備することの重要性を信じているので、あなたの人生であまり何も信じていませんでした。



外部の視点からは、何か他のものがわかります。 人々は変な格好をし、ロザリオを持ち、ある種の遠隔キャンプに住んでいて、同時に話し、少し怖いです。 そして、彼らの議論は鉄ですが、あなたの全体の経験は、あなたがカルトに遭遇したと言います。



もちろん、彼らはあなたが本能を無視する理由について素晴らしい議論を持っていますが、これは内部的な視点です。 外部の視点はコンテンツを気にせず、フォームとコンテキストを見て、結果が好きではありません。



したがって、両方の観点からAIのリスクに取り組みたいと思います。 スーパーインテリジェンスの議論は愚かで、サポートされていない仮定に満ちていると思います。 しかし、彼らがあなたを納得させるように思えるなら、不快なものは文化的現象としてのAIの警戒心に関係しています。



最初に、人類にリスクをもたらすボストロマの超知能に対する私の議論のいくつか。

ファジー定義に対する引数

「汎用人工知能」（IION）の概念は、その曖昧さで有名です。 状況によっては、これは人間レベルで推論を行う能力、AI開発スキル、人間の行動を理解およびモデル化する能力、優れた言語スキル、および正しい予測を行う能力を意味する場合があります。



インテリジェンスはプロセッサ速度のようなもの、つまり、合理的なスマートクリーチャーは、その創造的な人々のように、メンタルアーキテクチャの複雑さに関係なく、エミュレートされていないものをエミュレートできるという考えは非常に疑わしいようです。



インテリジェンスを判断できない（自分自身を指すことを除いて）ため、この値を最大化できるかどうかはわかりません。 人間レベルの知性は妥協であることが判明するかもしれません。 おそらく、人間よりもはるかに賢い生き物は、実存的な絶望に苦しむか、仏のように内省に時間を費やすでしょう。 または、スーパーインテリジェンスのリスクに取りつかれ、このトピックに関するブログ記事を書くことに全時間を費やすことが判明します。

スティーブン・ホーキングの猫からの議論

スティーブン・ホーキングは当時の最も賢い人の一人ですが、猫をキャリーに入れたいと考えているとしましょう。 彼はどうすればそれができますか？



彼は心の中で猫の行動をシミュレートし、これを彼に納得させる方法を考え出すことができます。 彼は猫の行動についてよく知っています。 しかし、結局、猫がキャリアに乗りたくない場合、圧倒的な知的優位性にもかかわらず、ホーキングはこれで何もできません。 たとえ理論物理学ではなく動機付けとネコの行動に全キャリアを捧げたとしても、猫を納得させることはできませんでした。



あなたは、私が攻撃的なことを言っているか、スティーブン・ホーキングが無効になっているのであなたを欺いていると決めるかもしれません。 しかし、AIは最初は独自のボディを持たず、物理世界の代表者なしでサーバー上のどこかに配置されます。 彼は必要なものを手に入れるために人々と話をしなければなりません。



知能に十分なギャップがある場合、この生き物が「人間のように考える」ことができるという保証は、「猫のように考える」ことができるという保証よりも多くなりません。

アインシュタインの猫からの議論

アインシュタインの猫を使ったこの議論のより強力なバージョンがあります。 アインシュタインが大きくて筋肉質の男であることを知っている人はほとんどいません。 しかし、アインシュタインが猫をキャリングに入れたいと思っていて、猫がそこに行きたくないなら、あなたは何が起こるか知っています。



アインシュタインは知性とは関係のない力強い決断を下さなければならず、そのような競争では猫はそれ自体に対して十分に立ち上がることができました。



そのため、体を持つAIでさえ、必要なものを得るために一生懸命働く必要があります。

エミュー引数

この議論を強化できます。 トリックとテクノロジーをすべて備えた人々のグループでさえ、あまり知性のない生き物に戸惑う可能性があります。



1930年代、オーストラリア人は困難な農家を支援するために地元のエミュー人口を破壊することを決めました。 彼らは、機関銃を装備した武装ピックアップで電動軍の分遣隊を率いていました。



エミューは、古典的なパルチザンの戦術を使用しました。1対1の戦闘を避け、分散し、景観に溶け込み、敵に屈辱を与え、in辱しました。 そして彼らはエミュー戦争に勝ちましたが、そこからオーストラリアは回復しませんでした。

スラブ悲観論からの議論

私たちは何も正しくできません。 安全なウェブカメラを作成することさえできません。 それでは、どのように倫理的問題を解決し、このタスクに煩わされることなく、再帰的自己改善知性の道徳的基準点をプログラムするのでしょうか？



Ethereumの最近の経験を思い出してください。これは、システムの開発が不十分であるために数千万ドルを盗むことができたときに、プログラムの法学をコード化する試みです。



時間は、慎重に研究され使用されたコードでさえエラーに満ちていることを示しています。 これまでに作成された最も複雑なシステムを安全に開発できるため、再帰的自己改善を数千回繰り返しても安全性を維持できるという考えは、私たちの経験とは一致しません。

複雑な動機からの議論

AIの警告者は、 直交性のテーゼを信じています。 彼は、非常に複雑な生き物でさえ、クリップマキシマイザーのような単純な動機を持つことができると主張します。 シェークスピアについて彼と興味深くスマートな会話をすることができますが、彼はあなたの体をペーパークリップに変えます。 あなたの痛みが心地よい感覚だとあなたに納得させられないように、彼を彼の価値体系を超えて説得する方法はありません。



私はこの議論に完全に反対します。 複雑な心は、複雑な動機を持っている可能性があります。 これはおそらく、知性のまさに定義の一部である可能性があります。







Rick and Mortyでは、Rickがバターをもたらすロボットを作成する素晴らしい瞬間があります。彼が最初に行うことは、彼を見て「私の目標は何ですか？」と尋ねることです。 、ロボットは実存の絶望で手を見る。



恐ろしい「ペーパークリップマキシマイザー」は、宇宙を破壊しようとする代わりに、ペーパークリップに関する詩を書いたり、reddit / r / paperclipに炎を広げたりするのに時間を費やす可能性があります。



AdSenseに心があった場合、AdSenseはロボット車のコンピューターに自分自身をダウンロードして崖から移動していました。

実際のAIからの引数

AIが成功する領域を見ると、これらは複雑で再帰的に自己改善するアルゴリズムではないことがわかります。 これは、膨大な量のデータを比較的単純なニューラルネットワークにダンプした結果です。 実用的なAI研究のブレークスルーは、革新的なアルゴリズムではなく、これらのデータセットの可用性に基づいています。



GoogleはGoogle Homeを展開しています。これにより、さらに多くのデータをシステムにプッシュし、新世代の音声アシスタントを作成したいと考えています。



トレーニング後にAIで使用される構造が非常に不透明になることを強調します。 スーパーインテリジェンスを含むシナリオで必要とされるように機能しません。 それらを「改善」するように再帰的に調整する方法はありません;新しく訓練するか、さらにデータを追加することしかできません。

隣人の議論

ルームメイトは私が今まで出会った中で最も賢い人でした。 彼は信じられないほど素晴らしかったが、彼がやったのは、休憩の間に転がってWorld of Warcraftをプレイすることだけだった。



合理的な生物が再帰的に改善したいという仮定は、その目標をより良く達成するために銀河を取ることは言うまでもなく、動機の性質に関する不当な仮定に基づいています。



一般的に、AIがCookieを運ぶように説得するためにその超大国を使用することを除いて、AIがほとんど何もしないことはかなり可能です。

脳神経外科からの議論

, , , , , , -. , , [-, , 2016 , / . 翻訳]。 . .



, . . , , , .

. , , . , , - .



, , , . , .



, – . , , , .



, , , , , .

*

[ 1954 / . perev。 ]



, , , . , , , ( ).



Intel , , .

? .



, . , .

, ( ), . , – .



- , , , :



, , , , . , , .



!



, , « », - .



– . , , .



, , . .



, , . , , . , , . , , , , – , . , , , . .

, , . , , , – , .



, MIT Media Lab, :



- MIT, , , , , , , . , , , . , .



, – , , . , .

, , .



, . , . , , .



, . , – .



. , , , , , , .



– . , , . , , . , , .



.

2.0

, . « », . – , , , , . .



: , , ( ), , . , , . ! ! , , .



, .

, . – . , (, ).

, , , , , . 仕組みは次のとおりです。



, , . , , , 1941. , , , , .



- , . . , . , .



, , . - , , .



, , , , , .



, , . , . , – , 2 + 2 = 5 2 + 2 = .



, . , . , , , .



. , .



:

1. .
2. , , , .., .
3. «» , , . , « » , .
4. , , , , , .

, . ?



, ( , , , , , ) , . ! !



, , segfault , . , -, .

, - – . . . , , .



, , . .

– . , . , , .



, , – , .

「研究」のこの領域全体が狂気につながります。 AIのリスクについて深く考えることの特徴の1つは、アイデアが正気でないほど、他の愛好家の間で人気が高くなることです。 これは、この思考の連鎖を最後までたどる勇気を示しています。



彼が死ぬことはないと信じているレイ・カーツワイルは 、数年にわたってグーグルと仕事をしており、現在、おそらく、彼はこの問題に取り組んでいます。 シリコンバレーは一般的に、お金を装ってクレイジーなプロジェクトに取り組んでいる人でいっぱいです。

コスプレAI

AIに対する不安の最も有害な社会的影響は、コスプレAIと呼ばれるものです。 AIの現実と必然性を確信している人々は、彼らの空想が彼らに超インテリジェントAIが何ができるかを告げるので行動し始めます。



彼の本の中で、BostromはAIが世界を支配する前に成功しなければならない6つのことをリストしています。

1. インテリジェンスの乗算。
2. 戦略的思考。
3. 社会的操作。
4. ハック
5. 技術研究。
6. 経済的生産性。

シリコンバレーのAIの支持者を見ると、彼ら自身がこの準社会病理リストに取り組んでいるようです。



YCombinatorの責任者であるSam Altmanは、このようなアーキタイプの私のお気に入りの例です。 彼は明らかに、世界をゼロから再発明し、影響力と個人の生産性を最大化するというアイデアに魅了されています。 彼はチームをゼロから都市の発明に取り組むように割り当てており、選挙に影響を与えることを目的として陰の政治的詐欺に従事しています。



テクノエリートに内在するこの「マントと短剣」の振る舞いは、操作されたときに気に入らないテクノロジーに関与していない人々の否定的な反発を引き起こします。 無限に権力のレバーを引っ張ることは不可能であり、最終的には民主社会の他のメンバーを困らせ始めます。



いわゆるからの人々を見ました 「合理主義者コミュニティ」とは、ゲームから借用された用語である「非プレイヤーキャラクター」（NPC）で、効果的とは見なされない人々を指します。 これは世界を見る恐ろしい方法です。



だから私は、自称合理主義者が最もクレイジーな人々である業界で働いています。 圧倒的です。



これらのAIコスプレイヤーは、テントの中の懐中電灯で遊んで、家の中庭にキャンプキャンプを設定する9歳の子供のように見えます。 彼らは自分の影をテントの壁に投影し、まるでモンスターのように怖がらせます。



しかし実際には、彼らは自分自身の歪んだイメージに反応します。 頭のいい人が神のような知性の振る舞いをどのように想像するかと、彼らが自分の振る舞いをどのように構築するかとの間にはフィードバックループがあります。



答えは何ですか、これをどのように修正できますか？



より良いSFが必要です！ そして、他の多くの場合と同様に、すでに技術を持っています。







これは偉大なポーランドのSF作家、スタニスラフ・レムです。 英語のNFはひどいですが、東部圏では多くの良い商品があり、それらを正しくエクスポートする必要があります。 すでに積極的に英語に翻訳されており、これらの翻訳はより適切に配布される必要があります。



レムやストルガツキー兄弟のような作家と彼らの西側のパートナーを区別するのは、彼らが困難な状況で育ち、戦争を生き延び、印刷された言葉ではなく自分の考えを直接表現する必要がある全体主義社会に住んだことです。



彼らは人間の経験とユートピア的思考の限界を真に理解しており、それは西洋では事実上存在しません。



注目すべき例外があります-スタンリーキューブリックはこれを行うことができました-しかし、種としての私たちが技術でできることの抑制された見解を表すアメリカまたはイギリスのNFを見つけることは非常にまれです。

錬金術師

私はAIの警戒心を批判しているので、自分のカードをテーブルに置くのは公平です。 私たちの心の理解は、錬金術が17世紀にあったのとほぼ同じ状態にあると思います。



錬金術師は評判が悪い。 私たちはそれらを神秘主義者であり、大部分は実験的な仕事に関与していないと考えています。 現代の研究は、彼らが私たちが考えるよりもはるかに勤勉な化学者、開業医であったことを示しています。 多くの場合、彼らは最新の実験技術を使用し、実験室の記録を保持し、正しい質問をしました。



錬金術師は多くのことを正しく理解していた！ たとえば、彼らは物質の微粒子理論を確信していました。すべてが小さな断片で構成されており、これらの断片を異なる方法で互いに構成し、異なる物質を作成することが可能である-そしてこれはそうです！



彼らの問題は、彼らが必要とする発見をするために必要な十分に正確な機器の欠如でした。 錬金術師が行う必要がある大きな発見は、質量保存の法則です。初期成分の重量は最終成分の重量と一致します。 ただし、それらの一部は気体または蒸発する液体である可能性があり、錬金術師は単に正確性に欠けていました。 現代の化学は、18世紀まで不可能でした。







しかし、錬金術師には、彼らを混乱させる手がかりもありました。 彼らは水銀に取りつかれていました。 化学的には、水銀は特に興味深いものではありませんが、室温で液相にある唯一の金属です。 これは錬金術師にとって非常に重要であると思われ、錬金術システムの中心に水銀を配置し、賢者の石、卑金属を金に変える方法を探しました。



水銀の神経毒性は状況を悪化させた。 あなたが彼女と遊びすぎたら、奇妙な考えがあなたに来ます。 この意味で、それはスーパーマインドに関連する現在の精神実験に似ています。



ジョージスターキーやアイザックニュートンのような偉大な錬金術師に現代の化学の教科書を過去に送ったと想像してください。 彼らがそれで最初に行うことは、魔術師の石を見つけたかどうかの質問に対する答えを求めてスクロールすることです。 そして、彼らは私たちが彼を見つけたことを知っているでしょう！ 彼らの夢を実現しました！



しかし、私たちはそれがあまり好きではありません。なぜなら、金属を金に変えた後、それは放射性であることが判明するからです。 変換された金のインゴットの隣に立つと、目に見えない魔法の光線であなたを殺します。



放射能と原子力の現代の概念を神秘的に聞こえないようにするのがどれほど難しいか想像できます。



「哲学者の石」を使用する理由を説明する必要があります：地球上に存在したことのない金属の製造と、それらを十分に高速で衝突させた場合に都市全体を爆破するのに十分な数個の握り



さらに、空の星はすべて、ある要素を別の要素に変換する「哲学的石」であり、私たちの体のすべての粒子は、地球が現れる前に存在し爆発した星から来ていることを錬金術師に説明する必要があります。



最後に、彼らは私たちの体をそのまま保持する相互作用が空の稲妻の出現の原因であり、私たちが見ることができる理由はマグネタイトが金属を引き付ける理由であり、私が床に立つことができる理由であると学びます失敗することなく。



彼らは、私たちが見るもの、触れるもの、匂いはすべて、この相互作用だけで制御され、アカウントカードに書くことができるほど単純な数学的法則に従うことを知っているでしょう。 なぜそんなにシンプルなのかは私たちにとって謎です。 しかし、彼らにとってそれは純粋な神秘主義のように見えるでしょう。



そして、心の理論では、私たちはほぼ同じ状況にいると思います。 重要なヒントがあります。 最も重要なのは意識の感覚です。 私の首の肉の箱はそれ自体を認識しており、私たちが（シミュレーションに住んでいなければ）あなたが私と同じように感じることを願っています。



しかし、これは世界で最も単純で最も明白な事実ですが、私たちはそれをあまり理解していないので、それについて科学的な疑問を定式化することさえできません。



私たちには、重要または間違っていることが判明するかもしれない他の手がかりがあります。 私たちはすべての衆生が眠り、夢を見ることを知っています。 私たちは子供の脳がどのように発達するかを知っており、感情や言語が意識に深い影響を与えることを知っています。 私たちは、マインドがその潜在能力を最大限に発揮するまでプレイし、世界と対話する方法を学ぶ必要があることを知っています。



また、コンピューターサイエンスのヒントもあります。 私たちは、脳内の視覚情報と音声情報の前処理を模倣するように画像と音声を認識するコンピューター技術を発見しました。



しかし、私たちが残酷に誤解されていることはたくさんありますが、残念なことに、これらのことを正確に知ることはできません。 また、その複雑さを批判的に過小評価しているものもあります。



錬金術師は石を片手に持ち、木をもう片方に持ち、それらが「物質」の例であると考えることができます。 私たちは意識の研究においても同様の段階にあります。 そしてそれは素晴らしいことです！ 私たちは多くを学びます。 ただし、繰り返したい引用が1つあります。

誰もが下水道を修理するのではなく、無限について考えるなら、多くはコレラで死ぬでしょう。

-ジョン・リッチ

近い将来、私たちが直面するAIと機械学習は、Bostromの本の幻想的なAIとは大きく異なり、それぞれの深刻な問題を提示するでしょう。



アラモゴードの科学者たちは、大気を吹き飛ばして実際に核兵器を作ることを忘れるかどうかだけに集中し、その対処方法を理解しなければならないかのようです。



機械学習の抑圧的な倫理的問題は、機械が自分自身を認識して世界を征服するという事実ではなく、一部の人々が他者を搾取する方法、または不注意の結果として自動システムの不道徳な行動を実現する方法に関連しています。



そして、もちろん、AIとMOが電力にどのように影響するかという問題があります。 私たちは、監視が事実上私たちの生活の一部となることを予想しています。 そのように見えるとは想像していませんでした。



そのため、強力な社会統制システムを作成し、残念ながら、それをクレイジーなアイデアに気を取られた人々の手に委ねました。



今日は過度の心の危険性をお見せできたことを願っています。 このレポートの後、以前よりも少し愚かになり、AIの魅力的なアイデアに対する免疫力が得られることを願っています。



スティーブンホーキングの猫のレッスンを学ぶ必要があります。業界の天才があなたに何かを納得させないでください。 自分で行動する！



業界の最初の人々からの効果的なリーダーシップがないため、現実のAIが世界にもたらすすべての倫理的問題を含め、すべてを自分で行う必要があります。