マックス・テグマーク: AIを制御する方法 TED Talkより
「マックス・テグマーク: AIを制御する方法」
AIはどこまで進歩するのか？Super Inteligence は必要なのでしょうか？人類はAIに支配されるのでしょうか？大きな利益のあるAIを安全に使うのはどうしたらいいか？についての、興味深いTEDTalk。
以下に、気になる表現をChatGPT先生の力を借りて、解説します。
I never thought governments would let AI companies get this far without any meaningful regulation.
「政府がAI企業をここまで進展させるのを、何の意味のある規制もせずに許すとは思いもしなかった。」
この文からは、AI技術の進化とそれに対する政府の対応が不十分であるという批判的な視点が読み取れます。
AIの進歩は目覚ましいものがあります。
We're seeing sparks of AGI in ChatGPT-4, and the Metaculus betting site is showing the time left to AGI plummeting from 20 years away to three years away in the last 18 months.
「私たちはChatGPT-4の中にAGI（汎用人工知能）の兆しを見ています。そして、Metaculusというベッティングサイトでは、AGIまでの残り時間が、この18か月で20年から3年に急激に縮まったと示しています。」
AI、AGI、Superintelligence の違い
これらの概念は、人工知能の進化と能力を示す重要な用語ですが、それぞれ異なるレベルの能力と目的を指します。
1. AI (Artificial Intelligence, 人工知能)
定義:
AIは、特定のタスクや問題を解決するために設計された機械またはシステムの総称です。
人間のような知的行動を模倣する技術で、特定の範囲で能力を発揮します。
特徴:
特化型（Narrow AI）で、特定のタスクに優れている。
人間の知能全体を再現することを目指しているわけではない。
例:
スマートスピーカー（音声認識）
自動運転（物体検出、意思決定）
言語モデル（ChatGPTなど）
2. AGI (Artificial General Intelligence, 汎用人工知能)
定義:
AGIは、人間と同等レベルの知能を持ち、幅広いタスクをこなせる人工知能のことです。
人間が行うような認知タスク（学習、推論、創造性、適応）を同じように、あるいはそれ以上に行うことを目指しています。
特徴:
柔軟性: AGIは1つの特定タスクだけでなく、複数の分野にまたがる問題を解決できます。
自律性: 自己学習や未知の状況への適応が可能。
実現されれば、科学、医療、エネルギー、教育など、あらゆる分野で革命を起こすと考えられています。
現状: AGIはまだ理論段階にあり、実現されていません。
例:
現在は存在しないが、理想的なAGIは「人間の研究者ができるすべてのことを学び、実行できるAI」とされます。
3. Superintelligence (超知能)
定義:
Superintelligenceは、人間の知能を大幅に超える知能を持つ人工知能を指します。
その能力は、あらゆる認知タスクにおいて人類の最も優れた頭脳を凌駕します。
特徴:
スピード: 人間の何千倍もの速さで思考や学習を行える。
創造性: 新しいアイデアや技術を次々と生み出すことが可能。
予測不能性: 人間には理解できない方法で問題を解決する可能性がある。
リスク:
制御不能になる恐れ。
人類の存在に直接的な脅威を与える可能性。
技術的特異点（シンギュラリティ）を引き起こすとされる。
例:
映画「ターミネーター」シリーズのスカイネットのような存在。
主な違いのまとめ
項目AI (人工知能)AGI (汎用人工知能)Superintelligence (超知能)範囲特定のタスクに特化人間と同等の幅広いタスクを実行可能人間を超える全ての認知タスクを実行可能柔軟性低い高い極めて高い現在の状態実現済み未実現理論的可能性リスク制御可能理論的リスクあり制御不能の可能性例スマートスピーカー、言語モデル（未来のAGIシステム）（未来の超知能システム）
結論
AI: 現在の技術レベルで、特定のタスクに優れたシステム。
AGI: 人間レベルの知能を持つ汎用的なAI（まだ未実現）。
Superintelligence: 人間を大幅に超える知能（理論上の存在）。
これらの進化は連続的なものとされ、技術が進むにつれて、AI → AGI → Superintelligence の順で到達する可能性があります。ただし、それぞれに伴うリスクと影響を慎重に考慮する必要があります。
And leading industry people are now predicting that we have maybe two or three years left until we get outsmarted.
「そして、業界の主要な人物たちは、私たちがAIに追い抜かれる（知能で上回られる）まで、あと2～3年しかないかもしれないと予測しています。」
お尻に火がついてますね。
最新のAIによる言語モデルは、もはや十分に「知的」レベルに達しているのだそうです。
And Yoshua Bengio now argues that large language models have mastered language and knowledge to the point that they pass the Turing test.
そして今 ヨシュア・ベンジオは こう主張しています 大規模な言語モデルは チューリングテストに合格するほど 言語と知識を習得していると
チューリングテストは、イギリスの数学者・コンピュータ科学者である アラン・チューリング (Alan Turing) が1950年に提案した、機械（コンピュータ）が「知的」だとみなせるかどうかを判断するための試験です。
概要
チューリングテストでは、以下のような状況を想定します：
人間の審査員（テスター）が存在し、特定の機械（人工知能）ともう1人の人間（または別のAI）と会話をします。
会話はテキスト（例えば、チャット形式）を通じて行われ、審査員には相手が人間か機械かは知らされません。
会話の内容から、審査員が「相手が人間である」と誤って判断するほど機械が人間らしい応答をすることができれば、その機械は「知的」であるとみなされます。
チューリングテストの目的
このテストは、AIが「人間のように考える」かどうかを直接問うのではなく、人間と区別がつかないほど自然にコミュニケーションが取れるかどうかを基準にしています。これにより、機械の「知能」を具体的な行動（対話）を通じて評価することが目的です。
具体例
審査員: 「今日はどんな天気ですか？」
機械: 「曇りですが、午後には晴れる予報です。外に出る予定ですか？」
審査員: 「いいえ、家で読書するつもりです。」
機械: 「それはいいですね。最近読んだ本でおすすめは何ですか？」
このようなやり取りが「自然」であり、審査員が機械と気づかない場合、AIはテストに「合格」したとされます。
チューリングテストの意義と批判
意義
コンピュータが「人間らしさ」を再現できるかどうかを評価する、歴史的に重要な基準となっています。
AI研究の初期段階において、「知性」の定義を模索する手段として大きな影響を与えました。
批判
知性の定義が限定的
テストは対話能力に焦点を当てていますが、これは知性全体の一部でしかありません。
機械は「演じる」ことができる
機械が単に人間のような応答を模倣しているだけで、本当に「理解」しているわけではないという批判があります（チャイニーズルーム問題など）。
長期的な基準の曖昧さ
テクノロジーの進化によって、審査員がAIを区別できなくなるのは単に「技術の進歩」であり、「知性」と呼ぶべきかどうかは議論が分かれます。
現代での関連性
現在のAI（例: ChatGPTやBERT）はチューリングテストの合格を目指すというよりも、特定のタスクに特化して高い性能を発揮する設計が主流です。しかし、チューリングテストは依然としてAIの「人間らしさ」を考える上での基礎的なフレームワークとして重要視されています。
AI godfather, Alan Turing predicted that the default outcome is the machines take control.
「AIの父、アラン・チューリングは、デフォルトの結末として、機械が支配権を握ると予測していました。」
Superintelligenceは、脅威です。
Think of it, we are building creepy, super capable, amoral psychopaths that don't sleep and think much faster than us, can make copies of themselves and have nothing human about them at all.
「考えてみてください。私たちは、不気味で非常に有能で、道徳を持たないサイコパスを作り上げているのです。それらは眠らず、私たちよりもはるかに速く考えることができ、自分自身のコピーを作ることができ、まったく人間らしさを持たない存在なのです。」
詳細な説明
Think of it
「考えてみてください」というフレーズで、読者に対して注意を促し、次に述べる内容を深く考えるように誘導しています。
we are building creepy, super capable, amoral psychopaths
we are building（私たちは作り上げている）: AIや高度な技術システムを開発している状況を指します。
creepy（不気味な）: 感情的に人間にとって不安や恐怖を感じさせる性質を表現しています。
super capable（非常に有能な）: AIの驚異的な能力、例えば計算速度や知識量を指します。
amoral（道徳を持たない）: 善悪の概念が欠如していることを指します。AIは倫理や道徳的価値観を内在的には持たないため、この表現が使われています。
psychopaths（サイコパス）: 共感や道徳心がなく、冷酷に行動する存在としての比喩。ここでは、人間とは異なる思考プロセスを持つAIを批判的に形容しています。
that don't sleep and think much faster than us
don't sleep（眠らない）: AIは人間のように休息を必要とせず、24時間稼働可能であることを強調。
think much faster than us（私たちよりはるかに速く考える）: AIの計算能力や処理速度が人間の脳を圧倒的に上回っていることを示しています。
can make copies of themselves
can make copies of themselves（自分自身のコピーを作ることができる）: AIやプログラムがそのコードやシステムを複製し、増殖できる性質を指しています。これは、人間にはない自己複製の能力として注目されています。
and have nothing human about them at all
have nothing human about them（人間らしさが全くない）: AIが感情や共感、道徳観などの「人間らしい」特質を持たないことを指摘しています。
at all（全く）: 完全に欠如していることを強調しています。
「have nothing human about them at all」 と 「have nothing human at all」 の間には微妙なニュアンスの違いがありますが、大筋では意味は似ています。違いは主に 「about them」 の有無によって生じるニュアンスの細かな差です。
1. have nothing human about them at all
直訳: 「彼ら（AI）について、人間らしいものが全くない。」
ニュアンス:
「about them」があることで、「AIの全体的な性質や特徴について人間らしさが完全に欠如している」ことを表現します。
AIの見た目や振る舞いを含め、「全体像として人間らしい要素が全くない」という印象を強調します。
2. have nothing human at all
直訳: 「全く人間らしいものを持っていない。」
ニュアンス:
よりストレートに「人間らしい要素が何一つない」と述べています。
「about them」がないため、AIの具体的な振る舞いや特徴に焦点を当てるというよりも、AIが持つ性質そのものが非人間的であるという直接的な主張になります。
意味の違いのまとめ
「have nothing human about them at all」
「彼らについて」の具体的な視点が加わり、AIの性質全体が非人間的であることを示します。
より客観的で説明的なニュアンスがある。
「have nothing human at all」
直接的で力強い表現。「人間らしい要素が皆無」という事実を強調します。
シンプルで主張そのものに焦点が当たります。
どちらを使うべきか？
文脈次第です。
AIの性質全体や見た目、振る舞いなどに焦点を当てたい場合は「have nothing human about them at all」が適切。
人間らしさの欠如そのものを強調したい場合は「have nothing human at all」を使うとシンプルで効果的です。
どちらを使っても、基本的な意味は「人間らしさがない」という点で変わりませんが、ニュアンスを考慮すると、より文脈に合った選択ができます。
OpenAI CEO Sam Altman, who gave us ChatGPT, recently warned that it could be "lights out for all of us."
「ChatGPTを提供したOpenAIのCEO、サム・アルトマンは最近、『私たち全員にとっての終焉（全滅）になるかもしれない』と警告しました。」
The real problem is that we lack a convincing plan for AI safety.
「本当の問題は、AIの安全性に関する説得力のある計画が不足していることです。」
People are working hard on evals looking for risky AI behavior, and that's good, but clearly not good enough.
「人々はリスクのあるAIの行動を見つけるために評価（テスト）に熱心に取り組んでおり、それ自体は良いことですが、明らかにそれだけでは十分ではありません。」
But if your adversary is superintelligence or a human using superintelligence against you, right, trying is just not enough.
しかし もし敵が超知能生命体や 超知能生命体を利用する人間なら 努力するだけでは足りません
You need to succeed.
成功は絶対必要です
Harm needs to be impossible.
危害がないようにする必要があります
So we need provably safe systems.
だから証明可能な安全システムが必要なのです
Provable, not in the weak sense of convincing some judge, but in the strong sense of there being something that's impossible according to the laws of physics.
「証明可能というのは、単に裁判官を説得するような弱い意味ではなく、物理法則に照らして不可能だと示せるような強い意味でのものです。」
1. in the strong sense of there being something
直訳: 「そこに何かが存在するという強い意味で」
意味:
「そこにある何か（具体的な現象や状況）が、物理法則に照らして不可能である」という客観的事実を示しています。
there being は「存在する」というニュアンスを強調し、「物理法則に基づく何か実際に確認可能な事象」を意味します。
2. in the strong sense of being something
直訳: 「何かであるという強い意味で」
意味:
「何かである状態」や「何らかの性質を持つこと」を強調する表現になります。
being something では「存在の客観性」よりも、「その性質や本質そのもの」に焦点が当たります。
ニュアンスの違い
表現 ニュアンス there being something 「何かが存在する」という事実を強調。物理的または観察可能な現象の客観性に基づいて説明しています。 being something 「何かである状態」や「本質的な性質」に焦点を当てており、抽象的または概念的な印象を与えます。
文脈への影響
このフレーズの文脈では、物理法則に基づく「不可能性」を強調するために 「there being something」 を使うのが適切です。これにより、何か具体的な事象が物理的に不可能であるという強い意味を示します。
一方、「being something」 にすると、「何らかの性質が強調される」という抽象的な表現になり、物理法則に基づいた明確な「不可能性」という意味合いが弱くなります。
AIの安全性を確保するためには・・・？
You, the human, write a specification that your AI tool must obey, that it's impossible to log in to your laptop without the correct password, or that a DNA printer cannot synthesize dangerous viruses.
「人間であるあなたが、AIツールが従わなければならない仕様を作成します。例えば、『正しいパスワードなしではノートパソコンにログインできない』とか、『DNAプリンターが危険なウイルスを合成できない』といった仕様です。」
文脈と背景
この文は、AIや自動化ツールにおける**仕様設計（Specification Design）**の重要性を指摘しています。特に以下の点を強調しています：
人間の介入
AIは独自の意思を持つわけではなく、設計された仕様に従って動作するため、最初に人間が仕様を明確に定義する必要があります。
セキュリティと安全性
パスワードによるアクセス制限は情報セキュリティの基本。
DNAプリンターの例は、技術の悪用防止を念頭に置いた倫理的制約を指しています。
仕様の厳密性
「不可能」とする仕様は、AIのリスクを管理し、予期せぬ動作や悪用を防ぐために不可欠です。
Then a very powerful AI creates both your AI tool and a proof that your tool meets your spec.
「そして、非常に強力なAIが、あなたのAIツールと、そのツールが仕様を満たしていることを証明するものの両方を作成します。」
So you only have to understand or trust your proof-checking code, which could be just a few hundred lines long.
「そのため、あなたは証明をチェックするコードだけを理解したり信頼したりすればよく、そのコードはわずか数百行で済むかもしれません。」
文脈と背景
この文は、システムの複雑性を管理しやすくする方法を説明しています。具体的には、AIやツールが仕様を満たしているかどうかを確認するためのプロセスを、シンプルで信頼性の高い形にすることを提案しています。
証明チェックの重要性
証明チェックツールは、システムが仕様に合致していることを保証します。
これにより、人間がすべてのコードやシステムの挙動を直接理解する必要がなくなります。
コードの簡潔さのメリット
短いコードは、理解が容易であり、バグのリスクも低減します。
数百行であれば、専門家が直接目視で確認することも現実的です。
信頼の焦点を絞る
ツール全体ではなく、証明チェックコードにのみ信頼を置けばよいので、全体の安全性や正確性を確保するプロセスが簡略化されます。
解釈
この文章は、複雑なシステムを信頼するためのアプローチとして、証明チェックコードの重要性を強調しています。この方法により、信頼の対象を限定し、システム全体の検証に必要な労力を大幅に削減できることを示唆しています。
And Steve and I envision that such proof checkers get built into all our compute hardware, so it just becomes impossible to run very unsafe code.
「そしてスティーブと私は、そのような証明チェッカーがすべての計算ハードウェアに組み込まれる未来を思い描いています。それにより、非常に危険なコードを実行することがそもそも不可能になるのです。」
You train an AI to first just learn to do what you want and then you use a different AI to extract out the learned algorithm and knowledge for you, like an AI neuroscientist.
「まずAIに、あなたが望むことを学習させ、その後、別のAIを使って、学習されたアルゴリズムや知識を抽出します。まるでAIの神経科学者のようにです。」
詳細な説明
You train an AI to first just learn to do what you want
You train an AI（AIを訓練する）: AIに特定のタスクや目標を達成するためのスキルや知識を学習させるプロセスを指します。
to first just learn to do what you want（まず、あなたが望むことを単に学習させる）: AIが特定の目的や動作を効果的に遂行できるようにすることが最初のステップであることを強調しています。
「to first just learn」: 学ぶ行動自体が「最初に行うこと」であると強調。
「first just to learn」: 訓練プロセス全体の「最初に行うこと」が学ぶことであるというニュアンスがあり、どちらかというと「訓練の順序」に焦点がある。
and then you use a different AI
and then（そしてその後）: 次の段階に移ることを示しています。
you use a different AI（別のAIを使う）: 新たなタスクに特化した別のAIを利用します。
to extract out the learned algorithm and knowledge for you
to extract out（抽出する）: 学習された内容（アルゴリズムや知識）を取り出すプロセスを指します。
the learned algorithm and knowledge（学習されたアルゴリズムや知識）: 最初のAIが蓄積した動作やデータ、ルールを意味します。
for you（あなたのために）: 人間がその内容を活用できるようにすることを示しています。
like an AI neuroscientist
like an AI neuroscientist（AIの神経科学者のように）: ここでは比喩的表現で、AIが人間の神経科学者のように別のAIの内部構造や学習内容を解析し、それを人間が理解しやすい形で提示する役割を果たすことを意味します。
文脈と背景
この文は、AIの学習プロセスと、その学習結果を活用する方法についての理論を説明しています。具体的には次のような流れです：
AIの学習
最初のAIはタスクを達成するためのスキルやアルゴリズムを学びます。
例: 画像認識、自然言語処理、ゲームの戦略など。
AIの学習内容を抽出
別のAIが、学習された内容を解析し、人間が利用可能な形式で抽出します。
これは、AIの「ブラックボックス問題」を解決するアプローチの一つです。
AIの神経科学者の比喩
人間の神経科学者が脳の構造や機能を解析するように、別のAIが学習モデルやデータを分析する役割を果たします。
解釈
このアプローチは、AIの学習プロセスを効率化するだけでなく、その成果を人間がより効果的に利用できるようにすることを目的としています。特に、AIが何をどのように学んだかを理解することで、安全性や透明性の向上が期待されます。
Superintelligenceは必要なのでしょうか？演者は、以下のように主張します。
And in the meantime, let's remember that all the AI benefits that most people are excited about actually don't require superintelligence.
「その間に、ほとんどの人々が興奮しているAIの利点は、実は超知能を必要としていないことを思い出しましょう。」
文脈と背景
この文章は、AI技術に対する期待と現実を整理しています。
AIの利点
既存のAI技術は、特定のタスクを効率化し、多くの実用的な問題を解決しています。
例:
スマートスピーカーによる音声認識。
医療画像の解析。
顧客サービスの自動化。
超知能（Superintelligence）の誤解
多くの人が、AIの驚異的な未来像（超知能による世界変革）を想像しますが、現時点でのAIの恩恵はそのような高度な技術を必要としていません。
強力で特化されたAI（Narrow AI）で十分対応可能です。
焦点の重要性
超知能のような未来の可能性に目を奪われるのではなく、現在のAIが提供する具体的な利点に注目し、それを活用することが重要です。
解釈
この文は、AI技術の現実的な活用についての冷静な視点を促しています。未来の超知能（AGIやASI）の議論に関心が集中する一方で、現在のAIがすでに多くの問題を解決し、多くの利点を提供している事実を強調しています。
Let's just pause the reckless race to superintelligence.
「無謀な超知能への競争を一旦停止しましょう。」
Let's stop obsessively training ever-larger models that we don't understand.
「理解できないような、ますます巨大なモデルを執拗に訓練するのをやめましょう。」
Let's heed the warning from ancient Greece and not get hubris, like in the story of Icarus.
「古代ギリシャからの警告に耳を傾け、イカロスの物語のように傲慢にならないようにしましょう。」
Because artificial intelligence is giving us incredible intellectual wings with which we can do things beyond our wildest dreams if we stop obsessively trying to fly to the sun.
「人工知能は、私たちに驚くべき知的な翼を与えてくれています。それによって、私たちの最も大胆な夢を超えることも可能です。ただし、太陽に飛ぼうと無謀に執着しなければ、という条件付きで。」
しかし、人間は、reckless raceを諦める理性と勇気があるのだろうか？と僕（向後）は心配になります。
