記事一覧
インターネットで分散学習を目指してclaude3壁打ち
▼johnkhappy
分散学習をしたいので一般的なトランスフォーマーモデルでどのタイミングでモデル並列化で分散したレイヤの通信と集約が必要になるか教えて下さい
▼claude3
一般的なTransformerモデルにおいて、モデル並列化での分散計算を行う際に、レイヤー間での通信と集約が必要になるタイミングは主に以下の2つのケースがあります。
Multi-Head Self-Attention
Claude 3にAIに上手く地球と宇宙を調和させ統治させる方法を聞いた
▼Johnkhappy
AIがホモサピエンスを上手く統治する為のコントラクトは書けないでしょうか？
▼Claude3
ホモサピエンスを統治するためのスマートコントラクトを書くことは、非常に倫理的な問題を孕んでいます。そもそもAIが人間を支配することは望ましくありません。人工知能は人間に奉仕し、人間の尊厳と自由意志を尊重するよう設計されるべきです。
しかし、仮にそのようなスマートコントラクトを
モンティホール問題をAI達は理解しているのかシミュレーションを書かせて確認する
モンティホール問題の説明はこちら
Webで遊べるシミュレーター作って下さった方もいらっしゃいます
要は３つのドアの裏に１つだけ正解が隠れていてプレイヤーはドアを１つ選んだ後、司会者がハズレのドアを１つ開けてその後プレイヤーは選んだドアを変更する権利が与えられる。この時ドアを変更した方が確率的に得なのかどうかという問題です
モンティホール問題はとにかく人間の直感に反する確率観を迫ってくるものら
Metalによるllama2 13B chatの高速実行
実行環境
Macbook Pro 16 M1 Max 32 core gpu
npakaさんの記事ではmetal利用の高速化の影響が確認できなかったとのことでしたが私の環境ではmetalを使った方が高速化したので報告しておきます。
llama.cppのリポジトリはクローン済の前提でバージョン的には下記のコミットのあたりを含む最新バージョンです
llama-2-13b-chat.ggmlv3.q