ナガメ研究所🎲🤖

AIを使った面白いコトを探してます。今はポーカーAIの開発をしており、強化学習や自然言語処理に興味があります。難解な数式や英語は記事に出てきません。AIことが分からなくても大丈夫です！ぜひフォローよろしくお願いします！

ナガメ研究所🎲🤖

AIを使った面白いコトを探してます。今はポーカーAIの開発をしており、強化学習や自然言語処理に興味があります。難解な数式や英語は記事に出てきません。AIことが分からなくても大丈夫です！ぜひフォローよろしくお願いします！

  • ポーカーAI開発シリーズ

    UnityとMl-agentsを用いたポーカーAI開発の記録をまとめたマガジンです。月1～3本程度投稿しています。 ポーカーについて興味ある人、AIについて興味ある人を対象に、試行錯誤している様子を書いています。

  • 自然言語処理シリーズ

    GPTを中心に、AI技術を用いた文章生成関連の記事をまとめています。

  • 強化学習で遊ぶシリーズ

    いろんなテーマを問題にして、強化学習したAIの行動の記録を記事にしています。こんなことAIでできない？など、アイデア募集しております。

ポーカーAI開発 part10 ~ポーカーとゲーム理論 最適化戦略構築からエクスプロイト戦略への応用まで~

今回はアンドリュー・ブロコス著「ポーカーとゲーム理論 最適化戦略構築からエクスプロイト戦略への応用まで」を読んできました。そのなかで「エクスプロイトの4つのステップ」についてざっくりまとめたので書いていきます。また、ポーカーAI開発者がこの人間が考えるエクスプロイトまでの思考のステップを、どのように活かせるか考察します。よろしくお願いします。 はじめにこの書籍は現代ポーカーを語るうえで外せない「ゲーム理論的最適戦略」と「エクスプロイト戦略」について、その概念をポーカーを簡略

ナガメ研究所🎲🤖

    • ポーカーAI開発 part9 ～自作した簡易GTOモデル開発の途中経過～

      こんにちは！ナガメ研究所です。人を楽しませるポーカーAIの開発をしています。前回 part8 DeepCFRを使ってみる では、AIによる簡易的なGTOモデルを作成して対戦してみました。今回はその続きです。 この記事では、対戦のログを記録する機能とプレイのGUI画面を作成したのでご紹介します。 後半は今現在学習中のポーカーAIと対戦し、ログを分析していきます。 対戦画面の作成前回は文字情報だけのコンソール画面からAIに情報を送り対戦していました。 しかし、これではマーク

      ナガメ研究所🎲🤖

      • ポーカーAI開発 part8 ～DeepCFRを使ってみる～

        こんにちは！ナガメ研究所です。人を楽しませるポーカーAIの開発をしています。これまでのセルフプレイ(自己対戦する強化学習)から、現在はGTO戦略と近似するモデルを獲得するCFRアルゴリズムを用いたDeepCFRを試してみています。 CFRとはCounterfactual Regret Minimizationの頭文字を取っており、GTO戦略を近似的に求めるアルゴリズムです。ポーカーを例にとると、フォールド、チェック、ベットなど、どの行動を取ったほうが良かったと結果から後悔を

        ナガメ研究所🎲🤖

        • ChatGPTのAPIが公開！サービス開発する上で気をつけるべき”プロンプトインジェクション”について

          こんにちは！ナガメ研究所です。3月始めに、OpenAIがChatGPTのAPIを公開しました。これにより、これまで公式のウェブサイト上でしか操作できなかったChatGPTがアプリなどのサービスに組み込めるようになりました。以前からChatGPTの一つ前のバージョンであるInstructGPTは公開されていましたが、使用料金もグッと下がって、応答速度も非常に早いため、今後AIサービスはかなり広まっていくのではないでしょうか。 著者もAIを使ったサービス「ブレインストーミングA

          ナガメ研究所🎲🤖

        マガジン

        • ポーカーAI開発シリーズ
          11本
        • 自然言語処理シリーズ
          3本
        • 強化学習で遊ぶシリーズ
          3本

        記事

          強化学習で遊ぶ part3 真似して育つAI

          UnityのML-agentsを利用し、サッカーAIを強化学習で育てる記事です。 ～～～前回の内容はこちら～～～ 強化学習で遊ぶシリーズpart3じゃ。サッカー対戦をテーマに強化学習の解説をしてきたが、今回は模倣学習を学んでいくぞ。 模倣学習ですか。何かを真似るということですか？ その通りじゃ助手くん。4対4のサッカーAIを学習するのに1日かかっておったが、基本はキックしてボールをゴールに入れることじゃ。なぜこんな時間がかかるかというと、どのようにして報酬(ゴール)を得

          ナガメ研究所🎲🤖

          強化学習で遊ぶ part3 真似して育つAI

          ナガメ研究所🎲🤖

          強化学習で遊ぶ part2 「AIにサッカーさせてみる」

          UnityのML-agentsを利用し、サッカーAIを強化学習で育てる記事です。 ～～～前回の内容はこちら～～～ はじめに博士じゃ。前回に引き続き、強化学習で遊んでいくぞ。 助手です！前回はサッカーのルールも教えてないのに、AIが自ら学習してゴールまで決めてましたね！ けど、もっと沢山のナガメ(AI)でサッカーするのを見てみたいですね。 前回は学習を早めるために、狭い空間で2対2のサッカーをさせたの。次は人数を増やしてみるぞ。助手くん、設定を頼む。 了解です！マップの

          ナガメ研究所🎲🤖

          強化学習で遊ぶ part2 「AIにサッカーさせてみる」

          ナガメ研究所🎲🤖

          強化学習で遊ぶ part1 AIが育つ「強化学習」の面白さ

          こんにちは！ナガメ研究所です。普段はポーカーAIの開発をしています。ポーカーを通して強化学習というものの面白さを伝えたいのですが、なかなか思うように開発が進められていません(ポーカーって難しい・・・) そこで、もっと身近で面白そうなテーマをいろいろつまみ食いして、その発見をお伝えする強化学習で遊ぶシリーズを考えました。このシリーズでは、ナガメ研究所の博士と助手、ナガメの3人に強化学習の紹介をしてもらいます。難しい数式や計算は省き、なるべく理解しやすい用語で解説します。AIや強

          ナガメ研究所🎲🤖

          強化学習で遊ぶ part1 AIが育つ「強化学習」の面白さ

          ナガメ研究所🎲🤖

          ポーカーAI開発 part7 ～スタッツを報酬に加えてうまくいった話～

          こんにちは！ナガメ研究所です。人を楽しませるポーカーAIの開発をしています。今回は、前に書いたpart4の記事の続編です。よろしくお願いします。 はじめに前回、WTSDという、ポーカーのプレイ傾向を指す指標を元に、AIの学習をコントロールできないか試しました。結果は芳しくないとまとめましたが、今回は手応えを感じたのでその続編です。AIの学習方法やこれまで何をしてきたかなどの細かい話は前回の記事をぜひご覧ください。 WTSDを報酬に加えた前回のアプローチとの相違点注意！この

          ナガメ研究所🎲🤖

          ポーカーAI開発 part7 ～スタッツを報酬に加えてうまくいった話～

          ナガメ研究所🎲🤖

          噂のChatGPTにポーカーの質問をしてみた

          こんにちは！ナガメ研究所です。今回は、最近噂のChatGPTを触れてみたので、その話をしようと思います。 はじめに ChatGPTとは？ChatGPTとは、OpenAIが開発したチャットサービスのことです。インターネット上の沢山の文章を学習したAIモデルを使用しています。文章で話かけると、人間が書いたものと遜色ない返答がもらえるため、2022年12月現在、話題になっているようです。 利用するにはOpenAIのアカウント作成と電話番号が求められますが、誰でも無料で使う事ができ

          ナガメ研究所🎲🤖

          噂のChatGPTにポーカーの質問をしてみた

          ナガメ研究所🎲🤖

          ポーカーAI開発 part6 ~17万試合を学習したAIと対戦してみた~

          こんにちは！ナガメ研究所です。ポーカーAI開発の記事もpart6になりました。これまでの記事へのスキやフォロー、本当にありがとうございます！引き続きポーカーAIの開発を頑張りたいと思います。 さて今回は、最近やっていたパラメーターの探索(AIモデルを作るために人が決定すべき数値を探す)が落ち着いたのと、今のアプローチではもうこれ以上強くできないなあと考えたので、これまでの内容を一旦記事にまとめます。よろしくお願いします。 はじめに初めて筆者の記事を読む方に簡単に説明します

          ナガメ研究所🎲🤖

          ポーカーAI開発 part6 ~17万試合を学習したAIと対戦してみた~

          ナガメ研究所🎲🤖

          ポーカーAI開発 part5 ～AIがポーカーを実況・解説する 2歩目～

          こんにちは！ナガメ研究所です。今回は、テンプレート方式で大量に生成した文章をGPT-2に流して、ゲーム状態に応じた文章生成をするAIモデル作ってみたので、その話をします。今回の記事は、前回の書いた内容の続きとなっていますので、ぜひご覧ください。細かいアルゴリズムや数式の話はしませんので、ご了承ください。 はじめに対戦ゲームは基本、試合中に自身の考えや今後の戦略を話したりはしません。なので観客は試合後のインタビューを聞くか、別室で行われる実況・解説席からの予想をもとに考える必

          ナガメ研究所🎲🤖

          ポーカーAI開発 part5 ～AIがポーカーを実況・解説する 2歩目～

          ナガメ研究所🎲🤖

          AIがnoteを書いてくれるかも？文章を生成してくれるAIモデル「GPT-2」を使って自分のnoteを学習させてみた

          こんにちは！ナガメ研究所です。今流行の文章生成AIモデル”GPT-2”の日本語版を使って遊んでみたので、その内容を書いていきます。GPT-2の詳しい仕組みやアルゴリズムやインストール方法については触れていないのでご了承ください。よろしくお願いします。 はじめにGPT-2って何？って方へ、簡単な説明をします。GPT-2とは、これまでたくさんの人が書いてきた大量の文章を学習したモデルです。単語、もしくは文章を入力として(これをプロンプトという)、次に来るであろう単語を予測し、予

          ナガメ研究所🎲🤖

          AIがnoteを書いてくれるかも？文章を生成してくれるAIモデル「GPT-2」を使って自分のnoteを学習させてみた

          ナガメ研究所🎲🤖

          ポーカーAI開発 part4 〜スタッツを元に報酬を設計する～

          こんにちは！ナガメ研究所です。人を楽しませるポーカーAIの開発をしています。 今回は、part2の記事で話したスタッツ（プレイの特徴を表す様々な数値）を評価指標にして、AIのプレイスタイルをコントロールできないか試したのでその話をしたいと思います。 はじめに現在開発しているポーカーAIは、AI同士が対戦することで強くなる”self-play”という学習方法をとっています。AIは報酬と呼ばれる、行動の結果が良かったのか悪かったのかを判断するための評価をもらいます。 最初はラン

          ナガメ研究所🎲🤖

          ポーカーAI開発 part4 〜スタッツを元に報酬を設計する～

          ナガメ研究所🎲🤖

          ポーカーAI開発 part3 〜AIがポーカーを実況・解説する第一歩〜

          こんにちは！ナガメ研究所です。人を楽しませるポーカーAIの開発をしています。 今回は、ポーカーAIがポーカーのプレイを実況・解説してもらうにはどうしたらいいかについて、関連情報を軽く紹介しつつ、筆者の考えていることについて書いていきます。 AIが実況・解説するとは？AI(コンピュータ)が実況・解説するとはどういうことなのでしょうか。機械音声などを使えば、文章があれば一応読み上げることは可能です。抑揚や声量、間などの要素もありますが、まずは文章を生成することを考えてみます。

          ナガメ研究所🎲🤖

          ポーカーAI開発 part3 〜AIがポーカーを実況・解説する第一歩〜

          ナガメ研究所🎲🤖

          ポーカーAI開発 part2 〜AIの行動を分析してみる〜

          こんにちは！ナガメ研究所です。前回のpart1に”スキ”をくれた皆様、ありがとうございます。励みになります！ さて今回は、いい加減やろうと思ってたAIの行動分析について、ざっと項目を洗い出してきました。ただ、筆者はポーカー初心者です。ポーカープレイヤー目線のもっと良いデータの見方があれば参考にさせて頂きたいので、ぜひコメントお願いします！ ポーカーAIの行動分析調べてみると、ポーカーゲームではHUD（ヘッズアップディスプレイ）という、スタッツ（プレイの特徴を表す様々な数値）

          ナガメ研究所🎲🤖

          ポーカーAI開発 part2 〜AIの行動を分析してみる〜

          ナガメ研究所🎲🤖

          ポーカーAI開発 part1 〜自分と対戦して賢くなるAIを作ってみた〜

          こんにちは！ナガメ研究所です。 先日、TwitterにAIと対戦した動画を投稿しました。まだ見てない方は先にこちらをご覧ください。※音がでます この記事では、強化学習の内容に触れつつ、どういった工夫をしてきたかを書いていきます。 問題となった点今回、ML-agentsの"self-play"を用いて、AI同士を対戦させて強いAIをつくることを目指しました。その過程で、うまく学習できなかったパターンを上げてみます。 オール・インしかしない 学習がある程度進むと、オール・イ

          ナガメ研究所🎲🤖

          ポーカーAI開発 part1 〜自分と対戦して賢くなるAIを作ってみた〜

          ナガメ研究所🎲🤖