Yujimaru

Yujimaru

ChatGPT plus(GPT4)による機械学習

今回は前回の統計分析の続編で、ChatGPT4のエンジニアとして使用範囲の把握のため、GPT4によるプロンプトとPythonによるコーディングにおいて、作業性と結果比較を行いました。（※プラグインは未調査） 1. 最適輸送問題の計算 2. レコメンドシステムによる推薦 3. ベイズ最適化による計算 以上の比較から下記のことが分かりました。 作業性：計算手順が複数に及ぶ場合はアルゴリズムの指定など細かな指示が必要 結果：間違いでもそれらしい値を出力するので注意。指定したアルゴ

Yujimaru

    • 国内需要調査の簡易方法 e-Stat活用

      最近需要調査に役に立つオープンデータのe-Statについて学んだので共有します。ここまでの調査データがあるのに活用しないのは勿体ないと感じました。家計の消費支出から需要の把握も可能かと思います。その支出項目一覧を示します（本記事最下部）。またその他確認できた実施可能項目は下記。 ・e-Statでできること(一部抜粋) 　①支出の推移グラフ作成（下記手順参考(所要時間:数分程)） 　②統計API（Python、Rなど） 　③ファイル出力（xml、json、csvなど） ・e

      Yujimaru

      • Chat GPT plus(GPT4)による統計分析

        今回Chat GPT plusで大学基礎課程レベル※1の統計分析がどこまで可能かを確かめました。結論は以下です。（表計算ソフトと比較。プラグインは未使用） ・分析結果は市販の表計算ソフトと比較し大きな違いはなかったが（※2）、基本指定したもののみを出力すること。但し重回帰分析は多重共線性を自動で確認。 ・出力の条件が不足した場合、一部のみを出力（事例：t検定で片側検定は未出力） 統計分析をする上ではChat GPTで全体を分析後、じっくり分析するため結果を一覧出来る表計算

        Yujimaru

        • Chat GPT plus(GPT4)による感情分析(Advanced Data Analysis利用)(口コミ分析参考)

          Chat GPT4でレビューの感情分析をした手順を簡単にまとめました。詳細は別サイト参照ください。出力結果にはレビュー評点を0~5点の6段階評価で、x軸にChat GPT4のレビュー分析の評点結果、y軸にレビューの正解の評点結果を示しました(バブルサイズは頻度)。手軽さの参考対象として私がPythonで組んだパラメータ調整前の日本語特化のTransformerの結果も掲載します。 プロンプトとデータを記載したファイルを作成（今回はEXCEL利用） ChatGPT4.0にフ

          Yujimaru

          PythonでWordCloudによる分析

          Pythonで口コミなどのテキスト分析で使用するWordCloudを実行できたので簡単に手順化しました。正直コードは簡単ですが環境構築で手間取り、その解決策を簡単な手順の中に織り込みました。詳細は他サイトを参照ください。開発環境はWIndowsによるVS Codeのみです。環境構築で迷った際は以前の投稿のhttps://note.com/consulbyanalysis/n/nd9a62914f48e参考ください。 WordCloudインストール MeCabのインストール

          Yujimaru

          PythonでWordCloudによる分析

          Yujimaru

          統計の差の検定手法選択フロー(参考)

          今回は有意差検定を中心に統計手法の選択フローを簡単に作成しました。学んだことをフローにすると分かりやすく整理できました（情報収集結果や復習も兼ねて使用頻度高そうなものを抜粋。抜け漏れがありそうです）図を見ても良くわからない方はフロー図以下の説明を確認ください(なお検定手法の中身は他サイトご参照ください)。ベイズ統計は未記載のため参考として機械学習のアルゴリズム選びにも同じような”チートシート”と呼ばれるものがありますのでこちらのワードで検索してみてください。※統計手法前に散布

          Yujimaru

          統計の差の検定手法選択フロー(参考)

          Yujimaru

          Pythonによるスクレイビングの方法(Scrapy)

          初投稿です。最近Python、開発環境インストールからスクレイピングするまで実行できたので簡単な手順を参考に記載します。かなりざっくりです汗。詳細は別サイトご参考ください。別サイトでは長々と説明がありますが、基本これだけで可能でした。抜け漏れありそうで不安。スクレイピングの際は対象サイトの利用規約などを要確認です。スクレイピングOKと名乗るサイトもあります。 VS Codeのインストール Pythonのインストール Scrapyモジュールのインストール 環境設定1(S

          Yujimaru

          Pythonによるスクレイビングの方法(Scrapy)

          Yujimaru