hirasu1231

四流と思い込みたい五流エンジニア。 ブログが更新できなくなったので、noteに移行して…

hirasu1231

四流と思い込みたい五流エンジニア。 ブログが更新できなくなったので、noteに移行してます。 ブログ：http://hamlet-engineer.com

[5分でやる技術日誌]なんj論文レビュー

なんj論文レビューClaude 3.5 Sonnet プロンプト： 上記の論文に対してなんJの架空のスレを創造的に書いて。 レス番や名前、投稿日時、IDも書き、アンカーは全角で＞＞と書くこと。 10人以上の専門家と2人の初学者をスレ登場させて 多角的に議論して Sapiens: 人間の視覚モデルの基礎 SOTA:https://paperswithcode.com/paper/sapiens-foundation-for-human-vision-models Eagl

hirasu1231

    • Windowsのwsl2(Ubuntu)上のDockerでNASにマウントしようとした記録

      容量の都合上、NASにデータを格納しています。また、ローカル環境をあまり汚したくないのでDockerを利用したいです。 しかし、wsl2(Ubuntu)上のDockerでNASにマウントするのに、一苦労あったので、自分用のメモとして執筆します。 Windows11 wsl2 Docker(WSL上) Buffalo LS720D(NAS) wsl2(Ubuntu)上のDockerでNASにマウントするwsl2(Ubuntu)でNASにマウントするまず、wsl2(Ub

      hirasu1231

      • [技術日誌]地域メッシュコードを判定する&なんj論文レビュー

        座標情報から地域メッシュコードを判定する地域メッシュコードとは 1次メッシュコード 例： (35.6895, 139.6917) の1次メッシュコードは5339(53-39) ・35.6895 * ( 1.5 ) = 53.53425 → 53 ・139.6917 - 100 = 39.6917 → 39 2次メッシュコード 例題： (35.6895, 139.6917) の2次メッシュコードは533945 (左から4番目までの数字は1次メッシュコード) まず、

        hirasu1231

        • [技術日誌]グラフDBなるものがあるらしい

          最短経路探索を趣味で取り組んでるのですが、グラフDBなるものを使うケースもあると聞きました。 Hello World的なものまでやってみます。 参考サイト： ディレクトリ構成 neo4j_docker/ ├ src/ | ├ neo4j_test.py | └ search_test.py ├ python_docker/ | ├ Dockerfile　 | └ requir

          hirasu1231

        [5分でやる技術日誌]なんj論文レビュー

        hirasu1231

        マガジン

        • 技術日誌
          10本
        • YouTubeAPI
          7本

        記事

          [技術日誌]LLMの単語ベクトルは本当に偏っているのか？ & なんj論文レビュー

          LLMのある噂を検証する知人のエンジニアからある噂を聞きました。 「LLMの単語ベクトルは偏っていて、全く関係ない文章が高い類似度を算出されることがある」 上記の噂が本当なのか、1つのLLMだけですが、検証してみました。 環境構築 Google Colabratryを使用してるので、環境構築は不要です。 LLMベースのモデル(重い) 下記のLLMベースモデルが人気だったが、無料版のColabではRAMをすべて消費してしまうので別の軽いモデルを使用する。 LLMベース

          hirasu1231

          [技術日誌]LLMの単語ベクトルは本当に偏っているのか？ & なんj論文レビュー

          hirasu1231

          [技術日誌]モデル別で文章の類似度を判定する

          8/9分の技術日誌 モデル別で文章の類似度を判定する環境構築 Google Colabratryを使用してるので、環境構築は不要です。 SentenceTransformers 下記のコマンドでライブラリをインストールします。 !pip install sentence-transformers データセットの準備 モデルによっては、全く違う文章でも類似度の最大値が1として0.8を超える数値を算出するものもあります。 全く違う文章の類似度は低く、似た文章の類似度

          hirasu1231

          [技術日誌]モデル別で文章の類似度を判定する

          hirasu1231

          [技術日誌]LangChainでReActとtoolsを使いPDFの検索と思考を見る & なんj論文レビュー

          酔っ払いすぎて投稿するのを忘れたので，今投稿 LangChainでReActとtoolsを使いPDFの検索と思考を見る複数のPDFをどのように参照したのかも知りたいので、LangChainでReActとtoolsを組み合わせみました。 VertexAIのキー設定 import osos.environ['VertexAI_PROJECT'] = "****************"os.environ['VertexAI_LOCATION'] = "**********

          hirasu1231

          [技術日誌]LangChainでReActとtoolsを使いPDFの検索と思考を見る & なんj論文レビュー

          hirasu1231

          [技術日誌]VerteAIで複数のPDFを参照して質問に答えてもらう & なんj論文レビュー

          VerteAIで複数のPDFを参照して質問に答えてもらうVerteAIだと、PDFを読み込むことが容易だったので下記のコードで実装してみました。 一応、質問には答えてくれますが、どのPDFに書かれていたのかまでは答えてくれません。 たぶん、プロンプトを変更すれば答えてくれるかも import osimport vertexaifrom vertexai.generative_models import GenerativeModel, Partos.environ['PRO

          hirasu1231

          [技術日誌]VerteAIで複数のPDFを参照して質問に答えてもらう & なんj論文レビュー

          hirasu1231

          [技術日誌]LangChainのReActの内部プロンプトを確認 & なんj論文レビュー

          仕事や趣味でコードを書いた時のメモと、論文を雑に読むためになんj風にLLMでまとめてもらいます。 LangChainのReActの内部プロンプトを確認ReActとは(超訳) LLMへの入力文(質問)から、行動(どのように答えるか)すべきかをLLMが思考する。そして、LLMが行動した結果を観察(考察)して、改めて行動(どのように答えるか)すべきかを思考する。 この工程を何度か繰り返すことをReActという。 入力された文章に答えるには、どういう理由(Reason)でどうい

          hirasu1231

          [技術日誌]LangChainのReActの内部プロンプトを確認 & なんj論文レビュー

          hirasu1231

          [勉強日誌]GTFS-GOでバス路線図を描画する

          GTFS-GOでバス路線図を描画します。 プラグインのインストールQGISで共有されているGTFS-GOをインストールします GTFS-GOの読み込み GTFS-GOでGTFSデータのzipを読み込みます。 GTFS-GOの描画GTFS-GOでGTFSデータを描画します。 路線図、バス停、頻度図が描画できます。 参考文献東京都のGTFSデータ GTFS-GO

          hirasu1231

          [勉強日誌]GTFS-GOでバス路線図を描画する

          hirasu1231

          YouTube Data API を使って再生リストから動画の再生回数等の情報を取得する

          YouTube Data API を使って再生リストから動画の再生回数等の情報を取得します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 http

          ¥100
          hirasu1231

          YouTube Data API を使って再生リストから動画の再生回数等の情報を取得する

          ¥100
          hirasu1231

          YouTube Data API を使ってチャンネルIDから動画の情報を取得する

          YouTube Data API を使ってチャンネルIDから動画の情報を取得します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 https://

          ¥100
          hirasu1231

          YouTube Data API を使ってチャンネルIDから動画の情報を取得する

          ¥100
          hirasu1231

          YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し，可視化も実装する

          YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し，可視化も実装します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧

          ¥100
          hirasu1231

          YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得し，可視化も実装する

          ¥100
          hirasu1231

          YouTube Data APIから得た情報からサムネイル画像をダウンロードする

          YouTube Data API を使ってキーワード検索から動画の再生回数等の情報を取得します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 ht

          ¥100
          hirasu1231

          YouTube Data APIから得た情報からサムネイル画像をダウンロードする

          ¥100
          hirasu1231

          YouTube Data API を使って動画の再生回数等の情報を取得する

          YouTube Data API を使って動画の再生回数等の情報を取得します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 https://dev

          ¥100
          hirasu1231

          YouTube Data API を使って動画の再生回数等の情報を取得する

          hirasu1231

          YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得する

          YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得します． 有料枠設定にしていますが，下記のサイトで他の記事もみれます．youtubeの投げ銭的な物として，お考えください． YouTube Data APとはYouTubeが提供しているAPIで、動画やチャンネル、再生リストに関わる情報を取得して、自分のWebサイトやアプリケーションで使用することができます。 公式のドキュメントが用意されているので、詳しくはこちらをご覧ください。 ht

          ¥100
          hirasu1231

          YouTube Data API を使ってキーワード検索から動画のタイトル等の情報を取得する

          hirasu1231