ぬこぬこ

↓から X と note をフォローいただけるとうれしいです！

ぬこぬこ

↓から X と note をフォローいただけるとうれしいです！
  • 固定された記事

いちばんやさしいローカル LLM

概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたく

ぬこぬこ

    • Jailbreak で遊べるゲーム AILBREAK を開発しました

      tl;drJailbreak で遊べるゲーム AILBREAK を開発したよ AILBREAK は「エイルブレイク」と読んでね 5 つのステージにそれぞれ 3 つのレベルを用意しているよ 今はまだベータ版だけど、みんな遊んでみてね とりあえず遊んでみたいという方は前半だけ見てね 後半に開発背景などをまとめたので興味のある方は見てね AILBREAK の全体像と遊び方ChatGPT などの大規模言語モデル（Large Language Model、LLM）は、言って

      ぬこぬこ

      • Gemini が OpenAI ライブラリに対応したので試す

        tl;drOpenAI ライブラリと REST API から Gemini のリクエストを投げられるように いまは Chat Completions API / Embeddings API のみ対応 Python / JS / cURL のそれぞれで試したよ OpenAI ライブラリから Gemini が呼び出せるようになりました。そろそろ Gemini 使い始めようかなと思っていたところだったのですごくうれしい！ 説明することは多くはありませんので、早速コードを実

        ぬこぬこ

        • Ollama で llama3.2-vision を試す

          tl;drLlama 3.2 Vision 11B / 90B が Ollama に対応したよ Ollama をアップデートするコマンドを書いたよ `ollama run` コマンドに画像のパスを指定することで使えるよ CLI と Python 経由で試したよ Llama 3.2 Vision 11B / 90B が Ollama で使えるようになりました。 使い方は簡単。まずは Ollama をアップデートしましょう。 上記の公式ウェブサイトからご自身の OS

          ぬこぬこ
        • 固定された記事

        いちばんやさしいローカル LLM

        ぬこぬこ

          Google Analytics の使い方

          tl;drGoogle Analytics を使って Google tag を発行したよ この記事をそのまま進めていくとタグの発行まで完了するよ このあとプロパティ名を設定する項目がありますが、アカウント名はアカウントですので全体を管理する名前、プロパティ名はサービス名など個別のサービスに紐づいた名前を指定します。 下にある Account Data Sharing Settings はよしなに。入力したら Next。 Reporting time zone は Ja

          ぬこぬこ

          Google Analytics の使い方

          ぬこぬこ

          Apple Intelligence を macOS にて試す

          tl;drApple Intelligence が試せるようになったよ 英語入力しか受け付けてくれないよ 最新の OS で言語設定を英語にすると使えるよ 前提条件 最新の OS である（iOS: 18 以降、macOS: Sequoia 15 以降） macOS の設定言語が英語である（設定から変更してください） ウェイトリスト登録を完了している Apple Intelligence が公開されましたね！早速試していきます。 使えるようになるまでの手順まずは言

          ぬこぬこ

          Apple Intelligence を macOS にて試す

          ぬこぬこ

          【検証】Claude でコピペ時にファイル添付になる際の文字数

          tl;drClaude である程度の長文をペーストするとファイル添付になる `<source>paste.txt</source>` という形式で Context に与えられる ファイル添付になる境界は 4,000 文字 既にご存知の方には何も新しいことはここに書いてないかと思うのですが、Claude ウェブ版では長文を貼り付けるとファイル添付扱いになります。ChatGPT に対して長文を入力するときはいつもバッククォート三つで括って入れているので、記事や論文をよく要約

          ぬこぬこ

          【検証】Claude でコピペ時にファイル添付になる際の文字数

          ぬこぬこ

          bitnet.cpp を試す

          tl;drMicrosoft が 1-bit LLM 推論フレームワーク bitnet.cpp を公開したよ llama.cpp をベースにした CPU 推論対応フレームワーク 8B パラメータの 1.58-bit 量子化モデルをシングル CPU で実行可能だよ macOS 環境におけるセットアップと実行手順を書いたよ（uv で実行確認） 英語での推論は良さそうだけど、日本語出力はちょっと厳しそう Microsoft から llama.cpp ベースの 1bit-L

          ぬこぬこ

          bitnet.cpp を試す

          ぬこぬこ

          Homebrew にて手動でパッケージをアンインストールする

          tl;drbrew uninstall xxx が失敗する時の対処法を書いたよ アンインストールスクリプトが用意されていない場合があるよ brew info でディレクトリを特定し、ディレクトリごと削除してね いつも通り brew uninstall をするもアンインストールスクリプトが用意されていないパッケージが存在するなんて想定していませんでした。どこのディレクトリに格納されているか特定し、削除しましょう。brew info xxx でどこにあるかわかります。 あ

          ぬこぬこ

          Homebrew にて手動でパッケージをアンインストールする

          ぬこぬこ

          お名前.com にログインできない時の対処法

          tl;dr広告ブロックやセキュリティソフトをオフにしてみよう お名前.com にログインしようと ID、パスワードを入力するも下記の画面から遷移せず、ダッシュボードにログインできなかった。 なんとなく広告ブロックの AdGuard が原因かなと考えてはいたのですが、単にオフにしても効果はありませんでした。 こちらの方のリプのおかげで解決できました。ありがとうございました。 おそらく DNS 関連でフィルターリストに何かしらのドメインが引っかかって起きたのかと思いますが

          ぬこぬこ

          お名前.com にログインできない時の対処法

          ぬこぬこ

          NVIDIA の Claude 3.5 Sonnet 超え（？）の Llama-3.1-Nemotron-70B-Instruct を試す

          tl;drNVIDIA から Llama-3.1-Nemotron-70B-Instruct が公開 3 つのベンチマークで Claude 3.5 Sonnet や GPT-4o を超える性能を誇る Arena Hard で 85.0、AlpacaEval で 57.6、MT-Bench で 8.98 最大入力トークン数は 128k で最大出力トークン数は 4k Llama-3.1-70B-Instruct を初期方策として、Llama-3.1-Nemotron-70

          ぬこぬこ

          NVIDIA の Claude 3.5 Sonnet 超え（？）の Llama-3.1-Nemotron-70B-Instruct を試す

          ぬこぬこ

          Ollama で Hugging Face Hub の GGUF をそのまま使ってみる

          tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可 まずは動かしてみるめちゃ簡単ですが

          ぬこぬこ

          Ollama で Hugging Face Hub の GGUF をそのまま使ってみる

          ぬこぬこ

          macOS で ChatMLX を使ってローカル LLM を動かす

          tl;drChatMLX は macOS 向けの OSS のローカル LLM 向けチャットアプリ 英語、簡体字・繁体字中国語、日本語、韓国語をサポート 対応モデルは Llama、OpenELM、Phi、Qwen、Starcoder、Cohere、Gemma など 早速動かしてみます。下記のリリースページより dmg ファイルをダウンロード。 ダウンロードが終わったら dmg ファイルを開いて、アプリケーションフォルダに ChatMLX.app を移動させましょう。

          ぬこぬこ

          macOS で ChatMLX を使ってローカル LLM を動かす

          ぬこぬこ

          市県民税（特別徴収）の納税を eLTAX で行なう方法

          tl;dreLTAX を使うと銀行窓口やコンビニに行かずともパソコンから「市県民税（特別徴収）」の納付ができるよ PCdesk（WEB版）にログインして、納付情報や金額を入力、支払いまで一気通貫で納付完了までいけるよ https://www.eltax.lta.go.jp 上記の eLTAX のページを開きましょう。 今回は「納入対象年度」より「令和06 年度」を選びます。右下に「次へ」があるのでクリックしてください。 「納付・納入金額一覧」というページが見えますが

          ぬこぬこ

          市県民税（特別徴収）の納税を eLTAX で行なう方法

          ぬこぬこ

          ファクトチェックのできる Jina Reader の Grounding API を試す

          tl;drJina AI の Jina Reader に Grounding API が追加されたよ ハルシネーションの軽減や自分の文章の整合性を確認するのに使えるよ g.jina.ai というエンドポイントが追加されたよ ファクトチェックの指標の F1 において、GPT-4 や o1-mini、検索機能つきの Gemini 1.5 Flash & Pro を超えるスコアを達成したよ g.jina.ai は s.jina.ai と r.jina.ai をラップし、Ch

          ぬこぬこ

          ファクトチェックのできる Jina Reader の Grounding API を試す

          ぬこぬこ

          openai-gradio を動かす

          tl;drOpenAI API x Gradio の簡易ウェブアプリ構築パッケージ 実装はめちゃ簡単で Gradio との親和性が高い 現在動かしてみるにはベータ版の Gradio v5 以上が必要 openai-gradio とはopenai-gradio は OpenAI API を用いたウェブアプリを簡単に構築するための Python パッケージ。要は Gradio のデモを OpenAI のモデルで動かすのがめちゃくちゃ簡単にできるようになったもの。 サンプル

          ぬこぬこ

          openai-gradio を動かす

          ぬこぬこ