人気の記事一覧

LLM-jp-3 を llama.cpp を使って iPhone・Android で動かす

7日前

Llama.cpp で Llama-3.1-70B-Japanese-Instruct-2407 を試す

2か月前

Google ColabでLLM(llm-jp-3-instruct、HF形式)をGGUF形式に変換する

iOS・Android の ローカルLLM実行環境まとめ

5か月前

llama.cpp の llama-cli コマンドのヘルプまとめ

話題のArrowPro-7B-KUJIRA の量子化モデル使ってみました

4か月前

llama.cppの公式Swift Packageの使い方を調べたメモ - llama.swiftuiのコードリーディング

4か月前

llama-cpp-python 使ってみた

4か月前

【無料】ローカルPCで動く日本語LLM(ELYZA-japanese-Llama-2-7b-instruct)

6か月前

LlamaCppのUIツール「LlamaChat」

3か月前

Llama.cppのOpenAI互換モードを使って、OpenAIから少ない手間でローカルLLMに乗り換える

8か月前

Llama.cpp で Karakuri LM を試す

8か月前

wandb を活用して LangChain を 日本語ローカルLLM 対応させる

8か月前

llama.cppでHuggingFaceモデルを4bit量子化😚【GoogleColab】/大塚

4か月前

Mixtral-8x22Bをllama.cppで実行する

[オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す

再生

LLMを爆速で処理させる

1か月前

【ローカルLLM】Windows10でllama-cpp-pythonを動かす

5か月前

【ローカルLLM】Windows10のllama.cppでGPUを使う

6か月前

WSL2でllama-cpp-pythonを試してみる

8か月前

【ローカルLLM】Windows10でllama.cppを動かす

6か月前

llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

6か月前

【ローカルLLM】Mixtral-8x7bをllama.cppで試す

9か月前

GoogleColabでHuggingFaceのモデルをGGUFフォーマットに変換🔄/大塚

4か月前

WSL2とllama.cppでKARAKURI LMを試してみる

8か月前

macOSオンデバイスでLLMを動かすアプリの比較 -LM studio, Ollama, etc...

7か月前

【llama.cpp】CPUとRAM、どっちが重要?

9か月前

飛行機でOpenAIのLLMが使えなくなるのでローカルLLMをMacBook Pro(M2)で使えるようにしておく

16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる

オープンソースなLLM(calm2-7b)のCPU推論エンドポイントをAzureとllama-cpp-pythonでシュッとつくる

10か月前

Llama-cpp-pythonでOpenAIのChatGPT互換APIサーバを立てる。

【llama.cpp】Qwen-14BをGGUF量子化して日本語で試す

10か月前

Llama.cpp の HTTPサーバー機能を試す

1年前

GGMLからGGUFへ:llama.cppのファイルフォーマット変更

1年前

Microsoft LLM Phi-2をローカルPCで処理させる

9か月前

【ローカルLLM】llama.cppの「投機的サンプリング」を試す

1年前

【ローカルLLM】Colabの標準GPUで「CodeLlama-34B-GGUF」を動かす

1年前

llama-cpp-pythonインストールするときのメモ

1年前

Google Colab で Llama.cpp + Vicuna-v1.5 を試す

1年前

llama.cppでHFモデルを変換して対話する環境を作る(Windows CPU版)

LLM Mistral 7B系のMoEを作って遊ぶ

1か月前

llama.cpp による transformersモデル の量子化

5か月前

Llama.cpp で Command R+ を試す

5か月前

Llama.cpp で Swallow MX 8x7B を試す

6か月前

DockerでLlamaCppPythonがクラッシュしていた問題を解決

10か月前

GPUを使わない生成AIの続き

11か月前

GPUを使わずに文書生成AIをやる方法を文書化

11か月前

【ローカルLLM】llama.cppの量子化バリエーションを整理する

1年前