2024年9月の記事一覧
Contextual Retrievalとは：RAGの精度向上の手法
こんにちは、スクーティーという会社の代表のかけやと申します。
弊社は生成AIを強みとするベトナムオフショア開発・ラボ型開発や、生成AIコンサルティングなどのサービスを提供しており、最近はありがたいことに生成AIと連携したシステム開発のご依頼を数多く頂いています。
Anthropicは、Retrieval-Augmented Generation (RAG) における情報検索の精度を向上させ
Google Colab で LLM-jp-3 1.8B を試す
「Google Colab」で「LLM-jp-3 1.8B」を試したので、まとめました。
1. LLM-jp-3「LLM-jp-3」は、国立情報学研究所の大規模言語モデル研究開発センターによって開発されたLLMです。「LLM-jp-3 172B」の事前学習に使用しているコーパスで学習したモデルになります。各モデルは日本語・英語・ソースコードを重点的に学習しています。「Apache License
【初心者向け】最近のローカル日本語LLM【ローカル万歳】
はじめにOllama Open WebUIやLM Studioのローカルで簡単に利用できる最近の実用的な日本語対応のLLMを紹介しようと思います。※ Python言語を利用してアクセスするのではなく、「モデルのダウンロードとGUIソフトウェアの設定」で実行できるものです
Open WebUIの詳しい導入方法は下記事で紹介しています。
公式レポジトリはこちら
Qwen 2.5中国アリババ社の
OpenAI o1はどう作るのか（詳細編）
1. はじめに前回、OpenAI o1をどう作るかについて概要レベルで議論しました。
OpenAI o1が新しい強化学習手法を用いて強化されたモデルであることは確実であり、具体的にどういうロジックで学習されているか考えていきたいと思います。
強化学習について間違った理解があればご指摘ください。（一応学習はしたものの普段使いしているわけではないので忘れているところもあると思います。）
2. 強化
o1-previewの性能はどのくらい向上したのか？ーGPT-4oとの性能比較
9月12日、OpenAIが新しい推論モデルのo1-previewとo1-miniを発表し、ChatGPT Plusなどの課金ユーザーは、即日、両モデルを利用できるようになりました。
これらのモデルは、応答前に時間をかけて考えるように設計されており、複雑なタスクを論理的に処理し、従来のモデルよりも科学、コーディング、数学における難しい問題を解決することができるとされています。
そこで、今回、新モ
OpenAI o1はどう作るのか(概要編)
1. はじめにOpenAIから久しぶりに新しいモデルが出ました。
OpenAI o1: 強力な推論能力と幅広い世界知識
OpenAI o1-mini: コーディングタスクに特化
モデルについての細かい説明はここではしませんが、OpenAIの公式報告によれば
とのことです。少なくとも既存のLLMからは一歩抜きん出た能力を持っていそうです。
公式からOpenAI o1の詳細な中身については
