LLM

2024年8月30日 17:26

Google Colab で Tanuki-8x8B を試す

「Google Colab」で「Tanuki-8x8B」を試したのでまとめました。

1. Tanuki-8x8B「Tanuki-8x8B」は、経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が開発・公開した日本語LLMです。

フルスクラッチで開発されたモデルで、Apache License 2.0に基づき、研究および商業

もっとみる

noguchi-shoji

2024年8月31日 21:36

WSL2でTanuki-8x8B-dpo-v1.0を試してみる

「モデルの開発過程や学習データなどを全てオープンにしたコミュニティで構築した大規模言語モデル」らしいTanuki-8x8Bモデルを試してみます。

vLLMによる推論が最推奨とのことなので、手持ちのGPUを2枚使って、AWQのモデルで試します。

使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは
・CPU: Intel® Core™ i9-13900HX Proces

もっとみる

Weights & Biases Japan

2024年8月29日 20:56

日本語LLMのバイアス評価 - Nejumi LLMリーダーボード開発記

はじめに近年、大規模言語モデル（LLM）の活用が急速に拡大する中で、その安全性と公平性に関する懸念が世界的に高まっています。かつては言語処理能力のみが注目されていましたが、現在では倫理的な配慮や社会的影響を考慮したアライメント能力も、LLMの重要な評価指標となっています。

この潮流を反映し、Weights & Biasesでは、LLMの性能を多角的に評価するNejumi LLMリーダーボードを開

もっとみる

AI Nest

2024年8月26日 13:49

【論文瞬読】大規模言語モデルに構造化された出力を要求するとどうなる？驚きの研究結果とその意義

こんにちは、株式会社AI Nestです。今日は、大規模言語モデル(LLMs)に構造化された出力フォーマットを要求することが、モデルのパフォーマンスにどのような影響を与えるかについて調査した興味深い研究を紹介します。

研究の背景と目的LLMsは、GPT-3やGPT-4に代表される大規模な事前学習済み言語モデルで、自然言語処理の分野で大きな注目を集めています。これらのモデルは、少ない学習データでも優

もっとみる

sergicalsix

2024年8月24日 22:52

LLMニュースまとめ[2024年8月12日~8月18日]

2024年8月12日~8月18日のLLM関連のニュースとして有名なもの、個人的に刺さったもの12点を以下にまとめる。

1. The AI Scientist

AIエージェントが、独自の研究実施、研究結果整理、論文執筆を一貫して実施。

2. Grok-2

LMSYS Chatbot ArenaでClaude 3.5 SonnetとGPT-4-Turboを凌駕

3. LongWriter

もっとみる

kawamou

2024年8月23日 23:56

LLM のニューロンを可視化し理解する Gemma Scope のススメ

LLM（に限らず NN の多く）は便利だが時にブラックボックス過ぎるキライがある。Google が発表した Gemma Scope は Google の LLM「Gemma」の内部ニューロンを可視化し分析することのできるオモシロツールである。

公式が Colab を用意しているため触ってみた備忘録。

LLM の内部を理解する Mechanistic Interpretability（機械論的解

もっとみる

npaka

2024年8月19日 18:05

Google Colab で LongWriter を試す

「Google Colab」で「LongWriter」を試したのでまとめました。

1. LongWriter「LongWriter」は、従来のLLMが生成可能なテキスト長を大幅に超える、最大10,000ワードの文章を生成することが可能なモデルです。一般的なLLMが2,000ワード程度の出力に限られていたのに対して、非常に高品質な長文の生成能力を持ちます。

2. Colabでの実行Colabで

もっとみる

0xpanda alpha lab

2024年8月16日 21:51

RAG情報抽出の最前線：HybridRAGの特長と活用領域

この記事では、Bhaskarjit Sarmah氏らが発表した論文「HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction」を紹介します。この論文は、金融分野での非構造化データからの情報抽出を革新する新しいアプローチで

もっとみる

0xpanda alpha lab

2024年8月16日 21:19

モデルマージングの最新動向：大規模言語モデルの融合技術の全貌

モデルマージングは、複数の異なる機械学習モデルを融合し、より汎用的で強力なモデルを構築するための技術として注目されています。この手法は、特に大規模言語モデル（LLM）やマルチモーダル大規模言語モデル（MLLM）において、計算資源を節約しつつも性能を向上させるために広く応用されています。本記事では、モデルマージングに関する最新の研究を詳細に紹介し、技術的な方法論や応用例を網羅的に解説します。

論文

もっとみる

shi3z

2024年8月15日 18:41

こいつを待ってた!3万字以上自動的に書いてくれるオープンLLMが登場!三回回せば本一冊分に!

なんか最近、いろんな会社が「おらが村のLLMが凄いだ」と言ってるが、実際には100万トークン読めても出力が8Kまでだったり、もっとひどいと4Kだったりと、LLMの価値はパラメータ数では決まらず、むしろどのくらい長い文章を出してくれるのかということの方が大事だ。僕がLLMで本を書いたのはもう一年前だが、このときは4Kくらいしか出力してくれなくて往生したものである。

ところがなんということでしょう。

もっとみる

npaka

2024年8月14日 07:29

FalconMamba 7B の概要

以下の記事が面白かったので、簡単にまとめました。

1. Falcon Mamba「Falcon Mamba」は、「Abu Dhabi」の「TII」(Technology Innovation Institute) が「TII Falcon License 2.0」に基づいてリリースした新しいモデルです。このモデルはオープンであり、HuggingFaceで誰でも研究やアプリ目的で使用できます。

もっとみる

Weights & Biases Japan

2024年8月5日 13:37

生成AIを用いたAI創薬の実践 Part2 - BioNeMoを用いたタンパク質言語モデルの事前学習

この記事は、"生成AIを用いたAI創薬の実践 Part1 -タンパク質言語モデル基礎編"の続編です。

生成AIを用いた創薬の可能性についてPart1で解説をしてきましたが、実際に一から実装しようとすると、マルチノードGPUを用いた分散処理や、モデル構造を理解した効率的な計算が求められるなど、高いエンジニアリング力が必要となってきます。このような背景から、創薬領域における基盤モデルを簡単に活用でき

もっとみる

Pes Cafe

2024年8月11日 22:28

AirLLM:405BのmodelをLocalで動かすと

去年の年末頃、比較的大きなLLMのmodelでも各層毎にGPUで計算することで少ないGPUメモリでも動かすことができるAirLLMが公開されました。

その方がLlama 3.1 405B modelを8GB VRAM以下で動作させていたので、試してみました。

概要Llama-3.1-405B

言わずもがな、Meta社の現在最高峰のオープンソース、多言語対応、128Kと長いコンテキスト長のmo

もっとみる

Aya*

2024年8月5日 11:18

Graph RAGをはじめからテキトーに

2024/08/05

こんにちは。今日はGraph RAGを研究で扱うことになったため何も知らないところから学んでいきたい人向けの記事になります。

Graph RAGとはデータをベクトル形式ではなく、ナレッジグラフの形式で保管し、そこから検索拡張生成を行う手法です。
https://qiita.com/xxyc/items/921805c7608c634f952f

背景として、通常のRAGは

もっとみる

フォローしませんか？

2024年8月の記事一覧